Blink的Batch模式的并行度问题

[jun su <su...@gmail.com>]

hi all,

Flink 目前的blink table planner batch mode
(读hdfs上的orc文件)只支持StreamTableSource和LookupableTableSource，
但是StreamTableSource的并行度默认应该是1 ， 底层是ContinuousFileMonitoringFunction ,
那么如何能扩大并行度来优化性能呢？

-- 
Best,
Jun Su

Re: Blink的Batch模式的并行度问题

[jun su <su...@gmail.com>]

hi,

如果底层是FileInputFormat ，默认就是1个并行度, 这个参数我尝试了并不起作用，
看代码是创建了一个SingleOutputStreamOperator ， 感觉得重写下我使用的OrcInputFormat ,
让他不继承FileInputFormat ， 像源码里的HiveInputFormat一样

Caizhi Weng <ts...@gmail.com> 于2020年7月27日周一 下午5:31写道：

> Hi，
>
> 可以配置 table.exec.resource.default-parallelism 为需要的并发。详见文档[1]
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/config.html#table-exec-resource-default-parallelism
>
> jun su <su...@gmail.com> 于2020年7月27日周一 下午3:50写道：
>
> > hi all,
> >
> > Flink 目前的blink table planner batch mode
> > (读hdfs上的orc文件)只支持StreamTableSource和LookupableTableSource，
> > 但是StreamTableSource的并行度默认应该是1 ， 底层是ContinuousFileMonitoringFunction ,
> > 那么如何能扩大并行度来优化性能呢？
> >
> > --
> > Best,
> > Jun Su
> >
>


-- 
Best,
Jun Su

Re: Blink的Batch模式的并行度问题

[Caizhi Weng <ts...@gmail.com>]

Hi，

可以配置 table.exec.resource.default-parallelism 为需要的并发。详见文档[1]

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/config.html#table-exec-resource-default-parallelism

jun su <su...@gmail.com> 于2020年7月27日周一 下午3:50写道：

> hi all,
>
> Flink 目前的blink table planner batch mode
> (读hdfs上的orc文件)只支持StreamTableSource和LookupableTableSource，
> 但是StreamTableSource的并行度默认应该是1 ， 底层是ContinuousFileMonitoringFunction ,
> 那么如何能扩大并行度来优化性能呢？
>
> --
> Best,
> Jun Su
>