You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Jeff <zi...@126.com> on 2022/01/09 11:42:39 UTC
flink sql 如何提高下游并发度？
当source为kafka时，最大并发度由kafka分区决定的， 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Re: flink sql 如何提高下游并发度？
Posted by chang li <li...@gmail.com>.
可以的，提供一个思路，读取了kafka的数据后，直接输出原生的字节流后，接一层map算子做序列化相关工作，map算子的并发度你可以自己控制，这样kafka拉取就不会是瓶颈，大量的计算工作放到了map中，而map的并发度是可以自己控制的
Caizhi Weng <ts...@gmail.com> 于2022年1月11日周二 11:11写道：
> Hi！
>
> 可以设置 parallelism.default 为需要的并发数。
>
> Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道：
>
> > 当source为kafka时，最大并发度由kafka分区决定的， 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
>
回复： flink sql 如何提高下游并发度？
Posted by JasonLee <17...@163.com>.
hi
是 10 目前 source 还不支持单独设置并发度,但是 sink 是支持的，当然如果没有单独设置的话 sink 也是 10
Best
JasonLee
在2022年01月11日 16:52，RS<ti...@163.com> 写道：
Hi，
请教下，比如设置了parallelism=10，source kafka的topic分区为3，那source、后面的处理和sink的并发度是3还是10？
如果source是10的话，那还有7个线程就空闲了？
在 2022-01-11 11:10:41，"Caizhi Weng" <ts...@gmail.com> 写道：
Hi！
可以设置 parallelism.default 为需要的并发数。
Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道：
当source为kafka时，最大并发度由kafka分区决定的， 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Re: 回复： flink sql 如何提高下游并发度？
Posted by venn <wx...@163.com>.
flink 1.12 及以上版本 sql kafka sink 支持参数： sink.parallelism 指定 sink
的并行度
On 2022/1/11 17:06, 许友昌 wrote:
> hi,
>
>
> 设置了parallelism=10 ,实际上是分配了 10 个 slot，flink 是会共享 slot 的，所以 sink 会有 10 线程。
>
> 在2022年1月11日 16:53，RS<ti...@163.com> 写道：
> Hi，
> 请教下，比如设置了parallelism=10，source kafka的topic分区为3，那source、后面的处理和sink的并发度是3还是10？
> 如果source是10的话，那还有7个线程就空闲了？
>
>
>
> 在 2022-01-11 11:10:41，"Caizhi Weng" <ts...@gmail.com> 写道：
> Hi！
>
> 可以设置 parallelism.default 为需要的并发数。
>
> Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道：
>
> 当source为kafka时，最大并发度由kafka分区决定的， 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
回复： flink sql 如何提高下游并发度？
Posted by 许友昌 <18...@163.com>.
hi,
设置了parallelism=10 ,实际上是分配了 10 个 slot，flink 是会共享 slot 的，所以 sink 会有 10 线程。
在2022年1月11日 16:53，RS<ti...@163.com> 写道：
Hi，
请教下，比如设置了parallelism=10，source kafka的topic分区为3，那source、后面的处理和sink的并发度是3还是10？
如果source是10的话，那还有7个线程就空闲了？
在 2022-01-11 11:10:41，"Caizhi Weng" <ts...@gmail.com> 写道：
Hi！
可以设置 parallelism.default 为需要的并发数。
Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道：
当source为kafka时，最大并发度由kafka分区决定的， 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Re:Re: flink sql 如何提高下游并发度？
Posted by RS <ti...@163.com>.
Hi，
请教下，比如设置了parallelism=10，source kafka的topic分区为3，那source、后面的处理和sink的并发度是3还是10？
如果source是10的话，那还有7个线程就空闲了？
在 2022-01-11 11:10:41，"Caizhi Weng" <ts...@gmail.com> 写道：
>Hi！
>
>可以设置 parallelism.default 为需要的并发数。
>
>Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道：
>
>> 当source为kafka时，最大并发度由kafka分区决定的， 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Re: flink sql 如何提高下游并发度？
Posted by Caizhi Weng <ts...@gmail.com>.
Hi！
可以设置 parallelism.default 为需要的并发数。
Jeff <zi...@126.com> 于2022年1月9日周日 19:44写道：
> 当source为kafka时，最大并发度由kafka分区决定的， 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Re: flink sql 如何提高下游并发度？
Posted by Chang Li <li...@gmail.com>.
可以的，提供一个思路，读取了kafka的数据后，直接输出原生的字节流后，接一层map算子做序列化相关工作，map算子的并发度你可以自己控制，这样kafka拉取就不会是瓶颈，大量的计算工作放到了map中，而map的并发度是可以自己控制的
Jeff <zi...@126.com> 于2022年1月9日周日 19:45写道：
> 当source为kafka时，最大并发度由kafka分区决定的， 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?