Flink SQL共享source 问题

[zz <z_...@foxmail.com>]

hi各位：
目前我有一个任务，source table是读取一个topic生成的，但是有6个sink，使用了多条insert 语句输出到同一张mysql表中，按照我的理解，这些insert语句
应该都是共享这个source table的，读取kafka只需要读取一次，但是在运行过程中发现kafka topic有的分区消费的很快有的分区很慢，请问一下可能是什么原因呢？
topic一共是18个分区，任务是18个并行度

Re: Flink SQL共享source 问题

[Jark Wu <im...@gmail.com>]

4. 看下你的 sink 和 source 是不是 chain 在一个 task 里面的，如果是这样的，那么某个 sink task
慢，就会直接导致这个 source 分区的数据读的慢。

On Thu, 3 Dec 2020 at 21:42, Jark Wu <im...@gmail.com> wrote:

> 1. 是不是共享了 source，看下 web ui 中的拓扑图就知道了
> 2. 追数据的时候，或者下游消费速度不一的时候，分区之间消费不均衡是很正常的。
> 3. 你可以调大 sink 的并发，以及增加 buffer size 来缓解这个问题。
>
> Best,
> Jark
>
> On Wed, 2 Dec 2020 at 19:22, zz <z_...@foxmail.com> wrote:
>
>> hi各位：
>> 目前我有一个任务，source table是读取一个topic生成的，但是有6个sink，使用了多条insert
>> 语句输出到同一张mysql表中，按照我的理解，这些insert语句
>> 应该都是共享这个source table的，读取kafka只需要读取一次，但是在运行过程中发现kafka
>> topic有的分区消费的很快有的分区很慢，请问一下可能是什么原因呢？
>> topic一共是18个分区，任务是18个并行度
>
>

Re: Flink SQL共享source 问题

[Jark Wu <im...@gmail.com>]

1. 是不是共享了 source，看下 web ui 中的拓扑图就知道了
2. 追数据的时候，或者下游消费速度不一的时候，分区之间消费不均衡是很正常的。
3. 你可以调大 sink 的并发，以及增加 buffer size 来缓解这个问题。

Best,
Jark

On Wed, 2 Dec 2020 at 19:22, zz <z_...@foxmail.com> wrote:

> hi各位：
> 目前我有一个任务，source table是读取一个topic生成的，但是有6个sink，使用了多条insert
> 语句输出到同一张mysql表中，按照我的理解，这些insert语句
> 应该都是共享这个source table的，读取kafka只需要读取一次，但是在运行过程中发现kafka
> topic有的分区消费的很快有的分区很慢，请问一下可能是什么原因呢？
> topic一共是18个分区，任务是18个并行度