You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "gaofeilong198810@163.com" <ga...@163.com> on 2019/09/24 02:06:04 UTC

consumer并发与kafka并发不一致的情况

1. 当kafka consumer的并发大于kafka partition的情况，多余的并发会怎么样？
2. 当kafka consumer并发等于kafka partition个数，但是kafka partition个别分区没有数据的情况，这个空的partition的consumer线程会怎么样？对barrier和watermark的生成有什么影响？



gaofeilong198810@163.com

Re:consumer并发与kafka并发不一致的情况

Posted by 陈赋赟 <as...@163.com>.

HI
    1. 当kafka consumer的并发大于kafka partition的情况，多余的并发会怎么样？----->这句话是想问当flink slot数大于kafka partition的时候多的slot（其实就是在slot上创建的kafka consumer）会空跑。
如图：kafka partiton为10个，但是flink slot为15，则有5个节点是空跑的状态。






2. 当kafka consumer并发等于kafka partition个数，但是kafka partition个别分区没有数据的情况，这个空的partition的consumer线程会怎么样？对barrier和watermark的生成有什么影响？
    线程和barrier什么情况不是很清楚，watermarker的话他应该会判断当前通道的状态，空跑节点的通道状态应该会被置为IDLE，从而不会被纳入到从各通道中取最小的watermarker去发往下游算子。






在 2019-09-24 10:06:04，"gaofeilong198810@163.com" <ga...@163.com> 写道：
>1. 当kafka consumer的并发大于kafka partition的情况，多余的并发会怎么样？
>2. 当kafka consumer并发等于kafka partition个数，但是kafka partition个别分区没有数据的情况，这个空的partition的consumer线程会怎么样？对barrier和watermark的生成有什么影响？
>
>
>
>gaofeilong198810@163.com