You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by i'mpossible <60...@qq.com> on 2020/04/22 09:14:09 UTC
回复： 【flink-connector-kafka】是否支持Subscribe模式
Hi：
这样会引发一些问题，比如：数据源不断产生事件到kafka形成数据流，这部分数据流被Flink消费进行流计算，流计算在进行新老逻辑切换时，我希望通过kafka的rebalance完成，带来的好处是业务无感知；
参阅了flink-connector-kafka的逻辑，它是通过获取topic所有的分区，然后通过对子任务并行度总和取余，获取分配至子任务线程的分区列表，未分配到分区的kafka消费实例阻塞，进而增加了单任务的kafka checkpoint机制；
个人理解，能力有限，也会有考虑不到的地方，在网上随便一搜就能搜到你的博客，哈哈；
感谢花时间和精力解答我的问题，谢谢！
------------------ 原始邮件 ------------------
发件人: "zhisheng"<zhisheng2018@gmail.com>;
发送时间: 2020年4月22日(星期三) 上午9:02
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: 【flink-connector-kafka】是否支持Subscribe模式
可以使用不同的 group.id 消费
i'mpossible <605769581@qq.com> 于2020年4月21日周二 下午6:12写道：
> Hi：
> Flink支持Subscribe模式吗？用的connector版本是
> flink-connector-kafka-0.11_2.11，0.11x；
> 因为业务需要，我想要优雅下线掉TopicB，即不中断事件流；执行结果发现当Flink服务和A服务指定同一个group.id
> ，同时消费TopicA时，kafka偏移量提交失败（开启了检查点）；
>
>
> 感谢解答！！！
>
回复: 回复： 【flink-connector-kafka】是否支持Subscribe模式
Posted by "dixingxing85@163.com" <di...@163.com>.
明白你的想法了， 其实本质上是手速和kafka balance切换速度的PK。
有一点要考虑的是，如果作业本身有状态，也就是使用了除kafka partition、offset外的其他状态，那么依赖kafka balance的方式（或类似方式）会导致两个作业的结果都不正确
dixingxing85@163.com
发件人： i'mpossible
发送时间： 2020-04-22 17:14
收件人： user-zh; zhisheng2018
主题： 回复： 【flink-connector-kafka】是否支持Subscribe模式
Hi：
这样会引发一些问题，比如：数据源不断产生事件到kafka形成数据流，这部分数据流被Flink消费进行流计算，流计算在进行新老逻辑切换时，我希望通过kafka的rebalance完成，带来的好处是业务无感知；
参阅了flink-connector-kafka的逻辑，它是通过获取topic所有的分区，然后通过对子任务并行度总和取余，获取分配至子任务线程的分区列表，未分配到分区的kafka消费实例阻塞，进而增加了单任务的kafka checkpoint机制；
个人理解，能力有限，也会有考虑不到的地方，在网上随便一搜就能搜到你的博客，哈哈；
感谢花时间和精力解答我的问题，谢谢！
------------------ 原始邮件 ------------------
发件人: "zhisheng"<zhisheng2018@gmail.com>;
发送时间: 2020年4月22日(星期三) 上午9:02
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: 【flink-connector-kafka】是否支持Subscribe模式
可以使用不同的 group.id 消费
i'mpossible <605769581@qq.com> 于2020年4月21日周二 下午6:12写道：
> Hi：
> Flink支持Subscribe模式吗？用的connector版本是
> flink-connector-kafka-0.11_2.11，0.11x；
> 因为业务需要，我想要优雅下线掉TopicB，即不中断事件流；执行结果发现当Flink服务和A服务指定同一个group.id
> ，同时消费TopicA时，kafka偏移量提交失败（开启了检查点）；
>
>
> 感谢解答！！！
>