You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by kcz <57...@qq.com.INVALID> on 2021/12/30 06:54:17 UTC
flink-1.14.0 chk提交kafka offset问题
有一个问题请教下大佬们，学迷糊了，
用了flink-1.14.0版本，开启了chk(500ms做一次)，精准一次消费，事件时间
source（kafka）-> (1min的window，到时之后开始做count计算) -> sink(mysql)
生产几条数据给kafka，但是没有超过窗口的1分钟触发时间，观察到了kafka偏移量被提交了。
最后的sink算子还没执行，kafka偏移量就被提交了，虽然chk已经做好了。
不是等sink执行之后，偏移量才被提交吗？
Re: flink-1.14.0 chk提交kafka offset问题
Posted by Ada Wong <gf...@gmail.com>.
你说的偏移量提交是指提交给Kafka Broker当前group的offset？
Guo Thompson <gw...@gmail.com> 于2021年12月30日周四 15:36写道：
>
> 应该是checkpoint的时候就会提交kafka 的offset
>
> kcz <57...@qq.com.invalid> 于2021年12月30日周四 14:54写道：
>
> > 有一个问题请教下大佬们，学迷糊了，
> > 用了flink-1.14.0版本，开启了chk(500ms做一次)，精准一次消费，事件时间
> > source（kafka）-> (1min的window，到时之后开始做count计算) -> sink(mysql)
> > 生产几条数据给kafka，但是没有超过窗口的1分钟触发时间，观察到了kafka偏移量被提交了。
> > 最后的sink算子还没执行，kafka偏移量就被提交了，虽然chk已经做好了。
> >
> > 不是等sink执行之后，偏移量才被提交吗？
Re: flink-1.14.0 chk提交kafka offset问题
Posted by Guo Thompson <gw...@gmail.com>.
应该是checkpoint的时候就会提交kafka 的offset
kcz <57...@qq.com.invalid> 于2021年12月30日周四 14:54写道：
> 有一个问题请教下大佬们，学迷糊了，
> 用了flink-1.14.0版本，开启了chk(500ms做一次)，精准一次消费，事件时间
> source（kafka）-> (1min的window，到时之后开始做count计算) -> sink(mysql)
> 生产几条数据给kafka，但是没有超过窗口的1分钟触发时间，观察到了kafka偏移量被提交了。
> 最后的sink算子还没执行，kafka偏移量就被提交了，虽然chk已经做好了。
>
> 不是等sink执行之后，偏移量才被提交吗？