You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 1193216154 <11...@qq.com> on 2020/02/27 09:30:00 UTC

用FlinkKafkaProducer011写kafka的exactly once的困惑

各位大神好，有个困惑。用FlinkKafkaProducer011写kafka的exactly once，比如我的checkpoint是十分钟，是否在十分钟之内，都不会往kafka下游发送数据。因为我看flink源码，是有在执行snapshotState的时候才kakfa的producer才flush了。

回复：用FlinkKafkaProducer011写kafka的exactly once的困惑

Posted by 1193216154 <11...@qq.com>.
那这十分钟之内是否sink都接受不到数据呢？



---原始邮件---
发件人: "xin Destiny"<nj18652727118@gmail.com&gt;
发送时间: 2020年2月27日(周四) 晚上6:49
收件人: "user-zh"<user-zh@flink.apache.org&gt;;
主题: Re: 用FlinkKafkaProducer011写kafka的exactly once的困惑


应该是所有operator完成各自的pre-commit，它们会发起一个commit操作，然后才会flush

1193216154 <1193216154@qq.com&gt; 于2020年2月27日周四 下午5:30写道：

&gt; 各位大神好，有个困惑。用FlinkKafkaProducer011写kafka的exactly
&gt; once，比如我的checkpoint是十分钟，是否在十分钟之内，都不会往kafka下游发送数据。因为我看flink源码，是有在执行snapshotState的时候才kakfa的producer才flush了。

回复： 用FlinkKafkaProducer011写kafka的exactly once的困惑

Posted by 1193216154 <11...@qq.com>.
消息是会发送给kafka的，但是这个消息属于未commit的消息，如果下游消费者，设置了读取未提交的话，就可以看见这个消息，否则是读取已提交，就对这个消息不可见




------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"xin Destiny"<nj18652727118@gmail.com&gt;;
发送时间:&nbsp;2020年2月27日(星期四) 晚上6:48
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;Re: 用FlinkKafkaProducer011写kafka的exactly once的困惑



应该是所有operator完成各自的pre-commit，它们会发起一个commit操作，然后才会flush

1193216154 <1193216154@qq.com&gt; 于2020年2月27日周四 下午5:30写道：

&gt; 各位大神好，有个困惑。用FlinkKafkaProducer011写kafka的exactly
&gt; once，比如我的checkpoint是十分钟，是否在十分钟之内，都不会往kafka下游发送数据。因为我看flink源码，是有在执行snapshotState的时候才kakfa的producer才flush了。

Re: 用FlinkKafkaProducer011写kafka的exactly once的困惑

Posted by xin Destiny <nj...@gmail.com>.
应该是所有operator完成各自的pre-commit，它们会发起一个commit操作，然后才会flush

1193216154 <11...@qq.com> 于2020年2月27日周四 下午5:30写道：

> 各位大神好，有个困惑。用FlinkKafkaProducer011写kafka的exactly
> once，比如我的checkpoint是十分钟，是否在十分钟之内，都不会往kafka下游发送数据。因为我看flink源码，是有在执行snapshotState的时候才kakfa的producer才flush了。