回复： Flink使用Kafka作为source时checkpoint成功提交offset的机制

[hk__lrzy <hk...@163.com>]

你是说emit之后的offset commit么？可以看下
`Kafka09Fetcher`的runFetchLoop方法


在2020年07月29日 15:09，shuwen zhou<ja...@gmail.com> 写道：
比如读到一条offset值为100的消息，有Kafka Consumer source，一个Process算子和一个Sink算子
那么在这条消息到达Process算子，还未到达Sink算子时，提交offset是100吗？

On Wed, 29 Jul 2020 at 14:51, venn <wx...@163.com> wrote:

checkpoint成功时就会把它的offset提交，可以看下这个类:  FlinkKafkaConsumerBase  的 这个方法：
notifyCheckpointComplete

-----Original Message-----
From: user-zh-return-5976-wxchunjhyy=163.com@flink.apache.org
<us...@flink.apache.org> On Behalf Of
shuwen zhou
Sent: 2020年7月29日 14:24
To: user-zh@flink.apache.org
Subject: Flink使用Kafka作为source时checkpoint成功提交offset的机制

大家好，请教一个问题，

当Flink在使用Kafka作为source，并且checkpoint开启时，提交的offset是在消息被链路最后一个算子处理之后才会把这条offset提交吗？
还是说这个消息只要从Kafka source读取后，不论链路处理到哪个算子， checkpoint成功时就会把它的offset提交呢？

另外有大神指路这段代码具体在哪个文件吗？
谢谢！

--
Best Wishes,
Shuwen Zhou



--
Best Wishes,
Shuwen Zhou <http://www.linkedin.com/pub/shuwen-zhou/57/55b/599/>

Re: Flink使用Kafka作为source时checkpoint成功提交offset的机制

[shizk233 <wa...@gmail.com>]

似乎楼主一开始说的checkpoint成功是指source
算子的checkpoint成功？但notifyCheckpointComplete函数要求的是整个链路的chk成功。
这个时候offset为100的消息必然已经被sink算子处理完成了，因为触发chk的屏障消息必然在offset100的消息之后到达sink算子。

hk__lrzy <hk...@163.com> 于2020年7月29日周三 下午5:53写道：

> 你是说emit之后的offset commit么？可以看下
> `Kafka09Fetcher`的runFetchLoop方法
>
>
> 在2020年07月29日 15:09，shuwen zhou<ja...@gmail.com> 写道：
> 比如读到一条offset值为100的消息，有Kafka Consumer source，一个Process算子和一个Sink算子
> 那么在这条消息到达Process算子，还未到达Sink算子时，提交offset是100吗？
>
> On Wed, 29 Jul 2020 at 14:51, venn <wx...@163.com> wrote:
>
> checkpoint成功时就会把它的offset提交，可以看下这个类:  FlinkKafkaConsumerBase  的 这个方法：
> notifyCheckpointComplete
>
> -----Original Message-----
> From: user-zh-return-5976-wxchunjhyy=163.com@flink.apache.org
> <us...@flink.apache.org> On Behalf Of
> shuwen zhou
> Sent: 2020年7月29日 14:24
> To: user-zh@flink.apache.org
> Subject: Flink使用Kafka作为source时checkpoint成功提交offset的机制
>
> 大家好，请教一个问题，
>
>
> 当Flink在使用Kafka作为source，并且checkpoint开启时，提交的offset是在消息被链路最后一个算子处理之后才会把这条offset提交吗？
> 还是说这个消息只要从Kafka source读取后，不论链路处理到哪个算子， checkpoint成功时就会把它的offset提交呢？
>
> 另外有大神指路这段代码具体在哪个文件吗？
> 谢谢！
>
> --
> Best Wishes,
> Shuwen Zhou
>
>
>
> --
> Best Wishes,
> Shuwen Zhou <http://www.linkedin.com/pub/shuwen-zhou/57/55b/599/>
>