You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 杨浩 <ya...@163.com> on 2021/10/25 13:58:28 UTC
回复:Re: 在开启checkpoint后如何设置offset的自动提交以方便监控
currentOffsets理论上OK，但是这边云上监控系统中的kafka未消费量使用的是committedOffsets
在 2021-10-25 10:31:12，"Caizhi Weng" <ts...@gmail.com> 写道：
>Hi！
>
>这里的 offset 是 kafka source 的 offset 吗？其实没必要通过 checkpoint 读取 offset，可以通过
>metrics 读取，见 [1]。
>
>[1]
>https://ci.apache.org/projects/flink/flink-docs-master/docs/ops/metrics/#kafka-connectors
>
>杨浩 <ya...@163.com> 于2021年10月25日周一 上午10:20写道：
>
>> 请问下，如果启用checkpoint，因为状态比较大，checkpoint间隔设置比较大，如何让offset提交的比较快，这样方便监控程序进度
Re: Re: 回复:回复:Re: 在开启checkpoint后如何设置offset的自动提交以方便监控
Posted by zhisheng <zh...@gmail.com>.
考虑 currentOffsets 吧
杨浩 <ya...@163.com> 于2021年10月27日周三 下午5:40写道：
> 明白这个逻辑，这个就导致consumer
> lag值不能反映真实情况，而很难监控系统延迟<br/><br/>一个场景：业务状态很大，5分钟保存一次，QPS在10000~1000000之间波动，那么需要配置延迟大于5*60*1000000来监控系统，这会导致监控非常不准确
> 在 2021-10-27 17:34:13，"Qingsheng Ren" <re...@gmail.com> 写道：
> >你好！
> >
> >如果使用的是基于 FLIP-27 实现的 KafkaSource，可以配置 enable.auto.commit = true 和
> auto.commit.interval.ms = {commit_interval} 使 KafkaSource 按照指定的时间间隔自动提交
> offset。基于 SourceFunction 的 FlinkKafkaConsumer 在 checkpoint 开启时不支持自动提交，只能在
> checkpoint 时提交位点。
> >
> >--
> >Best Regards,
> >
> >Qingsheng Ren
> >Email: renqschn@gmail.com
> >On Oct 27, 2021, 4:59 PM +0800, 杨浩 <ya...@163.com>, wrote:
> >> 请问有办法和现有监控兼容么？开启checkpoint时，让消费组的offset实时更新
> >> 在 2021-10-25 21:58:28，"杨浩" <ya...@163.com> 写道：
> >> > currentOffsets理论上OK，但是这边云上监控系统中的kafka未消费量使用的是committedOffsets
> >> > 在 2021-10-25 10:31:12，"Caizhi Weng" <ts...@gmail.com> 写道：
> >> > > Hi！
> >> > >
> >> > > 这里的 offset 是 kafka source 的 offset 吗？其实没必要通过 checkpoint 读取
> offset，可以通过
> >> > > metrics 读取，见 [1]。
> >> > >
> >> > > [1]
> >> > >
> https://ci.apache.org/projects/flink/flink-docs-master/docs/ops/metrics/#kafka-connectors
> >> > >
> >> > > 杨浩 <ya...@163.com> 于2021年10月25日周一 上午10:20写道：
> >> > >
> >> > > >
> 请问下，如果启用checkpoint，因为状态比较大，checkpoint间隔设置比较大，如何让offset提交的比较快，这样方便监控程序进度
>
回复:Re: 回复:回复:Re: 在开启checkpoint后如何设置offset的自动提交以方便监控
Posted by 杨浩 <ya...@163.com>.
明白这个逻辑，这个就导致consumer lag值不能反映真实情况，而很难监控系统延迟<br/><br/>一个场景：业务状态很大，5分钟保存一次，QPS在10000~1000000之间波动，那么需要配置延迟大于5*60*1000000来监控系统，这会导致监控非常不准确
在 2021-10-27 17:34:13，"Qingsheng Ren" <re...@gmail.com> 写道：
>你好！
>
>如果使用的是基于 FLIP-27 实现的 KafkaSource，可以配置 enable.auto.commit = true 和 auto.commit.interval.ms = {commit_interval} 使 KafkaSource 按照指定的时间间隔自动提交 offset。基于 SourceFunction 的 FlinkKafkaConsumer 在 checkpoint 开启时不支持自动提交，只能在 checkpoint 时提交位点。
>
>--
>Best Regards,
>
>Qingsheng Ren
>Email: renqschn@gmail.com
>On Oct 27, 2021, 4:59 PM +0800, 杨浩 <ya...@163.com>, wrote:
>> 请问有办法和现有监控兼容么？开启checkpoint时，让消费组的offset实时更新
>> 在 2021-10-25 21:58:28，"杨浩" <ya...@163.com> 写道：
>> > currentOffsets理论上OK，但是这边云上监控系统中的kafka未消费量使用的是committedOffsets
>> > 在 2021-10-25 10:31:12，"Caizhi Weng" <ts...@gmail.com> 写道：
>> > > Hi！
>> > >
>> > > 这里的 offset 是 kafka source 的 offset 吗？其实没必要通过 checkpoint 读取 offset，可以通过
>> > > metrics 读取，见 [1]。
>> > >
>> > > [1]
>> > > https://ci.apache.org/projects/flink/flink-docs-master/docs/ops/metrics/#kafka-connectors
>> > >
>> > > 杨浩 <ya...@163.com> 于2021年10月25日周一 上午10:20写道：
>> > >
>> > > > 请问下，如果启用checkpoint，因为状态比较大，checkpoint间隔设置比较大，如何让offset提交的比较快，这样方便监控程序进度
Re:回复:回复:Re: 在开启checkpoint后如何设置offset的自动提交以方便监控
Posted by Qingsheng Ren <re...@gmail.com>.
你好！
如果使用的是基于 FLIP-27 实现的 KafkaSource，可以配置 enable.auto.commit = true 和 auto.commit.interval.ms = {commit_interval} 使 KafkaSource 按照指定的时间间隔自动提交 offset。基于 SourceFunction 的 FlinkKafkaConsumer 在 checkpoint 开启时不支持自动提交，只能在 checkpoint 时提交位点。
--
Best Regards,
Qingsheng Ren
Email: renqschn@gmail.com
On Oct 27, 2021, 4:59 PM +0800, 杨浩 <ya...@163.com>, wrote:
> 请问有办法和现有监控兼容么？开启checkpoint时，让消费组的offset实时更新
> 在 2021-10-25 21:58:28，"杨浩" <ya...@163.com> 写道：
> > currentOffsets理论上OK，但是这边云上监控系统中的kafka未消费量使用的是committedOffsets
> > 在 2021-10-25 10:31:12，"Caizhi Weng" <ts...@gmail.com> 写道：
> > > Hi！
> > >
> > > 这里的 offset 是 kafka source 的 offset 吗？其实没必要通过 checkpoint 读取 offset，可以通过
> > > metrics 读取，见 [1]。
> > >
> > > [1]
> > > https://ci.apache.org/projects/flink/flink-docs-master/docs/ops/metrics/#kafka-connectors
> > >
> > > 杨浩 <ya...@163.com> 于2021年10月25日周一 上午10:20写道：
> > >
> > > > 请问下，如果启用checkpoint，因为状态比较大，checkpoint间隔设置比较大，如何让offset提交的比较快，这样方便监控程序进度
回复:回复:Re: 在开启checkpoint后如何设置offset的自动提交以方便监控
Posted by 杨浩 <ya...@163.com>.
请问有办法和现有监控兼容么？开启checkpoint时，让消费组的offset实时更新
在 2021-10-25 21:58:28，"杨浩" <ya...@163.com> 写道：
>currentOffsets理论上OK，但是这边云上监控系统中的kafka未消费量使用的是committedOffsets
>在 2021-10-25 10:31:12，"Caizhi Weng" <ts...@gmail.com> 写道：
>>Hi！
>>
>>这里的 offset 是 kafka source 的 offset 吗？其实没必要通过 checkpoint 读取 offset，可以通过
>>metrics 读取，见 [1]。
>>
>>[1]
>>https://ci.apache.org/projects/flink/flink-docs-master/docs/ops/metrics/#kafka-connectors
>>
>>杨浩 <ya...@163.com> 于2021年10月25日周一 上午10:20写道：
>>
>>> 请问下，如果启用checkpoint，因为状态比较大，checkpoint间隔设置比较大，如何让offset提交的比较快，这样方便监控程序进度