官方后续会有支持kafka lag metric的计划吗

[silence <sl...@aliyun.com.INVALID>]

目前消费kafka会有lag的情况发生，因此想基于flink metric进行上报监控kakfa的消费延时情况
主要是两种情况：
1、当前group消费的offset和对应topic最大offset之间的差值，也就是积压的数据量
2、当前消费的最新记录的timestamp和系统时间之间的差值，也就是消费的时间延时

kafka lag的监控对实时任务的稳定运行有着非常重要的作用，
网上也检索到了一些基于源码修改的实现，但修改源码的话也不利于后面flink版本的升级，还是希望官方可以考虑支持一下



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 官方后续会有支持kafka lag metric的计划吗

[admin <17...@163.com>]

hi，
这个在kafka平台做监控不是更合适吗

> 2020年10月28日 下午9:41，silence <sl...@aliyun.com.INVALID> 写道：
> 
> hi zhisheng
> 我找到两篇相关的参考博客你看一下
> https://blog.csdn.net/a1240466196/article/details/107853926
> https://www.jianshu.com/p/c7515bdde1f7
> 
> 
> 
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 官方后续会有支持kafka lag metric的计划吗

[silence <sl...@aliyun.com.INVALID>]

hi zhisheng
我找到两篇相关的参考博客你看一下
https://blog.csdn.net/a1240466196/article/details/107853926
https://www.jianshu.com/p/c7515bdde1f7



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 官方后续会有支持kafka lag metric的计划吗

[zhisheng <zh...@gmail.com>]

hi, silence

对于你提到的第一种方案，我觉得在 flink 里面是做不到的，因为 flink 只可以拿得到消费数据的 offset 信息，但是拿不到 kafka
里面该 topic 具体分区最新的 offset 值，那么也就无法相减得到每个分区的 lag，从而无法获取整个 topic 的 lag。

对于第二种方案，我觉得是可行的，可以在自己作业里面埋点（当前系统时间与消费到的数据的事件时间的差值），然后每个并行度分别上报，最后监控页面可以看到作业分区延迟最大是多长时间。

Best！
zhisheng

silence <sl...@aliyun.com.invalid> 于2020年10月28日周三 下午7:55写道：

> 目前消费kafka会有lag的情况发生，因此想基于flink metric进行上报监控kakfa的消费延时情况
> 主要是两种情况：
> 1、当前group消费的offset和对应topic最大offset之间的差值，也就是积压的数据量
> 2、当前消费的最新记录的timestamp和系统时间之间的差值，也就是消费的时间延时
>
> kafka lag的监控对实时任务的稳定运行有着非常重要的作用，
> 网上也检索到了一些基于源码修改的实现，但修改源码的话也不利于后面flink版本的升级，还是希望官方可以考虑支持一下
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/