flink作业延迟监控

["casel.chen" <ca...@126.com>]

想实现flink sql作业延迟监控，例如flink sql作业将kafka数据写入mysql，记kafka记录中的事件时间为T0，发到kafka时间是T1，写入mysql的时间为T2，现要统计如下时间差（延迟）
1. T2 - T1 ：flink sql作业延迟
2. T2 - T0 ：端到端延迟，包括flink sql作业延迟和数据写入kafka延迟
请问:
1) 要如何暴露这2个时间差作为metrics？
2) 中间算子的处理时长能暴露吗？

回复：flink作业延迟监控

[谭家良 <ta...@126.com>]

可以参考：https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/datastream/kafka/#monitoring


指标：currentEmitEventTimeLag
条件：kafka record必须有timestamp元数据（数据进入kafka的时间）


| |
谭家良
|
|
tanjl_work@126.com
|
---- 回复的原邮件 ----
| 发件人 | casel.chen<ca...@126.com> |
| 发送日期 | 2022年7月18日 22:55 |
| 收件人 | user-zh@flink.apache.org<us...@flink.apache.org> |
| 主题 | flink作业延迟监控 |
想实现flink sql作业延迟监控，例如flink sql作业将kafka数据写入mysql，记kafka记录中的事件时间为T0，发到kafka时间是T1，写入mysql的时间为T2，现要统计如下时间差（延迟）
1. T2 - T1 ：flink sql作业延迟
2. T2 - T0 ：端到端延迟，包括flink sql作业延迟和数据写入kafka延迟
请问:
1) 要如何暴露这2个时间差作为metrics？
2) 中间算子的处理时长能暴露吗？