flink获取latencymarker有什么好的方法

[郭士榕 <gs...@163.com>]

Hi，All
   想问下大家如果要展示Flink任务的当前延时情况，有什么比较好的方法吗？用LatencyMarker是否可以，用API/JMX层面来获取的histogram能否汇总成一个数字？

Re:Re:Re: flink获取latencymarker有什么好的方法

[izual <iz...@163.com>]

Latency tracking[1] 开启后，metrics 里的 [<source_id>.[<source_subtask_index>.]]<operator_id>.<operator_subtask_index>.latency 值只能作为一个参考值，更适合根据对比值判断哪个 channel、operator 延时变高了。




sql 的话，也可能遇到之前我之前困惑的一点：http://apache-flink.147419.n8.nabble.com/flink-Latency-tracking-td1800.html 




所以如果是用于获取数据流 end-to-end 延迟的话，目前觉得还是在 sql 数据流里自己增加一个时间字段比较合适。

另外 source 是 kafka 的话 group 的 lag 值，checkpoint 的 lastCheckpointDuration 也都可以作为一个参考




1: https://ci.apache.org/projects/flink/flink-docs-master/monitoring/metrics.html#latency-tracking














在 2020-09-26 21:30:24，"郭士榕" <gs...@163.com> 写道：
>感谢答复，是Sql的任务，想用LatencyMarker，本身提交的Sql任务可能没有用到EventTime
>
>
>
>
>
>在 2020-09-26 21:27:08，"shizk233" <wa...@gmail.com> 写道：
>>如果是Data Stream API的话，可以考虑在目标算子上使用自定义metrics来展示数据延时情况
>>
>>郭士榕 <gs...@163.com> 于2020年9月26日周六 下午9:15写道：
>>
>>> Hi，All
>>>
>>>  想问下大家如果要展示Flink任务的当前延时情况，有什么比较好的方法吗？用LatencyMarker是否可以，用API/JMX层面来获取的histogram能否汇总成一个数字？

Re:Re: flink获取latencymarker有什么好的方法

[郭士榕 <gs...@163.com>]

感谢答复，是Sql的任务，想用LatencyMarker，本身提交的Sql任务可能没有用到EventTime





在 2020-09-26 21:27:08，"shizk233" <wa...@gmail.com> 写道：
>如果是Data Stream API的话，可以考虑在目标算子上使用自定义metrics来展示数据延时情况
>
>郭士榕 <gs...@163.com> 于2020年9月26日周六 下午9:15写道：
>
>> Hi，All
>>
>>  想问下大家如果要展示Flink任务的当前延时情况，有什么比较好的方法吗？用LatencyMarker是否可以，用API/JMX层面来获取的histogram能否汇总成一个数字？

Re: flink获取latencymarker有什么好的方法

[shizk233 <wa...@gmail.com>]

如果是Data Stream API的话，可以考虑在目标算子上使用自定义metrics来展示数据延时情况

郭士榕 <gs...@163.com> 于2020年9月26日周六 下午9:15写道：

> Hi，All
>
>  想问下大家如果要展示Flink任务的当前延时情况，有什么比较好的方法吗？用LatencyMarker是否可以，用API/JMX层面来获取的histogram能否汇总成一个数字？

Re: flink获取latencymarker有什么好的方法

[JasonLee <17...@163.com>]

hi

LatencyMarker 是一个全链路的延迟 不是非常的准确 不过也能大致反应端到端的延迟情况



-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/