You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 陈赋赟 <as...@163.com> on 2019/09/05 08:25:49 UTC
如何统计数据处理延迟Delay情况
HI ALL
目前想对Flink Job添加一个统计数据处理延迟情况的Metric,目前的想法是拿到数据携带的时间(Event Time)于当前节点的时间(System.getCurrentTime)相减,得出的值即数据延迟处理的时间,但不确定这个想法是否正确且可行,求各位大佬提供思路和想法~
Re: 如何统计数据处理延迟Delay情况
Posted by Jary Zhen <ja...@gmail.com>.
hi,
首先,我的理解这个差值准确描述应该是”延迟摄入时间“,一般说处理时间应该是数据摄入系统到处理完的时间段,也就是(addSource到addSink,这个时间段)。
关于统计延迟数据,你可以看看Side out api [1]
[1]:
https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/side_output.html
On Thu, 5 Sep 2019 at 16:26, 陈赋赟 <as...@163.com> wrote:
> HI ALL
> 目前想对Flink Job添加一个统计数据处理延迟情况的Metric,目前的想法是拿到数据携带的时间(Event
> Time)于当前节点的时间(System.getCurrentTime)相减,得出的值即数据延迟处理的时间,但不确定这个想法是否正确且可行,求各位大佬提供思路和想法~