You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by QiZhu Chan <qi...@163.com> on 2022/04/14 10:41:46 UTC

[flink-yarn]&[flink-metrics]&[influxdb] Yarn session模式下提交多个Job，只有首次提交的Job有Metrics数据上报

Hi，
    在做Flink Metrics监控的工作过程中，有发现一个问题，Flink on yarn下，使用yarn session模式提交多个Flink Job，只有首次提交的Job，才能正常上报Metrics；后续提交的Job，Metrics均不上报，请问是什么原因？


    需要说明的是，1、InfluxdbReporter是经过二次改造的，改造后所有指标的tag均会带上job_id，方便以通过job_id查找到所有指标。2、在per-job场景下，没有这个问题，因为per-job作业拥有各自的Jobmanager。


    Flink版本：1.13.3    Metrics库 : Influxdb
    
    希望有懂的大佬能解答一下，谢谢！

Re: [flink-yarn]&[flink-metrics]&[influxdb] Yarn session模式下提交多个Job，只有首次提交的Job有Metrics数据上报

Posted by huweihua <hu...@gmail.com>.

感觉像是 二次改造的问题。可以关注几个点：
1. 指标 tag 里的 job_id 是怎么带上的，是否可能多个作业相互覆盖或者只有第一个生效的场景
2. 可以在自动修改的代码里增加更多的日志，进一步定位, 例如：在 notifyOfAddedMetric() 时打印注册了哪些 metric

> 2022年4月14日 下午6:41，QiZhu Chan <qi...@163.com> 写道：
> 
> 
> 
> 
>    需要说明的是，1、InfluxdbReporter是经过二次改造的，改造后所有指标的tag均会带上job_id，方便以通过job_id查找到所有指标。2、在per-job场景下，没有这个问题，因为per-job作业拥有各自的Jobmanager。
> 
> 
>    Flink版本：1.13.3    Metrics库 : Influxdb
> 
>    希望有懂的大佬能解答一下，谢谢！