You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by xiazhl <yu...@qq.com.INVALID> on 2021/10/26 05:57:48 UTC
回复：Flink没有Operator级别的数据量Metrics
web-ui里面有metrics
------------------ 原始邮件 ------------------
发件人: "user-zh" <gfeng48@gmail.com>;
发送时间: 2021年10月26日(星期二) 中午1:55
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Flink没有Operator级别的数据量Metrics
Flink只能看到Task级别的流入流出数据量，而没有Operator级别的。这个是出于性能考量吗？未来会加入一个开关，可以看到Operator级别的，方便debug吗？
Re: Flink没有Operator级别的数据量Metrics
Posted by zhisheng <zh...@gmail.com>.
可以看得到 operator 每个并行度流入流出的数据条数和速度，具体大小看不到，可以通过 flink wei ui 看，也可以通过将这些
metrics reporter 到 类似 prometheus 或者 influxdb 里面，用 grafana 展示出来
效果如图：
https://tva1.sinaimg.cn/large/008i3skNly1gwj5feedrdj31p60u0dmk.jpg
Ada Luna <gf...@gmail.com> 于2021年11月17日周三 上午10:16写道：
> 看不到Task里Operator之间传输的数据量
>
> zhisheng <zh...@gmail.com> 于2021年11月4日周四 下午4:56写道：
> >
> > webui 有 operator 级别的，仔细看看
> >
> > Ada Luna <gf...@gmail.com> 于2021年10月26日周二 下午4:08写道：
> >
> > > Web-UI中的就是Flink原生正常的Metrics，都是Task级别
> > >
> > > xiazhl <yu...@qq.com.invalid> 于2021年10月26日周二 下午2:31写道：
> > > >
> > > > web-ui里面有metrics
> > > >
> > > >
> > > >
> > > >
> > > > ------------------ 原始邮件 ------------------
> > > > 发件人:
> > > "user-zh"
> > > <
> > > gfeng48@gmail.com>;
> > > > 发送时间: 2021年10月26日(星期二) 中午1:55
> > > > 收件人: "user-zh"<user-zh@flink.apache.org>;
> > > >
> > > > 主题: Flink没有Operator级别的数据量Metrics
> > > >
> > > >
> > > >
> > > >
> > >
> Flink只能看到Task级别的流入流出数据量，而没有Operator级别的。这个是出于性能考量吗？未来会加入一个开关，可以看到Operator级别的，方便debug吗？
> > >
>
Re: Flink没有Operator级别的数据量Metrics
Posted by Shengkai Fang <fs...@gmail.com>.
同一个 task 里面的 op 往往是 chain 起来的，不经过网络传输很难评估其传输的数据量的...如果是 debug 的话，应该把所有的
chaining 断开，这样子每个 op 就是一个 task。可以通过设置 pipeline.operator-chaining false
来关闭chaining。
Best,
Shengkai
Ada Luna <gf...@gmail.com> 于2021年11月17日周三 上午10:16写道：
> 看不到Task里Operator之间传输的数据量
>
> zhisheng <zh...@gmail.com> 于2021年11月4日周四 下午4:56写道：
> >
> > webui 有 operator 级别的，仔细看看
> >
> > Ada Luna <gf...@gmail.com> 于2021年10月26日周二 下午4:08写道：
> >
> > > Web-UI中的就是Flink原生正常的Metrics，都是Task级别
> > >
> > > xiazhl <yu...@qq.com.invalid> 于2021年10月26日周二 下午2:31写道：
> > > >
> > > > web-ui里面有metrics
> > > >
> > > >
> > > >
> > > >
> > > > ------------------ 原始邮件 ------------------
> > > > 发件人:
> > > "user-zh"
> > > <
> > > gfeng48@gmail.com>;
> > > > 发送时间: 2021年10月26日(星期二) 中午1:55
> > > > 收件人: "user-zh"<user-zh@flink.apache.org>;
> > > >
> > > > 主题: Flink没有Operator级别的数据量Metrics
> > > >
> > > >
> > > >
> > > >
> > >
> Flink只能看到Task级别的流入流出数据量，而没有Operator级别的。这个是出于性能考量吗？未来会加入一个开关，可以看到Operator级别的，方便debug吗？
> > >
>
Re: Flink没有Operator级别的数据量Metrics
Posted by Ada Luna <gf...@gmail.com>.
看不到Task里Operator之间传输的数据量
zhisheng <zh...@gmail.com> 于2021年11月4日周四 下午4:56写道：
>
> webui 有 operator 级别的，仔细看看
>
> Ada Luna <gf...@gmail.com> 于2021年10月26日周二 下午4:08写道：
>
> > Web-UI中的就是Flink原生正常的Metrics，都是Task级别
> >
> > xiazhl <yu...@qq.com.invalid> 于2021年10月26日周二 下午2:31写道：
> > >
> > > web-ui里面有metrics
> > >
> > >
> > >
> > >
> > > ------------------ 原始邮件 ------------------
> > > 发件人:
> > "user-zh"
> > <
> > gfeng48@gmail.com>;
> > > 发送时间: 2021年10月26日(星期二) 中午1:55
> > > 收件人: "user-zh"<user-zh@flink.apache.org>;
> > >
> > > 主题: Flink没有Operator级别的数据量Metrics
> > >
> > >
> > >
> > >
> > Flink只能看到Task级别的流入流出数据量，而没有Operator级别的。这个是出于性能考量吗？未来会加入一个开关，可以看到Operator级别的，方便debug吗？
> >
Re: Flink没有Operator级别的数据量Metrics
Posted by zhisheng <zh...@gmail.com>.
webui 有 operator 级别的，仔细看看
Ada Luna <gf...@gmail.com> 于2021年10月26日周二 下午4:08写道：
> Web-UI中的就是Flink原生正常的Metrics，都是Task级别
>
> xiazhl <yu...@qq.com.invalid> 于2021年10月26日周二 下午2:31写道：
> >
> > web-ui里面有metrics
> >
> >
> >
> >
> > ------------------ 原始邮件 ------------------
> > 发件人:
> "user-zh"
> <
> gfeng48@gmail.com>;
> > 发送时间: 2021年10月26日(星期二) 中午1:55
> > 收件人: "user-zh"<user-zh@flink.apache.org>;
> >
> > 主题: Flink没有Operator级别的数据量Metrics
> >
> >
> >
> >
> Flink只能看到Task级别的流入流出数据量，而没有Operator级别的。这个是出于性能考量吗？未来会加入一个开关，可以看到Operator级别的，方便debug吗？
>
Re: Flink没有Operator级别的数据量Metrics
Posted by Ada Luna <gf...@gmail.com>.
Web-UI中的就是Flink原生正常的Metrics，都是Task级别
xiazhl <yu...@qq.com.invalid> 于2021年10月26日周二 下午2:31写道：
>
> web-ui里面有metrics
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "user-zh" <gfeng48@gmail.com>;
> 发送时间: 2021年10月26日(星期二) 中午1:55
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Flink没有Operator级别的数据量Metrics
>
>
>
> Flink只能看到Task级别的流入流出数据量，而没有Operator级别的。这个是出于性能考量吗？未来会加入一个开关，可以看到Operator级别的，方便debug吗？