sink端处理数据很慢

[田磊 <to...@163.com>]

提交任务后，通过flink的webui界面看，中间的map算子处理速度很快，13万条数据已经处理。但是sink端只处理了几千条数据，这个时候map端的处理也停滞了，不知道什么原因。map并行度8，sink并行度1。之前也是这样的并行度，并没有出现类似的情况。


| |
totorobabyfans
|
|
邮箱：totorobabyfans@163.com
|

签名由 网易邮箱大师 定制

Re: sink端处理数据很慢

[LakeShen <sh...@gmail.com>]

看下最近是不是流量变大了，以及看下 Sink 的外部存储的集群压力是不是很大。

Best,
LakeShen

田磊 <to...@163.com> 于2021年6月10日周四 上午11:36写道：

> 好的，谢谢，我看看。
>
>
> | |
> totorobabyfans
> |
> |
> 邮箱：totorobabyfans@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2021年06月10日 10:50，Lin Li 写道：
> 你好，如果之前一直运行正常，建议检查下 sink 节点慢的原因（io 瓶颈、异常/ 节点 gc 之类的），前面的 map
> 节点应该是被反压导致停滞，可以通过 backpressure tab 确认下
>
> 田磊 <to...@163.com> 于2021年6月9日周三 下午10:39写道：
>
> >
> >
> 提交任务后，通过flink的webui界面看，中间的map算子处理速度很快，13万条数据已经处理。但是sink端只处理了几千条数据，这个时候map端的处理也停滞了，不知道什么原因。map并行度8，sink并行度1。之前也是这样的并行度，并没有出现类似的情况。
> >
> >
> > | |
> > totorobabyfans
> > |
> > |
> > 邮箱：totorobabyfans@163.com
> > |
> >
> > 签名由 网易邮箱大师 定制
>

回复：sink端处理数据很慢

[田磊 <to...@163.com>]

好的，谢谢，我看看。


| |
totorobabyfans
|
|
邮箱：totorobabyfans@163.com
|

签名由 网易邮箱大师 定制

在2021年06月10日 10:50，Lin Li 写道：
你好，如果之前一直运行正常，建议检查下 sink 节点慢的原因（io 瓶颈、异常/ 节点 gc 之类的），前面的 map
节点应该是被反压导致停滞，可以通过 backpressure tab 确认下

田磊 <to...@163.com> 于2021年6月9日周三 下午10:39写道：

>
> 提交任务后，通过flink的webui界面看，中间的map算子处理速度很快，13万条数据已经处理。但是sink端只处理了几千条数据，这个时候map端的处理也停滞了，不知道什么原因。map并行度8，sink并行度1。之前也是这样的并行度，并没有出现类似的情况。
>
>
> | |
> totorobabyfans
> |
> |
> 邮箱：totorobabyfans@163.com
> |
>
> 签名由 网易邮箱大师 定制

Re: sink端处理数据很慢

[Lin Li <li...@gmail.com>]

你好，如果之前一直运行正常，建议检查下 sink 节点慢的原因（io 瓶颈、异常/ 节点 gc 之类的），前面的 map
节点应该是被反压导致停滞，可以通过 backpressure tab 确认下

田磊 <to...@163.com> 于2021年6月9日周三 下午10:39写道：

>
> 提交任务后，通过flink的webui界面看，中间的map算子处理速度很快，13万条数据已经处理。但是sink端只处理了几千条数据，这个时候map端的处理也停滞了，不知道什么原因。map并行度8，sink并行度1。之前也是这样的并行度，并没有出现类似的情况。
>
>
> | |
> totorobabyfans
> |
> |
> 邮箱：totorobabyfans@163.com
> |
>
> 签名由 网易邮箱大师 定制