消息积压如何优化

[allanqinjy <al...@163.com>]

hi,
由于消息队列量特别大，在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!!
| |
allanqinjy
|
|
allanqinjy@163.com
|
签名由网易邮箱大师定制

Re:回复：消息积压如何优化

[Michael Ran <gr...@163.com>]

一般a->b->c->d->e->f 算子。如果f 跟不上，会导致abcde 出现被压，所以看被压前一个洛。还有就是看了解算子，根据经验














在 2021-03-05 14:39:40，"allanqinjy" <al...@163.com> 写道：
>你好，
>    消费速度跟不上写入速度，通过调试并发可以提高消费，但是不能一直这样靠着修改并发度来做优化。你说的看哪个算子问题，能具体点吗？怎么就算有问题了？一旦被压了，基本你看算子，基本的被压肯定都是正常的只有source那里才是high，被压会一级一级的反到source。你看算子的metrics也能只能看进入的量，出去的量，sink的出去的量是第三方flink ui上应该也看不到，这样如何排查是哪个算子的具体问题？你们是有什么好的方法吗？
>
>
>| |
>allanqinjy
>|
>|
>allanqinjy@163.com
>|
>签名由网易邮箱大师定制
>
>
>在2021年03月5日 14:22，Michael Ran<gr...@163.com> 写道：
>看看哪个算子问题，增加那个算子并发。 或者优化那个算子执行。 <br/><br/><br/>先找找原因
>在 2021-03-05 11:05:14，"allanqinjy" <al...@163.com> 写道：
>
>
>hi,
>由于消息队列量特别大，在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!!
>| |
>allanqinjy
>|
>|
>allanqinjy@163.com
>|
>签名由网易邮箱大师定制
>

回复：消息积压如何优化

[allanqinjy <al...@163.com>]

你好，
    消费速度跟不上写入速度，通过调试并发可以提高消费，但是不能一直这样靠着修改并发度来做优化。你说的看哪个算子问题，能具体点吗？怎么就算有问题了？一旦被压了，基本你看算子，基本的被压肯定都是正常的只有source那里才是high，被压会一级一级的反到source。你看算子的metrics也能只能看进入的量，出去的量，sink的出去的量是第三方flink ui上应该也看不到，这样如何排查是哪个算子的具体问题？你们是有什么好的方法吗？


| |
allanqinjy
|
|
allanqinjy@163.com
|
签名由网易邮箱大师定制


在2021年03月5日 14:22，Michael Ran<gr...@163.com> 写道：
看看哪个算子问题，增加那个算子并发。 或者优化那个算子执行。 <br/><br/><br/>先找找原因
在 2021-03-05 11:05:14，"allanqinjy" <al...@163.com> 写道：


hi,
由于消息队列量特别大，在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!!
| |
allanqinjy
|
|
allanqinjy@163.com
|
签名由网易邮箱大师定制

Re:消息积压如何优化

[Michael Ran <gr...@163.com>]

看看哪个算子问题，增加那个算子并发。 或者优化那个算子执行。 <br/><br/><br/>先找找原因
在 2021-03-05 11:05:14，"allanqinjy" <al...@163.com> 写道：
>
>
>hi,
>由于消息队列量特别大，在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!!
>| |
>allanqinjy
>|
>|
>allanqinjy@163.com
>|
>签名由网易邮箱大师定制
>