flink rocksdb反压问题的处理

[chanamper <ch...@163.com>]

hi all,
我采用flink 1.10版本、rocksdb的状态后端，任务运行一段时间后出现反压的情况，导致任务的处理性能急剧下降，想请教一下有啥解决rocksdb状态后端下反压情况的优化手段吗？多谢

Re: flink rocksdb反压问题的处理

[zhisheng <zh...@gmail.com>]

1、首先定位产生反压的位置（可以在 Flink UI 上查看或者根据 Flink 的 Metric 定位）
2、定位到了反压源之后，处理反压可以先从系统资源/垃圾收集（GC）/线程竞争/负载不平衡 等基本原因去分析

更详细的可以看下之前写的一篇文章
https://gitbook.cn/gitchat/column/5dad4a20669f843a1a37cb4f/topic/5db6bed1f6a6211cb9616645

chanamper <ch...@163.com> 于2020年2月26日周三 上午9:33写道：

> hi all,
> 我采用flink
> 1.10版本、rocksdb的状态后端，任务运行一段时间后出现反压的情况，导致任务的处理性能急剧下降，想请教一下有啥解决rocksdb状态后端下反压情况的优化手段吗？多谢

Re: flink rocksdb反压问题的处理

[Kristopher <k....@att.net>]

You may reference this article and specially Tuning RocksDB section.
https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/large_state_tuning.html

Regards.

on 2020/2/26 9:33, chanamper wrote:
> 我采用flink 1.10版本、rocksdb的状态后端，任务运行一段时间后出现反压的情况，导致任务的处理性能急剧下降，想请教一下有啥解决rocksdb状态后端下反压情况的优化手段吗？多谢