flink on yarn NM JVM内存

[superainbower <su...@163.com>]

Hi, 大家好
我有个flink任务在yarn上跑，statebackend是rocksdb，由于是测试，所以一段时间内我反复起停了任务，后来我发现在Yarn集群的NodeManger出现GC时间超出阈值报警（没有其他错误日志），此时我查看对应节点的 NodeManger的JVM堆内存几乎占满了（1.5G），从曲线图上看整个堆内存是逐步增加的（和我测试Flink任务的时间基本吻合），GC持续达到30多秒，把flink任务停止后，JVM堆内存始终下不来，只能重启Yarn集群；
想请教大家，flink on yarn给了 taskmanger的内存 和jobmanager的内存，怎么还会影响到Nodemanger的JVM内存，另外任务已经停掉，JVM堆内存也下不来，这块会和rocksdb有关系吗？


| |
superainbower
|
|
superainbower@163.com
|
签名由网易邮箱大师定制

Re: flink on yarn NM JVM内存

[Xintong Song <to...@gmail.com>]

应该和 flink 的 JM/TM/rocksdb 没有直接关系。不排除反复起停任务给 NM 造成了一定的压力。建议你去 hadoop
社区的邮件列表问问看。

Thank you~

Xintong Song



On Thu, Sep 24, 2020 at 11:52 AM superainbower <su...@163.com>
wrote:

> Hi, 大家好
> 我有个flink任务在yarn上跑，statebackend是rocksdb，由于是测试，所以一段时间内我反复起停了任务，后来我发现在Yarn集群的NodeManger出现GC时间超出阈值报警（没有其他错误日志），此时我查看对应节点的
> NodeManger的JVM堆内存几乎占满了（1.5G），从曲线图上看整个堆内存是逐步增加的（和我测试Flink任务的时间基本吻合），GC持续达到30多秒，把flink任务停止后，JVM堆内存始终下不来，只能重启Yarn集群；
> 想请教大家，flink on yarn给了 taskmanger的内存
> 和jobmanager的内存，怎么还会影响到Nodemanger的JVM内存，另外任务已经停掉，JVM堆内存也下不来，这块会和rocksdb有关系吗？
>
>
> | |
> superainbower
> |
> |
> superainbower@163.com
> |
> 签名由网易邮箱大师定制
>
>