flink 1.13.1 TM内存超用严重问题

[Tianwang Li <li...@gmail.com>]

问题：
flink 计算任务配置的TM内存是 6G，但是，TM进程占用的内存实际达到了 8G。
是什么超用那么多内存？
flink rocksdb内存超用那么多吗？

还是我的配置有什么问题 ？


内存使用：

> top - 19:05:36 up 304 days,  9:12,  0 users,  load average: 7.24, 5.99,
> 5.25
> Tasks:   5 total,   1 running,   4 sleeping,   0 stopped,   0 zombie
> %Cpu(s):  5.8 us,  0.9 sy,  0.0 ni, 92.8 id,  0.0 wa,  0.0 hi,  0.6 si,
>  0.0 st
> MiB Mem : 192409.0 total,  63550.7 free,  60642.7 used,  68215.6 buff/cache
> MiB Swap:      0.0 total,      0.0 free,      0.0 used. 135410.0 avail Mem
>
>     PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+
> COMMAND
>
>
>     300 root      20   0   23.9g   7.8g  49564 S  52.8   4.2   5099:45
> java
>

TM 配置：


> rest.flamegraph.enabled: true
> akka.framesize: 20485760b
> taskmanager.numberOfTaskSlots: 1
> blob.server.port: 6124
> jobmanager.rpc.port: 6123
> taskmanager.rpc.port: 6122
> jobmanager.heap.size: 2G
> taskmanager.memory.process.size: 6g
> taskmanager.memory.managed.fraction: 0.5
> taskmanager.debug.memory.log-interval: 10000
> jobmanager.execution.failover-strategy: full
>

作业情况，作业计算的key比较多亿级别。

[image: image.png]

-- 
**************************************
 tivanli
**************************************