task manager内存使用问题

["guoliubin85@foxmail.com" <gu...@foxmail.com>]

Hi，
现在使用的是flink1.12，使用standalone cluster模式运行。
在上面运行一个Job内存消耗大，会用满heap然后把整个task manager带崩掉。
想问下怎么给task manager的jvm加上heap dump相关参数。
还有是否有选项，可以在某个job吃满heap后是kill这个job而不是shutdown整个task manager，因为这个task manager还有其他job在跑，会导致其他job一起fail。



guoliubin85@foxmail.com

回复: task manager内存使用问题

["yinghua_zh@163.com" <yi...@163.com>]

我也是在这个讨论群学到的，你看下能否解答你的问题
https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#env-java-opts

这个里面可以配置task manager的虚拟机参数，在虚拟机参数里配置 -XX:OnOutOfMemoryError=kill -9 %p，这样当OOM时杀掉task manager进程







yinghua_zh@163.com
 
发件人： guoliubin85@foxmail.com
发送时间： 2020-12-18 09:22
收件人： user-zh
主题： task manager内存使用问题
Hi，
现在使用的是flink1.12，使用standalone cluster模式运行。
在上面运行一个Job内存消耗大，会用满heap然后把整个task manager带崩掉。
想问下怎么给task manager的jvm加上heap dump相关参数。
还有是否有选项，可以在某个job吃满heap后是kill这个job而不是shutdown整个task manager，因为这个task manager还有其他job在跑，会导致其他job一起fail。
 
 
 
guoliubin85@foxmail.com

Re: task manager内存使用问题

[Yangze Guo <ka...@gmail.com>]

1. 加jvm参数可以使用env.java.opts.taskmanager配置
2. 目前tm中没有对heap memory进行slot间细粒度管理，session模式下不支持这种功能

Best,
Yangze Guo

On Fri, Dec 18, 2020 at 9:22 AM guoliubin85@foxmail.com
<gu...@foxmail.com> wrote:
>
> Hi，
> 现在使用的是flink1.12，使用standalone cluster模式运行。
> 在上面运行一个Job内存消耗大，会用满heap然后把整个task manager带崩掉。
> 想问下怎么给task manager的jvm加上heap dump相关参数。
> 还有是否有选项，可以在某个job吃满heap后是kill这个job而不是shutdown整个task manager，因为这个task manager还有其他job在跑，会导致其他job一起fail。
>
>
>
> guoliubin85@foxmail.com