You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by claylin <10...@qq.com> on 2020/02/14 01:53:36 UTC
通过代码修改taskmanager.memory.network配置
我想问下现在有方法通过在代码设置taskmanager.memory.network网络所使用的内存吗，我这里使用的是在yarn上执行yarn session方式执行作业，如果不能通过代码在作业里修改内存配置，是不是只有在flink-conf.yaml修改内存配置，然后重启yarn-session，如果这样的话感觉很麻烦
回复： 通过代码修改taskmanager.memory.network配置
Posted by claylin <10...@qq.com>.
嗯是的我是想在作业代码里面修改，谢谢大佬
------------------ 原始邮件 ------------------
发件人: "Xintong Song"<tonysong820@gmail.com>;
发送时间: 2020年2月14日(星期五) 上午10:32
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: 通过代码修改taskmanager.memory.network配置
我理解你说的是用 yarn-session.sh 启动 Flink 之后，希望再提交作业时更改 network memory？这个是做不到的。
network memory 是 flink 集群级别的配置，定义了集群每个 TM 有多少 network
memory，集群一旦启动之后这个值是不会变的，如果要修改就一定要重启集群。
如果希望针对不同作业使用不同的 network memory 配置，可以考虑使用 perjob
方式执行作业，这样每个作业都自己有一个集群，可以在提交作业时通过 "-D
taskmanager.memory.network.[min|max|fraction]=<value>" 的方式覆盖
flink-conf.yaml 中的默认配置。
Thank you~
Xintong Song
On Fri, Feb 14, 2020 at 9:53 AM claylin <1012539884@qq.com> wrote:
> 我想问下现在有方法通过在代码设置taskmanager.memory.network网络所使用的内存吗，我这里使用的是在yarn上执行yarn
> session方式执行作业，如果不能通过代码在作业里修改内存配置，是不是只有在flink-conf.yaml修改内存配置，然后重启yarn-session，如果这样的话感觉很麻烦
Re: 通过代码修改taskmanager.memory.network配置
Posted by Xintong Song <to...@gmail.com>.
我理解你说的是用 yarn-session.sh 启动 Flink 之后，希望再提交作业时更改 network memory？这个是做不到的。
network memory 是 flink 集群级别的配置，定义了集群每个 TM 有多少 network
memory，集群一旦启动之后这个值是不会变的，如果要修改就一定要重启集群。
如果希望针对不同作业使用不同的 network memory 配置，可以考虑使用 perjob
方式执行作业，这样每个作业都自己有一个集群，可以在提交作业时通过 "-D
taskmanager.memory.network.[min|max|fraction]=<value>" 的方式覆盖
flink-conf.yaml 中的默认配置。
Thank you~
Xintong Song
On Fri, Feb 14, 2020 at 9:53 AM claylin <10...@qq.com> wrote:
> 我想问下现在有方法通过在代码设置taskmanager.memory.network网络所使用的内存吗，我这里使用的是在yarn上执行yarn
> session方式执行作业，如果不能通过代码在作业里修改内存配置，是不是只有在flink-conf.yaml修改内存配置，然后重启yarn-session，如果这样的话感觉很麻烦