You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by MuChen <93...@qq.com> on 2020/06/22 13:40:19 UTC
回复： 请教 yarn-session.sh启动任务指定的应用名和队列无效
hi,Yang Wang:
HDFS上面staging目录($HOME/.flink/application_id)的*flink-conf.yaml*文件中没有提交命令中指定的-qu和-nm，而且-jm和-tm也是默认值，并不是我参数中指定的值。
我把“-n”参数去掉后重新执行，所有指定参数全部生效了，应该是不支持的“-n”参数导致后面所有参数失效。
谢谢大佬的帮助
Best,
MuChen
------------------ 原始邮件 ------------------
发件人: "Yang Wang"<danrtsey.wy@gmail.com>;
发送时间: 2020年6月22日(星期一) 晚上8:37
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效
你可以看一下HDFS上面staging目录($HOME/.flink/application_id)里面有client端生效的*flink-conf.yaml*
看看里面的"yarn.application.queue"和"yarn.application.name"是不是预期的值。
另外，-n参数很早就不支持了，这样设置也不会起作用的，都是动态申请TM的
Best,
Yang
MuChen <9329748@qq.com> 于2020年6月22日周一 下午7:32写道：
> hi,all:
>
>
> 我有一个hadoop集群和一台机器A.
>
>
> 我在机器A上，使用bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm
> fsql-cli &gt; /dev/null 2&gt;&amp;1 &amp;命令，启动了一个yarn-session，
> 其中，指定了队列root.flink和应用名fsql-cli.
>
>
> 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致（多次提交，偶尔一致），如图：
> https://imgchr.com/i/NJIn4x
>
>
> 应用名为：Flink session cluster
> 队列名为：root.default
>
>
> 请问为什么我指定的队列名和应用名没有生效？
>
>
> flink版本：1.10.0
> flink-conf.yaml配置：
> [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$
> jobmanager.rpc.address: localhost
> jobmanager.rpc.port: 6123
> jobmanager.heap.size: 1024m
> taskmanager.memory.process.size: 2048m
> taskmanager.numberOfTaskSlots: 10
> parallelism.default: 1
> jobmanager.execution.failover-strategy: region
Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效
Posted by Yang Wang <da...@gmail.com>.
目前Flink里面的实现确实是这样的，遇到不认识的option就会停下来
所以你去掉-n之后就好了
Best,
Yang
MuChen <93...@qq.com> 于2020年6月22日周一 下午9:48写道：
> hi,Yang Wang:
>
>
>
> HDFS上面staging目录($HOME/.flink/application_id)的*flink-conf.yaml*文件中没有提交命令中指定的-qu和-nm，而且-jm和-tm也是默认值，并不是我参数中指定的值。
>
>
> 我把“-n”参数去掉后重新执行，所有指定参数全部生效了，应该是不支持的“-n”参数导致后面所有参数失效。
>
>
> 谢谢大佬的帮助
>
>
> Best,
> MuChen
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "Yang Wang"<danrtsey.wy@gmail.com>;
> 发送时间: 2020年6月22日(星期一) 晚上8:37
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效
>
>
>
>
> 你可以看一下HDFS上面staging目录($HOME/.flink/application_id)里面有client端生效的*flink-conf.yaml*
> 看看里面的"yarn.application.queue"和"yarn.application.name"是不是预期的值。
>
>
> 另外，-n参数很早就不支持了，这样设置也不会起作用的，都是动态申请TM的
>
>
> Best,
> Yang
>
> MuChen <9329748@qq.com> 于2020年6月22日周一 下午7:32写道：
>
> > hi,all:
> >
> >
> > 我有一个hadoop集群和一台机器A.
> >
> >
> > 我在机器A上，使用bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink
> -nm
> > fsql-cli &gt; /dev/null 2&gt;&amp;1
> &amp;命令，启动了一个yarn-session，
> > 其中，指定了队列root.flink和应用名fsql-cli.
> >
> >
> > 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致（多次提交，偶尔一致），如图：
> > https://imgchr.com/i/NJIn4x
> >
> >
> > 应用名为：Flink session cluster
> > 队列名为：root.default
> >
> >
> > 请问为什么我指定的队列名和应用名没有生效？
> >
> >
> > flink版本：1.10.0
> > flink-conf.yaml配置：
> > [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$
> > jobmanager.rpc.address: localhost
> > jobmanager.rpc.port: 6123
> > jobmanager.heap.size: 1024m
> > taskmanager.memory.process.size: 2048m
> > taskmanager.numberOfTaskSlots: 10
> > parallelism.default: 1
> > jobmanager.execution.failover-strategy: region