You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 刘乘九 <li...@163.com> on 2021/03/22 09:28:04 UTC

flink on yarn session模式与yarn通信失败的问题 （job模式可以成功）

大佬们请教一下：
之前一直使用job模式来提交任务，可以顺利提交计算任务。最近有需求比较适合session模式来提交，按照论坛里的教程进行提交的时候，一直报错连接不上resource  manage。观察启动log发现两种任务连接的resource manage不同，一个是正确的端口，一个一直请求本机端口。

session  模式启动log：


job  模式启动log：


想请教一下：
             1.如何配置session 模式下的  resource  manage 端口？

             2.job 模式下假如我有一个8核taskmanage服务器A配置了16个slot。job 模式提交了一个并行度为5的任务分配到了服务器A，再通过job模式提交任务的话，就不能有任务分配到服务器A了。我有办法将剩下空闲的slot利用起来吗？或者是设计上就是对小规模的任务，减少信息传递来提升计算完成的时间？

Re:Re: flink on yarn session模式与yarn通信失败的问题 （job模式可以成功）

Posted by 刘乘九 <li...@163.com>.
多谢大佬呀~尝试了一下没有解决。这两个参数有配置上，启动的时候也显示的与配置中一致。看上面的注释说好像仅Standalone 模式下有效，而且奇怪的是pre-job可以很顺利  session却连不上。对啦我的版本是1.11.2，大佬有空再帮忙看一眼呀











在 2021-03-23 09:28:20，"wxpcc" <wx...@outlook.com> 写道：
>第一个问题可以尝试在flink.conf 中配上jobmanager.rpc.address 和jobmanager.rpc.port
>第二个问题不是很清楚
>
>
>
>--
>Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink on yarn session模式与yarn通信失败的问题 （job模式可以成功）

Posted by wxpcc <wx...@outlook.com>.
第一个问题可以尝试在flink.conf 中配上jobmanager.rpc.address 和jobmanager.rpc.port
第二个问题不是很清楚



--
Sent from: http://apache-flink.147419.n8.nabble.com/