You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 刘乘九 <li...@163.com> on 2021/03/22 09:25:51 UTC

flink on yarn session模式与yarn通信失败 (job模式可以成功)的问题

大佬们请教一下:
之前一直使用job模式来提交任务,可以顺利提交计算任务。最近有需求比较适合session模式来提交,按照论坛里的教程进行提交的时候,一直报错连接不上resource  manage。观察启动log发现两种任务连接的resource manage不同,一个是正确的端口,一个一直请求本机端口。

session  模式启动log:


job  模式启动log:


想请教一下:
             1.如何配置session 模式下的  resource  manage 端口?

             2.job 模式下假如我有一个8核taskmanage服务器A配置了16个slot。job 模式提交了一个并行度为5的任务分配到了服务器A,再通过job模式提交任务的话,就不能有任务分配到服务器A了。我有办法将剩下空闲的slot利用起来吗?或者是设计上就是对小规模的任务,减少信息传递来提升计算完成的时间?