yarn-session多job的模式下是动态申请资源吗

[孙森 <se...@creditease.cn>]

��á���Ŀǰ�õ���flink-1.7.2�汾��ʹ�õ���yarn-session��job��ģʽ������yarn-session֮����flink ui�ϲ�û�п����������õ���Դ�������ύflink job��ʱ��������container�����ύ���jobʱ��yarn-session�ᰴ��job��Ҫ��slot������̬������Դ��

���磬����yarn-session������Ϊ:

  ./bin/yarn-session.sh -tm 8192 -s 2 �Cn 4

�ύһ��job��Ҫ����Դ�� 8��slot����ôyarn-session������4��taskmanager�����и�job��

���ύһ��job����Ҫ��slot��12������ôyarn-session���������6��taskmanager�����еڶ���job��



���ԣ�������yarn-session�е�-n��û�������ã�������������ɡ�

回复：yarn-session多job的模式下是动态申请资源吗

[star <31...@qq.com>]

-n 没用 1.10就废弃了




------------------ 原始邮件 ------------------
发件人:&nbsp;"孙森"<sensun@creditease.cn&gt;;
发送时间:&nbsp;2020年6月4日(星期四) 上午9:29
收件人:&nbsp;"user-zh@flink.apache.org"<user-zh@flink.apache.org&gt;;

主题:&nbsp;yarn-session多job的模式下是动态申请资源吗



你好。我目前用的是flink-1.7.2版本，使用的是yarn-session多job的模式。启动yarn-session之后，在flink ui上并没有看到申请配置的资源，而是提交flink job的时候才申请的container。当提交多个job时，yarn-session会按照job需要的slot数量动态申请资源。

比如，启动yarn-session的配置为:

&nbsp; ./bin/yarn-session.sh -tm 8192 -s 2 –n 4

提交一个job需要的资源是 8个slot，那么yarn-session会申请4个taskmanager来运行该job。

再提交一个job，需要的slot是12个，那么yarn-session会继续申请6个taskmanager来运行第二个job。



所以，在启动yarn-session中的-n并没有起作用，可以这样理解吧。