You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by 崔博 <75...@qq.com> on 2021/03/26 01:51:18 UTC

优化hadoop#configuration

hi all
onyarn模式下，我发现了3个优化点1、应该优先使用flink-conf下的hadoop yarn等的配置
https://issues.apache.org/jira/browse/FLINK-21981


2、应该将应用的hadoop#configuration上传到yarn作业中，避免使用yarn服务的configuration。因为yarn服务的configuration和应用的configuration可能存在差异化
https://issues.apache.org/jira/browse/FLINK-21982


3、flink作业跨集群访问时，如果-yt中带了其他集群的hdfs-site/core-site等，在flink作业初始化时，hadoop#configuration可能加载的并不是我们预期的hdfs/core-site，而且其他集群的conf，因为configuration在加载hdfs/core-stie时，使用的classloader.getresource接口在环境中查找第一个匹配的。所以我们应该在问题2中解决该问题。


另外：请大佬帮忙review&amp;merge FLINK-21640


thanks all