You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by superainbower <su...@163.com> on 2020/12/16 10:19:39 UTC
回复：flink-shaded-hadoop-2-uber版本如何选择
借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
在2020年12月16日 10:53，Yang Wang 写道：
以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
[1]. https://github.com/apache/flink-shaded
[2].
https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
Best,
Yang
赢峰 <si...@163.com> 于2020年12月11日周五 上午8:45写道：
> flink-shaded-hadoop-2-uber版本如何选择？
>
>
> xxx-xxx 分别表示什么意思？
>
>
>
回复：flink-shaded-hadoop-2-uber版本如何选择
Posted by superainbower <su...@163.com>.
关于K8S访问HA情况下HDFS的问题，你解决了吗？
在2020年12月22日 13:43，liujian 写道：
Thanks,我发现在flink-conf上配置了history server,数据已经发送到hdfs只上了,只需要启用一个web ui就可以实现历史数据的查询了,
------------------ 原始邮件 ------------------
发件人: "user-zh" <danrtsey.wy@gmail.com>;
发送时间: 2020年12月22日(星期二) 中午1:05
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink-shaded-hadoop-2-uber版本如何选择
history-server和native
k8s没有关系的，如果你想使用，就需要用一个deployment单独部署history-server在K8s集群内
native k8s覆盖的场景是Flink任务如何原生地提交到K8s集群内
Best,
yang
liujian <13597820935@qq.com> 于2020年12月21日周一 下午8:16写道：
> Thanks, 使用你下面的docker方式我测试确实可以,但是不知道Native K8s如何来操作,可以详细说一下
> &nbsp;我现在是Dockerfile如下两种情况都试过
>
>
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar&nbsp;
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh"]
> EXPOSE 6123 8081 8082
> CMD ["help","history-server"]
>
> --------------------------------------------------------
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar&nbsp;
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh","history-server"]
> EXPOSE 6123 8081 8082
> CMD ["help"]
>
>
>
> 这两种都尝试过...,请帮忙指教一下
>
>
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
> "user-zh"
> <
> danrtsey.wy@gmail.com&gt;;
> 发送时间:&nbsp;2020年12月21日(星期一) 下午3:08
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
> 是的，理解没有错，history-server会启动后listen一个端口
>
> 我这边尝试是没有问题的，你可以通过如下命令启动
> docker run -p 8082:8082 --env
> FLINK_PROPERTIES="historyserver.archive.fs.dir: file:///tmp/flink-jobs"
> flink:latest history-server
>
> 更多配置你参考如下文档
>
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html
>
> Best,
> Yang
>
> liujian <13597820935@qq.com&gt; 于2020年12月21日周一 下午1:35写道：
>
> &gt; 我理解的是启动一个history-server,会有一个进程,然后会暴露指定的端口,但是我好像并没有看到这样的效果,是我的理解有错吗
> &gt;
> &gt;
> &gt;
> &gt;
> &gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
> &gt; 发件人:
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> "user-zh"
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> <
> &gt; danrtsey.wy@gmail.com&amp;gt;;
> &gt; 发送时间:&amp;nbsp;2020年12月21日(星期一) 上午10:15
> &gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
> &gt;
> &gt; 主题:&amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> &gt;
> &gt;
> &gt;
> &gt;
> &gt;
> 你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了
> &gt;
> &gt; [1].
> &gt;
> https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
> &gt
> <https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh&gt>
> ;
> &gt; Best,
> &gt; Yang
> &gt;
> &gt;
> &gt; liujian <13597820935@qq.com&amp;gt; 于2020年12月20日周日 下午12:45写道：
> &gt;
> &gt; &amp;gt; Thanks,&amp;amp;nbsp;
> &gt; &amp;gt; &amp;amp;nbsp; &amp;amp;nbsp;
> &amp;amp;nbsp;但是我需要访问historyServer,那么应该需要如何操作我将flink
> &gt; &amp;gt; 1.12.0的Dockerfile 修改成CMD ["history-server"]&amp;amp;nbsp;
> &gt; 并暴露8082端口,但是好像达不到这个效果
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> ------------------&amp;amp;nbsp;原始邮件&amp;amp;nbsp;------------------
> &gt; &amp;gt; 发件人:
> &gt;
> &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> &gt; "user-zh"
> &gt;
> &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> &gt; <
> &gt; &amp;gt; danrtsey.wy@gmail.com&amp;amp;gt;;
> &gt; &amp;gt; 发送时间:&amp;amp;nbsp;2020年12月19日(星期六) 晚上9:35
> &gt; &amp;gt; 收件人:&amp;amp;nbsp;"user-zh"<user-zh@flink.apache.org
> &amp;amp;gt;;
> &gt; &amp;gt;
> &gt; &amp;gt; 主题:&amp;amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> &gt; &amp;gt; Flink
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt;
> Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
> &gt; &amp;gt;
> &gt;
> 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; Best,
> &gt; &amp;gt; Yang
> &gt; &amp;gt;
> &gt; &amp;gt; liujian <13597820935@qq.com&amp;amp;gt; 于2020年12月19日周六
> 下午8:29写道：
> &gt; &amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt;
> ------------------&amp;amp;amp;nbsp;原始邮件&amp;amp;amp;nbsp;------------------
> &gt; &amp;gt; &amp;amp;gt; 发件人:
> &gt; &amp;gt;
> &gt;
> &amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> &gt; &amp;gt; "user-zh"
> &gt; &amp;gt;
> &gt;
> &amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> &gt; &amp;gt; <
> &gt; &amp;gt; &amp;amp;gt; danrtsey.wy@gmail.com&amp;amp;amp;gt;;
> &gt; &amp;gt; &amp;amp;gt; 发送时间:&amp;amp;amp;nbsp;2020年12月16日(星期三) 晚上7:21
> &gt; &amp;gt; &amp;amp;gt; 收件人:&amp;amp;amp;nbsp;"superainbower"<
> superainbower@163.com
> &gt; &amp;amp;amp;gt;;
> &gt; &amp;gt; &amp;amp;gt; 抄送:&amp;amp;amp;nbsp;"user-zh"<
> user-zh@flink.apache.org
> &gt; &amp;amp;amp;gt;;
> &gt; &amp;gt; &amp;amp;gt; 主题:&amp;amp;amp;nbsp;Re:
> flink-shaded-hadoop-2-uber版本如何选择
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; Best,
> &gt; &amp;gt; &amp;amp;gt; Yang
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; superainbower <superainbower@163.com
> &amp;amp;amp;gt;
> &gt; 于2020年12月16日周三 下午6:19写道：
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; 在2020年12月16日 10:53，Yang Wang <
> &gt; danrtsey.wy@gmail.com&amp;amp;amp;gt;
> &gt; &amp;gt; 写道：
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; 这样可以让Flink变得hadoop
> free，从而同时支持hadoop2和hadoop3
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; [1].
> https://github.com/apache/flink-shaded
> &gt <https://github.com/apache/flink-shaded&gt>; &amp;gt <
> https://github.com/apache/flink-shaded&amp;gt&gt;; &amp;amp;gt;
> &amp;amp;amp;gt;
> &gt; [2].
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> &gt
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>;
> &amp;gt
> &gt; <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt
> ;;
> &gt; &amp;amp;gt
> &gt; &amp;gt; <
> &gt;
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt
> &gt
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt&gt>;
> ;;
> &gt; &amp;gt; &amp;amp;amp;gt
> &gt; &amp;gt; &amp;amp;gt; <
> &gt; &amp;gt;
> &gt;
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;amp;gt&amp;amp;gt
> &gt
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;amp;gt&amp;amp;gt&gt>;
> &amp;gt
> &gt; <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;amp;gt&amp;amp;gt&amp;gt&gt
> ;;
> &gt; ;
> &gt; &amp;gt; &amp;amp;gt; ;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; Best,
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; Yang
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; 赢峰 <si_ji_feng@163.com
> &amp;amp;amp;gt;
> &gt; 于2020年12月11日周五 上午8:45写道：
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> flink-shaded-hadoop-2-uber版本如何选择？
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt; xxx-xxx
> 分别表示什么意思？
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
回复： flink-shaded-hadoop-2-uber版本如何选择
Posted by liujian <13...@qq.com>.
Thanks,我发现在flink-conf上配置了history server,数据已经发送到hdfs只上了,只需要启用一个web ui就可以实现历史数据的查询了,
------------------ 原始邮件 ------------------
发件人: "user-zh" <danrtsey.wy@gmail.com>;
发送时间: 2020年12月22日(星期二) 中午1:05
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink-shaded-hadoop-2-uber版本如何选择
history-server和native
k8s没有关系的，如果你想使用，就需要用一个deployment单独部署history-server在K8s集群内
native k8s覆盖的场景是Flink任务如何原生地提交到K8s集群内
Best,
yang
liujian <13597820935@qq.com> 于2020年12月21日周一 下午8:16写道：
> Thanks, 使用你下面的docker方式我测试确实可以,但是不知道Native K8s如何来操作,可以详细说一下
> &nbsp;我现在是Dockerfile如下两种情况都试过
>
>
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar&nbsp;
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh"]
> EXPOSE 6123 8081 8082
> CMD ["help","history-server"]
>
> --------------------------------------------------------
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar&nbsp;
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh","history-server"]
> EXPOSE 6123 8081 8082
> CMD ["help"]
>
>
>
> 这两种都尝试过...,请帮忙指教一下
>
>
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
> "user-zh"
> <
> danrtsey.wy@gmail.com&gt;;
> 发送时间:&nbsp;2020年12月21日(星期一) 下午3:08
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
> 是的，理解没有错，history-server会启动后listen一个端口
>
> 我这边尝试是没有问题的，你可以通过如下命令启动
> docker run -p 8082:8082 --env
> FLINK_PROPERTIES="historyserver.archive.fs.dir: file:///tmp/flink-jobs"
> flink:latest history-server
>
> 更多配置你参考如下文档
>
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html
>
> Best,
> Yang
>
> liujian <13597820935@qq.com&gt; 于2020年12月21日周一 下午1:35写道：
>
> &gt; 我理解的是启动一个history-server,会有一个进程,然后会暴露指定的端口,但是我好像并没有看到这样的效果,是我的理解有错吗
> &gt;
> &gt;
> &gt;
> &gt;
> &gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
> &gt; 发件人:
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> "user-zh"
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> <
> &gt; danrtsey.wy@gmail.com&amp;gt;;
> &gt; 发送时间:&amp;nbsp;2020年12月21日(星期一) 上午10:15
> &gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
> &gt;
> &gt; 主题:&amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> &gt;
> &gt;
> &gt;
> &gt;
> &gt;
> 你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了
> &gt;
> &gt; [1].
> &gt;
> https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
> &gt
> <https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh&gt>
> ;
> &gt; Best,
> &gt; Yang
> &gt;
> &gt;
> &gt; liujian <13597820935@qq.com&amp;gt; 于2020年12月20日周日 下午12:45写道：
> &gt;
> &gt; &amp;gt; Thanks,&amp;amp;nbsp;
> &gt; &amp;gt; &amp;amp;nbsp; &amp;amp;nbsp;
> &amp;amp;nbsp;但是我需要访问historyServer,那么应该需要如何操作我将flink
> &gt; &amp;gt; 1.12.0的Dockerfile 修改成CMD ["history-server"]&amp;amp;nbsp;
> &gt; 并暴露8082端口,但是好像达不到这个效果
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> ------------------&amp;amp;nbsp;原始邮件&amp;amp;nbsp;------------------
> &gt; &amp;gt; 发件人:
> &gt;
> &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> &gt; "user-zh"
> &gt;
> &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> &gt; <
> &gt; &amp;gt; danrtsey.wy@gmail.com&amp;amp;gt;;
> &gt; &amp;gt; 发送时间:&amp;amp;nbsp;2020年12月19日(星期六) 晚上9:35
> &gt; &amp;gt; 收件人:&amp;amp;nbsp;"user-zh"<user-zh@flink.apache.org
> &amp;amp;gt;;
> &gt; &amp;gt;
> &gt; &amp;gt; 主题:&amp;amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> &gt; &amp;gt; Flink
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt;
> Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
> &gt; &amp;gt;
> &gt;
> 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; Best,
> &gt; &amp;gt; Yang
> &gt; &amp;gt;
> &gt; &amp;gt; liujian <13597820935@qq.com&amp;amp;gt; 于2020年12月19日周六
> 下午8:29写道：
> &gt; &amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt;
> ------------------&amp;amp;amp;nbsp;原始邮件&amp;amp;amp;nbsp;------------------
> &gt; &amp;gt; &amp;amp;gt; 发件人:
> &gt; &amp;gt;
> &gt;
> &amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> &gt; &amp;gt; "user-zh"
> &gt; &amp;gt;
> &gt;
> &amp;amp;gt;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;
> &gt; &amp;gt; <
> &gt; &amp;gt; &amp;amp;gt; danrtsey.wy@gmail.com&amp;amp;amp;gt;;
> &gt; &amp;gt; &amp;amp;gt; 发送时间:&amp;amp;amp;nbsp;2020年12月16日(星期三) 晚上7:21
> &gt; &amp;gt; &amp;amp;gt; 收件人:&amp;amp;amp;nbsp;"superainbower"<
> superainbower@163.com
> &gt; &amp;amp;amp;gt;;
> &gt; &amp;gt; &amp;amp;gt; 抄送:&amp;amp;amp;nbsp;"user-zh"<
> user-zh@flink.apache.org
> &gt; &amp;amp;amp;gt;;
> &gt; &amp;gt; &amp;amp;gt; 主题:&amp;amp;amp;nbsp;Re:
> flink-shaded-hadoop-2-uber版本如何选择
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; Best,
> &gt; &amp;gt; &amp;amp;gt; Yang
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; superainbower <superainbower@163.com
> &amp;amp;amp;gt;
> &gt; 于2020年12月16日周三 下午6:19写道：
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; 在2020年12月16日 10:53，Yang Wang <
> &gt; danrtsey.wy@gmail.com&amp;amp;amp;gt;
> &gt; &amp;gt; 写道：
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; 这样可以让Flink变得hadoop
> free，从而同时支持hadoop2和hadoop3
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; [1].
> https://github.com/apache/flink-shaded
> &gt <https://github.com/apache/flink-shaded&gt>; &amp;gt <
> https://github.com/apache/flink-shaded&amp;gt&gt;; &amp;amp;gt;
> &amp;amp;amp;gt;
> &gt; [2].
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> &gt
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>;
> &amp;gt
> &gt; <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt
> ;;
> &gt; &amp;amp;gt
> &gt; &amp;gt; <
> &gt;
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt
> &gt
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt&gt>;
> ;;
> &gt; &amp;gt; &amp;amp;amp;gt
> &gt; &amp;gt; &amp;amp;gt; <
> &gt; &amp;gt;
> &gt;
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;amp;gt&amp;amp;gt
> &gt
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;amp;gt&amp;amp;gt&gt>;
> &amp;gt
> &gt; <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;amp;gt&amp;amp;gt&amp;gt&gt
> ;;
> &gt; ;
> &gt; &amp;gt; &amp;amp;gt; ;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; Best,
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; Yang
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; 赢峰 <si_ji_feng@163.com
> &amp;amp;amp;gt;
> &gt; 于2020年12月11日周五 上午8:45写道：
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> flink-shaded-hadoop-2-uber版本如何选择？
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt; xxx-xxx
> 分别表示什么意思？
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;amp;gt;
Re: flink-shaded-hadoop-2-uber版本如何选择
Posted by Yang Wang <da...@gmail.com>.
history-server和native
k8s没有关系的，如果你想使用，就需要用一个deployment单独部署history-server在K8s集群内
native k8s覆盖的场景是Flink任务如何原生地提交到K8s集群内
Best,
yang
liujian <13...@qq.com> 于2020年12月21日周一 下午8:16写道：
> Thanks, 使用你下面的docker方式我测试确实可以,但是不知道Native K8s如何来操作,可以详细说一下
> 我现在是Dockerfile如下两种情况都试过
>
>
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh"]
> EXPOSE 6123 8081 8082
> CMD ["help","history-server"]
>
> --------------------------------------------------------
> COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
> ENTRYPOINT ["/docker-entrypoint.sh","history-server"]
> EXPOSE 6123 8081 8082
> CMD ["help"]
>
>
>
> 这两种都尝试过...,请帮忙指教一下
>
>
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> danrtsey.wy@gmail.com>;
> 发送时间: 2020年12月21日(星期一) 下午3:08
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
> 是的，理解没有错，history-server会启动后listen一个端口
>
> 我这边尝试是没有问题的，你可以通过如下命令启动
> docker run -p 8082:8082 --env
> FLINK_PROPERTIES="historyserver.archive.fs.dir: file:///tmp/flink-jobs"
> flink:latest history-server
>
> 更多配置你参考如下文档
>
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html
>
> Best,
> Yang
>
> liujian <13597820935@qq.com> 于2020年12月21日周一 下午1:35写道：
>
> > 我理解的是启动一个history-server,会有一个进程,然后会暴露指定的端口,但是我好像并没有看到这样的效果,是我的理解有错吗
> >
> >
> >
> >
> > ------------------&nbsp;原始邮件&nbsp;------------------
> > 发件人:
> >
> "user-zh"
> >
> <
> > danrtsey.wy@gmail.com&gt;;
> > 发送时间:&nbsp;2020年12月21日(星期一) 上午10:15
> > 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
> >
> > 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> >
> >
> >
> >
> >
> 你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了
> >
> > [1].
> >
> https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
> >
> <https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh>>
> ;
> > Best,
> > Yang
> >
> >
> > liujian <13597820935@qq.com&gt; 于2020年12月20日周日 下午12:45写道：
> >
> > &gt; Thanks,&amp;nbsp;
> > &gt; &amp;nbsp; &amp;nbsp;
> &amp;nbsp;但是我需要访问historyServer,那么应该需要如何操作我将flink
> > &gt; 1.12.0的Dockerfile 修改成CMD ["history-server"]&amp;nbsp;
> > 并暴露8082端口,但是好像达不到这个效果
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
> > &gt; 发件人:
> >
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > "user-zh"
> >
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > <
> > &gt; danrtsey.wy@gmail.com&amp;gt;;
> > &gt; 发送时间:&amp;nbsp;2020年12月19日(星期六) 晚上9:35
> > &gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org
> &amp;gt;;
> > &gt;
> > &gt; 主题:&amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> > &gt;
> > &gt;
> > &gt;
> > &gt; 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> > &gt; Flink
> > &gt;
> > &gt;
> >
> Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
> > &gt;
> >
> 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
> > &gt;
> > &gt;
> > &gt; Best,
> > &gt; Yang
> > &gt;
> > &gt; liujian <13597820935@qq.com&amp;gt; 于2020年12月19日周六
> 下午8:29写道：
> > &gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt;
> >
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> >
> ------------------&amp;amp;nbsp;原始邮件&amp;amp;nbsp;------------------
> > &gt; &amp;gt; 发件人:
> > &gt;
> >
> &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> > &gt; "user-zh"
> > &gt;
> >
> &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> > &gt; <
> > &gt; &amp;gt; danrtsey.wy@gmail.com&amp;amp;gt;;
> > &gt; &amp;gt; 发送时间:&amp;amp;nbsp;2020年12月16日(星期三) 晚上7:21
> > &gt; &amp;gt; 收件人:&amp;amp;nbsp;"superainbower"<
> superainbower@163.com
> > &amp;amp;gt;;
> > &gt; &amp;gt; 抄送:&amp;amp;nbsp;"user-zh"<
> user-zh@flink.apache.org
> > &amp;amp;gt;;
> > &gt; &amp;gt; 主题:&amp;amp;nbsp;Re:
> flink-shaded-hadoop-2-uber版本如何选择
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt;
> >
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
> > &gt; &amp;gt;
> > &gt; &amp;gt; Best,
> > &gt; &amp;gt; Yang
> > &gt; &amp;gt;
> > &gt; &amp;gt; superainbower <superainbower@163.com
> &amp;amp;gt;
> > 于2020年12月16日周三 下午6:19写道：
> > &gt; &amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> > &gt; &amp;gt; &amp;amp;gt; 在2020年12月16日 10:53，Yang Wang <
> > danrtsey.wy@gmail.com&amp;amp;gt;
> > &gt; 写道：
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt;
> > &gt;
> >
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> > &gt; &amp;gt; &amp;amp;gt; 这样可以让Flink变得hadoop
> free，从而同时支持hadoop2和hadoop3
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> > 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt; [1].
> https://github.com/apache/flink-shaded
> > <https://github.com/apache/flink-shaded>>; &gt <
> https://github.com/apache/flink-shaded&gt>; &amp;gt;
> &amp;amp;gt;
> > [2].
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt;
> > &gt;
> >
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> >
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation>>;
> &gt
> > <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>
> ;;
> > &amp;gt
> > &gt; <
> >
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt
> >
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt>>;
> ;;
> > &gt; &amp;amp;gt
> > &gt; &amp;gt; <
> > &gt;
> >
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt
> >
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt>>;
> &gt
> > <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt&gt>
> ;;
> > ;
> > &gt; &amp;gt; ;
> > &gt; &amp;gt; &amp;amp;gt; Best,
> > &gt; &amp;gt; &amp;amp;gt; Yang
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt; 赢峰 <si_ji_feng@163.com
> &amp;amp;gt;
> > 于2020年12月11日周五 上午8:45写道：
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> flink-shaded-hadoop-2-uber版本如何选择？
> > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt; xxx-xxx
> 分别表示什么意思？
> > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
> > &gt; &amp;gt; &amp;amp;gt;
回复： flink-shaded-hadoop-2-uber版本如何选择
Posted by liujian <13...@qq.com>.
Thanks, 使用你下面的docker方式我测试确实可以,但是不知道Native K8s如何来操作,可以详细说一下
我现在是Dockerfile如下两种情况都试过
COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
ENTRYPOINT ["/docker-entrypoint.sh"]
EXPOSE 6123 8081 8082
CMD ["help","history-server"]
--------------------------------------------------------
COPY ./jar/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar /opt/flink/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
ENTRYPOINT ["/docker-entrypoint.sh","history-server"]
EXPOSE 6123 8081 8082
CMD ["help"]
这两种都尝试过...,请帮忙指教一下
------------------ 原始邮件 ------------------
发件人: "user-zh" <danrtsey.wy@gmail.com>;
发送时间: 2020年12月21日(星期一) 下午3:08
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink-shaded-hadoop-2-uber版本如何选择
是的，理解没有错，history-server会启动后listen一个端口
我这边尝试是没有问题的，你可以通过如下命令启动
docker run -p 8082:8082 --env
FLINK_PROPERTIES="historyserver.archive.fs.dir: file:///tmp/flink-jobs"
flink:latest history-server
更多配置你参考如下文档
https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html
Best,
Yang
liujian <13597820935@qq.com> 于2020年12月21日周一 下午1:35写道：
> 我理解的是启动一个history-server,会有一个进程,然后会暴露指定的端口,但是我好像并没有看到这样的效果,是我的理解有错吗
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
> "user-zh"
> <
> danrtsey.wy@gmail.com&gt;;
> 发送时间:&nbsp;2020年12月21日(星期一) 上午10:15
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
>
> 你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了
>
> [1].
> https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
>
> Best,
> Yang
>
>
> liujian <13597820935@qq.com&gt; 于2020年12月20日周日 下午12:45写道：
>
> &gt; Thanks,&amp;nbsp;
> &gt; &amp;nbsp; &amp;nbsp; &amp;nbsp;但是我需要访问historyServer,那么应该需要如何操作我将flink
> &gt; 1.12.0的Dockerfile 修改成CMD ["history-server"]&amp;nbsp;
> 并暴露8082端口,但是好像达不到这个效果
> &gt;
> &gt;
> &gt;
> &gt;
> &gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
> &gt; 发件人:
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> "user-zh"
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> <
> &gt; danrtsey.wy@gmail.com&amp;gt;;
> &gt; 发送时间:&amp;nbsp;2020年12月19日(星期六) 晚上9:35
> &gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
> &gt;
> &gt; 主题:&amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> &gt;
> &gt;
> &gt;
> &gt; 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> &gt; Flink
> &gt;
> &gt;
> Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
> &gt;
> 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
> &gt;
> &gt;
> &gt; Best,
> &gt; Yang
> &gt;
> &gt; liujian <13597820935@qq.com&amp;gt; 于2020年12月19日周六 下午8:29写道：
> &gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt;
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> ------------------&amp;amp;nbsp;原始邮件&amp;amp;nbsp;------------------
> &gt; &amp;gt; 发件人:
> &gt;
> &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> &gt; "user-zh"
> &gt;
> &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;
> &gt; <
> &gt; &amp;gt; danrtsey.wy@gmail.com&amp;amp;gt;;
> &gt; &amp;gt; 发送时间:&amp;amp;nbsp;2020年12月16日(星期三) 晚上7:21
> &gt; &amp;gt; 收件人:&amp;amp;nbsp;"superainbower"<superainbower@163.com
> &amp;amp;gt;;
> &gt; &amp;gt; 抄送:&amp;amp;nbsp;"user-zh"<user-zh@flink.apache.org
> &amp;amp;gt;;
> &gt; &amp;gt; 主题:&amp;amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt;
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
> &gt; &amp;gt;
> &gt; &amp;gt; Best,
> &gt; &amp;gt; Yang
> &gt; &amp;gt;
> &gt; &amp;gt; superainbower <superainbower@163.com&amp;amp;gt;
> 于2020年12月16日周三 下午6:19写道：
> &gt; &amp;gt;
> &gt; &amp;gt; &amp;amp;gt; 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> &gt; &amp;gt; &amp;amp;gt; 在2020年12月16日 10:53，Yang Wang <
> danrtsey.wy@gmail.com&amp;amp;gt;
> &gt; 写道：
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> &gt; &amp;gt; &amp;amp;gt; 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; [1]. https://github.com/apache/flink-shaded
> &gt <https://github.com/apache/flink-shaded&gt>; &amp;gt; &amp;amp;gt;
> [2].
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt;
> &gt;
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> &gt
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>;
> &amp;gt
> &gt; <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt
> ;;
> &gt; &amp;amp;gt
> &gt; &amp;gt; <
> &gt;
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt
> &gt
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;amp;gt&amp;gt&gt>;
> ;
> &gt; &amp;gt; ;
> &gt; &amp;gt; &amp;amp;gt; Best,
> &gt; &amp;gt; &amp;amp;gt; Yang
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; 赢峰 <si_ji_feng@163.com&amp;amp;gt;
> 于2020年12月11日周五 上午8:45写道：
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt; flink-shaded-hadoop-2-uber版本如何选择？
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt; xxx-xxx 分别表示什么意思？
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
> &gt; &amp;gt; &amp;amp;gt;
Re: flink-shaded-hadoop-2-uber版本如何选择
Posted by Yang Wang <da...@gmail.com>.
是的，理解没有错，history-server会启动后listen一个端口
我这边尝试是没有问题的，你可以通过如下命令启动
docker run -p 8082:8082 --env
FLINK_PROPERTIES="historyserver.archive.fs.dir: file:///tmp/flink-jobs"
flink:latest history-server
更多配置你参考如下文档
https://ci.apache.org/projects/flink/flink-docs-master/deployment/advanced/historyserver.html
Best,
Yang
liujian <13...@qq.com> 于2020年12月21日周一 下午1:35写道：
> 我理解的是启动一个history-server,会有一个进程,然后会暴露指定的端口,但是我好像并没有看到这样的效果,是我的理解有错吗
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> danrtsey.wy@gmail.com>;
> 发送时间: 2020年12月21日(星期一) 上午10:15
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
>
> 你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了
>
> [1].
> https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
>
> Best,
> Yang
>
>
> liujian <13597820935@qq.com> 于2020年12月20日周日 下午12:45写道：
>
> > Thanks,&nbsp;
> > &nbsp; &nbsp; &nbsp;但是我需要访问historyServer,那么应该需要如何操作我将flink
> > 1.12.0的Dockerfile 修改成CMD ["history-server"]&nbsp;
> 并暴露8082端口,但是好像达不到这个效果
> >
> >
> >
> >
> > ------------------&nbsp;原始邮件&nbsp;------------------
> > 发件人:
> >
> "user-zh"
> >
> <
> > danrtsey.wy@gmail.com&gt;;
> > 发送时间:&nbsp;2020年12月19日(星期六) 晚上9:35
> > 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
> >
> > 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> >
> >
> >
> > 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> > Flink
> >
> >
> Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
> >
> 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
> >
> >
> > Best,
> > Yang
> >
> > liujian <13597820935@qq.com&gt; 于2020年12月19日周六 下午8:29写道：
> >
> > &gt;
> > &gt;
> >
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
> > &gt;
> > &gt;
> > &gt;
> ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
> > &gt; 发件人:
> >
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > "user-zh"
> >
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> > <
> > &gt; danrtsey.wy@gmail.com&amp;gt;;
> > &gt; 发送时间:&amp;nbsp;2020年12月16日(星期三) 晚上7:21
> > &gt; 收件人:&amp;nbsp;"superainbower"<superainbower@163.com
> &amp;gt;;
> > &gt; 抄送:&amp;nbsp;"user-zh"<user-zh@flink.apache.org
> &amp;gt;;
> > &gt; 主题:&amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> > &gt;
> >
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
> > &gt;
> > &gt; Best,
> > &gt; Yang
> > &gt;
> > &gt; superainbower <superainbower@163.com&amp;gt;
> 于2020年12月16日周三 下午6:19写道：
> > &gt;
> > &gt; &amp;gt; 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> > &gt; &amp;gt; 在2020年12月16日 10:53，Yang Wang <
> danrtsey.wy@gmail.com&amp;gt;
> > 写道：
> > &gt; &amp;gt;
> > &gt; &amp;gt; 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> > &gt; &amp;gt;
> > &gt; &amp;gt; 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt;
> >
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> > &gt; &amp;gt; 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt; [1]. https://github.com/apache/flink-shaded
> > <https://github.com/apache/flink-shaded>>; &gt; &amp;gt;
> [2].
> > &gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt;
> >
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> >
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation>>;
> &gt
> > <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>
> ;;
> > &amp;gt
> > &gt; <
> >
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt
> >
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt>>;
> ;
> > &gt; ;
> > &gt; &amp;gt; Best,
> > &gt; &amp;gt; Yang
> > &gt; &amp;gt;
> > &gt; &amp;gt; 赢峰 <si_ji_feng@163.com&amp;gt;
> 于2020年12月11日周五 上午8:45写道：
> > &gt; &amp;gt;
> > &gt; &amp;gt; &amp;gt; flink-shaded-hadoop-2-uber版本如何选择？
> > &gt; &amp;gt; &amp;gt;
> > &gt; &amp;gt; &amp;gt;
> > &gt; &amp;gt; &amp;gt; xxx-xxx 分别表示什么意思？
> > &gt; &amp;gt; &amp;gt;
> > &gt; &amp;gt; &amp;gt;
> > &gt; &amp;gt; &amp;gt;
> > &gt; &amp;gt;
> > &gt; &amp;gt;
回复： flink-shaded-hadoop-2-uber版本如何选择
Posted by liujian <13...@qq.com>.
我理解的是启动一个history-server,会有一个进程,然后会暴露指定的端口,但是我好像并没有看到这样的效果,是我的理解有错吗
------------------ 原始邮件 ------------------
发件人: "user-zh" <danrtsey.wy@gmail.com>;
发送时间: 2020年12月21日(星期一) 上午10:15
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink-shaded-hadoop-2-uber版本如何选择
你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了
[1].
https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
Best,
Yang
liujian <13597820935@qq.com> 于2020年12月20日周日 下午12:45写道：
> Thanks,&nbsp;
> &nbsp; &nbsp; &nbsp;但是我需要访问historyServer,那么应该需要如何操作我将flink
> 1.12.0的Dockerfile 修改成CMD ["history-server"]&nbsp; 并暴露8082端口,但是好像达不到这个效果
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
> "user-zh"
> <
> danrtsey.wy@gmail.com&gt;;
> 发送时间:&nbsp;2020年12月19日(星期六) 晚上9:35
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
> 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> Flink
>
> Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
> 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
>
>
> Best,
> Yang
>
> liujian <13597820935@qq.com&gt; 于2020年12月19日周六 下午8:29写道：
>
> &gt;
> &gt;
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
> &gt;
> &gt;
> &gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
> &gt; 发件人:
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> "user-zh"
> &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
> <
> &gt; danrtsey.wy@gmail.com&amp;gt;;
> &gt; 发送时间:&amp;nbsp;2020年12月16日(星期三) 晚上7:21
> &gt; 收件人:&amp;nbsp;"superainbower"<superainbower@163.com&amp;gt;;
> &gt; 抄送:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
> &gt; 主题:&amp;nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> &gt;
> &gt;
> &gt;
> &gt;
> &gt;
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
> &gt;
> &gt; Best,
> &gt; Yang
> &gt;
> &gt; superainbower <superainbower@163.com&amp;gt; 于2020年12月16日周三 下午6:19写道：
> &gt;
> &gt; &amp;gt; 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> &gt; &amp;gt; 在2020年12月16日 10:53，Yang Wang <danrtsey.wy@gmail.com&amp;gt;
> 写道：
> &gt; &amp;gt;
> &gt; &amp;gt; 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> &gt; &amp;gt;
> &gt; &amp;gt; 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt;
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> &gt; &amp;gt; 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
> &gt; &amp;gt;
> &gt; &amp;gt; 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt; [1]. https://github.com/apache/flink-shaded
> &gt; &amp;gt; [2].
> &gt; &amp;gt;
> &gt; &amp;gt;
> &gt;
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> &gt
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>;
> &amp;gt
> &gt; <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&amp;gt&gt
> ;
> &gt; ;
> &gt; &amp;gt; Best,
> &gt; &amp;gt; Yang
> &gt; &amp;gt;
> &gt; &amp;gt; 赢峰 <si_ji_feng@163.com&amp;gt; 于2020年12月11日周五 上午8:45写道：
> &gt; &amp;gt;
> &gt; &amp;gt; &amp;gt; flink-shaded-hadoop-2-uber版本如何选择？
> &gt; &amp;gt; &amp;gt;
> &gt; &amp;gt; &amp;gt;
> &gt; &amp;gt; &amp;gt; xxx-xxx 分别表示什么意思？
> &gt; &amp;gt; &amp;gt;
> &gt; &amp;gt; &amp;gt;
> &gt; &amp;gt; &amp;gt;
> &gt; &amp;gt;
> &gt; &amp;gt;
Re: flink-shaded-hadoop-2-uber版本如何选择
Posted by Yang Wang <da...@gmail.com>.
你不需要修改CMD，entrypoint默认是docker-entrypoint.sh[1]，是支持history-server的，只要传一个history-server的参数就可以了
[1].
https://github.com/apache/flink-docker/blob/dev-master/docker-entrypoint.sh
Best,
Yang
liujian <13...@qq.com> 于2020年12月20日周日 下午12:45写道：
> Thanks,
> 但是我需要访问historyServer,那么应该需要如何操作我将flink
> 1.12.0的Dockerfile 修改成CMD ["history-server"] 并暴露8082端口,但是好像达不到这个效果
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> danrtsey.wy@gmail.com>;
> 发送时间: 2020年12月19日(星期六) 晚上9:35
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
> 你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
> Flink
>
> Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
> 同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
>
>
> Best,
> Yang
>
> liujian <13597820935@qq.com> 于2020年12月19日周六 下午8:29写道：
>
> >
> >
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
> >
> >
> > ------------------&nbsp;原始邮件&nbsp;------------------
> > 发件人:
> >
> "user-zh"
> >
> <
> > danrtsey.wy@gmail.com&gt;;
> > 发送时间:&nbsp;2020年12月16日(星期三) 晚上7:21
> > 收件人:&nbsp;"superainbower"<superainbower@163.com&gt;;
> > 抄送:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
> > 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
> >
> >
> >
> >
> >
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
> >
> > Best,
> > Yang
> >
> > superainbower <superainbower@163.com&gt; 于2020年12月16日周三 下午6:19写道：
> >
> > &gt; 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> > &gt; 在2020年12月16日 10:53，Yang Wang <danrtsey.wy@gmail.com&gt;
> 写道：
> > &gt;
> > &gt; 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> > &gt;
> > &gt; 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> > &gt;
> > &gt;
> >
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> > &gt; 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
> > &gt;
> > &gt; 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> > &gt;
> > &gt;
> > &gt; [1]. https://github.com/apache/flink-shaded
> > &gt; [2].
> > &gt;
> > &gt;
> >
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> >
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation>>;
> &gt
> > <
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>
> ;
> > ;
> > &gt; Best,
> > &gt; Yang
> > &gt;
> > &gt; 赢峰 <si_ji_feng@163.com&gt; 于2020年12月11日周五 上午8:45写道：
> > &gt;
> > &gt; &gt; flink-shaded-hadoop-2-uber版本如何选择？
> > &gt; &gt;
> > &gt; &gt;
> > &gt; &gt; xxx-xxx 分别表示什么意思？
> > &gt; &gt;
> > &gt; &gt;
> > &gt; &gt;
> > &gt;
> > &gt;
回复： flink-shaded-hadoop-2-uber版本如何选择
Posted by liujian <13...@qq.com>.
Thanks,
但是我需要访问historyServer,那么应该需要如何操作我将flink 1.12.0的Dockerfile 修改成CMD ["history-server"] 并暴露8082端口,但是好像达不到这个效果
------------------ 原始邮件 ------------------
发件人: "user-zh" <danrtsey.wy@gmail.com>;
发送时间: 2020年12月19日(星期六) 晚上9:35
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink-shaded-hadoop-2-uber版本如何选择
你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
Flink
Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
Best,
Yang
liujian <13597820935@qq.com> 于2020年12月19日周六 下午8:29写道：
>
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
> "user-zh"
> <
> danrtsey.wy@gmail.com&gt;;
> 发送时间:&nbsp;2020年12月16日(星期三) 晚上7:21
> 收件人:&nbsp;"superainbower"<superainbower@163.com&gt;;
> 抄送:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
> 主题:&nbsp;Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
>
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
>
> Best,
> Yang
>
> superainbower <superainbower@163.com&gt; 于2020年12月16日周三 下午6:19写道：
>
> &gt; 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> &gt; 在2020年12月16日 10:53，Yang Wang <danrtsey.wy@gmail.com&gt; 写道：
> &gt;
> &gt; 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> &gt;
> &gt; 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> &gt;
> &gt;
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> &gt; 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
> &gt;
> &gt; 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> &gt;
> &gt;
> &gt; [1]. https://github.com/apache/flink-shaded
> &gt; [2].
> &gt;
> &gt;
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> &gt
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation&gt>
> ;
> &gt; Best,
> &gt; Yang
> &gt;
> &gt; 赢峰 <si_ji_feng@163.com&gt; 于2020年12月11日周五 上午8:45写道：
> &gt;
> &gt; &gt; flink-shaded-hadoop-2-uber版本如何选择？
> &gt; &gt;
> &gt; &gt;
> &gt; &gt; xxx-xxx 分别表示什么意思？
> &gt; &gt;
> &gt; &gt;
> &gt; &gt;
> &gt;
> &gt;
Re: flink-shaded-hadoop-2-uber版本如何选择
Posted by Yang Wang <da...@gmail.com>.
你只需要在Flink Client端设置HADOOP_CONF_DIR的环境就可以了
Flink
Client会自动把hdfs-site.xml、core-site.xml文件通过创建一个单独ConfigMap，然后挂载给JobManager和TaskManager的
同时这两个配置也会自动加载到classpath下，只需要lib下放了flink-shaded-hadoop，就不需要做其他事情，可以直接访问hdfs的
Best,
Yang
liujian <13...@qq.com> 于2020年12月19日周六 下午8:29写道：
>
> HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> danrtsey.wy@gmail.com>;
> 发送时间: 2020年12月16日(星期三) 晚上7:21
> 收件人: "superainbower"<superainbower@163.com>;
> 抄送: "user-zh"<user-zh@flink.apache.org>;
> 主题: Re: flink-shaded-hadoop-2-uber版本如何选择
>
>
>
>
> 如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
>
> Best,
> Yang
>
> superainbower <superainbower@163.com> 于2020年12月16日周三 下午6:19写道：
>
> > 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> > 在2020年12月16日 10:53，Yang Wang <danrtsey.wy@gmail.com> 写道：
> >
> > 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
> >
> > 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
> >
> >
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> > 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
> >
> > 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
> >
> >
> > [1]. https://github.com/apache/flink-shaded
> > [2].
> >
> >
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
> >
> <https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation>>
> ;
> > Best,
> > Yang
> >
> > 赢峰 <si_ji_feng@163.com> 于2020年12月11日周五 上午8:45写道：
> >
> > > flink-shaded-hadoop-2-uber版本如何选择？
> > >
> > >
> > > xxx-xxx 分别表示什么意思？
> > >
> > >
> > >
> >
> >
回复： flink-shaded-hadoop-2-uber版本如何选择
Posted by liujian <13...@qq.com>.
HDFS是Ha模式,需要指定hdfs-site.xml,这该怎么处理,使用configMap还是将hdfs-site.xml放入到$FLINK_HOME/conf目录下
------------------ 原始邮件 ------------------
发件人: "user-zh" <danrtsey.wy@gmail.com>;
发送时间: 2020年12月16日(星期三) 晚上7:21
收件人: "superainbower"<superainbower@163.com>;
抄送: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink-shaded-hadoop-2-uber版本如何选择
如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
Best,
Yang
superainbower <superainbower@163.com> 于2020年12月16日周三 下午6:19写道：
> 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> 在2020年12月16日 10:53，Yang Wang <danrtsey.wy@gmail.com> 写道：
>
> 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
>
> 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
>
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
>
> 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
>
>
> [1]. https://github.com/apache/flink-shaded
> [2].
>
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
>
> Best,
> Yang
>
> 赢峰 <si_ji_feng@163.com> 于2020年12月11日周五 上午8:45写道：
>
> > flink-shaded-hadoop-2-uber版本如何选择？
> >
> >
> > xxx-xxx 分别表示什么意思？
> >
> >
> >
>
>
Re: flink-shaded-hadoop-2-uber版本如何选择
Posted by Yang Wang <da...@gmail.com>.
如果是在K8s上面访问hdfs，还是需要把flink-shaded-hadoop放到lib目录下，因为目前hadoop的FileSystem并不支持plugin加载
Best,
Yang
superainbower <su...@163.com> 于2020年12月16日周三 下午6:19写道：
> 借楼请问下，部署到K8S上怎么访问HDFS呢，目前我还是把shaded的jar打到镜像里面去
> 在2020年12月16日 10:53，Yang Wang <da...@gmail.com> 写道：
>
> 以flink-shaded-hadoop-2-uber的2.8.3-10.0为例
>
> 2.8.3指的hadoop的版本，10.0指定的flink-shaded[1]的版本
>
> 社区从1.10开始不再推荐使用flink-shaded-hadoop的方式，而且通过设置HADOOP_CLASSPATH环境变量来提交[2]，
> 这样可以让Flink变得hadoop free，从而同时支持hadoop2和hadoop3
>
> 如果你还坚持使用flink-shaded-hadoop，那就建议使用最新的版本就可以了2.8.3-10.0
>
>
> [1]. https://github.com/apache/flink-shaded
> [2].
>
> https://ci.apache.org/projects/flink/flink-docs-master/deployment/resource-providers/yarn.html#preparation
>
> Best,
> Yang
>
> 赢峰 <si...@163.com> 于2020年12月11日周五 上午8:45写道：
>
> > flink-shaded-hadoop-2-uber版本如何选择？
> >
> >
> > xxx-xxx 分别表示什么意思？
> >
> >
> >
>
>