回复： flink 访问hadoop集群问题

[了不起的盖茨比 <57...@qq.com>]

thanks very much ！！！
就是resource目录 没有hdfs-site.xml




------------------ 原始邮件 ------------------
发件人:&nbsp;"wangweiguang@stevegame.cn"<wangweiguang@stevegame.cn&gt;;
发送时间:&nbsp;2020年5月29日(星期五) 下午3:19
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;回复: flink 访问hadoop集群问题



&nbsp;&nbsp; 对于cdh集群的hdfs，默认端口是8020，这里你用 hdfs://TestHACluster/user/flink/test 或者&nbsp; hdfs://TestHACluster:8020/user/flink/test，其实效果是一样的，
&nbsp;&nbsp; 你这里应该是flink无法解析TestHACluster这个Namespace，hdfs做了HA的情况，应该是需要添加hive-site.xml，hdfs-site.xml，我也去测试下！


&nbsp;
发件人： 了不起的盖茨比
发送时间： 2020-05-29 15:06
收件人： user-zh
主题： flink 访问hadoop集群问题
请教大家一个问题 ，
hadoop服务TestHACluster，可是我用api访问时候，填写了path hdfs://TestHACluster/user/flink/test&amp;nbsp;&amp;nbsp;
就会去访问TestHACluster:8020， 但是我是没有那个端口的，针对这种情况怎么处理下。
因为这个问题，我后面去操作hive时候也是会提示问题，无法连接TestHACluster:8020
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String&amp;gt; input = env.fromCollection(Arrays.asList("1","2"));
&nbsp;
StreamingFileSink<String&amp;gt; sink = StreamingFileSink.forRowFormat(
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; new Path("hdfs://TestHACluster/user/flink/test"),
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; new SimpleStringEncoder<String&amp;gt;(Encoder.UTF_8))
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; .withBucketAssigner(new DateTimeBucketAssigner<&amp;gt;())
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; .build();
input.addSink(sink);
env.execute();