You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 了不起的盖茨比 <57...@qq.com> on 2020/05/29 07:06:21 UTC

flink 访问hadoop集群问题

请教大家一个问题 ，
hadoop服务TestHACluster，可是我用api访问时候，填写了path hdfs://TestHACluster/user/flink/test&nbsp;&nbsp;
就会去访问TestHACluster:8020， 但是我是没有那个端口的，针对这种情况怎么处理下。
因为这个问题，我后面去操作hive时候也是会提示问题，无法连接TestHACluster:8020
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String&gt; input = env.fromCollection(Arrays.asList("1","2"));

StreamingFileSink<String&gt; sink = StreamingFileSink.forRowFormat(
        new Path("hdfs://TestHACluster/user/flink/test"),
        new SimpleStringEncoder<String&gt;(Encoder.UTF_8))
        .withBucketAssigner(new DateTimeBucketAssigner<&gt;())
        .build();
input.addSink(sink);
env.execute();

回复：flink 访问hadoop集群问题

Posted by 了不起的盖茨比 <57...@qq.com>.
嗯嗯谢谢，放下面就OK了




------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"程龙"<13162790856@163.com&gt;;
发送时间:&nbsp;2020年5月29日(星期五) 下午3:20
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;Re:flink 访问hadoop集群问题









下面的代码是你本地运行的是吗 如果是本地需要最简单的方式 就是把hdfs-site.xml 和core-site.xml 配置文件放到资源目录下











在 2020-05-29 15:06:21，"了不起的盖茨比" <573693104@qq.com&gt; 写道：
&gt;请教大家一个问题 ，
&gt;hadoop服务TestHACluster，可是我用api访问时候，填写了path hdfs://TestHACluster/user/flink/test&amp;nbsp;&amp;nbsp;
&gt;就会去访问TestHACluster:8020， 但是我是没有那个端口的，针对这种情况怎么处理下。
&gt;因为这个问题，我后面去操作hive时候也是会提示问题，无法连接TestHACluster:8020
&gt;StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
&gt;DataStream<String&amp;gt; input = env.fromCollection(Arrays.asList("1","2"));
&gt;
&gt;StreamingFileSink<String&amp;gt; sink = StreamingFileSink.forRowFormat(
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; new Path("hdfs://TestHACluster/user/flink/test"),
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; new SimpleStringEncoder<String&amp;gt;(Encoder.UTF_8))
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; .withBucketAssigner(new DateTimeBucketAssigner<&amp;gt;())
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; .build();
&gt;input.addSink(sink);
&gt;env.execute();

Re:flink 访问hadoop集群问题

Posted by 程龙 <13...@163.com>.





下面的代码是你本地运行的是吗 如果是本地需要最简单的方式 就是把hdfs-site.xml 和core-site.xml 配置文件放到资源目录下











在 2020-05-29 15:06:21，"了不起的盖茨比" <57...@qq.com> 写道：
>请教大家一个问题 ，
>hadoop服务TestHACluster，可是我用api访问时候，填写了path hdfs://TestHACluster/user/flink/test&nbsp;&nbsp;
>就会去访问TestHACluster:8020， 但是我是没有那个端口的，针对这种情况怎么处理下。
>因为这个问题，我后面去操作hive时候也是会提示问题，无法连接TestHACluster:8020
>StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
>DataStream<String&gt; input = env.fromCollection(Arrays.asList("1","2"));
>
>StreamingFileSink<String&gt; sink = StreamingFileSink.forRowFormat(
>        new Path("hdfs://TestHACluster/user/flink/test"),
>        new SimpleStringEncoder<String&gt;(Encoder.UTF_8))
>        .withBucketAssigner(new DateTimeBucketAssigner<&gt;())
>        .build();
>input.addSink(sink);
>env.execute();

回复： flink 访问hadoop集群问题

Posted by 了不起的盖茨比 <57...@qq.com>.
thanks very much ！！！
就是resource目录 没有hdfs-site.xml




------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"wangweiguang@stevegame.cn"<wangweiguang@stevegame.cn&gt;;
发送时间:&nbsp;2020年5月29日(星期五) 下午3:19
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;回复: flink 访问hadoop集群问题



&nbsp;&nbsp; 对于cdh集群的hdfs，默认端口是8020，这里你用 hdfs://TestHACluster/user/flink/test 或者&nbsp; hdfs://TestHACluster:8020/user/flink/test，其实效果是一样的，
&nbsp;&nbsp; 你这里应该是flink无法解析TestHACluster这个Namespace，hdfs做了HA的情况，应该是需要添加hive-site.xml，hdfs-site.xml，我也去测试下！


&nbsp;
发件人： 了不起的盖茨比
发送时间： 2020-05-29 15:06
收件人： user-zh
主题： flink 访问hadoop集群问题
请教大家一个问题 ，
hadoop服务TestHACluster，可是我用api访问时候，填写了path hdfs://TestHACluster/user/flink/test&amp;nbsp;&amp;nbsp;
就会去访问TestHACluster:8020， 但是我是没有那个端口的，针对这种情况怎么处理下。
因为这个问题，我后面去操作hive时候也是会提示问题，无法连接TestHACluster:8020
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String&amp;gt; input = env.fromCollection(Arrays.asList("1","2"));
&nbsp;
StreamingFileSink<String&amp;gt; sink = StreamingFileSink.forRowFormat(
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; new Path("hdfs://TestHACluster/user/flink/test"),
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; new SimpleStringEncoder<String&amp;gt;(Encoder.UTF_8))
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; .withBucketAssigner(new DateTimeBucketAssigner<&amp;gt;())
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; .build();
input.addSink(sink);
env.execute();

回复: flink 访问hadoop集群问题

Posted by "wangweiguang@stevegame.cn" <wa...@stevegame.cn>.
   对于cdh集群的hdfs，默认端口是8020，这里你用 hdfs://TestHACluster/user/flink/test 或者  hdfs://TestHACluster:8020/user/flink/test，其实效果是一样的，
   你这里应该是flink无法解析TestHACluster这个Namespace，hdfs做了HA的情况，应该是需要添加hive-site.xml，hdfs-site.xml，我也去测试下！


 
发件人： 了不起的盖茨比
发送时间： 2020-05-29 15:06
收件人： user-zh
主题： flink 访问hadoop集群问题
请教大家一个问题 ，
hadoop服务TestHACluster，可是我用api访问时候，填写了path hdfs://TestHACluster/user/flink/test&nbsp;&nbsp;
就会去访问TestHACluster:8020， 但是我是没有那个端口的，针对这种情况怎么处理下。
因为这个问题，我后面去操作hive时候也是会提示问题，无法连接TestHACluster:8020
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String&gt; input = env.fromCollection(Arrays.asList("1","2"));
 
StreamingFileSink<String&gt; sink = StreamingFileSink.forRowFormat(
        new Path("hdfs://TestHACluster/user/flink/test"),
        new SimpleStringEncoder<String&gt;(Encoder.UTF_8))
        .withBucketAssigner(new DateTimeBucketAssigner<&gt;())
        .build();
input.addSink(sink);
env.execute();