回复：在已有 Hadoop 外搭建 standalone 模式 HA flink 集群

[Andrew <87...@qq.com>]

https://ci.apache.org/projects/flink/flink-docs-stable/ops/jobmanager_high_availability.html




---原始邮件---
发件人: "wanglei2@geekplus.com.cn"<wanglei2@geekplus.com.cn&gt;
发送时间: 2020年5月7日(周四) 中午12:23
收件人: "user-zh"<user-zh@flink.apache.org&gt;;
主题: 在已有 Hadoop 外搭建 standalone 模式 HA flink 集群



现在已经有了一个 Hadoop 集群。
我想在这个 集群外（不同的机器，网络互通）部署一个 standalone 模式的 flink cluster，配置 jobmanager 的 HA，访问和使用已有 Hadoop 的 HDFS，使用已有 Hadoop 的 zookeeper 

这个有参考文档怎么操作吗？

谢谢，
王磊



wanglei2@geekplus.com.cn

Re: 回复：在已有 Hadoop 外搭建 standalone 模式 HA flink 集群

["wanglei2@geekplus.com.cn" <wa...@geekplus.com.cn>]

我试了下是可以的，但现在有一个访问 HDFS 的问题。

我用的 hadoop 是阿里云 EMR 管理， 在 EMR 管理的机器上可以以 hdfs://emr-cluster:8020/ 访问 HDFS

但我部署的 Flink 不属于 EMR 管理，这个地址是不能解析的，我只能写成  hdfs://active-namenode-ip:8020/ 的形式，NameNode 丧失了 HA 的功能

有什么方式解决这个问题吗？

谢谢，
王磊



wanglei2@geekplus.com.cn

Sender: Andrew
Send Time: 2020-05-07 12:31
Receiver: user-zh
Subject: 回复：在已有 Hadoop 外搭建 standalone 模式 HA flink 集群
https://ci.apache.org/projects/flink/flink-docs-stable/ops/jobmanager_high_availability.html
 
 
 
 
---原始邮件---
发件人: "wanglei2@geekplus.com.cn"<wanglei2@geekplus.com.cn&gt;
发送时间: 2020年5月7日(周四) 中午12:23
收件人: "user-zh"<user-zh@flink.apache.org&gt;;
主题: 在已有 Hadoop 外搭建 standalone 模式 HA flink 集群
 
 
 
现在已经有了一个 Hadoop 集群。
我想在这个 集群外（不同的机器，网络互通）部署一个 standalone 模式的 flink cluster，配置 jobmanager 的 HA，访问和使用已有 Hadoop 的 HDFS，使用已有 Hadoop 的 zookeeper 
 
这个有参考文档怎么操作吗？
 
谢谢，
王磊
 
 
 
wanglei2@geekplus.com.cn