回复： flink on yarn ha 高可用问题

[天之痕 <57...@qq.com>]

请问该怎么处理，我目前在hadoop中配置了

<property>
 
        <name>fs.defaultFS</name>
 
        <value>hdfs://hacluster/</value>
     </property>



<property>
 
        <name>dfs.client.failover.proxy.provider.hacluster</name>
 
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
     </property>


hadoop中是能模拟namenode切换的


1.请问现在flink中怎么配置？目前flink的环境都安装了hadoop，导出了hadoop环境变量
2.如果要求客户端也要包含hdfs ha的配置，那是不是flink扩展的同时也到在对应的服务器上配置hadoop，同时进行hadoop扩展？








------------------ 原始邮件 ------------------
发件人: "Lin Li"<li...@gmail.com>;
发送时间: 2019年4月2日(星期二) 上午9:47
收件人: "user-zh"<us...@flink.apache.org>;

主题: Re: flink on yarn ha 高可用问题



hdfs ha mode 下配置 logical name (
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html
)
flink 中访问配置的 hdfs logical name (同时需要确保 flink task 运行环境 hdfs-client 中也包含了
hdfs ha 配置的 hdfs logical name 和实际指向的 namedone 映射关系)


天之痕 <57...@qq.com> 于2019年4月2日周二 上午9:07写道：

> flink on yarn ha模式下
> state.checkpoints.dir:
> hdfs://namenode-host:port/flink-checkpoints这个配置怎么配置能进行namenode能自动切换
>
> 现在只能指定namenode的hostname,假设这个namenode节点挂了,或者standby状态,flink任务checkpoint就报错，只能把节点起来，而且要将其切换为active节点
> 目前hadoop namenode已经进行ha部署了，手动kill 一个namenode进程能自动切换；暂时理解flink中这个配置貌似只能配死一个
>
>
> 请问如何解决这个问题，保证flink的高可用

Re: flink on yarn ha 高可用问题

[Biao Liu <mm...@gmail.com>]

Hi,
这问题其实跟 Flink 无关，请了解下 HDFS nameservice。正确配置 HDFS 后，在 Flink 中填写路径时就不需要写死 name
node 地址了

天之痕 <57...@qq.com> 于2019年4月2日周二 上午11:29写道：

> 请问该怎么处理，我目前在hadoop中配置了
>
> <property>
>
>         <name>fs.defaultFS</name>
>
>         <value>hdfs://hacluster/</value>
>      </property>
>
>
>
> <property>
>
>         <name>dfs.client.failover.proxy.provider.hacluster</name>
>
>
> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
>      </property>
>
>
> hadoop中是能模拟namenode切换的
>
>
> 1.请问现在flink中怎么配置？目前flink的环境都安装了hadoop，导出了hadoop环境变量
> 2.如果要求客户端也要包含hdfs ha的配置，那是不是flink扩展的同时也到在对应的服务器上配置hadoop，同时进行hadoop扩展？
>
>
>
>
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "Lin Li"<li...@gmail.com>;
> 发送时间: 2019年4月2日(星期二) 上午9:47
> 收件人: "user-zh"<us...@flink.apache.org>;
>
> 主题: Re: flink on yarn ha 高可用问题
>
>
>
> hdfs ha mode 下配置 logical name (
>
> https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html
> )
> flink 中访问配置的 hdfs logical name (同时需要确保 flink task 运行环境 hdfs-client 中也包含了
> hdfs ha 配置的 hdfs logical name 和实际指向的 namedone 映射关系)
>
>
> 天之痕 <57...@qq.com> 于2019年4月2日周二 上午9:07写道：
>
> > flink on yarn ha模式下
> > state.checkpoints.dir:
> > hdfs://namenode-host:port/flink-checkpoints这个配置怎么配置能进行namenode能自动切换
> >
> >
> 现在只能指定namenode的hostname,假设这个namenode节点挂了,或者standby状态,flink任务checkpoint就报错，只能把节点起来，而且要将其切换为active节点
> > 目前hadoop namenode已经进行ha部署了，手动kill
> 一个namenode进程能自动切换；暂时理解flink中这个配置貌似只能配死一个
> >
> >
> > 请问如何解决这个问题，保证flink的高可用