You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 孙森 <se...@163.com> on 2019/03/04 10:41:49 UTC
jobmanager重启之后，job没有重启
大家好：
有配置过flink ha吗？我配置了yarn高可用之后，kill掉job manager 之后，jobmanager可以成功重启，但是yarn session上正在运行的job并没有重启。我程序是开启了checkpoint的。有谁遇到过吗？是我配置的问题还是什么原因？
附上高可用配置：
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: h1:2181,h2:2181,h3:2181
high-availability.zookeeper.path.root: /flink
yarn.application-attempts: 2
Thanks!
Re: jobmanager重启之后，job没有重启
Posted by 孙森 <se...@163.com>.
Hi 韩非：
我这边使用flink run -m的方式提交的job，如果配置为zookeeper就会提交失败，所以才改为这种方式。我的jobmanager也可以成功切换，但是之前的运行的job并没有成功重启。你那边有观察Job的重启情况吗？
Best
Sen
> 在 2019年3月4日，下午10:01，Fei Han <ha...@aliyun.com.INVALID> 写道：
>
> 杨森：
> 你好！对于Flink on yarn 模式 flink-conf.yaml中的配置如下：
> high-availability: zookeeper
>
> high-availability.zookeeper.quorum: cdh1:2181,cdh2:2181,cdh3:2181
>
> high-availability.storageDir: hdfs://cdh1:9000/flink/recovery
>
> high-availability.zookeeper.path.root: /flink
>
> state.backend: filesystem
>
> state.backend.fs.checkpointdir: hdfs://cdh1:9000/flink/checkpoints
>
> fs.hdfs.hadoopconf: /usr/local/hadoop-2.7.4/etc/hadoop
>
> yarn-site.xml中的配置如下：
>
>
> <property>
>
> <name>yarn.resourcemanager.am.max-attempts</name>
>
> <value>4</value>
>
> </property>
>
> 以上的默认配置，你也可以在程序中配置，默认配置和程序都配置试试。
>
>
>
> 如图看到Attempt ID由000001变为000002，进程也有所变化，，说明HA切换成功了。
>
> 希望这些内容帮助到你。
>
> Best,
>
> 韩非
>
>
>
> ------------------------------------------------------------------
> 发件人：孙森 <se...@163.com>
> 发送时间：2019年3月4日(星期一) 18:41
> 收件人：user-zh <us...@flink.apache.org>
> 主 题：jobmanager重启之后，job没有重启
>
> 大家好：
> 有配置过flink ha吗？我配置了yarn高可用之后，kill掉job manager 之后，jobmanager可以成功重启，但是yarn session上正在运行的job并没有重启。我程序是开启了checkpoint的。有谁遇到过吗？是我配置的问题还是什么原因？
>
> 附上高可用配置：
>
> high-availability.storageDir: hdfs:///flink/ha/
> high-availability.zookeeper.quorum: h1:2181,h2:2181,h3:2181
> high-availability.zookeeper.path.root: /flink
> yarn.application-attempts: 2
>
>
> Thanks!
>
>
Re: jobmanager重启之后，job没有重启
Posted by 孙森 <se...@163.com>.
Hi 韩非：
我这边使用flink run -m的方式提交的job，如果配置为zookeeper就会提交失败，所以才改为这种方式。我的jobmanager也可以成功切换，但是之前的运行的job并没有成功重启。你那边有观察Job的重启情况吗？
Best
Sen
> 在 2019年3月4日，下午10:01，Fei Han <ha...@aliyun.com.INVALID> 写道：
>
> 杨森：
> 你好！对于Flink on yarn 模式 flink-conf.yaml中的配置如下：
> high-availability: zookeeper
>
> high-availability.zookeeper.quorum: cdh1:2181,cdh2:2181,cdh3:2181
>
> high-availability.storageDir: hdfs://cdh1:9000/flink/recovery
>
> high-availability.zookeeper.path.root: /flink
>
> state.backend: filesystem
>
> state.backend.fs.checkpointdir: hdfs://cdh1:9000/flink/checkpoints
>
> fs.hdfs.hadoopconf: /usr/local/hadoop-2.7.4/etc/hadoop
>
> yarn-site.xml中的配置如下：
>
>
> <property>
>
> <name>yarn.resourcemanager.am.max-attempts</name>
>
> <value>4</value>
>
> </property>
>
> 以上的默认配置，你也可以在程序中配置，默认配置和程序都配置试试。
>
>
>
> 如图看到Attempt ID由000001变为000002，进程也有所变化，，说明HA切换成功了。
>
> 希望这些内容帮助到你。
>
> Best,
>
> 韩非
>
>
>
> ------------------------------------------------------------------
> 发件人：孙森 <se...@163.com>
> 发送时间：2019年3月4日(星期一) 18:41
> 收件人：user-zh <us...@flink.apache.org>
> 主 题：jobmanager重启之后，job没有重启
>
> 大家好：
> 有配置过flink ha吗？我配置了yarn高可用之后，kill掉job manager 之后，jobmanager可以成功重启，但是yarn session上正在运行的job并没有重启。我程序是开启了checkpoint的。有谁遇到过吗？是我配置的问题还是什么原因？
>
> 附上高可用配置：
>
> high-availability.storageDir: hdfs:///flink/ha/
> high-availability.zookeeper.quorum: h1:2181,h2:2181,h3:2181
> high-availability.zookeeper.path.root: /flink
> yarn.application-attempts: 2
>
>
> Thanks!
>
>
回复：jobmanager重启之后，job没有重启
Posted by Fei Han <ha...@aliyun.com.INVALID>.
杨森：
你好！对于Flink on yarn 模式 flink-conf.yaml中的配置如下：
high-availability: zookeeper
high-availability.zookeeper.quorum: cdh1:2181,cdh2:2181,cdh3:2181
high-availability.storageDir: hdfs://cdh1:9000/flink/recovery
high-availability.zookeeper.path.root: /flink
state.backend: filesystem
state.backend.fs.checkpointdir: hdfs://cdh1:9000/flink/checkpoints
fs.hdfs.hadoopconf: /usr/local/hadoop-2.7.4/etc/hadoop
yarn-site.xml中的配置如下：
<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>4</value>
</property>
以上的默认配置，你也可以在程序中配置，默认配置和程序都配置试试。
如图看到Attempt ID由000001变为000002，进程也有所变化，，说明HA切换成功了。
希望这些内容帮助到你。
Best,
韩非
------------------------------------------------------------------
发件人：孙森 <se...@163.com>
发送时间：2019年3月4日(星期一) 18:41
收件人：user-zh <us...@flink.apache.org>
主 题：jobmanager重启之后，job没有重启
大家好：
有配置过flink ha吗？我配置了yarn高可用之后，kill掉job manager 之后，jobmanager可以成功重启，但是yarn session上正在运行的job并没有重启。我程序是开启了checkpoint的。有谁遇到过吗？是我配置的问题还是什么原因？
附上高可用配置：
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: h1:2181,h2:2181,h3:2181
high-availability.zookeeper.path.root: /flink
yarn.application-attempts: 2
Thanks!