Flink应用高可靠

[andrew <15...@163.com>]

Dear Flink：
      你好！ 现有一个需求，Flink实时计算平台任务对下游用户很重要，不能出问题。单位准备搭建一套灾备大数据实时集群（kakfa/yarn/hdfs）去部署相同的Flink任务，做应用热备或冷备部署! 下游业务系统没有做双活热备部署！ 疑问是:
   1.  主集群故障，切换灾备集群
          涉及有大量带中间状态的数据实时应用一旦主集群出问题，灾备集群如何同步最新状态的数据进行计算
   2.  主集群若恢复，灾备集群切换后的正常任务如何做数据回迁处理


针对上述需求，社区有没有案例可以提供测试验证！谢谢

Re: Flink应用高可靠

[Zhanghao Chen <m1...@outlook.com>]

冷备部署的话可以通过一个外围的作业管控服务定期做 savepoint 并拷贝到另一条链路的 HDFS 集群上，故障时从另一条链路重启作业即可。

Best,
Zhanghao Chen
________________________________
From: andrew <15...@163.com>
Sent: Monday, July 25, 2022 10:05:39 PM
To: user-zh <us...@flink.apache.org>
Subject: Flink应用高可靠

Dear Flink：
      你好！ 现有一个需求，Flink实时计算平台任务对下游用户很重要，不能出问题。单位准备搭建一套灾备大数据实时集群（kakfa/yarn/hdfs）去部署相同的Flink任务，做应用热备或冷备部署! 下游业务系统没有做双活热备部署！ 疑问是:
   1.  主集群故障，切换灾备集群
          涉及有大量带中间状态的数据实时应用一旦主集群出问题，灾备集群如何同步最新状态的数据进行计算
   2.  主集群若恢复，灾备集群切换后的正常任务如何做数据回迁处理


针对上述需求，社区有没有案例可以提供测试验证！谢谢