使用k8s 实现flink 的高可用

[旧城以西 <dt...@163.com>]

请教各位大佬，如果通过k8s session 实现flink的ha，如果有实现的了，请提供一下相应配置文件
根据官方文档，配置ha需要修改master，那么通过k8s 部署，如何修改master文件

Re: 使用k8s 实现flink 的高可用

[Yang Wang <da...@gmail.com>]

目前Flink on K8s（包括Standalone on K8s和native
K8s）支持的HA方式只有ZK+HDFS/S3/GFS/OSS的方式，配置就是和Standalone是一致的[1]
因为JobManager使用了deployment，所以失败以后会自动被再次拉起，然后从ZK和外部存储进行恢复

主要是以下这些配置：

high-availability: zookeeper
high-availability.zookeeper.quorum: localhost:2181
high-availability.storageDir: hdfs:///flink/recovery
high-availability.zookeeper.path.root: /flink

restart-strategy: fixed-delay
restart-strategy.fixed-delay.attempts: 1000
restart-strategy.fixed-delay.delay: 10 s


不过基于PV+FileSystemHAService[2]以及HDFS/S3/GFS/OSS
+ NativeK8sHAService[3]这两种方案都还在设计和讨论中

[1].
https://ci.apache.org/projects/flink/flink-docs-master/ops/jobmanager_high_availability.html
[2]. https://issues.apache.org/jira/browse/FLINK-17598
[3]. https://issues.apache.org/jira/browse/FLINK-12884

Best,
Yang

旧城以西 <dt...@163.com> 于2020年9月7日周一 下午5:48写道：

> 请教各位大佬，如果通过k8s session 实现flink的ha，如果有实现的了，请提供一下相应配置文件
> 根据官方文档，配置ha需要修改master，那么通过k8s 部署，如何修改master文件