You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by chenkaibit <ch...@163.com> on 2020/09/07 11:41:57 UTC

flink-1.11 native k8s state 在 ceph 存储问题

HI：
    想问下大家在 native k8s 模式下有没有用到 ceph 存储 flink state 和 HA 数据(替代原来的 HDFS). 我在测试中发现 flink on native k8s 下没有办法挂载 cephfs，这一块是不是需要修改代码才能支持？我在 flink jira 上发现一个相关 issue(https://issues.apache.org/jira/browse/FLINK-15649)，在这里想请教下 flink-1.11 版本如何挂载 cephfs；如果不能挂载 cephfs 的话，还能使用除 hdfs 之外的哪些存储。
    求大神解惑。

--

Best, yuchuan

Re: flink-1.11 native k8s state 在 ceph 存储问题

Posted by Yang Wang <da...@gmail.com>.

其实需要的其实是PV+FileSystemHAService这样的HA方式[1]，但目前没有支持，并且如何来做还在讨论中。之前社区也有人有类似的需求，你也可以看下[1]
目前支持的是ZK+HDFS/S3/GFS/OSS等这样的HA方式，
同时在考虑K8s ConfigMap + HDFS/S3/GFS/OSS的方式[2]

[1].
https://lists.apache.org/thread.html/r36882b6c8286132b6fe6851e1c04cd876e9fa35aff9a5b22d181487d%40%3Cuser.flink.apache.org%3E
[2]. https://issues.apache.org/jira/browse/FLINK-17598
[3]. https://issues.apache.org/jira/browse/FLINK-12884


Best,
Yang

chenkaibit <ch...@163.com> 于2020年9月7日周一 下午7:42写道：

> HI：
>     想问下大家在 native k8s 模式下有没有用到 ceph 存储 flink state 和 HA 数据(替代原来的 HDFS).
> 我在测试中发现 flink on native k8s 下没有办法挂载 cephfs，这一块是不是需要修改代码才能支持？我在 flink jira
> 上发现一个相关 issue(https://issues.apache.org/jira/browse/FLINK-15649)，在这里想请教下
> flink-1.11 版本如何挂载 cephfs；如果不能挂载 cephfs 的话，还能使用除 hdfs 之外的哪些存储。
>     求大神解惑。
>
> --
>
> Best, yuchuan