You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "casel.chen" <ca...@126.com> on 2023/08/06 14:03:28 UTC

flink作业如何从yarn平滑迁移到k8s？

flink on yarn作业checkpoint/savepoint保存在hdfs上面，现在想将其迁移到on k8s上运行，使用的是对象存储oss，请问如何无感地进行作业状态迁移呢？使用的flink版本是1.15.2，谢谢！

Re:Re: flink作业如何从yarn平滑迁移到k8s？

Posted by "casel.chen" <ca...@126.com>.






如果不是用的flink kubernetes operator或者hdfs和oss系统网络无法直接连通怎么办？
有没有办法读取hdfs的checkpoint/savepoint然后再另存为oss的checkpoint/savepoint呢？谢谢！











在 2023-08-07 10:33:25，"Ruibin Xing" <xi...@gmail.com> 写道：
>你好，
>
>如果你们也使用的是官方的Flink Kubernetes
>Operator，可以参考我们迁移的经验：迁移的时候设置FlinkDeployment的initalSavepoint为HDFS上Savepoint的地址，同时配置savepoint/checkpoint目录为OSS。这样Flink启动的时候会从HDFS中的状态恢复，并将新的checkpoint保存在oss中。
>
>On Sun, Aug 6, 2023 at 10:03 PM casel.chen <ca...@126.com> wrote:
>
>> flink on yarn作业checkpoint/savepoint保存在hdfs上面，现在想将其迁移到on
>> k8s上运行，使用的是对象存储oss，请问如何无感地进行作业状态迁移呢？使用的flink版本是1.15.2，谢谢！

Re: flink作业如何从yarn平滑迁移到k8s？

Posted by Ruibin Xing <xi...@gmail.com>.

你好，

如果你们也使用的是官方的Flink Kubernetes
Operator，可以参考我们迁移的经验：迁移的时候设置FlinkDeployment的initalSavepoint为HDFS上Savepoint的地址，同时配置savepoint/checkpoint目录为OSS。这样Flink启动的时候会从HDFS中的状态恢复，并将新的checkpoint保存在oss中。

On Sun, Aug 6, 2023 at 10:03 PM casel.chen <ca...@126.com> wrote:

> flink on yarn作业checkpoint/savepoint保存在hdfs上面，现在想将其迁移到on
> k8s上运行，使用的是对象存储oss，请问如何无感地进行作业状态迁移呢？使用的flink版本是1.15.2，谢谢！