You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Dream-底限 <zh...@akulaku.com> on 2020/07/14 03:07:16 UTC
flink1.9状态及作业迁移
hi：
flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？
回复：flink1.9状态及作业迁移
Posted by 成欢晴 <ch...@163.com>.
退订
| |
chq19970719
|
|
邮箱：chq19970719@163.com
|
Signature is customized by Netease Mail Master
在2020年07月14日 12:15，Yun Tang 写道：
对于Flink本身机制不支持的场景，可以通过直接修改Checkpoint meta 文件同时将meta以及data文件迁移到新HDFS集群也能做到，加载Checkpoint的具体代码可以参照Checkpoints#loadAndValidateCheckpoint [1]，而存储Checkpoint的代码可以参照Checkpoints#storeCheckpointMetadata [2]
[1] https://github.com/apache/flink/blob/5125b1123dfcfff73b5070401dfccb162959080c/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L124
[2] https://github.com/apache/flink/blob/5125b1123dfcfff73b5070401dfccb162959080c/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L81
祝好
唐云
________________________________
From: Dream-底限 <zh...@akulaku.com>
Sent: Tuesday, July 14, 2020 11:57
To: user-zh@flink.apache.org <us...@flink.apache.org>
Subject: Re: flink1.9状态及作业迁移
hi、
请问对于下面的情况，Checkpoint meta中存储的hdfs namespace可以修改吗
》》Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。
Yun Tang <my...@live.com> 于2020年7月14日周二 上午11:54写道：
> Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。
>
> Flink-1.11 支持将savepoint（但是不支持Checkpoint）进行位置迁移 [1]，而对于Flink-1.9，二者均不支持。
>
>
> [1] https://issues.apache.org/jira/browse/FLINK-5763
>
> 祝好
> 唐云
>
> ________________________________
> From: Dream-底限 <zh...@akulaku.com>
> Sent: Tuesday, July 14, 2020 11:07
> To: user-zh@flink.apache.org <us...@flink.apache.org>
> Subject: flink1.9状态及作业迁移
>
> hi：
>
> flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？
>
Re: flink1.9状态及作业迁移
Posted by Yun Tang <my...@live.com>.
对于Flink本身机制不支持的场景，可以通过直接修改Checkpoint meta 文件同时将meta以及data文件迁移到新HDFS集群也能做到，加载Checkpoint的具体代码可以参照Checkpoints#loadAndValidateCheckpoint [1]，而存储Checkpoint的代码可以参照Checkpoints#storeCheckpointMetadata [2]
[1] https://github.com/apache/flink/blob/5125b1123dfcfff73b5070401dfccb162959080c/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L124
[2] https://github.com/apache/flink/blob/5125b1123dfcfff73b5070401dfccb162959080c/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L81
祝好
唐云
________________________________
From: Dream-底限 <zh...@akulaku.com>
Sent: Tuesday, July 14, 2020 11:57
To: user-zh@flink.apache.org <us...@flink.apache.org>
Subject: Re: flink1.9状态及作业迁移
hi、
请问对于下面的情况，Checkpoint meta中存储的hdfs namespace可以修改吗
》》Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。
Yun Tang <my...@live.com> 于2020年7月14日周二 上午11:54写道：
> Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。
>
> Flink-1.11 支持将savepoint（但是不支持Checkpoint）进行位置迁移 [1]，而对于Flink-1.9，二者均不支持。
>
>
> [1] https://issues.apache.org/jira/browse/FLINK-5763
>
> 祝好
> 唐云
>
> ________________________________
> From: Dream-底限 <zh...@akulaku.com>
> Sent: Tuesday, July 14, 2020 11:07
> To: user-zh@flink.apache.org <us...@flink.apache.org>
> Subject: flink1.9状态及作业迁移
>
> hi：
>
> flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？
>
Re: flink1.9状态及作业迁移
Posted by Dream-底限 <zh...@akulaku.com>.
hi、
请问对于下面的情况，Checkpoint meta中存储的hdfs namespace可以修改吗
》》Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。
Yun Tang <my...@live.com> 于2020年7月14日周二 上午11:54写道：
> Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。
>
> Flink-1.11 支持将savepoint（但是不支持Checkpoint）进行位置迁移 [1]，而对于Flink-1.9，二者均不支持。
>
>
> [1] https://issues.apache.org/jira/browse/FLINK-5763
>
> 祝好
> 唐云
>
> ________________________________
> From: Dream-底限 <zh...@akulaku.com>
> Sent: Tuesday, July 14, 2020 11:07
> To: user-zh@flink.apache.org <us...@flink.apache.org>
> Subject: flink1.9状态及作业迁移
>
> hi：
>
> flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？
>
Re: flink1.9状态及作业迁移
Posted by Yun Tang <my...@live.com>.
Checkpoint meta中存储的是完整路径，所以一般会把hdfs的namespace存储起来，导致没办法直接迁移。
Flink-1.11 支持将savepoint（但是不支持Checkpoint）进行位置迁移 [1]，而对于Flink-1.9，二者均不支持。
[1] https://issues.apache.org/jira/browse/FLINK-5763
祝好
唐云
________________________________
From: Dream-底限 <zh...@akulaku.com>
Sent: Tuesday, July 14, 2020 11:07
To: user-zh@flink.apache.org <us...@flink.apache.org>
Subject: flink1.9状态及作业迁移
hi：
flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？