You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by superainbower <su...@163.com> on 2020/09/08 11:47:09 UTC
请教个checkpoint目录删除问题
hi，请教个问题，statebackend是rocksdb，flink-conf.yaml文件里state.backend.incremental:true，当在hdfs上有个checkpoint目录，做完checkpoint的时候停掉任务，修改了代码重启任务，指定上次的checkpoint的目录位置，这时候新任务作完checkpoint以后，之前的那个checkpoint的目录 可以删除吗？因为配置了增量checkpoint，不知道之前任务的checkpoint目录对新任务是否还有用
回复：请教个checkpoint目录删除问题
Posted by superainbower <su...@163.com>.
hi
不用回复了，我搞好了，谢谢
| |
superainbower
|
|
superainbower@163.com
|
签名由网易邮箱大师定制
在2020年09月9日 10:19，superainbower<su...@163.com> 写道：
HI
我看了你的文章，讲的很有道理，想尝试你的解析metadata的代码时候，发现没法导入
|
|
| importorg.apache.flink.runtime.checkpoint.savepoint.Savepoint; 这是不是版本问题，savepoint已经不在这个类下面了吧，我用的依赖是 flink1.11.1 |
| |
| |
superainbower
|
|
superainbower@163.com
|
签名由网易邮箱大师定制
在2020年09月8日 19:56，范瑞<83...@qq.com> 写道：
Hi
RocksDB 增量 Checkpoint 可能会依赖之前的 Checkpoint 数据，所以之前的 Checkpoint 目录不能随便删除。理论来讲过上一段时间就不会依赖了，但是时间策略并不可靠，是否依赖完全靠 RocksDB 的 Compaction 策略。严谨的方案是：通过解析 Checkpoint 元数据来评判是否依赖之前的 Checkpoint 目录。之前写过相关文章，附有解析元数据的相关代码，具体可以参考：https://mp.weixin.qq.com/s/oh53V_IQwgrD_GPRht1F5A
Best
fanrui
------------------ 原始邮件 ------------------
发件人: "user-zh" <superainbower@163.com>;
发送时间: 2020年9月8日(星期二) 晚上7:47
收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
主题: 请教个checkpoint目录删除问题
hi，请教个问题，statebackend是rocksdb，flink-conf.yaml文件里state.backend.incremental:true，当在hdfs上有个checkpoint目录，做完checkpoint的时候停掉任务，修改了代码重启任务，指定上次的checkpoint的目录位置，这时候新任务作完checkpoint以后，之前的那个checkpoint的目录 可以删除吗？因为配置了增量checkpoint，不知道之前任务的checkpoint目录对新任务是否还有用
回复：请教个checkpoint目录删除问题
Posted by superainbower <su...@163.com>.
HI
我看了你的文章，讲的很有道理，想尝试你的解析metadata的代码时候，发现没法导入
|
|
| importorg.apache.flink.runtime.checkpoint.savepoint.Savepoint; 这是不是版本问题，savepoint已经不在这个类下面了吧，我用的依赖是 flink1.11.1 |
| |
| |
superainbower
|
|
superainbower@163.com
|
签名由网易邮箱大师定制
在2020年09月8日 19:56，范瑞<83...@qq.com> 写道：
Hi
RocksDB 增量 Checkpoint 可能会依赖之前的 Checkpoint 数据，所以之前的 Checkpoint 目录不能随便删除。理论来讲过上一段时间就不会依赖了，但是时间策略并不可靠，是否依赖完全靠 RocksDB 的 Compaction 策略。严谨的方案是：通过解析 Checkpoint 元数据来评判是否依赖之前的 Checkpoint 目录。之前写过相关文章，附有解析元数据的相关代码，具体可以参考：https://mp.weixin.qq.com/s/oh53V_IQwgrD_GPRht1F5A
Best
fanrui
------------------ 原始邮件 ------------------
发件人: "user-zh" <superainbower@163.com>;
发送时间: 2020年9月8日(星期二) 晚上7:47
收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
主题: 请教个checkpoint目录删除问题
hi，请教个问题，statebackend是rocksdb，flink-conf.yaml文件里state.backend.incremental:true，当在hdfs上有个checkpoint目录，做完checkpoint的时候停掉任务，修改了代码重启任务，指定上次的checkpoint的目录位置，这时候新任务作完checkpoint以后，之前的那个checkpoint的目录 可以删除吗？因为配置了增量checkpoint，不知道之前任务的checkpoint目录对新任务是否还有用
回复：请教个checkpoint目录删除问题
Posted by 范瑞 <83...@qq.com>.
Hi
RocksDB 增量 Checkpoint 可能会依赖之前的 Checkpoint 数据，所以之前的 Checkpoint 目录不能随便删除。理论来讲过上一段时间就不会依赖了，但是时间策略并不可靠，是否依赖完全靠 RocksDB 的 Compaction 策略。严谨的方案是：通过解析 Checkpoint 元数据来评判是否依赖之前的 Checkpoint 目录。之前写过相关文章，附有解析元数据的相关代码，具体可以参考：https://mp.weixin.qq.com/s/oh53V_IQwgrD_GPRht1F5A
Best
fanrui
------------------ 原始邮件 ------------------
发件人: "user-zh" <superainbower@163.com>;
发送时间: 2020年9月8日(星期二) 晚上7:47
收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
主题: 请教个checkpoint目录删除问题
hi，请教个问题，statebackend是rocksdb，flink-conf.yaml文件里state.backend.incremental:true，当在hdfs上有个checkpoint目录，做完checkpoint的时候停掉任务，修改了代码重启任务，指定上次的checkpoint的目录位置，这时候新任务作完checkpoint以后，之前的那个checkpoint的目录 可以删除吗？因为配置了增量checkpoint，不知道之前任务的checkpoint目录对新任务是否还有用