You are viewing a plain text version of this content. The canonical link for it is here.
Posted to commits@flink.apache.org by ta...@apache.org on 2021/04/26 06:58:12 UTC
[flink] branch master updated: [FLINK-22444][docs] Drop async
checkpoint description of state backends in Chinese docs
This is an automated email from the ASF dual-hosted git repository.
tangyun pushed a commit to branch master
in repository https://gitbox.apache.org/repos/asf/flink.git
The following commit(s) were added to refs/heads/master by this push:
new f9d3245 [FLINK-22444][docs] Drop async checkpoint description of state backends in Chinese docs
f9d3245 is described below
commit f9d3245ade6f0ffb1be633148bd97c4c2aabc2a2
Author: Yun Tang <my...@live.com>
AuthorDate: Sun Apr 25 10:50:50 2021 +0800
[FLINK-22444][docs] Drop async checkpoint description of state backends in Chinese docs
---
docs/content.zh/docs/ops/state/state_backends.md | 16 ----------------
1 file changed, 16 deletions(-)
diff --git a/docs/content.zh/docs/ops/state/state_backends.md b/docs/content.zh/docs/ops/state/state_backends.md
index e978abf..d1343f6 100644
--- a/docs/content.zh/docs/ops/state/state_backends.md
+++ b/docs/content.zh/docs/ops/state/state_backends.md
@@ -55,13 +55,6 @@ Flink 内置了以下这些开箱即用的 state backends :
在 CheckPoint 时,State Backend 对状态进行快照,并将快照信息作为 CheckPoint 应答消息的一部分发送给 JobManager(master),同时 JobManager 也将快照信息存储在堆内存中。
-MemoryStateBackend 能配置异步快照。强烈建议使用异步快照来防止数据流阻塞,注意,异步快照默认是开启的。
-用户可以在实例化 `MemoryStateBackend` 的时候,将相应布尔类型的构造参数设置为 `false` 来关闭异步快照(仅在 debug 的时候使用),例如:
-
-```java
-new MemoryStateBackend(MAX_MEM_STATE_SIZE, false);
-```
-
MemoryStateBackend 的限制:
- 默认情况下,每个独立的状态大小限制是 5 MB。在 MemoryStateBackend 的构造器中可以增加其大小。
@@ -82,13 +75,6 @@ MemoryStateBackend 适用场景:
FsStateBackend 将正在运行中的状态数据保存在 TaskManager 的内存中。CheckPoint 时,将状态快照写入到配置的文件系统目录中。
少量的元数据信息存储到 JobManager 的内存中(高可用模式下,将其写入到 CheckPoint 的元数据文件中)。
-FsStateBackend 默认使用异步快照来防止 CheckPoint 写状态时对数据处理造成阻塞。
-用户可以在实例化 `FsStateBackend` 的时候,将相应布尔类型的构造参数设置为 `false` 来关闭异步快照,例如:
-
-```java
-new FsStateBackend(path, false);
-```
-
FsStateBackend 适用场景:
- 状态比较大、窗口比较长、key/value 状态比较大的 Job。
@@ -108,8 +94,6 @@ Unlike storing java objects in `HashMapStateBackend`, data is stored as serializ
CheckPoint 时,整个 RocksDB 数据库被 checkpoint 到配置的文件系统目录中。
少量的元数据信息存储到 JobManager 的内存中(高可用模式下,将其存储到 CheckPoint 的元数据文件中)。
-RocksDBStateBackend 只支持异步快照。
-
RocksDBStateBackend 的限制:
- 由于 RocksDB 的 JNI API 构建在 byte[] 数据结构之上, 所以每个 key 和 value 最大支持 2^31 字节。