You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user-zh@flink.apache.org by "guaishushu1103@163.com" <gu...@163.com> on 2020/09/07 09:47:33 UTC

RocksDBStateBackend 问题

        想问下关于RocksDBStateBackend  是直接把状态存在rocksdb数据库，还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库，那岂不是很影响数据处理速度。



guaishushu1103@163.com

Re: RocksDBStateBackend 问题

Posted by 刘建刚 <li...@gmail.com>.

直接存在rocksdb数据库。rocksdb会首先将数据写到内存buffer中（不会太大），等buffer满了再刷到磁盘。相比filesystem的statebackend，rocksdb会因为序列化和反序列化导致处理速度慢一些，但是优势是可以利用磁盘的超大空间来存储更大的状态。

zilong xiao <ac...@gmail.com> 于2020年9月7日周一 下午5:51写道：

> 可以看下这个文档：
>
> https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend
>
> guaishushu1103@163.com <gu...@163.com> 于2020年9月7日周一 下午5:47写道：
>
> >         想问下关于RocksDBStateBackend
> > 是直接把状态存在rocksdb数据库，还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库，那岂不是很影响数据处理速度。
> >
> >
> >
> > guaishushu1103@163.com
> >
>

Re: RocksDBStateBackend 问题

Posted by zilong xiao <ac...@gmail.com>.

可以看下这个文档：
https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend

guaishushu1103@163.com <gu...@163.com> 于2020年9月7日周一 下午5:47写道：

>         想问下关于RocksDBStateBackend
> 是直接把状态存在rocksdb数据库，还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库，那岂不是很影响数据处理速度。
>
>
>
> guaishushu1103@163.com
>