doris建立es外表延迟问题

["Zhang,Linfeng" <zh...@baidu.com>]

       Hi，
>  背景：
通过doris建立es的外表，发现在插入数据到es中时，doris检索会存在毫秒级别的延迟

>  问题：
•  想知道一下doris建立外表，外表中的数据是如何获取的？是从es同步过来的吗？如果是同步过来的，那么doris同步数据是并发的还是单线程的，会不会存在es并发太大的情况下，doris同步延迟越来越大？
•  这个和es中存储的数据量会有关系吗？数据量小的情况和数据量大的情况相差多少级别？
•  同步的延迟时间可以设置成实时吗？对性能影响有多大？
非常感谢🙏

Re: doris建立es外表延迟问题

[ling miao <li...@apache.org>]

Hi LinFeng,

Let me translate the question in English:
LinDan wanted to ask how Doris synchronizes the external data of ES.

The answer is:
In fact, Doris does not perform any synchronization operations on ES data.
The created external table just registers the meta information of an ES
table in Doris.

In other words, in terms of appearance, Doris is just a query forwarding
layer, and ES is an external storage node of Doris. The data is still in
the ES, and Doris does not synchronize the data in the ES to the Doris
system.
In this way, the series of synchronization problems you mentioned will not
exist.


我来用英语翻译一下刚才的问题：
LinDan 是想问 Doris 是如何对 ES 的外部数据进行同步的。

答案是：
实际上Doris并不会对ES的数据有任何的同步操作。创建的外表只是注册了一个ES表的元信息在Doris中。
也就是说对于外表而言，Doris不过是一个查询的转发层，ES 是一个Doris的外部存储节点。数据依旧还在ES 中，Doris并不会将ES
中的数据同步到Doris系统内部。
这样也就不存在你说的这一系列的同步问题了。

Ling Miao

Ming Wen <we...@apache.org> 于2021年2月20日周六 下午11:03写道：

> hello,
> please use English in the public channel.
>
> Thanks,
> Ming Wen, Apache APISIX PMC Chair
> Twitter: _WenMing
>
>
> 莫正华(百岁) <ba...@qlangtech.com> 于2021年2月20日周六 下午10:44写道：
>
> >
> >
> 数据同步延时是由lucene的存储结构决定的，倒排索引存储文件不支持像数据库那样随机写，只能顺序append，所以只能顺序写完一块之后让它生效，生效之后查询才可见。
> >
> >
> 理论上来说只能近实时同步，不能像数据库那样准实时同步。当然你也可以客在户端提交一个更新之后接着提交一个commit操作，相当于一条记录一个文件块，但是性能上估计不可接受的。
> >
> > 百岁
> >
> >
> > ------------------------------------------------------------------
> > 发件人：Zhang,Linfeng <zh...@baidu.com>
> > 发送时间：2021年2月20日(星期六) 22:32
> > 收件人：dev@doris.apache.org <de...@doris.apache.org>
> > 抄 送："Yang,Dan(R&D QED)" <ya...@baidu.com>
> > 主 题：doris建立es外表延迟问题
> >
> >        Hi，
> > >  背景：
> > 通过doris建立es的外表，发现在插入数据到es中时，doris检索会存在毫秒级别的延迟
> >
> > >  问题：
> > •
> >
> 想知道一下doris建立外表，外表中的数据是如何获取的？是从es同步过来的吗？如果是同步过来的，那么doris同步数据是并发的还是单线程的，会不会存在es并发太大的情况下，doris同步延迟越来越大？
> > •  这个和es中存储的数据量会有关系吗？数据量小的情况和数据量大的情况相差多少级别？
> > •  同步的延迟时间可以设置成实时吗？对性能影响有多大？
> > 非常感谢🙏
> >
> >
> >
>

Re: doris建立es外表延迟问题

[Ming Wen <we...@apache.org>]

hello,
please use English in the public channel.

Thanks,
Ming Wen, Apache APISIX PMC Chair
Twitter: _WenMing


莫正华(百岁) <ba...@qlangtech.com> 于2021年2月20日周六 下午10:44写道：

>
> 数据同步延时是由lucene的存储结构决定的，倒排索引存储文件不支持像数据库那样随机写，只能顺序append，所以只能顺序写完一块之后让它生效，生效之后查询才可见。
>
> 理论上来说只能近实时同步，不能像数据库那样准实时同步。当然你也可以客在户端提交一个更新之后接着提交一个commit操作，相当于一条记录一个文件块，但是性能上估计不可接受的。
>
> 百岁
>
>
> ------------------------------------------------------------------
> 发件人：Zhang,Linfeng <zh...@baidu.com>
> 发送时间：2021年2月20日(星期六) 22:32
> 收件人：dev@doris.apache.org <de...@doris.apache.org>
> 抄 送："Yang,Dan(R&D QED)" <ya...@baidu.com>
> 主 题：doris建立es外表延迟问题
>
>        Hi，
> >  背景：
> 通过doris建立es的外表，发现在插入数据到es中时，doris检索会存在毫秒级别的延迟
>
> >  问题：
> •
> 想知道一下doris建立外表，外表中的数据是如何获取的？是从es同步过来的吗？如果是同步过来的，那么doris同步数据是并发的还是单线程的，会不会存在es并发太大的情况下，doris同步延迟越来越大？
> •  这个和es中存储的数据量会有关系吗？数据量小的情况和数据量大的情况相差多少级别？
> •  同步的延迟时间可以设置成实时吗？对性能影响有多大？
> 非常感谢🙏
>
>
>

回复：doris建立es外表延迟问题

["莫正华(百岁)" <ba...@qlangtech.com>]

数据同步延时是由lucene的存储结构决定的，倒排索引存储文件不支持像数据库那样随机写，只能顺序append，所以只能顺序写完一块之后让它生效，生效之后查询才可见。
理论上来说只能近实时同步，不能像数据库那样准实时同步。当然你也可以客在户端提交一个更新之后接着提交一个commit操作，相当于一条记录一个文件块，但是性能上估计不可接受的。

百岁


------------------------------------------------------------------
发件人：Zhang,Linfeng <zh...@baidu.com>
发送时间：2021年2月20日(星期六) 22:32
收件人：dev@doris.apache.org <de...@doris.apache.org>
抄　送："Yang,Dan(R&D QED)" <ya...@baidu.com>
主　题：doris建立es外表延迟问题

       Hi，
>  背景：
通过doris建立es的外表，发现在插入数据到es中时，doris检索会存在毫秒级别的延迟

>  问题：
•  想知道一下doris建立外表，外表中的数据是如何获取的？是从es同步过来的吗？如果是同步过来的，那么doris同步数据是并发的还是单线程的，会不会存在es并发太大的情况下，doris同步延迟越来越大？
•  这个和es中存储的数据量会有关系吗？数据量小的情况和数据量大的情况相差多少级别？
•  同步的延迟时间可以设置成实时吗？对性能影响有多大？
非常感谢🙏