You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by tao siyuan <si...@gmail.com> on 2020/04/27 07:24:39 UTC

Support LRU cache in JDBCLookupFunction

HI all：

目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
LRU 策略 提高cache使用率以及reduce数据库的交互次数。

请问这是一个值得提交的issue吗？

Re: Support LRU cache in JDBCLookupFunction

Posted by tao siyuan <si...@gmail.com>.
谢谢。

Jark Wu <im...@gmail.com> 于2020年4月28日周二 上午11:00写道：

> FYI
>
> 1. 增加统计缓存命中情况: https://issues.apache.org/jira/browse/FLINK-16038
> 2. 增加异步交互模式: https://issues.apache.org/jira/browse/FLINK-14902
>
>
> On Mon, 27 Apr 2020 at 17:01, tao siyuan <si...@gmail.com> wrote:
>
> > 好的，谢谢
> >
> > Benchao Li <li...@gmail.com> 于2020年4月27日周一 下午5:00写道：
> >
> > > 我觉得是可以的。
> > >
> > > tao siyuan <si...@gmail.com> 于2020年4月27日周一 下午4:24写道：
> > >
> > > > 谢谢，
> > > >
> > > > 我能否为第二个意见提交一个issue，为connector增加一个JDBCLookupFunction的异步接口
> > > >
> > > > Benchao Li <li...@gmail.com> 于2020年4月27日周一 下午4:11写道：
> > > >
> > > > > Hi,
> > > > >
> > > > > 第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
> > > > > 第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。
> > > > >
> > > > > [1] https://issues.apache.org/jira/browse/FLINK-16038
> > > > >
> > > > > tao siyuan <si...@gmail.com> 于2020年4月27日周一 下午4:00写道：
> > > > >
> > > > > > hi，
> > > > > >
> > > > > > 不好意思，我忽略了内部使用的Guava cache，
> > > > > >
> > > > > > 我这里可以提2个意见吗：
> > > > > > 1，增加统计缓存命中情况
> > > > > > 2，增加异步交互模式
> > > > > >
> > > > > > Jark Wu <im...@gmail.com> 于2020年4月27日周一 下午3:31写道：
> > > > > >
> > > > > > > Hi，
> > > > > > >
> > > > > > > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> > > > > > >
> > > > > > > > 2020年4月27日 15:24，tao siyuan <si...@gmail.com> 写道：
> > > > > > > >
> > > > > > > > HI all：
> > > > > > > >
> > > > > > > >
> > > > > > >
> > > > > >
> > > > >
> > > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > > > > > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > > > > > > >
> > > > > > > > 请问这是一个值得提交的issue吗？
> > > > > > >
> > > > > > >
> > > > > >
> > > > >
> > > > >
> > > > > --
> > > > >
> > > > > Benchao Li
> > > > > School of Electronics Engineering and Computer Science, Peking
> > > University
> > > > > Tel:+86-15650713730
> > > > > Email: libenchao@gmail.com; libenchao@pku.edu.cn
> > > > >
> > > >
> > >
> > >
> > > --
> > >
> > > Benchao Li
> > > School of Electronics Engineering and Computer Science, Peking
> University
> > > Tel:+86-15650713730
> > > Email: libenchao@gmail.com; libenchao@pku.edu.cn
> > >
> >
>

Re: Support LRU cache in JDBCLookupFunction

Posted by Jark Wu <im...@gmail.com>.
FYI

1. 增加统计缓存命中情况: https://issues.apache.org/jira/browse/FLINK-16038
2. 增加异步交互模式: https://issues.apache.org/jira/browse/FLINK-14902


On Mon, 27 Apr 2020 at 17:01, tao siyuan <si...@gmail.com> wrote:

> 好的，谢谢
>
> Benchao Li <li...@gmail.com> 于2020年4月27日周一 下午5:00写道：
>
> > 我觉得是可以的。
> >
> > tao siyuan <si...@gmail.com> 于2020年4月27日周一 下午4:24写道：
> >
> > > 谢谢，
> > >
> > > 我能否为第二个意见提交一个issue，为connector增加一个JDBCLookupFunction的异步接口
> > >
> > > Benchao Li <li...@gmail.com> 于2020年4月27日周一 下午4:11写道：
> > >
> > > > Hi,
> > > >
> > > > 第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
> > > > 第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。
> > > >
> > > > [1] https://issues.apache.org/jira/browse/FLINK-16038
> > > >
> > > > tao siyuan <si...@gmail.com> 于2020年4月27日周一 下午4:00写道：
> > > >
> > > > > hi，
> > > > >
> > > > > 不好意思，我忽略了内部使用的Guava cache，
> > > > >
> > > > > 我这里可以提2个意见吗：
> > > > > 1，增加统计缓存命中情况
> > > > > 2，增加异步交互模式
> > > > >
> > > > > Jark Wu <im...@gmail.com> 于2020年4月27日周一 下午3:31写道：
> > > > >
> > > > > > Hi，
> > > > > >
> > > > > > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> > > > > >
> > > > > > > 2020年4月27日 15:24，tao siyuan <si...@gmail.com> 写道：
> > > > > > >
> > > > > > > HI all：
> > > > > > >
> > > > > > >
> > > > > >
> > > > >
> > > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > > > > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > > > > > >
> > > > > > > 请问这是一个值得提交的issue吗？
> > > > > >
> > > > > >
> > > > >
> > > >
> > > >
> > > > --
> > > >
> > > > Benchao Li
> > > > School of Electronics Engineering and Computer Science, Peking
> > University
> > > > Tel:+86-15650713730
> > > > Email: libenchao@gmail.com; libenchao@pku.edu.cn
> > > >
> > >
> >
> >
> > --
> >
> > Benchao Li
> > School of Electronics Engineering and Computer Science, Peking University
> > Tel:+86-15650713730
> > Email: libenchao@gmail.com; libenchao@pku.edu.cn
> >
>

Re: Support LRU cache in JDBCLookupFunction

Posted by tao siyuan <si...@gmail.com>.
好的，谢谢

Benchao Li <li...@gmail.com> 于2020年4月27日周一 下午5:00写道：

> 我觉得是可以的。
>
> tao siyuan <si...@gmail.com> 于2020年4月27日周一 下午4:24写道：
>
> > 谢谢，
> >
> > 我能否为第二个意见提交一个issue，为connector增加一个JDBCLookupFunction的异步接口
> >
> > Benchao Li <li...@gmail.com> 于2020年4月27日周一 下午4:11写道：
> >
> > > Hi,
> > >
> > > 第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
> > > 第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。
> > >
> > > [1] https://issues.apache.org/jira/browse/FLINK-16038
> > >
> > > tao siyuan <si...@gmail.com> 于2020年4月27日周一 下午4:00写道：
> > >
> > > > hi，
> > > >
> > > > 不好意思，我忽略了内部使用的Guava cache，
> > > >
> > > > 我这里可以提2个意见吗：
> > > > 1，增加统计缓存命中情况
> > > > 2，增加异步交互模式
> > > >
> > > > Jark Wu <im...@gmail.com> 于2020年4月27日周一 下午3:31写道：
> > > >
> > > > > Hi，
> > > > >
> > > > > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> > > > >
> > > > > > 2020年4月27日 15:24，tao siyuan <si...@gmail.com> 写道：
> > > > > >
> > > > > > HI all：
> > > > > >
> > > > > >
> > > > >
> > > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > > > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > > > > >
> > > > > > 请问这是一个值得提交的issue吗？
> > > > >
> > > > >
> > > >
> > >
> > >
> > > --
> > >
> > > Benchao Li
> > > School of Electronics Engineering and Computer Science, Peking
> University
> > > Tel:+86-15650713730
> > > Email: libenchao@gmail.com; libenchao@pku.edu.cn
> > >
> >
>
>
> --
>
> Benchao Li
> School of Electronics Engineering and Computer Science, Peking University
> Tel:+86-15650713730
> Email: libenchao@gmail.com; libenchao@pku.edu.cn
>

Re: Support LRU cache in JDBCLookupFunction

Posted by Benchao Li <li...@gmail.com>.
我觉得是可以的。

tao siyuan <si...@gmail.com> 于2020年4月27日周一 下午4:24写道：

> 谢谢，
>
> 我能否为第二个意见提交一个issue，为connector增加一个JDBCLookupFunction的异步接口
>
> Benchao Li <li...@gmail.com> 于2020年4月27日周一 下午4:11写道：
>
> > Hi,
> >
> > 第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
> > 第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。
> >
> > [1] https://issues.apache.org/jira/browse/FLINK-16038
> >
> > tao siyuan <si...@gmail.com> 于2020年4月27日周一 下午4:00写道：
> >
> > > hi，
> > >
> > > 不好意思，我忽略了内部使用的Guava cache，
> > >
> > > 我这里可以提2个意见吗：
> > > 1，增加统计缓存命中情况
> > > 2，增加异步交互模式
> > >
> > > Jark Wu <im...@gmail.com> 于2020年4月27日周一 下午3:31写道：
> > >
> > > > Hi，
> > > >
> > > > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> > > >
> > > > > 2020年4月27日 15:24，tao siyuan <si...@gmail.com> 写道：
> > > > >
> > > > > HI all：
> > > > >
> > > > >
> > > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > > > >
> > > > > 请问这是一个值得提交的issue吗？
> > > >
> > > >
> > >
> >
> >
> > --
> >
> > Benchao Li
> > School of Electronics Engineering and Computer Science, Peking University
> > Tel:+86-15650713730
> > Email: libenchao@gmail.com; libenchao@pku.edu.cn
> >
>


-- 

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:+86-15650713730
Email: libenchao@gmail.com; libenchao@pku.edu.cn

Re: Support LRU cache in JDBCLookupFunction

Posted by tao siyuan <si...@gmail.com>.
谢谢，

我能否为第二个意见提交一个issue，为connector增加一个JDBCLookupFunction的异步接口

Benchao Li <li...@gmail.com> 于2020年4月27日周一 下午4:11写道：

> Hi,
>
> 第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
> 第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。
>
> [1] https://issues.apache.org/jira/browse/FLINK-16038
>
> tao siyuan <si...@gmail.com> 于2020年4月27日周一 下午4:00写道：
>
> > hi，
> >
> > 不好意思，我忽略了内部使用的Guava cache，
> >
> > 我这里可以提2个意见吗：
> > 1，增加统计缓存命中情况
> > 2，增加异步交互模式
> >
> > Jark Wu <im...@gmail.com> 于2020年4月27日周一 下午3:31写道：
> >
> > > Hi，
> > >
> > > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> > >
> > > > 2020年4月27日 15:24，tao siyuan <si...@gmail.com> 写道：
> > > >
> > > > HI all：
> > > >
> > > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > > >
> > > > 请问这是一个值得提交的issue吗？
> > >
> > >
> >
>
>
> --
>
> Benchao Li
> School of Electronics Engineering and Computer Science, Peking University
> Tel:+86-15650713730
> Email: libenchao@gmail.com; libenchao@pku.edu.cn
>

Re: Support LRU cache in JDBCLookupFunction

Posted by Benchao Li <li...@gmail.com>.
Hi,

第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。

[1] https://issues.apache.org/jira/browse/FLINK-16038

tao siyuan <si...@gmail.com> 于2020年4月27日周一 下午4:00写道：

> hi，
>
> 不好意思，我忽略了内部使用的Guava cache，
>
> 我这里可以提2个意见吗：
> 1，增加统计缓存命中情况
> 2，增加异步交互模式
>
> Jark Wu <im...@gmail.com> 于2020年4月27日周一 下午3:31写道：
>
> > Hi，
> >
> > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> >
> > > 2020年4月27日 15:24，tao siyuan <si...@gmail.com> 写道：
> > >
> > > HI all：
> > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > >
> > > 请问这是一个值得提交的issue吗？
> >
> >
>


-- 

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:+86-15650713730
Email: libenchao@gmail.com; libenchao@pku.edu.cn

Re: Support LRU cache in JDBCLookupFunction

Posted by tao siyuan <si...@gmail.com>.
hi，

不好意思，我忽略了内部使用的Guava cache，

我这里可以提2个意见吗：
1，增加统计缓存命中情况
2，增加异步交互模式

Jark Wu <im...@gmail.com> 于2020年4月27日周一 下午3:31写道：

> Hi，
>
> 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
>
> > 2020年4月27日 15:24，tao siyuan <si...@gmail.com> 写道：
> >
> > HI all：
> >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> >
> > 请问这是一个值得提交的issue吗？
>
>

Re: Support LRU cache in JDBCLookupFunction

Posted by Jark Wu <im...@gmail.com>.
Hi，

目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？ 

> 2020年4月27日 15:24，tao siyuan <si...@gmail.com> 写道：
> 
> HI all：
> 
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> 
> 请问这是一个值得提交的issue吗？