You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Dream-底限 <zh...@akulaku.com> on 2020/08/06 03:20:20 UTC
flink1.11 es connector
hi
我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
回复： flink1.11 es connector
Posted by jacky-cui <82...@qq.com>.
对你们的场景挺感兴趣，方便可以加个QQ聊聊，邮箱即我QQ
------------------ 原始邮件 ------------------
发件人: "user-zh" <zhangyu@akulaku.com>;
发送时间: 2020年8月11日(星期二) 下午3:51
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink1.11 es connector
hi
主要做实时特征，历史数据会做一次批量load，然后flink跑实时特征的计算，涉及到一些维度打算用双流关联+流表时态表关联，下游存储hbase/es/jdbc，先前想都用es，不过感觉es不是干这个的。。。。。。
jacky-cui <826885122@qq.com> 于2020年8月11日周二 下午2:33写道：
> Hi, 我这边现在也用es做报表分析，但是对于你提到的场景我有个点不是很明白。
> 你们的flink 在其中充当的是什么角色呢，是清洗出维度结果，然后写到es吗？还是？
> 我是直接做成大宽表，然后用DSL语句去查询这个大宽表，能cover大部分报表需求
>
>
> 祝好
> 崔黄飞
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
> "user-zh"
> <
> imjark@gmail.com&gt;;
> 发送时间:&nbsp;2020年8月10日(星期一) 中午12:36
> 收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
> 主题:&nbsp;Re: flink1.11 es connector
>
>
>
> 对 ES 研究不是很深入。 个人觉得是一个实用的场景。
>
> On Fri, 7 Aug 2020 at 09:50, Dream-底限 <zhangyu@akulaku.com&gt; wrote:
>
> &gt; hi、
> &gt;
> 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
> &gt;
> &gt; Jark Wu <imjark@gmail.com&gt; 于2020年8月7日周五 上午12:34写道：
> &gt;
> &gt; &gt; 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> &gt; &gt; https://issues.apache.org/jira/browse/FLINK-16713
> &gt; &gt; 你想要的时态表查询，是想当成维表查询吗（lookup）？
> &gt; &gt;
> &gt; &gt; Best,
> &gt; &gt; Jark
> &gt; &gt;
> &gt; &gt; On Thu, 6 Aug 2020 at 11:20, Dream-底限 <zhangyu@akulaku.com&gt;
> wrote:
> &gt; &gt;
> &gt; &gt; &gt; hi
> &gt; &gt; &gt;
> &gt; &gt; &gt;
> &gt; &gt;
> &gt;
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
> &gt; &gt; &gt;
> &gt; &gt;
> &gt;
Re: flink1.11 es connector
Posted by Dream-底限 <zh...@akulaku.com>.
hi
主要做实时特征，历史数据会做一次批量load，然后flink跑实时特征的计算，涉及到一些维度打算用双流关联+流表时态表关联，下游存储hbase/es/jdbc，先前想都用es，不过感觉es不是干这个的。。。。。。
jacky-cui <82...@qq.com> 于2020年8月11日周二 下午2:33写道：
> Hi, 我这边现在也用es做报表分析，但是对于你提到的场景我有个点不是很明白。
> 你们的flink 在其中充当的是什么角色呢，是清洗出维度结果，然后写到es吗？还是？
> 我是直接做成大宽表，然后用DSL语句去查询这个大宽表，能cover大部分报表需求
>
>
> 祝好
> 崔黄飞
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> imjark@gmail.com>;
> 发送时间: 2020年8月10日(星期一) 中午12:36
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re: flink1.11 es connector
>
>
>
> 对 ES 研究不是很深入。 个人觉得是一个实用的场景。
>
> On Fri, 7 Aug 2020 at 09:50, Dream-底限 <zhangyu@akulaku.com> wrote:
>
> > hi、
> >
> 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
> >
> > Jark Wu <imjark@gmail.com> 于2020年8月7日周五 上午12:34写道：
> >
> > > 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> > > https://issues.apache.org/jira/browse/FLINK-16713
> > > 你想要的时态表查询，是想当成维表查询吗（lookup）？
> > >
> > > Best,
> > > Jark
> > >
> > > On Thu, 6 Aug 2020 at 11:20, Dream-底限 <zhangyu@akulaku.com>
> wrote:
> > >
> > > > hi
> > > >
> > > >
> > >
> >
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
> > > >
> > >
> >
回复： flink1.11 es connector
Posted by jacky-cui <82...@qq.com>.
Hi, 我这边现在也用es做报表分析，但是对于你提到的场景我有个点不是很明白。
你们的flink 在其中充当的是什么角色呢，是清洗出维度结果，然后写到es吗？还是？
我是直接做成大宽表，然后用DSL语句去查询这个大宽表，能cover大部分报表需求
祝好
崔黄飞
------------------ 原始邮件 ------------------
发件人: "user-zh" <imjark@gmail.com>;
发送时间: 2020年8月10日(星期一) 中午12:36
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: flink1.11 es connector
对 ES 研究不是很深入。 个人觉得是一个实用的场景。
On Fri, 7 Aug 2020 at 09:50, Dream-底限 <zhangyu@akulaku.com> wrote:
> hi、
> 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
>
> Jark Wu <imjark@gmail.com> 于2020年8月7日周五 上午12:34写道：
>
> > 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> > https://issues.apache.org/jira/browse/FLINK-16713
> > 你想要的时态表查询，是想当成维表查询吗（lookup）？
> >
> > Best,
> > Jark
> >
> > On Thu, 6 Aug 2020 at 11:20, Dream-底限 <zhangyu@akulaku.com> wrote:
> >
> > > hi
> > >
> > >
> >
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
> > >
> >
>
Re: flink1.11 es connector
Posted by Jark Wu <im...@gmail.com>.
对 ES 研究不是很深入。 个人觉得是一个实用的场景。
On Fri, 7 Aug 2020 at 09:50, Dream-底限 <zh...@akulaku.com> wrote:
> hi、
> 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
>
> Jark Wu <im...@gmail.com> 于2020年8月7日周五 上午12:34写道：
>
> > 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> > https://issues.apache.org/jira/browse/FLINK-16713
> > 你想要的时态表查询，是想当成维表查询吗（lookup）？
> >
> > Best,
> > Jark
> >
> > On Thu, 6 Aug 2020 at 11:20, Dream-底限 <zh...@akulaku.com> wrote:
> >
> > > hi
> > >
> > >
> >
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
> > >
> >
>
Re: flink1.11 es connector
Posted by Dream-底限 <zh...@akulaku.com>.
hi、
是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
Jark Wu <im...@gmail.com> 于2020年8月7日周五 上午12:34写道：
> 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> https://issues.apache.org/jira/browse/FLINK-16713
> 你想要的时态表查询，是想当成维表查询吗（lookup）？
>
> Best,
> Jark
>
> On Thu, 6 Aug 2020 at 11:20, Dream-底限 <zh...@akulaku.com> wrote:
>
> > hi
> >
> >
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
> >
>
Re: flink1.11 es connector
Posted by Jark Wu <im...@gmail.com>.
目前社区由一个 issue 在跟进 es source ，可以关注一下：
https://issues.apache.org/jira/browse/FLINK-16713
你想要的时态表查询，是想当成维表查询吗（lookup）？
Best,
Jark
On Thu, 6 Aug 2020 at 11:20, Dream-底限 <zh...@akulaku.com> wrote:
> hi
>
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
>