You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Shengkai Fang <fs...@gmail.com> on 2020/09/15 08:01:57 UTC
Re: flink 1.9 关于回撤流的问题
hi, 我对于使用upsert
kafka能够省state感到疑惑。金竹老师提供的实现只是丢掉了delete消息，你的下游表依旧需要手动去重才可以得到准确的结果才对啊。如果每个下游表都手动去重这样子还能省state吗？
star <31...@qq.com> 于2020年6月8日周一 上午9:38写道：
> 非常感谢，正是我想要的。也谢谢金竹老师的分享！
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "Sun.Zhu"<17626017841@163.com>;
> 发送时间: 2020年6月7日(星期天) 凌晨0:02
> 收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
> 抄送: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
> 主题: 回复：flink 1.9 关于回撤流的问题
>
>
>
> Hi,star
> 金竹老师发过一篇文章，重写了KafkaConnector的实现，支持upsert模式，可以参考下[1]
>
>
> [1]https://mp.weixin.qq.com/s/MSs7HSaegyWWU3Fig2PYYA
> | |
> Sun.Zhu
> |
> |
> 17626017841@163.com
> |
> 签名由网易邮箱大师定制
>
>
> 在2020年06月3日 14:47，star<3149768603@qq.com> 写道：
> 大家好，
>
>
>
> 在做实时统计分析的时候我将基础汇总层做成了一个回撤流（toRetractStream）输出到kafka里（因为后面很多实时报表依赖这个流，所以就输出了）
> 问题是这个kafka里到回撤流还能转成flink 的RetractStream流吗，转成后我想注册成一张表，然后基于这个表再做聚合分析
>
>
>
>
> 谢谢
Re: flink 1.9 关于回撤流的问题
Posted by godfrey he <go...@gmail.com>.
可以用flink提供的“去重"语法来支持
[1]
https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/table/sql/queries.html#%E5%8E%BB%E9%87%8D
Shengkai Fang <fs...@gmail.com> 于2020年9月15日周二 下午4:02写道：
> hi, 我对于使用upsert
>
> kafka能够省state感到疑惑。金竹老师提供的实现只是丢掉了delete消息，你的下游表依旧需要手动去重才可以得到准确的结果才对啊。如果每个下游表都手动去重这样子还能省state吗？
>
> star <31...@qq.com> 于2020年6月8日周一 上午9:38写道：
>
> > 非常感谢，正是我想要的。也谢谢金竹老师的分享！
> >
> >
> >
> >
> > ------------------ 原始邮件 ------------------
> > 发件人: "Sun.Zhu"<17626017841@163.com>;
> > 发送时间: 2020年6月7日(星期天) 凌晨0:02
> > 收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
> > 抄送: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
> > 主题: 回复：flink 1.9 关于回撤流的问题
> >
> >
> >
> > Hi,star
> > 金竹老师发过一篇文章，重写了KafkaConnector的实现，支持upsert模式，可以参考下[1]
> >
> >
> > [1]https://mp.weixin.qq.com/s/MSs7HSaegyWWU3Fig2PYYA
> > | |
> > Sun.Zhu
> > |
> > |
> > 17626017841@163.com
> > |
> > 签名由网易邮箱大师定制
> >
> >
> > 在2020年06月3日 14:47，star<3149768603@qq.com> 写道：
> > 大家好，
> >
> >
> >
> >
> 在做实时统计分析的时候我将基础汇总层做成了一个回撤流（toRetractStream）输出到kafka里（因为后面很多实时报表依赖这个流，所以就输出了）
> > 问题是这个kafka里到回撤流还能转成flink 的RetractStream流吗，转成后我想注册成一张表，然后基于这个表再做聚合分析
> >
> >
> >
> >
> > 谢谢
>