You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "1115098508@qq.com" <so...@foxmail.com> on 2020/09/08 10:18:07 UTC
回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
我也遇到过这种业务场景，flink要去做update太难了，只能做累加。
我的处理方案是将update转为insert。
先插入一条“负”记录，抵消原来的那条，然后插入一条新记录，即向kafa插入2条消息：
消息1:009订单 金额：-1000
消息2:009订单 金额：500
这样flink累加的金额就是对的。
------------------ 原始邮件 ------------------
发件人: "user-zh" <xuzh@chyjr.com>;
发送时间: 2020年9月8日(星期二) 下午5:56
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: flink实时统计GMV,如果订单金额下午变了该怎么处理
场景：
&nbsp; &nbsp;实时统计每天的GMV,但是订单金额是会修改的。
&nbsp; 订单存储在mysql,通过binlog解析工具实时同步到kafka.然后从kafka实时统计当日订单总额。
&nbsp; 假设订单009 上午10点生成，金额为1000. 生成一条json数据到kafka ,GMV实时统计为1000.
&nbsp; 然后下午15点，009订单金额被修改为500。数据生成json也会进入kafka. 这时如果不减去上午已经统计的金额。那么总金额就是错的。&nbsp;&nbsp;
请问是不是根据 update /delete 要写这个减去的逻辑。按日去重是不行了，因为是增量处理不能，上午的数据已经被处理了不能再获取了。
&nbsp; 刚入坑实时处理，请大神赐教
回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
Posted by xuzh <hu...@foxmail.com>.
O(∩_∩)O谢谢大家，看来取变化前后的值对比是最好的方式了
------------------ 原始邮件 ------------------
发件人: "user-zh" <153488125@qq.com>;
发送时间: 2020年9月8日(星期二) 晚上11:23
收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
主题: 回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
如果是状态变化，可不可以只获取最后一条
如果只是金额字段变化，比如在某个窗口内只能相减了
还有其他好的办法么?
------------------&nbsp;原始邮件&nbsp;------------------
发件人: "user-zh" <yrx73513@163.com&gt;;
发送时间:&nbsp;2020年9月8日(星期二) 晚上7:08
收件人:&nbsp;"user-zh@flink.apache.org"<user-zh@flink.apache.org&gt;;
主题:&nbsp;回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
如果是canal获取的mysql数据的话，你可以对比修改前数据是什么样子的，这样就可以规避状态的问题了
| |
引领
|
|
yrx73513@163.com
|
签名由网易邮箱大师定制
在2020年09月8日 18:24，徐振华<xuzh@chyjr.com&gt; 写道：
开始我也是想这样考虑的。但是还有其他问题。如果改的不是订单金额，而是订单状态。这是也是会生成一条到kafka的。
这时就不能减去这个金额了，但是这个就会涉及订单金额比较了，算法又麻烦一大截。好困惑哦
&amp;nbsp;
------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
发件人:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; "user-zh"&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <sohay@foxmail.com&amp;gt;;
发送时间:&amp;nbsp;2020年9月8日(星期二) 晚上6:18
收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
主题:&amp;nbsp;回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
我也遇到过这种业务场景，flink要去做update太难了，只能做累加。
我的处理方案是将update转为insert。
先插入一条“负”记录，抵消原来的那条，然后插入一条新记录，即向kafa插入2条消息：
消息1:009订单&amp;amp;nbsp; 金额：-1000
消息2:009订单&amp;amp;nbsp; 金额：500
这样flink累加的金额就是对的。
------------------&amp;amp;nbsp;原始邮件&amp;amp;nbsp;------------------
发件人:&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; "user-zh"&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; <xuzh@chyjr.com&amp;amp;gt;;
发送时间:&amp;amp;nbsp;2020年9月8日(星期二) 下午5:56
收件人:&amp;amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;amp;gt;;
主题:&amp;amp;nbsp;flink实时统计GMV,如果订单金额下午变了该怎么处理
场景：
&amp;amp;amp;nbsp; &amp;amp;amp;nbsp;实时统计每天的GMV,但是订单金额是会修改的。
&amp;amp;amp;nbsp; 订单存储在mysql,通过binlog解析工具实时同步到kafka.然后从kafka实时统计当日订单总额。
&amp;amp;amp;nbsp; 假设订单009 上午10点生成，金额为1000. 生成一条json数据到kafka ,GMV实时统计为1000.
&amp;amp;amp;nbsp; 然后下午15点，009订单金额被修改为500。数据生成json也会进入kafka. 这时如果不减去上午已经统计的金额。那么总金额就是错的。&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;
请问是不是根据 update /delete 要写这个减去的逻辑。按日去重是不行了，因为是增量处理不能，上午的数据已经被处理了不能再获取了。
&amp;amp;amp;nbsp; 刚入坑实时处理，请大神赐教
回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
Posted by 忝忝向仧 <15...@qq.com>.
如果是状态变化，可不可以只获取最后一条
如果只是金额字段变化，比如在某个窗口内只能相减了
还有其他好的办法么?
------------------ 原始邮件 ------------------
发件人: "user-zh" <yrx73513@163.com>;
发送时间: 2020年9月8日(星期二) 晚上7:08
收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org>;
主题: 回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
如果是canal获取的mysql数据的话，你可以对比修改前数据是什么样子的，这样就可以规避状态的问题了
| |
引领
|
|
yrx73513@163.com
|
签名由网易邮箱大师定制
在2020年09月8日 18:24，徐振华<xuzh@chyjr.com> 写道：
开始我也是想这样考虑的。但是还有其他问题。如果改的不是订单金额，而是订单状态。这是也是会生成一条到kafka的。
这时就不能减去这个金额了，但是这个就会涉及订单金额比较了，算法又麻烦一大截。好困惑哦
&nbsp;
------------------&nbsp;原始邮件&nbsp;------------------
发件人: "user-zh" <sohay@foxmail.com&gt;;
发送时间:&nbsp;2020年9月8日(星期二) 晚上6:18
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
主题:&nbsp;回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
我也遇到过这种业务场景，flink要去做update太难了，只能做累加。
我的处理方案是将update转为insert。
先插入一条“负”记录，抵消原来的那条，然后插入一条新记录，即向kafa插入2条消息：
消息1:009订单&amp;nbsp; 金额：-1000
消息2:009订单&amp;nbsp; 金额：500
这样flink累加的金额就是对的。
------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
发件人:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; "user-zh"&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <xuzh@chyjr.com&amp;gt;;
发送时间:&amp;nbsp;2020年9月8日(星期二) 下午5:56
收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
主题:&amp;nbsp;flink实时统计GMV,如果订单金额下午变了该怎么处理
场景：
&amp;amp;nbsp; &amp;amp;nbsp;实时统计每天的GMV,但是订单金额是会修改的。
&amp;amp;nbsp; 订单存储在mysql,通过binlog解析工具实时同步到kafka.然后从kafka实时统计当日订单总额。
&amp;amp;nbsp; 假设订单009 上午10点生成，金额为1000. 生成一条json数据到kafka ,GMV实时统计为1000.
&amp;amp;nbsp; 然后下午15点，009订单金额被修改为500。数据生成json也会进入kafka. 这时如果不减去上午已经统计的金额。那么总金额就是错的。&amp;amp;nbsp;&amp;amp;nbsp;
请问是不是根据 update /delete 要写这个减去的逻辑。按日去重是不行了，因为是增量处理不能，上午的数据已经被处理了不能再获取了。
&amp;amp;nbsp; 刚入坑实时处理，请大神赐教
回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
Posted by 引领 <yr...@163.com>.
如果是canal获取的mysql数据的话，你可以对比修改前数据是什么样子的，这样就可以规避状态的问题了
| |
引领
|
|
yrx73513@163.com
|
签名由网易邮箱大师定制
在2020年09月8日 18:24，徐振华<xu...@chyjr.com> 写道：
开始我也是想这样考虑的。但是还有其他问题。如果改的不是订单金额，而是订单状态。这是也是会生成一条到kafka的。
这时就不能减去这个金额了，但是这个就会涉及订单金额比较了，算法又麻烦一大截。好困惑哦
------------------ 原始邮件 ------------------
发件人: "user-zh" <sohay@foxmail.com>;
发送时间: 2020年9月8日(星期二) 晚上6:18
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: 回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
我也遇到过这种业务场景，flink要去做update太难了，只能做累加。
我的处理方案是将update转为insert。
先插入一条“负”记录，抵消原来的那条，然后插入一条新记录，即向kafa插入2条消息：
消息1:009订单&nbsp; 金额：-1000
消息2:009订单&nbsp; 金额：500
这样flink累加的金额就是对的。
------------------&nbsp;原始邮件&nbsp;------------------
发件人: "user-zh" <xuzh@chyjr.com&gt;;
发送时间:&nbsp;2020年9月8日(星期二) 下午5:56
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
主题:&nbsp;flink实时统计GMV,如果订单金额下午变了该怎么处理
场景：
&amp;nbsp; &amp;nbsp;实时统计每天的GMV,但是订单金额是会修改的。
&amp;nbsp; 订单存储在mysql,通过binlog解析工具实时同步到kafka.然后从kafka实时统计当日订单总额。
&amp;nbsp; 假设订单009 上午10点生成，金额为1000. 生成一条json数据到kafka ,GMV实时统计为1000.
&amp;nbsp; 然后下午15点，009订单金额被修改为500。数据生成json也会进入kafka. 这时如果不减去上午已经统计的金额。那么总金额就是错的。&amp;nbsp;&amp;nbsp;
请问是不是根据 update /delete 要写这个减去的逻辑。按日去重是不行了，因为是增量处理不能，上午的数据已经被处理了不能再获取了。
&amp;nbsp; 刚入坑实时处理，请大神赐教
回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
Posted by 徐振华 <xu...@chyjr.com>.
开始我也是想这样考虑的。但是还有其他问题。如果改的不是订单金额，而是订单状态。这是也是会生成一条到kafka的。
这时就不能减去这个金额了，但是这个就会涉及订单金额比较了，算法又麻烦一大截。好困惑哦
------------------ 原始邮件 ------------------
发件人: "user-zh" <sohay@foxmail.com>;
发送时间: 2020年9月8日(星期二) 晚上6:18
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: 回复：flink实时统计GMV,如果订单金额下午变了该怎么处理
我也遇到过这种业务场景，flink要去做update太难了，只能做累加。
我的处理方案是将update转为insert。
先插入一条“负”记录，抵消原来的那条，然后插入一条新记录，即向kafa插入2条消息：
消息1:009订单&nbsp; 金额：-1000
消息2:009订单&nbsp; 金额：500
这样flink累加的金额就是对的。
------------------&nbsp;原始邮件&nbsp;------------------
发件人: "user-zh" <xuzh@chyjr.com&gt;;
发送时间:&nbsp;2020年9月8日(星期二) 下午5:56
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
主题:&nbsp;flink实时统计GMV,如果订单金额下午变了该怎么处理
场景：
&amp;nbsp; &amp;nbsp;实时统计每天的GMV,但是订单金额是会修改的。
&amp;nbsp; 订单存储在mysql,通过binlog解析工具实时同步到kafka.然后从kafka实时统计当日订单总额。
&amp;nbsp; 假设订单009 上午10点生成，金额为1000. 生成一条json数据到kafka ,GMV实时统计为1000.
&amp;nbsp; 然后下午15点，009订单金额被修改为500。数据生成json也会进入kafka. 这时如果不减去上午已经统计的金额。那么总金额就是错的。&amp;nbsp;&amp;nbsp;
请问是不是根据 update /delete 要写这个减去的逻辑。按日去重是不行了，因为是增量处理不能，上午的数据已经被处理了不能再获取了。
&amp;nbsp; 刚入坑实时处理，请大神赐教