You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by zhiyezou <15...@qq.com> on 2020/08/17 05:22:49 UTC

回复：（无主题）

HI&nbsp;


这个day应该是订单的创建时间吧


我觉得我们遇到的问题有些类似，看下我们的方案对你是否有所帮助。


首先，我们会把day这个条件控制在3天（select * where day &gt;now-3），状态的TTL也是3天，即flink保留3天的状态，这样即使有3天前的数据到来也不会更新我们的结果表；这样可以解决更新错误的问题。


然后，通过离线任务来定时修正3天前的结果数据。这样可以保证数据的最终一致性






------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <superainbower@163.com&gt;;
发送时间:&nbsp;2020年8月17日(星期一) 中午12:32
收件人:&nbsp;"user-zh@flink.apache.org"<user-zh@flink.apache.org&gt;;

主题:&nbsp;（无主题）



hi，社区的小伙伴，大家好！我有一个应用场景，想请教下大家有没有遇过，有什么好的方案。
场景就是：按照user和day的维度统计订单表里的有效订单数，同时存在历史的订单状态随时可能被更新，比如可能当前把2个月前的订单状态置未true，所以没法根据历史结果预统计，翻译称sql就是select user,day,count(*) from table where state = true group by user,day；目前我已经用flink-sql-cdc-connector实现了，但是有一个问题就是state，因为按user day组合 那么如果全部状态都保存后期回越来越大，但是如果设置ttl，那么如果历史订单变化，最终更新出去的值也不对。 
希望社区的小伙伴给我出出主意

回复： （无主题）

Posted by zhiyezou <15...@qq.com>.
Hi


先说下我们这边的情况，只有1%以下数据的更新时间会超过三天，但最大不会超过两周。所以我们只会更新最近两周的统计结果。


我理解你这边的场景是更新时间不确定。
如果需求方对数据误差零容忍，那估计得更新全量数据；否则可以根据历史数据的更新情况来统计出误差，进而灵活控制需要更新的数据量。










------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <Superainbower@163.com&gt;;
发送时间:&nbsp;2020年8月17日(星期一) 下午2:09
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;Re: （无主题）



hi，感谢提供的方案

是的，day是订单的创建时间

想请教下，你们的离线任务是每次都将全量订单数据一起修正吗，就是不管历史的有没有变化 都去作修正，

要是这样那会不会出现绝大部分情况，离线跑的任务都是无效的，因为历史数据未发生变化

&gt; 在 2020年8月17日，下午1:22，zhiyezou <1530130567@qq.com&gt; 写道：
&gt; 
&gt; HI&amp;nbsp;
&gt; 
&gt; 
&gt; 这个day应该是订单的创建时间吧
&gt; 
&gt; 
&gt; 我觉得我们遇到的问题有些类似，看下我们的方案对你是否有所帮助。
&gt; 
&gt; 
&gt; 首先，我们会把day这个条件控制在3天（select * where day &amp;gt;now-3），状态的TTL也是3天，即flink保留3天的状态，这样即使有3天前的数据到来也不会更新我们的结果表；这样可以解决更新错误的问题。
&gt; 
&gt; 
&gt; 然后，通过离线任务来定时修正3天前的结果数据。这样可以保证数据的最终一致性
&gt; 
&gt; 
&gt; 
&gt; 
&gt; 
&gt; 
&gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
&gt; 发件人:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; "user-zh"&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <superainbower@163.com&amp;gt;;
&gt; 发送时间:&amp;nbsp;2020年8月17日(星期一) 中午12:32
&gt; 收件人:&amp;nbsp;"user-zh@flink.apache.org"<user-zh@flink.apache.org&amp;gt;;
&gt; 
&gt; 主题:&amp;nbsp;（无主题）
&gt; 
&gt; 
&gt; 
&gt; hi，社区的小伙伴，大家好！我有一个应用场景，想请教下大家有没有遇过，有什么好的方案。
&gt; 场景就是：按照user和day的维度统计订单表里的有效订单数，同时存在历史的订单状态随时可能被更新，比如可能当前把2个月前的订单状态置未true，所以没法根据历史结果预统计，翻译称sql就是select user,day,count(*) from table where state = true group by user,day；目前我已经用flink-sql-cdc-connector实现了，但是有一个问题就是state，因为按user day组合 那么如果全部状态都保存后期回越来越大，但是如果设置ttl，那么如果历史订单变化，最终更新出去的值也不对。 
&gt; 希望社区的小伙伴给我出出主意

Re: （无主题）

Posted by art <Su...@163.com>.
hi，感谢提供的方案

是的，day是订单的创建时间

想请教下，你们的离线任务是每次都将全量订单数据一起修正吗，就是不管历史的有没有变化 都去作修正，

要是这样那会不会出现绝大部分情况，离线跑的任务都是无效的，因为历史数据未发生变化

> 在 2020年8月17日，下午1:22，zhiyezou <15...@qq.com> 写道：
> 
> HI&nbsp;
> 
> 
> 这个day应该是订单的创建时间吧
> 
> 
> 我觉得我们遇到的问题有些类似，看下我们的方案对你是否有所帮助。
> 
> 
> 首先，我们会把day这个条件控制在3天（select * where day &gt;now-3），状态的TTL也是3天，即flink保留3天的状态，这样即使有3天前的数据到来也不会更新我们的结果表；这样可以解决更新错误的问题。
> 
> 
> 然后，通过离线任务来定时修正3天前的结果数据。这样可以保证数据的最终一致性
> 
> 
> 
> 
> 
> 
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:                                                                                                                        "user-zh"                                                                                    <superainbower@163.com&gt;;
> 发送时间:&nbsp;2020年8月17日(星期一) 中午12:32
> 收件人:&nbsp;"user-zh@flink.apache.org"<user-zh@flink.apache.org&gt;;
> 
> 主题:&nbsp;（无主题）
> 
> 
> 
> hi，社区的小伙伴，大家好！我有一个应用场景，想请教下大家有没有遇过，有什么好的方案。
> 场景就是：按照user和day的维度统计订单表里的有效订单数，同时存在历史的订单状态随时可能被更新，比如可能当前把2个月前的订单状态置未true，所以没法根据历史结果预统计，翻译称sql就是select user,day,count(*) from table where state = true group by user,day；目前我已经用flink-sql-cdc-connector实现了，但是有一个问题就是state，因为按user day组合 那么如果全部状态都保存后期回越来越大，但是如果设置ttl，那么如果历史订单变化，最终更新出去的值也不对。 
> 希望社区的小伙伴给我出出主意