group agg 开启了mini batch之后，state ttl不生效的问题

["kandy.wang" <ka...@163.com>]

group agg 开启了mini batch之后，state ttl不生效的问题：


现在我们发现好像 计算订单指标，写hbase，开启mini batch确实是需要的。这样可以大大降低sink 算子的数据量，降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话，单个任务 就可以把hbase 的tps 干到 十几万。


sql-client-defaults.yaml对应的参数应该是这2个吧：
# minimum idle state retention in ms
min-idle-state-retention: 0
# maximum idle state retention in ms
max-idle-state-retention: 0
这个现在进展如何了，这个社区打算什么时候支持

Re: Re: group agg 开启了mini batch之后，state ttl不生效的问题

[刘大龙 <ld...@zju.edu.cn>]

这个是是非窗口下agg的优化，目前窗口聚合agg还不支持mini batch


> -----原始邮件-----
> 发件人: "Tianwang Li" <li...@gmail.com>
> 发送时间: 2020-09-30 14:32:39 (星期三)
> 收件人: user-zh@flink.apache.org
> 抄送: 
> 主题: Re: group agg 开启了mini batch之后，state ttl不生效的问题
> 
> 这种有窗口统计没有影响吧？
> 
> 
> 刘建刚 <li...@gmail.com> 于2020年9月30日周三 下午2:25写道：
> 
> > 修复方案参考https://github.com/apache/flink/pull/11830
> >
> > kandy.wang <ka...@163.com> 于2020年9月30日周三 下午2:19写道：
> >
> > > group agg 开启了mini batch之后，state ttl不生效的问题：
> > >
> > >
> > > 现在我们发现好像 计算订单指标，写hbase，开启mini batch确实是需要的。这样可以大大降低sink
> > > 算子的数据量，降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话，单个任务 就可以把hbase 的tps 干到
> > 十几万。
> > >
> > >
> > > sql-client-defaults.yaml对应的参数应该是这2个吧：
> > > # minimum idle state retention in ms
> > > min-idle-state-retention: 0
> > > # maximum idle state retention in ms
> > > max-idle-state-retention: 0
> > > 这个现在进展如何了，这个社区打算什么时候支持
> > >
> > >
> > >
> > >
> >
> 
> 
> -- 
> **************************************
>  tivanli
> **************************************


------------------------------
刘大龙

浙江大学 控制系 智能系统与控制研究所 工控新楼217
地址：浙江省杭州市浙大路38号浙江大学玉泉校区
Tel：18867547281

Re: group agg 开启了mini batch之后，state ttl不生效的问题

[Tianwang Li <li...@gmail.com>]

这种有窗口统计没有影响吧？


刘建刚 <li...@gmail.com> 于2020年9月30日周三 下午2:25写道：

> 修复方案参考https://github.com/apache/flink/pull/11830
>
> kandy.wang <ka...@163.com> 于2020年9月30日周三 下午2:19写道：
>
> > group agg 开启了mini batch之后，state ttl不生效的问题：
> >
> >
> > 现在我们发现好像 计算订单指标，写hbase，开启mini batch确实是需要的。这样可以大大降低sink
> > 算子的数据量，降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话，单个任务 就可以把hbase 的tps 干到
> 十几万。
> >
> >
> > sql-client-defaults.yaml对应的参数应该是这2个吧：
> > # minimum idle state retention in ms
> > min-idle-state-retention: 0
> > # maximum idle state retention in ms
> > max-idle-state-retention: 0
> > 这个现在进展如何了，这个社区打算什么时候支持
> >
> >
> >
> >
>


-- 
**************************************
 tivanli
**************************************

Re: group agg 开启了mini batch之后，state ttl不生效的问题

[刘建刚 <li...@gmail.com>]

修复方案参考https://github.com/apache/flink/pull/11830

kandy.wang <ka...@163.com> 于2020年9月30日周三 下午2:19写道：

> group agg 开启了mini batch之后，state ttl不生效的问题：
>
>
> 现在我们发现好像 计算订单指标，写hbase，开启mini batch确实是需要的。这样可以大大降低sink
> 算子的数据量，降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话，单个任务 就可以把hbase 的tps 干到 十几万。
>
>
> sql-client-defaults.yaml对应的参数应该是这2个吧：
> # minimum idle state retention in ms
> min-idle-state-retention: 0
> # maximum idle state retention in ms
> max-idle-state-retention: 0
> 这个现在进展如何了，这个社区打算什么时候支持
>
>
>
>