You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by sunfulin <su...@163.com> on 2020/08/14 06:05:40 UTC

flink sql作业state size一直增加

hi,我的一个flink sql作业,在启用了idlestateretentiontime设置后,观察到web ui上的state size还是一直在增大,超过maximum retention time之后state大小也没有减小的情况,请问这个可能是啥原因哈?


使用的flink 版本:flink 1.10.1,启用的state ttl配置:tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5), Time.minutes(10));
我的作业逻辑是:统计每个userId每天第一次出现的记录,类似:select userId, first_value(xxx) from source group by userId, date_format(eventtime, 'yyyy-MM-dd');

Re: Re:Re: flink sql作业state size一直增加

Posted by 赵一旦 <hi...@gmail.com>.
话说为什么会有这类需求呢,感觉flink就不应该有state.retention这种考虑。要么使用time window,要么over
window。干嘛不分窗呢。。

Storm☀️ <st...@163.com> 于2020年12月18日周五 上午11:17写道:

> mini batch默认为false 。题主问题找到了吗
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>

Re: Re:Re: flink sql作业state size一直增加

Posted by Storm☀️ <st...@163.com>.
mini batch默认为false 。题主问题找到了吗



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re: flink sql作业state size一直增加

Posted by Benchao Li <li...@apache.org>.
是的。

sunfulin <su...@163.com> 于2020年8月14日周五 下午3:01写道:

> hi, benchao,
> 感谢回复,那我是不是可以理解为:去掉minibatch,就可以状态过期清理了哈?
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-08-14 14:09:33,"Benchao Li" <li...@apache.org> 写道:
> >Hi,
> >现在group agg + mini batch 还没有支持状态过期清理,已经有工作[1] 在解决这个问题了。
> >
> >[1] https://issues.apache.org/jira/browse/FLINK-17096
> >
> >sunfulin <su...@163.com> 于2020年8月14日周五 下午2:06写道:
> >
> >> hi,我的一个flink sql作业,在启用了idlestateretentiontime设置后,观察到web ui上的state
> >> size还是一直在增大,超过maximum retention time之后state大小也没有减小的情况,请问这个可能是啥原因哈?
> >>
> >>
> >> 使用的flink 版本:flink 1.10.1,启用的state
> >> ttl配置:tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5),
> >> Time.minutes(10));
> >> 我的作业逻辑是:统计每个userId每天第一次出现的记录,类似:select userId, first_value(xxx) from
> >> source group by userId, date_format(eventtime, 'yyyy-MM-dd');
> >
> >
> >
> >--
> >
> >Best,
> >Benchao Li
>


-- 

Best,
Benchao Li

Re:Re: flink sql作业state size一直增加

Posted by sunfulin <su...@163.com>.
hi, benchao,
感谢回复,那我是不是可以理解为:去掉minibatch,就可以状态过期清理了哈?

















在 2020-08-14 14:09:33,"Benchao Li" <li...@apache.org> 写道:
>Hi,
>现在group agg + mini batch 还没有支持状态过期清理,已经有工作[1] 在解决这个问题了。
>
>[1] https://issues.apache.org/jira/browse/FLINK-17096
>
>sunfulin <su...@163.com> 于2020年8月14日周五 下午2:06写道:
>
>> hi,我的一个flink sql作业,在启用了idlestateretentiontime设置后,观察到web ui上的state
>> size还是一直在增大,超过maximum retention time之后state大小也没有减小的情况,请问这个可能是啥原因哈?
>>
>>
>> 使用的flink 版本:flink 1.10.1,启用的state
>> ttl配置:tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5),
>> Time.minutes(10));
>> 我的作业逻辑是:统计每个userId每天第一次出现的记录,类似:select userId, first_value(xxx) from
>> source group by userId, date_format(eventtime, 'yyyy-MM-dd');
>
>
>
>-- 
>
>Best,
>Benchao Li

Re: flink sql作业state size一直增加

Posted by Benchao Li <li...@apache.org>.
Hi,
现在group agg + mini batch 还没有支持状态过期清理,已经有工作[1] 在解决这个问题了。

[1] https://issues.apache.org/jira/browse/FLINK-17096

sunfulin <su...@163.com> 于2020年8月14日周五 下午2:06写道:

> hi,我的一个flink sql作业,在启用了idlestateretentiontime设置后,观察到web ui上的state
> size还是一直在增大,超过maximum retention time之后state大小也没有减小的情况,请问这个可能是啥原因哈?
>
>
> 使用的flink 版本:flink 1.10.1,启用的state
> ttl配置:tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5),
> Time.minutes(10));
> 我的作业逻辑是:统计每个userId每天第一次出现的记录,类似:select userId, first_value(xxx) from
> source group by userId, date_format(eventtime, 'yyyy-MM-dd');



-- 

Best,
Benchao Li