You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by sunfulin <su...@163.com> on 2020/08/14 06:05:40 UTC
flink sql作业state size一直增加
hi,我的一个flink sql作业,在启用了idlestateretentiontime设置后,观察到web ui上的state size还是一直在增大,超过maximum retention time之后state大小也没有减小的情况,请问这个可能是啥原因哈?
使用的flink 版本:flink 1.10.1,启用的state ttl配置:tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5), Time.minutes(10));
我的作业逻辑是:统计每个userId每天第一次出现的记录,类似:select userId, first_value(xxx) from source group by userId, date_format(eventtime, 'yyyy-MM-dd');
Re: Re:Re: flink sql作业state size一直增加
Posted by 赵一旦 <hi...@gmail.com>.
话说为什么会有这类需求呢,感觉flink就不应该有state.retention这种考虑。要么使用time window,要么over
window。干嘛不分窗呢。。
Storm☀️ <st...@163.com> 于2020年12月18日周五 上午11:17写道:
> mini batch默认为false 。题主问题找到了吗
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
Re: Re:Re: flink sql作业state size一直增加
Posted by Storm☀️ <st...@163.com>.
mini batch默认为false 。题主问题找到了吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Re: flink sql作业state size一直增加
Posted by Benchao Li <li...@apache.org>.
是的。
sunfulin <su...@163.com> 于2020年8月14日周五 下午3:01写道:
> hi, benchao,
> 感谢回复,那我是不是可以理解为:去掉minibatch,就可以状态过期清理了哈?
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-08-14 14:09:33,"Benchao Li" <li...@apache.org> 写道:
> >Hi,
> >现在group agg + mini batch 还没有支持状态过期清理,已经有工作[1] 在解决这个问题了。
> >
> >[1] https://issues.apache.org/jira/browse/FLINK-17096
> >
> >sunfulin <su...@163.com> 于2020年8月14日周五 下午2:06写道:
> >
> >> hi,我的一个flink sql作业,在启用了idlestateretentiontime设置后,观察到web ui上的state
> >> size还是一直在增大,超过maximum retention time之后state大小也没有减小的情况,请问这个可能是啥原因哈?
> >>
> >>
> >> 使用的flink 版本:flink 1.10.1,启用的state
> >> ttl配置:tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5),
> >> Time.minutes(10));
> >> 我的作业逻辑是:统计每个userId每天第一次出现的记录,类似:select userId, first_value(xxx) from
> >> source group by userId, date_format(eventtime, 'yyyy-MM-dd');
> >
> >
> >
> >--
> >
> >Best,
> >Benchao Li
>
--
Best,
Benchao Li
Re:Re: flink sql作业state size一直增加
Posted by sunfulin <su...@163.com>.
hi, benchao,
感谢回复,那我是不是可以理解为:去掉minibatch,就可以状态过期清理了哈?
在 2020-08-14 14:09:33,"Benchao Li" <li...@apache.org> 写道:
>Hi,
>现在group agg + mini batch 还没有支持状态过期清理,已经有工作[1] 在解决这个问题了。
>
>[1] https://issues.apache.org/jira/browse/FLINK-17096
>
>sunfulin <su...@163.com> 于2020年8月14日周五 下午2:06写道:
>
>> hi,我的一个flink sql作业,在启用了idlestateretentiontime设置后,观察到web ui上的state
>> size还是一直在增大,超过maximum retention time之后state大小也没有减小的情况,请问这个可能是啥原因哈?
>>
>>
>> 使用的flink 版本:flink 1.10.1,启用的state
>> ttl配置:tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5),
>> Time.minutes(10));
>> 我的作业逻辑是:统计每个userId每天第一次出现的记录,类似:select userId, first_value(xxx) from
>> source group by userId, date_format(eventtime, 'yyyy-MM-dd');
>
>
>
>--
>
>Best,
>Benchao Li
Re: flink sql作业state size一直增加
Posted by Benchao Li <li...@apache.org>.
Hi,
现在group agg + mini batch 还没有支持状态过期清理,已经有工作[1] 在解决这个问题了。
[1] https://issues.apache.org/jira/browse/FLINK-17096
sunfulin <su...@163.com> 于2020年8月14日周五 下午2:06写道:
> hi,我的一个flink sql作业,在启用了idlestateretentiontime设置后,观察到web ui上的state
> size还是一直在增大,超过maximum retention time之后state大小也没有减小的情况,请问这个可能是啥原因哈?
>
>
> 使用的flink 版本:flink 1.10.1,启用的state
> ttl配置:tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5),
> Time.minutes(10));
> 我的作业逻辑是:统计每个userId每天第一次出现的记录,类似:select userId, first_value(xxx) from
> source group by userId, date_format(eventtime, 'yyyy-MM-dd');
--
Best,
Benchao Li