You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by zhy <zh...@akulaku.com> on 2020/12/18 07:57:40 UTC

flink1.11.2检查点失败

hi、
我这面在使用flink1.11.2做实时特征的时候,状态大小大约在30g左右的时候任务就不能继续运行了,而查看异常日志发现大量的InterruptedException,请问这种情况是集群的问题还是flink的问题,而另一个3G状态的任务依然正常运行

Re: flink1.11.2检查点失败

Posted by 赵一旦 <hi...@gmail.com>.
问下,你使用的yarn集群还是standalone集群。其次多大规模的资源。
我这边之前尝试使用RocksDB,会反压很严重。目前来看file方式性能比RocksDB高很多会。

r pp <pr...@gmail.com> 于2020年12月19日周六 下午3:35写道:

> 我觉得补充完整的 故障信息,以及你的资源配置信息,实例代码 可以更好的让别人回答你的问题
>
> zhy <zh...@akulaku.com> 于2020年12月18日周五 下午4:07写道:
>
> >
> >
> 补充一下,状态后端选择的是rocksdb,检查点间隔为15分钟,超时时间为5分钟,感觉5分钟超时已经很大了,结果检查点线程还是会被中断,是需要继续调大超时时间吗
> >
> > zhy <zh...@akulaku.com> 于2020年12月18日周五 下午3:57写道:
> >
> > > hi、
> > >
> > >
> >
> 我这面在使用flink1.11.2做实时特征的时候,状态大小大约在30g左右的时候任务就不能继续运行了,而查看异常日志发现大量的InterruptedException,请问这种情况是集群的问题还是flink的问题,而另一个3G状态的任务依然正常运行
> > >
> >
>

Re: flink1.11.2检查点失败

Posted by r pp <pr...@gmail.com>.
我觉得补充完整的 故障信息,以及你的资源配置信息,实例代码 可以更好的让别人回答你的问题

zhy <zh...@akulaku.com> 于2020年12月18日周五 下午4:07写道:

>
> 补充一下,状态后端选择的是rocksdb,检查点间隔为15分钟,超时时间为5分钟,感觉5分钟超时已经很大了,结果检查点线程还是会被中断,是需要继续调大超时时间吗
>
> zhy <zh...@akulaku.com> 于2020年12月18日周五 下午3:57写道:
>
> > hi、
> >
> >
> 我这面在使用flink1.11.2做实时特征的时候,状态大小大约在30g左右的时候任务就不能继续运行了,而查看异常日志发现大量的InterruptedException,请问这种情况是集群的问题还是flink的问题,而另一个3G状态的任务依然正常运行
> >
>

Re: flink1.11.2检查点失败

Posted by zhy <zh...@akulaku.com>.
补充一下,状态后端选择的是rocksdb,检查点间隔为15分钟,超时时间为5分钟,感觉5分钟超时已经很大了,结果检查点线程还是会被中断,是需要继续调大超时时间吗

zhy <zh...@akulaku.com> 于2020年12月18日周五 下午3:57写道:

> hi、
>
> 我这面在使用flink1.11.2做实时特征的时候,状态大小大约在30g左右的时候任务就不能继续运行了,而查看异常日志发现大量的InterruptedException,请问这种情况是集群的问题还是flink的问题,而另一个3G状态的任务依然正常运行
>