You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 魏积乾 <ha...@foxmail.com> on 2020/11/27 11:08:24 UTC
回复：Re:回复：带有状态的算子保存checkpoint失败
flink-csv-1.11.2.jar
flink-dist_2.11-1.11.2.jar
flink-json-1.11.2.jar
flink-shaded-zookeeper-3.4.14.jar
flink-table_2.11-1.11.2.jar
flink-table-blink_2.11-1.11.2.jar
log4j-1.2-api-2.12.1.jar
log4j-api-2.12.1.jar
log4j-core-2.12.1.jar
log4j-slf4j-impl-2.12.1.jar
flink-metrics-prometheus_2.12-1.11.2.jar
按时间排了个序，这是最新的包。
发自我的iPhone
------------------ 原始邮件 ------------------
发件人: 王默 <wsj_freedom@163.com>
发送时间: 2020年11月27日 18:41
收件人: user-zh <user-zh@flink.apache.org>, harrywei <harrywei@foxmail.com>
主题: 回复：Re:回复：带有状态的算子保存checkpoint失败
请问能具体告知是哪个包没升级吗？或者是否有什么包需要从opt拷贝到lib下
在 2020-11-27 17:34:39，"魏积乾" <harrywei@foxmail.com> 写道： >我也刚遇到过，是从1.10升级上来的，一个任务可以保存checkpoint，一个任务老是保存失败，然后查看了lib下面的jar，发现有些jar没有升级上来，于是更改了，配置文件还改了state.checkpoints.dir。 >希望对你有帮助 > > > >发自我的iPhone > > >------------------ 原始邮件 ------------------ >发件人: 王默 <wsj_freedom@163.com&gt; >发送时间: 2020年11月27日 17:22 >收件人: user-zh <user-zh@flink.apache.org&gt; >主题: 回复：带有状态的算子保存checkpoint失败
Re: Re: Re:回复：带有状态的算子保存checkpoint失败
Posted by Congxian Qiu <qc...@gmail.com>.
checkpoint 失败了可以看看 是超时了，还是有 task snapshot 失败了，可以从 JM log
中来发现。超时的话，可以看下是数据量大需要时间久，还是 timeout 啥的设置太短；异常的话可以从对应的 tm log 看下为啥 snapshot
失败了
Best,
Congxian
王默 <ws...@163.com> 于2020年11月27日周五 下午11:43写道：
> checkpoint失败是在web页面上发现的，您看下截图https://imgchr.com/i/Dr3PNn
> 看taskmanager日志确实没有超时，也没有其他异常
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-11-27 21:39:50，"赵一旦" <hi...@gmail.com> 写道：
> >失败原因也不写，怎么个不能保存。。。超时？还是啥。
> >
> >魏积乾 <ha...@foxmail.com> 于2020年11月27日周五 下午7:08写道：
> >
> >> flink-csv-1.11.2.jar
> >> flink-dist_2.11-1.11.2.jar
> >> flink-json-1.11.2.jar
> >> flink-shaded-zookeeper-3.4.14.jar
> >> flink-table_2.11-1.11.2.jar
> >> flink-table-blink_2.11-1.11.2.jar
> >> log4j-1.2-api-2.12.1.jar
> >> log4j-api-2.12.1.jar
> >> log4j-core-2.12.1.jar
> >> log4j-slf4j-impl-2.12.1.jar
> >> flink-metrics-prometheus_2.12-1.11.2.jar
> >>
> >> 按时间排了个序，这是最新的包。
> >>
> >>
> >>
> >> 发自我的iPhone
> >>
> >>
> >> ------------------ 原始邮件 ------------------
> >> 发件人: 王默 <wsj_freedom@163.com>
> >> 发送时间: 2020年11月27日 18:41
> >> 收件人: user-zh <user-zh@flink.apache.org>, harrywei <
> harrywei@foxmail.com
> >> >
> >> 主题: 回复：Re:回复：带有状态的算子保存checkpoint失败
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> 请问能具体告知是哪个包没升级吗？或者是否有什么包需要从opt拷贝到lib下
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> 在 2020-11-27 17:34:39，"魏积乾" <harrywei@foxmail.com> 写道：
> >>
> >我也刚遇到过，是从1.10升级上来的，一个任务可以保存checkpoint，一个任务老是保存失败，然后查看了lib下面的jar，发现有些jar没有升级上来，于是更改了，配置文件还改了state.checkpoints.dir。
> >> >希望对你有帮助 > > > >发自我的iPhone > >
> >------------------
> >> 原始邮件 ------------------ >发件人: 王默 <wsj_freedom@163.com&gt;
> >> >发送时间: 2020年11月27日 17:22 >收件人: user-zh <user-zh@flink.apache.org
> &gt;
> >> >主题: 回复：带有状态的算子保存checkpoint失败
> >>
> >>
> >>
> >>
>
Re:Re: Re:回复：带有状态的算子保存checkpoint失败
Posted by 王默 <ws...@163.com>.
checkpoint失败是在web页面上发现的，您看下截图https://imgchr.com/i/Dr3PNn
看taskmanager日志确实没有超时，也没有其他异常
在 2020-11-27 21:39:50，"赵一旦" <hi...@gmail.com> 写道：
>失败原因也不写，怎么个不能保存。。。超时？还是啥。
>
>魏积乾 <ha...@foxmail.com> 于2020年11月27日周五 下午7:08写道：
>
>> flink-csv-1.11.2.jar
>> flink-dist_2.11-1.11.2.jar
>> flink-json-1.11.2.jar
>> flink-shaded-zookeeper-3.4.14.jar
>> flink-table_2.11-1.11.2.jar
>> flink-table-blink_2.11-1.11.2.jar
>> log4j-1.2-api-2.12.1.jar
>> log4j-api-2.12.1.jar
>> log4j-core-2.12.1.jar
>> log4j-slf4j-impl-2.12.1.jar
>> flink-metrics-prometheus_2.12-1.11.2.jar
>>
>> 按时间排了个序，这是最新的包。
>>
>>
>>
>> 发自我的iPhone
>>
>>
>> ------------------ 原始邮件 ------------------
>> 发件人: 王默 <wsj_freedom@163.com>
>> 发送时间: 2020年11月27日 18:41
>> 收件人: user-zh <user-zh@flink.apache.org>, harrywei <harrywei@foxmail.com
>> >
>> 主题: 回复：Re:回复：带有状态的算子保存checkpoint失败
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 请问能具体告知是哪个包没升级吗？或者是否有什么包需要从opt拷贝到lib下
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2020-11-27 17:34:39，"魏积乾" <harrywei@foxmail.com> 写道：
>> >我也刚遇到过，是从1.10升级上来的，一个任务可以保存checkpoint，一个任务老是保存失败，然后查看了lib下面的jar，发现有些jar没有升级上来，于是更改了，配置文件还改了state.checkpoints.dir。
>> >希望对你有帮助 > > > >发自我的iPhone > > >------------------
>> 原始邮件 ------------------ >发件人: 王默 <wsj_freedom@163.com&gt;
>> >发送时间: 2020年11月27日 17:22 >收件人: user-zh <user-zh@flink.apache.org&gt;
>> >主题: 回复：带有状态的算子保存checkpoint失败
>>
>>
>>
>>
Re: Re:回复：带有状态的算子保存checkpoint失败
Posted by 赵一旦 <hi...@gmail.com>.
失败原因也不写，怎么个不能保存。。。超时？还是啥。
魏积乾 <ha...@foxmail.com> 于2020年11月27日周五 下午7:08写道：
> flink-csv-1.11.2.jar
> flink-dist_2.11-1.11.2.jar
> flink-json-1.11.2.jar
> flink-shaded-zookeeper-3.4.14.jar
> flink-table_2.11-1.11.2.jar
> flink-table-blink_2.11-1.11.2.jar
> log4j-1.2-api-2.12.1.jar
> log4j-api-2.12.1.jar
> log4j-core-2.12.1.jar
> log4j-slf4j-impl-2.12.1.jar
> flink-metrics-prometheus_2.12-1.11.2.jar
>
> 按时间排了个序，这是最新的包。
>
>
>
> 发自我的iPhone
>
>
> ------------------ 原始邮件 ------------------
> 发件人: 王默 <wsj_freedom@163.com>
> 发送时间: 2020年11月27日 18:41
> 收件人: user-zh <user-zh@flink.apache.org>, harrywei <harrywei@foxmail.com
> >
> 主题: 回复：Re:回复：带有状态的算子保存checkpoint失败
>
>
>
>
>
>
>
>
>
>
> 请问能具体告知是哪个包没升级吗？或者是否有什么包需要从opt拷贝到lib下
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-11-27 17:34:39，"魏积乾" <harrywei@foxmail.com> 写道：
> >我也刚遇到过，是从1.10升级上来的，一个任务可以保存checkpoint，一个任务老是保存失败，然后查看了lib下面的jar，发现有些jar没有升级上来，于是更改了，配置文件还改了state.checkpoints.dir。
> >希望对你有帮助 > > > >发自我的iPhone > > >------------------
> 原始邮件 ------------------ >发件人: 王默 <wsj_freedom@163.com&gt;
> >发送时间: 2020年11月27日 17:22 >收件人: user-zh <user-zh@flink.apache.org&gt;
> >主题: 回复：带有状态的算子保存checkpoint失败
>
>
>
>