You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by op <52...@qq.com> on 2021/02/04 03:26:56 UTC
回复: 如何在程序里面判断作业是否是重启了
重启可能会导致数据重发,想加个告警
------------------ 原始邮件 ------------------
发件人: "user-zh" <wander4096@gmail.com>;
发送时间: 2021年2月4日(星期四) 中午11:11
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re: 如何在程序里面判断作业是否是重启了
业务上的需求是什么?
Best,
tison.
op <520075694@qq.com> 于2021年2月4日周四 上午11:04写道:
> 大家好:
> &nbsp;
> &nbsp;我在程序里通过RestartStrategies设置了重启策略,现在想在算子里面判断是否是触发了Restart,请问有哪些方法能实现呢?
Re: 如何在程序里面判断作业是否是重启了
Posted by Zhu Zhu <re...@gmail.com>.
RuntimeContext 有 getAttemptNumber() 接口,可以看出任务是第几次重跑了。
但是一般来说,我们都是通过外部系统监控 Flink 作业的 numRestarts metric 来判断作业是不是发生了 failover,进行报警。
Thanks,
Zhu
tison <wa...@gmail.com> 于2021年2月5日周五 下午12:10写道:
> 目前想到的是加一个调度器插件,在重启事件那边 hook 一下。
>
> 正常的重启流程貌似没有其他 hook 点了,抄送一下这方面的专家(in cc)看看有没有其他意见。
>
> Best,
> tison.
>
>
> 熊云昆 <xi...@163.com> 于2021年2月5日周五 上午11:30写道:
>
>>
>> super.getRuntimeContext().getAttemptNumber()试试这个方法获取重启次数试试,如果没有重启过是0,反之每重启一次就会加1
>>
>>
>> | |
>> 熊云昆
>> |
>> |
>> 邮箱:xiongyunkun@163.com
>> |
>>
>> 签名由 网易邮箱大师 定制
>>
>> 在2021年02月04日 11:42,op 写道:
>> 你好,我们下游不是所有需求都会去重,开销有点大。。。
>>
>>
>>
>>
>> ------------------ 原始邮件 ------------------
>> 发件人:
>> "user-zh"
>> <
>> zapjone@163.com>;
>> 发送时间: 2021年2月4日(星期四) 中午11:31
>> 收件人: "user-zh"<user-zh@flink.apache.org>;
>>
>> 主题: Re:回复: 如何在程序里面判断作业是否是重启了
>>
>>
>>
>>
>>
>>
>> 下游数据做好幂等操作,就不怕重复操作了。。
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2021-02-04 11:26:56,"op" <520075694@qq.com> 写道:
>> >重启可能会导致数据重发,想加个告警
>> >
>> >
>> >
>> >
>> >------------------&nbsp;原始邮件&nbsp;------------------
>> >发件人:
>> "user-zh"
>> <wander4096@gmail.com&gt;;
>> >发送时间:&nbsp;2021年2月4日(星期四) 中午11:11
>> >收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>> >
>> >主题:&nbsp;Re: 如何在程序里面判断作业是否是重启了
>> >
>> >
>> >
>> >业务上的需求是什么?
>> >
>> >Best,
>> >tison.
>> >
>> >
>> >op <520075694@qq.com&gt; 于2021年2月4日周四 上午11:04写道:
>> >
>> >&gt; 大家好:
>> >&gt; &amp;nbsp;
>> >&gt;
>> &amp;nbsp;我在程序里通过RestartStrategies设置了重启策略,现在想在算子里面判断是否是触发了Restart,请问有哪些方法能实现呢?
>
>
Re: 如何在程序里面判断作业是否是重启了
Posted by tison <wa...@gmail.com>.
目前想到的是加一个调度器插件,在重启事件那边 hook 一下。
正常的重启流程貌似没有其他 hook 点了,抄送一下这方面的专家(in cc)看看有没有其他意见。
Best,
tison.
熊云昆 <xi...@163.com> 于2021年2月5日周五 上午11:30写道:
>
> super.getRuntimeContext().getAttemptNumber()试试这个方法获取重启次数试试,如果没有重启过是0,反之每重启一次就会加1
>
>
> | |
> 熊云昆
> |
> |
> 邮箱:xiongyunkun@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2021年02月04日 11:42,op 写道:
> 你好,我们下游不是所有需求都会去重,开销有点大。。。
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> zapjone@163.com>;
> 发送时间: 2021年2月4日(星期四) 中午11:31
> 收件人: "user-zh"<user-zh@flink.apache.org>;
>
> 主题: Re:回复: 如何在程序里面判断作业是否是重启了
>
>
>
>
>
>
> 下游数据做好幂等操作,就不怕重复操作了。。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-02-04 11:26:56,"op" <520075694@qq.com> 写道:
> >重启可能会导致数据重发,想加个告警
> >
> >
> >
> >
> >------------------&nbsp;原始邮件&nbsp;------------------
> >发件人:
> "user-zh"
> <wander4096@gmail.com&gt;;
> >发送时间:&nbsp;2021年2月4日(星期四) 中午11:11
> >收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
> >
> >主题:&nbsp;Re: 如何在程序里面判断作业是否是重启了
> >
> >
> >
> >业务上的需求是什么?
> >
> >Best,
> >tison.
> >
> >
> >op <520075694@qq.com&gt; 于2021年2月4日周四 上午11:04写道:
> >
> >&gt; 大家好:
> >&gt; &amp;nbsp;
> >&gt;
> &amp;nbsp;我在程序里通过RestartStrategies设置了重启策略,现在想在算子里面判断是否是触发了Restart,请问有哪些方法能实现呢?
回复:如何在程序里面判断作业是否是重启了
Posted by 熊云昆 <xi...@163.com>.
super.getRuntimeContext().getAttemptNumber()试试这个方法获取重启次数试试,如果没有重启过是0,反之每重启一次就会加1
| |
熊云昆
|
|
邮箱:xiongyunkun@163.com
|
签名由 网易邮箱大师 定制
在2021年02月04日 11:42,op 写道:
你好,我们下游不是所有需求都会去重,开销有点大。。。
------------------ 原始邮件 ------------------
发件人: "user-zh" <zapjone@163.com>;
发送时间: 2021年2月4日(星期四) 中午11:31
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re:回复: 如何在程序里面判断作业是否是重启了
下游数据做好幂等操作,就不怕重复操作了。。
在 2021-02-04 11:26:56,"op" <520075694@qq.com> 写道:
>重启可能会导致数据重发,想加个告警
>
>
>
>
>------------------&nbsp;原始邮件&nbsp;------------------
>发件人: "user-zh" <wander4096@gmail.com&gt;;
>发送时间:&nbsp;2021年2月4日(星期四) 中午11:11
>收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
>主题:&nbsp;Re: 如何在程序里面判断作业是否是重启了
>
>
>
>业务上的需求是什么?
>
>Best,
>tison.
>
>
>op <520075694@qq.com&gt; 于2021年2月4日周四 上午11:04写道:
>
>&gt; 大家好:
>&gt; &amp;nbsp;
>&gt; &amp;nbsp;我在程序里通过RestartStrategies设置了重启策略,现在想在算子里面判断是否是触发了Restart,请问有哪些方法能实现呢?
回复: 如何在程序里面判断作业是否是重启了
Posted by op <52...@qq.com>.
你好,我们下游不是所有需求都会去重,开销有点大。。。
------------------ 原始邮件 ------------------
发件人: "user-zh" <zapjone@163.com>;
发送时间: 2021年2月4日(星期四) 中午11:31
收件人: "user-zh"<user-zh@flink.apache.org>;
主题: Re:回复: 如何在程序里面判断作业是否是重启了
下游数据做好幂等操作,就不怕重复操作了。。
在 2021-02-04 11:26:56,"op" <520075694@qq.com> 写道:
>重启可能会导致数据重发,想加个告警
>
>
>
>
>------------------&nbsp;原始邮件&nbsp;------------------
>发件人: "user-zh" <wander4096@gmail.com&gt;;
>发送时间:&nbsp;2021年2月4日(星期四) 中午11:11
>收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;
>
>主题:&nbsp;Re: 如何在程序里面判断作业是否是重启了
>
>
>
>业务上的需求是什么?
>
>Best,
>tison.
>
>
>op <520075694@qq.com&gt; 于2021年2月4日周四 上午11:04写道:
>
>&gt; 大家好:
>&gt; &amp;nbsp;
>&gt; &amp;nbsp;我在程序里通过RestartStrategies设置了重启策略,现在想在算子里面判断是否是触发了Restart,请问有哪些方法能实现呢?
Re:回复: 如何在程序里面判断作业是否是重启了
Posted by zapjone <za...@163.com>.
下游数据做好幂等操作,就不怕重复操作了。。
在 2021-02-04 11:26:56,"op" <52...@qq.com> 写道:
>重启可能会导致数据重发,想加个告警
>
>
>
>
>------------------ 原始邮件 ------------------
>发件人: "user-zh" <wander4096@gmail.com>;
>发送时间: 2021年2月4日(星期四) 中午11:11
>收件人: "user-zh"<user-zh@flink.apache.org>;
>
>主题: Re: 如何在程序里面判断作业是否是重启了
>
>
>
>业务上的需求是什么?
>
>Best,
>tison.
>
>
>op <520075694@qq.com> 于2021年2月4日周四 上午11:04写道:
>
>> 大家好:
>> &nbsp;
>> &nbsp;我在程序里通过RestartStrategies设置了重启策略,现在想在算子里面判断是否是触发了Restart,请问有哪些方法能实现呢?