You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by "casel.chen" <ca...@126.com> on 2022/11/23 00:32:11 UTC
flink作业提交运行后如何监听作业状态发生变化？
请问flink作业提交运行后如何监听作业状态发生变化以便在控台上实时显示作业状态变更？目前我们的做法是轮询，但效率低，有没有listener可以进行注册的方法呢？
Re: flink作业提交运行后如何监听作业状态发生变化？
Posted by TonyChen <to...@qq.com.INVALID>.
execution.job-listeners 只可以设置 JobListener 的实现。
需求场景应该使用 JobStatusListener
Best,
TonyChen
> 2022年11月24日 11:55，casel.chen <ca...@126.com> 写道：
>
> 可以使用 execution.job-listeners 参数吗？这个参数的用法是怎样的？
>
>
>
>
>
>
>
>
>
>
>
> 在 2022-11-24 10:41:35，"Yang Wang" <da...@gmail.com> 写道：
>> 其实可以参考Flink Kubernetes
>> Operator里面的做法，设置execution.shutdown-on-application-finish参数为false
>> 然后通过轮询Flink RestAPI拿到job的状态，job结束了再主动停掉Application cluster
>>
>> Best,
>> Yang
>>
>> JasonLee <17...@163.com> 于2022年11月24日周四 09:59写道：
>>
>>> Hi
>>>
>>>
>>> 可以通过 Flink 的 Metric 和 Yarn 的 Api 去获取任务的状态（任务提交到 yarn 的话）
>>>
>>>
>>> Best
>>> JasonLee
>>>
>>>
>>> ---- 回复的原邮件 ----
>>> | 发件人 | casel.chen<ca...@126.com> |
>>> | 发送日期 | 2022年11月23日 08:32 |
>>> | 收件人 | user-zh@flink.apache.org<us...@flink.apache.org> |
>>> | 主题 | flink作业提交运行后如何监听作业状态发生变化？ |
>>>
>>> 请问flink作业提交运行后如何监听作业状态发生变化以便在控台上实时显示作业状态变更？目前我们的做法是轮询，但效率低，有没有listener可以进行注册的方法呢？
Re:Re: flink作业提交运行后如何监听作业状态发生变化？
Posted by "casel.chen" <ca...@126.com>.
可以使用 execution.job-listeners 参数吗？这个参数的用法是怎样的？
在 2022-11-24 10:41:35，"Yang Wang" <da...@gmail.com> 写道：
>其实可以参考Flink Kubernetes
>Operator里面的做法，设置execution.shutdown-on-application-finish参数为false
>然后通过轮询Flink RestAPI拿到job的状态，job结束了再主动停掉Application cluster
>
>Best,
>Yang
>
>JasonLee <17...@163.com> 于2022年11月24日周四 09:59写道：
>
>> Hi
>>
>>
>> 可以通过 Flink 的 Metric 和 Yarn 的 Api 去获取任务的状态（任务提交到 yarn 的话）
>>
>>
>> Best
>> JasonLee
>>
>>
>> ---- 回复的原邮件 ----
>> | 发件人 | casel.chen<ca...@126.com> |
>> | 发送日期 | 2022年11月23日 08:32 |
>> | 收件人 | user-zh@flink.apache.org<us...@flink.apache.org> |
>> | 主题 | flink作业提交运行后如何监听作业状态发生变化？ |
>>
>> 请问flink作业提交运行后如何监听作业状态发生变化以便在控台上实时显示作业状态变更？目前我们的做法是轮询，但效率低，有没有listener可以进行注册的方法呢？
Re: flink作业提交运行后如何监听作业状态发生变化？
Posted by Yang Wang <da...@gmail.com>.
其实可以参考Flink Kubernetes
Operator里面的做法，设置execution.shutdown-on-application-finish参数为false
然后通过轮询Flink RestAPI拿到job的状态，job结束了再主动停掉Application cluster
Best,
Yang
JasonLee <17...@163.com> 于2022年11月24日周四 09:59写道：
> Hi
>
>
> 可以通过 Flink 的 Metric 和 Yarn 的 Api 去获取任务的状态（任务提交到 yarn 的话）
>
>
> Best
> JasonLee
>
>
> ---- 回复的原邮件 ----
> | 发件人 | casel.chen<ca...@126.com> |
> | 发送日期 | 2022年11月23日 08:32 |
> | 收件人 | user-zh@flink.apache.org<us...@flink.apache.org> |
> | 主题 | flink作业提交运行后如何监听作业状态发生变化？ |
>
> 请问flink作业提交运行后如何监听作业状态发生变化以便在控台上实时显示作业状态变更？目前我们的做法是轮询，但效率低，有没有listener可以进行注册的方法呢？
回复：flink作业提交运行后如何监听作业状态发生变化？
Posted by JasonLee <17...@163.com>.
Hi
可以通过 Flink 的 Metric 和 Yarn 的 Api 去获取任务的状态（任务提交到 yarn 的话）
Best
JasonLee
---- 回复的原邮件 ----
| 发件人 | casel.chen<ca...@126.com> |
| 发送日期 | 2022年11月23日 08:32 |
| 收件人 | user-zh@flink.apache.org<us...@flink.apache.org> |
| 主题 | flink作业提交运行后如何监听作业状态发生变化？ |
请问flink作业提交运行后如何监听作业状态发生变化以便在控台上实时显示作业状态变更？目前我们的做法是轮询，但效率低，有没有listener可以进行注册的方法呢？
Re: flink作业提交运行后如何监听作业状态发生变化？
Posted by TonyChen <to...@qq.com.INVALID>.
关注这个话题，感谢您的分享。
看了一下文档，貌似只有1.15及以上版本有这个metric，对于1.14及以下版本有什么好的思路吗？谢谢
Best,
TonyChen
> 2022年11月23日 09:28，RS <ti...@163.com> 写道：
>
> Hi，
>
>
> Flink的Metric了解下，里面应该有作业的状态
> https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/#reporter
>
>
> 配置不同的Metric方式，有的是拉取，有的是推送的机制，
> https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/metric_reporters/
>
>
>
> Thanks
>
>
>
>
> 在 2022-11-23 08:32:11，"casel.chen" <ca...@126.com> 写道：
>> 请问flink作业提交运行后如何监听作业状态发生变化以便在控台上实时显示作业状态变更？目前我们的做法是轮询，但效率低，有没有listener可以进行注册的方法呢？
Re:Re:flink作业提交运行后如何监听作业状态发生变化？
Posted by "casel.chen" <ca...@126.com>.
如果作业挂了就不会发metrics了吧，控台感知会滞后，有没有更及时感知的办法呢？
在 2022-11-23 09:28:59，"RS" <ti...@163.com> 写道：
>Hi，
>
>
>Flink的Metric了解下，里面应该有作业的状态
>https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/#reporter
>
>
>配置不同的Metric方式，有的是拉取，有的是推送的机制，
>https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/metric_reporters/
>
>
>
>Thanks
>
>
>
>
>在 2022-11-23 08:32:11，"casel.chen" <ca...@126.com> 写道：
>>请问flink作业提交运行后如何监听作业状态发生变化以便在控台上实时显示作业状态变更？目前我们的做法是轮询，但效率低，有没有listener可以进行注册的方法呢？
Re:flink作业提交运行后如何监听作业状态发生变化？
Posted by RS <ti...@163.com>.
Hi，
Flink的Metric了解下，里面应该有作业的状态
https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/#reporter
配置不同的Metric方式，有的是拉取，有的是推送的机制，
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/metric_reporters/
Thanks
在 2022-11-23 08:32:11，"casel.chen" <ca...@126.com> 写道：
>请问flink作业提交运行后如何监听作业状态发生变化以便在控台上实时显示作业状态变更？目前我们的做法是轮询，但效率低，有没有listener可以进行注册的方法呢？