请教下flink的提交方式

[sherlock zw <zw...@LIVE.COM>]

目前我需要去监控已经提交的flink任务， 但是通过命令行方式提交的话拿不到任务id，只能通过INFO级别的日志过滤出来，但是我们的环境里面的日志界别是WARN，看不到任务id的日志输出，所以想问下除了命令行的方式提交任务还有其他方式吗，例如有和Spark类似的SparkLaunch一样的jar提交的方式吗？希望大佬指点下，谢谢。

Re:请教下flink的提交方式

[RS <ti...@163.com>]

Hi，


通过命令行的方式提交，可以捕获flink run的标准输出，里面包含job id，然后正则匹配或者字符串截取就可以提取到job id了


Thanks





在 2022-07-04 17:50:07，"sherlock zw" <zw...@LIVE.COM> 写道：
>目前我需要去监控已经提交的flink任务， 但是通过命令行方式提交的话拿不到任务id，只能通过INFO级别的日志过滤出来，但是我们的环境里面的日志界别是WARN，看不到任务id的日志输出，所以想问下除了命令行的方式提交任务还有其他方式吗，例如有和Spark类似的SparkLaunch一样的jar提交的方式吗？希望大佬指点下，谢谢。
>
>

Re: 请教下flink的提交方式

[Weihua Hu <hu...@gmail.com>]

Hi,
根据你的描述你应该使用的 session cluster，并通过命令行提交作业，这种情况下的确只能在日志中看到 job id，并且级别的是 INFO.
可以尝试通过 RestAPI 提交任务[1]，这种方式会返回 JobID。但是整体提交流程改动比较大，建议把 client 侧的日志级别调整成
INFO，不会打印非常多的日志

[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/ops/rest_api/#jars-jarid-run

Best,
Weihua


On Mon, Jul 4, 2022 at 7:05 PM Lijie Wang <wa...@gmail.com> wrote:

> Hi,
> 拿不到任务 id 是指 Flink job id 么？
> 另外你的部署方式是什么样子的? 如果是 session/perjob 这种在 client 端编译 job graph，你可以在 main 方法中打印
> job id 的
>
> Best，
> Lijie
>
> sherlock zw <zw...@live.com> 于2022年7月4日周一 17:51写道：
>
> > 目前我需要去监控已经提交的flink任务，
> >
> 但是通过命令行方式提交的话拿不到任务id，只能通过INFO级别的日志过滤出来，但是我们的环境里面的日志界别是WARN，看不到任务id的日志输出，所以想问下除了命令行的方式提交任务还有其他方式吗，例如有和Spark类似的SparkLaunch一样的jar提交的方式吗？希望大佬指点下，谢谢。
> >
> >
> >
>

Re: 请教下flink的提交方式

[Lijie Wang <wa...@gmail.com>]

Hi,
拿不到任务 id 是指 Flink job id 么？
另外你的部署方式是什么样子的? 如果是 session/perjob 这种在 client 端编译 job graph，你可以在 main 方法中打印
job id 的

Best，
Lijie

sherlock zw <zw...@live.com> 于2022年7月4日周一 17:51写道：

> 目前我需要去监控已经提交的flink任务，
> 但是通过命令行方式提交的话拿不到任务id，只能通过INFO级别的日志过滤出来，但是我们的环境里面的日志界别是WARN，看不到任务id的日志输出，所以想问下除了命令行的方式提交任务还有其他方式吗，例如有和Spark类似的SparkLaunch一样的jar提交的方式吗？希望大佬指点下，谢谢。
>
>
>