Flink job与自己系统平台的一体化集成

[Jacob <17...@163.com>]

有一个模糊的需求，不知道是否合理

目前我们的实时计算的Job都是以On Yarn模式运行在hadoop集群，每次提交新的job，都是在Flink客户端下面，用./bin/flink
run-application -t yarn-application ....... 的形式去提交Job。

现在我们有自研的一个关于数据处理平台，flink
job是数据处理的一个环节，想着能不能在我们系统的portal中配一个菜单，上传flink项目的jar包，可以提交Job到hadoop集群，形成一体化的管理，不用每次去一个flink客户端下面去提交了，不知道这种需求是否合理？

我想着如果在我们自己的平台上提交job，那是不是应该先把flink客户端先集成到我们的系统中呢，否则job如何被启动运行呢？

需求比较模糊，各位大佬见谅。



-----
Thanks!
Jacob
--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink job与自己系统平台的一体化集成

[冯嘉伟 <14...@qq.com>]

Hi

可以分解为两步：
1、生成JobGraph，可以参考org.apache.flink.runtime.webmonitor.handlers.utils.JarHandlerUtils
中 toJobGraph()
2、向Yarn提交JobGraph，可以参考org.apache.flink.yarn.YarnClusterDescriptor 中
deployJobCluster()
注：1.11.x


Jacob wrote
> 有一个模糊的需求，不知道是否合理
> 
> 目前我们的实时计算的Job都是以On Yarn模式运行在hadoop集群，每次提交新的job，都是在Flink客户端下面，用./bin/flink
> run-application -t yarn-application ....... 的形式去提交Job。
> 
> 现在我们有自研的一个关于数据处理平台，flink
> job是数据处理的一个环节，想着能不能在我们系统的portal中配一个菜单，上传flink项目的jar包，可以提交Job到hadoop集群，形成一体化的管理，不用每次去一个flink客户端下面去提交了，不知道这种需求是否合理？
> 
> 我想着如果在我们自己的平台上提交job，那是不是应该先把flink客户端先集成到我们的系统中呢，否则job如何被启动运行呢？
> 
> 需求比较模糊，各位大佬见谅。
> 
> 
> 
> -----
> Thanks!
> Jacob
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/





--
Sent from: http://apache-flink.147419.n8.nabble.com/