flink启动任务的方式

[chenxuying <cx...@163.com>]

请问下目前flink的启动方式有哪些
1 通过命令行来执行
flink run -C file:///usr/local/soft/flink/function-0.1.jar -c cn.xxx.flink.table.sql.Job /usr/local/soft/flink/flink-1.0-SNAPSHOT.jar
2通过自带的webui页面上传jar , submit jar
3 通过代码 createRemoteEnvironment


目前主要使用的是,通过代码请求rest api http请求来实现上传jar,跑任务, 但是目前遇到的问题是,通过rest api 无法实现命令行那样提供其他的jar包 

Re: Re: flink启动任务的方式

[tison <wa...@gmail.com>]

REST API jar run endpoint 不支持关联其他 jar 听起来是个问题。FatJar 是一种解决方案，这个可以提到 JIRA
上作为需求（x

Best,
tison.


Arnold Zai <yz...@gmail.com> 于2020年4月21日周二 下午5:46写道：

> jarFiles参数不是个参数列表么，多传几个。
>
> 或把依赖提前部署到${FLINK_HOME}/plugins里
>
> chenxuying <cx...@163.com> 于2020年4月21日周二 下午3:36写道：
>
> > 这个是可以 , 不过我们的需求不允许打FatJar
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> > 在 2020-04-21 15:27:48，"Arnold Zai" <yz...@gmail.com> 写道：
> > >打个FatJar
> > >
> > >chenxuying <cx...@163.com> 于2020年4月21日周二 下午2:47写道：
> > >
> > >> 请问下目前flink的启动方式有哪些
> > >> 1 通过命令行来执行
> > >> flink run -C file:///usr/local/soft/flink/function-0.1.jar -c
> > >> cn.xxx.flink.table.sql.Job
> /usr/local/soft/flink/flink-1.0-SNAPSHOT.jar
> > >> 2通过自带的webui页面上传jar , submit jar
> > >> 3 通过代码 createRemoteEnvironment
> > >>
> > >> 目前主要使用的是,通过代码请求rest api http请求来实现上传jar,跑任务, 但是目前遇到的问题是,通过rest api
> > >> 无法实现命令行那样提供其他的jar包
> > >>
> > >>
> > >>
> > >>
> >
>

Re:Re: Re: flink启动任务的方式

[chenxuying <cx...@163.com>]

您说的jarFiles是以什么样的方式提交任务
然后我试了一下plugin,好像并不可以,重启flink cluster也不行 , 也不知是不是我的方式不对
我的目录结构是
xxx/flink/plugins/
folder1/
udf.jar


另外说一下,如果我把udf.jar放到 /flink/lib下,重启是可以的,不过这不是我想要的方式,不知道您是否理解,因为我想要的我随时可以写个udf.jar,随时可以用,不要重启flink cluster

在 2020-04-21 17:46:00，"Arnold Zai" <yz...@gmail.com> 写道：
>jarFiles参数不是个参数列表么，多传几个。
>
>或把依赖提前部署到${FLINK_HOME}/plugins里
>
>chenxuying <cx...@163.com> 于2020年4月21日周二 下午3:36写道：
>
>> 这个是可以 , 不过我们的需求不允许打FatJar
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2020-04-21 15:27:48，"Arnold Zai" <yz...@gmail.com> 写道：
>> >打个FatJar
>> >
>> >chenxuying <cx...@163.com> 于2020年4月21日周二 下午2:47写道：
>> >
>> >> 请问下目前flink的启动方式有哪些
>> >> 1 通过命令行来执行
>> >> flink run -C file:///usr/local/soft/flink/function-0.1.jar -c
>> >> cn.xxx.flink.table.sql.Job /usr/local/soft/flink/flink-1.0-SNAPSHOT.jar
>> >> 2通过自带的webui页面上传jar , submit jar
>> >> 3 通过代码 createRemoteEnvironment
>> >>
>> >> 目前主要使用的是,通过代码请求rest api http请求来实现上传jar,跑任务, 但是目前遇到的问题是,通过rest api
>> >> 无法实现命令行那样提供其他的jar包
>> >>
>> >>
>> >>
>> >>
>>

Re: Re: flink启动任务的方式

[Arnold Zai <yz...@gmail.com>]

jarFiles参数不是个参数列表么，多传几个。

或把依赖提前部署到${FLINK_HOME}/plugins里

chenxuying <cx...@163.com> 于2020年4月21日周二 下午3:36写道：

> 这个是可以 , 不过我们的需求不允许打FatJar
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-04-21 15:27:48，"Arnold Zai" <yz...@gmail.com> 写道：
> >打个FatJar
> >
> >chenxuying <cx...@163.com> 于2020年4月21日周二 下午2:47写道：
> >
> >> 请问下目前flink的启动方式有哪些
> >> 1 通过命令行来执行
> >> flink run -C file:///usr/local/soft/flink/function-0.1.jar -c
> >> cn.xxx.flink.table.sql.Job /usr/local/soft/flink/flink-1.0-SNAPSHOT.jar
> >> 2通过自带的webui页面上传jar , submit jar
> >> 3 通过代码 createRemoteEnvironment
> >>
> >> 目前主要使用的是,通过代码请求rest api http请求来实现上传jar,跑任务, 但是目前遇到的问题是,通过rest api
> >> 无法实现命令行那样提供其他的jar包
> >>
> >>
> >>
> >>
>

Re:Re: flink启动任务的方式

[chenxuying <cx...@163.com>]

这个是可以 , 不过我们的需求不允许打FatJar

















在 2020-04-21 15:27:48，"Arnold Zai" <yz...@gmail.com> 写道：
>打个FatJar
>
>chenxuying <cx...@163.com> 于2020年4月21日周二 下午2:47写道：
>
>> 请问下目前flink的启动方式有哪些
>> 1 通过命令行来执行
>> flink run -C file:///usr/local/soft/flink/function-0.1.jar -c
>> cn.xxx.flink.table.sql.Job /usr/local/soft/flink/flink-1.0-SNAPSHOT.jar
>> 2通过自带的webui页面上传jar , submit jar
>> 3 通过代码 createRemoteEnvironment
>>
>> 目前主要使用的是,通过代码请求rest api http请求来实现上传jar,跑任务, 但是目前遇到的问题是,通过rest api
>> 无法实现命令行那样提供其他的jar包
>>
>>
>>
>>

Re: flink启动任务的方式

[Arnold Zai <yz...@gmail.com>]

打个FatJar

chenxuying <cx...@163.com> 于2020年4月21日周二 下午2:47写道：

> 请问下目前flink的启动方式有哪些
> 1 通过命令行来执行
> flink run -C file:///usr/local/soft/flink/function-0.1.jar -c
> cn.xxx.flink.table.sql.Job /usr/local/soft/flink/flink-1.0-SNAPSHOT.jar
> 2通过自带的webui页面上传jar , submit jar
> 3 通过代码 createRemoteEnvironment
>
> 目前主要使用的是,通过代码请求rest api http请求来实现上传jar,跑任务, 但是目前遇到的问题是,通过rest api
> 无法实现命令行那样提供其他的jar包
>
>
>
>