You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by 杨荣 <sa...@gmail.com> on 2020/07/24 02:52:47 UTC
关于 sql-client
Hi all,
请问：
1. 在 Embedded mode 下，支持 ClusterClient 进行 job
提交作业，进行分布式计算吗？在文档中没看到，跟着文档走，只启起了 Local 在本地作业，无法运用到生产环境。
2. GateWay mode 预计在那个版本 release？
Re: Re: 关于 sql-client
Posted by "chengyanan1008@foxmail.com" <ch...@foxmail.com>.
zeppelin 可以网页上提交各种作业，也是很不错的
另外 submit with SQL file 可以参考大佬写的 https://github.com/wuchong/flink-sql-submit，
然后在大佬的基础上，我自己稍微简化了一下,https://github.com/Chengyanan1008/flink-sql-submit-client
直接在服务器上执行./sql-submit.sh -f <sql-file> 就可以执行SQL 文件了
chengyanan1008@foxmail.com
发件人： Jeff Zhang
发送时间： 2020-07-24 15:46
收件人： user-zh
主题： Re: 关于 sql-client
可以用zeppelin来提交flink sql作业，可以加入钉钉群讨论：32803524
杨荣 <sa...@gmail.com> 于2020年7月24日周五 下午3:19写道：
> 你们可以 pr 到官方啊。我觉得这个功能很刚需啊，并且 basic 版的 1.5 就 release 了，不知道为什么相关 gate way 或者
> submit with sql file 的 feature 到现在都还没实现呢。
>
> Harold.Miao <mi...@gmail.com> 于2020年7月24日周五 上午11:42写道：
>
> > 1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address
> > 源码里面有加载主配置文件的逻辑
> >
> > public LocalExecutor(URL defaultEnv, List<URL> jars, List<URL>
> libraries) {
> > // discover configuration
> > final String flinkConfigDir;
> > try {
> > // find the configuration directory
> > flinkConfigDir = CliFrontend.getConfigurationDirectoryFromEnv();
> >
> > // load the global configuration
> > this.flinkConfig =
> > GlobalConfiguration.loadConfiguration(flinkConfigDir);
> >
> > // initialize default file system
> > FileSystem.initialize(flinkConfig,
> > PluginUtils.createPluginManagerFromRootFolder(flinkConfig));
> >
> > // load command lines for deployment
> > this.commandLines =
> > CliFrontend.loadCustomCommandLines(flinkConfig, flinkConfigDir);
> > this.commandLineOptions = collectCommandLineOptions(commandLines);
> > } catch (Exception e) {
> > throw new SqlClientException("Could not load Flink configuration.",
> > e);
> > }
> >
> >
> > 2 因为等不及官方的 我们自己wrapper实现了一个
> >
> >
> >
> >
> > 杨荣 <sa...@gmail.com> 于2020年7月24日周五 上午10:53写道：
> >
> > > Hi all,
> > >
> > > 请问：
> > > 1. 在 Embedded mode 下，支持 ClusterClient 进行 job
> > > 提交作业，进行分布式计算吗？在文档中没看到，跟着文档走，只启起了 Local 在本地作业，无法运用到生产环境。
> > >
> > > 2. GateWay mode 预计在那个版本 release？
> > >
> >
> >
> > --
> >
> > Best Regards,
> > Harold Miao
> >
>
--
Best Regards
Jeff Zhang
Re: 关于 sql-client
Posted by Jeff Zhang <zj...@gmail.com>.
可以用zeppelin来提交flink sql作业，可以加入钉钉群讨论：32803524
杨荣 <sa...@gmail.com> 于2020年7月24日周五 下午3:19写道：
> 你们可以 pr 到官方啊。我觉得这个功能很刚需啊，并且 basic 版的 1.5 就 release 了，不知道为什么相关 gate way 或者
> submit with sql file 的 feature 到现在都还没实现呢。
>
> Harold.Miao <mi...@gmail.com> 于2020年7月24日周五 上午11:42写道：
>
> > 1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address
> > 源码里面有加载主配置文件的逻辑
> >
> > public LocalExecutor(URL defaultEnv, List<URL> jars, List<URL>
> libraries) {
> > // discover configuration
> > final String flinkConfigDir;
> > try {
> > // find the configuration directory
> > flinkConfigDir = CliFrontend.getConfigurationDirectoryFromEnv();
> >
> > // load the global configuration
> > this.flinkConfig =
> > GlobalConfiguration.loadConfiguration(flinkConfigDir);
> >
> > // initialize default file system
> > FileSystem.initialize(flinkConfig,
> > PluginUtils.createPluginManagerFromRootFolder(flinkConfig));
> >
> > // load command lines for deployment
> > this.commandLines =
> > CliFrontend.loadCustomCommandLines(flinkConfig, flinkConfigDir);
> > this.commandLineOptions = collectCommandLineOptions(commandLines);
> > } catch (Exception e) {
> > throw new SqlClientException("Could not load Flink configuration.",
> > e);
> > }
> >
> >
> > 2 因为等不及官方的 我们自己wrapper实现了一个
> >
> >
> >
> >
> > 杨荣 <sa...@gmail.com> 于2020年7月24日周五 上午10:53写道：
> >
> > > Hi all,
> > >
> > > 请问：
> > > 1. 在 Embedded mode 下，支持 ClusterClient 进行 job
> > > 提交作业，进行分布式计算吗？在文档中没看到，跟着文档走，只启起了 Local 在本地作业，无法运用到生产环境。
> > >
> > > 2. GateWay mode 预计在那个版本 release？
> > >
> >
> >
> > --
> >
> > Best Regards,
> > Harold Miao
> >
>
--
Best Regards
Jeff Zhang
Re: 关于 sql-client
Posted by "Harold.Miao" <mi...@gmail.com>.
这个呢 https://github.com/ververica/flink-sql-gateway
杨荣 <sa...@gmail.com> 于2020年7月24日周五 下午3:19写道：
> 你们可以 pr 到官方啊。我觉得这个功能很刚需啊，并且 basic 版的 1.5 就 release 了，不知道为什么相关 gate way 或者
> submit with sql file 的 feature 到现在都还没实现呢。
>
> Harold.Miao <mi...@gmail.com> 于2020年7月24日周五 上午11:42写道：
>
> > 1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address
> > 源码里面有加载主配置文件的逻辑
> >
> > public LocalExecutor(URL defaultEnv, List<URL> jars, List<URL>
> libraries) {
> > // discover configuration
> > final String flinkConfigDir;
> > try {
> > // find the configuration directory
> > flinkConfigDir = CliFrontend.getConfigurationDirectoryFromEnv();
> >
> > // load the global configuration
> > this.flinkConfig =
> > GlobalConfiguration.loadConfiguration(flinkConfigDir);
> >
> > // initialize default file system
> > FileSystem.initialize(flinkConfig,
> > PluginUtils.createPluginManagerFromRootFolder(flinkConfig));
> >
> > // load command lines for deployment
> > this.commandLines =
> > CliFrontend.loadCustomCommandLines(flinkConfig, flinkConfigDir);
> > this.commandLineOptions = collectCommandLineOptions(commandLines);
> > } catch (Exception e) {
> > throw new SqlClientException("Could not load Flink configuration.",
> > e);
> > }
> >
> >
> > 2 因为等不及官方的 我们自己wrapper实现了一个
> >
> >
> >
> >
> > 杨荣 <sa...@gmail.com> 于2020年7月24日周五 上午10:53写道：
> >
> > > Hi all,
> > >
> > > 请问：
> > > 1. 在 Embedded mode 下，支持 ClusterClient 进行 job
> > > 提交作业，进行分布式计算吗？在文档中没看到，跟着文档走，只启起了 Local 在本地作业，无法运用到生产环境。
> > >
> > > 2. GateWay mode 预计在那个版本 release？
> > >
> >
> >
> > --
> >
> > Best Regards,
> > Harold Miao
> >
>
--
Best Regards,
Harold Miao
Re: 关于 sql-client
Posted by 杨荣 <sa...@gmail.com>.
你们可以 pr 到官方啊。我觉得这个功能很刚需啊，并且 basic 版的 1.5 就 release 了，不知道为什么相关 gate way 或者
submit with sql file 的 feature 到现在都还没实现呢。
Harold.Miao <mi...@gmail.com> 于2020年7月24日周五 上午11:42写道：
> 1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address
> 源码里面有加载主配置文件的逻辑
>
> public LocalExecutor(URL defaultEnv, List<URL> jars, List<URL> libraries) {
> // discover configuration
> final String flinkConfigDir;
> try {
> // find the configuration directory
> flinkConfigDir = CliFrontend.getConfigurationDirectoryFromEnv();
>
> // load the global configuration
> this.flinkConfig =
> GlobalConfiguration.loadConfiguration(flinkConfigDir);
>
> // initialize default file system
> FileSystem.initialize(flinkConfig,
> PluginUtils.createPluginManagerFromRootFolder(flinkConfig));
>
> // load command lines for deployment
> this.commandLines =
> CliFrontend.loadCustomCommandLines(flinkConfig, flinkConfigDir);
> this.commandLineOptions = collectCommandLineOptions(commandLines);
> } catch (Exception e) {
> throw new SqlClientException("Could not load Flink configuration.",
> e);
> }
>
>
> 2 因为等不及官方的 我们自己wrapper实现了一个
>
>
>
>
> 杨荣 <sa...@gmail.com> 于2020年7月24日周五 上午10:53写道：
>
> > Hi all,
> >
> > 请问：
> > 1. 在 Embedded mode 下，支持 ClusterClient 进行 job
> > 提交作业，进行分布式计算吗？在文档中没看到，跟着文档走，只启起了 Local 在本地作业，无法运用到生产环境。
> >
> > 2. GateWay mode 预计在那个版本 release？
> >
>
>
> --
>
> Best Regards,
> Harold Miao
>
Re: 关于 sql-client
Posted by "Harold.Miao" <mi...@gmail.com>.
1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address
源码里面有加载主配置文件的逻辑
public LocalExecutor(URL defaultEnv, List<URL> jars, List<URL> libraries) {
// discover configuration
final String flinkConfigDir;
try {
// find the configuration directory
flinkConfigDir = CliFrontend.getConfigurationDirectoryFromEnv();
// load the global configuration
this.flinkConfig = GlobalConfiguration.loadConfiguration(flinkConfigDir);
// initialize default file system
FileSystem.initialize(flinkConfig,
PluginUtils.createPluginManagerFromRootFolder(flinkConfig));
// load command lines for deployment
this.commandLines =
CliFrontend.loadCustomCommandLines(flinkConfig, flinkConfigDir);
this.commandLineOptions = collectCommandLineOptions(commandLines);
} catch (Exception e) {
throw new SqlClientException("Could not load Flink configuration.", e);
}
2 因为等不及官方的 我们自己wrapper实现了一个
杨荣 <sa...@gmail.com> 于2020年7月24日周五 上午10:53写道：
> Hi all,
>
> 请问：
> 1. 在 Embedded mode 下，支持 ClusterClient 进行 job
> 提交作业，进行分布式计算吗？在文档中没看到，跟着文档走，只启起了 Local 在本地作业，无法运用到生产环境。
>
> 2. GateWay mode 预计在那个版本 release？
>
--
Best Regards,
Harold Miao