You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by Jun Zhang <zh...@gmail.com> on 2020/07/23 07:50:32 UTC
application模式提交操作hive的任务相关疑问
大家好：
我现在有一个flink的程序要读写hive的数据，在程序中构造HiveCatalog的时候需要有一个hiveConfDir，如果我使用的是新的application模式去提交任务，这个任务的解析应该是放到了master端，这个时候hadoop集群上没有hive的相关配置，那么这个hiveConfDir该怎么配置呢？
谢谢
Re: application模式提交操作hive的任务相关疑问
Posted by Jun Zhang <zh...@gmail.com>.
hi,Yang Wang:
*谢谢你的建议，稍后我测试一下。*
Yang Wang <da...@gmail.com> 于2020年7月24日周五 上午10:09写道：
>
> 可以使用-Dyarn.ship-directories=/path/of/hiveConfDir把hive的配置ship到JobManager端，hiveConfDir默认会在
> 当前目录下，同时这个目录也会自动加入到classpath，不太清楚这样是否可以让hive正常加载到
>
>
> Best,
> Yang
>
> Jun Zhang <zh...@gmail.com> 于2020年7月23日周四 下午3:51写道：
>
> > 大家好：
> >
> >
> 我现在有一个flink的程序要读写hive的数据，在程序中构造HiveCatalog的时候需要有一个hiveConfDir，如果我使用的是新的application模式去提交任务，这个任务的解析应该是放到了master端，这个时候hadoop集群上没有hive的相关配置，那么这个hiveConfDir该怎么配置呢？
> >
> > 谢谢
> >
>
Re: application模式提交操作hive的任务相关疑问
Posted by Yang Wang <da...@gmail.com>.
可以使用-Dyarn.ship-directories=/path/of/hiveConfDir把hive的配置ship到JobManager端，hiveConfDir默认会在
当前目录下，同时这个目录也会自动加入到classpath，不太清楚这样是否可以让hive正常加载到
Best,
Yang
Jun Zhang <zh...@gmail.com> 于2020年7月23日周四 下午3:51写道：
> 大家好：
>
> 我现在有一个flink的程序要读写hive的数据，在程序中构造HiveCatalog的时候需要有一个hiveConfDir，如果我使用的是新的application模式去提交任务，这个任务的解析应该是放到了master端，这个时候hadoop集群上没有hive的相关配置，那么这个hiveConfDir该怎么配置呢？
>
> 谢谢
>
回复：application模式提交操作hive的任务相关疑问
Posted by Jun Zhang <82...@qq.com>.
我现在是改了源码，是把hivecatalog里面接收HiveConf参数的protected类型的构造方法改成了public类型，然后自己在代码里构造了HiveConf对象，传了一些必要的参数，比如metastore地址等。
Best Jun
------------------ 原始邮件 ------------------
发件人: Rui Li <lirui.fudan@gmail.com>
发送时间: 2020年7月23日 19:25
收件人: user-zh <user-zh@flink.apache.org>
主题: 回复：application模式提交操作hive的任务相关疑问
有一种做法是把hive-site.xml打到作业jar包里，然后程序运行的时候再拷出来放到一个本地目录...我们也可以考虑以后为HiveCatalog添加一个接受HiveConf参数的构造器，这样对API的模式应该会更灵活
On Thu, Jul 23, 2020 at 3:51 PM Jun Zhang <zhangjunemail100@gmail.com>
wrote:
> 大家好：
>
> 我现在有一个flink的程序要读写hive的数据，在程序中构造HiveCatalog的时候需要有一个hiveConfDir，如果我使用的是新的application模式去提交任务，这个任务的解析应该是放到了master端，这个时候hadoop集群上没有hive的相关配置，那么这个hiveConfDir该怎么配置呢？
>
> 谢谢
>
--
Best regards!
Rui Li
Re: application模式提交操作hive的任务相关疑问
Posted by Rui Li <li...@gmail.com>.
有一种做法是把hive-site.xml打到作业jar包里，然后程序运行的时候再拷出来放到一个本地目录...我们也可以考虑以后为HiveCatalog添加一个接受HiveConf参数的构造器，这样对API的模式应该会更灵活
On Thu, Jul 23, 2020 at 3:51 PM Jun Zhang <zh...@gmail.com>
wrote:
> 大家好：
>
> 我现在有一个flink的程序要读写hive的数据，在程序中构造HiveCatalog的时候需要有一个hiveConfDir，如果我使用的是新的application模式去提交任务，这个任务的解析应该是放到了master端，这个时候hadoop集群上没有hive的相关配置，那么这个hiveConfDir该怎么配置呢？
>
> 谢谢
>
--
Best regards!
Rui Li