You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@kylin.apache.org by 赵天烁 <zh...@meizu.com> on 2016/06/07 09:15:04 UTC
答复: 答复: kylin.job.mr.lib.dir配置在hdfs下无效问题
是吗？在哪个版本上实现的？我在1.5.1上测试是不行的：
从这段代码来看依然是本地路径啊
AbstractHadoopJob
// for KylinJobMRLibDir
String mrLibDir = KylinConfig.getInstanceFromEnv().getKylinJobMRLibDir();
if (!StringUtils.isBlank(mrLibDir)) {
File dirFileMRLIB = new File(mrLibDir);
if (dirFileMRLIB.exists()) {
if (kylinDependency.length() > 0)
kylinDependency.append(",");
kylinDependency.append(mrLibDir);
} else {
logger.info("The directory '" + mrLibDir + "' for 'kylin.job.mr.lib.dir' does not exist!!!");
}
}
-----------------------------------------------------
赵天烁
Kevin Zhao
zhaotianshuo@meizu.com<ma...@meizu.com>
珠海市魅族科技有限公司
MEIZU Technology Co., Ltd.
广东省珠海市科技创新海岸魅族科技楼
MEIZU Tech Bldg., Technology & Innovation Coast
Zhuhai, 519085, Guangdong, China
meizu.com
发件人: yu feng [mailto:olaptestyu@gmail.com]
发送时间: 2016年6月7日 16:46
收件人: user@kylin.apache.org; liyang.gmt8@gmail.com
主题: Re: 答复: kylin.job.mr.lib.dir配置在hdfs下无效问题
I think KYLIN-1021 has done about setting a HDFS path that store all jars, BTW, I think the directory is setting to ${kylin.hdfs.working.dir}/dependencies automatically is a better idea.
在 2016年6月7日 下午4:28，Li Yang <li...@gmail.com>>写道：
Agree allowing HDFS path as well is a good idea. Please open a JIRA.
2016-06-01 11:08 GMT+08:00 赵天烁 <zh...@meizu.com>>:
而且 这些hive和common的依赖jar包好像必须放在/opt/hadoop/share/hadoop/common/目录下，如果我自己本地建了一个/opt/kylin/lib/目录，kylin.job.mr.lib.dir指定到这个目录，依赖jar也全部都copy进去，而且分发到了hadoop的每个节点上，但是build cube的时候还是会报找不到这些jar
-----------------------------------------------------
赵天烁
Kevin Zhao
zhaotianshuo@meizu.com<ma...@meizu.com>
珠海市魅族科技有限公司
MEIZU Technology Co., Ltd.
广东省珠海市科技创新海岸魅族科技楼
MEIZU Tech Bldg., Technology & Innovation Coast
Zhuhai, 519085, Guangdong, China
meizu.com<http://meizu.com>
发件人: young4chong@gmail.com<ma...@gmail.com> [mailto:young4chong@gmail.com<ma...@gmail.com>] 代表 Li Yang
发送时间: 2016年6月1日 7:58
收件人: 赵天烁 <zh...@meizu.com>>; user@kylin.apache.org<ma...@kylin.apache.org>
主题: Re: kylin.job.mr.lib.dir配置在hdfs下无效问题
最后的实现和讨论有出入，我已经更新了JIRA。kylin.job.mr.lib.dir确实是指本地目录。
另外还请发到user@kylin.apache.org<ma...@kylin.apache.org>提问和讨论，这样才能帮助整个社区。
Cheers
Yang
2016-05-23 18:00 GMT+08:00 赵天烁 <zh...@meizu.com>>:
Hi https://issues.apache.org/jira/browse/KYLIN-1021,this 这个问题似乎并没有解决，我尝试把mr lib的依赖上传到了一个hdfs路径下，然后把kylin.job.mr.lib.dir配置到这个hdfs路径，启动的时候依然会报The directory 'hdfs://root/share/kylin' for 'kylin.job.mr.lib.dir' does not exist!!!，我看了下代码里只是用java 的File判断了下是否exist（AbstractHadoopJob:231），有看到你已经提交了一个patch修复这个问题，是我的配置方法不对吗？
-----------------------------------------------------
赵天烁
Kevin Zhao
Java工程师
研发中心-Flyme-大数据-平台研发
+ 86 18826908281<tel:%2B%2086%2018826908281> | zhaotianshuo@meizu.com<ma...@meizu.com>
珠海市魅族科技有限公司
MEIZU Technology Co., Ltd.
广东省珠海市科技创新海岸魅族科技楼
MEIZU Tech Bldg., Technology & Innovation Coast
Zhuhai, 519085, Guangdong, China
meizu.com<http://meizu.com>
Re: 答复: 答复: kylin.job.mr.lib.dir配置在hdfs下无效问题
Posted by Li Yang <li...@gmail.com>.
> BTW, I think the directory is setting to
${kylin.hdfs.working.dir}/dependencies automatically is a better idea.
Good idea.
2016-06-07 17:15 GMT+08:00 赵天烁 <zh...@meizu.com>:
> 是吗？在哪个版本上实现的？我在1.5.1上测试是不行的：
>
> 从这段代码来看依然是本地路径啊
>
> AbstractHadoopJob
>
> // for KylinJobMRLibDir
>
> String mrLibDir =
> KylinConfig.getInstanceFromEnv().getKylinJobMRLibDir();
>
> if (!StringUtils.isBlank(mrLibDir)) {
>
> File dirFileMRLIB = new File(mrLibDir);
>
> if (dirFileMRLIB.exists()) {
>
> if (kylinDependency.length() > 0)
>
> kylinDependency.append(",");
>
> kylinDependency.append(mrLibDir);
>
> } else {
>
> logger.info("The directory '" + mrLibDir + "' for
> 'kylin.job.mr.lib.dir' does not exist!!!");
>
> }
>
> }
>
>
>
> -----------------------------------------------------
>
>
>
> 赵天烁
>
> Kevin Zhao
>
> *zhaotianshuo@meizu.com <zh...@meizu.com>*
>
>
>
> 珠海市魅族科技有限公司
>
> MEIZU Technology Co., Ltd.
>
> 广东省珠海市科技创新海岸魅族科技楼
>
> MEIZU Tech Bldg., Technology & Innovation Coast
>
> Zhuhai, 519085, Guangdong, China
>
>
>
>
>
> meizu.com
>
>
>
>
>
>
>
>
>
> *发件人:* yu feng [mailto:olaptestyu@gmail.com]
> *发送时间:* 2016年6月7日 16:46
> *收件人:* user@kylin.apache.org; liyang.gmt8@gmail.com
> *主题:* Re: 答复: kylin.job.mr.lib.dir配置在hdfs下无效问题
>
>
>
> I think KYLIN-1021 has done about setting a HDFS path that store all jars,
> BTW, I think the directory is setting to
> ${kylin.hdfs.working.dir}/dependencies automatically is a better idea.
>
>
>
> 在 2016年6月7日 下午4:28，Li Yang <li...@gmail.com>写道：
>
> Agree allowing HDFS path as well is a good idea. Please open a JIRA.
>
>
>
> 2016-06-01 11:08 GMT+08:00 赵天烁 <zh...@meizu.com>:
>
> 而且 这些hive和common的依赖jar包好像必须放在/opt/hadoop/share/hadoop/common/
> 目录下，如果我自己本地建了一个/opt/kylin/lib/目录，kylin.job.mr.lib.dir指定到这个目录，依赖jar也全部都copy
> 进去，而且分发到了hadoop的每个节点上，但是build cube的时候还是会报找不到这些jar
>
>
>
> -----------------------------------------------------
>
>
>
> 赵天烁
>
> Kevin Zhao
>
> *zhaotianshuo@meizu.com <zh...@meizu.com>*
>
>
>
> 珠海市魅族科技有限公司
>
> MEIZU Technology Co., Ltd.
>
> 广东省珠海市科技创新海岸魅族科技楼
>
> MEIZU Tech Bldg., Technology & Innovation Coast
>
> Zhuhai, 519085, Guangdong, China
>
>
>
>
>
> meizu.com
>
>
>
>
>
>
>
>
>
> *发件人:* young4chong@gmail.com [mailto:young4chong@gmail.com] *代表 *Li Yang
> *发送时间:* 2016年6月1日 7:58
> *收件人:* 赵天烁 <zh...@meizu.com>; user@kylin.apache.org
> *主题:* Re: kylin.job.mr.lib.dir配置在hdfs下无效问题
>
>
>
> 最后的实现和讨论有出入，我已经更新了JIRA。kylin.job.mr.lib.dir确实是指本地目录。
>
> 另外还请发到user@kylin.apache.org提问和讨论，这样才能帮助整个社区。
>
> Cheers
>
> Yang
>
>
>
> 2016-05-23 18:00 GMT+08:00 赵天烁 <zh...@meizu.com>:
>
> Hi https://issues.apache.org/jira/browse/KYLIN-1021,this 这个问题似乎并没有解决，我尝试把mr
> lib的依赖上传到了一个hdfs路径下，然后把kylin.job.mr.lib.dir配置到这个hdfs路径，启动的时候依然会报The
> directory 'hdfs://root/share/kylin' for 'kylin.job.mr.lib.dir' does not
> exist!!!，我看了下代码里只是用java 的File判断了下是否exist（AbstractHadoopJob:231
> ），有看到你已经提交了一个patch修复这个问题，是我的配置方法不对吗？
>
>
>
> -----------------------------------------------------
>
>
>
> 赵天烁
>
> Kevin Zhao
>
> Java工程师
>
> 研发中心-Flyme-大数据-平台研发
>
> + 86 18826908281 | *zhaotianshuo@meizu.com <zh...@meizu.com>*
>
>
>
> 珠海市魅族科技有限公司
>
> MEIZU Technology Co., Ltd.
>
> 广东省珠海市科技创新海岸魅族科技楼
>
> MEIZU Tech Bldg., Technology & Innovation Coast
>
> Zhuhai, 519085, Guangdong, China
>
>
>
>
>
> meizu.com
>
>
>
>
>
>
>
>
>
>
>
>
>