You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@kylin.apache.org by 曾耀武 <ze...@immomo.com> on 2017/10/16 13:37:07 UTC
Re: [外部邮件] Re: FW: 建造cube 时报错，20个维度测试
已经解决了，在hadoop 客户端core-site.xml里将hfs://nameservice 改成hdfs://nameservice:8020正常执行
发件人: Billy Liu <bi...@apache.org>>
答复: user <us...@kylin.apache.org>>
日期: 2017年10月16日 星期一 下午8:09
至: user <us...@kylin.apache.org>>
主题: [外部邮件] Re: FW: 建造cube 时报错，20个维度测试
What's the current working-dir in kylin.properties?
在 2017年10月16日 下午6:55，曾耀武 <ze...@immomo.com>>写道：
没编辑完整，抱歉， 代码在HbaseResourceStore里面做了判断 ，
[cid:A3A95F86-6C8D-440C-B9CE-A56F9109F83B]
然后代码就走向检查了文件系统，报了上述错误。谁知道这是什么原因？该做什么配置么？
发件人: MOMO <ze...@immomo.com>>
日期: 2017年10月16日 星期一 下午6:50
至: user <us...@kylin.apache.org>>
主题: 建造cube 时报错，20个维度测试
请教个问题，在kylin2.1版本建造一个具有20个维度的cube 的时候，报了如下错误，在建造数量较少维度的时候，系统正常执行。看代码是在
java.lang.IllegalArgumentException: Wrong FS: hdfs://nameservice1/kylin/kylin-kylin_metadata/resources/cube_statistics/molive_pay_order_cube/9843c68a-d362-43fc-9c12-1b6bb9618dd9.seq, expected: hdfs://nameservice1:8020
at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:645)
at org.apache.hadoop.hdfs.DistributedFileSystem.getPathName(DistributedFileSystem.java:193)
at org.apache.hadoop.hdfs.DistributedFileSystem.access$000(DistributedFileSystem.java:105)
at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1118)
at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1114)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1114)
at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1400)
at org.apache.kylin.storage.hbase.HBaseResourceStore.writeLargeCellToHdfs(HBaseResourceStore.java:393)
at org.apache.kylin.storage.hbase.HBaseResourceStore.buildPut(HBaseResourceStore.java:418)
at org.apache.kylin.storage.hbase.HBaseResourceStore.putResourceImpl(HBaseResourceStore.java:293)
at org.apache.kylin.common.persistence.ResourceStore.putResourceCheckpoint(ResourceStore.java:251)
at org.apache.kylin.common.persistence.ResourceStore.putResource(ResourceStore.java:246)
at org.apache.kylin.engine.mr<http://org.apache.kylin.engine.mr>.steps.SaveStatisticsStep.doWork(SaveStatisticsStep.java:73)
at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:125)
at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:65)
at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:125)
at org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:141)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Re: [外部邮件] Re: FW: 建造cube 时报错，20个维度测试
Posted by Li Yang <li...@apache.org>.
It's Hadoop client configuration issue, not Kylin problem.
2017-10-16 21:37 GMT+08:00 曾耀武 <ze...@immomo.com>:
> 已经解决了，在hadoop 客户端core-site.xml里将hfs://nameservice
> 改成hdfs://nameservice:8020正常执行
>
> 发件人: Billy Liu <bi...@apache.org>
> 答复: user <us...@kylin.apache.org>
> 日期: 2017年10月16日 星期一 下午8:09
> 至: user <us...@kylin.apache.org>
> 主题: [外部邮件] Re: FW: 建造cube 时报错，20个维度测试
>
> What's the current working-dir in kylin.properties?
>
> 在 2017年10月16日 下午6:55，曾耀武 <ze...@immomo.com>写道：
>
>> 没编辑完整，抱歉， 代码在HbaseResourceStore里面做了判断 ，
>> 然后代码就走向检查了文件系统，报了上述错误。谁知道这是什么原因？该做什么配置么？
>>
>> 发件人: MOMO <ze...@immomo.com>
>> 日期: 2017年10月16日 星期一 下午6:50
>> 至: user <us...@kylin.apache.org>
>> 主题: 建造cube 时报错，20个维度测试
>>
>> 请教个问题，在kylin2.1版本建造一个具有20个维度的cube 的时候，报了如下错误，在建造数量较少维度的时候，系统正常执行。看代码是在
>>
>> java.lang.IllegalArgumentException: Wrong FS: hdfs://nameservice1/kylin/kylin-kylin_metadata/resources/cube_statistics/molive_pay_order_cube/9843c68a-d362-43fc-9c12-1b6bb9618dd9.seq, expected: hdfs://nameservice1:8020
>> at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:645)
>> at org.apache.hadoop.hdfs.DistributedFileSystem.getPathName(DistributedFileSystem.java:193)
>> at org.apache.hadoop.hdfs.DistributedFileSystem.access$000(DistributedFileSystem.java:105)
>> at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1118)
>> at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1114)
>> at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
>> at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1114)
>> at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1400)
>> at org.apache.kylin.storage.hbase.HBaseResourceStore.writeLargeCellToHdfs(HBaseResourceStore.java:393)
>> at org.apache.kylin.storage.hbase.HBaseResourceStore.buildPut(HBaseResourceStore.java:418)
>> at org.apache.kylin.storage.hbase.HBaseResourceStore.putResourceImpl(HBaseResourceStore.java:293)
>> at org.apache.kylin.common.persistence.ResourceStore.putResourceCheckpoint(ResourceStore.java:251)
>> at org.apache.kylin.common.persistence.ResourceStore.putResource(ResourceStore.java:246)
>> at org.apache.kylin.engine.mr.steps.SaveStatisticsStep.doWork(SaveStatisticsStep.java:73)
>> at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:125)
>> at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:65)
>> at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:125)
>> at org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:141)
>> at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
>> at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
>> at java.lang.Thread.run(Thread.java:745)
>>
>>
>