You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@kylin.apache.org by wuguo1501 <wu...@163.com> on 2020/09/08 07:33:38 UTC
关于hadoop3文件访问的bug
在使用kylin3访问hive3的表时,一直会报 duplicate key的错误,但我看了下,表里没有重复key,后来发现是因为hive3有版本备份的功能,每个表会存多个备份文件,kylin3无法只读取最近的一个版本,而是全都读取了,所以会一直出现重复key的问题, 请问这是bug吗,可以用什么方法规避吗?
回复：关于hadoop3文件访问的bug
Posted by 魏帅 <jx...@qq.com>.
按照分区读取把。如果是维度列的需要抽取维度表到当前表
软件工程师 魏帅
==============================================
Just do it !
Mobile:18222891890
e-Mail: weishuai0541@126.com
------------------ 原始邮件 ------------------
发件人: "user" <wuguo1501@163.com>;
发送时间: 2020年9月8日(星期二) 下午3:33
收件人: "user"<user@kylin.apache.org>;
主题: 关于hadoop3文件访问的bug
在使用kylin3访问hive3的表时,一直会报 duplicate key的错误,但我看了下,表里没有重复key,后来发现是因为hive3有版本备份的功能,每个表会存多个备份文件,kylin3无法只读取最近的一个版本,而是全都读取了,所以会一直出现重复key的问题, 请问这是bug吗,可以用什么方法规避吗?
Re:关于hadoop3文件访问的bug
Posted by Xiaoxiang Yu <xx...@apache.org>.
Hi,
As far as I know, Kylin did not support Hive3 ACID table offically. Maybe you turn off ACID feature as a workaround. (I guess you are using Hive3)
--
Best wishes to you !
From ：Xiaoxiang Yu
在 2020-09-08 15:33:38，"wuguo1501" <wu...@163.com> 写道：
在使用kylin3访问hive3的表时,一直会报 duplicate key的错误,但我看了下,表里没有重复key,后来发现是因为hive3有版本备份的功能,每个表会存多个备份文件,kylin3无法只读取最近的一个版本,而是全都读取了,所以会一直出现重复key的问题, 请问这是bug吗,可以用什么方法规避吗?