You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@kylin.apache.org by 曾耀武 <ze...@immomo.com> on 2017/12/01 09:40:03 UTC
kylin expansion rate is too high
嗨,少峰
我在创建cube 的时候维度定义在14个维度,有层级关系的涉及到4个维度都已经做过优化,但是在计算完结果之后数据的膨胀率达到20000% ,这么大的膨胀率对存储的消耗是非常浪费的。这个特别消耗存储是不可避免的实时还是我的cube 构建不合理? 另外看到相关报道有说uber 线上用kylin 构建共60个维度的大cube ,这个是怎么做到的有什么指导性建议么?
非常感谢。
--
E-mail: zeng.yaowu@immomo.com<ma...@immomo.com>
Re: kylin expansion rate is too high
Posted by ShaoFeng Shi <sh...@apache.org>.
这个膨胀率是有点高了;膨胀率主要是跟维度的设置有关,要看看是不是这个cube里有好几个高基数维度;如果是的话,要做一些设定避免太多组合;
你可以尝试使用http://kybot.io来分析一下cube的膨胀率,找办法优化一下
在 2017年12月1日 下午5:40,曾耀武 <ze...@immomo.com>写道:
>
> 嗨,少峰
> 我在创建cube 的时候维度定义在14个维度,有层级关系的涉及到4个维度都已经做过优化,但是在计算完结果之后数据的膨胀率达到20000%
> ,这么大的膨胀率对存储的消耗是非常浪费的。这个特别消耗存储是不可避免的实时还是我的cube 构建不合理? 另外看到相关报道有说uber
> 线上用kylin 构建共60个维度的大cube ,这个是怎么做到的有什么指导性建议么?
>
>
> 非常感谢。
>
> --
>
>
> E-mail: zeng.yaowu@immomo.com
>
--
Best regards,
Shaofeng Shi 史少锋