You are viewing a plain text version of this content. The canonical link for it is here.
Posted to dev@kylin.apache.org by Chao Long <wa...@qq.com> on 2019/02/13 10:57:41 UTC
回复：[Kylin] /kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid是否为中间数据
Hi Chen
这个目录下的文件是以sequence格式保存的cube数据，在segment merge的时候会直接merge这个目录下的文件而不是merge hfile，在merge结束后才会自动删除，所以是有意保持的，最好不要删除。
------------------
Best Regards,
Chao Long
------------------ 原始邮件 ------------------
发件人: "chen snowlake"<je...@outlook.com>;
发送时间: 2019年2月13日(星期三) 晚上6:11
收件人: "dev@kylin.apache.org"<de...@kylin.apache.org>;
主题: [Kylin] /kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid是否为中间数据
Dear All：
因为数据备份问题，关注kylin的后台存储，这里咨询一个问题
Hdfs://${HAname}/kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid这个目录的下我测试发现它的数据量大小和Kylin的Hbase中的segment一致，我将其删除后查询时不影响的
我的问题的是：这里的数据是否是有意保持的
Cube build过程的后几步：
。。。
>> 写出 cuboid data
>> convert cuboid data To Hfile 将在Hdfs://${HAname}/kylin/kylin_metadata/kylin-${jobid}/${cubename}/hfile下面输出hfile文件
>> Hfile load To Hbase 完成后上面的hile目录下数据会移走
我理解cuboid data 数据是中间数据，在build成功后，查询时不会使用的，那是否应该在完成hfile转换后删除呢
SnowLake
回复：答复:咨询kylin的历史统计备份恢复方案
Posted by Chao Long <wa...@qq.com>.
Hi Chen,
Kylin provides a way to backup metadata[http://kylin.apache.org/cn/docs/howto/howto_backup_metadata.html].
you can recover data from backup metadata.
If you want to migrate cube from a Kylin environment to another, you can use cube migration tool[http://kylin.apache.org/cn/docs/howto/howto_use_cli.html #CubeMigrationCLI.java]. (Note that the different Kylin environments should share the same Hadoop cluster, including HDFS, HBase and HIVE)
------------------
Best Regards,
Chao Long
------------------ 原始邮件 ------------------
发件人: "chen snowlake"<je...@outlook.com>;
发送时间: 2019年2月14日(星期四) 上午10:43
收件人: "dev@kylin.apache.org"<de...@kylin.apache.org>;
主题: 答复:咨询kylin的历史统计备份恢复方案
Hi Chao Long
非常感谢你们的答疑，这对我太有帮助了，多谢多谢！
请问Kylin有历史数据备份及恢复方案不，就是将历史数据备份到集群外，必要的时候还可以恢复继续使用这样的场景；不胜感激！
猪年大吉大利！！！
SnowLake
杭州初灵数据科技有限公司
地址：浙江省杭州市淳安县文昌镇高铁生态产业园文博路8号园区5号楼114室
Email：chenyj@outlook.com
________________________________
发件人: Chao Long <wa...@qq.com>
发送时间: Wednesday, February 13, 2019 6:57:41 PM
收件人: dev
主题: 回复：[Kylin] /kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid是否为中间数据
Hi Chen
这个目录下的文件是以sequence格式保存的cube数据，在segment merge的时候会直接merge这个目录下的文件而不是merge hfile，在merge结束后才会自动删除，所以是有意保持的，最好不要删除。
------------------
Best Regards,
Chao Long
------------------ 原始邮件 ------------------
发件人: "chen snowlake"<je...@outlook.com>;
发送时间: 2019年2月13日(星期三) 晚上6:11
收件人: "dev@kylin.apache.org"<de...@kylin.apache.org>;
主题: [Kylin] /kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid是否为中间数据
Dear All：
因为数据备份问题，关注kylin的后台存储，这里咨询一个问题
Hdfs://${HAname}/kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid这个目录的下我测试发现它的数据量大小和Kylin的Hbase中的segment一致，我将其删除后查询时不影响的
我的问题的是：这里的数据是否是有意保持的
Cube build过程的后几步：
。。。
>> 写出 cuboid data
>> convert cuboid data To Hfile 将在Hdfs://${HAname}/kylin/kylin_metadata/kylin-${jobid}/${cubename}/hfile下面输出hfile文件
>> Hfile load To Hbase 完成后上面的hile目录下数据会移走
我理解cuboid data 数据是中间数据，在build成功后，查询时不会使用的，那是否应该在完成hfile转换后删除呢
SnowLake
答复:咨询kylin的历史统计备份恢复方案
Posted by chen snowlake <je...@outlook.com>.
Hi Chao Long
非常感谢你们的答疑，这对我太有帮助了，多谢多谢！
请问Kylin有历史数据备份及恢复方案不，就是将历史数据备份到集群外，必要的时候还可以恢复继续使用这样的场景；不胜感激！
猪年大吉大利！！！
SnowLake
杭州初灵数据科技有限公司
地址：浙江省杭州市淳安县文昌镇高铁生态产业园文博路8号园区5号楼114室
Email：chenyj@outlook.com
________________________________
发件人: Chao Long <wa...@qq.com>
发送时间: Wednesday, February 13, 2019 6:57:41 PM
收件人: dev
主题: 回复：[Kylin] /kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid是否为中间数据
Hi Chen
这个目录下的文件是以sequence格式保存的cube数据，在segment merge的时候会直接merge这个目录下的文件而不是merge hfile，在merge结束后才会自动删除，所以是有意保持的，最好不要删除。
------------------
Best Regards,
Chao Long
------------------ 原始邮件 ------------------
发件人: "chen snowlake"<je...@outlook.com>;
发送时间: 2019年2月13日(星期三) 晚上6:11
收件人: "dev@kylin.apache.org"<de...@kylin.apache.org>;
主题: [Kylin] /kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid是否为中间数据
Dear All：
因为数据备份问题，关注kylin的后台存储，这里咨询一个问题
Hdfs://${HAname}/kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid这个目录的下我测试发现它的数据量大小和Kylin的Hbase中的segment一致，我将其删除后查询时不影响的
我的问题的是：这里的数据是否是有意保持的
Cube build过程的后几步：
。。。
>> 写出 cuboid data
>> convert cuboid data To Hfile 将在Hdfs://${HAname}/kylin/kylin_metadata/kylin-${jobid}/${cubename}/hfile下面输出hfile文件
>> Hfile load To Hbase 完成后上面的hile目录下数据会移走
我理解cuboid data 数据是中间数据，在build成功后，查询时不会使用的，那是否应该在完成hfile转换后删除呢
SnowLake