You are viewing a plain text version of this content. The canonical link for it is here.

Posted to user@kylin.apache.org by Jason Tang <ja...@striking.ly> on 2019/06/12 10:08:45 UTC

GlobalDict backup

全局字典文件用于精确去重，咨询一下，这个文件有什么备份措施吗？

查看了metadata backup的部分代码，应该是备份HBase上的数据，遇到列中没有数据的，判定是push down到HDFS上了，然后到HDFS上读取。但没有找到相关的对全局字典进行备份的逻辑。在构建全局字典任务结束后，也没有看到存放到HBase中这部分代码(好像元数据中确实没有)。

是暂时没有这个功能还是我遗漏掉了某部分代码逻辑？感谢指导！

Re: GlobalDict backup

Posted by Xiaoxiang Yu <xi...@kyligence.io>.

Hi,
  Sorry for the late reply. You are right, the pushdown resource file(maybe big dictionary) will be not be backup in execute command "metadata.sh backup". So you should backup the hdfs dir(should be $WORKING_DIR/$METADATA/resoureces) manually.

----------------
Best wishes,
Xiaoxiang Yu 
 

在 2019/6/12 18:09，“Jason Tang”<ja...@striking.ly> 写入:

    全局字典文件用于精确去重，咨询一下，这个文件有什么备份措施吗？
    
    查看了metadata backup的部分代码，应该是备份HBase上的数据，遇到列中没有数据的，判定是push down到HDFS上了，然后到HDFS上读取。但没有找到相关的对全局字典进行备份的逻辑。在构建全局字典任务结束后，也没有看到存放到HBase中这部分代码(好像元数据中确实没有)。
    
    是暂时没有这个功能还是我遗漏掉了某部分代码逻辑？感谢指导！