[jira] [Created] (KYLIN-5313) Migration of read-write separation cluster flat table data

["Jiale He (Jira)" <ji...@apache.org>]

Jiale He created KYLIN-5313:
-------------------------------

             Summary: Migration of read-write separation cluster flat table data
                 Key: KYLIN-5313
                 URL: https://issues.apache.org/jira/browse/KYLIN-5313
             Project: Kylin
          Issue Type: Bug
          Components: Others
            Reporter: Jiale He
             Fix For: 5.0-alpha


在读写分离集群的环境下，要启用将平表数据从读集群存放改为存放在写集群的功能前，需要先执行脚本以迁移平表数据，保障涉及到已有平表的操作都是正常可用的。

 
h3. Dev Design

通过脚本结合工具类进行数据的拷贝和迁移，其中工具类仅在用户不手动填入 project 的时候返回当前所有 project 的项目名，脚本名：prepare-flat-table.sh。
 * 脚本包含功能支持项说明，通过 --help 获取。

 * 目前支持四种传参方式：

 ** 不传参，默认通过工具类获取所有 project 并拷贝 flat_table 数据文件

 ** 仅包含 {{{}--update{}}}，默认通过工具类获取所有 project 并拷贝需要更新的 flat_table 数据文件

 ** 指定 project，支持多个 project 以逗号分隔传参，仅针对指定的 project 拷贝 flat_table 数据文件

 ** 指定 project 的同时传入 {{{}--update{}}}，那么仅针对指定的 project 拷贝需要更新的 flat_table 数据文件

操作的日志会记录在 {{${KYLIN_HOME}/logs/prepare-flatTable.log}} 文件，仅记录时间、用户和拷贝是否成功的日志。
{quote}{*}前提条件{*}：由于是通过配置文件获取对应的，所以用户需要先提前配置好参数：{{{}kylin.env.hdfs-write-working-dir=\{DIR}{}}}，才能使用该脚本迁移数据，配置该参数在不重启 KE 的情况下不会有其他影响。
{quote}



--
This message was sent by Atlassian Jira
(v8.20.10#820010)