[jira] [Created] (KYLIN-5315) Optimize snapshot management and support automatic snapshot refresh

["Jiale He (Jira)" <ji...@apache.org>]

Jiale He created KYLIN-5315:
-------------------------------

             Summary: Optimize snapshot management and support automatic snapshot refresh
                 Key: KYLIN-5315
                 URL: https://issues.apache.org/jira/browse/KYLIN-5315
             Project: Kylin
          Issue Type: Bug
          Components: Job Engine
            Reporter: Jiale He
             Fix For: 5.0-alpha


 
Kylin 系统中对于快照管理，有两种管理模式：系统自动管理、用户手动管理。默认是系统自动管理，可以通过在项目级开启快照管理来进入用户手动管理模式。 * 系统自动管理的优势是，用户操作简便，无需单独新建、刷新快照等。劣势是，会造成一定程度上的重复刷新，每次构建 Segment 时，都会重复刷新引用的快照，而且如果是快照是分区表，也会刷新全部分区。
 * 用户手动管理的优势是，可以精准刷新快照，只需要在快照在底层数据源更新之后，主动触发刷新即可。对于分区表快照，也可以精准刷新部分分区。而缺点是管理成本高，{*}系统无法主动感知底层数据源刷新，需要用户主动触发{*}，往往需要与上游数据准备进行集成，数据源有更新或新增分区时，触发刷新快照 API。而如果不进行及时的刷新，快照数据可能滞后。

为了降低上述管理成本，希望 kylin 能自动感知快照底层 Hive 数据源的更新，并自动触发刷新快照，用户无需与上下游集成也能及时刷新快照。



--
This message was sent by Atlassian Jira
(v8.20.10#820010)