[jira] [Updated] (KYLIN-5315) Optimize snapshot management and support automatic snapshot refresh

["Jiale He (Jira)" <ji...@apache.org>]

     [ https://issues.apache.org/jira/browse/KYLIN-5315?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

Jiale He updated KYLIN-5315:
----------------------------
    Attachment: KYLIN-5315 自动刷新快照 Dev Design.pdf

> Optimize snapshot management and support automatic snapshot refresh
> -------------------------------------------------------------------
>
>                 Key: KYLIN-5315
>                 URL: https://issues.apache.org/jira/browse/KYLIN-5315
>             Project: Kylin
>          Issue Type: Bug
>          Components: Job Engine
>            Reporter: Jiale He
>            Priority: Major
>             Fix For: 5.0-alpha
>
>         Attachments: KYLIN-5315 自动刷新快照 Dev Design.pdf
>
>
>  
> Kylin 系统中对于快照管理，有两种管理模式：系统自动管理、用户手动管理。默认是系统自动管理，可以通过在项目级开启快照管理来进入用户手动管理模式。 * 系统自动管理的优势是，用户操作简便，无需单独新建、刷新快照等。劣势是，会造成一定程度上的重复刷新，每次构建 Segment 时，都会重复刷新引用的快照，而且如果是快照是分区表，也会刷新全部分区。
>  * 用户手动管理的优势是，可以精准刷新快照，只需要在快照在底层数据源更新之后，主动触发刷新即可。对于分区表快照，也可以精准刷新部分分区。而缺点是管理成本高，{*}系统无法主动感知底层数据源刷新，需要用户主动触发{*}，往往需要与上游数据准备进行集成，数据源有更新或新增分区时，触发刷新快照 API。而如果不进行及时的刷新，快照数据可能滞后。
> 为了降低上述管理成本，希望 kylin 能自动感知快照底层 Hive 数据源的更新，并自动触发刷新快照，用户无需与上下游集成也能及时刷新快照。



--
This message was sent by Atlassian Jira
(v8.20.10#820010)