[jira] [Commented] (HUDI-2930) Rollbacks are not archived when metadata table is enabled

["Ethan Guo (Jira)" <ji...@apache.org>]

    [ https://issues.apache.org/jira/browse/HUDI-2930?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=17493606#comment-17493606 ] 

Ethan Guo commented on HUDI-2930:
---------------------------------

I used Deltastreamer with inline table services (compaction, clean) to write a MOR table and triggered multiple rollbacks during ingestion.  Metadata table is enabled by default.  After some time I can see that all types of instants, including rollbacks, are archived, indicating that archival is working properly with metadata table enabled.
{code:java}
hudi:metadata_test_ds_inline_mor_continuous_3->show archived commits --limit 1000
===============> Showing only 1000 archived commits <===============
╔═══════════════════╤═════════════╗
║ CommitTime        │ CommitType  ║
╠═══════════════════╪═════════════╣
║ 20220216170049777 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170049777 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170049777 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170324707 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170324707 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170324707 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170502926 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170502926 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170502926 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170812677 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170812677 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216170812677 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216171019288 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216171019288 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216171019288 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216171715222 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216171715222 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216171715222 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216172014868 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216172014868 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216172014868 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216172512647 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216172512647 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216172512647 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216172831712 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216172831712 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216172831712 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216172256274 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216172256274 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216172256274 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216172545322 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216172545322 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216172545322 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216172911026 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216172911026 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216172911026 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216173033878 │ compaction  ║
╟───────────────────┼─────────────╢
║ 20220216173033878 │ compaction  ║
╟───────────────────┼─────────────╢
║ 20220216173033878 │ commit      ║
╟───────────────────┼─────────────╢
║ 20220216170324746 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216170324746 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216170324746 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216170812719 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216170812719 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216170812719 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216171715284 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216171715284 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216171715284 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216173030510 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173030510 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173030510 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173522417 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173522417 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173522417 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173721762 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173721762 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173721762 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173353577 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216173353577 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216173353577 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216173547420 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216173547420 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216173547420 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216173747536 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216173747536 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216173747536 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216172256323 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216172256323 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216172256323 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216173353629 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216173353629 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216173353629 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216174102770 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216174102770 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216174102770 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216173912633 │ compaction  ║
╟───────────────────┼─────────────╢
║ 20220216173912633 │ compaction  ║
╟───────────────────┼─────────────╢
║ 20220216173912633 │ commit      ║
╟───────────────────┼─────────────╢
║ 20220216174102722 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216174102722 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216174102722 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216174404874 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216174404874 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216174404874 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216173909972 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173909972 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216173909972 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216174235779 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216174235779 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216174235779 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216174543644 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216174543644 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216174543644 │ clean       ║
╟───────────────────┼─────────────╢
║ 20220216174239254 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216174239254 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216174239254 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216175003059 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216175003059 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216175003059 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216175305601 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216175305601 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216175305601 │ rollback    ║
╟───────────────────┼─────────────╢
║ 20220216174610287 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216174610287 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216174610287 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216175003003 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216175003003 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216175003003 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216175305557 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216175305557 │ deltacommit ║
╟───────────────────┼─────────────╢
║ 20220216175305557 │ deltacommit ║
╚═══════════════════╧═════════════╝ {code}

> Rollbacks are not archived when metadata table is enabled
> ---------------------------------------------------------
>
>                 Key: HUDI-2930
>                 URL: https://issues.apache.org/jira/browse/HUDI-2930
>             Project: Apache Hudi
>          Issue Type: Bug
>            Reporter: Ethan Guo
>            Assignee: Ethan Guo
>            Priority: Blocker
>              Labels: HUDI-bug
>             Fix For: 0.11.0
>
>
> I run bulk inserts into COW table using DeltaStreamer continuous mode and I observed that the rollbacks are not archived.  There were commits in between these old rollbacks but after the archival process kicks in, the old rollbacks are still in the active timeline while the other commits are archived.



--
This message was sent by Atlassian Jira
(v8.20.1#820001)