[jira] [Commented] (IOTDB-5237) [fast compaction] cross/seq/unseq parameters are set to the value "fast" , and the compaction performance is slow

["周沛辰 (Jira)" <ji...@apache.org>]

    [ https://issues.apache.org/jira/browse/IOTDB-5237?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=17682452#comment-17682452 ] 

周沛辰 commented on IOTDB-5237:
----------------------------

*问题描述：*

序号1、2和3和默认理论上来讲，执行速度应该是：3>2>1>默认，可是实际上2>1>3>默认，即序号3的执行速度相对1和2慢，并且合并出的目标文件数量多、占用磁盘空间大。

*原因分析：*

下面是分别是他们各自跨空间、空间内的合并次数与总次数。可以发现序号3的跨空间合并次数较多，其实是序号2的，从日志上来看序号3大部分的跨空间合并的乱序文件数量为1，而序号1的有多个任务的乱序文件数量到达16。推断：使用Fast空间内合并出的文件由于直接刷chunk、page所以会比较大，导致跨空间选文件的时候由于内存限制而每次会选择比较少的文件参与合并，进而导致写放大次数较多，合完全部的乱序数据需要较多次跨空间合并。
{quote}
h4. Common（37300秒）

All：1334

Inner：1179

Cross：155
h4. 序号1（33010秒）

All：1322

Inner：1178

Cross：144
h4. 序号2（28261秒）

All：1125

Inner：828

Cross：297
h4. 序号3（35130秒）

All：1278

Inner：734

*Cross：544*

 
{quote}

> [fast compaction] cross/seq/unseq parameters are set to the value "fast" , and the compaction performance is slow
> -----------------------------------------------------------------------------------------------------------------
>
>                 Key: IOTDB-5237
>                 URL: https://issues.apache.org/jira/browse/IOTDB-5237
>             Project: Apache IoTDB
>          Issue Type: Improvement
>          Components: mpp-cluster
>            Reporter: 刘珍
>            Assignee: 周沛辰
>            Priority: Major
>         Attachments: fast_ip75_1.conf, fast_ip75_2.conf, fast_ip75_3.conf, image-2022-12-19-16-02-15-108.png, image-2022-12-19-16-03-00-384.png, image-2022-12-19-16-03-11-460.png, image-2022-12-19-16-03-26-674.png, image-2022-12-19-16-03-42-117.png
>
>
> master_1215_831a45e
> compaction_write_throughput_mb_per_sec=1048576 (相当于合并 不限流）
> 普通序列，使用模板，3个参数设置fast，比1/2个参数设置fast的
> 合并性能慢，且合出来的文件多，占用磁盘空间多。
> !image-2022-12-19-16-02-15-108.png|width=913,height=862! 
> 资源监控：
> !image-2022-12-19-16-03-00-384.png! 
> !image-2022-12-19-16-03-11-460.png! 
> !image-2022-12-19-16-03-26-674.png! 
> !image-2022-12-19-16-03-42-117.png!
> 测试环境
> 1. 192.168.10.75 48CPU384GB HDD
> IoTDB 关合并 ，加大时间分区间隔（不跨分区）
> 生成数据见配置1，2，3
> 串行运行BM，写入完成，cli执行flush。
> 2. 生成测试数据：IoTDB配置
> ConfigNode配置
> MAX_HEAP_SIZE="8G"
> DataNode配置
> MAX_HEAP_SIZE="192G"
> MAX_DIRECT_MEMORY_SIZE="32G"
> Common配置
> time_partition_interval=60480000000
> query_timeout_threshold=36000000
> enable_seq_space_compaction=false
> enable_unseq_space_compaction=false
> enable_cross_space_compaction=false
> compaction_write_throughput_mb_per_sec=1048576
> 3. 数据与日志信息
> 数据备份 /data/mpp_test/m_1215_831a45e/data_template
> 顺序数据：2731 （267G）
> 乱序数据：5276 (511G)
> 序号1 /data/mpp_test/m_1215_831a45e_fast1
> 序号2 /data/mpp_test/m_1215_831a45e_fast2
> 序号3 /data/mpp_test/m_1215_831a45e_fast3
> 序号4 /data/mpp_test/m_1215_831a45e_comm



--
This message was sent by Atlassian Jira
(v8.20.10#820010)