[jira] [Commented] (IOTDB-1604) new compaction schedule module

["刘珍 (Jira)" <ji...@apache.org>]

    [ https://issues.apache.org/jira/browse/IOTDB-1604?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=17414078#comment-17414078 ] 

刘珍 commented on IOTDB-1604:
---------------------------

1. 2021-09-13
commit 5127a32c5d0b5f8b1cf7f94a1363cc315c98f4bd
问题 1：重启合并后，多数据。
      步骤1：copy 备份数据(合并时停止数据库的数据备份，10sg/100dev/每个dev 包含1 sensor/每个sensor1亿points)，到被测iotdb；启动数据库，日志出现enjoy；执行100条count查询，查询结果正确。
     步骤2：不做其他操作，只让数据库执行合并。17小时40分钟后，合并完成（有遗留不符合合并条件的tsfile）。执行100条count查询，查询结果有31条记录{color:#DE350B}多数据{color}。

问题2：
new_compaction 第1个小时的写入性能高，第2个小时的写入性能下降明显。需分析。
按照旭鑫的建议调整iotdb配置参数：max_compaction_candidate_file_num = 50  ； concurrent_compaction_thread=50，写入性能下降，见下图

 !screenshot-1.png! 
配置参数： [^配置参数.zip] 

> new compaction schedule module
> ------------------------------
>
>                 Key: IOTDB-1604
>                 URL: https://issues.apache.org/jira/browse/IOTDB-1604
>             Project: Apache IoTDB
>          Issue Type: New Feature
>            Reporter: Hai Liu
>            Assignee: Liuxuxin
>            Priority: Major
>         Attachments: screenshot-1.png
>
>   Original Estimate: 48h
>  Remaining Estimate: 48h
>




--
This message was sent by Atlassian Jira
(v8.3.4#803005)