[jira] [Resolved] (KYLIN-5325) HDFS Capacity data type conversion error

["Jiale He (Jira)" <ji...@apache.org>]

     [ https://issues.apache.org/jira/browse/KYLIN-5325?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel ]

Jiale He resolved KYLIN-5325.
-----------------------------
    Resolution: Fixed

> HDFS Capacity data type conversion error
> ----------------------------------------
>
>                 Key: KYLIN-5325
>                 URL: https://issues.apache.org/jira/browse/KYLIN-5325
>             Project: Kylin
>          Issue Type: Bug
>          Components: Others
>            Reporter: Jiale He
>            Assignee: Jiale He
>            Priority: Major
>             Fix For: 5.0-alpha
>
>         Attachments: image-2022-12-01-18-29-18-893.png, image-2022-12-01-18-30-36-346.png, image-2022-12-01-18-31-09-890.png, image-2022-12-01-18-32-23-309.png
>
>
> h1. Root Cause
> 写入 JSON 文件的数字读出来识别为 Integer 类型，这与需要的 Long 类型不一致，导致出现类型转换错误，{{{}totalStorageSize{}}} 就写入了初始值 -1。
> 解释为什么一开始报错，等一会儿就恢复正常了：Kylin 有个 {{EpochStore}} 用于判断当前节点是否为 leader 节点，但是这个同步获取的过程不是立即进行的，需要等 KE 完全启动完成，在优化 WorkingDir 的 issue 中有个逻辑是{*}只有 leader 节点写，其他节点只读{*}，所以当 KE 刚启动的时候，当前节点还是读节点，此时去 HDFS 上读取 {{_metrics/hdfsCapacity.json}} 时读出来的数据类型是 Integer，返回时会报错，如下：
> !image-2022-12-01-18-29-18-893.png|width=904,height=357!
> 而抛出异常的地方吞掉了详细信息，仅在 {{logs/kylin.schedule.log}} 留下一条类型转换的异常，如下：
> !image-2022-12-01-18-30-36-346.png|width=939,height=476!
>  
> 过了一段时间恢复正常是因为经过元数据的初始化等等操作之后，当前节点可以正确识别为 leader 节点，此时会对每个 project 的 HDFS 使用大小进行计算，内存中维护的数据是正确匹配的 Long 类型，再次覆写 HDFS 上对应的文件。
> {*}被写入 JSON 文件的数字是不包含数据类型的，可能会自动当成 Integer 处理{*}，另外 {*}JDK 这边 ConcurrentHashMap<String, Long> 能接住ConcurrentHashMap<String, Integer>{*}，这是两个大坑，在读取的地方有问题，如下：
> !image-2022-12-01-18-31-09-890.png|width=956,height=375!
>  
> h1. Dev Design
> 在返回值时对数字进行类型转换即可，目前先使用这种方式：
> !image-2022-12-01-18-32-23-309.png|width=991,height=461!
>  
>  
>  



--
This message was sent by Atlassian Jira
(v8.20.10#820010)