[jira] [Commented] (KYLIN-3937) 从 kafka 流构建 cube ,发生死锁

["风语者 (Jira)" <ji...@apache.org>]

    [ https://issues.apache.org/jira/browse/KYLIN-3937?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=17049850#comment-17049850 ] 

风语者 commented on KYLIN-3937:
----------------------------

我在用 bitmap 计算精确 uv 的时候, 会出现这个问题.
  如果计算精确 uv 的话, 应该是 kylin 在第三步计算全局字典的时候, 需要在 zk 里面加锁, 前一个批次没有加工完, 后续加工无法获取锁导致加工无法进行下去的.
  在计算字典的时候, kylin 应该是在 kylin 的 server 里面计算字典, 如果计算全局字典的话, 那需要的内存是不是就越来越大? 如果给的内存不够大, 比如我现在
  给的 16 G, 计算不了多久, 就会停止在第三步,无法进行下去, 不知道是不是因为个原因导致的? (数据加工量级 数十亿级别每天) 

> 从 kafka 流构建 cube ,发生死锁
> ----------------------
>
>                 Key: KYLIN-3937
>                 URL: https://issues.apache.org/jira/browse/KYLIN-3937
>             Project: Kylin
>          Issue Type: Bug
>          Components: Job Engine, Metadata, Spark Engine
>    Affects Versions: v2.6.0
>         Environment: kylin: 2.6.0
> hdp: 2.5.0.0-1245
>            Reporter: 风语者
>            Priority: Critical
>         Attachments: deadlock_kylin.png, kylin_monitors.png
>
>
> 你好，用 kylin 从 kafka 流构建 cube, 每五分钟 构建一次，从日志看到好像发生了死锁现象。
> 目前为止，发生了再次，第一次我将所有正在进行的构建全部 discard , 然后死锁现象还是存在，目前不知道该怎么处理这个问题。烦请查看下吧。多谢多谢。
> 用 spark 进行构建，到第三步：Build Dimension Dictionary 时，发生了死锁。
> 发生死锁时，没有发生 cube 构建错误现象。 



--
This message was sent by Atlassian Jira
(v8.3.4#803005)