You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@hbase.apache.org by sudo rm -rf /* <le...@qq.com> on 2020/08/03 06:54:59 UTC

WALs持续增加

hi all
&nbsp;请教一个困扰了我们很久的问题,WALs持续增加,不会被释放。原先以为是replication有延时,但是现在,replication没有延时的情况下,WALs的文件还是不会被回收,
我们五个region server,每个region sever设置的堆内存也就32G,但目前,两个星期不到,WALs目录已经膨胀至5.4T,而且还在持续增加


0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.hbase-snapshot
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.hbck
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.tmp
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/MasterProcWALs
5.4 T&nbsp; &nbsp; 16.3 T&nbsp; &nbsp;/hbase/WALs
25.6 G&nbsp; &nbsp;76.9 G&nbsp; &nbsp;/hbase/archive
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/corrupt
12.2 T&nbsp; &nbsp;36.7 T&nbsp; &nbsp;/hbase/data
42&nbsp; &nbsp; &nbsp; &nbsp;126&nbsp; &nbsp; &nbsp; /hbase/hbase.id
7&nbsp; &nbsp; &nbsp; &nbsp; 21&nbsp; &nbsp; &nbsp; &nbsp;/hbase/hbase.version
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/mobdir
226.1 K&nbsp; 678.3 K&nbsp; /hbase/oldWALs



监控上无法发现任何异常,日志中仅有这样的信息:
下午2点27:08.414分WARNLogRollerFailed to schedule flush of 11ac2337124ac92055b4b7c78e4fd4a0, region=null, requester=null

实在不知道怎么来解决这样的问题,虽然找到了这个了issues,但依然不清楚为什么会出现这样的现象,期待您的解答,万分感激
https://issues.apache.org/jira/browse/HBASE-16721

回复:WALs持续增加

Posted by zheng wang <18...@qq.com>.
hbase版本是什么?




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <leo9547@qq.com&gt;;
发送时间:&nbsp;2020年8月3日(星期一) 下午2:54
收件人:&nbsp;"user-zh"<user-zh@hbase.apache.org&gt;;

主题:&nbsp;WALs持续增加



hi all
&amp;nbsp;请教一个困扰了我们很久的问题,WALs持续增加,不会被释放。原先以为是replication有延时,但是现在,replication没有延时的情况下,WALs的文件还是不会被回收,
我们五个region server,每个region sever设置的堆内存也就32G,但目前,两个星期不到,WALs目录已经膨胀至5.4T,而且还在持续增加


0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/.hbase-snapshot
0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/.hbck
0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/.tmp
0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/MasterProcWALs
5.4 T&amp;nbsp; &amp;nbsp; 16.3 T&amp;nbsp; &amp;nbsp;/hbase/WALs
25.6 G&amp;nbsp; &amp;nbsp;76.9 G&amp;nbsp; &amp;nbsp;/hbase/archive
0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/corrupt
12.2 T&amp;nbsp; &amp;nbsp;36.7 T&amp;nbsp; &amp;nbsp;/hbase/data
42&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp;126&amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/hbase.id
7&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 21&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp;/hbase/hbase.version
0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/mobdir
226.1 K&amp;nbsp; 678.3 K&amp;nbsp; /hbase/oldWALs



监控上无法发现任何异常,日志中仅有这样的信息:
下午2点27:08.414分WARNLogRollerFailed to schedule flush of 11ac2337124ac92055b4b7c78e4fd4a0, region=null, requester=null

实在不知道怎么来解决这样的问题,虽然找到了这个了issues,但依然不清楚为什么会出现这样的现象,期待您的解答,万分感激
https://issues.apache.org/jira/browse/HBASE-16721

回复:WALs持续增加

Posted by sudo rm -rf /* <le...@qq.com>.
hi all,
&nbsp; &nbsp; 再次请教HBase2.1.0 主备replication的问题,主集群往备集群replication数据,目前遇到这样一种情况,主集群发送数据过于频繁,备集群被同步的一张表发生了类似region(store) too busy的异常,就造成
了主集群无法继续复制数据到备集群,复制队列持续增加,replication不可用。CPU,IO、内存等各项基础指标一切正常,读写均无影响,单纯就是replication不可用。





有没有什么方法可以跳过这些异常的等待发送的数据?期待社区的帮助,感谢








------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "sudo rm -rf /*"                                                                                    <leo9547@qq.com&gt;;
发送时间:&nbsp;2020年8月3日(星期一) 下午2:54
收件人:&nbsp;"user-zh"<user-zh@hbase.apache.org&gt;;

主题:&nbsp;WALs持续增加



hi all
&nbsp;请教一个困扰了我们很久的问题,WALs持续增加,不会被释放。原先以为是replication有延时,但是现在,replication没有延时的情况下,WALs的文件还是不会被回收,
我们五个region server,每个region sever设置的堆内存也就32G,但目前,两个星期不到,WALs目录已经膨胀至5.4T,而且还在持续增加


0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.hbase-snapshot
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.hbck
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.tmp
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/MasterProcWALs
5.4 T&nbsp; &nbsp; 16.3 T&nbsp; &nbsp;/hbase/WALs
25.6 G&nbsp; &nbsp;76.9 G&nbsp; &nbsp;/hbase/archive
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/corrupt
12.2 T&nbsp; &nbsp;36.7 T&nbsp; &nbsp;/hbase/data
42&nbsp; &nbsp; &nbsp; &nbsp;126&nbsp; &nbsp; &nbsp; /hbase/hbase.id
7&nbsp; &nbsp; &nbsp; &nbsp; 21&nbsp; &nbsp; &nbsp; &nbsp;/hbase/hbase.version
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/mobdir
226.1 K&nbsp; 678.3 K&nbsp; /hbase/oldWALs



监控上无法发现任何异常,日志中仅有这样的信息:
下午2点27:08.414分WARNLogRollerFailed to schedule flush of 11ac2337124ac92055b4b7c78e4fd4a0, region=null, requester=null

实在不知道怎么来解决这样的问题,虽然找到了这个了issues,但依然不清楚为什么会出现这样的现象,期待您的解答,万分感激
https://issues.apache.org/jira/browse/HBASE-16721

回复:WALs持续增加

Posted by zheng wang <18...@qq.com>.
------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <leo9547@qq.com&gt;;
发送时间:&nbsp;2020年8月3日(星期一) 下午2:54
收件人:&nbsp;"user-zh"<user-zh@hbase.apache.org&gt;;

主题:&nbsp;WALs持续增加



hi all
&amp;nbsp;请教一个困扰了我们很久的问题,WALs持续增加,不会被释放。原先以为是replication有延时,但是现在,replication没有延时的情况下,WALs的文件还是不会被回收,
我们五个region server,每个region sever设置的堆内存也就32G,但目前,两个星期不到,WALs目录已经膨胀至5.4T,而且还在持续增加


0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/.hbase-snapshot
0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/.hbck
0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/.tmp
0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/MasterProcWALs
5.4 T&amp;nbsp; &amp;nbsp; 16.3 T&amp;nbsp; &amp;nbsp;/hbase/WALs
25.6 G&amp;nbsp; &amp;nbsp;76.9 G&amp;nbsp; &amp;nbsp;/hbase/archive
0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/corrupt
12.2 T&amp;nbsp; &amp;nbsp;36.7 T&amp;nbsp; &amp;nbsp;/hbase/data
42&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp;126&amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/hbase.id
7&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 21&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp;/hbase/hbase.version
0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; 0&amp;nbsp; &amp;nbsp; &amp;nbsp; &amp;nbsp; /hbase/mobdir
226.1 K&amp;nbsp; 678.3 K&amp;nbsp; /hbase/oldWALs



监控上无法发现任何异常,日志中仅有这样的信息:
下午2点27:08.414分WARNLogRollerFailed to schedule flush of 11ac2337124ac92055b4b7c78e4fd4a0, region=null, requester=null

实在不知道怎么来解决这样的问题,虽然找到了这个了issues,但依然不清楚为什么会出现这样的现象,期待您的解答,万分感激
https://issues.apache.org/jira/browse/HBASE-16721