You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@hbase.apache.org by sudo rm -rf /* <le...@qq.com> on 2020/08/03 06:54:59 UTC
WALs持续增加
hi all
请教一个困扰了我们很久的问题,WALs持续增加,不会被释放。原先以为是replication有延时,但是现在,replication没有延时的情况下,WALs的文件还是不会被回收,
我们五个region server,每个region sever设置的堆内存也就32G,但目前,两个星期不到,WALs目录已经膨胀至5.4T,而且还在持续增加
0 0 /hbase/.hbase-snapshot
0 0 /hbase/.hbck
0 0 /hbase/.tmp
0 0 /hbase/MasterProcWALs
5.4 T 16.3 T /hbase/WALs
25.6 G 76.9 G /hbase/archive
0 0 /hbase/corrupt
12.2 T 36.7 T /hbase/data
42 126 /hbase/hbase.id
7 21 /hbase/hbase.version
0 0 /hbase/mobdir
226.1 K 678.3 K /hbase/oldWALs
监控上无法发现任何异常,日志中仅有这样的信息:
下午2点27:08.414分WARNLogRollerFailed to schedule flush of 11ac2337124ac92055b4b7c78e4fd4a0, region=null, requester=null
实在不知道怎么来解决这样的问题,虽然找到了这个了issues,但依然不清楚为什么会出现这样的现象,期待您的解答,万分感激
https://issues.apache.org/jira/browse/HBASE-16721
回复:WALs持续增加
Posted by zheng wang <18...@qq.com>.
hbase版本是什么?
------------------ 原始邮件 ------------------
发件人: "user-zh" <leo9547@qq.com>;
发送时间: 2020年8月3日(星期一) 下午2:54
收件人: "user-zh"<user-zh@hbase.apache.org>;
主题: WALs持续增加
hi all
&nbsp;请教一个困扰了我们很久的问题,WALs持续增加,不会被释放。原先以为是replication有延时,但是现在,replication没有延时的情况下,WALs的文件还是不会被回收,
我们五个region server,每个region sever设置的堆内存也就32G,但目前,两个星期不到,WALs目录已经膨胀至5.4T,而且还在持续增加
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.hbase-snapshot
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.hbck
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.tmp
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/MasterProcWALs
5.4 T&nbsp; &nbsp; 16.3 T&nbsp; &nbsp;/hbase/WALs
25.6 G&nbsp; &nbsp;76.9 G&nbsp; &nbsp;/hbase/archive
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/corrupt
12.2 T&nbsp; &nbsp;36.7 T&nbsp; &nbsp;/hbase/data
42&nbsp; &nbsp; &nbsp; &nbsp;126&nbsp; &nbsp; &nbsp; /hbase/hbase.id
7&nbsp; &nbsp; &nbsp; &nbsp; 21&nbsp; &nbsp; &nbsp; &nbsp;/hbase/hbase.version
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/mobdir
226.1 K&nbsp; 678.3 K&nbsp; /hbase/oldWALs
监控上无法发现任何异常,日志中仅有这样的信息:
下午2点27:08.414分WARNLogRollerFailed to schedule flush of 11ac2337124ac92055b4b7c78e4fd4a0, region=null, requester=null
实在不知道怎么来解决这样的问题,虽然找到了这个了issues,但依然不清楚为什么会出现这样的现象,期待您的解答,万分感激
https://issues.apache.org/jira/browse/HBASE-16721
回复:WALs持续增加
Posted by sudo rm -rf /* <le...@qq.com>.
hi all,
再次请教HBase2.1.0 主备replication的问题,主集群往备集群replication数据,目前遇到这样一种情况,主集群发送数据过于频繁,备集群被同步的一张表发生了类似region(store) too busy的异常,就造成
了主集群无法继续复制数据到备集群,复制队列持续增加,replication不可用。CPU,IO、内存等各项基础指标一切正常,读写均无影响,单纯就是replication不可用。
有没有什么方法可以跳过这些异常的等待发送的数据?期待社区的帮助,感谢
------------------ 原始邮件 ------------------
发件人: "sudo rm -rf /*" <leo9547@qq.com>;
发送时间: 2020年8月3日(星期一) 下午2:54
收件人: "user-zh"<user-zh@hbase.apache.org>;
主题: WALs持续增加
hi all
请教一个困扰了我们很久的问题,WALs持续增加,不会被释放。原先以为是replication有延时,但是现在,replication没有延时的情况下,WALs的文件还是不会被回收,
我们五个region server,每个region sever设置的堆内存也就32G,但目前,两个星期不到,WALs目录已经膨胀至5.4T,而且还在持续增加
0 0 /hbase/.hbase-snapshot
0 0 /hbase/.hbck
0 0 /hbase/.tmp
0 0 /hbase/MasterProcWALs
5.4 T 16.3 T /hbase/WALs
25.6 G 76.9 G /hbase/archive
0 0 /hbase/corrupt
12.2 T 36.7 T /hbase/data
42 126 /hbase/hbase.id
7 21 /hbase/hbase.version
0 0 /hbase/mobdir
226.1 K 678.3 K /hbase/oldWALs
监控上无法发现任何异常,日志中仅有这样的信息:
下午2点27:08.414分WARNLogRollerFailed to schedule flush of 11ac2337124ac92055b4b7c78e4fd4a0, region=null, requester=null
实在不知道怎么来解决这样的问题,虽然找到了这个了issues,但依然不清楚为什么会出现这样的现象,期待您的解答,万分感激
https://issues.apache.org/jira/browse/HBASE-16721
回复:WALs持续增加
Posted by zheng wang <18...@qq.com>.
------------------ 原始邮件 ------------------
发件人: "user-zh" <leo9547@qq.com>;
发送时间: 2020年8月3日(星期一) 下午2:54
收件人: "user-zh"<user-zh@hbase.apache.org>;
主题: WALs持续增加
hi all
&nbsp;请教一个困扰了我们很久的问题,WALs持续增加,不会被释放。原先以为是replication有延时,但是现在,replication没有延时的情况下,WALs的文件还是不会被回收,
我们五个region server,每个region sever设置的堆内存也就32G,但目前,两个星期不到,WALs目录已经膨胀至5.4T,而且还在持续增加
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.hbase-snapshot
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.hbck
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/.tmp
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/MasterProcWALs
5.4 T&nbsp; &nbsp; 16.3 T&nbsp; &nbsp;/hbase/WALs
25.6 G&nbsp; &nbsp;76.9 G&nbsp; &nbsp;/hbase/archive
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/corrupt
12.2 T&nbsp; &nbsp;36.7 T&nbsp; &nbsp;/hbase/data
42&nbsp; &nbsp; &nbsp; &nbsp;126&nbsp; &nbsp; &nbsp; /hbase/hbase.id
7&nbsp; &nbsp; &nbsp; &nbsp; 21&nbsp; &nbsp; &nbsp; &nbsp;/hbase/hbase.version
0&nbsp; &nbsp; &nbsp; &nbsp; 0&nbsp; &nbsp; &nbsp; &nbsp; /hbase/mobdir
226.1 K&nbsp; 678.3 K&nbsp; /hbase/oldWALs
监控上无法发现任何异常,日志中仅有这样的信息:
下午2点27:08.414分WARNLogRollerFailed to schedule flush of 11ac2337124ac92055b4b7c78e4fd4a0, region=null, requester=null
实在不知道怎么来解决这样的问题,虽然找到了这个了issues,但依然不清楚为什么会出现这样的现象,期待您的解答,万分感激
https://issues.apache.org/jira/browse/HBASE-16721