You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@hbase.apache.org by leojie <le...@apache.org> on 2023/06/05 08:09:38 UTC
HBase2 Orphan Regions on RegionServer
hi all
请教社区一些HBase2中 Orphan Regions的问题，使用的hbase版本是2.2.6，hadoop版本是3.3.2
HBase的hbck report页面出现了一些Orphan Regions，
Orphan Regions on RegionServer
126 region(s) in set.
Region NameReported Online RegionServer
newptc_log,09c83c3e,1628548002412.5db648586560d01bcc5e4ae26348f14c.
node27.hadoop,60020,1679982363818 <http://node27.hadoop:60030/rs-status>
Orphan Regions on FileSystem
164 region(s) in set.
Region Encoded NameFileSystem Path
5db648586560d01bcc5e4ae26348f14c
hdfs://hadoop-namenode/hbase/data/default/newptc_log
/5db648586560d01bcc5e4ae26348f14c
这些region的特点是：
1. 孤儿region的元数据信息在hbase:meta表中不存在，但仍会被一些RS报告，RS界面上可以搜索到这个region的信息，
2. 孤儿region对应的HBase表region是完整的，不存在region重叠或region空洞，表依旧正常被读写
3. region的hdfs目录结构如下：
[root@hadoop-operator~]# sudo -uhbase hdfs dfs -ls -R
/hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c
-rw-r--r-- 3 hbase hbase 109 2023-04-06 10:37
/hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.regioninfo
drwxr-xr-x - hbase hbase 0 2023-04-06 10:38
/hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.tmp
drwxr-xr-x - hbase hbase 0 2023-04-17 18:10
/hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.tmp/task
drwxr-xr-x - hbase hbase 0 2023-04-06 10:37
/hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/recovered.edits
-rw-r--r-- 3 hbase hbase 0 2023-04-06 10:37
/hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/recovered.edits/3461430.seqid
drwxr-xr-x - hbase hbase 0 2023-04-17 18:10
/hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/task
-rw-r--r-- 3 hbase hbase 121250 2023-04-17 17:06
/hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/task/046f0b1f772e40e59131251eb6d6e44f
这些region下的hfile size大小不为0（个别是个空目录），我使用
HFile.Reader读出这些hfile，与表中数据进行比对，发现这些孤儿region对应的数据不存在表里，（表没有设置TTL），且这些孤儿region
对应的HFILE中的数据都有Put标识（非delete），因此不确定这些孤儿region下的数据是否还有用。
我按照页面提示的步骤回放孤儿region目录，发现并不成功：
First make sure *hbase:meta* is in a healthy state; run *hbck2 fixMeta* to
be sure. Once this is done, per Region below, run a bulk load -- *$ hbase
completebulkload REGION_DIR_PATH TABLE_NAME* -- and then delete the
desiccated directory content (HFiles are removed upon successful load; all
that is left are empty directories and occasionally a seqid marking file).
请教各位大佬，出现大面积孤儿region的根本原因是什么（发生这个问题之前，我们只是对表进行了大批量的小region合并操作，可能跟这个操作相关），是否有相关ISSUE修复？该如何确定这些孤儿region的hfile是否是冗余数据呢？
当重启RS时，这些孤儿region就会消失了，不确定是否会导致数据丢失。
Re: HBase2 Orphan Regions on RegionServer
Posted by leojie <le...@apache.org>.
张老师，不好意思，纠正下上封邮件的描述，
在大量 merge region的场景中，会有一定几率产生孤儿region？
leojie <le...@apache.org> 于2023年6月15日周四 17:02写道：
> 张老师，再请教一下，找到一个ISSUE
> https://issues.apache.org/jira/browse/HBASE-24370
> 这个ISSUE是说，在大量 merge region的场景中，会有一定概率产生小region么？
>
> leojie <le...@apache.org> 于2023年6月5日周一 16:48写道：
>
>> 感谢张老师的回复，早一点的日志没了，（只能之后再留意这样的问题，进行日志保留）
>> 只剩下如下日志：
>> 2023-05-25 12:24:04,404 WARN
>> [RpcServer.priority.RWQ.Fifo.write.handler=3,queue=0,port=60000]
>> assignment.AssignmentManager: No region state node for
>> newptc_log,15b746d47aeaca06320461eacd77e66b,1658994112119.5db648586560d01bcc5e4ae26348f14c.,
>> it should already be on node71.hadoop,60020,1679982360619
>> 如果是已经被合并的 region，只是没有正确的 offline的话，重启RS之后，应该不会导致数据丢失。
>> 我继续再合并一些低优先级的表，尝试复现一下这样的问题，再研究下HMaster的日志
>>
>> 张铎(Duo Zhang) <pa...@gmail.com> 于2023年6月5日周一 16:37写道：
>>
>>> 建议 grep 一下 master 的日志，这种大概率是已经被合并的 region，只是没有正确的 offline，可以看看当前表里和他重叠的那个
>>> region 是怎么合并出来的
>>>
>>> 在 2.3 以后这种情况会少很多，主要是 AM-v2 和 procedure 存储的部分做了不少改进和优化
>>>
>>> leojie <le...@apache.org> 于2023年6月5日周一 16:09写道：
>>>
>>> > hi all
>>> > 请教社区一些HBase2中 Orphan Regions的问题，使用的hbase版本是2.2.6，hadoop版本是3.3.2
>>> > HBase的hbck report页面出现了一些Orphan Regions，
>>> > Orphan Regions on RegionServer
>>> >
>>> > 126 region(s) in set.
>>> > Region NameReported Online RegionServer
>>> > newptc_log,09c83c3e,1628548002412.5db648586560d01bcc5e4ae26348f14c.
>>> > node27.hadoop,60020,1679982363818 <
>>> http://node27.hadoop:60030/rs-status>
>>> > Orphan Regions on FileSystem
>>> >
>>> > 164 region(s) in set.
>>> > Region Encoded NameFileSystem Path
>>> > 5db648586560d01bcc5e4ae26348f14c
>>> > hdfs://hadoop-namenode/hbase/data/default/newptc_log
>>> > /5db648586560d01bcc5e4ae26348f14c
>>> >
>>> > 这些region的特点是：
>>> >
>>> > 1. 孤儿region的元数据信息在hbase:meta表中不存在，但仍会被一些RS报告，RS界面上可以搜索到这个region的信息，
>>> > 2. 孤儿region对应的HBase表region是完整的，不存在region重叠或region空洞，表依旧正常被读写
>>> > 3. region的hdfs目录结构如下：
>>> > [root@hadoop-operator~]# sudo -uhbase hdfs dfs -ls -R
>>> > /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c
>>> > -rw-r--r-- 3 hbase hbase 109 2023-04-06 10:37
>>> >
>>> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.regioninfo
>>> > drwxr-xr-x - hbase hbase 0 2023-04-06 10:38
>>> > /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.tmp
>>> > drwxr-xr-x - hbase hbase 0 2023-04-17 18:10
>>> >
>>> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.tmp/task
>>> > drwxr-xr-x - hbase hbase 0 2023-04-06 10:37
>>> >
>>> >
>>> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/recovered.edits
>>> > -rw-r--r-- 3 hbase hbase 0 2023-04-06 10:37
>>> >
>>> >
>>> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/recovered.edits/3461430.seqid
>>> > drwxr-xr-x - hbase hbase 0 2023-04-17 18:10
>>> > /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/task
>>> > -rw-r--r-- 3 hbase hbase 121250 2023-04-17 17:06
>>> >
>>> >
>>> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/task/046f0b1f772e40e59131251eb6d6e44f
>>> >
>>> > 这些region下的hfile size大小不为0（个别是个空目录），我使用
>>> >
>>> >
>>> HFile.Reader读出这些hfile，与表中数据进行比对，发现这些孤儿region对应的数据不存在表里，（表没有设置TTL），且这些孤儿region
>>> > 对应的HFILE中的数据都有Put标识（非delete），因此不确定这些孤儿region下的数据是否还有用。
>>> > 我按照页面提示的步骤回放孤儿region目录，发现并不成功：
>>> > First make sure *hbase:meta* is in a healthy state; run *hbck2
>>> fixMeta* to
>>> > be sure. Once this is done, per Region below, run a bulk load -- *$
>>> hbase
>>> > completebulkload REGION_DIR_PATH TABLE_NAME* -- and then delete the
>>> > desiccated directory content (HFiles are removed upon successful load;
>>> all
>>> > that is left are empty directories and occasionally a seqid marking
>>> file).
>>> >
>>> >
>>> >
>>> 请教各位大佬，出现大面积孤儿region的根本原因是什么（发生这个问题之前，我们只是对表进行了大批量的小region合并操作，可能跟这个操作相关），是否有相关ISSUE修复？该如何确定这些孤儿region的hfile是否是冗余数据呢？
>>> > 当重启RS时，这些孤儿region就会消失了，不确定是否会导致数据丢失。
>>> >
>>>
>>
Re: HBase2 Orphan Regions on RegionServer
Posted by leojie <le...@apache.org>.
张老师，再请教一下，找到一个ISSUE
https://issues.apache.org/jira/browse/HBASE-24370
这个ISSUE是说，在大量 merge region的场景中，会有一定概率产生小region么？
leojie <le...@apache.org> 于2023年6月5日周一 16:48写道：
> 感谢张老师的回复，早一点的日志没了，（只能之后再留意这样的问题，进行日志保留）
> 只剩下如下日志：
> 2023-05-25 12:24:04,404 WARN
> [RpcServer.priority.RWQ.Fifo.write.handler=3,queue=0,port=60000]
> assignment.AssignmentManager: No region state node for
> newptc_log,15b746d47aeaca06320461eacd77e66b,1658994112119.5db648586560d01bcc5e4ae26348f14c.,
> it should already be on node71.hadoop,60020,1679982360619
> 如果是已经被合并的 region，只是没有正确的 offline的话，重启RS之后，应该不会导致数据丢失。
> 我继续再合并一些低优先级的表，尝试复现一下这样的问题，再研究下HMaster的日志
>
> 张铎(Duo Zhang) <pa...@gmail.com> 于2023年6月5日周一 16:37写道：
>
>> 建议 grep 一下 master 的日志，这种大概率是已经被合并的 region，只是没有正确的 offline，可以看看当前表里和他重叠的那个
>> region 是怎么合并出来的
>>
>> 在 2.3 以后这种情况会少很多，主要是 AM-v2 和 procedure 存储的部分做了不少改进和优化
>>
>> leojie <le...@apache.org> 于2023年6月5日周一 16:09写道：
>>
>> > hi all
>> > 请教社区一些HBase2中 Orphan Regions的问题，使用的hbase版本是2.2.6，hadoop版本是3.3.2
>> > HBase的hbck report页面出现了一些Orphan Regions，
>> > Orphan Regions on RegionServer
>> >
>> > 126 region(s) in set.
>> > Region NameReported Online RegionServer
>> > newptc_log,09c83c3e,1628548002412.5db648586560d01bcc5e4ae26348f14c.
>> > node27.hadoop,60020,1679982363818 <http://node27.hadoop:60030/rs-status
>> >
>> > Orphan Regions on FileSystem
>> >
>> > 164 region(s) in set.
>> > Region Encoded NameFileSystem Path
>> > 5db648586560d01bcc5e4ae26348f14c
>> > hdfs://hadoop-namenode/hbase/data/default/newptc_log
>> > /5db648586560d01bcc5e4ae26348f14c
>> >
>> > 这些region的特点是：
>> >
>> > 1. 孤儿region的元数据信息在hbase:meta表中不存在，但仍会被一些RS报告，RS界面上可以搜索到这个region的信息，
>> > 2. 孤儿region对应的HBase表region是完整的，不存在region重叠或region空洞，表依旧正常被读写
>> > 3. region的hdfs目录结构如下：
>> > [root@hadoop-operator~]# sudo -uhbase hdfs dfs -ls -R
>> > /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c
>> > -rw-r--r-- 3 hbase hbase 109 2023-04-06 10:37
>> >
>> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.regioninfo
>> > drwxr-xr-x - hbase hbase 0 2023-04-06 10:38
>> > /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.tmp
>> > drwxr-xr-x - hbase hbase 0 2023-04-17 18:10
>> >
>> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.tmp/task
>> > drwxr-xr-x - hbase hbase 0 2023-04-06 10:37
>> >
>> >
>> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/recovered.edits
>> > -rw-r--r-- 3 hbase hbase 0 2023-04-06 10:37
>> >
>> >
>> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/recovered.edits/3461430.seqid
>> > drwxr-xr-x - hbase hbase 0 2023-04-17 18:10
>> > /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/task
>> > -rw-r--r-- 3 hbase hbase 121250 2023-04-17 17:06
>> >
>> >
>> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/task/046f0b1f772e40e59131251eb6d6e44f
>> >
>> > 这些region下的hfile size大小不为0（个别是个空目录），我使用
>> >
>> >
>> HFile.Reader读出这些hfile，与表中数据进行比对，发现这些孤儿region对应的数据不存在表里，（表没有设置TTL），且这些孤儿region
>> > 对应的HFILE中的数据都有Put标识（非delete），因此不确定这些孤儿region下的数据是否还有用。
>> > 我按照页面提示的步骤回放孤儿region目录，发现并不成功：
>> > First make sure *hbase:meta* is in a healthy state; run *hbck2 fixMeta*
>> to
>> > be sure. Once this is done, per Region below, run a bulk load -- *$
>> hbase
>> > completebulkload REGION_DIR_PATH TABLE_NAME* -- and then delete the
>> > desiccated directory content (HFiles are removed upon successful load;
>> all
>> > that is left are empty directories and occasionally a seqid marking
>> file).
>> >
>> >
>> >
>> 请教各位大佬，出现大面积孤儿region的根本原因是什么（发生这个问题之前，我们只是对表进行了大批量的小region合并操作，可能跟这个操作相关），是否有相关ISSUE修复？该如何确定这些孤儿region的hfile是否是冗余数据呢？
>> > 当重启RS时，这些孤儿region就会消失了，不确定是否会导致数据丢失。
>> >
>>
>
Re: HBase2 Orphan Regions on RegionServer
Posted by leojie <le...@apache.org>.
感谢张老师的回复，早一点的日志没了，（只能之后再留意这样的问题，进行日志保留）
只剩下如下日志：
2023-05-25 12:24:04,404 WARN
[RpcServer.priority.RWQ.Fifo.write.handler=3,queue=0,port=60000]
assignment.AssignmentManager: No region state node for
newptc_log,15b746d47aeaca06320461eacd77e66b,1658994112119.5db648586560d01bcc5e4ae26348f14c.,
it should already be on node71.hadoop,60020,1679982360619
如果是已经被合并的 region，只是没有正确的 offline的话，重启RS之后，应该不会导致数据丢失。
我继续再合并一些低优先级的表，尝试复现一下这样的问题，再研究下HMaster的日志
张铎(Duo Zhang) <pa...@gmail.com> 于2023年6月5日周一 16:37写道：
> 建议 grep 一下 master 的日志，这种大概率是已经被合并的 region，只是没有正确的 offline，可以看看当前表里和他重叠的那个
> region 是怎么合并出来的
>
> 在 2.3 以后这种情况会少很多，主要是 AM-v2 和 procedure 存储的部分做了不少改进和优化
>
> leojie <le...@apache.org> 于2023年6月5日周一 16:09写道：
>
> > hi all
> > 请教社区一些HBase2中 Orphan Regions的问题，使用的hbase版本是2.2.6，hadoop版本是3.3.2
> > HBase的hbck report页面出现了一些Orphan Regions，
> > Orphan Regions on RegionServer
> >
> > 126 region(s) in set.
> > Region NameReported Online RegionServer
> > newptc_log,09c83c3e,1628548002412.5db648586560d01bcc5e4ae26348f14c.
> > node27.hadoop,60020,1679982363818 <http://node27.hadoop:60030/rs-status>
> > Orphan Regions on FileSystem
> >
> > 164 region(s) in set.
> > Region Encoded NameFileSystem Path
> > 5db648586560d01bcc5e4ae26348f14c
> > hdfs://hadoop-namenode/hbase/data/default/newptc_log
> > /5db648586560d01bcc5e4ae26348f14c
> >
> > 这些region的特点是：
> >
> > 1. 孤儿region的元数据信息在hbase:meta表中不存在，但仍会被一些RS报告，RS界面上可以搜索到这个region的信息，
> > 2. 孤儿region对应的HBase表region是完整的，不存在region重叠或region空洞，表依旧正常被读写
> > 3. region的hdfs目录结构如下：
> > [root@hadoop-operator~]# sudo -uhbase hdfs dfs -ls -R
> > /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c
> > -rw-r--r-- 3 hbase hbase 109 2023-04-06 10:37
> >
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.regioninfo
> > drwxr-xr-x - hbase hbase 0 2023-04-06 10:38
> > /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.tmp
> > drwxr-xr-x - hbase hbase 0 2023-04-17 18:10
> > /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.tmp/task
> > drwxr-xr-x - hbase hbase 0 2023-04-06 10:37
> >
> >
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/recovered.edits
> > -rw-r--r-- 3 hbase hbase 0 2023-04-06 10:37
> >
> >
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/recovered.edits/3461430.seqid
> > drwxr-xr-x - hbase hbase 0 2023-04-17 18:10
> > /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/task
> > -rw-r--r-- 3 hbase hbase 121250 2023-04-17 17:06
> >
> >
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/task/046f0b1f772e40e59131251eb6d6e44f
> >
> > 这些region下的hfile size大小不为0（个别是个空目录），我使用
> >
> >
> HFile.Reader读出这些hfile，与表中数据进行比对，发现这些孤儿region对应的数据不存在表里，（表没有设置TTL），且这些孤儿region
> > 对应的HFILE中的数据都有Put标识（非delete），因此不确定这些孤儿region下的数据是否还有用。
> > 我按照页面提示的步骤回放孤儿region目录，发现并不成功：
> > First make sure *hbase:meta* is in a healthy state; run *hbck2 fixMeta*
> to
> > be sure. Once this is done, per Region below, run a bulk load -- *$ hbase
> > completebulkload REGION_DIR_PATH TABLE_NAME* -- and then delete the
> > desiccated directory content (HFiles are removed upon successful load;
> all
> > that is left are empty directories and occasionally a seqid marking
> file).
> >
> >
> >
> 请教各位大佬，出现大面积孤儿region的根本原因是什么（发生这个问题之前，我们只是对表进行了大批量的小region合并操作，可能跟这个操作相关），是否有相关ISSUE修复？该如何确定这些孤儿region的hfile是否是冗余数据呢？
> > 当重启RS时，这些孤儿region就会消失了，不确定是否会导致数据丢失。
> >
>
Re: HBase2 Orphan Regions on RegionServer
Posted by "张铎(Duo Zhang)" <pa...@gmail.com>.
建议 grep 一下 master 的日志，这种大概率是已经被合并的 region，只是没有正确的 offline，可以看看当前表里和他重叠的那个
region 是怎么合并出来的
在 2.3 以后这种情况会少很多，主要是 AM-v2 和 procedure 存储的部分做了不少改进和优化
leojie <le...@apache.org> 于2023年6月5日周一 16:09写道：
> hi all
> 请教社区一些HBase2中 Orphan Regions的问题，使用的hbase版本是2.2.6，hadoop版本是3.3.2
> HBase的hbck report页面出现了一些Orphan Regions，
> Orphan Regions on RegionServer
>
> 126 region(s) in set.
> Region NameReported Online RegionServer
> newptc_log,09c83c3e,1628548002412.5db648586560d01bcc5e4ae26348f14c.
> node27.hadoop,60020,1679982363818 <http://node27.hadoop:60030/rs-status>
> Orphan Regions on FileSystem
>
> 164 region(s) in set.
> Region Encoded NameFileSystem Path
> 5db648586560d01bcc5e4ae26348f14c
> hdfs://hadoop-namenode/hbase/data/default/newptc_log
> /5db648586560d01bcc5e4ae26348f14c
>
> 这些region的特点是：
>
> 1. 孤儿region的元数据信息在hbase:meta表中不存在，但仍会被一些RS报告，RS界面上可以搜索到这个region的信息，
> 2. 孤儿region对应的HBase表region是完整的，不存在region重叠或region空洞，表依旧正常被读写
> 3. region的hdfs目录结构如下：
> [root@hadoop-operator~]# sudo -uhbase hdfs dfs -ls -R
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c
> -rw-r--r-- 3 hbase hbase 109 2023-04-06 10:37
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.regioninfo
> drwxr-xr-x - hbase hbase 0 2023-04-06 10:38
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.tmp
> drwxr-xr-x - hbase hbase 0 2023-04-17 18:10
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/.tmp/task
> drwxr-xr-x - hbase hbase 0 2023-04-06 10:37
>
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/recovered.edits
> -rw-r--r-- 3 hbase hbase 0 2023-04-06 10:37
>
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/recovered.edits/3461430.seqid
> drwxr-xr-x - hbase hbase 0 2023-04-17 18:10
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/task
> -rw-r--r-- 3 hbase hbase 121250 2023-04-17 17:06
>
> /hbase/data/default/newptc_log/5db648586560d01bcc5e4ae26348f14c/task/046f0b1f772e40e59131251eb6d6e44f
>
> 这些region下的hfile size大小不为0（个别是个空目录），我使用
>
> HFile.Reader读出这些hfile，与表中数据进行比对，发现这些孤儿region对应的数据不存在表里，（表没有设置TTL），且这些孤儿region
> 对应的HFILE中的数据都有Put标识（非delete），因此不确定这些孤儿region下的数据是否还有用。
> 我按照页面提示的步骤回放孤儿region目录，发现并不成功：
> First make sure *hbase:meta* is in a healthy state; run *hbck2 fixMeta* to
> be sure. Once this is done, per Region below, run a bulk load -- *$ hbase
> completebulkload REGION_DIR_PATH TABLE_NAME* -- and then delete the
> desiccated directory content (HFiles are removed upon successful load; all
> that is left are empty directories and occasionally a seqid marking file).
>
>
> 请教各位大佬，出现大面积孤儿region的根本原因是什么（发生这个问题之前，我们只是对表进行了大批量的小region合并操作，可能跟这个操作相关），是否有相关ISSUE修复？该如何确定这些孤儿region的hfile是否是冗余数据呢？
> 当重启RS时，这些孤儿region就会消失了，不确定是否会导致数据丢失。
>