You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@hbase.apache.org by ww...@sina.com on 2020/07/21 05:37:04 UTC
回复：Re: 开启replication后，hbase读写性能下降问题
写入每秒3万，只有一个peer。 看了下磁盘的写入每秒在4-5M，读取在1M，这个写入量对ssd应该没什么压力吧。
我理解replication的过程应该是异步的，为什么会对读取和写入造成那么大的影响。
该怎么看瓶颈在哪？
----- 原始邮件 -----
发件人：张铎(Duo Zhang) <pa...@gmail.com>
收件人：user-zh <us...@hbase.apache.org>
主题：Re: 开启replication后，hbase读写性能下降问题
日期：2020年07月21日 12点19分
写入的很猛吗？需要看看瓶颈在哪，我们之前遇到过peer很多的情况下，replication对HDFS的压力很大，因为每个peer都要读一遍WAL。
你这个是SSD的话，看起来是replication本身对region server的压力很大？
zheng wang <18...@qq.com> 于2020年7月21日周二 下午12:05写道：
> 可以考虑对replication限速。
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
>
> "user-zh@hbase.apache.orgww112925@sina.com"
> <ww112925@sina.com
> >;
> 发送时间: 2020年7月21日(星期二) 中午11:51
> 收件人: "user-zh"<user-zh@hbase.apache.org>;
>
> 主题: 开启replication后，hbase读写性能下降问题
>
>
>
>
> 在开启hbase的replication后，集群的slowGetCount和slowPutCount都会大幅增长。请问这种情况怎么解决。
> 开启复制之后，日志里边还有大量的slow sync日志。日志如下：
> 2020-07-21 11:08:11,314 INFO
> org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL: Slow sync cost: 635
> ms, current pipeline:
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]2020-07-21
> 11:08:11,315 INFO org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL:
> Slow sync cost: 564 ms, current pipeline:
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]2020-07-21
> 11:08:11,315 INFO org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL:
> Slow sync cost: 535 ms, current pipeline:
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]
Re: Re: 开启replication后，hbase读写性能下降问题
Posted by "张铎 (Duo Zhang)" <pa...@gmail.com>.
盲猜GC影响比较大
replication.source.size.capacity默认值是64M，对于GC的压力其实不小
有输出GC日志吗？看看停顿情况？
Guanghao Zhang <zg...@gmail.com> 于2020年7月21日周二 下午2:41写道：
> 是A集群replication到B集群, A集群自身被Replication影响?
>
> zheng wang <18...@qq.com> 于2020年7月21日周二 下午1:46写道：
>
> > replication确实是异步的，影响主要是在资源上，比如GC暂停、IO等待这些。
> >
> >
> >
> >
> > ------------------ 原始邮件 ------------------
> > 发件人:
> >
> > "user-zh@hbase.apache.orgww112925@sina.com"
> > <ww112925@sina.com
> > >;
> > 发送时间: 2020年7月21日(星期二) 中午1:37
> > 收件人: "user-zh"<user-zh@hbase.apache.org>;
> >
> > 主题: 回复：Re: 开启replication后，hbase读写性能下降问题
> >
> >
> >
> > 写入每秒3万，只有一个peer。 看了下磁盘的写入每秒在4-5M，读取在1M，这个写入量对ssd应该没什么压力吧。
> > 我理解replication的过程应该是异步的，为什么会对读取和写入造成那么大的影响。
> > 该怎么看瓶颈在哪？
> >
> > ----- 原始邮件 -----
> > 发件人：张铎(Duo Zhang) <palomino219@gmail.com>
> > 收件人：user-zh <user-zh@hbase.apache.org>
> > 主题：Re: 开启replication后，hbase读写性能下降问题
> > 日期：2020年07月21日 12点19分
> >
> > 写入的很猛吗？需要看看瓶颈在哪，我们之前遇到过peer很多的情况下，replication对HDFS的压力很大，因为每个peer都要读一遍WAL。
> > 你这个是SSD的话，看起来是replication本身对region server的压力很大？
> > zheng wang <18031031@qq.com> 于2020年7月21日周二 下午12:05写道：
> > > 可以考虑对replication限速。
> > >
> > >
> > >
> > >
> > > ------------------ 原始邮件 ------------------
> > > 发件人:
> > >
> > > "user-zh@hbase.apache.orgww112925@sina.com"
> >
> >
> > <ww112925@sina.com
> > > &gt;;
> > > 发送时间: 2020年7月21日(星期二) 中午11:51
> > > 收件人: "user-zh"<user-zh@hbase.apache.org&gt;;
> > >
> > > 主题: 开启replication后，hbase读写性能下降问题
> > >
> > >
> > >
> > >
> > > 在开启hbase的replication后，集群的slowGetCount和slowPutCount都会大幅增长。请问这种情况怎么解决。
> > > 开启复制之后，日志里边还有大量的slow sync日志。日志如下：
> > > 2020-07-21 11:08:11,314 INFO
> > > org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL: Slow sync
> > cost: 635
> > > ms, current pipeline:
> > >
> >
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> > >
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> > >
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]2020-07-21
> > > 11:08:11,315 INFO
> > org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL:
> > > Slow sync cost: 564 ms, current pipeline:
> > >
> >
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> > >
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> > >
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]2020-07-21
> > > 11:08:11,315 INFO
> > org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL:
> > > Slow sync cost: 535 ms, current pipeline:
> > >
> >
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> > >
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> > >
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]
>
Re: Re: 开启replication后，hbase读写性能下降问题
Posted by Guanghao Zhang <zg...@gmail.com>.
是A集群replication到B集群, A集群自身被Replication影响?
zheng wang <18...@qq.com> 于2020年7月21日周二 下午1:46写道：
> replication确实是异步的，影响主要是在资源上，比如GC暂停、IO等待这些。
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
>
> "user-zh@hbase.apache.orgww112925@sina.com"
> <ww112925@sina.com
> >;
> 发送时间: 2020年7月21日(星期二) 中午1:37
> 收件人: "user-zh"<user-zh@hbase.apache.org>;
>
> 主题: 回复：Re: 开启replication后，hbase读写性能下降问题
>
>
>
> 写入每秒3万，只有一个peer。 看了下磁盘的写入每秒在4-5M，读取在1M，这个写入量对ssd应该没什么压力吧。
> 我理解replication的过程应该是异步的，为什么会对读取和写入造成那么大的影响。
> 该怎么看瓶颈在哪？
>
> ----- 原始邮件 -----
> 发件人：张铎(Duo Zhang) <palomino219@gmail.com>
> 收件人：user-zh <user-zh@hbase.apache.org>
> 主题：Re: 开启replication后，hbase读写性能下降问题
> 日期：2020年07月21日 12点19分
>
> 写入的很猛吗？需要看看瓶颈在哪，我们之前遇到过peer很多的情况下，replication对HDFS的压力很大，因为每个peer都要读一遍WAL。
> 你这个是SSD的话，看起来是replication本身对region server的压力很大？
> zheng wang <18031031@qq.com> 于2020年7月21日周二 下午12:05写道：
> > 可以考虑对replication限速。
> >
> >
> >
> >
> > ------------------ 原始邮件 ------------------
> > 发件人:
> >
> > "user-zh@hbase.apache.orgww112925@sina.com"
> >
> <ww112925@sina.com
> > &gt;;
> > 发送时间: 2020年7月21日(星期二) 中午11:51
> > 收件人: "user-zh"<user-zh@hbase.apache.org&gt;;
> >
> > 主题: 开启replication后，hbase读写性能下降问题
> >
> >
> >
> >
> > 在开启hbase的replication后，集群的slowGetCount和slowPutCount都会大幅增长。请问这种情况怎么解决。
> > 开启复制之后，日志里边还有大量的slow sync日志。日志如下：
> > 2020-07-21 11:08:11,314 INFO
> > org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL: Slow sync
> cost: 635
> > ms, current pipeline:
> >
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]2020-07-21
> > 11:08:11,315 INFO
> org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL:
> > Slow sync cost: 564 ms, current pipeline:
> >
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]2020-07-21
> > 11:08:11,315 INFO
> org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL:
> > Slow sync cost: 535 ms, current pipeline:
> >
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> >
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]
回复：Re: 开启replication后，hbase读写性能下降问题
Posted by zheng wang <18...@qq.com>.
replication确实是异步的，影响主要是在资源上，比如GC暂停、IO等待这些。
------------------ 原始邮件 ------------------
发件人: "user-zh@hbase.apache.orgww112925@sina.com" <ww112925@sina.com>;
发送时间: 2020年7月21日(星期二) 中午1:37
收件人: "user-zh"<user-zh@hbase.apache.org>;
主题: 回复：Re: 开启replication后，hbase读写性能下降问题
写入每秒3万，只有一个peer。 看了下磁盘的写入每秒在4-5M，读取在1M，这个写入量对ssd应该没什么压力吧。
我理解replication的过程应该是异步的，为什么会对读取和写入造成那么大的影响。
该怎么看瓶颈在哪？
----- 原始邮件 -----
发件人：张铎(Duo Zhang) <palomino219@gmail.com>
收件人：user-zh <user-zh@hbase.apache.org>
主题：Re: 开启replication后，hbase读写性能下降问题
日期：2020年07月21日 12点19分
写入的很猛吗？需要看看瓶颈在哪，我们之前遇到过peer很多的情况下，replication对HDFS的压力很大，因为每个peer都要读一遍WAL。
你这个是SSD的话，看起来是replication本身对region server的压力很大？
zheng wang <18031031@qq.com> 于2020年7月21日周二 下午12:05写道：
> 可以考虑对replication限速。
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
>
> "user-zh@hbase.apache.orgww112925@sina.com"
> <ww112925@sina.com
> &gt;;
> 发送时间: 2020年7月21日(星期二) 中午11:51
> 收件人: "user-zh"<user-zh@hbase.apache.org&gt;;
>
> 主题: 开启replication后，hbase读写性能下降问题
>
>
>
>
> 在开启hbase的replication后，集群的slowGetCount和slowPutCount都会大幅增长。请问这种情况怎么解决。
> 开启复制之后，日志里边还有大量的slow sync日志。日志如下：
> 2020-07-21 11:08:11,314 INFO
> org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL: Slow sync cost: 635
> ms, current pipeline:
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]2020-07-21
> 11:08:11,315 INFO org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL:
> Slow sync cost: 564 ms, current pipeline:
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]2020-07-21
> 11:08:11,315 INFO org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL:
> Slow sync cost: 535 ms, current pipeline:
> [DatanodeInfoWithStorage[xxxxx:9866,DS-6522f59f-3ca9-46a9-b25a-5d86cdbb656e,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-8768f8b8-732f-4238-b51d-90ba83343353,SSD],
> DatanodeInfoWithStorage[xxxxx:9866,DS-a5792087-6c58-4600-a239-9a1f61f1c6c0,SSD]]