You are viewing a plain text version of this content. The canonical link for it is here.
Posted to users-cn@cloudstack.apache.org by evanitsharp <ev...@gmail.com> on 2014/07/09 09:58:34 UTC
CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
PS：从网络和存储两个方面考虑
麻烦各位给个解决办法，谢谢
张雷(Evan)
中航信华东数据中心有限责任公司
Mail:evanitsharp@gmail.com
Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by ping <ww...@live.cn>.
阁下如果从下载速度来判定磁盘问题，有所不妥，用dd if=/dev/zero
of=/root/test bs=1M count=1000看磁盘速度更合适一些，下载速度这个样子应该
先考虑是不是网络问题而不是磁盘问题，看看是不是mtu太小，先在vm内执
行：ping 223.6.6.6 -s 2000 与 ping 223.6.6.6 ,如果大小为2000字节的包全丢
了而默认大小(84)的包都得到回应，则肯定是mtu问题，相关交换机mtu 改成 1548
（可以比1548小点但是最好大于1522, 没去确认）试下.
于 07/09/2014 03:58 PM, evanitsharp 写道:
> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>
> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>
> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>
> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>
>
> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> PS：从网络和存储两个方面考虑
>
> 麻烦各位给个解决办法，谢谢
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
Re: Re: cloudstack4.3里用到RabbitMQ 了吗
Posted by "hengleizhang@gmail.com" <he...@gmail.com>.
ok .谢谢 看到了。也一并提供给大家。http://cloudstack.apache.org/docs/en-US/Apache_CloudStack/4.1.1/html/Admin_Guide/events.html http://ipv6.google.com.hk/url?sa=t&rct=j&q=AMQP%20cloudstack&source=web&cd=3&cad=rja&uact=8&ved=0CCwQFjAC&url=%68%74%74%70%3a%2f%2f%63%6c%6f%75%64%73%74%61%63%6b%2d%61%64%6d%69%6e%69%73%74%72%61%74%69%6f%6e%2e%72%65%61%64%74%68%65%64%6f%63%73%2e%6f%72%67%2f%65%6e%2f%6c%61%74%65%73%74%2f%65%76%65%6e%74%73%2e%68%74%6d%6c&ei=qNHFU42cJYv48QXD0YGgCg&usg=AFQjCNEHi_pefjJhU4hbrS3pP0quTEeiyA&bvm=bv.71126742,d.dGc
hengleizhang@gmail.com
发件人： Wei ZHOU发送时间： 2014-07-15 18:27收件人： users-cn主题： Re: cloudstack4.3里用到RabbitMQ 了吗相关代码在plugins/event-bus/rabbitmq/目录
在 2014年7月15日 下午12:27，Wei ZHOU <us...@gmail.com>写道：
> 要配置的，看官方文档admin guide
>
>
> 在 2014年7月15日 上午10:47，hengleizhang@gmail.com <he...@gmail.com>写道：
>
>
>>
>>
>>
>>
>>
>> Hello all，
>> 我看到4.3源码里有RabbitMQEventBus这个类不知道cloudstack4.3里用到RabbitMQ 了吗？
>> 看着代码里有 怎么也没有看到安装 RabbitMQ服务器呢？
>>
>> hengleizhang@gmail.com
>>
>>
>
Re: cloudstack4.3里用到RabbitMQ 了吗
Posted by Wei ZHOU <us...@gmail.com>.
相关代码在plugins/event-bus/rabbitmq/目录
在 2014年7月15日 下午12:27，Wei ZHOU <us...@gmail.com>写道：
> 要配置的，看官方文档admin guide
>
>
> 在 2014年7月15日 上午10:47，hengleizhang@gmail.com <he...@gmail.com>写道：
>
>
>>
>>
>>
>>
>>
>> Hello all，
>> 我看到4.3源码里有RabbitMQEventBus这个类不知道cloudstack4.3里用到RabbitMQ 了吗？
>> 看着代码里有 怎么也没有看到安装 RabbitMQ服务器呢？
>>
>> hengleizhang@gmail.com
>>
>>
>
Re: cloudstack4.3里用到RabbitMQ 了吗
Posted by Wei ZHOU <us...@gmail.com>.
要配置的，看官方文档admin guide
在 2014年7月15日 上午10:47，hengleizhang@gmail.com <he...@gmail.com>写道：
>
>
>
>
>
>
> Hello all，
> 我看到4.3源码里有RabbitMQEventBus这个类不知道cloudstack4.3里用到RabbitMQ 了吗？
> 看着代码里有 怎么也没有看到安装 RabbitMQ服务器呢？
>
> hengleizhang@gmail.com
>
>
cloudstack4.3里用到RabbitMQ 了吗
Posted by "hengleizhang@gmail.com" <he...@gmail.com>.
Hello all，
我看到4.3源码里有RabbitMQEventBus这个类不知道cloudstack4.3里用到RabbitMQ 了吗？
看着代码里有 怎么也没有看到安装 RabbitMQ服务器呢？
hengleizhang@gmail.com
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by Wei ZHOU <us...@gmail.com>.
virtual router的默认限速是200Mbps（也就是25MBps）
在 2014年7月10日 下午1:13，evanitsharp <ev...@gmail.com>写道：
> 之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
>
> 1.KVM虚拟机下用dd命令测试磁盘读写性能:
> 144MB/S
>
> 2.KVM物理主机用dd命令测试磁盘读写性能:
> 185MB/S
>
> 3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
> [root@evan2 ~]# iostat
> avg-cpu: %user %nice %system %iowait %steal %idle
> 0.03 0.00 0.07 0.02 0.01 99.88
> Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> vda 0.62 9.09 203.93 95612 2146106
> dm-0 25.73 8.21 203.93 86434 2146088
> dm-1 0.03 0.23 0.00 2376 0
>
> [root@evan2 ~]# iostat -d -k 1 1
> Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> xvda 0.68 4.41 118.54 47806 1286357
> dm-0 29.86 3.98 118.54 43217 1286348
> dm-1 0.03 0.11 0.00 1188 0
>
> 4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
> [root@cs ~]# iostat
> avg-cpu: %user %nice %system %iowait %steal %idle
> 0.50 0.00 0.47 0.01 0.00 99.02
>
> Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> sda 5.63 89.66 251.37 1411452 3957284
> dm-0 9.54 87.72 251.34 1380936 3956682
> dm-1 0.02 0.16 0.00 2576 0
> dm-2 0.04 0.27 0.04 4322 560
>
> [root@cs ~]# iostat -d -k 1 1
> Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> sda 7.94 44.71 396.31 706026 6258666
> dm-0 76.84 43.74 396.29 690768 6258365
> dm-1 0.02 0.08 0.00 1288 0
> dm-2 0.04 0.14 0.02 2161 280
>
> 通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual
> Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
>
> 我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
>
> 发件人： Wei ZHOU
> 发送时间： 2014-07-09 16:12
> 收件人： users-cn
> 主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> 用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
>
>
> 在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
>
> > CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
> >
> > 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
> >
> > 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
> >
> > 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
> >
> >
> > 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> > PS：从网络和存储两个方面考虑
> >
> > 麻烦各位给个解决办法，谢谢
> >
> >
> >
> >
> > 张雷(Evan)
> >
> > 中航信华东数据中心有限责任公司
> >
> > Mail:evanitsharp@gmail.com
>
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by evanitsharp <ev...@gmail.com>.
1.通过HTTP下载文件到KVM主机的情况
[root@cs tmp]# wget http://192.168.10.39/centos.iso
--2014-07-10 14:33:48-- http://192.168.10.39/centos.iso
Connecting to 192.168.10.39:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 4353378304 (4.1G) [application/octet-stream]
100%[=======================================================>] 4,353,378,304 101M/s in 47s
2014-07-10 14:34:35 (89.2 MB/s) - 鈥渃entos.iso鈥saved [4353378304/4353378304]
2.Web服务器搭建在KVM主机上时，从改服务器下载文件到开发机
2.通过HTTP下载文件到VM(KVM)的情况
因为很慢，具体数据略，平均速度为700K/S
如图：
因为公司暂没有可用的FTP服务器，所以FTP下载速度没有测试，
张雷(Evan)
中航信华东数据中心有限责任公司
Mail:evanitsharp@gmail.com
发件人： 贝为标
发送时间： 2014-07-10 14:11
收件人： users-cn
主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
evanitsharp,您好！
dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？
======= 2014-07-10 13:51:30 您在来信中写道：=======
>你好，按照你的意思，我测试的数据如下：
>
>KVM主机上：
>[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>1000+0 records in
>1000+0 records out
>1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
>
>虚拟机（KVM）上：
>[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>1000+0 records in
>1000+0 records out
>1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
>
>
>
>
>张雷(Evan)
>
>中航信华东数据中心有限责任公司
>
>Mail:evanitsharp@gmail.com
>
>发件人： 贝为标
>发送时间： 2014-07-10 13:22
>收件人： users-cn
>主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>evanitsharp,您好！
>
>你的dd命令可能不正确，应该这样测试：
>
># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>
>
>
>======= 2014-07-10 13:14:28 您在来信中写道：=======
>
>>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
>>
>>1.KVM虚拟机下用dd命令测试磁盘读写性能:
>>144MB/S
>>
>>2.KVM物理主机用dd命令测试磁盘读写性能:
>>185MB/S
>>
>>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
>>[root@evan2 ~]# iostat
>>avg-cpu: %user %nice %system %iowait %steal %idle
>> 0.03 0.00 0.07 0.02 0.01 99.88
>>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>>vda 0.62 9.09 203.93 95612 2146106
>>dm-0 25.73 8.21 203.93 86434 2146088
>>dm-1 0.03 0.23 0.00 2376 0
>>
>>[root@evan2 ~]# iostat -d -k 1 1
>>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>>xvda 0.68 4.41 118.54 47806 1286357
>>dm-0 29.86 3.98 118.54 43217 1286348
>>dm-1 0.03 0.11 0.00 1188 0
>>
>>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
>>[root@cs ~]# iostat
>>avg-cpu: %user %nice %system %iowait %steal %idle
>> 0.50 0.00 0.47 0.01 0.00 99.02
>>
>>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>>sda 5.63 89.66 251.37 1411452 3957284
>>dm-0 9.54 87.72 251.34 1380936 3956682
>>dm-1 0.02 0.16 0.00 2576 0
>>dm-2 0.04 0.27 0.04 4322 560
>>
>>[root@cs ~]# iostat -d -k 1 1
>>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>>sda 7.94 44.71 396.31 706026 6258666
>>dm-0 76.84 43.74 396.29 690768 6258365
>>dm-1 0.02 0.08 0.00 1288 0
>>dm-2 0.04 0.14 0.02 2161 280
>>
>>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
>>
>>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
>>
>>
>>
>>
>>张雷(Evan)
>>
>>中航信华东数据中心有限责任公司
>>
>>Mail:evanitsharp@gmail.com
>>
>>发件人： Wei ZHOU
>>发送时间： 2014-07-09 16:12
>>收件人： users-cn
>>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
>>
>>
>>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
>>
>>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>>>
>>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>>>
>>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>>>
>>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>>>
>>>
>>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
>>> PS：从网络和存储两个方面考虑
>>>
>>> 麻烦各位给个解决办法，谢谢
>>>
>>>
>>>
>>>
>>> 张雷(Evan)
>>>
>>> 中航信华东数据中心有限责任公司
>>>
>>> Mail:evanitsharp@gmail.com
>
>= = = = = = = = = = = = = = = = = = = =
>
> 致
>礼！
> 贝为标
> beiweibiao@163.com
> 2014-07-10
= = = = = = = = = = = = = = = = = = = =
致
礼！
贝为标
beiweibiao@163.com
2014-07-10
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by Wei ZHOU <us...@gmail.com>.
哦，对，即使是basic或者advanced-sg，vm.network.throttling.rate也会影响vm
在 2014年7月11日 上午8:48，Wei ZHOU <us...@gmail.com>写道：
> 你用的是advanced zone? 还是basic或者advanced zone with security group?
> 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。
> 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。
>
> 另外，看看virtual router和vm的配置（virsh
> dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。
> global
> setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start
> virtualrouter和vm.
>
>
> 在 2014年7月11日 上午8:17，evanitsharp <ev...@gmail.com>写道：
>
> 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。
>>
>> 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。
>> 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？
>>
>> 我感觉这不是我们环境的问题，是CS自身的问题。
>>
>>
>>
>> 1.从FTP服务器上下载文件到被测试的KVM主机：
>> 平均速度63M/S
>>
>> ftp> get centos.iso
>> local: centos.iso remote: centos.iso
>> 227 Entering Passive Mode (192,168,10,48,144,252).
>> 150 Opening BINARY mode data connection for centos.iso (4353378304
>> bytes).
>> 226 Transfer complete.
>> 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec)
>>
>> 2. 从FTP服务器上下载文件到被测试的VM(KVM)：
>> 平均速度14.0M/S
>>
>> ftp> get test.iso
>> local: test.iso remote: testiso
>> 227 Entering Passive Mode (192,168,10,48,144,252).
>> 150 Opening BINARY mode data connection for test.iso (140616708 bytes).
>> 226 Transfer complete.
>> 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec)
>>
>>
>> 3.从被测试虚机Web服务器上下载文件到本地
>> 速度：1.0M/S
>>
>> [root@committer39 tmp]# wget
>> http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
>> --2014-07-11 <http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2--2014-07-11>
>> 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
>> Connecting to 192.168.10.73:80... connected.
>> HTTP request sent, awaiting response... 200 OK
>> Length: 117659860 (112M) [application/x-bzip2]
>> Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥
>>
>> 100%[==================================================================================================>]
>> 117,659,860 1015K/s in 1m 47s
>>
>> 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved
>> [117659860/117659860]
>>
>> 4.从被测试KVM主机的Web服务器上下载文件到本地
>> 测试速度：83M/S
>>
>> [root@committer39 tmp]# wget
>> http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
>> --2014-07-11
>> <http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso--2014-07-11>
>> 13:28:29-- http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
>> Connecting to 192.168.10.7:80... connected.
>> HTTP request sent, awaiting response... 200 OK
>> Length: 3679453184 (3.4G) [application/octet-stream]
>> Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥
>>
>> 100%[================================================================================================>]
>> 3,679,453,184 79.8M/s in 42s
>>
>> 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved
>> [3679453184/3679453184]
>>
>>
>>
>>
>> 张雷(Evan)
>>
>> 中航信华东数据中心有限责任公司
>>
>> Mail:evanitsharp@gmail.com
>>
>> 发件人： 贝为标
>> 发送时间： 2014-07-10 14:11
>> 收件人： users-cn
>> 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>> evanitsharp,您好！
>>
>> dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？
>>
>> ======= 2014-07-10 13:51:30 您在来信中写道：=======
>>
>> >你好，按照你的意思，我测试的数据如下：
>> >
>> >KVM主机上：
>> >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>> >1000+0 records in
>> >1000+0 records out
>> >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
>> >
>> >虚拟机（KVM）上：
>> >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>> >1000+0 records in
>> >1000+0 records out
>> >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
>> >
>> >
>> >
>> >
>> >张雷(Evan)
>> >
>> >中航信华东数据中心有限责任公司
>> >
>> >Mail:evanitsharp@gmail.com
>> >
>> >发件人： 贝为标
>> >发送时间： 2014-07-10 13:22
>> >收件人： users-cn
>> >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>> >evanitsharp,您好！
>> >
>> >你的dd命令可能不正确，应该这样测试：
>> >
>> ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>> >
>> >
>> >
>> >======= 2014-07-10 13:14:28 您在来信中写道：=======
>> >
>> >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
>> >>
>> >>1.KVM虚拟机下用dd命令测试磁盘读写性能:
>> >>144MB/S
>> >>
>> >>2.KVM物理主机用dd命令测试磁盘读写性能:
>> >>185MB/S
>> >>
>> >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
>> >>[root@evan2 ~]# iostat
>> >>avg-cpu: %user %nice %system %iowait %steal %idle
>> >> 0.03 0.00 0.07 0.02 0.01 99.88
>> >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>> >>vda 0.62 9.09 203.93 95612 2146106
>> >>dm-0 25.73 8.21 203.93 86434 2146088
>> >>dm-1 0.03 0.23 0.00 2376 0
>> >>
>> >>[root@evan2 ~]# iostat -d -k 1 1
>> >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>> >>xvda 0.68 4.41 118.54 47806 1286357
>> >>dm-0 29.86 3.98 118.54 43217 1286348
>> >>dm-1 0.03 0.11 0.00 1188 0
>> >>
>> >>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
>> >>[root@cs ~]# iostat
>> >>avg-cpu: %user %nice %system %iowait %steal %idle
>> >> 0.50 0.00 0.47 0.01 0.00 99.02
>> >>
>> >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>> >>sda 5.63 89.66 251.37 1411452 3957284
>> >>dm-0 9.54 87.72 251.34 1380936 3956682
>> >>dm-1 0.02 0.16 0.00 2576 0
>> >>dm-2 0.04 0.27 0.04 4322 560
>> >>
>> >>[root@cs ~]# iostat -d -k 1 1
>> >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>> >>sda 7.94 44.71 396.31 706026 6258666
>> >>dm-0 76.84 43.74 396.29 690768 6258365
>> >>dm-1 0.02 0.08 0.00 1288 0
>> >>dm-2 0.04 0.14 0.02 2161 280
>> >>
>> >>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual
>> Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
>> >>
>> >>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
>> >>
>> >>
>> >>
>> >>
>> >>张雷(Evan)
>> >>
>> >>中航信华东数据中心有限责任公司
>> >>
>> >>Mail:evanitsharp@gmail.com
>> >>
>> >>发件人： Wei ZHOU
>> >>发送时间： 2014-07-09 16:12
>> >>收件人： users-cn
>> >>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>> >>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
>> >>
>> >>
>> >>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
>> >>
>> >>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>> >>>
>> >>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>> >>>
>> >>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>> >>>
>> >>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>> >>>
>> >>>
>> >>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
>> >>> PS：从网络和存储两个方面考虑
>> >>>
>> >>> 麻烦各位给个解决办法，谢谢
>> >>>
>> >>>
>> >>>
>> >>>
>> >>> 张雷(Evan)
>> >>>
>> >>> 中航信华东数据中心有限责任公司
>> >>>
>> >>> Mail:evanitsharp@gmail.com
>> >
>> >= = = = = = = = = = = = = = = = = = = =
>> >
>> > 致
>> >礼！
>> > 贝为标
>> > beiweibiao@163.com
>> > 2014-07-10
>>
>> = = = = = = = = = = = = = = = = = = = =
>>
>> 致
>> 礼！
>> 贝为标
>> beiweibiao@163.com
>> 2014-07-10
>>
>
>
RE: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by "YUAN, GUI -HBIS" <yu...@hbis.com.cn>.
不应该是限速的问题，现在的软件，哪儿还会默认设置成几K的速度？
还是GOOGLE一下，看是不是哪儿有BUG
-------对网络这儿也熟（以前没系统学过）-
说一下我们这儿用的情况，希望有帮助 ：
1. qemu-kvm版本：qemu-kvm-0.12.1.2-2.415.el6_5.10.x86_64
2. VM版本 Debian7
系统VM模板http://cloudstack.apt-get.eu/systemvm/systemvm64template-2014-01-14-master-kvm.qcow2.bz2
网络设置，eth0>DHCP
3.CloudStack版本
CloudStack4.3
4.Host的系统CentOS6.5
5.网络使用Basic默认设置
在VM实例运行Linux或Win7时，访问外网（通过代理）和公司内网，皆正常达到非VM主机访问相同资源的速度。
-----
从GOOGLE到的结果都与BUG有关。
如果GOOGLE在大陆访问不了，那可以试试别的英文搜索引擎
附：
http://www.pubyun.com/blog/openstack/%E9%87%8D%E8%B4%9F%E8%BD%BD%E4%B8%8B%EF%BC%8Ckvm-%E7%BD%91%E7%BB%9C%E4%B8%AD%E6%96%AD%E7%9A%84%E9%97%AE%E9%A2%98/
-----Original Message-----
From: Wei ZHOU [mailto:ustcweizhou@gmail.com]
Sent: Friday, July 11, 2014 4:28 PM
To: users-cn@cloudstack.apache.org
Subject: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
这么看可能是跟限速有关系。
200不够，你改大点，比如2000，20000都可以。然后重启vm和router
在 2014年7月11日 上午9:11，evanitsharp <ev...@gmail.com>写道：
> basic 和 advanced zone我们都测试过，I/O速度差不多，都很慢。
>
> virtual router和vm的bandwidth配置都是：
> <inbound average='25600' peak='25600'/>
> <outbound average='25600' peak='25600'/>
>
> global
> setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200
>
> 好像没有问题啊
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
>
> 发件人： Wei ZHOU
> 发送时间： 2014-07-11 14:48
> 收件人： users-cn
> 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> 你用的是advanced zone? 还是basic或者advanced zone with security group?
> 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。
> 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。
>
> 另外，看看virtual router和vm的配置（virsh
> dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。
> global
>
> setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200M
> bps（25MBps）。建议修改，然后stop/start
> virtualrouter和vm.
>
>
> 在 2014年7月11日 上午8:17，evanitsharp <ev...@gmail.com>写道：
>
> > 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。
> >
> > 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。
> > 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？
> >
> > 我感觉这不是我们环境的问题，是CS自身的问题。
> >
> >
> >
> > 1.从FTP服务器上下载文件到被测试的KVM主机：
> > 平均速度63M/S
> >
> > ftp> get centos.iso
> > local: centos.iso remote: centos.iso
> > 227 Entering Passive Mode (192,168,10,48,144,252).
> > 150 Opening BINARY mode data connection for centos.iso (4353378304
> bytes).
> > 226 Transfer complete.
> > 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec)
> >
> > 2. 从FTP服务器上下载文件到被测试的VM(KVM)：
> > 平均速度14.0M/S
> >
> > ftp> get test.iso
> > local: test.iso remote: testiso
> > 227 Entering Passive Mode (192,168,10,48,144,252).
> > 150 Opening BINARY mode data connection for test.iso (140616708 bytes).
> > 226 Transfer complete.
> > 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec)
> >
> >
> > 3.从被测试虚机Web服务器上下载文件到本地
> > 速度：1.0M/S
> >
> > [root@committer39 tmp]# wget
> > http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
> > --2014-07-11 14:09:59--
> > http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
> > Connecting to 192.168.10.73:80... connected.
> > HTTP request sent, awaiting response... 200 OK
> > Length: 117659860 (112M) [application/x-bzip2] Saving to:
> > 鈥渢cd2.1-2014.06.25.tar.bz2鈥
> >
> >
> 100%[=================================================================
> =================================>]
> > 117,659,860 1015K/s in 1m 47s
> >
> > 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved
> > [117659860/117659860]
> >
> > 4.从被测试KVM主机的Web服务器上下载文件到本地
> > 测试速度：83M/S
> >
> > [root@committer39 tmp]# wget
> > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
> > --2014-07-11 13:28:29--
> > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
> > Connecting to 192.168.10.7:80... connected.
> > HTTP request sent, awaiting response... 200 OK
> > Length: 3679453184 (3.4G) [application/octet-stream] Saving to:
> > 鈥渞hel-server-6.3-x86_64-dvd.iso鈥
> >
> >
> 100%[=================================================================
> ===============================>]
> > 3,679,453,184 79.8M/s in 42s
> >
> > 2014-07-11 13:29:11 (83.0 MB/s) -
> > 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved
> > [3679453184/3679453184]
> >
> >
> >
> >
> > 张雷(Evan)
> >
> > 中航信华东数据中心有限责任公司
> >
> > Mail:evanitsharp@gmail.com
> >
> > 发件人： 贝为标
> > 发送时间： 2014-07-10 14:11
> > 收件人： users-cn
> > 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> > evanitsharp,您好！
> >
> > dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？
> >
> > ======= 2014-07-10 13:51:30 您在来信中写道：=======
> >
> > >你好，按照你的意思，我测试的数据如下：
> > >
> > >KVM主机上：
> > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> > >1000+0 records in
> > >1000+0 records out
> > >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
> > >
> > >虚拟机（KVM）上：
> > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> > >1000+0 records in
> > >1000+0 records out
> > >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
> > >
> > >
> > >
> > >
> > >张雷(Evan)
> > >
> > >中航信华东数据中心有限责任公司
> > >
> > >Mail:evanitsharp@gmail.com
> > >
> > >发件人： 贝为标
> > >发送时间： 2014-07-10 13:22
> > >收件人： users-cn
> > >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> > >evanitsharp,您好！
> > >
> > >你的dd命令可能不正确，应该这样测试：
> > >
> > ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> > >
> > >
> > >
> > >======= 2014-07-10 13:14:28 您在来信中写道：=======
> > >
> > >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
> > >>
> > >>1.KVM虚拟机下用dd命令测试磁盘读写性能:
> > >>144MB/S
> > >>
> > >>2.KVM物理主机用dd命令测试磁盘读写性能:
> > >>185MB/S
> > >>
> > >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
> > >>[root@evan2 ~]# iostat
> > >>avg-cpu: %user %nice %system %iowait %steal %idle
> > >> 0.03 0.00 0.07 0.02 0.01 99.88
> > >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> > >>vda 0.62 9.09 203.93 95612 2146106
> > >>dm-0 25.73 8.21 203.93 86434 2146088
> > >>dm-1 0.03 0.23 0.00 2376 0
> > >>
> > >>[root@evan2 ~]# iostat -d -k 1 1
> > >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> > >>xvda 0.68 4.41 118.54 47806 1286357
> > >>dm-0 29.86 3.98 118.54 43217 1286348
> > >>dm-1 0.03 0.11 0.00 1188 0
> > >>
> > >>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
> > >>[root@cs ~]# iostat
> > >>avg-cpu: %user %nice %system %iowait %steal %idle
> > >> 0.50 0.00 0.47 0.01 0.00 99.02
> > >>
> > >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> > >>sda 5.63 89.66 251.37 1411452 3957284
> > >>dm-0 9.54 87.72 251.34 1380936 3956682
> > >>dm-1 0.02 0.16 0.00 2576 0
> > >>dm-2 0.04 0.27 0.04 4322 560
> > >>
> > >>[root@cs ~]# iostat -d -k 1 1
> > >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> > >>sda 7.94 44.71 396.31 706026 6258666
> > >>dm-0 76.84 43.74 396.29 690768 6258365
> > >>dm-1 0.02 0.08 0.00 1288 0
> > >>dm-2 0.04 0.14 0.02 2161 280
> > >>
> > >>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual
> > Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
> > >>
> > >>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
> > >>
> > >>
> > >>
> > >>
> > >>张雷(Evan)
> > >>
> > >>中航信华东数据中心有限责任公司
> > >>
> > >>Mail:evanitsharp@gmail.com
> > >>
> > >>发件人： Wei ZHOU
> > >>发送时间： 2014-07-09 16:12
> > >>收件人： users-cn
> > >>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> > >>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
> > >>
> > >>
> > >>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
> > >>
> > >>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
> > >>>
> > >>> 1.
> > >>> 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M
> > >>> /S
> > >>>
> > >>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
> > >>>
> > >>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
> > >>>
> > >>>
> > >>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> > >>> PS：从网络和存储两个方面考虑
> > >>>
> > >>> 麻烦各位给个解决办法，谢谢
> > >>>
> > >>>
> > >>>
> > >>>
> > >>> 张雷(Evan)
> > >>>
> > >>> 中航信华东数据中心有限责任公司
> > >>>
> > >>> Mail:evanitsharp@gmail.com
> > >
> > >= = = = = = = = = = = = = = = = = = = =
> > >
> > > 致
> > >礼！
> > > 贝为标
> > > beiweibiao@163.com
> > > 2014-07-10
> >
> > = = = = = = = = = = = = = = = = = = = =
> >
> > 致
> > 礼！
> > 贝为标
> > beiweibiao@163.com
> > 2014-07-10
> >
>
Disclaimer:
The contents of this e-mail, and its attachments, if any, are confidential and may be protected
by law against any unauthorized use. If you have received this e-mail by mistake or have
reason to believe that you are not the intended recipient, please notify the sender by reply
e-mail as soon as possible and delete it from your computer system immediately thereafter.
If you are not the intended recipient, you must not copy this e-mail or attachment or disclose
the contents to any other person. While we have made every effort to keep our network virus free,
we take no responsibility for any computer virus which might be transferred by way of this e-mail
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by evanitsharp <ev...@gmail.com>.
谢谢各位的耐心解答。我猜测这和KVM底层操作系统版本以及CS版本有关。
张雷(Evan)
中航信华东数据中心有限责任公司
Mail:evanitsharp@gmail.com
发件人： Wei ZHOU
发送时间： 2014-07-11 17:16
收件人： users-cn
主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
这么说就不是virtual router的问题了。
vm的配置文件是用的virtio网卡么？还是e1000？
vm里面ethtool显示的speed是千兆的么
在 2014年7月11日 上午10:28，evanitsharp <ev...@gmail.com>写道：
> 你说改成20000我试过了，还是老样子。
> 200其实够了，同样的配置，在XenServer和VMware平台下，速度就很快
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
>
>
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by Wei ZHOU <us...@gmail.com>.
这么说就不是virtual router的问题了。
vm的配置文件是用的virtio网卡么？还是e1000？
vm里面ethtool显示的speed是千兆的么
在 2014年7月11日 上午10:28，evanitsharp <ev...@gmail.com>写道：
> 你说改成20000我试过了，还是老样子。
> 200其实够了，同样的配置，在XenServer和VMware平台下，速度就很快
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
>
>
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by evanitsharp <ev...@gmail.com>.
你说改成20000我试过了，还是老样子。
200其实够了，同样的配置，在XenServer和VMware平台下，速度就很快
张雷(Evan)
中航信华东数据中心有限责任公司
Mail:evanitsharp@gmail.com
发件人： Wei ZHOU
发送时间： 2014-07-11 15:28
收件人： users-cn
主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
这么看可能是跟限速有关系。
200不够，你改大点，比如2000，20000都可以。然后重启vm和router
在 2014年7月11日 上午9:11，evanitsharp <ev...@gmail.com>写道：
> basic 和 advanced zone我们都测试过，I/O速度差不多，都很慢。
>
> virtual router和vm的bandwidth配置都是：
> <inbound average='25600' peak='25600'/>
> <outbound average='25600' peak='25600'/>
>
> global
> setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200
>
> 好像没有问题啊
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
>
> 发件人： Wei ZHOU
> 发送时间： 2014-07-11 14:48
> 收件人： users-cn
> 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> 你用的是advanced zone? 还是basic或者advanced zone with security group?
> 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。
> 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。
>
> 另外，看看virtual router和vm的配置（virsh
> dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。
> global
>
> setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start
> virtualrouter和vm.
>
>
> 在 2014年7月11日 上午8:17，evanitsharp <ev...@gmail.com>写道：
>
> > 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。
> >
> > 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。
> > 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？
> >
> > 我感觉这不是我们环境的问题，是CS自身的问题。
> >
> >
> >
> > 1.从FTP服务器上下载文件到被测试的KVM主机：
> > 平均速度63M/S
> >
> > ftp> get centos.iso
> > local: centos.iso remote: centos.iso
> > 227 Entering Passive Mode (192,168,10,48,144,252).
> > 150 Opening BINARY mode data connection for centos.iso (4353378304
> bytes).
> > 226 Transfer complete.
> > 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec)
> >
> > 2. 从FTP服务器上下载文件到被测试的VM(KVM)：
> > 平均速度14.0M/S
> >
> > ftp> get test.iso
> > local: test.iso remote: testiso
> > 227 Entering Passive Mode (192,168,10,48,144,252).
> > 150 Opening BINARY mode data connection for test.iso (140616708 bytes).
> > 226 Transfer complete.
> > 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec)
> >
> >
> > 3.从被测试虚机Web服务器上下载文件到本地
> > 速度：1.0M/S
> >
> > [root@committer39 tmp]# wget
> > http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
> > --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
> > Connecting to 192.168.10.73:80... connected.
> > HTTP request sent, awaiting response... 200 OK
> > Length: 117659860 (112M) [application/x-bzip2]
> > Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥
> >
> >
> 100%[==================================================================================================>]
> > 117,659,860 1015K/s in 1m 47s
> >
> > 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved
> > [117659860/117659860]
> >
> > 4.从被测试KVM主机的Web服务器上下载文件到本地
> > 测试速度：83M/S
> >
> > [root@committer39 tmp]# wget
> > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
> > --2014-07-11 13:28:29--
> > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
> > Connecting to 192.168.10.7:80... connected.
> > HTTP request sent, awaiting response... 200 OK
> > Length: 3679453184 (3.4G) [application/octet-stream]
> > Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥
> >
> >
> 100%[================================================================================================>]
> > 3,679,453,184 79.8M/s in 42s
> >
> > 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved
> > [3679453184/3679453184]
> >
> >
> >
> >
> > 张雷(Evan)
> >
> > 中航信华东数据中心有限责任公司
> >
> > Mail:evanitsharp@gmail.com
> >
> > 发件人： 贝为标
> > 发送时间： 2014-07-10 14:11
> > 收件人： users-cn
> > 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> > evanitsharp,您好！
> >
> > dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？
> >
> > ======= 2014-07-10 13:51:30 您在来信中写道：=======
> >
> > >你好，按照你的意思，我测试的数据如下：
> > >
> > >KVM主机上：
> > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> > >1000+0 records in
> > >1000+0 records out
> > >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
> > >
> > >虚拟机（KVM）上：
> > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> > >1000+0 records in
> > >1000+0 records out
> > >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
> > >
> > >
> > >
> > >
> > >张雷(Evan)
> > >
> > >中航信华东数据中心有限责任公司
> > >
> > >Mail:evanitsharp@gmail.com
> > >
> > >发件人： 贝为标
> > >发送时间： 2014-07-10 13:22
> > >收件人： users-cn
> > >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> > >evanitsharp,您好！
> > >
> > >你的dd命令可能不正确，应该这样测试：
> > >
> > ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> > >
> > >
> > >
> > >======= 2014-07-10 13:14:28 您在来信中写道：=======
> > >
> > >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
> > >>
> > >>1.KVM虚拟机下用dd命令测试磁盘读写性能:
> > >>144MB/S
> > >>
> > >>2.KVM物理主机用dd命令测试磁盘读写性能:
> > >>185MB/S
> > >>
> > >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
> > >>[root@evan2 ~]# iostat
> > >>avg-cpu: %user %nice %system %iowait %steal %idle
> > >> 0.03 0.00 0.07 0.02 0.01 99.88
> > >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> > >>vda 0.62 9.09 203.93 95612 2146106
> > >>dm-0 25.73 8.21 203.93 86434 2146088
> > >>dm-1 0.03 0.23 0.00 2376 0
> > >>
> > >>[root@evan2 ~]# iostat -d -k 1 1
> > >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> > >>xvda 0.68 4.41 118.54 47806 1286357
> > >>dm-0 29.86 3.98 118.54 43217 1286348
> > >>dm-1 0.03 0.11 0.00 1188 0
> > >>
> > >>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
> > >>[root@cs ~]# iostat
> > >>avg-cpu: %user %nice %system %iowait %steal %idle
> > >> 0.50 0.00 0.47 0.01 0.00 99.02
> > >>
> > >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> > >>sda 5.63 89.66 251.37 1411452 3957284
> > >>dm-0 9.54 87.72 251.34 1380936 3956682
> > >>dm-1 0.02 0.16 0.00 2576 0
> > >>dm-2 0.04 0.27 0.04 4322 560
> > >>
> > >>[root@cs ~]# iostat -d -k 1 1
> > >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> > >>sda 7.94 44.71 396.31 706026 6258666
> > >>dm-0 76.84 43.74 396.29 690768 6258365
> > >>dm-1 0.02 0.08 0.00 1288 0
> > >>dm-2 0.04 0.14 0.02 2161 280
> > >>
> > >>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual
> > Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
> > >>
> > >>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
> > >>
> > >>
> > >>
> > >>
> > >>张雷(Evan)
> > >>
> > >>中航信华东数据中心有限责任公司
> > >>
> > >>Mail:evanitsharp@gmail.com
> > >>
> > >>发件人： Wei ZHOU
> > >>发送时间： 2014-07-09 16:12
> > >>收件人： users-cn
> > >>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> > >>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
> > >>
> > >>
> > >>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
> > >>
> > >>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
> > >>>
> > >>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
> > >>>
> > >>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
> > >>>
> > >>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
> > >>>
> > >>>
> > >>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> > >>> PS：从网络和存储两个方面考虑
> > >>>
> > >>> 麻烦各位给个解决办法，谢谢
> > >>>
> > >>>
> > >>>
> > >>>
> > >>> 张雷(Evan)
> > >>>
> > >>> 中航信华东数据中心有限责任公司
> > >>>
> > >>> Mail:evanitsharp@gmail.com
> > >
> > >= = = = = = = = = = = = = = = = = = = =
> > >
> > > 致
> > >礼！
> > > 贝为标
> > > beiweibiao@163.com
> > > 2014-07-10
> >
> > = = = = = = = = = = = = = = = = = = = =
> >
> > 致
> > 礼！
> > 贝为标
> > beiweibiao@163.com
> > 2014-07-10
> >
>
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by Wei ZHOU <us...@gmail.com>.
这么看可能是跟限速有关系。
200不够，你改大点，比如2000，20000都可以。然后重启vm和router
在 2014年7月11日 上午9:11，evanitsharp <ev...@gmail.com>写道：
> basic 和 advanced zone我们都测试过，I/O速度差不多，都很慢。
>
> virtual router和vm的bandwidth配置都是：
> <inbound average='25600' peak='25600'/>
> <outbound average='25600' peak='25600'/>
>
> global
> setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200
>
> 好像没有问题啊
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
>
> 发件人： Wei ZHOU
> 发送时间： 2014-07-11 14:48
> 收件人： users-cn
> 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> 你用的是advanced zone? 还是basic或者advanced zone with security group?
> 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。
> 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。
>
> 另外，看看virtual router和vm的配置（virsh
> dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。
> global
>
> setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start
> virtualrouter和vm.
>
>
> 在 2014年7月11日 上午8:17，evanitsharp <ev...@gmail.com>写道：
>
> > 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。
> >
> > 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。
> > 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？
> >
> > 我感觉这不是我们环境的问题，是CS自身的问题。
> >
> >
> >
> > 1.从FTP服务器上下载文件到被测试的KVM主机：
> > 平均速度63M/S
> >
> > ftp> get centos.iso
> > local: centos.iso remote: centos.iso
> > 227 Entering Passive Mode (192,168,10,48,144,252).
> > 150 Opening BINARY mode data connection for centos.iso (4353378304
> bytes).
> > 226 Transfer complete.
> > 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec)
> >
> > 2. 从FTP服务器上下载文件到被测试的VM(KVM)：
> > 平均速度14.0M/S
> >
> > ftp> get test.iso
> > local: test.iso remote: testiso
> > 227 Entering Passive Mode (192,168,10,48,144,252).
> > 150 Opening BINARY mode data connection for test.iso (140616708 bytes).
> > 226 Transfer complete.
> > 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec)
> >
> >
> > 3.从被测试虚机Web服务器上下载文件到本地
> > 速度：1.0M/S
> >
> > [root@committer39 tmp]# wget
> > http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
> > --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
> > Connecting to 192.168.10.73:80... connected.
> > HTTP request sent, awaiting response... 200 OK
> > Length: 117659860 (112M) [application/x-bzip2]
> > Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥
> >
> >
> 100%[==================================================================================================>]
> > 117,659,860 1015K/s in 1m 47s
> >
> > 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved
> > [117659860/117659860]
> >
> > 4.从被测试KVM主机的Web服务器上下载文件到本地
> > 测试速度：83M/S
> >
> > [root@committer39 tmp]# wget
> > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
> > --2014-07-11 13:28:29--
> > http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
> > Connecting to 192.168.10.7:80... connected.
> > HTTP request sent, awaiting response... 200 OK
> > Length: 3679453184 (3.4G) [application/octet-stream]
> > Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥
> >
> >
> 100%[================================================================================================>]
> > 3,679,453,184 79.8M/s in 42s
> >
> > 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved
> > [3679453184/3679453184]
> >
> >
> >
> >
> > 张雷(Evan)
> >
> > 中航信华东数据中心有限责任公司
> >
> > Mail:evanitsharp@gmail.com
> >
> > 发件人： 贝为标
> > 发送时间： 2014-07-10 14:11
> > 收件人： users-cn
> > 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> > evanitsharp,您好！
> >
> > dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？
> >
> > ======= 2014-07-10 13:51:30 您在来信中写道：=======
> >
> > >你好，按照你的意思，我测试的数据如下：
> > >
> > >KVM主机上：
> > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> > >1000+0 records in
> > >1000+0 records out
> > >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
> > >
> > >虚拟机（KVM）上：
> > >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> > >1000+0 records in
> > >1000+0 records out
> > >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
> > >
> > >
> > >
> > >
> > >张雷(Evan)
> > >
> > >中航信华东数据中心有限责任公司
> > >
> > >Mail:evanitsharp@gmail.com
> > >
> > >发件人： 贝为标
> > >发送时间： 2014-07-10 13:22
> > >收件人： users-cn
> > >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> > >evanitsharp,您好！
> > >
> > >你的dd命令可能不正确，应该这样测试：
> > >
> > ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> > >
> > >
> > >
> > >======= 2014-07-10 13:14:28 您在来信中写道：=======
> > >
> > >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
> > >>
> > >>1.KVM虚拟机下用dd命令测试磁盘读写性能:
> > >>144MB/S
> > >>
> > >>2.KVM物理主机用dd命令测试磁盘读写性能:
> > >>185MB/S
> > >>
> > >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
> > >>[root@evan2 ~]# iostat
> > >>avg-cpu: %user %nice %system %iowait %steal %idle
> > >> 0.03 0.00 0.07 0.02 0.01 99.88
> > >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> > >>vda 0.62 9.09 203.93 95612 2146106
> > >>dm-0 25.73 8.21 203.93 86434 2146088
> > >>dm-1 0.03 0.23 0.00 2376 0
> > >>
> > >>[root@evan2 ~]# iostat -d -k 1 1
> > >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> > >>xvda 0.68 4.41 118.54 47806 1286357
> > >>dm-0 29.86 3.98 118.54 43217 1286348
> > >>dm-1 0.03 0.11 0.00 1188 0
> > >>
> > >>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
> > >>[root@cs ~]# iostat
> > >>avg-cpu: %user %nice %system %iowait %steal %idle
> > >> 0.50 0.00 0.47 0.01 0.00 99.02
> > >>
> > >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> > >>sda 5.63 89.66 251.37 1411452 3957284
> > >>dm-0 9.54 87.72 251.34 1380936 3956682
> > >>dm-1 0.02 0.16 0.00 2576 0
> > >>dm-2 0.04 0.27 0.04 4322 560
> > >>
> > >>[root@cs ~]# iostat -d -k 1 1
> > >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> > >>sda 7.94 44.71 396.31 706026 6258666
> > >>dm-0 76.84 43.74 396.29 690768 6258365
> > >>dm-1 0.02 0.08 0.00 1288 0
> > >>dm-2 0.04 0.14 0.02 2161 280
> > >>
> > >>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual
> > Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
> > >>
> > >>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
> > >>
> > >>
> > >>
> > >>
> > >>张雷(Evan)
> > >>
> > >>中航信华东数据中心有限责任公司
> > >>
> > >>Mail:evanitsharp@gmail.com
> > >>
> > >>发件人： Wei ZHOU
> > >>发送时间： 2014-07-09 16:12
> > >>收件人： users-cn
> > >>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> > >>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
> > >>
> > >>
> > >>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
> > >>
> > >>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
> > >>>
> > >>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
> > >>>
> > >>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
> > >>>
> > >>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
> > >>>
> > >>>
> > >>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> > >>> PS：从网络和存储两个方面考虑
> > >>>
> > >>> 麻烦各位给个解决办法，谢谢
> > >>>
> > >>>
> > >>>
> > >>>
> > >>> 张雷(Evan)
> > >>>
> > >>> 中航信华东数据中心有限责任公司
> > >>>
> > >>> Mail:evanitsharp@gmail.com
> > >
> > >= = = = = = = = = = = = = = = = = = = =
> > >
> > > 致
> > >礼！
> > > 贝为标
> > > beiweibiao@163.com
> > > 2014-07-10
> >
> > = = = = = = = = = = = = = = = = = = = =
> >
> > 致
> > 礼！
> > 贝为标
> > beiweibiao@163.com
> > 2014-07-10
> >
>
Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by "Wang Yahua (gmail)" <bj...@gmail.com>.
你现在的这个问题和我去年的11月发现的问题几乎一样，寻遍了所有可能的解答，
始终没有找到原因，后来研究了近一个月，做了几十次不同的安装组 合，终于绕
过去了，由于这个问题，差点让我们放弃再使用CS了，不过我认为这个问题与CS的
版本有关，在4.1.1上不会出现这个问题，只有 4.2以后会有。我碰到这个问题是
在Ubuntu做CS安装环境下出现的。后来发现在CentOS下就没有了。 说这些供你参
考吧。
于 2014/7/11 15:11, evanitsharp 写道:
> basic 和 advanced zone我们都测试过，I/O速度差不多，都很慢。
>
> virtual router和vm的bandwidth配置都是：
> <inbound average='25600' peak='25600'/>
> <outbound average='25600' peak='25600'/>
>
> global
> setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200
>
> 好像没有问题啊
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
>
> 发件人： Wei ZHOU
> 发送时间： 2014-07-11 14:48
> 收件人： users-cn
> 主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> 你用的是advanced zone? 还是basic或者advanced zone with security group?
> 如果是后两个，流量不经过virtual router，所以可能跟cs没关系。
> 如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。
>
> 另外，看看virtual router和vm的配置（virsh
> dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。
> global
> setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start
> virtualrouter和vm.
>
>
> 在 2014年7月11日 上午8:17，evanitsharp <ev...@gmail.com>写道：
>
>> 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。
>>
>> 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。
>> 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？
>>
>> 我感觉这不是我们环境的问题，是CS自身的问题。
>>
>>
>>
>> 1.从FTP服务器上下载文件到被测试的KVM主机：
>> 平均速度63M/S
>>
>> ftp> get centos.iso
>> local: centos.iso remote: centos.iso
>> 227 Entering Passive Mode (192,168,10,48,144,252).
>> 150 Opening BINARY mode data connection for centos.iso (4353378304 bytes).
>> 226 Transfer complete.
>> 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec)
>>
>> 2. 从FTP服务器上下载文件到被测试的VM(KVM)：
>> 平均速度14.0M/S
>>
>> ftp> get test.iso
>> local: test.iso remote: testiso
>> 227 Entering Passive Mode (192,168,10,48,144,252).
>> 150 Opening BINARY mode data connection for test.iso (140616708 bytes).
>> 226 Transfer complete.
>> 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec)
>>
>>
>> 3.从被测试虚机Web服务器上下载文件到本地
>> 速度：1.0M/S
>>
>> [root@committer39 tmp]# wget
>> http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
>> --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
>> Connecting to 192.168.10.73:80... connected.
>> HTTP request sent, awaiting response... 200 OK
>> Length: 117659860 (112M) [application/x-bzip2]
>> Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥
>>
>> 100%[==================================================================================================>]
>> 117,659,860 1015K/s in 1m 47s
>>
>> 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved
>> [117659860/117659860]
>>
>> 4.从被测试KVM主机的Web服务器上下载文件到本地
>> 测试速度：83M/S
>>
>> [root@committer39 tmp]# wget
>> http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
>> --2014-07-11 13:28:29--
>> http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
>> Connecting to 192.168.10.7:80... connected.
>> HTTP request sent, awaiting response... 200 OK
>> Length: 3679453184 (3.4G) [application/octet-stream]
>> Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥
>>
>> 100%[================================================================================================>]
>> 3,679,453,184 79.8M/s in 42s
>>
>> 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved
>> [3679453184/3679453184]
>>
>>
>>
>>
>> 张雷(Evan)
>>
>> 中航信华东数据中心有限责任公司
>>
>> Mail:evanitsharp@gmail.com
>>
>> 发件人： 贝为标
>> 发送时间： 2014-07-10 14:11
>> 收件人： users-cn
>> 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>> evanitsharp,您好！
>>
>> dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？
>>
>> ======= 2014-07-10 13:51:30 您在来信中写道：=======
>>
>>> 你好，按照你的意思，我测试的数据如下：
>>>
>>> KVM主机上：
>>> [root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>>> 1000+0 records in
>>> 1000+0 records out
>>> 1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
>>>
>>> 虚拟机（KVM）上：
>>> [root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>>> 1000+0 records in
>>> 1000+0 records out
>>> 1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
>>>
>>>
>>>
>>>
>>> 张雷(Evan)
>>>
>>> 中航信华东数据中心有限责任公司
>>>
>>> Mail:evanitsharp@gmail.com
>>>
>>> 发件人： 贝为标
>>> 发送时间： 2014-07-10 13:22
>>> 收件人： users-cn
>>> 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>>> evanitsharp,您好！
>>>
>>> 你的dd命令可能不正确，应该这样测试：
>>>
>>> # dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>>>
>>>
>>>
>>> ======= 2014-07-10 13:14:28 您在来信中写道：=======
>>>
>>>> 之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
>>>>
>>>> 1.KVM虚拟机下用dd命令测试磁盘读写性能:
>>>> 144MB/S
>>>>
>>>> 2.KVM物理主机用dd命令测试磁盘读写性能:
>>>> 185MB/S
>>>>
>>>> 3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
>>>> [root@evan2 ~]# iostat
>>>> avg-cpu: %user %nice %system %iowait %steal %idle
>>>> 0.03 0.00 0.07 0.02 0.01 99.88
>>>> Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>>>> vda 0.62 9.09 203.93 95612 2146106
>>>> dm-0 25.73 8.21 203.93 86434 2146088
>>>> dm-1 0.03 0.23 0.00 2376 0
>>>>
>>>> [root@evan2 ~]# iostat -d -k 1 1
>>>> Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>>>> xvda 0.68 4.41 118.54 47806 1286357
>>>> dm-0 29.86 3.98 118.54 43217 1286348
>>>> dm-1 0.03 0.11 0.00 1188 0
>>>>
>>>> 4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
>>>> [root@cs ~]# iostat
>>>> avg-cpu: %user %nice %system %iowait %steal %idle
>>>> 0.50 0.00 0.47 0.01 0.00 99.02
>>>>
>>>> Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>>>> sda 5.63 89.66 251.37 1411452 3957284
>>>> dm-0 9.54 87.72 251.34 1380936 3956682
>>>> dm-1 0.02 0.16 0.00 2576 0
>>>> dm-2 0.04 0.27 0.04 4322 560
>>>>
>>>> [root@cs ~]# iostat -d -k 1 1
>>>> Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>>>> sda 7.94 44.71 396.31 706026 6258666
>>>> dm-0 76.84 43.74 396.29 690768 6258365
>>>> dm-1 0.02 0.08 0.00 1288 0
>>>> dm-2 0.04 0.14 0.02 2161 280
>>>>
>>>> 通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual
>> Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
>>>> 我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
>>>>
>>>>
>>>>
>>>>
>>>> 张雷(Evan)
>>>>
>>>> 中航信华东数据中心有限责任公司
>>>>
>>>> Mail:evanitsharp@gmail.com
>>>>
>>>> 发件人： Wei ZHOU
>>>> 发送时间： 2014-07-09 16:12
>>>> 收件人： users-cn
>>>> 主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>>>> 用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
>>>>
>>>>
>>>> 在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
>>>>
>>>>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>>>>>
>>>>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>>>>>
>>>>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>>>>>
>>>>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>>>>>
>>>>>
>>>>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
>>>>> PS：从网络和存储两个方面考虑
>>>>>
>>>>> 麻烦各位给个解决办法，谢谢
>>>>>
>>>>>
>>>>>
>>>>>
>>>>> 张雷(Evan)
>>>>>
>>>>> 中航信华东数据中心有限责任公司
>>>>>
>>>>> Mail:evanitsharp@gmail.com
>>> = = = = = = = = = = = = = = = = = = = =
>>>
>>> 致
>>> 礼！
>>> 贝为标
>>> beiweibiao@163.com
>>> 2014-07-10
>> = = = = = = = = = = = = = = = = = = = =
>>
>> 致
>> 礼！
>> 贝为标
>> beiweibiao@163.com
>> 2014-07-10
> >
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by evanitsharp <ev...@gmail.com>.
basic 和 advanced zone我们都测试过，I/O速度差不多，都很慢。
virtual router和vm的bandwidth配置都是：
<inbound average='25600' peak='25600'/>
<outbound average='25600' peak='25600'/>
global
setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200
好像没有问题啊
张雷(Evan)
中航信华东数据中心有限责任公司
Mail:evanitsharp@gmail.com
发件人： Wei ZHOU
发送时间： 2014-07-11 14:48
收件人： users-cn
主题： Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
你用的是advanced zone? 还是basic或者advanced zone with security group?
如果是后两个，流量不经过virtual router，所以可能跟cs没关系。
如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。
另外，看看virtual router和vm的配置（virsh
dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。
global
setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start
virtualrouter和vm.
在 2014年7月11日 上午8:17，evanitsharp <ev...@gmail.com>写道：
> 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。
>
> 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。
> 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？
>
> 我感觉这不是我们环境的问题，是CS自身的问题。
>
>
>
> 1.从FTP服务器上下载文件到被测试的KVM主机：
> 平均速度63M/S
>
> ftp> get centos.iso
> local: centos.iso remote: centos.iso
> 227 Entering Passive Mode (192,168,10,48,144,252).
> 150 Opening BINARY mode data connection for centos.iso (4353378304 bytes).
> 226 Transfer complete.
> 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec)
>
> 2. 从FTP服务器上下载文件到被测试的VM(KVM)：
> 平均速度14.0M/S
>
> ftp> get test.iso
> local: test.iso remote: testiso
> 227 Entering Passive Mode (192,168,10,48,144,252).
> 150 Opening BINARY mode data connection for test.iso (140616708 bytes).
> 226 Transfer complete.
> 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec)
>
>
> 3.从被测试虚机Web服务器上下载文件到本地
> 速度：1.0M/S
>
> [root@committer39 tmp]# wget
> http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
> --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
> Connecting to 192.168.10.73:80... connected.
> HTTP request sent, awaiting response... 200 OK
> Length: 117659860 (112M) [application/x-bzip2]
> Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥
>
> 100%[==================================================================================================>]
> 117,659,860 1015K/s in 1m 47s
>
> 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved
> [117659860/117659860]
>
> 4.从被测试KVM主机的Web服务器上下载文件到本地
> 测试速度：83M/S
>
> [root@committer39 tmp]# wget
> http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
> --2014-07-11 13:28:29--
> http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
> Connecting to 192.168.10.7:80... connected.
> HTTP request sent, awaiting response... 200 OK
> Length: 3679453184 (3.4G) [application/octet-stream]
> Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥
>
> 100%[================================================================================================>]
> 3,679,453,184 79.8M/s in 42s
>
> 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved
> [3679453184/3679453184]
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
>
> 发件人： 贝为标
> 发送时间： 2014-07-10 14:11
> 收件人： users-cn
> 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> evanitsharp,您好！
>
> dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？
>
> ======= 2014-07-10 13:51:30 您在来信中写道：=======
>
> >你好，按照你的意思，我测试的数据如下：
> >
> >KVM主机上：
> >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> >1000+0 records in
> >1000+0 records out
> >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
> >
> >虚拟机（KVM）上：
> >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> >1000+0 records in
> >1000+0 records out
> >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
> >
> >
> >
> >
> >张雷(Evan)
> >
> >中航信华东数据中心有限责任公司
> >
> >Mail:evanitsharp@gmail.com
> >
> >发件人： 贝为标
> >发送时间： 2014-07-10 13:22
> >收件人： users-cn
> >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> >evanitsharp,您好！
> >
> >你的dd命令可能不正确，应该这样测试：
> >
> ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> >
> >
> >
> >======= 2014-07-10 13:14:28 您在来信中写道：=======
> >
> >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
> >>
> >>1.KVM虚拟机下用dd命令测试磁盘读写性能:
> >>144MB/S
> >>
> >>2.KVM物理主机用dd命令测试磁盘读写性能:
> >>185MB/S
> >>
> >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
> >>[root@evan2 ~]# iostat
> >>avg-cpu: %user %nice %system %iowait %steal %idle
> >> 0.03 0.00 0.07 0.02 0.01 99.88
> >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> >>vda 0.62 9.09 203.93 95612 2146106
> >>dm-0 25.73 8.21 203.93 86434 2146088
> >>dm-1 0.03 0.23 0.00 2376 0
> >>
> >>[root@evan2 ~]# iostat -d -k 1 1
> >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> >>xvda 0.68 4.41 118.54 47806 1286357
> >>dm-0 29.86 3.98 118.54 43217 1286348
> >>dm-1 0.03 0.11 0.00 1188 0
> >>
> >>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
> >>[root@cs ~]# iostat
> >>avg-cpu: %user %nice %system %iowait %steal %idle
> >> 0.50 0.00 0.47 0.01 0.00 99.02
> >>
> >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> >>sda 5.63 89.66 251.37 1411452 3957284
> >>dm-0 9.54 87.72 251.34 1380936 3956682
> >>dm-1 0.02 0.16 0.00 2576 0
> >>dm-2 0.04 0.27 0.04 4322 560
> >>
> >>[root@cs ~]# iostat -d -k 1 1
> >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> >>sda 7.94 44.71 396.31 706026 6258666
> >>dm-0 76.84 43.74 396.29 690768 6258365
> >>dm-1 0.02 0.08 0.00 1288 0
> >>dm-2 0.04 0.14 0.02 2161 280
> >>
> >>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual
> Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
> >>
> >>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
> >>
> >>
> >>
> >>
> >>张雷(Evan)
> >>
> >>中航信华东数据中心有限责任公司
> >>
> >>Mail:evanitsharp@gmail.com
> >>
> >>发件人： Wei ZHOU
> >>发送时间： 2014-07-09 16:12
> >>收件人： users-cn
> >>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> >>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
> >>
> >>
> >>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
> >>
> >>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
> >>>
> >>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
> >>>
> >>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
> >>>
> >>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
> >>>
> >>>
> >>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> >>> PS：从网络和存储两个方面考虑
> >>>
> >>> 麻烦各位给个解决办法，谢谢
> >>>
> >>>
> >>>
> >>>
> >>> 张雷(Evan)
> >>>
> >>> 中航信华东数据中心有限责任公司
> >>>
> >>> Mail:evanitsharp@gmail.com
> >
> >= = = = = = = = = = = = = = = = = = = =
> >
> > 致
> >礼！
> > 贝为标
> > beiweibiao@163.com
> > 2014-07-10
>
> = = = = = = = = = = = = = = = = = = = =
>
> 致
> 礼！
> 贝为标
> beiweibiao@163.com
> 2014-07-10
>
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by Wei ZHOU <us...@gmail.com>.
你用的是advanced zone? 还是basic或者advanced zone with security group?
如果是后两个，流量不经过virtual router，所以可能跟cs没关系。
如果是第一个，流量都要经过virtual router，建议到virtual router上测试一下。
另外，看看virtual router和vm的配置（virsh
dumpxml），看看里面的bandwidth设置，inbound和outbound的单位都是KBps。
global
setting里面的network.throttling.rate和vm.network.throttling.rate的默认值都是200Mbps（25MBps）。建议修改，然后stop/start
virtualrouter和vm.
在 2014年7月11日 上午8:17，evanitsharp <ev...@gmail.com>写道：
> 大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。
>
> 我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。
> 各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？
>
> 我感觉这不是我们环境的问题，是CS自身的问题。
>
>
>
> 1.从FTP服务器上下载文件到被测试的KVM主机：
> 平均速度63M/S
>
> ftp> get centos.iso
> local: centos.iso remote: centos.iso
> 227 Entering Passive Mode (192,168,10,48,144,252).
> 150 Opening BINARY mode data connection for centos.iso (4353378304 bytes).
> 226 Transfer complete.
> 4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec)
>
> 2. 从FTP服务器上下载文件到被测试的VM(KVM)：
> 平均速度14.0M/S
>
> ftp> get test.iso
> local: test.iso remote: testiso
> 227 Entering Passive Mode (192,168,10,48,144,252).
> 150 Opening BINARY mode data connection for test.iso (140616708 bytes).
> 226 Transfer complete.
> 140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec)
>
>
> 3.从被测试虚机Web服务器上下载文件到本地
> 速度：1.0M/S
>
> [root@committer39 tmp]# wget
> http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
> --2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
> Connecting to 192.168.10.73:80... connected.
> HTTP request sent, awaiting response... 200 OK
> Length: 117659860 (112M) [application/x-bzip2]
> Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥
>
> 100%[==================================================================================================>]
> 117,659,860 1015K/s in 1m 47s
>
> 2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved
> [117659860/117659860]
>
> 4.从被测试KVM主机的Web服务器上下载文件到本地
> 测试速度：83M/S
>
> [root@committer39 tmp]# wget
> http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
> --2014-07-11 13:28:29--
> http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
> Connecting to 192.168.10.7:80... connected.
> HTTP request sent, awaiting response... 200 OK
> Length: 3679453184 (3.4G) [application/octet-stream]
> Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥
>
> 100%[================================================================================================>]
> 3,679,453,184 79.8M/s in 42s
>
> 2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved
> [3679453184/3679453184]
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
>
> 发件人： 贝为标
> 发送时间： 2014-07-10 14:11
> 收件人： users-cn
> 主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> evanitsharp,您好！
>
> dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？
>
> ======= 2014-07-10 13:51:30 您在来信中写道：=======
>
> >你好，按照你的意思，我测试的数据如下：
> >
> >KVM主机上：
> >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> >1000+0 records in
> >1000+0 records out
> >1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
> >
> >虚拟机（KVM）上：
> >[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> >1000+0 records in
> >1000+0 records out
> >1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
> >
> >
> >
> >
> >张雷(Evan)
> >
> >中航信华东数据中心有限责任公司
> >
> >Mail:evanitsharp@gmail.com
> >
> >发件人： 贝为标
> >发送时间： 2014-07-10 13:22
> >收件人： users-cn
> >主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> >evanitsharp,您好！
> >
> >你的dd命令可能不正确，应该这样测试：
> >
> ># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
> >
> >
> >
> >======= 2014-07-10 13:14:28 您在来信中写道：=======
> >
> >>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
> >>
> >>1.KVM虚拟机下用dd命令测试磁盘读写性能:
> >>144MB/S
> >>
> >>2.KVM物理主机用dd命令测试磁盘读写性能:
> >>185MB/S
> >>
> >>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
> >>[root@evan2 ~]# iostat
> >>avg-cpu: %user %nice %system %iowait %steal %idle
> >> 0.03 0.00 0.07 0.02 0.01 99.88
> >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> >>vda 0.62 9.09 203.93 95612 2146106
> >>dm-0 25.73 8.21 203.93 86434 2146088
> >>dm-1 0.03 0.23 0.00 2376 0
> >>
> >>[root@evan2 ~]# iostat -d -k 1 1
> >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> >>xvda 0.68 4.41 118.54 47806 1286357
> >>dm-0 29.86 3.98 118.54 43217 1286348
> >>dm-1 0.03 0.11 0.00 1188 0
> >>
> >>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
> >>[root@cs ~]# iostat
> >>avg-cpu: %user %nice %system %iowait %steal %idle
> >> 0.50 0.00 0.47 0.01 0.00 99.02
> >>
> >>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
> >>sda 5.63 89.66 251.37 1411452 3957284
> >>dm-0 9.54 87.72 251.34 1380936 3956682
> >>dm-1 0.02 0.16 0.00 2576 0
> >>dm-2 0.04 0.27 0.04 4322 560
> >>
> >>[root@cs ~]# iostat -d -k 1 1
> >>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
> >>sda 7.94 44.71 396.31 706026 6258666
> >>dm-0 76.84 43.74 396.29 690768 6258365
> >>dm-1 0.02 0.08 0.00 1288 0
> >>dm-2 0.04 0.14 0.02 2161 280
> >>
> >>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual
> Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
> >>
> >>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
> >>
> >>
> >>
> >>
> >>张雷(Evan)
> >>
> >>中航信华东数据中心有限责任公司
> >>
> >>Mail:evanitsharp@gmail.com
> >>
> >>发件人： Wei ZHOU
> >>发送时间： 2014-07-09 16:12
> >>收件人： users-cn
> >>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
> >>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
> >>
> >>
> >>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
> >>
> >>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
> >>>
> >>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
> >>>
> >>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
> >>>
> >>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
> >>>
> >>>
> >>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> >>> PS：从网络和存储两个方面考虑
> >>>
> >>> 麻烦各位给个解决办法，谢谢
> >>>
> >>>
> >>>
> >>>
> >>> 张雷(Evan)
> >>>
> >>> 中航信华东数据中心有限责任公司
> >>>
> >>> Mail:evanitsharp@gmail.com
> >
> >= = = = = = = = = = = = = = = = = = = =
> >
> > 致
> >礼！
> > 贝为标
> > beiweibiao@163.com
> > 2014-07-10
>
> = = = = = = = = = = = = = = = = = = = =
>
> 致
> 礼！
> 贝为标
> beiweibiao@163.com
> 2014-07-10
>
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by evanitsharp <ev...@gmail.com>.
大家好，这是我最近的测试数据。经测试发现KVM下新建的虚机与局域网内其他机器交互的速度仍然不正常。
我们公司经过了多伦测试，每次装好的CS4.2.1+KVM环境，都存在这个问题。
各位在KVM环境下都没遇到过这个性能问题（使用KVM作虚级化平台，KVM上的虚拟机与外界交换数据的速度很慢）？
我感觉这不是我们环境的问题，是CS自身的问题。
1.从FTP服务器上下载文件到被测试的KVM主机：
平均速度63M/S
ftp> get centos.iso
local: centos.iso remote: centos.iso
227 Entering Passive Mode (192,168,10,48,144,252).
150 Opening BINARY mode data connection for centos.iso (4353378304 bytes).
226 Transfer complete.
4353378304 bytes received in 66.5 secs (65433.85 Kbytes/sec)
2. 从FTP服务器上下载文件到被测试的VM(KVM)：
平均速度14.0M/S
ftp> get test.iso
local: test.iso remote: testiso
227 Entering Passive Mode (192,168,10,48,144,252).
150 Opening BINARY mode data connection for test.iso (140616708 bytes).
226 Transfer complete.
140616708 bytes received in 9.76 secs (14401.34 Kbytes/sec)
3.从被测试虚机Web服务器上下载文件到本地
速度：1.0M/S
[root@committer39 tmp]# wget http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
--2014-07-11 14:09:59-- http://192.168.10.73/tcd2.1-2014.06.25.tar.bz2
Connecting to 192.168.10.73:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 117659860 (112M) [application/x-bzip2]
Saving to: 鈥渢cd2.1-2014.06.25.tar.bz2鈥
100%[==================================================================================================>] 117,659,860 1015K/s in 1m 47s
2014-07-11 14:11:47 (1.05 MB/s) - 鈥渢cd2.1-2014.06.25.tar.bz2鈥saved [117659860/117659860]
4.从被测试KVM主机的Web服务器上下载文件到本地
测试速度：83M/S
[root@committer39 tmp]# wget http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
--2014-07-11 13:28:29-- http://192.168.10.7/rhel-server-6.3-x86_64-dvd.iso
Connecting to 192.168.10.7:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 3679453184 (3.4G) [application/octet-stream]
Saving to: 鈥渞hel-server-6.3-x86_64-dvd.iso鈥
100%[================================================================================================>] 3,679,453,184 79.8M/s in 42s
2014-07-11 13:29:11 (83.0 MB/s) - 鈥渞hel-server-6.3-x86_64-dvd.iso鈥saved [3679453184/3679453184]
张雷(Evan)
中航信华东数据中心有限责任公司
Mail:evanitsharp@gmail.com
发件人： 贝为标
发送时间： 2014-07-10 14:11
收件人： users-cn
主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
evanitsharp,您好！
dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？
======= 2014-07-10 13:51:30 您在来信中写道：=======
>你好，按照你的意思，我测试的数据如下：
>
>KVM主机上：
>[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>1000+0 records in
>1000+0 records out
>1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
>
>虚拟机（KVM）上：
>[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>1000+0 records in
>1000+0 records out
>1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
>
>
>
>
>张雷(Evan)
>
>中航信华东数据中心有限责任公司
>
>Mail:evanitsharp@gmail.com
>
>发件人： 贝为标
>发送时间： 2014-07-10 13:22
>收件人： users-cn
>主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>evanitsharp,您好！
>
>你的dd命令可能不正确，应该这样测试：
>
># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>
>
>
>======= 2014-07-10 13:14:28 您在来信中写道：=======
>
>>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
>>
>>1.KVM虚拟机下用dd命令测试磁盘读写性能:
>>144MB/S
>>
>>2.KVM物理主机用dd命令测试磁盘读写性能:
>>185MB/S
>>
>>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
>>[root@evan2 ~]# iostat
>>avg-cpu: %user %nice %system %iowait %steal %idle
>> 0.03 0.00 0.07 0.02 0.01 99.88
>>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>>vda 0.62 9.09 203.93 95612 2146106
>>dm-0 25.73 8.21 203.93 86434 2146088
>>dm-1 0.03 0.23 0.00 2376 0
>>
>>[root@evan2 ~]# iostat -d -k 1 1
>>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>>xvda 0.68 4.41 118.54 47806 1286357
>>dm-0 29.86 3.98 118.54 43217 1286348
>>dm-1 0.03 0.11 0.00 1188 0
>>
>>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
>>[root@cs ~]# iostat
>>avg-cpu: %user %nice %system %iowait %steal %idle
>> 0.50 0.00 0.47 0.01 0.00 99.02
>>
>>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>>sda 5.63 89.66 251.37 1411452 3957284
>>dm-0 9.54 87.72 251.34 1380936 3956682
>>dm-1 0.02 0.16 0.00 2576 0
>>dm-2 0.04 0.27 0.04 4322 560
>>
>>[root@cs ~]# iostat -d -k 1 1
>>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>>sda 7.94 44.71 396.31 706026 6258666
>>dm-0 76.84 43.74 396.29 690768 6258365
>>dm-1 0.02 0.08 0.00 1288 0
>>dm-2 0.04 0.14 0.02 2161 280
>>
>>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
>>
>>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
>>
>>
>>
>>
>>张雷(Evan)
>>
>>中航信华东数据中心有限责任公司
>>
>>Mail:evanitsharp@gmail.com
>>
>>发件人： Wei ZHOU
>>发送时间： 2014-07-09 16:12
>>收件人： users-cn
>>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
>>
>>
>>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
>>
>>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>>>
>>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>>>
>>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>>>
>>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>>>
>>>
>>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
>>> PS：从网络和存储两个方面考虑
>>>
>>> 麻烦各位给个解决办法，谢谢
>>>
>>>
>>>
>>>
>>> 张雷(Evan)
>>>
>>> 中航信华东数据中心有限责任公司
>>>
>>> Mail:evanitsharp@gmail.com
>
>= = = = = = = = = = = = = = = = = = = =
>
> 致
>礼！
> 贝为标
> beiweibiao@163.com
> 2014-07-10
= = = = = = = = = = = = = = = = = = = =
致
礼！
贝为标
beiweibiao@163.com
2014-07-10
Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by 贝为标 <be...@163.com>.
evanitsharp,您好！
dd数据看起来没什么问题，你是用wget来下载吗？试试ftp传输看看？
======= 2014-07-10 13:51:30 您在来信中写道：=======
>你好，按照你的意思，我测试的数据如下：
>
>KVM主机上：
>[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>1000+0 records in
>1000+0 records out
>1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
>
>虚拟机（KVM）上：
>[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>1000+0 records in
>1000+0 records out
>1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
>
>
>
>
>张雷(Evan)
>
>中航信华东数据中心有限责任公司
>
>Mail:evanitsharp@gmail.com
>
>发件人： 贝为标
>发送时间： 2014-07-10 13:22
>收件人： users-cn
>主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>evanitsharp,您好！
>
>你的dd命令可能不正确，应该这样测试：
>
># dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
>
>
>
>======= 2014-07-10 13:14:28 您在来信中写道：=======
>
>>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
>>
>>1.KVM虚拟机下用dd命令测试磁盘读写性能:
>>144MB/S
>>
>>2.KVM物理主机用dd命令测试磁盘读写性能:
>>185MB/S
>>
>>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
>>[root@evan2 ~]# iostat
>>avg-cpu: %user %nice %system %iowait %steal %idle
>> 0.03 0.00 0.07 0.02 0.01 99.88
>>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>>vda 0.62 9.09 203.93 95612 2146106
>>dm-0 25.73 8.21 203.93 86434 2146088
>>dm-1 0.03 0.23 0.00 2376 0
>>
>>[root@evan2 ~]# iostat -d -k 1 1
>>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>>xvda 0.68 4.41 118.54 47806 1286357
>>dm-0 29.86 3.98 118.54 43217 1286348
>>dm-1 0.03 0.11 0.00 1188 0
>>
>>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
>>[root@cs ~]# iostat
>>avg-cpu: %user %nice %system %iowait %steal %idle
>> 0.50 0.00 0.47 0.01 0.00 99.02
>>
>>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>>sda 5.63 89.66 251.37 1411452 3957284
>>dm-0 9.54 87.72 251.34 1380936 3956682
>>dm-1 0.02 0.16 0.00 2576 0
>>dm-2 0.04 0.27 0.04 4322 560
>>
>>[root@cs ~]# iostat -d -k 1 1
>>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>>sda 7.94 44.71 396.31 706026 6258666
>>dm-0 76.84 43.74 396.29 690768 6258365
>>dm-1 0.02 0.08 0.00 1288 0
>>dm-2 0.04 0.14 0.02 2161 280
>>
>>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
>>
>>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
>>
>>
>>
>>
>>张雷(Evan)
>>
>>中航信华东数据中心有限责任公司
>>
>>Mail:evanitsharp@gmail.com
>>
>>发件人： Wei ZHOU
>>发送时间： 2014-07-09 16:12
>>收件人： users-cn
>>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
>>
>>
>>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
>>
>>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>>>
>>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>>>
>>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>>>
>>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>>>
>>>
>>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
>>> PS：从网络和存储两个方面考虑
>>>
>>> 麻烦各位给个解决办法，谢谢
>>>
>>>
>>>
>>>
>>> 张雷(Evan)
>>>
>>> 中航信华东数据中心有限责任公司
>>>
>>> Mail:evanitsharp@gmail.com
>
>= = = = = = = = = = = = = = = = = = = =
>
> 致
>礼！
> 贝为标
> beiweibiao@163.com
> 2014-07-10
= = = = = = = = = = = = = = = = = = = =
致
礼！
贝为标
beiweibiao@163.com
2014-07-10
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by evanitsharp <ev...@gmail.com>.
你好，按照你的意思，我测试的数据如下：
KVM主机上：
[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 3.50706 s, 299 MB/s
虚拟机（KVM）上：
[root@cs tmp]# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 22.7811 s, 46.0 MB/s
张雷(Evan)
中航信华东数据中心有限责任公司
Mail:evanitsharp@gmail.com
发件人： 贝为标
发送时间： 2014-07-10 13:22
收件人： users-cn
主题： Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
evanitsharp,您好！
你的dd命令可能不正确，应该这样测试：
# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
======= 2014-07-10 13:14:28 您在来信中写道：=======
>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
>
>1.KVM虚拟机下用dd命令测试磁盘读写性能:
>144MB/S
>
>2.KVM物理主机用dd命令测试磁盘读写性能:
>185MB/S
>
>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
>[root@evan2 ~]# iostat
>avg-cpu: %user %nice %system %iowait %steal %idle
> 0.03 0.00 0.07 0.02 0.01 99.88
>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>vda 0.62 9.09 203.93 95612 2146106
>dm-0 25.73 8.21 203.93 86434 2146088
>dm-1 0.03 0.23 0.00 2376 0
>
>[root@evan2 ~]# iostat -d -k 1 1
>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>xvda 0.68 4.41 118.54 47806 1286357
>dm-0 29.86 3.98 118.54 43217 1286348
>dm-1 0.03 0.11 0.00 1188 0
>
>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
>[root@cs ~]# iostat
>avg-cpu: %user %nice %system %iowait %steal %idle
> 0.50 0.00 0.47 0.01 0.00 99.02
>
>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>sda 5.63 89.66 251.37 1411452 3957284
>dm-0 9.54 87.72 251.34 1380936 3956682
>dm-1 0.02 0.16 0.00 2576 0
>dm-2 0.04 0.27 0.04 4322 560
>
>[root@cs ~]# iostat -d -k 1 1
>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>sda 7.94 44.71 396.31 706026 6258666
>dm-0 76.84 43.74 396.29 690768 6258365
>dm-1 0.02 0.08 0.00 1288 0
>dm-2 0.04 0.14 0.02 2161 280
>
>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
>
>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
>
>
>
>
>张雷(Evan)
>
>中航信华东数据中心有限责任公司
>
>Mail:evanitsharp@gmail.com
>
>发件人： Wei ZHOU
>发送时间： 2014-07-09 16:12
>收件人： users-cn
>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
>
>
>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
>
>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>>
>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>>
>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>>
>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>>
>>
>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
>> PS：从网络和存储两个方面考虑
>>
>> 麻烦各位给个解决办法，谢谢
>>
>>
>>
>>
>> 张雷(Evan)
>>
>> 中航信华东数据中心有限责任公司
>>
>> Mail:evanitsharp@gmail.com
= = = = = = = = = = = = = = = = = = = =
致
礼！
贝为标
beiweibiao@163.com
2014-07-10
Re: Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by 贝为标 <be...@163.com>.
evanitsharp,您好！
你的dd命令可能不正确，应该这样测试：
# dd bs=1M count=1000 if=/dev/zero of=test oflag=dsync
======= 2014-07-10 13:14:28 您在来信中写道：=======
>之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
>
>1.KVM虚拟机下用dd命令测试磁盘读写性能:
>144MB/S
>
>2.KVM物理主机用dd命令测试磁盘读写性能:
>185MB/S
>
>3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
>[root@evan2 ~]# iostat
>avg-cpu: %user %nice %system %iowait %steal %idle
> 0.03 0.00 0.07 0.02 0.01 99.88
>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>vda 0.62 9.09 203.93 95612 2146106
>dm-0 25.73 8.21 203.93 86434 2146088
>dm-1 0.03 0.23 0.00 2376 0
>
>[root@evan2 ~]# iostat -d -k 1 1
>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>xvda 0.68 4.41 118.54 47806 1286357
>dm-0 29.86 3.98 118.54 43217 1286348
>dm-1 0.03 0.11 0.00 1188 0
>
>4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
>[root@cs ~]# iostat
>avg-cpu: %user %nice %system %iowait %steal %idle
> 0.50 0.00 0.47 0.01 0.00 99.02
>
>Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
>sda 5.63 89.66 251.37 1411452 3957284
>dm-0 9.54 87.72 251.34 1380936 3956682
>dm-1 0.02 0.16 0.00 2576 0
>dm-2 0.04 0.27 0.04 4322 560
>
>[root@cs ~]# iostat -d -k 1 1
>Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
>sda 7.94 44.71 396.31 706026 6258666
>dm-0 76.84 43.74 396.29 690768 6258365
>dm-1 0.02 0.08 0.00 1288 0
>dm-2 0.04 0.14 0.02 2161 280
>
>通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
>
>我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
>
>
>
>
>张雷(Evan)
>
>中航信华东数据中心有限责任公司
>
>Mail:evanitsharp@gmail.com
>
>发件人： Wei ZHOU
>发送时间： 2014-07-09 16:12
>收件人： users-cn
>主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
>用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
>
>
>在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
>
>> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>>
>> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>>
>> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>>
>> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>>
>>
>> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
>> PS：从网络和存储两个方面考虑
>>
>> 麻烦各位给个解决办法，谢谢
>>
>>
>>
>>
>> 张雷(Evan)
>>
>> 中航信华东数据中心有限责任公司
>>
>> Mail:evanitsharp@gmail.com
= = = = = = = = = = = = = = = = = = = =
致
礼！
贝为标
beiweibiao@163.com
2014-07-10
Re: Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by evanitsharp <ev...@gmail.com>.
之前我说了从网络和存储两个方面考虑，以下是我测试的数据：
1.KVM虚拟机下用dd命令测试磁盘读写性能:
144MB/S
2.KVM物理主机用dd命令测试磁盘读写性能:
185MB/S
3.通过Web服务器下载大文件到VM(KVM)磁盘时，VM上的统计数据：
[root@evan2 ~]# iostat
avg-cpu: %user %nice %system %iowait %steal %idle
0.03 0.00 0.07 0.02 0.01 99.88
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
vda 0.62 9.09 203.93 95612 2146106
dm-0 25.73 8.21 203.93 86434 2146088
dm-1 0.03 0.23 0.00 2376 0
[root@evan2 ~]# iostat -d -k 1 1
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
xvda 0.68 4.41 118.54 47806 1286357
dm-0 29.86 3.98 118.54 43217 1286348
dm-1 0.03 0.11 0.00 1188 0
4.通过Web服务器下载大文件到KVM主机磁盘时，KVM主机上的统计数据：
[root@cs ~]# iostat
avg-cpu: %user %nice %system %iowait %steal %idle
0.50 0.00 0.47 0.01 0.00 99.02
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 5.63 89.66 251.37 1411452 3957284
dm-0 9.54 87.72 251.34 1380936 3956682
dm-1 0.02 0.16 0.00 2576 0
dm-2 0.04 0.27 0.04 4322 560
[root@cs ~]# iostat -d -k 1 1
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 7.94 44.71 396.31 706026 6258666
dm-0 76.84 43.74 396.29 690768 6258365
dm-1 0.02 0.08 0.00 1288 0
dm-2 0.04 0.14 0.02 2161 280
通过数据的比较，我感觉问题主要出在网络方面，很可能和Virtual Router有关系（但我们环境里的Virtual Router是默认配置）。交换机配置是没有问题的，因为局域网网其它XenServer、ESXi主机的网络读写性能都很正常。
我想了解下大家在用CS4.2.1+KVM时，有没有碰到KVM虚拟机读写I/O性能问题？你们是怎么解决的？
张雷(Evan)
中航信华东数据中心有限责任公司
Mail:evanitsharp@gmail.com
发件人： Wei ZHOU
发送时间： 2014-07-09 16:12
收件人： users-cn
主题： Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>
> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>
> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>
> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>
>
> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> PS：从网络和存储两个方面考虑
>
> 麻烦各位给个解决办法，谢谢
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by Wei ZHOU <us...@gmail.com>.
用dd和iostat测一下本机和虚拟机里面的磁盘性能看看差多少
在 2014年7月9日 下午3:58，evanitsharp <ev...@gmail.com>写道：
> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>
> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>
> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>
> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>
>
> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> PS：从网络和存储两个方面考虑
>
> 麻烦各位给个解决办法，谢谢
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
回复: Re:CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by evanitsharp <ev...@gmail.com>.
我的CS4.2.1管理节点是XenServer6.0.2上的一台虚拟机，这台虚拟机装的是Red Hat Enterprise Linux Server release 6.3 系统；主机节点都是KVM
难道KVM环境下，虚机磁盘I/O很慢不是CloudStack4.2.1的问题？大家装4.2.1+KVM没有碰到过这个问题吗？
张雷(Evan)
中航信华东数据中心有限责任公司
Mail:evanitsharp@gmail.com
发件人： Wang Yahua (gmail)
发送时间： 2014-07-10 12:34
收件人： users-cn
主题： Re:CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
我之前也遇到过这个问题，想问一下你的CS4.2.1环境是不是用的Ubuntu 12.04.3
? 后来我改成 CentOS 6.4 就好了，很奇怪，一
直没有想通这是为什么？
于 2014/7/9 15:58, evanitsharp 写道:
> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>
> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>
> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>
> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>
>
> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> PS：从网络和存储两个方面考虑
>
> 麻烦各位给个解决办法，谢谢
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com
Re: CS4.2.1+kvm环境下，新建虚拟机磁盘读写很慢
Posted by "Wang Yahua (gmail)" <bj...@gmail.com>.
我之前也遇到过这个问题，想问一下你的CS4.2.1环境是不是用的Ubuntu 12.04.3
? 后来我改成 CentOS 6.4 就好了，很奇怪，一
直没有想通这是为什么？
于 2014/7/9 15:58, evanitsharp 写道:
> CS4.2.1+KVM环境下，存储使用local（即建好的虚机位于KVM本机上），新建的VM读写速度很慢
>
> 1. 我在KVM上的新建的虚机上搭建好了web服务器，局域网内另外一台计算机上通过这台Web服务器下载文件，下载的平均速度只有1.2M/S
>
> 2. 我从局域网内的一台正常Web服务器下载文件到该KVM上的虚拟机，速度只有700K/S
>
> 而我们的局域网是千兆网络，从web服务器下载文件到自己本地的机器速度都有100M/S
>
>
> 请问：CS4.2.1下，KVM下建好的虚机磁盘读写速度为什么会这么慢，怎么样解决这个问题？
> PS：从网络和存储两个方面考虑
>
> 麻烦各位给个解决办法，谢谢
>
>
>
>
> 张雷(Evan)
>
> 中航信华东数据中心有限责任公司
>
> Mail:evanitsharp@gmail.com