You are viewing a plain text version of this content. The canonical link for it is here.
Posted to users-cn@cloudstack.apache.org by zhangyufei <zh...@163.com> on 2014/03/09 17:08:08 UTC

关于cloudstack大集群稳定运行的问题

 大家好,我们是南京一家互联网公司,目前正在使用cloudstack平台,当前我们cloudstack的版本是4.0.2,运行着40台主机,600台KVM虚拟机,我们计划扩大cloudstack集群的规模,后期大约有400台主机,5000+虚拟机。以后可能也会引入linuxcontainer虚拟机,现在我们首批打算先投入100台主机。但是我们之前在使用cloudstack的时候还是遇到一些问题,现在要上线这么多主机,担心集群扩大之后cloudstack会出现各种意料之外的问题。我们cloudstack使用的是硬盘本地存储存放虚拟机的镜像文件,网络使用vlan隔离,share直连网络。我们比较疑惑大集群下cloudstack可能出现问题和瓶颈的地方,希望大家不吝赐教,谢谢

Re: Re: Re: 关于cloudstack大集群稳定运行的问题

Posted by 網勁科技 黃奕璽 / Carl Huang <ca...@edyna.com>.
Ӳ���IJ����Ҵ��������@�ӽ��h
��һ����������Ӳ�PֻҪ�䣲�w��RAID1�ͺã��W���IJ��������f�׾W��
�ڶ���ُ�Inetapp��dell equallogic�ȴ惦�O�䣬Ӳ�P��raid50��raid6��Ҳ�������f�׿�����
������ُ�I�f�׽��Q�C��ex:cisco nessus 5k

���һ��zone һ��pod һ��cluster �������̨Ϊ��Ć��}���@�Ϳ���ķ������|��
��ͬ���|�ķ��Ք[��ͬһ��cluster��


2014-03-10 16:03 GMT+08:00 linuxbqj@gmail.com <li...@gmail.com>:

> @zhangyufei ���˽��������ȿ��Ǻ�����滮���Լ����������䣬�洢���䡣
>
> ����һ���洢�ϲ�Ҫ��̫���VM����Ϊһ���洢�������⣬��������VM��HA���ͻ���ִ�����VMǨ�Ƶ�������ʱ��������ͻ��þ�
>
> ��Ҫ����滮��֮���ٸ���cloudstack���ص������в���
>
> �� 2014��3��10�� ����4:00��linuxbqj@gmail.com <li...@gmail.com> ���
> > �Ǵ��ˣ�xenserver����8̨
> > kvm��16̨
> >
> > �ٷ��IJο�����
> >
> http://cloudstack.apache.org/docs/en-US/Apache_CloudStack/4.0.2/html/Installation_Guide/host-add.html
> > �������
> >
> > ���������Թ�����16̨kvm��cluster
> >
> >
> http://mail-archives.apache.org/mod_mbox/cloudstack-users/201310.mbox/%3Csig.09949c670f.3770BB392005A24593DB581CBE1B364B08060B@GEMINI1%3E
> >
> > �Ҹ��˱Ƚ�ƫ����һЩ��
> >
> >
> > �� 2014��3��10�� ����2:43��zhangyufei <zh...@163.com> ���
> >> KVM ����һ��cluster�����8̨���ҵ�������
> >> KVMΪʲô������������ʲô���Ŀ��ǣ�
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> �� 2014-03-10 12:04:25��"linuxbqj@gmail.com" <li...@gmail.com> ���
> >>>KVM ����һ��cluster�����8̨���ҵ���������4��cluster��Ϊһ��pod��
> >>>
> >>>������ܼ�����һ̨��������Ԥ���ܶ���VM���Լ�����ƻ���ι滮
> >>>
> >>>�����Ҫ�ۺϿ���
> >>>
> >>>
> >>>�� 2014��3��10�� ����11:53��Guo Star <gh...@gmail.com> ���
> >>>> �о�Ӧ�����ⲻ��û��share storage����һֱ�����ڵĹ��ܣ���Ҫ��vpc��Щ���ӵģ�Ӧ��ûʲô����.
> >>>>
> >>>>
> >>>> �� 2014��3��10�� ����10:37��zhangyufei <zh...@163.com>���
> >>>>
> >>>>> ���ǵĻ�����256G�ڴ�
> >>>>> 24�ˣ����󣩡�2.3gz
> >>>>> Ӳ��600m��16 R5
> >>>>> ǧ������
> >>>>> ����һЩ������֪��������һ��zone һ��pod һ��cluster �������̨Ϊ�
> >>>>>
> >>>>>
> >>>>>
> >>>>>
> >>>>>
> >>>>>
> >>>>> �� 2014-03-10 10:21:47��"�W�ſƼ� �S�ȭt / Carl Huang" <ca...@edyna.com>
> ���
> >>>>> >�韩��Ԕ������һ����֮�����ُ�ķ�����Ҏ�񡢴惦�O��Ҏ�񡢽��Q�CҎ���@�Ӳ����k�������u��
> >>>>>
> >>>
> >>>
> >>>
> >>>--
> >>>����� (Born Bai)
> >>>
> >>>������ԴԸ����Ϣ�������޹�˾
> >>>
> >>>Mail: linuxbqj@gmail.com
> >
> >
> >
> > --
> > ����� (Born Bai)
> >
> > ������ԴԸ����Ϣ�������޹�˾
> >
> > Mail: linuxbqj@gmail.com
>
>
>
> --
> ����� (Born Bai)
>
> ������ԴԸ����Ϣ�������޹�˾
>
> Mail: linuxbqj@gmail.com
>



-- 
============================================
eDynamics �W�ſƼ�

������̎
����
�S�ȭt   Carl Huang
�Ԓ��+886-2-8797-6373 �֙C��6302
���棺+886-2-8797-6272
E-Mail��carl_huang@edyna.com
̨������˾��̨���ЃȺ��^���· 513 �� 28 ̖ 7 ��

�팚�u                      www.laibaodao.com
oBuyȫ�I�W              www.obuy.tw
�ɰ��W                      www.joinbao.com
CityTalk����ͨ         www.citytalk.tw
============================================

Re: Re: Re: 关于cloudstack大集群稳定运行的问题

Posted by "linuxbqj@gmail.com" <li...@gmail.com>.
@zhangyufei ���˽��������ȿ��Ǻ�����滮���Լ����������䣬�洢���䡣

����һ���洢�ϲ�Ҫ��̫���VM����Ϊһ���洢�������⣬��������VM��HA���ͻ���ִ�����VMǨ�Ƶ�������ʱ��������ͻ��þ�

��Ҫ����滮��֮���ٸ���cloudstack���ص������в���

�� 2014��3��10�� ����4:00��linuxbqj@gmail.com <li...@gmail.com> ���
> �Ǵ��ˣ�xenserver����8̨
> kvm��16̨
>
> �ٷ��IJο�����
> http://cloudstack.apache.org/docs/en-US/Apache_CloudStack/4.0.2/html/Installation_Guide/host-add.html
> �������
>
> ���������Թ�����16̨kvm��cluster
>
> http://mail-archives.apache.org/mod_mbox/cloudstack-users/201310.mbox/%3Csig.09949c670f.3770BB392005A24593DB581CBE1B364B08060B@GEMINI1%3E
>
> �Ҹ��˱Ƚ�ƫ����һЩ��
>
>
> �� 2014��3��10�� ����2:43��zhangyufei <zh...@163.com> ���
>> KVM ����һ��cluster�����8̨���ҵ�������
>> KVMΪʲô������������ʲô���Ŀ��ǣ�
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> �� 2014-03-10 12:04:25��"linuxbqj@gmail.com" <li...@gmail.com> ���
>>>KVM ����һ��cluster�����8̨���ҵ���������4��cluster��Ϊһ��pod��
>>>
>>>������ܼ�����һ̨��������Ԥ���ܶ���VM���Լ�����ƻ���ι滮
>>>
>>>�����Ҫ�ۺϿ���
>>>
>>>
>>>�� 2014��3��10�� ����11:53��Guo Star <gh...@gmail.com> ���
>>>> �о�Ӧ�����ⲻ��û��share storage����һֱ�����ڵĹ��ܣ���Ҫ��vpc��Щ���ӵģ�Ӧ��ûʲô����.
>>>>
>>>>
>>>> �� 2014��3��10�� ����10:37��zhangyufei <zh...@163.com>���
>>>>
>>>>> ���ǵĻ�����256G�ڴ�
>>>>> 24�ˣ����󣩡�2.3gz
>>>>> Ӳ��600m��16 R5
>>>>> ǧ������
>>>>> ����һЩ������֪��������һ��zone һ��pod һ��cluster �������̨Ϊ�
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>> �� 2014-03-10 10:21:47��"�W�ſƼ� �S�ȭt / Carl Huang" <ca...@edyna.com> д����
>>>>> >�韩��Ԕ������һ����֮�����ُ�ķ�����Ҏ�񡢴惦�O��Ҏ�񡢽��Q�CҎ���@�Ӳ����k�������u��
>>>>>
>>>
>>>
>>>
>>>--
>>>����� (Born Bai)
>>>
>>>������ԴԸ����Ϣ�������޹�˾
>>>
>>>Mail: linuxbqj@gmail.com
>
>
>
> --
> ����� (Born Bai)
>
> ������ԴԸ����Ϣ�������޹�˾
>
> Mail: linuxbqj@gmail.com



-- 
����� (Born Bai)

������ԴԸ����Ϣ�������޹�˾

Mail: linuxbqj@gmail.com

Re: Re: Re: 关于cloudstack大集群稳定运行的问题

Posted by "linuxbqj@gmail.com" <li...@gmail.com>.
�Ǵ��ˣ�xenserver����8̨
kvm��16̨

�ٷ��IJο�����
http://cloudstack.apache.org/docs/en-US/Apache_CloudStack/4.0.2/html/Installation_Guide/host-add.html
�������

���������Թ�����16̨kvm��cluster

http://mail-archives.apache.org/mod_mbox/cloudstack-users/201310.mbox/%3Csig.09949c670f.3770BB392005A24593DB581CBE1B364B08060B@GEMINI1%3E

�Ҹ��˱Ƚ�ƫ����һЩ��


�� 2014��3��10�� ����2:43��zhangyufei <zh...@163.com> ���
> KVM ����һ��cluster�����8̨���ҵ�������
> KVMΪʲô������������ʲô���Ŀ��ǣ�
>
>
>
>
>
>
>
>
>
>
> �� 2014-03-10 12:04:25��"linuxbqj@gmail.com" <li...@gmail.com> ���
>>KVM ����һ��cluster�����8̨���ҵ���������4��cluster��Ϊһ��pod��
>>
>>������ܼ�����һ̨��������Ԥ���ܶ���VM���Լ�����ƻ���ι滮
>>
>>�����Ҫ�ۺϿ���
>>
>>
>>�� 2014��3��10�� ����11:53��Guo Star <gh...@gmail.com> ���
>>> �о�Ӧ�����ⲻ��û��share storage����һֱ�����ڵĹ��ܣ���Ҫ��vpc��Щ���ӵģ�Ӧ��ûʲô����.
>>>
>>>
>>> �� 2014��3��10�� ����10:37��zhangyufei <zh...@163.com>���
>>>
>>>> ���ǵĻ�����256G�ڴ�
>>>> 24�ˣ����󣩡�2.3gz
>>>> Ӳ��600m��16 R5
>>>> ǧ������
>>>> ����һЩ������֪��������һ��zone һ��pod һ��cluster �������̨Ϊ�
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>> �� 2014-03-10 10:21:47��"�W�ſƼ� �S�ȭt / Carl Huang" <ca...@edyna.com> д����
>>>> >�韩��Ԕ������һ����֮�����ُ�ķ�����Ҏ�񡢴惦�O��Ҏ�񡢽��Q�CҎ���@�Ӳ����k�������u��
>>>>
>>
>>
>>
>>--
>>����� (Born Bai)
>>
>>������ԴԸ����Ϣ�������޹�˾
>>
>>Mail: linuxbqj@gmail.com



-- 
����� (Born Bai)

������ԴԸ����Ϣ�������޹�˾

Mail: linuxbqj@gmail.com

Re:Re: Re: 关于cloudstack大集群稳定运行的问题

Posted by zhangyufei <zh...@163.com>.
KVM 建议一个cluster里面放8台左右的物理机
KVM为什么有这个建议出于什么样的考虑?










在 2014-03-10 12:04:25,"linuxbqj@gmail.com" <li...@gmail.com> 写道:
>KVM 建议一个cluster里面放8台左右的物理机,4个cluster作为一个pod,
>
>最好是能计算下一台物理机上预计跑多少VM,以及网络计划如何规划
>
>这个需要综合考虑
>
>
>在 2014年3月10日 上午11:53,Guo Star <gh...@gmail.com> 写道:
>> 感觉应该问题不大,没有share storage,你一直用现在的功能,不要用vpc那些复杂的,应该没什么问题.
>>
>>
>> 在 2014年3月10日 上午10:37,zhangyufei <zh...@163.com>写道:
>>
>>> 我们的机器是256G内存
>>> 24核(超后)×2.3gz
>>> 硬盘600m×16 R5
>>> 千兆网络
>>> 还有一些问题想知道,比如一个zone 一个pod 一个cluster 部署多少台为妙。
>>>
>>>
>>>
>>>
>>>
>>>
>>> 在 2014-03-10 10:21:47,"網勁科技 黃奕璽 / Carl Huang" <ca...@edyna.com> 写道:
>>> >麻煩你詳細敘述一下您之後會採購的服務器規格、存儲設備規格、交換機規格,這樣才有辦法幫您評估
>>>
>
>
>
>-- 
>白清杰 (Born Bai)
>
>北京开源愿景信息技术有限公司
>
>Mail: linuxbqj@gmail.com

Re: Re: 关于cloudstack大集群稳定运行的问题

Posted by "linuxbqj@gmail.com" <li...@gmail.com>.
KVM ����һ��cluster�����8̨���ҵ���������4��cluster��Ϊһ��pod��

������ܼ�����һ̨��������Ԥ���ܶ���VM���Լ�����ƻ���ι滮

�����Ҫ�ۺϿ���


�� 2014��3��10�� ����11:53��Guo Star <gh...@gmail.com> ���
> �о�Ӧ�����ⲻ��û��share storage����һֱ�����ڵĹ��ܣ���Ҫ��vpc��Щ���ӵģ�Ӧ��ûʲô����.
>
>
> �� 2014��3��10�� ����10:37��zhangyufei <zh...@163.com>���
>
>> ���ǵĻ�����256G�ڴ�
>> 24�ˣ����󣩡�2.3gz
>> Ӳ��600m��16 R5
>> ǧ������
>> ����һЩ������֪��������һ��zone һ��pod һ��cluster �������̨Ϊ�
>>
>>
>>
>>
>>
>>
>> �� 2014-03-10 10:21:47��"�W�ſƼ� �S�ȭt / Carl Huang" <ca...@edyna.com> д����
>> >�韩��Ԕ������һ����֮�����ُ�ķ�����Ҏ�񡢴惦�O��Ҏ�񡢽��Q�CҎ���@�Ӳ����k�������u��
>>



-- 
����� (Born Bai)

������ԴԸ����Ϣ�������޹�˾

Mail: linuxbqj@gmail.com

Re: Re: 关于cloudstack大集群稳定运行的问题

Posted by Guo Star <gh...@gmail.com>.
�о�Ӧ�����ⲻ��û��share storage����һֱ�����ڵĹ��ܣ���Ҫ��vpc��Щ���ӵģ�Ӧ��ûʲô����.


�� 2014��3��10�� ����10:37��zhangyufei <zh...@163.com>���

> ���ǵĻ�����256G�ڴ�
> 24�ˣ����󣩡�2.3gz
> Ӳ��600m��16 R5
> ǧ������
> ����һЩ������֪��������һ��zone һ��pod һ��cluster �������̨Ϊ�
>
>
>
>
>
>
> �� 2014-03-10 10:21:47��"�W�ſƼ� �S�ȭt / Carl Huang" <ca...@edyna.com> д����
> >�韩��Ԕ������һ����֮�����ُ�ķ�����Ҏ�񡢴惦�O��Ҏ�񡢽��Q�CҎ���@�Ӳ����k�������u��
>

Re:Re: 关于cloudstack大集群稳定运行的问题

Posted by zhangyufei <zh...@163.com>.
我们的机器是256G内存
24核(超后)×2.3gz
硬盘600m×16 R5
千兆网络
还有一些问题想知道,比如一个zone 一个pod 一个cluster 部署多少台为妙。






在 2014-03-10 10:21:47,"網勁科技 黃奕璽 / Carl Huang" <ca...@edyna.com> 写道:
>麻煩你詳細敘述一下您之後會採購的服務器規格、存儲設備規格、交換機規格,這樣才有辦法幫您評估

Re: 关于cloudstack大集群稳定运行的问题

Posted by 網勁科技 黃奕璽 / Carl Huang <ca...@edyna.com>.
麻煩你詳細敘述一下您之後會採購的服務器規格、存儲設備規格、交換機規格,這樣才有辦法幫您評估