CloudStack部署手册V1

1、CloudStack部署手册Author:暗黑魔君Email:clovem.fe ng 堆坛刖言最近一直在进CloudStack部署相关工作，但是看了CloudStack的官方文档实在有点头疼，不知道是找的文档不对还是文档确实如此，官方文档个人感觉写的还是有点乱的，除了标题没有做成导航之外，阅读不方便外，内容也不是非常的让人淡定，很多地方进行“go to ”跳转，一篇文章不是从前看到后的，而是看一部分，调至另一部分，可能这就是风格，是我俗了，不过我还就真的看的不是很舒服，搞了将近一个星期了，遇到了很多问题，这两天有相对 大点的突破，趁着很多问题还记得，再次将部署过程整理成该文档跟一起探索的朋友

2、共享，当 然还有很多地方不是很完善，还希望共同探讨进步，本文仅为交流使用，老话一句：没兴趣的 或者鄙视这种简单的问题的朋友请绕道，不管如何，不管好不好，愿意写出来分享，这就是我 的态度，只有共享自己的经验，才能了解到更多不同的见解，共同提高！一、安装要求(1) 管理节点(Management Node)运行CloudStack管理服务跟 Mysql数据库的机器(也就是搭建CloudStack云系统的机器),管理服务器也可以安装在虚拟机上面。操作系统：RHEL 6.2+ 64-bit 或者 CentOS 6.2+ 64-bit 或者 Ubuntu 10.04 或者 Fedora 16 物理机器：

3、64-bit x86 CPU+4G 内存+250GB本地硬盘+至少一个网卡+拥有一个静态IP+主机名 要配置为完整的域名格式(2) 主机(Host)主机是云服务以客户虚拟机的形式运行。每个主机是一台机器，符合下列要求：必须是64位操作系统并且支持HVM(支持Intel-VT 或者AMD-V +64-bit x86 +需要硬件虚拟化支持+4G的内存+36GB的本地硬盘 +至少一个网卡 +静态IP地址当你部署cloudstack 的时候，需要保证虚拟化管理软件（xensever或者vmware vSphere等）上面没有任何已经正在运行的虚拟机.以上给出的是官方需求，在测试环境中可能不需要这么高的

4、要求（3）测试环境本文采用的相关机器配置为：管理节点：（假设IP: 192.1683 105, 主机名为 cloudstack ）在一台xenserver 上面安装的 centos 6.2的64位操作系统（/ce ntos/6/isos/x86_64/）主机：（假设IP为1 ，主机名为 xenserver）一台xenserver 5.6 （因为官方文档上面虽然说6.0可以连接，但是几次测试证明不能添加其至host）,其物理机器配置：16GB内存，2TB的硬盘，64位的英特尔CPU存储节点:（假设IP为192.168.

5、3.12, 主机名为cloudstor ）（用于后面做一级存储跟二级存储使用）：硬盘 2TB,机器配置跟主机配置大致相同。二、安装软件所有步骤均在管理节点上面进行（1）配置系统相关服务1 配置IP:#vi /etc/sysc on fig/network-scripts/ifcfg-eth0DEVICE二"eth0"HWADDR="F6:09:F4:D2:25:DE"NM_CONTROLLED二"yes"ONBOOT二yesBOOTPROTO=staticIPADDR=05NETMASK=255.255.255.

6、0GATEWAY=#service n etwork restart#ifconfig eth0 查看IP是否配置成功。2 配置主机名:#echo “CloudM ”> /etc/sysconfig/network #host name -F /etc/sysco nfig/network/# echo “ 05CloudM ”>> /etc/hosts#host name -fqd n/检查配置是否有效关闭selinux#gete nforce /查看当前seli nux 状态#sete nforce disabled /临时设置

7、selinux状态#sed -i 's/e nabli ng/disabled'/etc/seli nu x/co nfig /修改 selinux置文件，重启永久禁用4 配置系统的本地yum源#mkdir /media/ce ntos/ #mount -t iso9660 -o loop cen tos-6.2-server-x86_64.iso/media/ce ntos#vi /etc/yum.repos.d/ce ntos.reporheln ame=core baseurl=file:/media /cen tos/en abled=1gpgcheck=0#yum c

8、lea n all ;yum list /列出所有的软件包配置ntp服务器# yum in stall ntp -y#vi /etc/ntp.conf/编辑ntp配置文件，将服务器替换成如下服务器0.xe nserver.pool. 1. xe nserver.pool. 2. xe nserver.pool. 3. xe nserver.pool. 重启ntp服务，并且设置其# service n tpd restart ;chkc onfig n tpd on /开机启动(2) 安装CloudStack软件包下载软件包：http:/s

9、ourceforge. net/projects/cloudstack/files/在此我们选用最新版本CloudStack-3.0.0-1-rhel6.2.tar.gz#tar zxvf CloudStack-3.0.0-1-rhel6.2.tar.gz /解压文件脚本文件脚本文件#cd CloudStack-3.0.0-1-rhel6.2 ; ./in stall.sh /执行 in stall> M/ 输入 M安装 Management Server softwares直至出现 Complete! Done.表示安装完成！(3) 安装Mysql数据库#cd CloudStack-3

10、.0.0-1-rhel6.2 ; ./in stall.sh /执行 in stall> D/输入D安装mysql服务软件安装成功后修改器配置文件：#vi /etc/my.cf/在mysqld标签下面添加如下参数inno db_rollback_o n_timeout=1inno db_lock_wait_timeout=600max_c onnection s=350log-b in二 mysql-b inbi nlog-format = 'ROW'#service mysqld restart /重启 mysql 守护进程#mysql -urootmysql >

11、 set PASSWORD二 PASSWORD('123456');/设置数据库管理员root用户密码为123456mysql > quit;#mysql -uroot -p123456 /检查是否修改成功在mysql数据库上面创建名为cloud的用户格式如下：cloud-setup-databases cloud:<dbpassword>localhost -deploy-as=root:<password> -e <en crypti on _type> -m <ma nageme nt_server_key> -k&l

12、t;database_key>其中cloud表示需要被创建的用户，<dbpassword>是其密码-deploy-as表明通过哪种用户部署云数据库以及创建cloud用户vencryption_type>:可选参数，通常有两种类型:file 以及web ,都是用于传递数据库中的加密密码，默认为file<management_server_key>:可选参数，替换默认密钥，用于加密CloudStack属性文件中的机密参数。默认为password。强烈建议您更换一个更安全的价值。<database_key> : 可选参数，跟 <managemen

13、t_server_key> 类似，默认为 password。执行该脚本：#cloud-setup-databases cloud:123456localhost -deploy-as二root:123456 -e file -m123456 -k 123456 /密码自己设定即可直至出现“ CloudStack has successfully initialized the database.” 表明云平台数据库初始化成功。(4) 启动管理服务#cloud-setup-ma nageme nt /改命令启动管理服务的同时，同时设置iptables 跟sudoer相关参数出现” Clou

14、dStack Management Server setup is done.”表明启动成功。(5) 搭建NFS服务器在cloudstack 平台中，有两种存储类型：1 一级存储：Primary Storage一级存储跟集群相关联，用于为集群中所有运行在主机(hosts )上面的虚拟机存储硬盘跟卷文件，一般来说，至少需要一个一级存储，为提高性能，尽量部署在接近主机(hosts)的位置。可以通过ISCSI或者NFS技术实现2 二级存储：Secondart Storage二级存储跟zone相关联，其存储了以下文件：模版文件-可以启动虚拟机的操作系统镜像ISO镜像-操作系统光盘镜像硬盘卷快照一存储了

15、用户恢复或者创建新模版的虚拟机数据副本。二级存储可以使用NFS服务或者 Openstack对象存储技术(Swift ),最小的容量为100GB其需要部署在跟客户机同一区域(zone)中，并且对于区域中的主机都是可用的。 在存储节点(cloudstor )上面，安装 nfs服务(存储节点操作系统为ubuntu 11.10)#apt-get in stall n fs-kernel-server -y#apt-get in stall lvm2 -y划分100GB大小的逻辑卷 clovemprimary划分100GB大小的逻辑卷 clovemsec on dary并且进行格式化#mkdir /pr

16、imary /sec on dary#mount /dev/VG-CloudStack/clovemprimary /clovemprimary#mount /dev/VG-CloudStack/clovemsec on dary /clovemsec on dary#df -H /查看分区大小#vi /etc/exports/primary*(rw,as ync,no_roo t_squash )/sec on dary *(rw,as ync,no_roo t_squash )#service n fs-kernel-server restart /重启服务#exportfs /查看导出的

17、存储4 在管理节点 (cloudstack) 上面,仓U建/mnt/primary /mnt/secondary目录，挂载cloudstor上面的存储目录#showmou nt -e 2#mou nt 2:/primary /mn t/primary#mou nt 2:/seco ndary /mn t/seco ndary挂载进行测试以及制作系统模版文件5 准备系统虚机模版二级存储必须存放一个用于创建CloudStack系统虚机的模版文件。使用cloud-install-sys-tmplt命令检索跟压缩系统镜像模版，因为我们使

18、用的xenserver ,所以我们使用如下命令进行操作：# /usr/lib64/cloud/age nt/scripts/storage/sec on dary/cloud-i nstall-sys-tmplt -m/mn t/sec on dary -u on/acton-systemvm-02062012.vhd.bz2 -h xen server -s <opti on al-ma nageme nt-server-secret-key> -F注意：1.<opti on al-ma nageme nt-server-secret-key>，如果你之前在执行clo

19、ud-setup-database的时候将数据库的加密类型设置为web的话，此处的这个参数就必须添加，如果根据本文操作，可以省去”-s vopti on al-ma nageme nt-server-secret-key>”笔者建议操作的时候，手动下载，不然速度实在够慢，而且出错几率会大很多。http:/dow nl on/acton- systemvm-02062012.vhd.bz2文件，可以通过迅雷等其他工具下载较为快速，本文通过其他下载工具下载，再上传至管理节点的/tmp目录下面，通过下面的命令执行操作：# /usr/lib64/cloud/age nt/scripts/stor

20、age/sec on dary/cloud-i nstall-sys-tmplt -m/mn t/sec on dary/ -u file:/tmp/act on- systemvm-02062012.vhd.bz2 -h xen server -F2.如果不手动下载。直接执行操作的话，需要保证本地磁盘剩余空间至少有5GB否则不能执行！如果在划分虚拟机的时候，没有注意这个情况，直接默认安装操作系统，没有进行详细分区，笔者使用的 xenserver安装虚拟机，全部虚拟硬盘默认大小为8GB根分区只有 3GB可用，不能执行成功，但是由于根分区为LVM所以可以通过从其他机器划为ISCSI存储进行扩容，

21、此处不详谈。一般情况下面，大小还是足够的。3.执行命令看到 Successfully in stalled system VM template to/mn t/seco ndary/template/tmpl/1/1/之类的信息后，说明准备成功。可以进入/mn t/sec ondary目录中进行查看相关内容。三、配置组件进入用户界面进行相关云平台相关组件的配置，包括zon e,pod,host,cluster等图1组件基本框架(1) 部分概念Zone:区域是CloudStack部署中最大的组织单位。一个区域通常会对应到一个单一的数据中 心，虽然它是允许有一个数据中心的多个区域。将基础设施组织

22、进区域的好处是提供物理隔离 和冗余。例如，每个区域都可以有自己的电源和网络上行，区域可以被广泛的被地理分离(尽 管这不是必需的)Zone包含一个或者多个 Pods,每个Pod包含一个或者多个主机组成的多个集 群，以及一个或者多个一级存储服务器。区域中被所有pods进行共享的二级存储Pod:一般代表一个机架，同一pod中的主机处于同一子网内Cluster:就是-集群，由多个主机组成的集群Host: 一个主机，集群中的主机，此处可以理解成一台装有xenserver的物理机器primary storage:上面已经说明sec on dary storage:上面已经说明man ageme nt se

23、rver:管理节点，不多阐述mysql cloud db:用于存放相关数据信息，诸如网络地址等等，可以通过mysql客户端登入查看相关表以及相关属性。安装步骤打开浏览器，输入http:05:8080/client_用户名:admin 密码：passwordHello and Wetcome to douciSte.c：kTfert1 HitswiO Mid!rj Liip.-i ycji«r cslu-imrJ"S-tH-e'k 1rv"TOKfeec tw- q bw* 亡曰召 < >uVfwnir<c'

24、'|j4rviru”iilrjwFa 町*！ i lp a Lu Ij-uAlI bxbIjIK:. “rhrcrl由.ty&'FtelInlmartru-d-u-na a.*> a 'S-vfvtcb (I n n.scUckikIs C IcflkFS-l.«i.-<r<kT1-1 n*<ian Agw th-c n-utwortL. srlorabQ>o ->e»«T<is>ul<rtti鼻* up dD'U-cd in-frjiKin-idurw. IL!

25、87; dc-ud S<udc：Bb- 'bo dw p-lc-y. mimn口*一 KJ-ird! uon十+Qura phjth-IiQ «nMronma-FkEBi.E.«ierrha wio lEHeyow右moaflv Fuft*ow*re. CKMJdBucK"p-FWtaJc 3 -a 'Luqw itvcx ufcMuc! iri ri-ci.3Li<u<r4u«c »>nwara 3d.ciMJk Tut tlcfrmriri FMljE iJfiLdtvgm -ola cl aHOWi

26、rajc - dwkww rfn-g aJII a<irssa ntiiMl -cc rnvDnwnn to b-u riel. d-sp4ax and m .n-u-g-anrd e uTLi-lgnandi BrncPi o-p-a n -»a<jrc andm iu in waruanH ath .vnJInJs-iM , wati itw c-p-sn -vcuma%WI-FU£>rL n ff-HTiinQtcWv n,TMXM4Vlr'lMaLli图2 CloudStack 欢迎界面图3修改CloudStack管理员密码Hello an

27、d Welcome to CloudStackThis will aid you in sening up your CloudStack1'-' installationLet s add a zoneis the isngest cr芮nizatur unit within a CkiudStack d*ptoyrnent. A zone lyp corresponds to a single datacenter, although it is pemiissftte to have multiple zones in a datacenter. The benefit

28、o! oganisng mtrasl剂dute 孑Etozones呂 to provide physi詢 isclatNMi and fedundanc. For exam卩le. eac*i <ine can have 才£ u>wti power supply anc network upink, and the zones cjin he w>d； separated geogcaphicaly (ttiaugh this is not required).图4 Zone简介图5添加ZoneHelio and Welcome to cloudstackThis

29、 rout vAW atd you in serttng up your cloudstack1M jnsiallationLet's add a. podWtui a, a pod?A pod orce n r pieefais-白 sing 址 raek. Ho呈土 迥 Ete 迪附芒 pbd祈 the sanie subfiei.A pod is the secorid-largest ora-cinizflt*anfflj unit wrthin n CtotKSSlock dcptaymcni Pods are OTntamctj w<hri £d>ne

30、s. EacJ1! zumie ean> uiiwm one m m-ortf pgJ* in U谁 曰白応 Iri&iuUaiJtOii, g虹 wiN have jui one pod in your zone图6 Pod简介图7添加PodHello and Welcome to CloudstackThis tour will aid you in setting up your ClaudStack installationAcW guest network Qotcway: |3L9£1 皈;fT-iP|192 163 3 TOO | 11-924&B

31、 3 J5C图8添加客户机网络（虚拟机IP范围）图9集群简介Hello and Wefcome to CloudSiackThis tour will aid you in setting up your CloudStack installationAdd cluster图11主机简介Hello and Welcome to CloudstackThis tour will aid you in setring up your clnudstack InstaHatPonAdd Host"McrvB Mail* | 192 .*1' M ? Usefitsme: pOOt图

32、12添加主机图13 一级存储简介Hello and Welcome to CloudStackThis tour will aid you in setting up your Cloudstack instailacionAdd Primary Storage图14添加一级存储图15二级存储简介Hello and Welcome to CloudStackThrs tour will akl you in setting up your Cloud Stack installationAdd secondary storage图16添加二级存储图17配置完成点击Launch启动云平台，由于笔

33、者之前已经安装完成一个系统，本文为梳理文档，host上面已经安装了系统虚拟机，而CloudStack要求host必须是没有运行过任何虚机的操作系统，所以之后的操作就会报错（host不能添加），就不在此截图。全部安装完成之后，可以看到类似这样的界面（之前操作的部分属性不一样，如一级存储一级二级存储的名称不一样，部分配置问题暂时请不要纠结）图18监控界面四、制作模版Cloudstack模版支持两种模式：一种是通过xenserver 制作的VHD文件另外就是直接上传ISO文件作为模版文件 我们首先制作第一种(1) 制作VHD文件(以centos为例)在制作镜像之前，有个问题需要提前说明，xenser

34、ver在安装虚机(也就是制作此处所谓的VHD文件)的时候，如果安装是从xenserver模版中选择安装的系统，安装完成后，可以很简单的装上 xen tools (熟悉 vmware的朋友可以理解为vmware tools )，但是并非从 xenserver 模版安装的系统，就不能成功安装上xen tools ，安装不上的也分为两种情况：<1>安装的操作系统版本过高，在进行安装xen tools的时候会提示没有相应版本的软件包<2>安装的操作系统不是从模版安装，但是版本可以在模版中找到，也可以成功安装xentools，但是重启之后就还是提示未安装。这个现象应该是存在的，暂

35、时不管这么多，笔者也接触xen server没过久，这里也就不对如何使用xenserver进行详细说明了，如果上面提出的这个问题有人可以很好的解决，麻烦告 知，感激不尽。这样的话，通过 xenserver安装一个centos系统就不在此截图说明了，不然就偏题太远了，玩 CloudStack之前应该就熟悉一下.1 安装虚机我们在此通过模版安装的是cen tos 5.4版本的系统，安装完成之后，我们可以将xen tools 一起安装.2 安装 xen tools我们使用xencenter进行连接xenserver，点击安装好的虚拟机，就发现面板上面显示xentools没有安装，我们点击之，然后进入

36、centos系统：#mount /dev/cdrom /mnt/注：部分操作系统需要执行mount /dev/xvda /mnt 进行xen tools 的挂载#cd /mn t/L inux/ ; ./in stall.sh选择y,提示安装完成，重启即可。找出VHD文件登入 host 主机，也就是登录xenserver (1)#xe vm-list /列出所有的虚拟机，记下刚刚安装的虚拟机对于uuiduuid ( RO) : bd90eb07-141b-b1e4-3c3e-9400e35518f4name-label ( RW): CloudTemplate-Ce nt

37、OS power-state ( RO): running#xe vbd-list vm-uuid= bd90eb07-141b-b1e4-3c3e-9400e35518f4uuid ( RO): dedd7df7-d687-1c4f-5e72-10c21a923792vm-uuid ( RO): bd90eb07-141b-b1e4-3c3e-9400e35518f4 vm-name-label ( RO): CloudTemplate-Ce ntOSvdi-uuid ( RO): ae9f2fa0-edbe-4c26-a55d-489fe1265125empty ( RO): false

38、device ( RO): xvdauuid ( RO): b3b93f9d-c711 -b 916-b e13-374e315ad3bdvm-uuid ( RO): bd90eb07-141b-b1e4-3c3e-9400e35518f4vm-name-label ( RO): CloudTemplate-Ce ntOSvdi-uuid ( RO): <not in database>empty ( RO): true device ( RO): xvdd记下 device 为 xvda 的 vdi 号：ae9f2fa0-edbe-4c26-a55d-489fe1265125#f

39、ind / -n ame *ae9f2fa0-edbe-4c26-a55d-489fe1265125*会列出一个VHD文件：/dev/VG_Xe nStorage-0a8420e2-d4ec-8ace-c551-9830d946ed2d/VHD- ae9f2fa0-edbe-4c26-a55d-489fe1265125 4 上传VHD文件至web服务器我们将192.1683 12同时作为web服务器，如何配置就不说了。这个是基本技能VHD或者其lv文件都而且这边上传该文件还有个非常有意思的问题，就是目录下面的链接文件不可以通过scp或者sync命令直接上传至远程服务器上面，会一直提示not a

40、 regularNFS的方法进行解决,file，因为没有找到很好的解决方法跟相关有效命令，笔者采用的还是 虽然笨，但是解决这个问题了在IP为2(cloudstor)的服务器上面，在足够大的分区中建立/cloudtemplate 目 录,比如在根分区中#mkdir /cloudtemplate #vi /etc/exports添加/cloudtemplate *(rw,s ync) #service n fs-kernel-server restart#chmod 777- R /cloudtemplate另外将web服务器的DocuementRoot设置为/cloudte

41、mplate , 重启服务 在 host(1)上面执行#mount t nfs 2:/cloudtemplate /mnt/#cp /dev/VG_Xe nStorage-0a8420e2-d4ec-8ace-c551-9830d946ed2d/VHD- ae9f2fa0- edbe-4c26-a55d-489fe1265125/mn t/cloud-ce ntos.vhd/通过最简单的cp命令直接上传值 web服务器,因为Cloudstack只能识别*.vhd的文件而不能 够识别VHD-xxx的文件，所以上传过程中需要该后缀名。#watch du

42、- h /mnt/cloud-centos.vhd /监控传输状态上传完成之后，通过浏览器查看web服务器上是否已经成功显示，并且权限足够用于下载使用。VHD增强版-随机密码版在后面CloudStack平台中上传模版的时候，会有个选项:password enabled,也就是允许用户自己进行修改实例的管理员密码。需要实现这个功能，需要做如下操作：1 下载脚本文件:cloud-set-guest-passwordLinux:/dl/cloud-set-guest-password2 将其拷贝至模版的/etc/init.d/中，并且给与可执行权限chmod

43、a+x /etc/i nit.d/cloud-set-guest-password3 对于 Fedora,centos/rhel 或者 debian 使用，添加至 chkconfig列表chkconfig- add cloud-set-guest-password对于 Ubuntu :运行 sudo update-rc.d cloud-set-guest-password default 98 测试：mkpasswd我们使用的是 CentOS,执行第 chkconfig- add cloud-set-guest-password ISO模版关于ISO作为模版，直接上传至web服务器即可。五、启

44、动实例（1）上传模版上面一段内容也提及了上传模版，但是上面仅仅是上传在xenserver上面制作的虚机（*.vhd ）文件至web服务器上面供 CloudStack下载至其二级存储，用于启动实例使用。登录 05:8080/client/ 进入管理界面，在上传模版之前，需要进行一项配置：Select yiew：1点击全局配置（Global Setting ），查找:secstorage【非常重要】舗secstorije. allowed, internal. Bt鮎separated list of cidrs internal to the daUewrite

45、r that can homt template downlaid servers192463.3.12secstorage图19全局设置参数点击操作下面的编辑选项，将这个参数的值（value）设置为2，表示允许跟2进行存储通讯（这个系统有时候会自行汉化，不过翻译得有点雷人，且不管）， 这一步必做，否则在下面上传模版的时候，查看上传状态会一直出现”conn ection refused2点击左边的模版（Template）=创建模版图20创建模版NameZonel-perviisorOrdercs-centasZONEJXenServer±T A *CenOS 5.6(64-bitiicGUI (XenSeiveij*ZONEJXenSeiverHF 桑* SystemVM Template (XenServer)ZONE JXen