cloudstack部署运维手册

CloudStack部署运维手册CloudStack部署运维手册 安装 配置 制作Windows模 【1】无法成功添加VCenter中的ESXI主 【2】VMFS协议的主添加失 【3】基础架构中的系统VM一直处于starting状 【4】多台Cloudstack管理同一VCenter导致SSVM启动失 【5】集成XenServer，主报错 【6】集成XenServer，主报错 【7】集成KVM报错：`/mnt/xx':Invalid 【8】CloudStack4.1集成KVM，创建的实例不能够被通【非启动失败 【9】制作RHEL6.3模板：创建的实例网卡会变为 【10】新建项目中的虚拟机不能被 【11】主机重启后部分实例显示running，但是不 六．参数优 NVSphere（EXSi+phre套件进行主机的管理，在很大程度上面还不能够全方位的对整个架构进行统一的安全认证，审控，导致整套IT基础架构的管理低效。本方案采用某公司自主开发的IT基础架构管理平台，结合CloudStack本文为CloudStack+EXSi部署手册，主要涉及CloudStack台的安装，ESXiCloudStack平台任何功能实现的代码语细概念的解释请参考其手册，任何部署过程中产生的疑问均以手册操作为在本文第四章，讲述了如何安装其他虚拟化平台，如XenServer，KVM，以及如何通过配置让CloudStack管理节点，第五章讲述了在配置过程中遇到的各种问题，包括不能添加主机，不能添加主等等。本章节列出该环境中涉及CloudStackyumCloudstackYUM IPESXI 2003StandardRHEL6.3RHEL6.3安装配置主机名跟IP[root@cloud~]#cat[root@cloud~]#cat/etc/sysconfig/network-scripts/ifcfg-eth0[root@cloud~]#servicenetworkrestart//[root@cloud~]#echo“3 cloud”>>/etc/hosts//设置本地解析记录[root@cloud~]#hostname YUM[root@cloud~]#cat/etc/yum.repos.d/yum.repo[root@cloud~]#mount/dev/sr0 [root@cloud~]#yumcleanall;yummakecache;yumrepolistNTPntp.conf文件中如下三行server0.server1.server2.[root@cloud~]#cat/etc/ntp.conf|grep'' #localclock stratumntp.confntpd[root@cloudstack~]#servicentpdrestartShuttingdown Starting reachreach17的时候，NTP服务器为可用状态，否则，关闭跟[root@cloud~]#iptables-F;iptables-Z;iptables-X //清空iptables规则[root@cloud~]#serviceiptablessave //保存iptables规则iptables:Savingfirewallrulesto/etc/sysconfig/iptables:[ [root@cloud~]#serviceiptablesrestart //重启iptablesiptables:Flushingfirewallrules: OK iptables:SettingchainstoACCEPT:filter iptables:Unloadingmodules: iptables:Applyingfirewall [root@cloud~]#geten//查看当前状态的selinux状[root@cloud~]#sed-i's/enforcing/disabled/g'/ 修改selinux[root@cloud~]#cat/etc/selinux/config|grep -v'^#'|grep-v'^$'|grep修改selinux状态后需要重启生效，如下操作为设置当前状态为Permissive[root@cloud~]#seten [root@cloud~]#geten[root@cloud~]#rebootCloudStackcloudstack点击CloudStack相关RPM将所有RPM括 至 [root@cloud~]#yuminstallcreaterepo[root@cloud~]# -p-d- [root@cloud~]#cat/etc/yum.repos.d/cloudstack.repo[root@cloud~]#yumcleanall;yummakecache;yumCloudstack[root@cloud~]#yuminstallcloud-–y//安装cloudstack组[root@cloud~]#yuminstallmysql-server–y f的[mysqld]下添加如下字段[root@cloud~]#servicemysqld //Mysql[root@cloud~]#mysqladmin password123456mysql服务器[root@cloud~]#mysqlurootp123456eGRANTALLPRIVILEGESON*.*TOroot@'%'IDENTIFIEDBY'123456'"; //设置root登录权限cloudstack[root@cloud~]#cloud-setup- cloud:123456@localhost--deploy-as=root:123456-efile-m123456-k其中其中cloud表示需要被创建的用户，<dbpassword> cloud/mnt/secondary-uxenserver-s<optional-management-server-secret-key>-/mnt/secondary-uvmware-s<optional-management-server-secret-key>-/mnt/secondary-ukvm-s<optional-management-server-secret-key>-<encryption_type>：可选参数，通常有两种类型:file以及web,都是用于传递数 ，默认为file<management_server_key>:可选参数，替换默认密钥，用于加密CloudStack属性文件中 参数。默认为password。强烈建议您更换一个更安全的价值>:在CloudStack环境中，有 跟辅 的概念，或者叫做一 跟二 并导入vmware的模板文件。节点IP：4主机名：yun_pt_4，NFS共享 [root@yun_pt_4~]#cat/etc/exports [root@yun_pt_4~]#service rpcbindrestart;serviernfs [root@yun_pt_4~]#chkconfigrpcbindonchkconfignfson设置开机启动注：此处 仅作为辅 使用，因为本环境的 使用 VMFS格式 CloudStack[root@cloud~]# [root@cloud~]#mount-tnfs VMForForFor本文环境中的虚拟化技术为VMWare，选择ForvSphere的方式，为了使得操作 工具先将系统VM模板 拷贝到CloudStack管理节点中的任意 - /secondary/- - -[root@cloud~]#umount /secondary;rm–rf/secondary//管理节点卸载辅助[root@cloud~]#cloud-setup-management// 启动Cloudstack服务配置 上图为CloudStack的登陆界面，默认用户名/为CloudStack选择“我以前使用过CuSak，跳过此指南，若按照该安装指南进行配置，默认在选择虚拟化技术的时候只有eSrvr&&KV没有VMare选项，故不适用该指南。在上文安装CloudStack中我们介绍了二级的作用是用于虚拟机模板 将其值设置为二级的IP地址或者二级所在的网段，本文将其设置为其图成功设置二级相关参[root@cloud~]#/etc/init.d/cloud-management [root@cloud~]#/etc/init.d/cloud-management Startingcloud- 重启之后，需要重新登录进行相关配CloudStack的基础架构均为空值，此处涉及多个概念，简单在此描述一下区域是uak部署中最大的组织单位。一个区域通常会对应到一个单一的数是提供物理和冗余。例如，每个区域都可以有自己的电源和网络上行，（尽管这不是必需的ne包含一个或者多个s每个d务器。区域中被所有ds进行共享的二级pod中的主机处于同一子网内ESXi的物理机器主【primarystorage】主主要运行的虚拟机实例文件以及卷文件辅助【secondarystorage】辅助用于存放模板文件，ISO镜像文件，硬盘卷快照。图图选择基本区域类型图设置区域相关属性名称：给区域命名DNS1：外部DNS，用于提供客户机解析服DNS2：辅助DNS内部DNS1：内部DNS，用于提供管理VM的解析服务内部DNS2：内部辅助DNS，可以不填EXSI网络方案：默认即可提供点名称：对新的提供点进行命名，规则自定预留的系统网关：设置同一提供点上所有主机使用的网关起始预留系统IP：管理VM的IP起始值结束预留系统IP：管理VMIP图设置网络信下一步即将创建“群集“，上文提到，在CloudStack中群集可以理解成同一VCenterESXI主机中就是如此，VCenter管理的所有主机使用的虚拟化技术必定是VMWARE，当时为了根据某种需求，比如双机热备等高可用集群方案，VCenter会将提供同一种服务的多台机器（物理机OR虚拟机）置于同在此，无需CloudStack跟VCenter中的集群概念，根据文档，通过CloudStackVCenterVCenter上面创建好的CloudStackESXIVCenter的方式从而间接实现对ESXI主机的管理的，此处数据中心名为：yuntest,群集名为：cpicCloudStack群集的相关信息虚拟机管理程序：VMware群集名称：此处指的是VCenter上面创建的群集名称cpicVCenter主机：安装VCenterIPESXIIP地址。VCenter用户名：登陆VCenter的用户名，此处为administratorVCenter：登陆VCenter的VCenter数据中心：填写上文提到的VCenter图VCenter中的数据信创建完CloudStack群集之后，其实也就是添加完ESXI主机集合之后，需要创建主，主可以通过两种类型被创建：地之所以加引号，表示本地可能并不一定是VCenter管理的主机上直接挂载的硬盘，很有可能是通过ISCSI协议挂载的外部SAN，总之不管如何，我们只看VCenter的中类型为VMFS的即可，关于代表SAN的ISCSI协议跟代表NAS的NFS协议有什么区别在此不做讨论，查看上图，此处选择名为：primary的VMFS。名称：此处自定义主的名称服务器：填入VCenter的IP地址VCenter数据中心：名称要填写正确，此处填写 数据：此处只写的名称，不带其他标识，填写primary即可二级只能选择使用NFS服务器，原因很简单，在整个配置开始之前，需要在二级中导入支持VMWARE的系统模板文件，此处按照之前配置的二级存储进行填写。路径：NFS图查看基础架构是否正常为0，系统VM数目为2之外，其他所有组件的数目均为1。系统VMVM系统VM是不同于ESXI主机上创建的普通虚拟机的，他们是CloudStack台SecondaryStorageVM：简称为SSVM，用于管理二级的相关操作，如模板跟镜像文件的上传与，快照，volumes的存放，第一次创建虚拟机时从二级拷贝模板到一级并且自动创建快照，每一个资源域可以有多个SSVM，当SSVM被删除或停止，它会自动被重建并启动。ConsoleVM：用于在web界面上展示控制台。制作Windows以上都配置成功之后，开始制作跟上传模板了，关于如何制作模板，跟openstack比起来，cloudstackWindows的】，只要把系统里面进行定制化配置之后，关闭系统，拷贝到一个web服务器上面即V1相同点DHCP本章节着重讲述如何制作 ISOISOWindowsVCenter下面导出OVA格式的模板即可。【1】上传ISO图上传ISOISOcd1ISOcd2【2ISO镜像上传完成之后，点击实例进行添加操作，选择ISO图图30GB图填写实例名，并启动【3图开始安装操作系统F8图选择系统安装分区图选择文件系统类型图设置主机名跟图第一阶段安装完成图开始安装第二张卸载，然后挂载图CD2信【4】安装VMWare右击虚拟机:i-2-45-VM安装/VMWareVMWare【5】使用sysprep参考参考：系统准备(Sysprep)工具为Windows（vista7）的安装准备复制、审核和客户交付功能。使用（也称为映像）可以捕获可在整个组织中重复使用的自定义Windows映像。使用审核模式可以将其他设备驱动器或应用程序添加到Windows安装。安装其他驱动程序和应用程序之后，可以测试Windows安装的完整性。使用Sysprep还可以准备要交付至客户的映像。客户启动Windows时，会启动“欢迎使用Windows”。拷贝sysprep文件CsysprepD:\SUPPORT\TOOL\DEPLOY.CAB下面的文件到c:\sysprep中图拷贝文件到系 c:\sysprep\setupmgr.exe图使用安装管理器图选择创建新应答文件Sysprep图选择Windows图输入用户跟单位名称图选择默认显示设置图选择正确的时区图选择客户端模图选择自动产生计算机名图填入管理员，不在应答文件中加图网络组建选择典型设置 图区域设置，选择中文(中国图语言选择中文简体图不选择附加命令图不填写任何内容图选择应答文件sysprep.inf图完成安装管理器c:\sysprep\sysprep.exe-reseal-mini-图图sysprep【6】WindowsServer2008R2这个工具进行Sysprep 或者直 如 WindowsAIK,Sysprep图选择安装路径，默认将Windows安装光盘sources 下面的install.wim文件拷贝至C盘 图挂载系统镜像，找到install.wim图打开Windows图右击新建应答文件Windowsinstall.wim图选择创建编录文件图编录文件成功生成图将条 -Windows-International-Core传送至7图下图，不会自动化启动成功。图传送第二个条目-Windows-S-图配 -Setup下的OOBE相关设图配置超级管理员图图保存配置文件到指 如上图所示,保存到C:\Windows\System32\sysprep,文件名默认:Windows图使用sysprep至此，WindowsServer2008R2SP1的模板配置基本完成，关于桌面设置【7】点击装有Windows_Server_2003_R2_SP2然后选择文件---导出---导出OVF模板

图填写OVF除了模板的制作存在一定的不同之外，Linux跟Windows模板上传，启动实StorageB模板CentOS5.3-x86_64.ova/ar/www/tml/ludtak/CntOS5.3-x86_64.ovaCloudStack管理界面 模图URL：指定模板的路径，此处使用web图图模板完成，成图图选择我的模板—图选择数据磁盘类型图选择网络，默认无选项图实例添加（启动）IP图实例在ESXI图虚拟路由器创建成功VCenter查看充当虚拟路由器的虚拟机处于运行状态。至此，CloudStack台从安装，集成VMWARE，上传模板，启动实例都暂时【1】安装XenServer6.0.2图输入回车键开始安装图选择OK图硬件警报，点击ESXI主机上面安装的，所以会报这个问题，提示不能够安装Windows操作系统，物理机不存在该问题(只要BIOS开启CPU虚拟化)图选择是否安装额外包，选择dom0

图调整dem0的内存值，使得其能够支持创建的虚拟机sshxenserver主机备份并修改extlinux.conf[root@xenserver60~]#cp -01//labelxedem0_mem[root@xenserver60~]#sed-i'10s/dom0_mem=752M/dom0_mem=2940M/g'/boot/extlinux.conf//10dem0_memrebootXenServer的控制台均[root@xenserver60 od722/etc/xensource-NTP

图配置参数生效过程申请激活码连接 CloudStackXenServerSupportPackage(该组件功能用于实现XenServer上面的安全组，弹性负载均衡以及弹性IP相关ForXenServer6.0.2，为 如果该主机所在的CloudStackzone使用的是基本网络，则需要禁用重启系统，然后就可以加入到CloudStack【2】Cloudstack集成XenserverVM -/secondary/- -h -CloudStackzone图图选择网络，填入流 为XenServer的网卡Pod图填写图填写XenServer图查看基础架构信息图从XenCenterVMKVM虚拟化一般是建立在RHEL之类的linux操作系统之上的虚拟化平台，RHEVESXI,XenServer这样的平台，但是现在普及最广，应用最广的还是Linux操作系统之上的KVM平台，毕竟那么我们在安装KVM主机的时候，就尽量将RHEL系统打造成一个的虚拟化平台，在安装过程中选择虚拟化平台相关组件，将其他无关组件均去掉，这题。为了让各位对整个环节有一个全面的了解，对KVM主机的操作将从RHEL系统安装开始讲述，直到其被CloudStack管理节点所接管为止，采用的是RHEL6.364位版本，CloudStack采用4.1.1版本，下文使用的是4.04.14.1.1版本不在本文列出，请根据官方文档自行安装。CloudStack/4.1.1/pdf/InstallationGuide/ApacheCloudStack-4.1.1-InstallationGuide-en-US.pdf既然在此处提到4.0版本跟KVM 可以正常添加KVM，并且创建SSVM以及SSVM跟CPVM可以正常启动，并显示running登陆SSVM查看二级 状态，无显示，查看是否存在systemvm 现在/usr/local/cloud下无该 由于3的问题，导致 使用CloudStack4.1的管理端以及AgentSSVM挂载二级【1】安装RHEL6.3图选择安装BootLoader选择Desktop基础包，然后选择Customizenow，进行定制化安装，在下图中，选中左边的Virtualization,将右边的所有选项全部选中，然后下一步，开始安装系图选择所有虚拟化组件图开始安装所选软件包FirstBoot图不RHN服务RHN图提示不会获取系统更新图设置Kdump【2】配置KVM1）网络配置：IP地址设置为:主机名 关于主机名的域对环境的影响请查看/ NTPCloudStack【3】安 跟ESXI与XenServer不同，CloudStack对KVM实例的管理需要通过实现jsvc包，安装Cloud-Agent的时候需要使用到 64/Pa 1.0.1-[root@kvm01 [root@kvm01~]#rm-rf/mnt/cloudstack4.0/repodata/ 重新生成repodata [root@kvm01~]#createrepo -p-d-o/mnt/cloudstack4.0/ [root@kvm01~]#yuminstallcloud-agent //安装cloud-agent包【4】修改libvirt配置文件尝试使用组播DNS。[root@kvm01~]#cp/etc/libvirt/libvirtd.conf listen_tls=listen_tcp=tcp_port=mdns_adv=0 [root@kvm01~]#servicelibvirtd //libvirtd【5selinuxenforcing[root@kvm01~]#sed-i's/enforcing/disabled/g'iptables[root@kvm01~]#iptables–F;iptables–Z;iptables[root@kvm01~]#iptables-IINPUT-ptcp-mtcp--dport22-jACCEPT[root@kvm01~]#iptables-IINPUT-ptcp-mtcp--dport1798-jACCEPT[root@kvm01~]#iptables-IINPUT-ptcp-mtcp--dport16509-jACCEPT[root@kvm01~]#iptables-IINPUT-ptcp-mtcp--dport5900:6100-jACCEPT[root@kvm01~]#iptables-IINPUT-ptcp-mtcp--dport49152:49216-jACCEPT[root@kvm01~]#serviceiptablessave;serviceiptablesrestart[root@kvm01 //重启系统使得selinux[root@kvm01~]#virshnet- //defaultKVMNAT[root@kvm01~]#virshnet-destroydefault//NAT[root@kvm01~]#virshnet- Networkdefaulthasbeen[root@kvm01~]#Networkdefaulthasbeen[root@kvm01~]#virshnet- --all//NAT [root@kvm01~]#cat [root@kvm01~]#cat [root@kvm01~]#servicenetworkrestart [root@kvm01~]#brctl bridgebridgenamebridgeSTPenabled 【7】集成到 CloudStackkvm /secondary/- -- 图选择区域类型为基本IPKVM图编辑IP流量为KVM的桥接设备图编辑podIP图配置IP地址范KVM图图查看基础架构是否完整VMSSVMIPCPVMIP图从CloudStack管理节点对以上IP进试连图从KVMSSVM图查看KVM【8 模板文件—ISO镜【9】通过ISO创建实 图停止实例，查看实例卷图图填写新建模板信息图通过模板RHEL-6.3-x86_64Consoleinstance005IPCloudStackZone*1zone01---VM（SSVM+CPVM）Pod*IP：00-IP：45-45【该配置在zone中的网络配置--IP主：拟Router:IP：00-40podIP：45-45【该配置在zone中的网络配置--IP主：nfs://52/primary【每个Pod对应一个主】辅助：nfs:///secondary【共用一个辅助】Cluster*2cluster01Incluster02In【1VCenter中的ESXICloudStack:VCenter:ESXI主机:1【但可以成功添加VCenter主机】通过对VCenter了管理EXSI主机的VCenter的IP地址为：6，问题解决，后期再新的VCenter上面创建普通用户sjcloudAdministrator组之后，是可以将VCenter以及主机加入成功的，初步估计该问题出在网络层面。【2】VMFS协议的 无法添加VMFS格式的主，NFS协议的可以按照文档的说法，添加 Path(forVMFS).Path(forVMFS).InvSpherethisisacombinationofthedenternameandthedatastorename.Theformatis"/"dentername"/"datastorename.Forexample,"/cloud.dc.VM/cluster1datastore".所以之前一直按照下图方式添加VMFS格式的 通过测试，通过上图的方式添加主均会报错，不能够添加成功。 日志中path的值的结构为：/数据中心/数据中心 现 数据填入：primary，至此【3】基础架构中的系统VM一直处于 正常情况下，zone的一系列组件全部添加成功并启用zone之后VM问题分析：VMIP地址公用IP地址-----------即IP地址IP地址------------即内网IP地址，用于管理使用CloudstackVMVM通过系统VM的IP地址，如果发现系统VM确实已经启动成功，但是网络连接失败，则会显示starting状态，直到网络连接测试正常，才会显示为running1[ESXIIP地址]02[系统VM的IP地址]。从日志看出，是网络的原因造成的，可以手动登陆到系统VM一台，比如登入SSVM：s-1-VM登录名/：执行：/usr/local/cloud/systemvm/ssvm-check.vm 只需要在配置cloudstack的提供点名称跟管理IP的那个步骤填写正确的网关，子网掩码以及管理IP图填写正确的子网信息【4】多台Cloudstack管理同一VCenter导致SSVM启动VCenter：6CloudStack中的SSVM启动总会失败，即使手动开启该虚拟机，一段时间之后，会停止一个CloudStackcloud-management上面的SSVM状态，可以正常启动，并持续正常运行，所以问题出在多CloudStackVCenterCloudStack均会在这个VCenter上的主机上面创建SSVM虚拟机，会有，导致SSVMVCenterCloudStackCloudStackVCenter【5】集成XenServer， 报错XenServerCloudStackCloudStackmysqlXenServer主机:0，结果在创建主的时候报错：

图创建主报CloudStackXenServer的时候，XenServer方式将主挂载了，虽然清空了CloudStack管理节点的所有数据，但是XenServer主机里仍旧挂载着该NFS，所以当CloudStack管理节点在再次去不能够继续添加其他组件，完成整个Zone的创建工作。图查看XenServer上面挂载的主图通过命令列出该图再次通过XenCenter查看是否卸载成 集成XenServer， 报错Failedtoaddstorage根据日志显示，提示我们XenServer上有多个相同UUID的仓库，UUID

图查看UUID为重复的两个通过XenCenter图形化右击两个重复的ID，Forget即可【7】集成KVM报错：`/mnt/xx':Invalid但是到系统VM2013-08-1315:28:01,634WARN2013-08-1315:28:01,634WARN(console-1:null)Exceptionwhiletryingtostart9023com.cloud.exception.AgentUnavailableException:Resource[Host:1]isunreachable:Host1:UnabletostartinstanceduetoUnabletogetanswerthatisofclasscom.cloud.agent.api.Star ...19KVMHost(Cloudstack '/mnt/2c65613e-e5a3-3443-96c9-272fd60502ee/v-2-VM-patchdisk':Invalidargument这个问题的原因从 [root@storage252~]#cat [root@storage252~]#cat [root@storage252~]#ll/primary/ /secondary/-ddrwxrwxrwx3rootroot4096Aug1409:09/primary/drwxrwxrwx3rootroot4096Aug1318:33/secondary/[root@storage252~]#servicenfsstatusrpc.svcgssdisrpc.mountd(pid26157)isnfsd(pid2622226221262202621926218262172621626215)isrpc.rquotad(pid26153)isrunning...[root@storage252~]#exportfs 可以看出NFS服务器的配置文件跟导出的 手动挂载NFS导出的 到KVM主机上[root@kvm01~]#showmount[root@kvm01~]#showmount Exportlistfor52:/secondary [root@kvm01~]#mkdir/mnt/1[root@kvm01~]#mkdir/mnt/2[root@kvm01~]#mount-tnfs52:/primary/mnt/1[root@kvm01~]#mount-tnfs52:/secondary/mnt/2[root@kvm01~]#ll totaldrwxrwxrwx.3nobodynobody4096Aug1409:09drwxrwxrwx.3nobodynobody4096Aug1318:33 [root@kvm01[root@kvm01~]# [root@kvm01~]#touch[root@kvm01~]#touch [root@kvm01~]#ll/mnt/1/total-rw-r--r--.1nobodynobody[root@kvm01~]#ll/mnt/2/total1-rw-r--r--.1nobody可以看出KVM0Aug1409:350Aug1409:35Operationxxx但是可以发现挂载到KVM主机上面的NFS的属主跟属组都是nobody,而我们在NFS服务器上面设置了no_root_squash参数，表明客户端使用root用户创建的文件的权限也应该是root.root，而非nobody.nobody。Aug13Aug1316:50:25storage252rpc.idmapd[19778]:nss_getpwnam:name'0'doesmap' 'doesnotmap''A1sa1:FS-Cache:Netfs'nfs'registeredfor 'doesnotmapinto 2334Aug1315:26:48kvm01kernel:NFS:v4s