l016-老男孩高级架构师体系cloudstack云平台实战113节

理论基 部署安 CLOUDSTACK安装前的准 网络配 添加hosts文件实现集群主机之间相互能够解 关闭 安装epel 安装cloudstack 安装 先决条 Agent安 系统配 搭建一个http服务 制作模 服务方 在企业中搭建自己的私有 部署架 高级网 企业使 使用glusterfs主要的要 启用了HA的虚拟 主机的 性能调 设置和每个主机的总VM数限 CLOUDSTACKAPI调 文档地 API签 及故障处 系统............................................................................................................................... 清理 使用GLUSTERFS报 理论基础云计算的出基本上，基本上，云计算只是一种把IT资源当作服务来提 段。几乎所有IT资源都可以作为云服务提供：应用程序、计算能力 容量、联网、编程工具，以至于通信服务和协作工具IT新的员工或咨 、不需要租赁设施、没有任何种类的基建投资，而且还没有隐性成本。只是一种用表测量出来的、根据使用情况支付的订购费或固定的订购费。只是用您所需的量，而且只按使用 把基础设施当做服务（把基础设施当作服务把基础设施当作服务)处于最低层级而且是一种作为标准化服务在网上提供基 和计能 系统、交换机、路由器和其他系统协作(例如，通过虚拟化技术)处理特定型的工作负载—从批处理到峰值负载期间的服务器 扩大最著名的商业示例是AmazonWeb服务(AWS)，其EC2和S3服务分别提供基本计算和 平台的虚拟化技术的好处利利用率更高—在虚拟化之前，企业数据中心的服务器 利用率一般平均不到50%(事实上，常利用率为10%到15%)。通过虚拟化，可以把工作负载封装一并转移到空闲或使用不足的系统，这就 资源整合—虚拟化使得整合多个IT资源成为可能。除服务器 节省电能/成本服务器硬件上每花 ，就会在电费上增加 (包括服务器运行和散热方面的成本)。利用虚拟进行整合使得降低总能耗和节约大 成为可能节约空间—服务器膨胀仍然是多数企业数据中心的一个严重问题，可扩大数据中心并不总是一恢复(Disasterrecovery)/业务连续(BusinessContinuity)—虚拟化可提高总体 Cloudstack介CloudStackCloudStack是一个开源的云AmazonEC2那样的公共云服务。CloudStack可以通过组织和协调用户的虚拟化资源，构建一个和谐的环境。Cloudstack支持管理大部分主流的hypervisors，如KVM，XenServer，VMware，OracleVM，Xen等。CloudstackZone：Zone对应于现实中的一个数据中心，它是CloudStackzonepodpodclusterhost。提供点（Pods多个提供点，提供点中包含主机和主服务器，CloudStack的管理通信配置一个预留IP地址范围。预留的IP范围对云中的每个区域来说必须唯一。集群（ClustersCluster同一个cluster中的主机有相同的硬件，相同的Hypervisor，和共用同样的。同一cluster集群由一个或多个宿主机和一个或多个主要服务器构成集群的大小取决于下层虚拟器管理。管理员必须在本产品中登记vCenter。每个zone下可以有多个vCenter服务器。每vCenterVMware集群主机（HostsHost就是运行的虚拟机（VM）都装有虚拟机来运行虚拟机。比如一个开启了kvm支持的服务器，一个思杰XenServerESXi服务器都可以作为宿主机。CloudStack点，而区域中包含提供点（就是在逻辑概念上zone>pod>cluster>host，新增的宿主机可以CloudStackCloudStack中存在两种：Primarystorage：一级与cluster关联，它为该cluster中的主机的全部虚拟机提供磁盘卷。一个cluster至少有一个一级，且在部署时位置要主机以提供高性能。Secondarystorage：二级与zone关联，它模板文件，IS像和磁盘卷快照。部署安装cloudstack安装前的准电脑一台，内存电脑一台，内存安装VirtualBox或VMWAREWorkstation虚拟机 安装好2台CentOS-6-x86_64（6.6以上）的虚拟机。M内存+50G硬盘M内存+50G硬盘网络选择：网络地址转换（NAT）包选择：BasicServer。关闭iptables和SELinux。系统配置安网络配eth0一个网络接口。Cloudstack也同样不适合；您需修改配置文件，IP地址，网络掩码等信息修改主机用vi编辑器，里面有一行HOSTNAME=localhost.local(如果是默认的话），修改localhost.local为你的主机名。打开该文件，会有一行localhost.locallocalhost。其中是本地环路（alias将上面两个文件修改完后，并不能立刻生效。如果要立刻生效的话，可以用hostnameyour-hostname作临时修改，它只是临时地修改主机名，系统重启后会恢复原样的。但修改上面两个文件是的，重启系统会得到新的主机名。hostnamehostname–fqdn添加hosts文件实现集群主机之间相互能够解修改每台机器的修改每台机器的localhost localhost 01关闭关闭sedi's/SELINUX=enforcing/SELINUX=disabled/'/etc/sysconfig/selinuxsed-i's/SELINUX=enforcing/SELINUX=disabled/'也可以用viepelcloudstackcloudstackyumepelyum-yinstallepel-cloudstack添加CloudStack仓库，创建/etc/yum.repos.d/cloudstack.repo文件，并添加如下信息或者把安装包到本NTP##yum-yinstallNTP#chkconfigntpdon##chkconfigntpdon#servicentpdstart本文档将配置的环境使用NFS做为主和辅助，需配置两个NFS共享 前需先安装nfs-utils：##yum-yinstallnfs-NFS提供两个不同的挂载点。通过编辑/etc/exports文件即可简单实现。确保/export/secondary/export/secondary/export/primary 限，对应令如下所示：##mkdir-p#mkdir格式化Master节点挂载给/export/secondary 节点挂载 在 文件中加Master xfsdefaults00 xfsdefaults0echo"/dev/sdb/export/secondaryext4defaults00">>/etc/fstabAgent节点echo"/dev/sdb/export/primaryext4defaults00">>mount-CentOS6.xNFSv4设置为以下内容：在/etc/sysconfig/nfs文件中取消如下选项的注释：-AINPUT-mstate--stateNEW-p-AINPUT-mstate--stateNEW-pudp--dport662-j-------111-j-------111-j-------2049-j-------32803-j-------32769-j-------892-j-------892-j-------892-j-------875-j-------875-j-------662-jiptables##serviceiptablesNFS##servicerpcbindstart#servicenfsstart#chkconfigrpcbind#chkconfig管理服务器安CloudStack安装管理##yum-yinstallcloudstack- 数据库安装和配MySQLCloudStack运行正常。##yum-yinstallmysql-MySQL安装完成后，需更改其配置文 log-bin=mysql-binlog-format=MySQL##servicemysqld#chkconfigmysqld设置mysql及范围权mysqladminmysqladmin-urootpasswordmysql-uroot-p123456-e"GRANTALLPRIVILEGESON*.*TOroot@'%'IDENTIFIEDBY'123456'";系统初始##cloudstack-setup-databasescloud:123456@localhost--deploy-thedatabase.”。##cloudstack-setup-上传系统模 mon/scripts/storage/secondary/cloud-install-sys-lt-m/export/secondary/-f/opt/systemvm64template-2016-05-18-4.7.1-2.bz2-hkvm-用户界要CloudStack的WEB界面仅需在浏览器，agent节点及配先决条配置ClouStackAgent安安装KVM仅仅需要一条简单令，但之后我们需要进行一些配置#yum-yinstallcloudstack- 虚拟化配KVMlibvirt#KVMQEMUVNC#DNS/etc/libvirt/libvirtd.conflisten_tlslisten_tls=listen_tcp=tcp_port="16059"auth_tcp="none"mdns_adv=0仅仅在libvirtd.conf中启用”listen_tcp”LIBVIRTD_ARGS="-LIBVIRTD_ARGS="-libvirt##servicelibvirtdKVM554963377721ForthesakeofcompletenessyoushouldcheckifKVMis554963377721系统配登陆到用户界http://<management-server-ip-CloudStack提供一个基于web的UI，管理员和终端用户能够使用这个界面。用户界面版本依赖于登陆时使用的凭证不同而不同。用户界面是适用于大多数流行的浏览器包括IE7,IE8,IE9,FirefoxChrome等。URL是:(用你自己的管理控务器IP地址代替)http://<management-server-ip-你账号的用户ID。默认用户名是admin->用户ID对应的 是password。域->如果你是root用户，此处留空即可。你账号的用户ID。默认用户名是admin->用户ID对应的 是password。域->如果你是root用户，此处留空即可。CloudStackISO、数据卷和快照、宾客网络，以及IP地址。如果用户是一个或多个CloudStack根管理员界面的概在管理服务器安装并且运行后,你就可以运行CloudStack的用户界面.了在这里通打开你自己喜欢的浏览器并这个URL。请把IP地址替换成你自己的管理服务器的IP。如果你看到第一次的向导屏幕,可以选择下面步骤之一进行。**继续执行基本安装。**CloudStack，请选择这个，并且这样你可以CloudStack的机器和使用NFS协议的；一个运行VMs的XenServer或hypervisor我之前用过CloudStack。CloudStackUICitrixXenServer、KVM、VMwarevSphere根管理员的显示出来UICloudStack以及其他仅限于已执行的操作。在初始安CloudStack时，请务必修改默认为http://<management-server-ip-http://<management-server-ip-使用当前root用户的IDUI。缺省为admin，pawword。点击更 按钮输入 ，然后点击确认初始化配选择“基础架 添加区域”按照截图进行配置 起始IP：70 结束IP：89网关 掩码 起始 填写被添加主机的root用户和）名称：primary（default，都不是固定的，自己根据需要进行区分）协议：选择nfs Path：/mnt/mycloud/primary（在第一部分里创建的primary NFS服务器 路径：/mnt/mycloud/secondary（在第一部分里创建 VM5-10分钟启动成功，如果启动失败，查看日志文件进行改进！VM是否启动成功可以查看其状态是否为Running：SecondaryStorageVM：简称为SSVM，用于管理二级的相关操作，如模板跟镜ConsoleProxyVM：用于在web界面上展示控制台。启动虚拟机实搭建一个http服务httpISO系统和镜像模板master节点安装nginxyumyum-yinstall80端口-A-AINPUT-ptcp-mstate--stateNEW-mtcp--dport80-j编辑 autoindexautoindexon;#autoindex_exact_sizeon;#显示文件大autoindex_localtimeon;#显示文件时到 删除所有文件，启动/etc/init.d/nginx/etc/init.d/nginxISO修改全局设置secstorage.allowed设置，二级IS像和模板可以，IP网制作模一一种是通过KVM制作的qcow2或raw文另外就是直接上传ISO文件作为模版文URL输入ISO的地ISOcentosIP对于CentOSudev持久设备规rmrm-frm-fSSHVMsSSHKeys都不相同，否则这样会降低虚拟机的rmrm-f清除日志文从主模板移除旧的日志文件是一个好catcat/dev/null>/var/log/audit/audit.logcat/dev/null>/var/log/wtmp2>/dev/nulllogrotatecat/dev/null>/var/log/wtmp2>/dev/nulllogrotate-f/etc/logrotate.conf2>/dev/nullrm-f/var/log/*-*/var/log/*.gz清除用户历bashhistoryhistory-unsethalt-创建模板服务方除了云中的物理和逻辑基础设施以及CloudStack服务器，你还需要一个用户服务层资源，如通过模版创建虚拟机，磁盘等等。计算和磁盘服务方一个服务方案是一个虚拟硬件特征集合比如CPU数量和速度内存已经磁盘大小。CloudStack管理员可以建立各种方案，接着终端用户在建立一个新虚拟机时就可以选择可用方案。基于用户的选择方案，CloudStack可以发送整合在计费系统中的使用记录。CloudStack管理员必须定义一些服务方案的特征，同时留下一些未定义的，让终端用户输入自己需要的值。这个对于降低CloudStack管理员定义的方案的数量很有用处。代替为每（可选CloudStack管理员未定义，用户可选择磁盘大小。为了创建一个新的计算CloudStack点击添加计算方案 框中，选择如下操作**名称**:****可类型*：磁盘类型应该被分配。系统VM运行时所在主机挂载 作为本地分配。通过的******HA方案**:如果必要，管理员可以选择系统VM和尽可能采用高可用。以管理员权限登录CloudStack用户界面。在左侧导航栏中，点击服务方案。在企业中搭建自己的私有机器建议配CPU:CPU:2C×10核XeonE5-2650v3XeonE5-2650内存：256G（16G*16，单条内存无要求，按照最高性价比采购网卡：10G*2（模块与目前机房的万兆交换机匹配磁盘：600G×2块SAS盘（系统盘，，大小无特殊规定，按公司标准采购6×4TSATA部署架点需要2台机器保障控制节点高可用，计算节点由多台机器（最少2台）组成一个或多个集控制节点架cloudstack管理端、MYSQL和分布式文件系统作为二需求使用一对硬件负载均衡对Web请求进行分流。另一备份管理节点可使用远端站点的MySQL数据以增加恢复能力计算节点架私有云整体架辅助服务器接入管理网络高级网CloudStack中选择并配置区域的网络类型，就无法再修改。网络功基本网高级网网络功基本网高级网支持否是1:1Source否是是在物理路由器上：sFlowHypervisor和虚DNS是是分VLAN来流量。如果你在物理网络中划分了VLAN，确保VLAN的数值在独立cloudstack中使OpenvSwitch（OVS）NiciraNetworks主导的，运行在虚拟化平台（例如KVM，Xen）上的虚拟交换机。在虚拟化平台上，OVS2层交openvswitch安装kmod-openvswitch-1.9.3-kmod-openvswitch-1.9.3-openvswitch-1.9.3-添加如下配置信息到/etc/cloudstack/agent/pertiesCloudStackOpenvSwitch OpenvSwitch是否正确安##lsmod|grep78045#ovs-用桥接的方式 用OVS的方式 bridge的OVSOVS主要是用来在虚拟化环境中。虚拟机之间一个虚拟机和之间的通信所用，如下是VNICVNICvnet数据包从vnetNIC出来，到达桥（虚拟交换机）br100上eth0出去的时候，是按照物理节点上的路由以及默认网关操作的，这个时候该OVSrootbr0表示网桥名称，eth0#ovs-vsctladd-bropenvswitch#ovs-vsctllist-#ovs-vsctlbr-exists#ovs-vsctladd-portbr0eth0#ovs-vsctllist-portsbr0#ovs-vsctlport-to-bropenvswitchovs-vsctl#vs-vsctldel-portbr0#ovs-vsctldel-br企业使CloudStack定义了两种：主和辅助。主可以使用iSCSI或NFS协议。SSD媒介磁盘、模板和快照的格支持支持，通过Shared支持支持，通过Shared支持是支持本是超否是是glusterfs主要的要optionoptionbase-port##cat/etc/glusterfs/glusterd.volvolumemanagementoptionworking-directory/var/lib/glusterdoptiontransport-typesocket,rdmaoptiontransport.socket.keepalive-time10optiontransport.socket.read-fail-logoffoptionrpc-auth-allow-insecureonoptionbase-portend-glusterglustervolumeset<volname>server.allow-insecure添加主如下图所示系统可靠性与高可用管理服务器的CloudStack管理服务器可以部署为多节点的配置，使得它不容易受到单个服务器故障影响。管理服务器(MySQL数据库)本身是无状态的，可以被部署在负载均衡设备后面。停止的所有管理服务不会影响主机的正常操作。所有VM将继续工作。VMsUI、APIHA都启用HA的虚拟衡虚拟机自动开启了高可用特性。当CloudStack检测到开启了高可用特性的虚拟机时将会在相同的可用资源与中自动重新启动该虚拟机。高可用特性不会跨资源域执行。高可用特性只在使用共享主的时候才可以使用不支持使用本地作为主的高主机衡虚拟机自动开启了高可用特性。当CloudStack检测到开启了高可用特性的虚拟机时将会在相同的可用资源与中自动重新启动该虚拟机。高可用特性不会跨资源域执行。性能调增加管理服务器到最大内JVM的最大内存分配可能不足。增加内存:Tomcat配置文件：-XmxNNNmN-Xmx128m-Xmx1024m或更高。#servicecloudstack-management设置数据库缓冲池大MySQL数据库提供足够的内存空间来缓存数据和索引是很重要的：MySQL配置文件：f在[mysqld]部分的datadir下面如下行。使用适合您情况的值。如果MySQL和管理服我们建议设置为内存的70%。下面的示例假设一台的服务器的内存为1024M。MySQL服务#servicemysqld设置和每个主机的总VM数限请咨询您所选择hypervisor的文档，了解此hypervisor能支持的最大虚拟机数量，并将此数值设置在CloudStack的全局设置里。每个群集里虚拟机的活跃程序，并将活跃虚拟机N个主机，而你只能让其中任一主机的停机时间不超过特定时间。那么，你能在此集群达到此数量，必须在CloudStack的用户界面中向此群集分配新的虚拟机。CloudstackAPI调文档地cloudstackAPI调用方CloudStackAPIHTTPGET/POST,关令和参数.无论是HTTP或HTTPS,一个请求都CloudStackAPIURL:WebAPI命令:Web,一个磁盘卷:一个APIGET请求的样例看起来像这样:?每一个API请求格式的组是基本URL+API路径+命令字串签名API签二次开可以做，资产管理6及故障处系统使使用zabbix自带模板即可。Cpu、内存、主机存活、磁盘空间、主机运行时间、系统load。日常情 使用服务器日grep-i-E'exception|unable|fail|invalid|leak|warn|error'/var/log/cloudst为了方便系统，CloudStack管理服务器在/var/log/cloud/management/下grep-i-E'exception|unable|fail|invalid|leak|warn|error'/var/log/cloudstopenvswitch/var/log/openvswitchlibvirt、qemu日志：/var/log/libvirtglusterfsbrick日志日志：/var/log/glusterfscloustackmanagement、agent的日志日志：/var/log/cloudstack恢复丢失的虚拟路由症主机的计划与模你可以使一台主机进入模式。当激活模式时，这台主机将不会接纳新的VMs，同时上面的VMs会无缝地迁移到其他非模式的主机上。这个迁移使用迁移技术并cpu分配到85%就再也建不了虚机#1.00（0~1主机故障后，openvswitch信息不一致ovs-vsctlshow例如：ovs-vsctldel-portglusterfs报<disktype='network'<drivername='qemu'type='qcow2'<disktype='network'<drivername='qemu'type='qcow2'<sourceprotocol='gluster'name='dda5volume/329036b7-5155-4808-9731-1110a71<hostname