朝阳教育城域网应用虚拟化建设项目深化设计方案1 .5-图文

朝阳教育城域网应用虚拟化建设项目深化设计方案承建单位:北京北控电信通科技发展有限公司地址:北京市海淀区花园路13号院网商世纪商务楼3层电话:010-********日期:二零零九年九月目录第一章设计方案(31.1项目概述(31.2设计目标(31.3设计原则(31.4总体方案设计概述(5第二章各子系统详细设计方案(82.1.服务器系统的深化设计方案(82.1.1.IBM设备的升级(82.1.2.HP服务器的规划设计(132.1.3.HP服务器安装位置图(132.1.4.刀片服务器结构示意图(152.2.存储系统扩容实施计划(162.2.1.扩容硬件安装(192.2.2.新增DAE识别(222.2.3.新增光纤交换机接入SAN(222.2.4.新增存储空间划分(292.2.5.主机连接存储(332.2.6.新增存储空间的管理(332.2.7.存储升级规划(342.2.8.CX4-480扩容步骤(372.3.虚拟机系统的深化设计方案(392.3.1.ESX3.5升级方案(392.3.2.新服务器部署深化设计方案(412.4.接入网络系统的深化设计(492.4.1.以太网10Gbps平滑接入(492.4.2.防火墙配置策略(50第三章培训深化方案(513.1VMWARE培训(513.1.1培训目标(513.1.2培训对象(513.1.3培训规划(513.1.4VMware培训目录(523.1.5服务器及存储设备设备原厂操作培训(54第一章设计方案1.1项目概述在朝阳区教委VMware服务器虚拟化项目实施过程中,细化实现步骤,以及使朝阳区教委相关项目人员对实际安装、操作、维护VMware虚拟基础架构软件有所了解。1.2设计目标本方案设计目标,可以归纳为如下五点:1、采用最成熟和完善的虚拟化技术,不片面追求性能和价格,以基础架构的高可用性和可靠性为重;2、应用业务数据集中存储、集中备份,使用专业的数据备份恢复软件,为随时可能出现的灾难做好数据恢复准备;3、数据库服务器建议使用成熟稳定的高性能服务器,并做好双机实现的准备;4、搭建虚拟架构的服务器使用较大的内存和多核处理器;5、成本控制方面,建议选择易于扩展的虚拟架构,做好按需扩展的准备;1.3设计原则对于整个系统的构建,我们的理念是希望设计成一个具备以下特点的系统:先进性方案中的各个部分应推荐符合当代信息技术发展形势,既体现先进技术又比较成熟,并且是各个领域公认的领先产品。系统方案应满足未来各种应用系统对存储备份中心的要求,提供统一平台的服务;对平台软件选择必须具备先进性,以及提供针对各种已有数据源的接口支持。高度可用随着未来更多系统的广泛使用,存储备份中心需要提供更高级别的稳定服务,并具备当异常或灾难发生时的快速恢复机制。系统稳定性和可靠性直接关系到网管系统应用能否正常运行。因此在系统设计中,高可靠性至关重要。高度可扩展整个数据中心系统应当具备极强的灵活性。为了适应整个应用的未来变化,现在搭建的IT基础架构。必须具备高可扩展性和灵活的资源调配。包括虚拟计算资源、协同计算、虚拟存储池、数据生命周期管理、数据归档、存储系统管理、系统容灾等一系列的技术实现方式,为适应未来应用开发和扩展,奠定坚实的基础。完善的数据保护机制通过信息生命周期战略,将数据进行分层存储和保护,可以将特别重要的数据存储在一级光纤存储阵列上,将次重要的数据和过期的数据存储到二级SATA存储设备上,这样不仅可以提高主存储系统的性能和利用率,也降低了总体的投资成本。数据安全性在数据保密、安全措施上采取较缜密的权限与加密管理,以保证系统和数据的安全。平滑过渡系统的建设是逐步完善的过程,本次系统的建设应保障相关各系统的稳定,在工程割接时平滑过渡,不应影响到最终客户的使用。易于管理建立一套易于管理的IT基础架构,用户可以通过一个终端管理整个数据中心的所有IT资源,及时发现计算机系统运行中的问题或者潜在的危险,使整个数据中心处于一个运行良好的状态中。高性价比对于本系统,虽然要使用先进的技术和产品来搭建底层的平台,但我们要通过良好的设计和选择为用户降低投资成本,对于目前已有的建设,我们要尽量使其物尽其能,以降低整个系统的TCO(总体拥有成本。1.4总体方案设计概述目前中心机房所有功能网络区块直接接入核心层,核心层由两台CiscoCatalyst6509交换机组成。两台分别配置一块SUP720-3B引擎、一块4口万兆接口(XENPAK插槽板、一块24口千兆(SFP插槽接口板。万兆接口用于核心互联,以及与大流量服务器区及关键服务器区核心设备互联;千兆接口用于满足其它功能区上联核心层。大流量服务器核心交换设备使用华为QuidwayS8512来担当。利用本交换机配置的两个万兆接口,分别连接两台核心交换机,组成冗余万兆主干,满足本区数据传输需求;本交换机已配置48个10/100/1000Mbps接口,满足本区服务器接入需求。关键服务器区核心交换设备使用CiscoCatalyst6506,通过两个万兆接口上联核心层;并扩展防火墙模块(FWSM,提供关键服务器区的网络安全控制。本次项目对CiscoCatalyst6506进行改造,通过增加WS-X6708-10G-3C模块满足刀片服务器10Gbps的接入。同时本次项目还要对中心机房现有的4台IBMX346,6台IBMX3650和现有的4台虚拟化系统的IBM3850M2ESX服务器进行硬件上的升级。同时4台虚拟化系统的ESX服务器进行虚拟化软件升级后,与新增刀片机BL680c作为本次虚拟化系统的一个集群。系统结构如下图所示:EMCCX-480CESXVMVMVMVMVMVirtualCenterClient图形终端ESXVMVMVMVMVM刀片服务器系统:为两套刀片服务器系统。每套系统包括:12台刀片服务器BL460c(每台BL460c内存为16GB;双核类型为E5504的CPU;2*2.5"双端口72GBSAS热插拔硬盘,2台刀片服务器BL680c(每台BL680c内存为32GB,四核类型为E7430的CPU,2*2.5"双端口72GBSAS热插拔硬盘。每套刀片服务器机箱上LAN网络接口配备为:两台Cisco1/10GbE3125X交换机,每台交换机上配有两个Cisco10GBASE-CX4X2模块。同时每套刀片机箱上配有两块连接SAN网络的直通模块。磁盘阵列系统:通过对客户的实际应用环境调研,朝阳信息中心在2008年虚拟化建设项目中采用了一台EMCCX4-480,本次项目实施我们将对原有EMC设备存储空间进行升级。我们将增加2个磁盘柜,每个磁盘柜中配15*300G的SAS盘。两个磁盘柜通过RAID6后,使整体存储达到7.3T的实际应用。在SAN网络里,我们将增加两台DS-C9134AP-K9光纤交换机,每台交换机将32个SFP端口全部激活,同时还要激活1个10Gbps的端口。两台DS-C9134AP-K9分别连接到EMCCX4-480的两个通道中,达到冗余的连接方式。以太网络的连接系统:信息中心原服务器网络接入设备为一台WS-C6506,此次项目对接入交换机进行升级。我们将增配一块WS-X6708-10G-3C接口板和四块Cisco10GBASE-CX4X2模块。虚拟机系统:本次订购的28台HP刀片机作为本次虚拟化系统的ESX,刀片机安装的是vSphere4.0。VCenter控制台现在使用的是一台IBMx346服务器,IP地址为58.132.8.80,即是VC也是LicenseServer。在VC里有两个集群,同时管理着IBM3850M2和HP刀片服务器。整体的连接方式是这样的:LAN网络端:每套刀片服务器机箱C7000上配备两台Cisco3125X刀片式接入交换机,每台Cisco3125X上配有两块Cisco10GBASE-CX4X2万兆铜缆模块;升级后的WS-C6506增加一块8口WS-X6708-10G-3C万兆接口板,同时接口板上也配有四块Cisco10GBASE-CX4X2万兆铜缆模块。每台刀片交换机上的万兆接口通过15米的万兆铜缆CAB-INF-26G-15连接到接入交换机WS-C6506的WS-X6708-10G-3C的接口板上,从而使服务器接入到中心网络。如上图所示。SAN网络端:由于每台刀片机上都配有一块双端口的HBA卡,所以每台刀片机箱C7000上配有两块16端口4GbFCSAN直通模块,通过多模光纤跳线,每台刀片机箱C7000上的两块直通模块分别连接不同的光纤交换机DS-C9134AP-K9,从而达到冗余的连接方式。由于EMCCX-480为双驱动器,每个驱动器上有两个4Gb/s光纤通道,每一个驱动器通过两条多模光纤跳线分别连接不同的光纤交换机DS-C9134AP-K9,从而达到存储的冗余连接链路。如上图所示。同时,两套服务器系统中每台刀片服务器上都安装配置VMware第四代虚拟架构套件-VMWAREVSPHERE™4.0企业版软件,用于在单个物理服务器实体上,利用HP服务器强大的处理能力,生成多个虚拟服务器,而每一个虚拟服务器,从功能、性能和操作方式上等同于传统的单台物理服务器,在每个虚拟服务器上,再安装配置相关的Windows或Linux操作系统,进而再安装应用软件,这样以前的每个物理服务器就变身成为VMwarevSphere™4.0服务器上的虚拟机,从而大大提高资源利用率,降低成本,增强了系统和应用的可用性,提高系统的灵活性和快速响应,完美的实现了服务器虚拟架构的整合。实际安装中可以根据客户服务器现有条件及运行状况,充分利用原有服务器的资源,只要能达到与我们建议的服务器类似的容量、性能(如添加内存等方式即可满足作为ESXServer的要求。在具体实现中,为了实现数据的集中存储、集中备份以及充分利用VMware虚拟架构中虚拟机可动态在线从一台物理服务器迁移到另一台物理服务器上的特性等,我们已经建议使用有冗余配置的光纤交换机标准的SAN集中存储架构,由VMware虚拟架构套件生产出来的虚拟机的封装文件都存放在SAN存储阵列上。通过共享的SAN存储架构,可以最大化的发挥虚拟架构的优势,进行在线地迁移正在运行的虚拟机(VMwareVMotion,进行动态的资源管理(VMwareDRS,和集中的基于虚拟机快照技术的LanFree的整合备份(VMwareVCB等,而且为以后的容灾提供扩展性和打下基础。为了集中管理和监控虚拟机、实现自动化以及简化资源调配,对物理服务器及其上的虚拟服务器进行统一的管理。仍然保持将VC布署在一台独立的物理服务器上,这样可以保证VC的运行“不受当对虚拟化后的物理机器进行操作时的影响”。新升级后的虚拟机可以直接挂载到VC上,从而达到直接管理的目的。第二章各子系统详细设计方案2.1.服务器系统的深化设计方案本次工程要对4台IBMX346服务器,6台IBMX3650服务器和4台IBM3850M2服务器进行升级。4台IBMX346为闲置的服务器,目前没有任何应用,现有配置也比较少。6台IBMX3650服务器现在承担着机房里的一些应用,主要是放在大流量服务器区和关键应用服务器区。4台IBM3850M2服务器为信息中心现有的虚拟化系统的ESX服务器。朝阳教育城域网应用虚拟化建设项目深化设计方案北控电信通科技发展有限公司升级前各服务器的状态如下:-9-朝阳教育城域网应用虚拟化建设项目深化设计方案北控电信通科技发展有限公司本次工程要对上述的14台服务器进行升级:根据现场探勘需要升级的4台闲置的IBMX346服务器升级的内容比较多,需要每台机器都要增加CPU,7KRAID控制器,2*1G内存和46GSCSI硬盘。4台闲置的IBMX346服务器每台都有1颗3.2GHZ的CPU,需要升级后的服务器每台要包含两颗CPU。投标时购买的CPU为3.0GHZ,则升级时需要将4台闲置的IBMX346服务器的3.2GHZ的CPU合并。最终升级后4台IBMX346服务器其中两台(产品序列号为:99AVEKL和99AVLZX为双3.2GHZCPU的服务器(0621/0698为1组,0113/0788为1组,两台(产品序列号为:99AVEMA和99AVBTW为双3.0GHZCPU的服务器(0460/0283为1组,0351/0085为1组。序列号为99AVLZX和99AVBTW的服务器升级后为5块146G的SAS盘,其余的两台为6块146G的SAS盘。所有的服务器升级后都有7KServerRAID。升级后的服务器安装放置在第PC3-4号机柜中,目前尚没有任何应用,没有连接到中心机房的局域网中。升级后的服务器安装微软操作系统,进行系统和硬件的稳定化测试。(具体配置见下附表6台IBMX3650服务器现在承担着机房里的一些应用,主要是放在大流量服务器区和关键应用服务器区。本次升级对IBMX3650进行内存、硬盘的升级。由于现有数据量比较大,升级后硬盘肯定由原有的RAID1变换成RAID5分区,这样势必会造成数据的丢失。为了保证数据的完整和安全性,我们对其中4台机器(37-6,37-7,31-1,31-2只对升级后的硬盘做RAID,原有的硬盘数据不变。而对另2台机器(39-6,35-5采取重要数据备份以后新旧硬盘重新整合做RAID。待升级机器加电测试通过后,再将数据回迁。4台IBM3850M2服务器为信息中心现有的虚拟化系统的ESX服务器。本次升级只对服务器的内存进行升级。在升级之前将待升级的服务器上的应用Vmotion到下一台ESX服务器上,待升级完毕,加电测试成功后,再将应用Vmotion回来。升级后的产品将由原有的虚拟化系统中划分出来,规划到本次虚拟化系统集群系统中,形成新的HA系统。升级后各服务器的状态如下:-11-根据对现场机房环境的调研,以及甲方对设备环境的要求,做出如下机柜结构设计:1.升级后的4台IBMX346(2U/台服务器布置在PC3-4号机柜中,与原有的2台IBMX366(4U/台服务器在同一机柜中,4台IBMX346(2U/台服务器分别排34-1至34-4号位置,1个KVM液晶套件(1U/台。服务器之间有1U的差,以便区别。3.原则上,为了通风散热考虑,每台设备之间留1U的空隙。由机柜距底10公分处开始安装机器。4.机柜分布示意图如下机机34图1:机柜结构示意图经现场测量HP刀片机机箱的尺寸比第二排机柜的规格尺寸大,所以新到服务器只能安装在机房第三排或第四排的黑色机柜中,经现场勘查,第PC3-3号机柜和第PC3-8号机柜安装刀片的条件是最合适的。所以我们建议将PC3-3号机柜中的4台服务器迁移到PC2-2号机柜中;将PC3-8号机柜中原有设备上移。每套刀片安装时距底部20公分,这样有利于机器的散热。2.1.根据对现场机房环境的调研,以及甲方对设备环境的要求,做出如下机柜结构设计:1.将PC3-3号机柜中的设备移到PC2-2号机柜中。机机机机21机机机机机PC3-3机机机机机机机机机PC2-2机机机机2.两套刀片服务器分别布置在机房第PC3-3、PC3-8号两台42U机柜里面。3.第PC3-3号机柜布置一套HP刀片服务器,两台CISCO光纤交换机MDS9134。4.第38号机柜布置一套HP刀片服务器,将机柜中原有的虚拟备份设备和网络设备向上移动,新的HP服务器和原有设备之间3个U来区分。5.为了通风散热考虑,刀片服务器布置离机柜底座20公分处高。6.机柜PC3-3和机柜PC3-8中的刀片服务器都是为虚拟化扩容用途;其中升级后的3850M2(7141QXE作为本项目所涉及的虚拟化平台服务器群成员。7.机柜分布示意图如下:图3:机柜结构示意图2.1.4.刀片服务器结构示意图刀片机前面板图:刀片机后面版图2.2.存储系统扩容实施计划朝阳教育信息中心原有存储CX4-480,硬盘总数为46块,其中400GB光纤硬盘有6块,1TBSATAⅡ硬盘有40块。本次扩容30块300GB15K光纤硬盘,并且以RAID6的方式为新ESXServer提供存储空间。现有系统概况:HPDL680G5刀片机HPC7000刀片机箱电源模块HPDL460G6刀片机刀片机电源指示灯SAS300GFC磁盘HPC7000风扇CISCO3125forHP刀片交换机HPC7000HBA卡直通模块HP刀片机管理模块HPC7000电源HPC7000HBA卡直通模块CISCO3125forHP刀片交换机现在SAN网络拓扑:升级前的中心机房SAN网络工作环境包括:虚拟化网络服务器端原有6台IBMX3850M2作为前期虚拟化系统的ESX主机,名称为CHY-ESX1至CHY-ESX6。SAN网络包括两台EMCDS5000B光纤交换机,6台ESX主机通过多模光纤分别与两台光纤交换机EMCDS5000B相连。两台光纤交换机EMCDS5000B通过四条多模光纤分别与EMCCX-480的两个主机头SPA0,SPA1,SPB0,SPB1相连,达到冗余的链路。扩容后SAN网络拓扑:中心机房升级后的SAN网络工作环境增加了28台HP刀片服务器(其中四台HPBL680G5和二十四台BL460G6作为本次虚拟化系统的ESX主机,名称为CHY-ESX7至CHY-ESX34。SAN网络增加了包括两台CISCODS-C9134AP-K9光纤交换机,命名为MDS9134-1和MDS9134-2。这28台刀片ESX主机通过多模光纤分别与两台光纤交换机DS-C9134AP-K9相连。MDS9134-1光纤交换机第9端口与第25端口分别与CX-480的SPA03,SPB03相连,MDS9134-21光纤交换机第9端口与第25端口分别与CX-480的SPA13,SPB13相连,达到冗余的链路。CX4-480体系结构示意图:CX4-480后端连接示意图:扩容后的CX4-480后端总线连接设计图:原有存储系统安装了4个DAE,每个DAE占用了一条总线。每条总线上都运行着相应的业务,为了安全起见,我们这期工程只能在原有的总线方式上扩展新的DAE。新到的两个光纤DAE连接到第3个DAE的扩展口上,走BUS2。根据后期计划采购的设备,新进的3个SATADAE连接在其他总线上(BUS0,BUS1,BUS3;新进的4个FCDAE及未来将要扩充的FCDAE通过第6个DAE来扩展,独自占用BUS2。CX4-480DAE前端结构图:CX4-480后端:每一个DAE上都有一个磁盘存储模块总线(环路,每一个磁盘存储模块总线都对应一个地址指示符,当加载操作系统时,存储处理器将对总线ID进行初始化。存储模块(DAE地址在安装时进行设置。磁盘模块ID自左向右进行编号(以单元前面的视角为准,并且在整个存储系统中是连续的:存储磁盘柜0包含模块0-14;存储磁盘柜1包含模块15-29;存储磁盘柜2包含30-44等,因此新增的DAE上的磁盘存储磁盘柜总线地址指示符必须修改,数值不能为0。用NST工具中的硬件添加向导完成新增硬件的识别工作。2.2.前期EMC存储系统包含了两台EMCDS5000B光纤交换机与CX4-480相连形成了SAN光纤网络,这两台光纤交换机的管理IP地址都为10.77.77.77,本次项目新采购的光纤交换机的安装在机柜PC3-3中,并连接CX4-480上的SP端口,以及新增的主机FC接口,光纤交换机分别命名为MDS9134-1和MDS9134-2,安装位置如上述图例。两台交换机的用户名都为:admin,密码为:!QAZ2wsx。为了便于管理和统一,MDS9134-1的管理IP地址为10.77.77.10,MDS9134-2的管理IP地址为10.77.77.11,与原有一期的EMC光纤交换机的管理地址划分在同一个网段里,同时便于管理。光纤交换机的配置方法可以采用WEB图形界面配置形式也可以同过命令行的方式进行配置。通过IE界面登陆到交换机的管理界面中,对相应的主机光纤和EMC存储划到一个ZONE里,创建一个NewZone,名称和EMCDS5000B中的ZONE的名称相统一,然后进行绑定。按照每个光纤卡的一个端口为一个zone的原则配置zoning。由于刀片服务器的HBA卡模块为双端口,所以每一组光纤直通模块的端口对应在不同的交换机上,达到冗余的状态。每一台光纤交换机DS-C9134AP-K9激活1个10Gbps端口,两台光纤交换机通过多模万兆光纤跳线级联实现端口的最大化。SAN系统的线路图如下:EMCCX-480C刀片服务器光纤直通模块与光纤交换机对应列表关系如下:-24--25--26-刀片服务器光纤直通模块与光纤交换机对应端口图例:注:由于HPBL680c服务器尺寸为全高,其占用C7000第9、第10槽位,在9、10槽位HBA卡端口为空,故由第11槽位开始编号-27--28-通过IE浏览器,输入EMCCX-480C原有管理IP地址192.168.0.60/61,进入NavispereManager登陆到管理界面。2.2.4.1.创建RAIDgrouppool首先在同一个RAID组中不能使用不同类型的磁盘(如:FCDRIVER和SATA不能混用在同一个RAID组中;其次,同一个磁盘阵列中可以混合使用不同类型的RAID组。在存储系统名称图标上,点击鼠标右键点击鼠标右键,选择createstoragePool如下图在RAIDGroupParameters栏中选择RAIDGroupID和RAIDGroup包含的磁盘数量,本次存储设备新增30块300G光纤盘,每一个DAE包含15块光纤盘,共两个DAE。因为采用RAID6方式划分RAIDGroup,即12+2为一个RAIDGroup组,同时每个RAIDGroup还有一个HotSpare,所以每个DAE中包含可用的12块光纤盘。将12块盘为一个单位划分为一个RAIDGroup,因此可用的24块光纤盘划分两个RAIDGroup,即每个DAE对应一个RAIDGroup,分别命名为RAIDGroup5和RAIDGroup6。在”SupportedRAIDType”选择RAID6单击”Manual”进行手工选盘(如下示意图所示,要将一个DAE的盘放入一个RAIDGroup中。将每个DAE中的磁盘应用到相应的的RAIDGroup中,最后点击Apply。RAIDGroup就建立完成(如下示意图所示。RAIDGroup实际配置情况如下2.2.7.1所描述。2.2.4.2.绑定Lun。每个lun在同一时间只能被一个SP管理。在存储系统名字上点击鼠标右键,选择CREATELUN。在RAIDType栏中选择RAID类型,这里我们选择RAID6的方式,同时在StoragePoolfornewLUN栏中选择新LUN所属得RAIDGroup。同时保证EnableReadCache,EnableWritecache选择筐被选中。根据NumberofLUNstoBind根据实际需要来选择,这里选择4。如下示意图所示:选择RAID6,选择创建LUN大小和数量选择SPA或SPB2.2.4.3.配置HotSpare(热备盘将每个DAE的最后一个盘作为热备盘,划为单独的一个RadiGroup。在”bindLun”的过程中,将”RAIDType”选择为”HotSpare”就可以。2.2.5.1.创建Storagegroup创建Storagegroup决定一个LUN能够被哪些主机访问。在存储系统名称上点击鼠标右键,选择CreateStorageGroup如下图:选择相应的主机和LUN,以建立两者之间的约束关系。加入主机到storagegroup中,点击StorageGroup前的+,在storagegroupname上点击鼠标右键,选择属性,再选择host标签,具体实施步骤按照竣工实施文档为准。LUN与主机的对应关系如2.2.7.2小节描述。EMC阵列兼容不同RAID类型,即原有40块SATA盘的RAID5与新建30块FC盘RAID6在NaviManager管理界面中统一管理。EMCCX4-480,通过SPA/SPB的两个网络管理端口,进行管理。新接的2个磁盘柜,统一通过NaviManager管理界面进行管理。所以新接磁盘柜的数据访问,通过CX4-480的控制器SPA/SPB统一进行访问控制。当ESX4Server重新启动或重新扫描主机总线适配器时,系统将会自动注册CLARiiON存储系统。原有EMC设备没有购买POWERPATH软件,所以在我们用到VMWare软件自己的光纤链路管理功能。VMware光纤链路管理与PowerPath的区别是前者同时只有两条链路是Active的,如果现有的Active链路出现故障,则启用另外两条链路,而后者是四条链路都是Active的。基于目前的EMCCX4-480存储空间不足的情况,在此次虚拟化项目上,朝阳区教委又新购了30块300G容量的光纤盘,用于存储空间的扩容。为了达到最佳的使用效果,考虑到数据保护以及空间分配等因素,采用以下方案进行规划存储空间。新采购的30块光纤盘,在RAID规划上,我们采用RAID6方式,EMC实现上阐述如下:从数据安全性上考虑,建议配置二块热备盘。因为RAID6每一个RAID组需要二块盘做校验,盘数只能是偶数,而且最多只支持16块盘。同是每个RAIDGroup组需要两块奇偶校验盘,即12+2一个RAIDGroup组,一个HotSpare。综合上述考虑,所以决定将可用的24块盘做成2个RAIDGroup组。在命名规则上,延用之前RAID组的命名,新建的RAID组分别为RAIDGroup5和RAIDGroup6,详细见下图所示:在逻辑卷划分方面,建议采用单个LUN最大配置,即2TB。做完RAID6以后,这两个RAIDGroup组可用空间各为3.2TB。在LUN的划分上,每个RAID组分为两个LUN,一个容量为2TB,另一个容量为1.2TB。每一个LUN的可用空间为实际容量减去512B,可忽略不计的。同RAID组的命名规则一样,新建的4个LUN的命名为FCstorage8,FCstorage9,FCstorage10,FCstorage11。这4个LUN注册给四台BL680G5和六台IBMX3850M2,供这些高性能的服务器使用使用。LUN划分状况如下:,对于数据的规划,将之前存储在SATA盘中高IO的虚拟机数据迁移到FC盘的中存储运行,充分发挥FC盘的性能,以保证虚拟机的性能,本次高性能的四台BL680G5和六台IBM3850M2数据存储在新到的FC盘上。对于应用数据稳定,资源比较稳定的虚拟机的数据,二十四台BL460G6对于数据的要求略低的我们建议存储在前期采购的SATA盘中存储。由于之前的6台IBMX3850M2主机的命名为chy-esx1~6,所以新建的28台刀片的命名延续之前的命名规则,即从chy-esx7~34。其中chy-esx7~10为BL680G4,chy-esx11~34为BL460G6。由于FC存储的空间有限,而高性能的四台BL680G5和六台IBM3850M2所能提供的虚拟机数量又比较多。为了降低存储的压力,于ESX与存储的连接方案为,十台高性能的ESX服务器对所有的LUN都可访问,而二十四台BL460G6仅可访问原有的STAT存储空间。ESX主机对存储LUN的访问表如下:由于这次采购的刀片服务器有两个型号,其中四台为四颗四核CPU,32G内存的DL680G5,另外二十四台为两颗四核CPU,16G内存的DL460G6刀片。在规划时,单独将四台配置较高的刀片服务器以及升级后的IBM3850M2ESXServers划在一个集群里,以供对性能要求高的虚拟机使用,其余的二十四台DL460G6划分在另一个集群中。2.3.虚拟机系统的深化设计方案本方案主要涉及功能方面的重点内容,包括:虚拟基础架构系统管理、安全、部署以及VMotion、HA、DRS、FT等功能。除此之外,还要对现在的ESX3.5升级到最新版本的vSphere4.0。本次设计方案对朝阳区教委VMware服务器虚拟化项目实施过程中,细化实现步骤,以及使朝阳区教委相关项目人员对实际安装、操作、维护VMware虚拟基础架构软件有所了解。1:现有四台IBMX3850M2服务器用作VMwareESXServer宿主机,配置分别为4*Intel7330CPU(2.4GHz,6ML2,4核;16G内存;4*146GSAS硬盘(2.5寸,10000转;2*千兆以太网;Combo光驱;2*4GB光纤卡;双电源。每台ESX服务器都通过光纤通道连接到EMCCX480存储上。2:这四台ESX服务器安装的是VI3.5的版本,由于后期要新上28台刀片服务器,用作虚拟化平台,这28台服务器安装的是vSphere4.0,为了把之前的四台ESXServer与新增加的28台服务器整合到一起,所以需要升级现有的四台ESXServer3.5到VsphereEsx4.0。1:准备ESX4.0.ISO和VsphereVC4.0.ISO两个安装文件,并刻录DVD光盘(文件>700M只能刻录DVD光盘,准备VMware-converter-4.0.1客户端迁移文件.VMwareConverter是一款能将物理电脑系统、VMware其他版本虚拟机镜像或第三方虚拟机镜像转化为一个虚拟机映像文件的工具,而且生成的映像可以在该公司的VMware虚拟机软件中使用。2:把现有的EMC与新增加的32ESXServer存储接入到同一个SAN网络中,并在存储上注册配置每一台ESXServer,使存储上的LUN,对每一台主机都可见。3:利用VMotion,把要升级的ESXServer上的虚拟机迁移到其它ESX主机上,然后升级ESXServer.4:升级VMwareLicense,由于ESX3.5和ESX4.0认证许可不同,重新配置License。ESX3.5利用文件认证,ESX4.0是通过序列号认证。1:通过Vsphereclinet进入升级的主机,关闭所有虚拟机,将主机置于维护模式。2:在程序中打开Vmwarevspherehostupdareutility,在主机列表中选择要升级的主机,如果没有找到要升级的主机,需要添加升级的主机IP地址,选中升级的主机IP,点击升级主机,输入升级主机的管理员密码和帐号,进行升级直到完成。3:升级完成后重新启动服务器,启动虚拟主机,并对每台虚拟主机升级VMWARETOOS。测试服务器能正常使用。VirtualCenterServer4.0能管理ESXSERVER3.5及更低的版本,反之不行.所以在升级ESX后,要升级安装VCenter4.0。需要注意的是LICENSE文件能通过LICENSESERVER下发,否则不行,我们有两个支持3.5的LICENSE文件,其中一个文件中有一个VC和两个ESX的认证,另一个是单机的没有聚合,前者行后者就不行,升级到4.0后都改为序列号,就可以统一管理了。VCenter,现在使用的是一台IBMe346服务器,IP地址为192.168.8.80,即是VC也是LicenseServer.在VC里有两个集群,同时管理着IBM3850M2和HP刀片服务器。利用VirtualCenter,通过一个单一的界面管理整个虚拟基础架构。利用清单面板,查看ESXServer主机和虚拟机的层级结构。通过这一部分的实施,可以更好地理解如何对虚拟基础架构进行组织,从而实现更加便捷的管理。对于运行VirtualCenterManagementServer的Windows系统,其系统管理员会自动获得VirtualCenter的管理员权限。VirtualCenter管理员可以通过访问ActiveDirectory或者域控制器,将权限授予其他用户,还可以通过访问本机的Windows用户和组,将权限授予其他用户。配置用户权限的目的,是在于根据不同的用户,制定不同的操作级别,以确保虚拟平台的正常运行,防止误操作等带来的影响。由于在VCenter上的每一个操作对虚拟机的影响都很大,所以出于安全的考虑,要针对不同的用户,分配不同的权限。在VCenter里分为管理员,虚拟机用户数据存储等用户。比如:针对朝阳数据中心和管理员,分配给其数据中心的管理员权限,此权限可以针对虚拟机数据中心里所有的集群,以及ESX主机,虚拟机,都有最高的权限。而普通的虚拟机用户,可以只分配给他只读或虚拟机管理员权限,这样,当虚拟机用户通过vSphereClient登录到VCenter后,只能看到得到授权的虚拟机。对于分配权限的用户,可以使用VCenter的本地用户,也可以使用域用户.这两种用户在VCenter里都是普通用户,只是提供身份认证所需的用户名和密码,而权限是靠在VCenter里的权限设置来授权。为了评估部署新服务器,并重新部署现有服务器的可能性,例如,在灾难恢复的情况下。∙创建虚拟机模板∙从模板部署∙克隆虚拟机∙映像定制核心交换机CiscoCatalyst6506目前已有58.132.9.*和58.132.10.*两个网段,所以ESXServer有跨网段的需求。刀片服务器ESXServer若按12:1的整合比来计算,目前四台性能比较高的DL680C可以提供8台虚拟机,另外二十四台DL460C刀片服务器,可以提供288台虚拟机,加上之前的6台X3850M2可以提供的72台虚拟机,总共可以提供408台虚拟机,供业务部门使用。在网络规划方面,将二十四台BL460cG6刀片服务器作为一个集群,四台DL680G5和六台IBM3850M2作为一个集群。其中二十四台BL460cG6的集群中,每个刀片有两块网卡。关于虚拟机划分VLan方面,所有VLan的划分都是在物理交换机上来做。在虚拟交换机上,根据不同的VLan,创建不同的端口组,然后在端口组上指定VLan号,与物理交换机上的VLan对应。基于虚拟机跨网段的需求考虑,将BL460G6刀片机两块网卡的其中一块网卡上连到Trank口,满足跨VLan的要求。另外一块网卡作为服务控制口和VMKernel用于虚拟机VMotion动态迁移迁移口。而针对于四块网卡的BL680G5刀片服务器,,解决跨网段的方法是将第一块网卡上连到Trank口,另外二个网卡进行绑定,做成Teaming的方式,进行与交换机的连接,实现网络负载均衡,以及链路冗余。因为每台服务器上连的交换机都是万兆的交换机,所以基本上每台ESXServer上的虚拟机,都能满足网络高IO的需求。为了保证高网络IO虚拟机的需求,可以制定一条DRS策略,使相同高网络IO需求的虚拟机,分散到不同的ESXServer上运行,以保障网络高IO需求。考虑到某些虚拟机需要使用F5作网络负载的要求,把4台DL680G5刀片机剩下的一块网卡连接到F5,把需要做网络负载的虚拟机放在其上运行。DL680G4刀片机第一块网卡:上连Trank口,满足虚拟机跨VLAN需求。第二块网卡:上连F5设备,满足虚拟机网络负载的需求。第三、四块网卡:创建三个虚拟机端口组,第一个端口组分配给不路网段的虚拟机使用。每二个端口组为管理端口组,第三个端口组为VMKenel端口组,用于迁移网络。由于平常管理端口组的网络流量并不多,跟迁移网络竞争网络资源的机会很少。如果把这两块网卡分开,那么无论是管理网络还是迁移网络,都没有做负载和链路冗余的考虑,就提高了风险点。HP刀片服务器所有的网卡都是平均地连接到两个Cisco3125交换机,然后每个3125交换机通过一个万兆铜缆与Cisco6506相连。由于这个特性,决定每个刀片归属于同一个Cisco3125的所有网卡,只能是相同的端口。另外,同是Trunk口的两块网卡,无法实现Teaming的功能。基于上述考虑,在网络规划方面,将其中一根Cisco3125上连的万兆铜缆连接到Cisco6506上的Trunk网口。那么与其相连的刀片服务器的网口为Trunk口,满足跨网段的需求。考虑到虚拟机要使用58.132.97.*和58.132.100.*这两个网段,将所有的刀片服务器的管理网口,使用内部IP进行连接。即将另外一个Cisco万兆铜缆连接到Cisco6506的VLan12,此VLan为192.168.12.*的内部IP。将此网段的网卡设置为Teaming方式,作为ServiceConsole和VMotion端口使用。详细见下图:VMotion是VMwareVirtualCenter中一项关键的数据迁移技术。利用VMotion,可以简化实现业务连续性的方法,提高服务器的利用率,整合基础架构,并且拥有成本效益更高的高可用性和灾难恢复解决方案。在本次深化设计方案里执行冷迁移的测试用例(将当前没有正在运行的虚拟机从一台主机迁移到另一台主机。利用VMotion手动