数据中心设计

1、虚拟数据中心设计方案一、现状1、ACME Energy 公司介绍：从事可再生能源项目的开发运营，包括风能和太阳能。2、要求 IT 部门将所有的x86 服务器虚拟化。原先服务器分部在主数据中心和几个分支机构的小数据中心。使用虚拟化技术后，所有服务全部集中在主数据中心。3、服务分为 3 个区域：Production, Dev/Test, QA4、预评估方案需要考虑现大量的已有工作负载和未来的工作负载。尽量提高服务器的利用率的同时尽量降低硬件相关总成本。5、需要将 1000 台物理进行虚拟化。6、有 2 种类型服务器可用做虚拟化，虚拟机 / 物理机的具体比率如下：7、可以增加接口卡。8、1 个刀箱可

2、容纳16 个半高刀片，高度为10U；机架式服务器高度为 4U。9、电力能源足够。10、业务关键服务器要求具有高可用性。用于生产的资源要求具有高可用性， 可以容许多台 ESX主机故障。要隔离用作管理的虚拟机和用作生产的虚拟机。11、1000 台物理机中包括 400 台 Linux服务器和 600 台 windows 服务器总计： 400 台生产， 400 台开发 / 测试， 200 台质量控制12、Window 服务器磁盘配置：系统盘 15GB（平均使用 10GB），数据盘 10GB（平均使用 25G）；Linux 服务器磁盘配置： 60GB（平均使用 40GB）。13、预计今后 3 年每年 1

3、0%的服务器增长需求。14、磁盘阵列情况 :(1) 1 台高性能 FC磁盘阵列（控制器为主备模式）可用。(2) 高速缓存：该磁盘阵列有 256GB 的镜像高速缓存，可扩展到512GB。(3) 磁盘数量： 120 块磁盘安装在中央系统存储柜，另有120 快磁盘安装在 1 个外接存储柜上。(4) 扩展存储柜：可另外付费购买外接存储柜，每个外接的存储柜最多可安装 240块磁盘。整个存储系统最多可安装 1920块磁盘。(5) 磁盘类型：包括 73GB的 SSD固态磁盘，146GB的 FC磁盘，300GB的 FC磁盘和 500GB的 SATA磁盘。(6) 现有空间 3.6T 的 SSD固态磁盘， 30T

4、 的 FC磁盘， 35TB的 SATA磁盘。(7) 现在只有生产服务器连到了 SAN网络，其他服务器还未连接到SAN网络。15、大多数服务器有4 个 CPU16、 Production 服务器必须和 Dev/Test/QA 隔离， Production 类型的虚拟机不能和 Dev/Test/QA 类型的虚拟机在同一台 ESX主机上。17、 Production 类型的虚拟机的流量必须和Dev/Test/QA 类型的虚拟机的网络流量隔离。由于使用了IDS（入侵检测系统），虚拟机的网络端口属性不能改变。即使使用Vmotion 迁移虚拟机，虚拟机的网络端口属性也必须保持不变。18、现有的网络环境使用

5、了多个VLAN 来进行网络隔离。希望在虚拟环境中减少VLAN 的个数以方便管理。网络环境有多台接入交换机提供冗余和负载均衡。环境中没有DMZ 区域。Current VLAN configurationVLAN 10- ManagementVLAN 20 - IP StorageVLAN 30- ProductionVLAN 40 - Dev/TestVLAN 50- QAVLAN 60 - VoiceVLAN 70- ReplicationVLAN 80 - Backup二、 主机设计要求：主机必须能容纳1000 台物理服务器虚拟化。确保相对此前使用的物理机环境，在性能或稳定性方面没有明显差异

6、。预计每年服务器增长10%具体规划选择：刀片或机架式选择设计选择 ：根据提供的两种服务器，选择刀片式服务器。理由：刀片式服务器密度较高，同样空间拥有更多处理器和内存，可以承载更多虚拟机。以戴尔 M1000 刀片机箱为例， 10U 高度插满 16 台半高服务器，用机架式只能安装两台 4U 服务器，CPU个数比为 32：8=4 倍，内存比为 16*64 ：2*96=5.33 倍。而且刀片式服务器刀箱已包含多路输入电源、网络交换机和存储交换机，新加刀片时无需布线与连接。影响：单个刀片机箱会成为故障单点，为了提高可用性，应部署两个机箱，刀片机尽量平均放置。服务器数量最少要求设计选择： 生产 : 20

7、台, Dev/Test: 8 台, QA: 4 台 总共 32 台。理由：由于选择了刀片服务器，根据上图要求， 400 台生产服务器需要 20 台主机， 400 台测试开发 / 测试服务器需要 8 台主机， 200 台 QA 测试服务器需要 4 台主机。影响： 在产生物理机故障后，服务器承载的主机数将会超出要求标准。附加的服务器要求设计选择： 10 台理由：每年 10%的服务器需求增长， 32*10%*3=9.6 合计 10 台影响： 需提前列入采购预算，防止采购不及时导致资源紧缺而无法满足业务新需求。Hypervisor 选择设计选择：Enterprise PLUS理由：由于主机数量多，为便

8、于管理，提高安全性使用ESXI的分布式交换机，所以需要使用企业版PLUS版本。影响： 需提前列入采购预算，防止采购不及时导致资源紧缺而无法满足业务新需求。主机逻辑设计主机类型和版本： vmware ESXi 5.1企业版 PLUSCPU插槽： 2每 CPU 核心数： 4总核数： 8处理器频率： 2.93Ghz内存： 64GB网卡数： 4 个HBA卡数： 0 个主机物理选择主机类型和版本： Dell PowerEdge M710hdCPU型号： Intel? Xeon? Processor X5647CPU插槽： 2每 CPU 核心数： 4总核数： 8处理器频率： 2.93Ghz内存： 64GB

9、板载网卡数： 4 个 5709 千兆板载网卡速率： 1Gbps插卡网卡数： 2 个网卡型号： 双端口 8GB FC HBA网卡个数和速率： 2 个 8GB FC本地磁盘个数和型号：2 个 SAS 300G 10kRAID级别： RAID 1本地磁盘总容量： 600G系统监控： OpenManage Essentials或 Dell Management Console三、 虚拟化数据中心设计需求位置：1 个主数据中心（ 1000 台虚拟机且增长迅速）10 个分支机构（每个分支机构少于10 台服务器）可用性：设计为具有最高的可用性已具备一个 SQL故障转移群集管理：所有组件需经过公司认证（活动目

10、录）某些虚机管理员使用Mac OS估计：生产机器与开发测试质检不能运行在同样的主机上最大化灵活性（首选无状态）Vcenter 服务器选择物理主机或虚拟化（VM 或 VA）设计选择：虚拟化， VM理由：可以利用VMOTION、DRS、HA，节省资源。VirtualAppliance 不支持 IPv6v;不支持 Microsoft SQLSERVER数据库 ;影响：为防止自动迁移导致位置不定，增大断电等事故造成的恢复难度，维持虚拟机位置的稳定性。建议为管理虚拟机建立独立的主机集群并默认不动态迁移。vCenter 服务器组件共享虚拟机或专用设计选择：分离理由：各个组件分开，可维护性更好，没有单一故障

11、点，服务隔离，不相互影响性能。影响：虚拟机消耗的总资源较多，但性能较好。Vcenter 服务器数据库共享或专用设计选择： 共享故障转移群集，单独新建专用数据库理由：物理环境现的故障转移群集，提供了高可用。数据库与虚拟化环境分离，故障点分离易于恢复与重建。影响：只需建立新的数据库，并与其他数据库隔离访问。Vcenter Update Manager 位置设计选择： 安装在 Vcenter 并连接外部数据库。理由： Update manager适合于 Vcenter 虚拟机安装在一起 ,Updatemanger 需要连接外部数据库而不是单独主机影响： Vcenter 主机需要更多资源Cluster

12、 结构设计选择：Production 群集包含28 台服务器 ,2 个刀箱；Dev/Test/QA 集群 包含 18 服务器， 2 个刀箱；管理集群，2 台服务器，利用旧的服务器。理由：最小主机数 +未来 3 年主机规划主机数 +2 每个集群 N+2 保证 HA 冗余性。因此：生产： 20+6+2 =28台开发 / 测试 / 质控： 12+4+2=18台影响：可保证 HA 冗余资源Resource Pools设计选择： Production 不用建立资源池。 Dev/Test 和 QA 需要各自建立资源池。理由： Production 群集里机器都用于生产，不建立资源池区分优先级。Dev/Te

13、st和 QA分为 2 种类型的业务，因为资源共享同一个集群，需要各自建立资源池，根据需要设置资源倾斜。影响：随着 Production 群集虚拟机的增加，可建立资源池，根据业务关键度，保证最重要的应用有足够资源。Dev/Test/QA根据资源的使用情况，修改资源池的配置VSphere许可证版本设计选择：Enterprise Plus Edition。理由： IDS（入侵检测）策略需使用ESXI的分布式交换机。影响： 支持网络和存储服务质量控制；支持第三方多路径和网络交换机；支持主机配置文件和自动部署逻辑设计设计选择 Vcenter Server版本： 5.5物理机或虚拟机： 虚拟机CPU个数：

14、 2 个处理器类型： vCPU处理器速度： 利旧服务的每个核的cpu 频率 *2内存： 4GB网卡：1个磁盘个数和大小：系统盘 30G，数据盘 30G操作系统版本： Windows 2008 R2物理设计型号： VMware virtual hardware 9处理器类型： VMware vCPU网卡型号： vmxnet3网卡个数： 1x GbE网络： 管理网络本地磁盘： 共享存储上的虚拟机磁盘四、 网络设计需求：production 流量需要与 Dev/Test/QA 流量分离在虚拟机进行 VMotion 后网络属性与状态必须保持不变虚拟网络配置需满足可用性、安全性与效率标准交换机或分布式交

15、换机设计选择： 使用分布式交换机。理由： 群集内主机数量众多，分布式交换机方便管理，可创建PVLAN，满足 IDS入侵检测要求， 且确保 Vmotion 后端口属性不变。影响：集群内的主机使用统一的交换机。vSwitch VLAN配置设计选择：管理、虚拟机、VMOTION、FT、存储使用不同的VLAN。理由：隔离流量，控制流量优先级。影响：所有与 Esxi主机连接的交换机端口需配置配成Trunk。vSwitch PVLAN配置设计选择： 使用。理由：可隔离生产业务和开发 / 测试 / 质检的网络流量。影响：减少 VLAN个数。vSwitch 负载均衡模式的配置设计选择： 端口组选择基于物理网卡

16、负载的路由。理由：网卡为1Gbps，单网卡可能会成为瓶颈。采用基于负载的绑定时，相应算法会定期检查所有绑定网卡的负载。如果其中一个网卡过载而另一个网卡尚有可用带宽，则分布式虚拟交换机会重新分配端口与网卡的映射关系，以便达到平衡状态。从而达到负载均衡的目的。影响： 基于负载的绑定在工作原理上与VMware DRS类似：会检查当前负载，并将负载较高的虚拟机移至更加合适的物理网卡，在下次执行检查之前的这段时间，这种映射关系会保持稳定vShield Zone设计选择： 不使用。理由：已有硬件防火墙设备。影响：vShield Zone会消耗一定的主机资源， 不使用 vShield Zone 会减轻主机的

17、压力。 但 vShield 与 vShpere集成度高，方便使用。硬件防火墙则需要另外维护。vSwitch 安全设置设 计选择： 默认情况下，混杂模式设置为拒绝，MAC 地址更改和伪信号设置为接受。理由：无特殊要求，使用默认情况。影响：后期根据安全要求可修改配置物理交换机选择设计选择： Dell PowerConnect? M 6348 1Gb 以太网高密度刀片交换机 。理由： 用于 M1000E 刀箱，能够与 M 系列高密度网卡配合使用。达 48 个端口（ 32 个内部端口）、可堆叠多达 6 个模块。影响： 支持堆叠FC SAN交换机选择设计选择： Brocade M5424 FC8Gb 光

18、纤通道交换机理由： 用于 M1000E 刀箱，能与环境中的相连影响： 可提供高级brocade 功能FC 存储方案拓扑图：Vswitch 物理设计dvSwitchvmnicNIC / SlotPortFunction00管理网络（主）01主板自带1VMotion 网络（主）32FT（网络）43VM 网络（主）vSwitchvSwitchVLAN ID0Management_10100Vmotion_20200FT_30300VM_VLAN5050Primary VLANVm TypePVLAN TypeSecondary VLAN50ProductionComunity10050Dev/Tes

19、tComunity20050QAComunity300五、 存储设计需求：使用高性能 FC存储阵列（双控制器处于激活 / 激活状态） Windos 服务器提供 15GB系统盘（平均使用 10GB）以及 40GB数据盘（平均使用25GB）Linux 服务器配置为 60GB 总容量（平均使用40GB）必须为性能作最佳优化LUN大小设计选择： 67*750GB LUN。理由： windows OS 15GB厚置备格式，40GB精简格式。Linux60GB精简格式。虚拟机基本数据空间：600*（15+25）+400*40 =40000GB。虚拟机 SWAP+快照：占 20%；保留安全空间：占10%；总

20、空间大小为 40000* （100%+20%+10%）=52000GB一般1 个 LUN 大概15 个虚拟机，那LUN 的总数为1000/15=67 个；每个 LUN大小为： 52000/67=776GB。影响：1 个 LUN存储 15 个虚拟机只是一般情况， 如虚拟机性能要求特殊，需酌情考虑。如果存储有分层也需酌情考虑。存储负载均衡设计选择： 若是 EMC 存储，则使用 PowerPath/VE多路径切换与恢复软件， 优化存储控制器负载平衡 。其他存储则使用厂家提供的多路径软件。理由： EMC PowerPath/VE多路径插件比原生的 vSphere多路径插件性能高，支持跨物理和虚拟环境部

21、署。影响：存储厂家提供的多路径软件可能需要购买许可证。VMFS 或 RDM 格式设计选择： 选择 VMFS，除了微软故障转移群集理由： VMFS是提供 Vmotion，快照，存储 IO 控制， FT功能，支持 VDP备份。RDM 物理模式无法提供以上功能， 虚拟模式也无法提供存储 IO 控制，无法被 vCloud Director 支持。影响：根据性能和需要合理安排格式， 需要注意 RDM 的限制。主机 Zone配置设计选择： 不划分 zone。理由：划分 zone 每次增加主机都要修改交换机配置，存储分配访问控制可在存储软件上建立访问控制。影响：需存储管理员按集群要求配置，只分配LUN给相应

22、的 vSphere集群上的物理机。LUN分配设计选择： LUN分配给相应的 vSphere集群上的物理机。理由：分配的主机少了，不能保证可将虚拟机使用Vmotion迁移到集群内的任一物理机。分配的主机多了，主机有权限访问该存储，可能会破坏到存储中的数据。一般1 个 LUN 大概15 个虚拟机，那LUN 的总数为1000/15=67 个；每个 LUN大小为： 52000/67=776GB。影响：1 个 LUN存储 15 个虚拟机只是一般情况， 如虚拟机性能要求特殊，需酌情考虑。如果存储有分层也需酌情考虑。精简和厚置备格式设计选择： 一般系统盘为厚置备，数据盘为精简制备，如果使用 FT或对磁盘性能

23、要求较高， 如数据库，数据盘也使用厚置备。理由： 精简置备可节省磁盘空间，厚相对性能较高。影响： 精简置备分配的总空间可能会超过存储的总空间，对存储的剩余空间需要留意。逻辑设计存储类型： 已有的 FCSAN存储控制器个数：2 个（主 -主）FC交换机个数： 2 个每台主机与每台交换机之间连接端口数：每台主机与每台FCoE交换机连接 1 个端口LUN大小：776GBLUN总数： 67 个每个 LUN多少个 VMFS datastore：1 个物理设计存储类型： EMC Symmetrix VMAX 10K类型：2 个（主 -主）Esxi主机多路径策略： PowerPath/VE MPP多路径最小 / 最大交换机端口速率： 8G/10G六、 虚拟机虚拟机部署注意事项设计选择： 安装 vmtools，使用模板部署时重新封装操作系统避免 SSID重复理由：vmtools 使虚拟机时间可与主机同步，SSID重复加入域会有问题影响： 08 以前的旧操作系统重新封装需要把封装文件放置到 vcenter 特定的文件夹。交换区与页面文件位置设计选择：与主机