跨域的虚拟化数据中心整合及灾备方案

1、跨域的虚拟化数据中心整合及灾备方案介绍祝晓静 | 2011年7月1日 EMC术语及存储视图Unique TerminologyReplication Local and Remote replication is used to create copies of production data that can be repurposed to support other IT and business functions such as data recovery, performing backup, testing, development, and running queries fo

2、r report generation.Backup is an additional copy of data that can be used for restore and recovery purposes,the Backup copy is used when the primary copy is lost or corrupted. This Backup copy can be created by:Simply coping data (there can be one or more copies)Mirroring data (the copy is always up

3、dated with whatever is written to the primary copy)Snapshot: Pointer-based copy of data, a logical point-in-time view of the source LUN, takes up less space. Clones: Full-Image Copies, Physically independent point-in-time copies of source volume存储的层次及逻辑视图EMC EMCEMC VPLEX存储逻辑视图Storage VolumeStorage V

4、olumeEMC VPLEX虚拟存储EMC和非EMC存储Mirrored Virtual VolumeEMC VPLEX Metro/Geo链路要求 总体解决方案用户需求用户需求:o应用/虚拟机在数据中心之间迁移o优化终端用户对云的访问优化终端用户对云的访问方案组成部分方案组成部分:oVMware VMotion 应用虚拟化和移应用虚拟化和移动性动性oEMC VPLEX 本地联合和跨数据中本地联合和跨数据中心联合的虚拟存储心联合的虚拟存储oOTV 无缝二层多站点扩展oLISP 优化用户到云的访问路径优化用户到云的访问路径oNexus1000V 分布式软件交换机,支持虚拟机可视可控能力, 虚拟机

5、迁移的策略伴随能力优势优势:o快速实现跨数据中心虚拟机迁移o由VMware, EMC 和Cisco 共同实现的系统级解决方案VMotionL2 Domain Elasticity Cisco Nexus 7000 SeriesCisco Nexus 7000Storage ElasticityEMC VPLEX& Storage VolumeEMC VPLEX & StorageVolume vSphere vSphereCisco, VMware, EMC经验证的联合方案 跨数据中心资源共享及灾备总体架构示意图VM #1VM #2vSphereSite AVM #3VM #4

6、vSphereSite BChinaNet汇聚汇聚接入接入云平台出口OTV EdgeOTV EdgeLISP xTRLISP xTRLISP PTR/MR/MSSAN存储网络SAN存储网络主机主机虚拟存储虚拟存储DWDM一套VPLEX群集(Cluster A、B)软硬件配置清单名称型号备注防火墙利旧或新购网络交换机利旧或新购波分利用设备DWDMX86服务器利旧或新购SAN交换机EMC MDS-9148利旧或新购虚拟存储设备EMC vplex metro /Geo双引擎或四引擎存储利旧或新购名称型号备注虚拟化软件VMware vSphere v4.1虚拟化管理中心VMware vCenter v

7、4.1虚拟化云平台VMware vCloud Director 1.0.1OSWindows 2003 、Windows 2008、 Linux etc.数据库SQL Server、Oracle etc.名称型号备注防火墙利旧或新购网络交换机利旧或新购波分复用设备DWDMX86服务器利旧或新购SAN交换机EMS MDS-9148利旧或新购虚拟存储设备EMC vplex metro /Geo双引擎或四引擎存储利旧或新购VPLEX 群集群集A 站点硬件配置站点硬件配置VPLEX 群集群集B 站点硬件配置站点硬件配置软件环境配置软件环境配置 网络层解决方案BB虚拟机在数据中心之间迁移网络属性不变优化

8、路径优化路径OTV_VDC1VM #1VM #2vSphereVM1: 10.110.13.221vSphere172.25.197.230AdministratorLISP PTR/MS/MRChinaNetOTV_VDC2VM #3VM #4VM1/32 N7k-1VM1/32 N7k-2Site ASite BPTR/MS/MRLISP XTRLISP XTR网络设计实现自动负载分担及备份站点内的用户自动在2台边缘设备(ED)之间进行负载分担异地边缘设备ED之间实现等价多路径当某台边缘设备ED失效,原本负责的工作自动由剩余ED接管,对用户透明CoreAEDAED虚拟机可视可控及策略伴随能

9、力Nexus1000v分布式软件交换机问题问题:Nexus1000v:将网络扩展到虚拟机层面与物理交换网络一致的管控能力对大量虚拟化主机内的软件交换模块统一管理VMotion VMotion 使得虚拟机在物理端口之间迁移策略必须跟随 无法对主机内虚拟机之间交换的数据进行识别和控制 不能把同一物理链路上的流量与多个虚拟机进行关联VLAN101Cisco Nexus1000v软件交换机VMware虚拟化层解决方案 vMotion / HAVMwarevCenterESXi主机主机1ESXi主机主机2数据中心二层数据中心二层扩展扩展 vSphere vSphereVMFSVMFS共享存储卷共享存储卷

10、Site BSite A虚拟架构功能：在线移动应用主机的运行位置VMotion是什么?通过VMware VMotion可以实现虚拟机的动态迁移, 而服务不中断客户优势零宕机时间: 进行有计划的服务器维护和升级迁移工作负载，资源利用率最大化服务器的持续可用性, 完整的交易集成支持Fibre Channel和iSCSI SAN环境以及NASSANSAN、iSCSIiSCSI或或NASNAS共享存储卷共享存储卷存储要求：支持VMotion迁移时ESXi主机/集群必须能访问同一个共享存储VMFS卷网络要求：ESXi主机/集群之间可达（ESXi主机/集群间网络延时小于5ms)VMware HA 系统高用

11、性解决方案功能 当集群中ESXi服务器故障时，在集群内其他ESXi服务器上自动重新启动虚拟机优势 经济有效的适用于所有应用的高可用 不需要独占的stand-by 硬件 没有集群软件的成本和复杂性经济有效的适用于所有应用的高可用解决方案经济有效的适用于所有应用的高可用解决方案XA中心ESXi主机 B中心ESXi主机C中心ESXi主机跨城域VMotion/HA 方案实现要求 项目项目描述描述支持ESX/ESXi ServervSphere 4 以后版本VMware vCenter 1个vCenter虚拟机管理ESXi主机/集群VMware vCenter 虚拟机文件存放到共享存储卷ESX主机间距离

12、1000 Mbps) 网络网络二层扩展可达虚拟机IP地址ESXi主机之间迁移虚拟机IP地址不变存储要求ESXi主机之间访问同一共享存储卷 云存储解决方案EMC VPLEX产品系列- 用于构建和实施分布式数据中心和公共、私有和混合云环境的革命性存储平台VPLEX 存储逻辑VPLEX存储视图ExtentDevExtentDevExtentDevDevDevDevDev RAID-1 Mirrored VPLEX Device RAID-0 Striped VPLEX Device RAID-C Concatenated VPLEX DeviceEMC Metro解决方案- 跨数据中心,支持在相隔为

13、同步距离的两个站点间行工作负载移动和协作此为经过VMware验证的解决方案，在Vmware官方网站上有该方案的详细介绍VMware Knowledge Base - vMotion over Distance support with EMC VPLEX MetroVPLEX Metro物理及逻辑连接图EMC Geo解决方案- 跨数据中心,支持在相隔为异步距离的两个站点间行工作负载移动和协作*VPLEX Geo目前支持5ms-10ms(假设应用程序能接受)的往返延迟，后续将支持高达 50 ms 的往返延迟(the packet round-trip time(RRT)相距超过相距超过100公里

14、公里EMCVPLEX GeoEMCVPLEX GeoIP WANWAN Opitimization站点站点 A站点站点 BFibre ChannelVPLEX Metro/Geo 应应用持用持续续运行运行 一个一个阵阵列宕机列宕机 或需要或需要维护维护分布式虚拟卷分布式虚拟卷无缝地移动应用及满足关键任务SLAs VM两地存储资源的关系及故障切换示意图存储技术选型及考虑123虚拟化基础架构中的存储形式系统扩展性及可靠性设备兼容性列表VMware Infrasturcture架构图 虚拟化基础架构中的存储形式三种存储模式在带宽利用率和应用模式上有所区别： FC（Fibre Channel）SAN目

15、前的带宽已达到8Gb 性能比较稳定，适合磁盘读写密集型的应用环境， 但对线路质量和距离有一点的要求和限制 新兴的基于10Gb以太网技术的FCoE（Fibre Channel over Ethernet）也是属于FC SAN的范畴，通过CNA融合网络的技术优化了数据中心的网络结构。 IP SAN目前的主流带宽是1Gb，随着10Gb以太网的逐步普及，IP SAN的带宽可以过渡到10Gb IP SAN的存储模式与FC SAN类似，只是把SCSI存储控制命令由IP包进行封装并传输，由于利用的是标准的以太网通讯链路，因此IP SAN的线路距离比FC SAN有明显的优势，但在线路质量和稳定性方面不如FC

16、SAN。 NAS/NFS采用文件系统共享方式提供网络存取服务FC/IP SAN采用裸磁盘数据块方式） 目前的主流带宽是1Gb，也可以过渡到10Gb以太网。 NAS/NFS偏重于磁盘顺序读写的应用场景，例如文件共享等，在虚拟化平台的应用效能上与IP SAN相当。建议采用FC SAN集中存储方式在通常的数据中心应用环境中，比较建议采用FC SAN集中存储方式，这样可以将每个虚拟机的文件系统创建在高效率、可共享的SAN集中存储阵列上，VMware VMFS 虚拟机文件系统，是一种高性能的群集文件系统，允许多个ESX Server同时访问同一存储空间，支持通过VMware vCenter、VMware

17、 VMotion 技术、VMware DRS 和 VMware HA 提供的基于虚拟化的分布式基础结构服务。由于VMware的虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在SAN存储阵列上的VMFS文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。21VPLEX 群集(VS2)配置选项单单引擎引擎 VS2-02两个控制器16个光纤通道端口72 GB 缓存2x 56GB SSD双引擎双引擎 VS2-04四个控制器32 个光纤通道端口144 GB 缓存4x 56GB SSD四引擎四引擎 VS2-08八个控制器64个光纤通道

18、端口288 GB 缓存8x 56GB SSD从小配置开始，透明地从小配置开始，透明地扩扩展引擎展引擎 VPLEX 群集(VS2)扩展性VPLEX 集群(VS2) 限制Release Notes for EMC VPLEX with GeoSynchrony 5.0VPLEX 引擎（VS01）利用 EMC 存储引擎平台实现“五个 9”的可用性 每个引擎配有高可用性双控制器 冗余电源 集成的电池备份 “呼叫总部”和远程支持VPLEX 引擎规格引擎规格连接性连接性32 个 8 Gb/s 光纤通道交换机/阵列端口内部连接内部连接控制器之间采用光纤通道互连处理器处理器Intel 多核 CPU内存内存64

19、 GB（裸）读缓存主机和主机和阵阵列端口列端口核心核心核心核心核心核心核心核心核心核心核心核心核心核心核心核心CPU 复合复合8 Gb/s 光光纤纤通道通道全局内存全局内存主机和主机和阵阵列端口列端口核心核心核心核心核心核心核心核心核心核心核心核心核心核心核心核心CPU 复合复合8 Gb/s 光光纤纤通道通道全局内存全局内存EMC 和非和非 EMC 阵阵列列可靠性考量VPLEX利用 EMC 存储引擎平台实现“五个 9”的可用性VPLEX系统硬件是业界最可靠的虚拟存储系统硬件，所有硬件设计均针对可能发生的偶然性故障(引擎、Cache、电源、FEBE均为冗余)。VPLEX提供了独特的和主动的方法检

20、测和防止故障给客户带来的影响，另外VPLEX群集架构提供了组件冗余性即使在个别组件故障情况下关键业务应用对高可用性的支持。基于以下失效或故障情况，VPLEX均能支持： Storage array outages(planned and unplanned) SAN outages VPLEX components failures VPLEX cluster failures Host failures Data center outagesVMware限制 从VMware vSphere虚拟化环境的容量限制上看，不存在太大的应用场景限制，反而最主要还是需要从应用服务器的性能方面加以考虑。 v

21、Center最多可管理1000台ESX主机、10000个开启的虚拟机。 每个ESX主机最多可配备8个FC HBA卡，连接256个LUN。 每个VMFS分区可被64个ESX主机共享。 每个LUN有接近2TB的可用空间。磁盘I/O性能影响及建议不同的虚机应用会产生不同的I/O性能需求，需要具体分析每个关键应用虚机对计算资源（CPU、内存、网络、存储）的利用率情况，建议把不同占用率的虚机均衡到不同的ESX主机上运行，以达到资源利用率的最大化。每个群集中都要预留一定容量的计算资源，以备当某个ESX主机发生故障时其虚机应用负荷可用被分流到其它ESX主机上而不会造成计算资源拥堵现象。VMware DRS、

22、VMware VMotion、Storage VMotion可以分别在物理服务器及存储系统层面进行资源利用率的重新分配。虚拟机的操作系统（Guest OS）启动和关闭都会对磁盘产生比较大的I/O操作，应该尽量避免在同一个ESX主机、同一个VMFS分区上、同一时段内进行大量的虚拟机启动和关闭操作。对磁盘I/O性能要求非常高的虚机应用，建议采用RDM裸设备映射方案来提高虚机对磁盘的访问速度。VPLEX 实用 E-Lab 简单支持矩阵(ESSM)简单而全面一页描述支持的环境列出了全部可互操作的主机和阵列环境 EMC CLARiiON CX300, CX500, CX700, CX3, CX4 (FL

23、ARE R26, R28, R29, R30) (Failover mode 1 l and 4). Microsoft Hyper-V a,c Notes: a. Hyper-V parent partition Windows 2008 Server, x64, CORE. Child partition as supported by Microsoft. c. A single host accessing a distributed virtual volume through both local and remote clusters of a VPLEX Metro is no

24、t supported.多站点存储联合及数据保护FC MANVirtualVolume跨数据中心的存储同步写示意图10110101101011010110ACKACKACKACKSynchronous DistanceDistributed deviceHostHostStorageArrayStorageArrayVPlex Cluster-1/Site AVPlex Cluster-2/Site B多数据中心（3个物理站点）解决方案VPLEX ClusterAEMC VPLEXEMC VPLEXVPLEX ClusterBEMC VPLEXEMC VPLEXHOST基于存储硬件的数据复制技

25、术 EMC SRDF/A数据中心数据中心A数据中心数据中心B数据中心数据中心C三站点解决方案（续）4个或多物理站点两两做联合VPLEX ClusterAEMC VPLEXEMC VPLEXVPLEX ClusterBEMC VPLEXEMC VPLEXVPLEX ClusterCEMC VPLEXEMC VPLEXVPLEX ClusterDEMC VPLEXEMC VPLEX数据中心数据中心A数据中心数据中心B数据中心数据中心c数据中心数据中心D多物理站点（2）间的存储联合 对于两个物理节点对于两个物理节点已经实现了存储联合，满足应用对移移动性、可用性、协作动性、可用性、协作的需求，使能够连

26、续运行连续运行 和 避开本避开本地灾难地灾难 消除计划内和计划外的停机，消除计划内和计划外的停机，对数据中心维护和搬迁无无影响影响 对于三个物理节点，对于三个物理节点，如果为了在第三个节点保留第三份数据拷贝，可通过存储阵列的数据复制功能来实现。 对于四个或更多物理节点，对于四个或更多物理节点，由于目前VPLEX只支持两个节点间的存储联合，可选择性规划两两做联合。VMware虚拟化的业务连续性方案存储虚拟化 vs 虚拟存储存储虚拟化的概念技术名称技术名称技术定位（例如属于技术技术定位（例如属于技术层次中哪个层次）层次中哪个层次）解决哪些问题解决哪些问题标准化程度标准化程度商用程度商用程度EMC

27、Invista基于（智能交换机）网络的存储虚拟化以最低的总体成本、适当的性能级别和功能性为业务部门提供适当的信息。EMC VPLEX虚拟存储提供从地理位置分散的多个地点对单个数据集的实时数据访问能力（存储设备之间的协调工作） SNIA词典对它的解释 即为了达到提供抽象概念的目的，而将一种或多种（后台）服务、或功能与附加（前台）功能相集成的活动。通常，虚拟化可以隐藏一些后台复杂性，或将新的功能增加到或集成到现有后台服务。 注：SNIA存储网络工业协会虚拟存储 vs 存储虚拟化存储虚拟化存储虚拟化n是在主机和存储之间的一个虚拟层，在单一是在主机和存储之间的一个虚拟层，在单一站点内把物理元素抽象成逻

28、辑视图站点内把物理元素抽象成逻辑视图虚拟存储虚拟存储n把信息从物理介质和位置中分离出来。它允把信息从物理介质和位置中分离出来。它允许信息在数据中心和云之间无缝地移动许信息在数据中心和云之间无缝地移动虚拟存储不是存储虚拟化虚拟存储不是存储虚拟化自动化的按需的集成的高效的安全的始终在线的EMC 虚拟存储将数以千计的虚拟机移至数千英里之外在能源成本较低的地点执行批处理过程实现跨站点的工作负载平衡和位置调整把单独的数据中心聚合成大的数据中心24 x 永远 无需重启就恢复应用将信息从物理存储中解放出来将信息从物理存储中解放出来VPLEXGlobal随处随处VPLEXGeo异步异步VPLEXMetro同步同步EMC VPLEX 系列 VPLEXLocal数据中心数据中心2010 年年 4 月月2010 年年 4 月月2011VPLEX 的体系结构、远程数据管理和通过云实现的功能都是独一无二的。EMC是业界唯一的一个能够提供从地理位置分散的多个地点对单个数据集的实时数据访问能力（存储设备之间的协调工作）的存储厂商。通过 Ac