阵列双活数据中心与解决与方案

-文档版本DOCPROPERTYManualVersion错误！未知的文档属性名称(DATE\"yyyy-MM-dd"5/5/2022)DOCPROPERTYProprietaryDeclaration错误！未知的文档属性名称.z资料编码阵列双活华为双活数据中心解决方案技术建议书2021年3月11日华为技术**非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的局部或全部，并不得以任何形式传播。和其他华为商标均为华为技术**的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。您购置的产品、效劳或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或局部产品、效劳或特性可能不在您的购置或使用*围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进展更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术**地址：**市龙岗区坂田华为总部办公楼：518129客户效劳：客户效劳：285600004008302118客户效劳：28560111-.z目录1适用场景〔供参考，实际使用删除〕11.1文档适用场景说明11.2版本更新12概述12.1工程背景2工程概述2建立总体要求22.2需求分析2需求分析3现状分析3建立目标〔适用于升级改造〕5方案设计原则63存储双活架构选择63.1存储双活架构选择7存储双活架构描述7业界存储双活技术路线7存储双活架构比照74系统方案设计94.1整体架构设计10方案描述10存储双活架构的要求114.2存储双活方案详细设计12虚拟化存储双活设计13双活读策略设计13优选路径设计14虚拟机跨数据中心vMotion设计〔可选〕14“逃生〞功能设计15镜像快速恢复功能设计15存储双活方案仲裁设计15跨数据中心网络设计174.3存储双活方案应用配置建议18VMware配置建议18FusionSphere配置建议18OracleRAC配置建议194.4华为存储双活方案优势194.5存储双活方案故障切换与恢复21故障切换流程21故障恢复流程295方案配置315.1方案配置列表32软硬件配置列表32效劳配置列表326关键技术336.1网络层解决方案33效劳器负载均衡技术〔SLB〕33全局负载均衡(GSLB)37DWDM416.2存储层解决方案42HyperMetro技术426.3主机层解决方案48VMWare容灾技术486.4数据库层解决方案50OracleRAC技术506.5应用层解决方案59Weblogic集群技术596.6管理层解决方案67灾备决策支持平台方案677容灾相关产品及规格787.1TecalRH5885V3机架效劳器78功能和价值79规格参数807.2OceanStorV3系列存储80功能和价值80规格参数817.3FusionSphere云操作系统81Fusionpute虚拟化82FusionManager云管理847.4SNS系列86功能和价值86规格参数878缩略语表88-.z适用场景〔供参考，实际使用删除〕文档适用场景说明本文档适用以下场景:同城容灾，生产中心和灾备中心之间的容灾链路距离≤100km；要求RPO=0；RTO≈0，部件故障或生产中心故障，能自动切换；生产中心和灾备中心之间有裸光纤网络。适用VIS4节点与8节点双活〔2个4节点〕环境注：以下蓝色字体根据具体工程情况替换或删除。版本更新日期修订版本描述作者2021-03-28V1.0第一次发布，未增加网络双活局部，需要待网络解决方案的同事补充；未增加FusionSphere双活局部，待测试有初步结果后再增加。陈晓丽2021-05-04V1.1根据评审意见进展修改陈晓丽2021-05-30V2.0增加FusionSphere双活局部,统一术语陈晓丽2021-07-30V3.0增加双活8节点内容陈晓丽2021-10-29V4.0修改8节点的描述陈晓丽概述工程背景工程概述**数据中心的**生产平台，是全局的计算中心、存储中心、备份中心，承载着**的核心业务系统，随着业务的快速开展，对业务连续性的要求也越来越高。此次工程建立以**的2个数据中心为2个物理站点，并考虑异地一处作为异地站点，构建跨双数据中心〔**公里〕实现双活站点的存储虚拟化平台。该平台主要为各类应用业务提供高可用性根底保障，为构建虚拟数据中心提供存储资源和效劳，保障数据的一致性和完整性。建立总体要求云数据中心建立云数据中心建立是建立云平台的核心与关键，虚拟数据中心负责按需提供满足要求的运算处理资源、存储资源、网络资源等IT根底架构效劳。“站点双活+异地数据备份〞灾备体系建立数据中心提供满足平安、高效管理和保障业务连续性的功能。通过“站点双活+异地数据备份〞方案，实现不同灾难场景下的业务连续性要求。统一管理平台的需求实现对双活数据中心中涉及的设备的统一管理，涵盖日常管理、资源分配、性能监控、日志审计等内容。需求分析需求分析云数据中心建立虚拟化是云平台建立的根底。通过虚拟化技术进展整合，形成一个对外提供计算资源为主的池化管理〔包括效劳器池、存储池、网络池等〕，同时提供运行环境等根底效劳。效劳器虚拟化能够消除**局原有业务系统的“一台效劳器运行一个应用程序〞模式下的效率低下现象，在这种模式下，大多数效劳器远未得到充分利用。借助效劳器虚拟化技术，一台效劳器可用作多个“虚拟机〞，而且每个虚拟机都可以在不同的环境下运行，例如Windows、Linu*或Apache。因此，采用效劳器虚拟化能够将多台效劳器整合到更少的物理设备上，从而有助于减少空间、能耗以及管理需求。通过效劳器虚拟化平台的建立，可以将现有的业务系统逐步迁移到效劳器虚拟化平台，并通过双活数据中心帮助增强业务连续性并提供全面的数据保护，以便管道局能够获得连续的应用程序可用性以及跨两个物理站点的自动灾难恢复能力。网络虚拟化通过各种网络技术，将不同的应用相互隔离，使得不同用户在同一网络上不受干扰地访问各自不同应用。在交换网络中可以通过虚拟局域网〔VLAN〕技术来区分不同业务网段，在路由环境下可以综合使用VLAN、MPLS-VPN、Multi-VRF等技术，实现对网络访问的隔离。在数据中心内部，不同逻辑网络对平安策略有着各自独立的要求，可通过虚拟化技术将一台平安设备分割成假设干逻辑平安设备，供各逻辑网络使用。存储虚拟化是指利用虚拟化技术，统一整合管理FCSAN，IPSAN等多种存储设备，形成统一的资源池供上层业务使用，屏蔽不同存储之间的差异。“站点双活+异地数据备份〞灾备体系建立传统的数据中心容灾已经从主备数据中心开场向双活数据中心过渡。主备数据中心的建立模式可以在很大程度上提升业务连续性。用户所有的业务系统都在主数据中心运行，而在备数据中心为业务系统提供冷备或热备，当主数据中心的应用出现故障时，可以将单个应用或数据中心整体切换到灾备数据中心。但这种模式造成了备数据中心常年处于闲置状态而造成资源浪费。而通过资源整合，可以极大的提升资源利用率，同时双活数据中心的效劳能力是双倍的。现状分析目前**局已经建成资产财务一体化平台、人力资源系统、电子商务平台、综合数据库系统、数据存储平台、办公自动化系统等信息系统。其中，核心应用系统包括资产财务一体化平台、综合数据库系统、OA系统等应用系统。业务系统组网图如下:应用系统现状〔1〕资产财务管理一体化资产财务管理一体化是**局核心应用系统，涉及**局财务、资产、物资、检修、运行等工作，部署方式为集中式部署，业务窗口时间为7*24小时。资产财务管理一体化的关联系统是电子商务平台，系统之间有业务流程和数据交换。〔2〕综合数据库综合数据库包括综合统计和内主页等系统，涉及**局下属所有电厂的数据上报和信息访问。〔3〕总部OA系统**局OA系统采用LotusDomino平台，包括OA办公、公文审批和内网等。**局OA系统为分布式部署(从一级到三级)。总部OA系统与**局下属单位OA系统之间主要为收发公文。各应用系统IT现状如下表所示：系统序号应用系统效劳器数量数据量(GB)数据增量〔GB〕存储方式操作系统数据库虚拟化1**业务平台2台P780小机40005GB/天DS8100AI*6.1Oracle11gR2RAC无2**系统2台IBM*36501002G/天RDM〔裸设备映射〕windows2021R2无VMware5.5网络系统现状当前已建立同城灾备中心，租用运营商机房，与生产中心距离约20km。中间链路租用运营商裸光纤链路，并自购5台中兴M721DWDM设备，其中A系统在生产中心使用两台DWDM设备实现冗余，B系统在生产中心使用1台DWDM设备，灾备中心放置2台DWDM设备。生产中心采购2台思科Ne*us7010作为核心交换机，同城灾备中心没有核心交换机。网络现状如以下列图所示：现状风险分析在**局以往的业务系统架构中,核心业务系统采用小机,其他非关键业务采用VMware虚拟化架构,核心数据库系统与业务均存放在**存储上,整个业务系统未进展高可用保护,业务系统存在单点故障风险。且**存储系统面临即将过保的问题，如何平滑进展存储系统的切换是必须要考虑的问题。建立目标〔适用于升级改造〕本次工程建立的关键目标有三个：〔1〕原数据中心的业务逐步迁移到新数据中心〔2〕新数据中心与原数据中心升级为双活数据中心架构〔3〕建立异地灾备中心方案设计原则通过对用户需求的了解，结合**应用系统的业务特点，方案主要遵循以下原则进展设计：高性能：充分考虑容灾系统的处理能力，使其整个系统在国内三到五年内保持领先的水平，并具有长足的开展能力，以适应未来灾备技术的开展。高可靠性：灾备系统是为了进一步增强关键业务数据的抵御灾难能力，所以在灾备系统设计阶段需要充分考虑其自身的稳定性和可靠性，从而保障关键数据能够持续、稳定的传送到异地灾备中心。当出现任何问题时都能够通过灾备数据得以恢复。标准化：所有灾备解决方案都应符合有关国内及国际标准以保证不同品牌灾备解决方案之间的互操作性和系统的开放性。可扩展性：当前灾备系统的设计不但应满足当前需要，还需充分考虑业务的开展，同时便于向更新技术的升级与衔接，保护当前投资。可维护性：整个灾备系统的设计，充分考虑易于管理，易于维护，操作简单，易学，易用，便于进展配置，发现故障。平安性：由于灾备系统承载的是关键业务系统的数据备份，所以设计需要考虑传输、存放等灾备整个过程中的平安性。高性价比：灾备系统建立首先要从系统的实用性角度出发，满足不同的业务系统的实际需要和前瞻性的同时，选择最高性价比的设计方案。-.z存储双活架构选择存储双活架构选择存储双活架构描述双活数据中心的定义是指两个数据中心共享存储、网络以及效劳器资源，两个数据中心同时对外提供效劳，整个系统具有业务负载均衡和自动故障切换功能。存储双活作为整个系统的核心根底架构平台，主要解决以下两个核心问题。一是如何在两个数据中心间实现数据实时同步，从而保证异常情况下，零数据丧失〔RPO=0〕。二是如何实现存储资源的虚拟化，提供可同时被两个数据中心主机访问的存储共享卷，从而实现主机应用集群的跨站点部署，保证异常情况下，应用的自动切换〔RTO≈0〕。业界存储双活技术路线当前，存储业务通常有以下两种实现存储双活方案的架构。一种是基于专业的虚拟化存储设备来实现；一种是基于磁盘阵列的同步复制技术，配合自动化的复制切换软件来实现。由于两种架构采用了不同的技术方案，因此，在方案可靠性、业务连续性以及可扩展性方面都存在一定差异。存储双活架构比照方案可靠性基于虚拟化存储的双活方案：通常可以在每个站点部署一台或多台全冗余架构的虚拟化存储设备，站点间和站点内都不存在单点故障的风险。基于磁盘阵列同步复制技术的双活方案：实际上采用的是Stretched架构，即将一台阵列的两个控制器部署在两个站点，每站点内部只有一个控制器，存在单点故障风险。数据实时同步技术及性能影响基于虚拟化存储的双活方案：采用存储虚拟化设备的卷镜像技术实现两站点间的数据实时同步。两台存储设备上的LUN被虚拟化为一个虚拟的卷，主机写操作通过卷虚拟化镜像技术同时写入这两个存储设备，保持数据实时一致。其中任何一个存储设备故障，虚拟卷仍能提供正常的IO读写能力，主机业务不受影响。待存储设备恢复正常后，存储虚拟化设备将增量数据后台同步到修复的存储设备，整个过程对主机“透明〞，不会影响主机业务。基于磁盘阵列同步复制技术的双活方案：基于磁盘阵列同步复制技术的双活方案是通过建立主存储设备复制到从存储设备的同步复制关系，在从存储设备生成一个实时一致的数据副本来实现的。同步复制对上层主机而言，两个数据中心的存储表达为两个不同的LUN。由于同步复制的从存储设备不能被主机访问，因此，当主站点存储设备发生故障，需要配合上层的自动切换软件实现业务的自动切换。恢复业务需要先切换复制关系，将从存储上的副本变为可读写，并改变主机的存储访问路径，切换时间长。为了保证两个数据中心存储的数据实时一致，同步复制与虚拟化卷镜像的写操作都需要等待两端存储同时写成功之后再返回给主机“写成功〞。因此，两种架构都将对IO写操作带来一定的时延增加，必须提供低时延的同城网络，以减小对写时延的影响。存储卷的双活访问特性基于虚拟化存储的双活方案：基于跨数据中心的双活虚拟化存储平台，提供可供两数据中心主机同时进展读写访问的共享存储卷。主机访问请求由本数据中心所在的虚拟化存储引擎响应，无需跨越同城网络访问另一数据中心的虚拟化存储引擎。基于磁盘阵列同步复制技术的双活方案：将一台阵列的两个控制器部署在两个数据中心，且两个控制器处于主备模式，备控制器无法被主机访问，只能提供一条备用的存储路径，不是真正的双活。两个数据中心的主机都只能通过访问其中一个控制器来进展IO读写，不仅增长了主机IO的路径，而且增加了主控制器的业务压力，影响系统性能。方案业务连续性能力基于虚拟化存储的双活方案：同一个共享的存储卷可经过两个数据中心的任意节点被主机访问。其中一个数据中心的虚拟化引擎故障、主机故障，甚至整个站点故障时，都无需对存储进展切换，另一数据中心的虚拟化引擎可继续为主机提供访问。故障修复后，无需中断主机访问即可恢复故障前运行状态。基于磁盘阵列同步复制技术的双活方案：由于备控制器无法被主机访问，当发生主控制器故障或站点级故障时，需要先切换同步复制关系，再切换主机访问路径，来使存活站点的控制器强行接收故障站点控制器的工作。切换流程复制，局部场景甚至需要手工执行命令来强行切换控制器和访问路径。故障修复后，需要中断业务运行来恢复到故障前状态。弹性可扩展基于虚拟化存储的双活方案：通常可以在每个站点部署一台或多台全冗余架构的虚拟化存储设备。因此，随着业务的增长，方案能够支持引擎的横向扩展，且新增引擎与现有引擎构成一个统一的虚拟化存储集群，提供统一的IO处理能力。基于磁盘阵列同步复制技术的双活方案：通常只支持双控，不具备控制器的横向扩展能力。无法实现存储资源的整合与共享，不能支持弹性可扩展。系统方案设计整体架构设计方案描述存储双活方案作为**业务的核心根底架构，其架构的选择决定了整个系统是否可靠高可用、平安可信赖、弹性可扩展。此次方案建立，考虑到**局的上述需求，华为建议采用基于专业的虚拟化存储设备来构建高可用、高性能、可扩展的存储双活方案。**局两地三中心容灾系统建立包括同城双活中心：**数据中心与**数据中心以及异地灾备中心三中心。整体的建立包括：双活容灾系统建立、异地灾备系统建立。同城双活容灾建立华为存储双活方案采用OceanStorVIS6600T系列产品〔以下简称VIS〕，实现存储双活架构，为两个数据中心存储同时提供读写效劳，且整个存储系统架构全冗余，任意数据中心故障时，另外一个数据中心有一份存储设备和一样数据可用，最大化提高了业务连续性。两个数据中心分别部署多台Oracle数据库效劳器和虚拟机效劳器，以及OceanStorVIS6600T和磁盘阵列等设备。整个双活系统分为存储层、前端网络层与应用层与管理层。存储层，在**数据中心A和**数据中心B各部署一台VIS6600T，组成一个VIS集群，为两数据中心主机业务同时提供读写效劳。支持扩展至8节点。同时，在**数据中心A和**数据中心B配置同等级和同容量的磁盘阵列。为了提升热点数据的存储性能，使高价值硬盘得以更充分的利用，配置不同类型的硬盘：SAS、NL-SAS、SSD以合理分配资源；通过华为存储提供的SmartTier功能对热点数据进展持续监控并从机械硬盘迁移到SSD中，进一步提升系统性能。两个数据中心的磁盘阵列都由VIS集群接收，利用VIS镜像技术对两中心的磁盘阵列做镜像冗余配置，实现两个数据中心存储数据实时镜像，互为冗余。任意数据中心故障，数据零丧失。网络层，数据中心之间集群IP心跳和FC数据传输网络都采用裸光纤直连，传递控制信息、配置信息和数据同步，满足双活数据中心网络时延要求。应用层，两个数据中心的Oracle效劳器构成一个E*tendedRAC集群，提供跨数据中心的自动负载均衡和自动故障转移功能。两个数据中心的虚拟机效劳器构成一个集群，提供跨数据中心的虚拟化业务连续性和移动性。为了实现双活数据中心存储设备的统一管理，建议部署统一容灾管理软件，通过华为统一容灾管理软件实现双活数据中心的可视化管理，并通过管理软件直观的展示双活业务的物理拓扑。建议将管理软件部署于**数据中心的物理效劳器。异地灾备建立对于**业务，在建立双活数据中心的根底上，再进展数据的远程容灾。如此一来，**核心业务数据总共保存了三份，更高程度保证了数据平安性。整体的方案架构图如以下列图所示〔根据实际工程情况修改〕：**数据中心和**数据中心分别部署多台效劳器、1台VIS、*台磁盘阵列、至少2台可提供10GE与GE链路的冗余IP交换机以及2台FC交换机。其中*台效劳器组成多节点的OracleRAC集群与VMware集群、FusionSphere集群，对外提供效劳；2台VIS组成4节点的VIS集群，统一接收2个数据中心的磁盘阵列，构建跨站点的存储资源池；两个数据中心之间利用VIS镜像功能同步数据。第三方仲裁站点使用华为提供的第三方仲裁存储单元，使用IP或FC网络连接到**数据中心和**数据中心的VIS设备。每个数据中心的一台**阵列和第三方仲裁存储单元各提供一个1GB的LUN，共3块仲裁盘，供VIS仲裁使用。存储双活架构的要求方案对同城网络的要求采用FC链路实现同城双数据中心间的数据实时同步，采用二层以太网络实现双数据中心间的存储虚拟化集群〔VIS〕以及主机应用集群的心跳链路通信。为降低数据双写对业务系统的影响，建议同城链路的时延在1ms以内。同城链路带宽需求，与需要在两数据中心间同步的数据量相关，要求链路带宽大于业务系统顶峰期的数据写带宽。方案对仲裁链路的要求为保证各种异常情况下，存储虚拟化集群能够进展仲裁，业界存储双活方案都需要设计第三方仲裁站点，以保证异常情况下的业务连续性。两个双活数据中心与第三方仲裁站点间的链路可选择FC或IP网络，大大增加了方案的灵活性，有利于降低方案的整体本钱。应用系统对时延的要求双活数据中心的建立不仅是存储一个层面的双活部署，需要端到端地进展考虑。尤为重要的是，当前双数据中心的网络时延是否能满足应用系统对网络时延的要求.华为提供了一系列的测试方法对**数据中心与**数据中心的网络链路进展检测确认。以下罗列了双活数据中心解决方案的两种典型应用场景对时延的建议：Oracle应用时延建议类型性能好性能可承受性能差dbfilesequentialread<10ms<20ms>20msdbfileparallelwrite<10ms<15ms>15mslogfileparallelwrite<5ms<15ms>15msVMware应用时延站点之间最大支持VMwareES*i管理网络的网络时延是往返10msRTT。vMotion标准版和企业版要求5msRTT。vMotion中10msRTT的延时只有在具有VMwarevSphereEnterprisePlus版本许可中才支持，这个版本许可包括MetrovMotion功能。ES*ivMotion的网络需要最少622Mbps的网络带宽，并且有冗余链路。FusionSphere应用时延生产站点与容灾站点间距离要在100公里以内，站点间需要租赁L1专线，两个站点间环回时延≤1ms。存储双活方案详细设计虚拟化存储双活设计跨数据中心部署的OceanStorVIS6600T虚拟化存储集群提供可被两数据中心主机并发访问的共享双活卷，连接到其任何节点上的主机都可以访问同一个虚拟卷，并像访问本地存储一样对VIS提供的虚拟卷进展读写。通过VIS的虚拟化功能，实现对各种磁盘阵列的统一接收，将数据中心里不同类型的磁盘阵列资源池化，实现存储资源的整合和优化，提高资源利用率。同时通过VIS虚拟化卷镜像功能，保证两个站点磁盘阵列之间数据的实时同步。两台存储设备上的LUN被虚拟化为一个虚拟的卷，主机写操作通过卷虚拟化镜像技术同时写入两个数据中心的存储设备，保持数据实时一致。具体的IO读写流程如以下列图所示。VIS镜像的写I/O流程如下：写请求到镜像卷；镜像卷将请求复制为两份下发到两中心的镜像数据盘；镜像数据盘返回写操作完成；镜像卷返回写I/O操作完成。双活读策略设计华为VIS具备灵活的读取策略：循环读、优选读、基于站点读〔SiteRead〕。针对双活数据中心场景，设计了“SiteRead〞模式，以防止虚拟化引擎跨数据中心读取数据，提升方案整体性能。其读I/O流程如下：读请求到镜像卷；镜像卷根据策略下发请求到与虚拟化引擎在同一个数据中心的镜像数据盘读取数据；镜像数据盘返回读数据；镜像卷返回读数据。其中任何一个存储设备故障，虚拟卷选取正常的存储设备响应主机I/O，主机业务不受影响。并且采用差异位图记录故障期间数据的变化情况，待存储设备恢复正常后，存储虚拟化设备将增量数据后台同步到修复的存储设备，整个过程对主机“透明〞，不会影响主机业务。优选路径设计华为多路径软件UltraPath支持双活的优选路径模式。为了防止跨数据中心进展I/O处理而带来时延的增加，UltraPath将优先使用本数据中心VIS节点下发I/O的路径，只有当本数据中心节点路径故障后才使用远端数据中心VIS节点的路径。说明：当前FusionSphere不支持优选路径功能。〔蓝色字体局部实际使用时不对客户表达〕虚拟机跨数据中心vMotion设计〔可选〕通过FibreChannel、iSCSI存储区域网络(SAN)和数据中心间网络，虚拟化存储集群为两个数据中心主机提供共享访问的镜像卷，构建VMwareES*vMotionoverDistance，可在数据中心之间实时迁移在线运行的虚拟机，可防止停机、确保业务连续性以及事务处理的完整性，使**局可以在执行硬件维护时无需安排停机时间及中断业务操作。同时，VMwareES*vMotionoverDistance还可以使两数据中心资源池内的虚拟机持续进展自动优化，最大程度地提高硬件的利用率、灵活性及可用性。“逃生〞功能设计华为VIS虚拟化智能存储具备“逃生〞功能，对所接收磁盘阵列，无需更改阵列映射LUN的任何内容，当双活数据中心的两台VIS出现故障，将VIS从整个SAN网络中移除，阵列直接将LUN映射给主机使用，主机可正常拉起业务，防止出现由于虚拟化失败或者虚拟化不能快速回退造成的数据丧失等导致业务系统不可恢复的情况。说明：此功能当在上层应用为虚拟化场景，且下层阵列为友商阵列时需要了解友商阵列的清预留的命令才能实现“逃生〞功能。〔蓝色字体局部实际使用时不对客户表达〕镜像快速恢复功能设计华为VIS镜像功能具备镜像故障快速处理机制，只需要重新镜像数据差量而不需要做全量的镜像。该算法基于一个位图数据构造：数据改变对象〔DCO〕。一旦*个镜像卷或者整个设备故障，VIS会在DCO中记录两个卷之间的差异点。当镜像卷或存储设备恢复，则VIS根据DCO差异的情况，从源卷中将数据读入同步到镜像卷。到达快速恢复镜像的目的，不用完全重新同步。存储双活方案仲裁设计有第三方仲裁站点如以下列图所示，为保证当任一数据中心整体故障或中间链路故障等极端场景下，主机业务的连续性，方案建议采用第三方仲裁磁盘，由两个双活的生产中心及第三仲裁存储单元分别为虚拟化存储集群提供一个仲裁盘。这样，便可以保证即使出现数据中心整体故障或中间链路故障等极端场景，虚拟化存储集群仍然可以访问至少两块仲裁盘进展仲裁，保证业务可靠性和数据一致性。第三方仲裁站点位于**点，**点与两个数据中心之间通过**线互联。可直接从部署于**点的仲裁存储单元上创立一个1GB的LUN，可通过FC链路或IP链路映射给两个数据中心的VIS。当出现任一数据中心整体故障或中间链路故障等极端场景，整个集群的仲裁过程如下：**数据中心与**数据中心之间的中间链路断开，导致两个数据中心集群发生分裂，进而两个中心之间的存储虚拟化平台发生“脑裂〞，存储虚拟化平台从一个大集群分裂为两个小集群；根据集群“脑裂〞的通用原理，当大集群分裂为两个小集群时，每个小集群分别抢占存放第三方仲裁信息的仲裁盘，抢占到51%以上仲裁信息〔即抢占到2个仲裁盘〕的小集群“获胜〞，将继续对外提供效劳，为应用提供存储访问空间；未抢占到仲裁信息的小集群则自动退出集群，不再对外提供效劳；当中间链路恢复时，“自动退出的小集群〞检测到中间链路由故障变为正常，尝试与“继续效劳的小集群〞握手通信，经过握手通信两个小集群再次组成一个大集群，以Active-Active模式提供效劳，互相之间实现冗余。无第三方仲裁站点假设无第三方仲裁站点，则选择将第三方仲裁盘配置在任意一个数据中心，并实施必要的掉电保护措施，例如部署独立UPS电源。采用此种方式部署，则当出现存放两块仲裁盘的数据中心整体故障，如大面积停电，火灾等灾难。由于集群无法获得超过51%的仲裁信息而导致整个集群停顿对外效劳，业务中断，需要手工进展恢复。跨数据中心网络设计同城双活数据中心网络至少包括五*网：业务访问网〔IP，作为客户端访问效劳器的主要网络〕应用迁移网和应用心跳网〔10GE，主要进展虚拟机在线迁移操作与主机集群的心跳网络〕存储镜像网络〔FC〕VIS心跳网络〔GE二层网络，作为VIS集群的心跳网络〕VIS仲裁网络〔GE三层网络或FC〕不同的网络间，可以通过划分不同的VLAN实现。为保障方案的可靠性，华为同城双活方案采用数据传输链路与心跳链路别离设计的原则。通过VLAN或VRF隔离端到端流量，同时进展分配独立的物理互联链路，做到业务流量与集群心跳别离流量，互不影响。采用FC链路实现同城双数据中心间的数据实时同步，采用二层以太网络实现双数据中心间的存储虚拟化集群〔VIS〕以及主机应用集群的心跳、同步互联链路通信。由于Fusionpute仅支持配置一个网关，所以数据中心A和数据中心B中作为网关的会聚〔核心〕交换机，需要配置为主备网关模式。主网关优选生产站点侧的交换机。在实际进展VLAN跨站点配置时，在以太网会聚交换机上按照VLAN配置主备网关的VRRP。对于一个VLAN，部署了虚拟机业务的一侧站点网关配置为主网关，另一侧站点网关配置为备网关。假设两个数据中心之间存在VMwarevMotion在线迁移操作，则VMware单台虚拟机跨数据中心迁移要求IP链路带宽为1Gb/s，假设存在多台虚拟机同时迁移〔并行〕，则相应的带宽要增加。实际部署时，建议至少部署一条10GE链路用于VMware迁移复制流量。VIS镜像必须采用FC光纤互联。两数据中心相距25km以内可采用裸光纤直连。如果距离超过25km或只有一对裸光纤，建议使用OTN波分设备来构建两数据中心的同城网络。部署OTN波分设备时，建议采用1+1主备线路双发选收的方式，提供物理链路的高可靠性。一对裸光纤中断时，另一条裸光纤可马上恢复业务流量，切换时上层网络及应用无感知。园区网络设计适用场景：两个数据中心容灾距离小于25km，采用光纤交换机直连。两个数据中心中用于主机应用心跳网络、虚拟机vMotion网络的以太网交换机建议采用10GE并一对一级联；用于VIS集群心跳网络的以太网交换机采用GE并一对一级联；用于存储数据同步的FC交换机一对一级联；以太网交换机也可以Trunk端口捆绑穿插组网。4节点VIS集群一对一级联组网图如下：8节点VIS集群一对一级联组网图如下：同城网络设计适用场景：两个数据中心容灾距离小于100km，链路采用DWDM连接。两个数据中心中用于心跳网络的IP交换机和用于存储复制网络的FC交换机都分别连接到OTN波分设备。不同的业务互联，通过波分复用统一承载于两对1+1备份的裸光纤或一对裸光纤中。4节点VIS集群组网图如下：8节点VIS集群组网图如以下列图所示：存储双活方案应用配置建议VMware配置建议建议将**数据中心和**数据中心所有用于运行虚拟机的ES*i效劳器配置为一个集群，配置HA和DRS功能。虚拟机必须安装VMwareTools软件〔免费〕。VIS上创立的用于虚拟机的卷必须映射给集群内所有效劳器，以便提供共享存储效劳。效劳器之间建议通过万兆以太网提供心跳效劳与vMotion迁移流量，集群内的所有效劳器需符合集群的兼容性规则。如果进展虚拟机在线迁移操作，最好选择业务不太繁忙时进展。为了预防生产站点突发性灾难，同城双活数据中心运行虚拟机的效劳器需要保持开机状态。FusionSphere配置建议Fusionsphere双活方案中，需要启用DRS特性进展虚拟机本地优先启动和HA，因此如果用户配置了其他DRS规则，则不能与容灾DRS规则冲突，否则无法保证虚拟机本地优先启动和HA。数据中心A和数据中心B的业务均通过主网关提供，规划数据中心A和数据中心B的业务网络带宽时需要同时考虑该局部的业务需求。OracleRAC配置建议基于虚拟化设备的双活方案是能真正支持OracleRAC跨数据中心部署的方案，OracleRAC跨数据中心部署，对数据库版本以及业务系统的部署方式有一些要求和建议：要实现Oracle数据库的跨数据中心的集群部署，需采用支持OracleE*tendedDistanceCluster的Oracle版本。建议使用Oracle10g发行版2或更高版本。Oracle部署通常有三种存储管理方式：文件系统，裸盘和ASM，推荐使用ASM。对于OracleE*tendedDistanceCluster配置，建议对OracleClusterware和Oracle数据库二进制文件和主目录进展本地存储，以减少站点间流量。为了防止跨数据中心进展数据的交互，建议在OracleRAC层创立不同的service，实现业务别离。通过Service-SideTAF的PREFERRED功能设置应用只访问本地实例；同时设置远端数据中心的实例为AVAILABLE，只有本地实例都故障才切换到远端实例；可以减少RAC跨数据中心交互的次数，提升整体性能。华为存储双活方案优势虚拟化存储集群采用真正的“Active-Active〞的高可靠架构，提供可被两数据中心主机并发访问的共享双活卷，连接到其任何虚拟化引擎上的主机都可以访问同一个虚拟卷，并像访问本地存储一样对虚拟卷进展读写。两数据中心可同时对同一个业务系统提供读写效劳，并自动实现业务在站点间的负载均衡，为用户提供更加灵活的数据访问方式。如果采用将一台阵列的两个控制器部署在两个数据中心的方案，每数据中心内部只有一个控制器。由于备控制器无法被生产中心主机访问，只能提供一条备用的存储路径，用户无法访问备数据中心的数据。图形化展示双活物理拓扑图与业务逻辑拓扑，监控双活数据中心运行状态，提供业界领先的ALLINONE可视化、流程化的容灾业务管理。通过在每个站点部署一台或多台全冗余架构的虚拟化存储设备，站点间和站点内都不存在单点故障的风险，可以防止任何单点故障导致业务中断的风险。华为独特的虚拟化存储集群架构，在单个数据中心虚拟化引擎故障情况下，不但不影响主机业务，还可保证数据实时镜像不中断，提供更高的可用性。如果采用将一台阵列的两个控制器部署在两个站点的方案，每站点内部只有一个控制器，存在单点故障风险。虚拟化存储设备可以统一接收不同厂商，不同品牌的存储设备，充分利用现有存储设备资源。两个数据中心的存储资源被统一接收后，被虚拟化为统一的存储资源池，并以双活的方式共同对外提供效劳，在数据中心之间自动进展负载均衡，存储资源得到充分利用，提高了资源利用率。如果采用将一台阵列的两个控制器部署在两个数据中心的方案，每数据中心内部只有一个控制器。由于备控制器无法被主机访问，因此，与传统容灾方案一样，被控制器所在数据中心的存储资源无法充分利用，存储资源浪费严重。华为存储双活方案可支持在每个数据中心部署一台或多台全冗余架构的虚拟化存储设备。因此，随着业务的增长，方案能够支持引擎的横向扩展，且新增加的引擎与现有引擎构成一个统一的虚拟化存储集群，提供统一的IO处理能力。如果采用只支持双控的双活数据中心架构，不具备控制器的横向扩展能力。随着业务的增长，方案只能通过新购设备的形式扩容，无法实现存储资源的整合与共享，不能支持弹性可扩展。采用华为存储双活方案，两个数据中心的主机可同时访问同一个虚拟卷，部署应用层集群时，只需按照部署普通集群的方法进展部署，大大降低了方案实施和维护难度。华为存储双活方案提供了全自动的故障处理机制，故障切换过程无需人工干预，大大降低了容灾系统维护本钱。单个数据中心中，任何部件需要升级等维护工作时，可以将该生产中心需要维护的设备停机，另一个正常的生产中心会自动接收业务，数据零丧失，提高了系统的可维护性。如果采用将一台阵列的两个控制器部署在两个数据中心的方案，由于备控制器无法被主机访问，当发生主控制器故障或数据中心级故障时，需要先切换同步复制关系，再切换主机访问路径，来使存活数据中心的控制器强行接收故障数据中心控制器的工作。增加了系统维护与管理的难度。存储双活方案故障切换与恢复故障切换流程根据**局实际业务需求，存储双活方案部署虚拟化VMware应用，构建跨数据中心的VMwareES*StretchCluster，实现应用双活；存储双活方案配合Fusionpute的虚拟机HA功能和DRS功能实现的存储双活部署；两个数据中心分别部署运行不同的OracleRAC业务，构建跨数据中心的镜像数据保护。在该部署场景下，在各单部件和链路故障，甚至整个数据中心故障，都可以实现业务自动无缝切换。具体故障切换情况如下表所示〔以下切换过程适用于4节点VIS集群双活场景〕：故障场景测试用例故障切换情况部件故障单中心效劳器故障主机集群自动检测到故障，业务自动切换到未故障的主机上单中心VIS单控制器故障虚拟化智能存储设备其它节点自动接收虚拟化，业务主机I/O自动切换，业务无中断单中心阵列单控制器故障磁盘阵列的其它节点自动接收其I/O，业务无中断单中心VIS故障另一数据中心虚拟化智能存储设备自动接收虚拟化，业务主机I/O自动切换，业务无中断单中心阵列故障另一数据中心的磁盘阵列自动接收其I/O，业务无中断同城链路故障同城链路故障VIS集群仲裁，一边数据中心VIS存活，业务自动切换到仲裁存活的数据中心数据中心故障单数据中心故障业务自动切换到存活的数据中心在各故障场景中，故障恢复后，集群自动恢复，故障节点自动参加VIS集群、OracleRAC集群或VMwarevSphereHA集群、FusionSphereHA集群，故障节点自动恢复承载业务，集群各节点间业务负载均衡。其中单中心阵列、同城链路和单数据中心故障恢复时，镜像关系修复过程中，为防止旧数据覆盖新数据，需手动修复VIS镜像对的关系。VIS单控制器故障每个数据中心各部署一台双控冗余配置的VIS，构建一个跨数据中心的4节点VIS集群。当VIS的其中一个控制器发生故障时，同数据中心的VIS节点自动接收其虚拟化，业务主机I/O自动切换到本数据中心的VIS节点，不会发生跨数据中心切换。假设数据中心A的VIS控制器1故障，处理过程如下：VIS集群检测到VIS节点控制器故障，将该VIS节点踢出集群；主机多路径检测发现主机到VIS控制器1的路径故障，将路径自动切换到本数据中心VIS的控制器2进展I/O访问；两个数据中心业务不发生切换，正常运行；主机业务写I/O，通过VIS镜像，仍然实时同步写到两个数据中心的阵列；读I/O保持从本地存储读取，VIS不会跨数据中心读取数据。阵列单控制器故障存储双活方案，每个数据中心各部署一台双控冗余配置的**磁盘阵列。当**阵列的其中一个控制器发生故障时，该阵列另一控制器节点自动接收其业务，业务主机I/O不会发生跨数据中心切换。假设数据中心A的阵列控制器1故障，处理过程如下：阵列检测到控制器1发生故障，工作正常的控制器2接收其业务；VIS集群后端磁盘多路径检测发现VIS到该阵列控制器1的路径故障，将路径自动切换到阵列控制器2进展I/O访问；两个数据中心业务不发生切换，正常运行；主机业务写I/O，通过VIS镜像，仍然实时同步写到两个数据中心的阵列；读I/O保持从本地存储读取，VIS不会跨数据中心读取数据。单链路故障存储双活方案，采用双交换机冗余组网方式，当数据中心内其中一条链路故障时，业务主机I/O自动切换，业务无中断。假设数据中心A中VIS到阵列的一条链路故障，处理过程如下：VIS集群后端磁盘多路径检测发现路径故障，自动切换到另一条正常路径进展I/O访问；两个数据中心业务不发生切换，正常运行；主机业务写I/O，通过VIS镜像，仍然实时同步写到两个数据中心的阵列；读I/O保持从本地存储读取，VIS不会跨数据中心读取数据。单中心VIS设备故障存储双活方案，两个数据中心的VIS构建的是跨数据中心集群，当其中一台VIS故障时，另一数据中心虚拟化智能存储设备自动接收业务，业务主机I/O自动切换，业务无中断。假设数据中心A的一台VIS设备故障，处理过程如下：VIS集群检测到数据中心A的VIS故障，将故障VIS节点踢出集群，虚拟化智能存储设备自动接收虚拟化卷；主机多路径检测发现主机到数据中心A的VIS路径故障，将路径自动切换到数据中心B的VIS进展I/O访问；两个数据中心业务不发生切换，正常运行；主机业务I/O，通过VIS镜像，仍然实时同步写到两个数据中心的阵列；读I/O从数据中心B的磁盘阵列读取。单中心阵列设备故障存储双活方案，每个数据中心各部署2台磁盘阵列，通过虚拟化智能存储的VIS镜像功能，两个数据中心的**阵列跨数据中心镜像，数据实时同步。当单数据中心一台阵列故障时，业务I/O自动切换到另一数据中心的镜像阵列处理，业务无中断。假设数据中心A的一台阵列故障，处理过程如下：VIS集群检测到数据中心A的阵列故障，VIS将该阵列盘状态置为‘disable’，VIS镜像关系故障；VIS后端磁盘多路径检测发现VIS到该故障阵列的路径故障，将路径自动切换到数据中心B的镜像阵列进展I/O访问；两个数据中心业务不发生切换，正常运行；主机业务写I/O只写到数据中心B的阵列，并记录新增数据位图，标识数据中心A与数据中心B阵列之间差异；读I/O从数据中心B的磁盘阵列读取。同城链路故障同城网络包括业务数据镜像网络、VIS集群网络和虚拟机的vMotion网络，OracleRAC私有网络，当同城网络故障时，通过VIS集群的仲裁机制，仲裁抢占胜利的VIS对应的数据中心则接收所有的业务，业务自动切换。详细处理过程如下：同城网络链路故障，VIS集群检测到集群心跳网络链路故障，集群开场仲裁；如果数据中心B的VIS仲裁抢占胜利，数据中心A的VIS重启，踢出集群；数据中心B的VIS无法访问到数据中心A阵列，VIS将该数据中心A的阵列盘状态置为’disable’，VIS镜像关系故障；主机集群检测到数据中心A的效劳器到数据中心B的VIS链路故障，业务I/O不能正常访问，数据中心A的业务自动切换到数据中心B；主机业务写I/O只写到数据中心B的阵列，并记录新增数据位图，标识数据中心A与数据中心B阵列之间差异；读I/O从数据中心B的磁盘阵列读取。单数据中心故障存储双活方案，设备全冗余架构部署，当一个数据中心发生停电或火灾等灾难时，另一个数据中心VIS对应的数据中心则接收所有的业务，业务自动切换。详细处理过程如下：VIS集群检测到数据中心A的VIS故障，集群重构，踢出集群；数据中心B的VIS无法访问到数据中心A阵列，VIS将该数据中心A的阵列盘状态置为’disable’，VIS镜像关系故障；主机集群检测到数据中心A的效劳器故障，数据中心A的业务自动切换到数据中心B；主机业务写I/O只写到数据中心B的阵列，并记录新增数据位图，标识数据中心A与数据中心B阵列之间差异；读I/O从数据中心B的磁盘阵列读取。故障恢复流程在各故障场景中，故障恢复后，集群自动恢复，故障节点自动参加VIS集群、OracleRAC集群、VMwarevSphereHA集群、FusionSphereHA集群，故障节点自动恢复承载业务，集群各节点间业务负载均衡。其中单中心阵列、同城链路和单数据中心故障恢复时，恢复VIS镜像关系，同步差异的增量数据。恢复场景测试用例故障恢复情况部件故障恢复VIS单控制器故障后恢复VIS控制器节点自动参加VIS集群，自动恢复VIS引擎双控冗余配置，分担负载阵列单控制器故障后恢复阵列控制器节点自动参加存储集群，自动恢复阵列双控冗余配置，分担业务负载单链路故障后恢复自动恢复双交换组网冗余配置，分担业务负载单中心VIS故障后恢复VIS故障节点自动参加VIS集群，分担主机业务负载单中心阵列故障后恢复恢复VIS镜像关系，同步差异的增量数据同城链路故障恢复同城链路故障后恢复恢复VIS镜像对关系，同步差异的增量数据；重启VIS，VIS节点自动参加集群，分担主机业务负载；重启效劳器，主机故障节点自动参加集群数据中心故障恢复单数据中心故障后恢复恢复VIS镜像对关系，同步差异的增量数据；重启VIS，VIS节点自动参加集群，分担主机业务负载，主机故障节点自动参加集群下面重点介绍同城链路故障机单数据中心故障恢复过程：同城链路故障修复两个数据中心间的同城链路故障后，在保证了业务继续运行的前提下，按照如下步骤修复故障系统：先恢复FC链路，再恢复IP链路；链路修复好之后，重启仲裁抢占失败数据中心的VIS和效劳器，VIS集群自动重构，组成4节点集群，主机集群进展集群自动重组；恢复两个数据中心的阵列镜像关系，新增的增量数据由仲裁抢占胜利数据中心阵列恢复至仲裁抢占失败数据中心镜像阵列；OracleRAC集群恢复正常后，如果配置为负载均衡连接模式，业务会自动均衡地运行在集群中的所有主机上；VMwarevSphere集群恢复正常后，如果配置了DRS功能，虚拟时机自动相对均衡地运行在集群中的所有ES*i主机上。如果没有配置DRS功能，可以手工vMotion的方式，将业务在线迁移至新参加集群的ES*i主机上；Fusionsphere集群恢复正常后，配置了DRS功能，虚拟机自动相对均衡地运行在集群中的所有A主机上。系统恢复到正常双活场景。单数据中心故障修复单个数据中心全部故障后，在保证了业务继续运行的前提下，按照如下步骤修复故障系统：修复并启动故障数据中心的阵列；修复并启动故障数据中心的VIS，VIS集群自动重构，组成4节点集群；恢复两个数据中心的阵列镜像关系，新增的增量数据同步至恢复的镜像阵列；修复并启动故障数据中心的效劳器；故障的效劳器修复并启动后，会自动参加集群，构成跨数据中心的主机集群；OracleRAC集群恢复正常后，如果配置为负载均衡连接模式，业务会自动均衡地运行在集群中的所有主机上；VMwarevSphere集群恢复正常后，如果配置了DRS功能，虚拟时机自动相对均衡地运行在集群中的所有ES*i主机上。如果没有配置DRS功能，可以手工vMotion的方式，将业务在线迁移至新参加集群的ES*i主机上；Fusionsphere集群恢复正常后，配置了DRS功能，虚拟机自动相对均衡地运行在集群中的所有A主机上；系统恢复到正常双活场景。方案配置说明：本章节供参考，实际提供应用户的版本请删除备注局部，并对蓝色字体局部根据实际情况进展替换与删除。方案配置列表软硬件配置列表注：生产中心和灾备中心的VIS在Unistar中按照1台4节点或2台4节点〔8节点〕VIS进展报价配置。效劳配置列表效劳名称效劳类型效劳工程单位备注容灾专业效劳咨询效劳〔可选〕业务连续性咨询，演练效劳人天联系本地效劳经理容灾实施效劳〔必选〕容灾集成设计，技术实施效劳人天联系本地效劳经理产品实施效劳工程效劳硬件设备安装调试人天按产品单独配置数据迁移效劳数据迁移专业效劳业务系统数据迁移人天单独配置规格分类名称描述功能规格多站点集中管理支持多站点集中管理，支持包括1:1主备容灾，两地三中心容灾，32:1云容灾，双活容灾组网形态分权分域支持对按照用户级别赋予不同的管理资源以及权限容灾保护支持针对Oracle，DB2，E*change，SQLServer应用，VMware与FusionSphere虚拟化环境，基于存储复制，VIS镜像与复制的自动化容灾保护。支持灵活的保护策略，按照保护组的形式保护应用、虚拟机或者LUN容灾恢复支持自定义恢复方案，根据需求配置步骤与自定义脚本。支持按照恢复方案进展方案性迁移、故障恢复与容灾测试，支持容灾测试环境的清理，支持容灾切换后，复原生产环境的重保护容灾监控支持针对保护组的逻辑拓扑与容灾方案全局物理拓扑展示，提供容灾相关设备的信息，监控容灾设备与链路的状态。支持拓扑图标颜色、声音、、短信多种形式告警。支持容灾保护与恢复报表高可靠支持配置数据的备份与恢复北向接口支持REST北向接口管理规格站点数32个本地站点，32个远程站点保护组数256个单个保护组中保护对象数量虚拟机数量512；数据库数量32；LUN数量基于存储阵列复制映射LUN规格单系统支持的保护对象数量3000并发执行的保护组任务数量16恢复方案数量256并发执行的恢复任务数量10管理效劳器规格操作系统WindowsServer2003SP264位企业版WindowsServer2021R264位企业版SUSELinu*EnterpriseServer11SP164位CPU最低配置：2**eon双核1.6GHzCPU标准配置：2**eon双核4.0GHzCPU内存最低配置：DDR4GB内存标准配置：DDR8GB内存硬盘空闲空间最低配置：大于等于10GB标准配置：空闲空间大于等于100GB管理网络带宽生产站点与灾备站点之间管理网络大于10Mb/sAgent规格内存最低配置：DDR1GB内存硬盘空闲空间最低配置：50MB浏览器规格浏览器Windows环境：支持浏览器IE8～11，FireFo*26～29，Chrome21～35Linu*环境：支持浏览器FireFo*26～29，Chrome21～35业务应用兼容性操作系统详见产品兼容性列表业务应用详见产品兼容性列表关键技术网络层解决方案效劳器负载均衡技术〔SLB〕技术概述效劳器负载均衡是指设置在一组功能一样或相似的效劳器前端，对到达效劳器组的流量进展合理分发，并在其中*一台效劳器故障时，能将访问请求转移到其它可以正常工作的效劳器的软件或网络设备。当单一效劳器的性能已经不能满足日益增多的用户访问需要，需要引入效劳器的负载均衡，实现客户端可访问多台同时工作的效劳器，动态分配每一个应用请求到后台的效劳器，并即时按需动态检查各个效劳器的状态，根据预设的规则将请求分配给最有效率的效劳器。适用场景基于效劳器负载均衡技术适用场景如下：提高性能：负载均衡器可以实现效劳器之间的负载平衡，从而提高了系统的反响速度与总体性能；提高可靠性：负载均衡器可以对效劳器的运行状况进展监控，及时发现运行异常的效劳器，并将访问请求转移到其它可以正常工作的效劳器上，从而提高效劳器组的可靠性。组网架构方案架构如上图所示，该组网中，负载均衡器采用双机，分别挂载在主备二层核心交换机上，当主用负载均衡器故障时会自动切换到备用负载均衡器上。负载均衡器支持NAT、DR和HOST三种数据包转发模式。其中：性能最优的是DR模式，其次是NAT模式，HOST模式是基于内容的解析，性能一般。对于NAT模式要求真实效劳器默认网关指向负载均衡器的地址；DR模式要求所有效劳器在同一个网络内，并且真实效劳器需要添加本地回环IP地址为负载均衡器上虚拟效劳的IP地址。NAT转发方式编号源IP地址目标IP地址1234DR转发方式DR〔DirectRoute〕，即直接路由。使用DR模式进展负载均衡时，真实效劳器处理完负载均衡器转发的客户端请求后，可以直接将请求处理结果通过路由返回给客户端，不需要再经过负载均衡器转发。编号源IP地址目标IP地址123HOST转发方式编号源IP地址目标IP地址1234技术特点负载均衡器具有以下技术特点：支持多种调度算法支持最少连接数、轮询、加权最少连接数和加权轮询等调度算法效劳器安康检查安康检查用于确保远程效劳器的可用性，支持基于Ping、UDP、TCP、HTTP和SHELL脚本的安康检查。过载控制静态过载控制：通过活动连接数、每秒连接数以及内存使用量等指标，控制应用效劳器的负载，确保资源池中应用效劳器运行在正常性能*围内。

动态过载控制：根据CPU的占用率控制应用效劳器的负载。当CPU占用率到达阈值时，会丢弃一定比例的请求，保障应用效劳的正常运行，直到CPU占用率回落到阈值以下。支持流量控制支持流量控制，控制客户端的请求流量，提高整体的可靠性。通过三种方式实现：限制*个效劳在指定周期内的HTTP请求数量、限制*个效劳在指定周期内的上载数据量〔请求数据量〕、限制*个效劳在指定周期内的下载数据量〔响应数据量〕支持集群支持主备方式的集群全局负载均衡(GSLB)技术概述随着用户对应用可用性和扩展性需求的进一步增加，越来越多的用户不满足于在单一数据中心提供效劳，开场考虑容灾、用户就近访问等问题。这正是负载均衡设备中的全局效劳器负载均衡技术〔GSLB〕所要解决的问题。绝大局部使用负载均衡技术的应用都通过域名来访问目的主机，在用户发出任何应用连接请求时，首先必须通过DNS请求获得效劳器的IP地址，基于DNS的GSLB正是在返回DNS解析结果的过程中进展智能决策，给用户返回一个最正确的效劳IP。适用场景全局负载均衡技术适用场景如下：跨站点负载均衡：可以实现跨数据中心的流量分担，用户就近访问*一数据中心。客户端访问切换：当生产中心故障，可以将用户的访问流量自动切换到容灾站点，从而实现客户端访问路径的自动切换。组网架构GSLB对于DNS请求的处理流程如下：客户端向本地DNS发起站点查询请求。当本地DNS中没有该站点对应的IP地址信息时，则转发该请求给GSLBMaster。GSLBMaster转发该请求给所有GSLBSlave。所有GSLBSlave反响响应信息给GSLBMaster。GSLBMaster会选择最快响应的GSLBSlave〔例如：SiteA中的GSLBSlave〕，并返回应答给本地DNS。本地DNS转发GSLBMaster的应答给客户端。客户端就可以访问提供效劳的应用效劳器了，例如：SiteA中的RealServer。技术特点从GSLB处理流程可以看出，其核心在GSLB策略，常用的一些GSLB策略包括：1)各内容站点的“安康状况〞GSLBController对各内容站点负载均衡设备上定义的VIP或效劳器〔没有本地负载均衡的情况〕进展第四层TCP/UDP安康检查和第七层应用安康检查。未能通过安康检查的站点不会被选为最正确的内容节点。

2)地理区域或用户自定义区域一个区域为假设干条IP地址前缀。根据用户本地DNS的IP地址，将特定IP*围的用户优先分配到*个通过安康检查的站点。值得一提的是，由于DNS本身的工作原理所限，GSLBController只能看到用户本地DNS的IP地址，而不是用户终端的IP地址。当用户使用错误的本地DNS〔如教育网用户配置网通的DNS效劳器〕时，GSLBController返回的DNS应答将不是最正确的站点。这是基于DNS的GSLB的一个弱点，但由于绝大局部运营商现在限制其他运营商的客户使用自己的DNS，出现这种错误配置的比例非常小。

3)IP地址权重可以为DNS应答中的每个IP地址分配权重，权重决定与其他候选IP相比分配到该IP的流量比例。4)站点〔Site〕权重可以为每个Site分配权重，权重决定与其他候选Site相比分配到该Site的流量比例。5)会话能力阈值通过厂商自由的GSLB协议，GSLBController可以获得每个站点负载均衡设备当前可用会话数和会话表大小的最大值，当前会话数/最大会话数比值超过定义的阈值时，该站点不再被选择。6)活动效劳器指一个GSLB节点绑定到一个VIP上的活动真实效劳器数量。可以配置策略优先选择活动效劳器最多的IP地址。7)往返时间(RTT)RTT策略是基于区域之外最常用的策略。有两种模式的RTT测量：ActiveRTT测量与PassiveRTT测量。在实际部署中，由于网络限制和性能原因，ActiveRTT往往无法使用，PassiveRTT更实用一些。8)当前可用会话数9)站点管理优先级〔AdminPreference〕为每个站点预设优先级，选择优先级较高的站点。10)最少选择选择从前被选择的次数最少的节点。11)轮询〔RoundRobin〕采用轮询方式选择站点。DWDM技术概述DWDM技术是指相邻波长间隔较小的WDM技术，工作波长位于1550nm窗口。可以在一个光纤上承载8~160个波长。主要应用于长距离传输系统。适用场景组网架构华为OSN系列OTN设备将为数据中心容灾提供业界领先的广域传送特性，适合于对容量、实时性等要求较高的容灾系统，华为OSN系列具备海量级数据传送能力，最大支持40G/100G×80波(3.2T~8T)；支持14种专业级存储接口〔FC/FICON/ESCON等〕，具备7大主流存储厂商的兼容性认证；针对各种容灾组网类型，OSN系列提供电信级的50ms级可靠保护；提供业界最正确的3000公里SAN拉远能力，满足长距离异地容灾需求。技术特点DWDM的技术特点和优势：〔1〕充分利用光纤的带宽资源，传输容量巨大DWDM系统中的各波长相互独立，可透明传输不同的业务，如SDH、GbE、ATM等