阵列双活数据中心解决方案

HUAW61华为双活数据中心解决方案技术建议书

资料编码

阵列双活

华为双活数据中心解决方案技术建议书

HUAWGI

2016年3月11日

华为技术有限公司

2021-11-22华为保密信息，未经授权禁止扩散第1页，共105页

HUAW61华为双活数据中心解决方案技术建议书

版权所有©华为技术有限公司2014。保留一切权利。

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传

播。

商标声明

EA靛I和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标，由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务

或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示

的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本

文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

华为技术有限公司

地址：

深圳市龙岗区坂田华为总部办公楼邮编：518129

网址：

客户服务邮箱：

客户服务电话：

0755-285600004008302118

客户服务传真：

2021-11-22华为保密信息，未经授权禁止扩散第2页，共105页

HUAW日华为双活数据中心解决方案技术建议书

目录

1适用场景（供参考,实际使用删除）6

1.1文档适用场景说明6

1.2版本更新6

2概述7

2.1项目背景7

2.1.1项目概述7

2.1.2建设总体要求7

2.2需求分析8

2.2.1需求分析8

2.2.2现状分析9

2.2.3建设目标（适用于升级改造）11

2.2.4方案设计原则11

3存储双活架构选择12

3.1存储双活架构选择12

3.1.1存储双活架构描述12

3.1.2业界存储双活技术路线12

3.1.3存储双活架构对比12

4系统方案设计15

4.1整体架构设计15

4.1.1方案描述15

4.1.2存储双活架构的要求17

4.2存储双活方案详细设计19

4.2.1虚拟化存储双活设计19

4.2.2双活读策略设计20

4.2.3优选路径设计20

4.2.4虚拟机跨数据中心vMotion设计（可选）20

4.2.5“逃生”功能设计21

4.2.6镜像快速恢复功能设计21

4.2.7存储双活方案仲裁设计21

4.2.8跨数据中心网络设计23

2021-11-22华为保密信息，未经授权禁止扩散第3页，共105页

HUAWWI华为双活数据中心解决方案技术建议书

4.3存储双活方案应用配置建议27

4.3.1VMware配置建议27

4.3.2FusionSphere酉已置建议28

4.3.3OracleRAC配置建议28

4.4华为存储双活方案优势28

4.5存储双活方案故障切换与恢复30

4.5.1故障切换流程30

4.5.2故障恢复流程38

5方案配置41

5.1方案配置列表41

5.1.1软硬件配置列表41

5.1.2服务配置列表41

6关键技术43

6.1网络层解决方案43

6.1.1服务器负载均衡技术(SLB)44

6.1.2全局负载均衡(GSLB)48

6.1.3DWDM51

6.2存储层解决方案53

6.2.1HyperMetro技术53

6.3主机层解决方案59

6.3.1VMWare容灾技术59

6.4数据库层解决方案62

6.4.1OracleRAC技术62

6.5应用层解决方案71

6.5.1Weblogic集群技术71

6.6管理层解决方案78

6.6.1灾备决策支持平台方案78

7容灾相关产品及规格89

7.1TecalRH5885V3机架服务器89

7.1.1功能和价值89

7.1.2规格参数90

7.2OccanStorV3系列存储91

7.2.1功能和价值91

7.2.2规格参数92

7.3FusionSphere云操作系统94

7.3.1FusionCompute虚拟化95

7.3.2FusionManager云管理98

7.4SNS系歹U100

7.4.1功能和价值100

2021-11-22华为保密信息，未经授权禁止扩散第4页，共105页

HUAW日华为双活数据中心解决方案技术建议书

7.4.2规格参数101

8缩略语表105

2021-11-22华为保密信息，未经授权禁止扩散第5页，共105页

HUAW日华为双活数据中心解决方案技术建议书

适用场景（供参考,实际使用删除）

1.1文档适用场景说明

本文档适用以下场景:

1）同城容灾,生产中心和灾备中心之间的容灾链路距离W100km；

2）要求RPO=0；

3）RTO^O,部件故障或生产中心故障,能自动切换;

4）生产中心和灾备中心之间有裸光纤网络。

5）适用VIS4节点与8节点双活（2个4节点）环境

注：以下蓝色字体根据具体项目情况替换或删除。

1.2版本更新

日期修订版本描述作者

2014-03-28V1.0第一次发布,未增加网络双活部分,需要待网络解陈晓丽

决方案的同事补充;未增加FusionSphere双活部分,

待测试有初步结果后再增加。

2014-05-04VJ.1根据评审意见进行修改陈晓丽

2014-05-30V2.0FusionSphere双活部分，统一术语陈晓丽

2014-07-30V3.0增加双活8节点内容陈晓丽

2014-10-29V4.0修改8节点的描述陈晓丽

2021-11-22华为保密信息，未经授权禁止扩散第6页,共105页

HUAW日华为双活数据中心解决方案技术建议书

概述

2.1项目背景

2.1.1项目概述

XX数据中心的XX生产平台，是全局的计算中心、存储中心、备份中心，承载着XX的

核心业务系统，随着业务的快速发展，对业务连续性的要求也越来越高。

此次项目建设以XX的2个数据中心为2个物理站点，并考虑异地一处作为异地站点，

构建跨双数据中心（XX公里）实现双活站点的存储虚拟化平台。该平台主要为各类应用业

务提供高可用性基础保障，为构建虚拟数据中心提供存储资源和服务，保障数据的一致性和

完整性。

2.1.2建设总体要求

1）云数据中心建设

云数据中心建设是建设云平台的核心与关键，虚拟数据中心负责按需提供满足要求的运

算处理资源、存储资源、网络资源等IT基础架构服务。

2）“站点双活+异地数据备份”灾备体系建设

数据中心提供满足安全、高效管理和保障业务连续性的功能。通过“站点双活+异地数据

备份”方案，实现不同灾难场景下的业务连续性要求。

3）统一管理平台的需求

实现对双活数据中心中涉及的设备的统一管理，涵盖日常管理、资源分配、性能监控、

日志审计等内容。

2021-11-22华为保密信息，未经授权禁止扩散第7页，共105页

心嬴|华为双活数据中心解决方案技术建议书

2.2需求分析

2.2.1需求分析

云数据中心建设

虚拟化是云平台建设的基础。通过虚拟化技术进行整合，形成一个对外提供计算资源为

主的池化管理（包括服务器池、存储池、网络池等），同时提供运行环境等基础服务。

服务器虚拟化能够消除xx局原有业务系统的“一台服务器运行一个应用程序”模式下

的效率低下现象，在这种模式下，大多数服务器远未得到充分利用。借助服务器虚拟化技术,

一台服务器可用作多个“虚拟机”，而且每个虚拟机都可以在不同的环境下运行，例如

Windows.Linux或Apache。因此，采用服务器虚拟化能够将多台服务器整合到更少的物理

设备上，从而有助于减少空间、能耗以及管理需求。通过服务器虚拟化平台的建设，可以将

现有的业务系统逐步迁移到服务器虚拟化平台，并通过双活数据中心帮助增强业务连续性并

提供全面的数据保护，以便管道局能够获得连续的应用程序可用性以及跨两个物理站点的自

动灾难恢复能力。

网络虚拟化通过各种网络技术，将不同的应用相互隔离，使得不同用户在同一网络上不

受干扰地访问各自不同应用。在交换网络中可以通过虚拟局域网（VLAN）技术来区分不同

业务网段，在路由环境下可以综合使用VLAN、MPLS-VPN.Multi-VRF等技术，实现对网

络访问的隔离。在数据中心内部，不同逻辑网络对安全策略有着各自独立的要求，可通过虚

拟化技术将一台安全设备分割成若干逻辑安全设备，供各逻辑网络使用。

存储虚拟化是指利用虚拟化技术，统一整合管理FCSAN,IPSAN等多种存储设备，形

成统一的资源池供上层业务使用，屏蔽不同存储之间的差异。

“站点双活+异地数据备份”灾备体系建设

传统的数据中心容灾已经从主备数据中心开始向双活数据中心过渡。

主备数据中心的建设模式可以在很大程度上提升业务连续性。用户所有的业务系统都在

主数据中心运行，而在备数据中心为业务系统提供冷备或热备，当主数据中心的应用出现故

障时，可以将单个应用或数据中心整体切换到灾备数据中心。但这种模式造成了备数据中心

常年处于闲置状态而造成资源浪费。而通过资源整合，可以极大的提升资源利用率，同时双

活数据中心的服务能力是双倍的。

2021-11-22华为保密信息，未经授权禁止扩散第8页，共105页

HUAW日华为双活数据中心解决方案技术建议书

2.2.2现状分析

目前xx局已经建成资产财务一体化平台、人力资源系统、电子商务平台、综合数据库

系统、数据存储平台、办公自动化系统等信息系统。其中，核心应用系统包括资产财务一体

化平台、综合数据库系统、0A系统等应用系统。业务系统组网图如下：

应用系统现状

(1)资产财务管理一体化

资产财务管理一体化是XX局核心应用系统，涉及XX局财务、资产、物资、检修、运行

等工作，部署方式为集中式部署，业务窗口时间为7*24小时。

资产财务管理一体化的关联系统是电子商务平台，系统之间有业务流程和数据交换。

(2)综合数据库

综合数据库包括综合统计和内主页等系统，涉及XX局下属所有电厂的数据上报和信息

访问。

(3)总部0A系统

XX局0A系统采用LotusDomino平台，包括0A办公、公文审批和内网邮件等。XX局

2021-11-22华为保密信息，未经授权禁止扩散第9页，共105页

HUAW61华为双活数据中心解决方案技术建议书

0A系统为分布式部署（从一级到三级）。总部0A系统与XX局下属单位0A系统之间主要为

收发公文。

各应用系统IT现状如下表所示:

数据量数据增量操作系虚拟化

应用系统服务器数量存储方式数据库

（GB）（GB）统

XX业务平2台P780小Oracle11g无

14000DS8100AIX6.1

机5GB/天R2RAC

2台IBM2G/天RDM（裸设windowsVMware

2XX系统100无

X36502008R25.5

网络系统现状

当前已建设同城灾备中心，租用运营商机房，与生产中心距离约20km。中间链路租用运

营商裸光纤链路，并自购5台中兴M721DWDM设备，其中A系统在生产中心使用两台

DWDM设备实现冗余，B系统在生产中心使用1台DWDM设备，灾备中心放置2台DWDM

设备。生产中心采购2台思科Nexus7010作为核心交换机，同城灾备中心没有核心交换机。

网络现状如下图所示：

市社保大播（切）....、「运募商《呻（火鸟）

BR中.

现状风险分析

在XX局以往的业务系统架构中，核心业务系统采用小机,其他非关键业务采用VMware虚

拟化架构，核心数据库系统与业务均存放在XX存储上，整个业务系统未进行高可用保护，业务

系统存在单点故障风险。且XX存储系统面临即将过保的问题，如何平滑进行存储系统的切

换是必须要考虑的问题。

2021-11-22华为保密信息，未经授权禁止扩散第10页，共105页

HUAWWI华为双活数据中心解决方案技术建议书

2.2.3建设目标（适用于升级改造）

本次项目建设的关键目标有三个：

（1）原数据中心的业务逐步迁移到新数据中心

（2）新数据中心与原数据中心升级为双活数据中心架构

（3）建设异地灾备中心

2.2.4方案设计原则

通过对用户需求的了解，结合xx应用系统的业务特点，方案主要遵循以下原则进行设

计：

高性能：充分考虑容灾系统的处理能力，使其整个系统在国内三到五年内保持领先的水

平，并具有长足的发展能力，以适应未来灾备技术的发展。

高可靠性：灾备系统是为了进一步增强关键业务数据的抵御灾难能力，所以在灾备系统

设计阶段需要充分考虑其自身的稳定性和可靠性，从而保障关键数据能够持续、稳定的传送

到异地灾备中心。当出现任何问题时都能够通过灾备数据得以恢复。

标准化：所有灾备解决方案都应符合有关国内及国际标准以保证不同品牌灾备解决方案

之间的互操作性和系统的开放性。

可扩展性：当前灾备系统的设计不但应满足当前需要，还需充分考虑业务的发展，同时

便于向更新技术的升级与衔接，保护当前投资。

可维护性：整个灾备系统的设计，充分考虑易于管理，易于维护，操作简单，易学，易

用，便于进行配置，发现故障。

安全性：由于灾备系统承载的是关键业务系统的数据备份，所以设计需要考虑传输、存

放等灾备整个过程中的安全性。

高性价比：灾备系统建设首先要从系统的实用性角度出发，满足不同的业务系统的实际

需要和前瞻性的同时，选择最高性价比的设计方案。

2021-11-22华为保密信息，未经授权禁止扩散第11页，共105页

HUAWWI华为双活数据中心解决方案技术建议书

存储双活架构选择

3.1存储双活架构选择

3.1.1存储双活架构描述

双活数据中心的定义是指两个数据中心共享存储、网络以及服务器资源，两

个数据中心同时对外提供服务，整个系统具有业务负载均衡和自动故障切换功能。

存储双活作为整个系统的核心基础架构平台，主要解决以下两个核心问题。

一是如何在两个数据中心间实现数据实时同步，从而保证异常情况下，零数据丢

失（RPO=0）。二是如何实现存储资源的虚拟化，提供可同时被两个数据中心主

机访问的存储共享卷，从而实现主机应用集群的跨站点部署，保证异常情况下，

应用的自动切换（RTO七0）。

3.1.2业界存储双活技术路线

当前，存储业务通常有以下两种实现存储双活方案的架构。一种是基于专业

的虚拟化存储设备来实现；一种是基于磁盘阵列的同步复制技术，配合自动化的

复制切换软件来实现。由于两种架构采用了不同的技术方案，因此，在方案可靠

性、业务连续性以及可扩展性方面都存在一定差异。

3.1.3存储双活架构对比

方案可靠性

基于虚拟化存储的双活方案：通常可以在每个站点部署一台或多台全冗余架

构的虚拟化存储设备，站点间和站点内都不存在单点故障的风险。

2021-11-22华为保密信息，未经授权禁止扩散第12页，共105页

晶僦I华为双活数据中心解决方案技术建议书

基于磁盘阵列同步复制技术的双活方案：实际上采用的是Stretched架构，

即将一台阵列的两个控制器部署在两个站点，每站点内部只有一个控制器，存在

单点故障风险。

数据实时同步技术及性能影响

基于虚拟化存储的双活方案：采用存储虚拟化设备的卷镜像技术实现两站点

间的数据实时同步。两台存储设备上的LUN被虚拟化为一个虚拟的卷，主机写

操作通过卷虚拟化镜像技术同时写入这两个存储设备，保持数据实时一致。其中

任何一个存储设备故障，虚拟卷仍能提供正常的10读写能力，主机业务不受影

响。待存储设备恢复正常后，存储虚拟化设备将增量数据后台同步到修复的存储

设备，整个过程对主机“透明”，不会影响主机业务。

基于磁盘阵列同步复制技术的双活方案：基于磁盘阵列同步复制技术的双活

方案是通过建立主存储设备复制到从存储设备的同步复制关系，在从存储设备生

成一个实时一致的数据副本来实现的。同步复制对上层主机而言，两个数据中心

的存储体现为两个不同的LUN。由于同步复制的从存储设备不能被主机访问，

因此，当主站点存储设备发生故障，需要配合上层的自动切换软件实现业务的自

动切换。恢复业务需要先切换复制关系，将从存储上的副本变为可读写，并改变

主机的存储访问路径，切换时间长。

为了保证两个数据中心存储的数据实时一致，同步复制与虚拟化卷镜像的写

操作都需要等待两端存储同时写成功之后再返回给主机“写成功”。因此，两种

架构都将对10写操作带来一定的时延增加，必须提供低时延的同城网络，以减

小对写时延的影响。

存储卷的双活访问特性

基于虚拟化存储的双活方案：基于跨数据中心的双活虚拟化存储平台，提供

可供两数据中心主机同时进行读写访问的共享存储卷。主机访问请求由本数据中

心所在的虚拟化存储引擎响应，无需跨越同城网络访问另一数据中心的虚拟化存

储引擎。

基于磁盘阵列同步复制技术的双活方案：将一台阵列的两个控制器部署在两

个数据中心，且两个控制器处于主备模式，备控制器无法被主机访问，只能提供

2021-11-22华为保密信息，未经授权禁止扩散第13页，共105页

晶僦I华为双活数据中心解决方案技术建议书

一条备用的存储路径，不是真正的双活。两个数据中心的主机都只能通过访问其

中一个控制器来进行10读写，不仅增长了主机10的路径，而且增加了主控制器

的业务压力，影响系统性能。

方案业务连续性能力

基于虚拟化存储的双活方案：同一个共享的存储卷可经过两个数据中心的任

意节点被主机访问。其中一个数据中心的虚拟化引擎故障、主机故障，甚至整个

站点故障时，都无需对存储进行切换，另一数据中心的虚拟化引擎可继续为主机

提供访问。故障修复后，无需中断主机访问即可恢复故障前运行状态。

基于磁盘阵列同步复制技术的双活方案：由于备控制器无法被主机访问，当

发生主控制器故障或站点级故障时，需要先切换同步复制关系，再切换主机访问

路径，来使存活站点的控制器强行接管故障站点控制器的工作。切换流程复制，

部分场景甚至需要手工执行命令来强行切换控制器和访问路径。故障修复后，需

要中断业务运行来恢复到故障前状态。

弹性可扩展

基于虚拟化存储的双活方案：通常可以在每个站点部署一台或多台全冗余架

构的虚拟化存储设备。因此，随着业务的增长，方案能够支持引擎的横向扩展，

且新增引擎与现有引擎构成一个统一的虚拟化存储集群，提供统一的10处理能

力。

基于磁盘阵列同步复制技术的双活方案：通常只支持双控，不具备控制器的

横向扩展能力。无法实现存储资源的整合与共享，不能支持弹性可扩展。

2021-11-22华为保密信息，未经授权禁止扩散第14页，共105页

HUAWWI华为双活数据中心解决方案技术建议书

系统方案设计

4.1整体架构设计

4.1.1方案描述

存储双活方案作为口业务的核心基础架构，其架构的选择决定了整个系统

是否可靠高可用、安全可信赖、弹性可扩展。此次方案建设，考虑到XX局的上

述需求，华为建议采用基于专业的虚拟化存储设备来构建高可用、高性能、可扩

展的存储双活方案。

XX局两地三中心容灾系统建设包括同城双活中心:XX数据中心与XX数据

中心以及异地灾备中心三中心。整体的建设包括:双活容灾系统建设、异地灾备

系统建设。

同城双活容灾建设

华为存储双活方案采用OceanStorVIS6600T系列产品（以下简称VIS）,实

现存储双活架构，为两个数据中心存储同时提供读写服务，且整个存储系统架构

全冗余，任意数据中心故障时，另外一个数据中心有一份存储设备和相同数据可

用，最大化提高了业务连续性。

两个数据中心分别部署多台Oracle数据库服务器和虚拟机服务器，以及

OceanStorVIS6600T和磁盘阵列等设备。整个双活系统分为存储层、前端网络层

与应用层与管理层。

存储层，在裳荚数据中分/和某某数耨中心8各部署一台VIS6600T,组成

一个VIS集群，为两数据中心主机业务同时提供读写服务。支持扩展至8节点。

2021-11-22华为保密信息，未经授权禁止扩散第15页，共105页

晶僦I华为双活数据中心解决方案技术建议书

同时，在某某数据中心A和某某数据中心8配置同等级和同容量的磁盘阵列。

为了提升热点数据的存储性能,使高价值硬盘得以更充分的利用,配置不同类型

的硬盘:SAS.NL-SAS.SSD以合理分配资源;通过华为存储提供的SmartTier

功能对热点数据进行持续监控并从机械硬盘迁移到SSD中,进一步提升系统性

能。

两个数据中心的磁盘阵列都由VIS集群接管，利用VIS镜像技术对两中心

的磁盘阵列做镜像冗余配置，实现两个数据中心存储数据实时镜像，互为冗余。

任意数据中心故障，数据零丢失。

网络层，数据中心之间集群IP心跳和FC数据传输网络都采用裸光纤直连，

传递控制信息、配置信息和数据同步，满足双活数据中心网络时延要求。

应用层，两个数据中心的Oracle服务器构成一个ExtendedRAC集群，提供

跨数据中心的自动负载均衡和自动故障转移功能。两个数据中心的虚拟机服务器

构成一个集群，提供跨数据中心的虚拟化业务连续性和移动性。

为了实现双活数据中心存储设备的统一管理,建议部署统一容灾管理软件,

通过华为统一容灾管理软件实现双活数据中心的可视化管理，并通过管理软件直

观的展示双活业务的物理拓扑。建议将管理软件部署于XX数据中心的物理服务

器。

异地灾备建设

对于XX业务,在建设双活数据中心的基础上,再进行数据的远程容灾。如

此一来,XX核心业务数据总共保留了三份,更高程度保证了数据安全性。

整体的方案架构图如下图所示（根据实际项目情况修改）:

2021-11-22华为保密信息，未经授权禁止扩散第16页，共105页

HUAW6I华为双活数据中心解决方案技术建议书

数据中心A||数据中心B

网络层F5GTM工X

——出/人口路由出;入口路由

L2800八L2800L2800L2800

核心层怎

\DWDMDWDM

接入层

应用层管理

业务

服务器DB

主机集群

存储层

呻集群

VIS镜像同步异地容灾中心

异步远程复制

I第三方仲裁站函一|

VIS集群、主机集群心跳网络

和Vmotion网络

ffl说明

XX数据中心和XX数据中心分别部署多台服务器、1台VIS、X台磁盘阵列、至少2台可提供10GE与GE

链路的冗余IP交换机以及2台FC交换机。其中X台服务器组成多节点的OracleRAC集群与VMware集

群、FusionSphcrc集群，对外提供服务；2台VIS组成4节点的VIS集群，统一接管2个数据中心的磁盘

阵列，构建跨站点的存储资源池；两个数据中心之间利用VIS镜像功能同步数据。

第三方仲裁站点使用华为提供的第三方仲裁存储单元，使用IP或FC网络连接到XX数据中心和XX数据

中心的VIS设备。每个数据中心的一台XX阵列和第三方仲裁存储单元各提供一个1GB的LUN,共3块

仲裁盘，供VIS仲裁使用。

4.1.2存储双活架构的要求

方案对同城网络的要求

采用FC链路实现同城双数据中心间的数据实时同步，采用二层以太网络实

现双数据中心间的存储虚拟化集群（VIS）以及主机应用集群的心跳链路通信。

为降低数据双写对业务系统的影响，建议同城链路的时延在1ms以内。同城链

路带宽需求，与需要在两数据中心间同步的数据量相关，要求链路带宽大于业务

系统高峰期的数据写带宽。

2021-11-22华为保密信息，未经授权禁止扩散第17页，共105页

HUAW6I华为双活数据中心解决方案技术建议书

方案对仲裁链路的要求

为保证各种异常情况下，存储虚拟化集群能够进行仲裁，业界存储双活方案

都需要设计第三方仲裁站点，以保证异常情况下的业务连续性。

两个双活数据中心与第三方仲裁站点间的链路可选择FC或IP网络，大大

增加了方案的灵活性，有利于降低方案的整体成本。

应用系统对时延的要求

双活数据中心的建设不仅是存储一个层面的双活部署,需要端到端地进行考

虑。尤为重要的是,当前双数据中心的网络时延是否能满足应用系统对网络时延

的要求?华为提供了一系列的测试方法对XX数据中心与XX数据中心的网络链

路进行检测确认。

以下罗列了双活数据中心解决方案的两种典型应用场景对时延的建议:

■Oracle应用时延建议

类型性能好性能可接受性能差

dbfilesequentialread<10ms<20ms>20ms

dbfileparallelwrite<10ms<15ms>15ms

logfileparallelwrite<5ms<15ms>15ms

■VMware应用时延

•站点之间最大支持VMwareESXi管理网络的网络时延是往返10msRTT。

□vMotion标准版和企业版要求5msRTT。

□vMotion4'10msRTT的延时只有在具有VMwarevSphereEnterprisePlus版本

许可中才支持，这个版本许可包括MetrovMotion功能。

•ESXivMotion的网络需要最少622Mbps的网络带宽，并且有冗余链路。

■FusionSphere应用时延

•生产站点与容灾站点间距离要在100公里以内，站点间需要租赁L1专线，两个站点间

环回时延W1ms。

2021-11-22华为保密信息，未经授权禁止扩散第18页，共105页

HUAWWI华为双活数据中心解决方案技术建议书

4.2存储双活方案详细设计

4.2.1虚拟化存储双活设计

跨数据中心部署的OceanStorVIS6600T虚拟化存储集群提供可被两数据中

心主机并发访问的共享双活卷，连接到其任何节点上的主机都可以访问同一个虚

拟卷，并像访问本地存储一样对VIS提供的虚拟卷进行读写。

通过VIS的虚拟化功能，实现对各种磁盘阵列的统一接管，将数据中心里

不同类型的磁盘阵列资源池化，实现存储资源的整合和优化，提高资源利用率。

同时通过VIS虚拟化卷镜像功能，保证两个站点磁盘阵列之间数据的实时同步。

两台存储设备上的LUN被虚拟化为一个虚拟的卷，主机写操作通过卷虚拟化镜

像技术同时写入两个数据中心的存储设备，保持数据实时一致。具体的10读写

流程如下图所示。

V1S虚拟化卷镜像原理及10流程

主机主机盘

「4

SL镜像卷

^3镰像数据盘

差异位图盘

VIS镜像的写I/O流程如下：

1）写请求到镜像卷；

2）镜像卷将请求复制为两份下发到两中心的镜像数据盘;

3）镜像数据盘返回写操作完成；

4）镜像卷返回写I/O操作完成。

2021-11-22华为保密信息，未经授权禁止扩散第19页，共105页

HUAWWI华为双活数据中心解决方案技术建议书

4.2.2双活读策略设计

华为VIS具备灵活的读取策略：循环读、优选读、基于站点读（SiteRead）o

针对双活数据中心场景，设计了“SiteRead”模式，以避免虚拟化引擎跨数据中

心读取数据，提升方案整体性能。其读I/O流程如下：

1）读请求到镜像卷；

2）镜像卷根据策略下发请求到与虚拟化引擎在同一个数据中心的镜像

数据盘读取数据；

3）镜像数据盘返回读数据；

4）镜像卷返回读数据。

其中任何一个存储设备故障，虚拟卷选取正常的存储设备响应主机I/O,主

机业务不受影响。并且采用差异位图记录故障期间数据的变化情况，待存储设备

恢复正常后，存储虚拟化设备将增量数据后台同步到修复的存储设备，整个过程

对主机“透明”，不会影响主机业务。

4.2.3优选路径设计

华为多路径软件UltraPath支持双活的优选路径模式。为了避免跨数据中心

进行I/O处理而带来时延的增加，UltraPath将优先使用本数据中心VIS节点下发

I/O的路径，只有当本数据中心节点路径故障后才使用远端数据中心VIS节点的

路径。

说明:当前Fusionsphere不支持优选路径功能。（蓝色字体部分实际使用时

不对客户体现）

4.2.4虚拟机跨数据中心vMotion设计（可选）

通过FibreChannel、iSCSI存储区域网络（SAN）和数据中心间网络，虚拟化

存储集群为两个数据中心主机提供共享访问的镜像卷，构建VMwareESX

vMotionoverDistance,可在数据中心之间实时迁移在线运行的虚拟机，可避免

停机、确保业务连续性以及事务处理的完整性，使XX局可以在执行硬件维护时

无需安排停机时间及中断业务操作。同时，VMwareESXvMotionoverDistance

还可以使两数据中心资源池内的虚拟机持续进行自动优化，最大程度地提高硬件

2021-11-22华为保密信息，未经授权禁止扩散第20页，共105页

HUAW6I华为双活数据中心解决方案技术建议书

的利用率、灵活性及可用性。

4.2.5“逃生”功能设计

华为VIS虚拟化智能存储具备“逃生”功能，对所接管磁盘阵列，无需更

改阵列映射LUN的任何内容，当双活数据中心的两台VIS出现故障，将VIS从

整个SAN网络中移除，阵列直接将LUN映射给主机使用，主机可正常拉起业务，

防止出现由于虚拟化失败或者虚拟化不能快速回退造成的数据丢失等导致业务

系统不可恢复的情况。

说明:此功能当在上层应用为虚拟化场景,且下层阵列为友商阵列时需要了

解友商阵列的清预留的命令才能实现“逃生”功能。（蓝色字体部分实际使用时

不对客户体现）

4.2.6镜像快速恢复功能设计

华为vis镜像功能具备镜像故障快速处理机制，只需要重新镜像数据差量

而不需要做全量的镜像。该算法基于一个位图数据结构：数据改变对象（DCO）。

一旦某个镜像卷或者整个设备故障，VIS会在DCO中记录两个卷之间的差异点。

当镜像卷或存储设备恢复，则VIS根据DCO差异的情况，从源卷中将数据读入

同步到镜像卷。达到快速恢复镜像的目的，不用完全重新同步。

4.2.7存储双活方案仲裁设计

有第三方仲裁站点

如下图所示，为保证当任一数据中心整体故障或中间链路故障等极端场景下,

主机业务的连续性，方案建议采用第三方仲裁磁盘，由两个双活的生产中心及第

三仲裁存储单元分别为虚拟化存储集群提供一个仲裁盘。这样，便可以保证即使

出现数据中心整体故障或中间链路故障等极端场景，虚拟化存储集群仍然可以访

问至少两块仲裁盘进行仲裁，保证业务可靠性和数据一致性。

2021-11-22华为保密信息，未经授权禁止扩散第21页，共105页

HUAW6I华为双活数据中心解决方案技术建议书

存储双活方案仲裁设计

第三方仲裁站点位于XX点,XX点与两个数据中心之间通过XX线互联。可

直接从部署于XX点的仲裁存储单元上创建一个1GB的LUN,可通过FC链路或

IP链路映射给两个数据中心的VISo

当出现任一数据中心整体故障或中间链路故障等极端场景，整个集群的仲裁

过程如下：

1）欣数柄中心与无K数据中心之间的中间链路断开，导致两个数据中

心集群发生分裂，进而两个中心之间的存储虚拟化平台发生“脑裂”，

存储虚拟化平台从一个大集群分裂为两个小集群；

2）根据集群“脑裂”的通用原理，当大集群分裂为两个小集群时，每

个小集群分别抢占存放第三方仲裁信息的仲裁盘，抢占到51%以上

仲裁信息（即抢占到2个仲裁盘）的小集群“获胜”，将继续对外提

供服务，为应用提供存储访问空间；

3）未抢占到仲裁信息的小集群则自动退出集群，不再对外提供服务；

4）当中间链路恢复时，“自动退出的小集群”检测到中间链路由故障变

为正常，尝试与“继续服务的小集群”握手通信，经过握手通信两

个小集群再次组成一个大集群，以Active-Active模式提供服务，互

相之间实现冗余。

无第三方仲裁站点

若无第三方仲裁站点，则选择将第三方仲裁盘配置在任意一个数据中心，并

实施必要的掉电保护措施，例如部署独立UPS电源。采用此种方式部署，则当

出现存放两块仲裁盘的数据中心整体故障，如大面积停电，火灾等灾难。由于集

群无法获得超过51%的仲裁信息而导致整个集群停止对外服务，业务中断，需要

2021-11-22华为保密信息，未经授权禁止扩散第22页，共105页

HUAW6I华为双活数据中心解决方案技术建议书

手工进行恢复。

4.2.8跨数据中心网络设计

同城双活数据中心网络至少包括五张网：

•业务访问网（IP,作为客户端访问服务器的主要网络）

•应用迁移网和应用心跳网（10GE,主要进行虚拟机在线迁移操作与主机

集群的心跳网络）

•存储镜像网络（FC）

•VIS心跳网络（GE二层网络，作为VIS集群的心跳网络）

•VIS仲裁网络（GE三层网络或FC）

不同的网络间，可以通过划分不同的VLAN实现。

为保障方案的可靠性，华为同城双活方案采用数据传输链路与心跳链路分离

设计的原则。通过VLAN或VRF隔离端到端流量，同时进行分配独立的物理互

联链路，做到业务流量与集群心跳分离流量，互不影响。

采用FC链路实现同城双数据中心间的数据实时同步，采用二层以太网络实

现双数据中心间的存储虚拟化集群（VIS）以及主机应用集群的心跳、同步互联

链路通信。

由于FusionCompute仅支持配置一个网关，所以数据中心A和数据中心B

中作为网关的汇聚（核心）交换机，需要配置为主备网关模式。主网关优选生产

站点侧的交换机。在实际进行VLAN跨站点配置时，在以太网汇聚交换机上按

照VLAN配置主备网关的VRRP。对于一个VLAN,部署了虚拟机业务的一侧

站点网关配置为主网关，另一侧站点网关配置为备网关。

若两个数据中心之间存在VMwarevMotion在线迁移操作，则VMware单台

虚拟机跨数据中心迁移要求IP链路带宽为IGb/s,若存在多台虚拟机同时迁移

（并行），则相应的带宽要增加。实际部署时，建议至少部署一条10GE链路用

于VMware迁移复制流量。

VIS镜像必须采用FC光纤互联。两数据中心相距25km以内可采用裸光纤

直连。如果距离超过25km或只有一对裸光纤，建议使用OTN波分设备来构建

两数据中心的同城网络。

2021-11-22华为保密信息，未经授权禁止扩散第23页，共105页

HUAW6I华为双活数据中心解决方案技术建议书

部署OTN波分设备时，建议采用1+1主备线路双发选收的方式，提供物理

链路的高可靠性。一对裸光纤中断时，另一条裸光纤可马上恢复业务流量，切换

时上层网络及应用无感知。

园区网络设计

适用场景:两个数据中心容灾距离小于25km,采用光纤交换机直连。

两个数据中心中用于主机应用心跳网络、虚拟机vMotion网络的以太网交换

机建议采用10GE并一对一级联；用于VIS集群心跳网络的以太网交换机采用

GE并一对一级联；用于存储数据同步的FC交换机一对一级联；以太网交换机

也可以Trunk端口捆绑交叉组网。4节点VIS集群一对一级联组网图如下：

FCSAN电VISOft斯＞0«

第三方停榭锚业务网络单反光好

8节点VIS集群一对一级联组网图如下:

2021-11-22华为保密信息，未经授权禁止扩散第24页,共105页

HUAWWI华为双活数据中心解决方案技术建议书

FCSAN)8VISi1gaI

II1II00IID0，，，・(u0I

同城网络设计

适用场景:两个数据中心容灾距离小于100km,链路采用DWDM连接。

两个数据中心中用于心跳网络的IP交换机和用于存储复制网络的FC交换

机都分别连接到OTN波分设备。不同的业务互联，通过波分复用统一承载于两

对1+1备份的裸光纤或一对裸光纤中。4节点VIS集群组网图如下：

2021-11-22华为保密信息，未经授权禁止扩散第25页，共105页

HUAWWI华为双活数据中心解决方案技术建议书

第三方仲裁站点

S2600T

核心交换机数据中心B

友心交换机llllllllllllllItll

OracleRAC

IPSW2-1

IPSW2-2

FCSW2-1

FCSW2-2