浅谈华为存储双活技术

1、浅谈华为存储双活技术目录 TOC o 1-5 h z HYPERLINK l bookmark0 o Current Document 浅谈华为存储双活技术1 HYPERLINK l bookmark6 o Current Document 第一章建设背景和趋势2 HYPERLINK l bookmark8 o Current Document 第二章DR与BC分析2 HYPERLINK l bookmark10 o Current Document 第三章双活建设目标4 HYPERLINK l bookmark14 o Current Document 第四章双活解决方案4 HYPERLIN

2、K l bookmark16 o Current Document 第五章客户价值7 HYPERLINK l bookmark18 o Current Document 第六章华为双活技术架构8 HYPERLINK l bookmark20 o Current Document 华为双活数据中心的定义及分类8 HYPERLINK l bookmark22 o Current Document 双活数据中心架构9 HYPERLINK l bookmark24 o Current Document 双活数据中心部署10 HYPERLINK l bookmark26 o Current Docume

3、nt 第七章存储层双活技术介绍12AA双活架构12 HYPERLINK l bookmark31 o Current Document 高可靠技术15高性能技术28高可扩展性32第一章第二章 建设背景和趋势随着信息化技术的飞速发展，信息系统在各种行业的关键业务中扮演着越来 越重要的角色。在通讯、金融、医疗、电子商务、物流、政府等领域，信息系统 业务中断会导致巨大经济损失、影响品牌形象并可能导致重要数据丢失。因此， 保证业务连续性是信息系统建设的关键。目前，各行业普遍通过建设灾备中心来提高关键应用的业务连续性，在灾备 中心保存生产数据副本。传统灾备部署方式为一个生产中心对应一个灾备中心， 灾备中

4、心平时不对外提供业务访问。一旦生产中心发生灾难，业务瘫痪，无法短 时间恢复时，灾备中心才应需启动以提供业务访问。这种灾备系统面临以下挑战：当生产中心遭遇供电故障、火灾、洪灾、地震等灾难时，需要手动将业 务切换到灾备中心，有可能需要专业的恢复手段和长时间调试，业务中 断时间长，无法保证业务连续运行。 灾备中心不能对外提供服务，常年处于闲置状态，资源利用率低。 企业数据中心宕机的原因，如下图：人为情提导致的宕机31,9%自帔灾哲导致 的岩机 21.3%来源：IDC. 2Q1S延迟问题25.7%奈统故障导致的宕机342%第三章DR与BC分析随着数字化业务的发展，业务竞争的日益激烈，如何保障数据的安全

5、并实现 业务连续，这对置身其中的每个企业都具有重大的意义，也是CIO们所无法回避 的问题。对于银行交易结算、电信计费等核心业务来说，对数据中心的要求也不 再只停留在生产中心瘫痪时启动灾备中心，保证关键数据的绝对可靠还远远不够， 业务连续运行已经成为普遍性的诉求。对企业而言，业务连续性是一整套方案， 在发生灾难或灾难之后甚至是遭遇一个轻微的破坏时，企业可以通过业务连续性 计划来恢复业务运行。该计划不仅关乎技术，而且所涉及到的人与流程均要确保 业务运行的顺利。而容灾方案中的灾难恢复，它指的是在毁灭性的的自然灾难过 后用来恢复IT系统的具体步骤，包括恢复服务器或主机中的备份，重建专用交 换机，以及部

6、署局域网。比如，一个企业传统的灾备方案一般会构建一个存放备份数据和系统的备用 地址，仅为了在灾难过后可将它们恢复。保持对关键因素，如RPO以及RTO的 适当关注，在遭遇灾难时，企业将在很大程度上避免数据丢失或支撑业务功能的 IT系统的破坏。然而，要建立一个稳健的业务，这仅仅是完成了一半。业务连续 性方案包含了关注任务关键型服务，沟通策略以及雇员恢复的关键流程。一个企 业拥有了恰当的业务连续性方案，则其可在灾难之后迅速启动并运行该系统，从 而遭受最低限度的损失。然而，有必要提醒一点，并不仅仅是大规模的灾难才会引起业务连续性问题， 一个小小的破坏也会导致业务连续性被破坏。如图4所示，大规模自然灾害

7、在企 业数据中心宕机的原因中只占21.3%的比例，IT系统宕机和人为误操作所占比例 超过60%。再比如，停车场的挖土机导致的断电或当整个IT设备启动和运行时 一个应用程序故障都将会导致业务连续性的中断。云时代对企业的业务连续性要 求更高，单纯的数据备份、存储复制等功能已经无法满足企业对RPO=0和RTO=0 的诉求，企业需要考虑更加完善的解决方案来满足对业务连续性的需求。通过如上描述可以看到，与能够保证业务连续的双活解决方案相比，传统 “Active-Passive”式容灾方案存在如下几个不足，这也是双活方案更能吸引CIO 们的原因：传统灾备方案中，灾备中心不能对外提供服务，常年处于闲置状态而

8、造 成资源的“浪费”，资源利用率低。双活更强调双中心协同工作，使 IT 资源利用率与投资回报倍增。 当生产中心遭遇业务系统故障、供电故障甚至火灾等灾难时，传统灾备 方案需要专业人员手动将业务切换到灾备中心，此间需要专业的恢复策 略和一定时间的调试验证，业务中断时间不可控，无法保证企业业务连 续运行。在传统的灾备方案中，为了保证数据中心的可用性，企业IT都要定期进 行容灾演练。而这种大费周章的演练在双活数据中心时代是完全不需要 的。一旦一个生产中心出现故障，另外的生产中心可以不需要人工干预， 随时接管业务，对上层用户完全透明，降低管理的复杂度。注：容灾解决方案(DR： Disaster Reco

9、very)与业务连续性(BC： Business Continuity)第四章 双活建设目标双活数据中心的建设目标是保证两个数据中心同时接受交易，处理相同数据， 如果一个生产中心出现问题时，交易可以在另一个中心持续进行，基本不需要进 行系统切换，生产中心和容灾中心保持实时及一致的数据。系统双活“ 0”切换：降低灾难应对决策难度和时间有效避免故障时技术平台的切换操作过程减少维护工作量，交易平滑在数据中心移动第五章 双活解决方案针对传统灾备系统建设面临的挑战，基于华为存储的双活数据中心解决方案 应运而生,保证关键应用的业务连续性。华为HyperMetro免网关阵列双活方案，以华为OceanStor

10、 V3融合存储的 HyperMetro特性为基础，与数据库集群、传输设备和网络等组件相结合，为客 户提供300千米内的端到端双活数据中心解决方案，确保业务系统发生设备故障、 甚至单数据中心故障时，业务自动切换，上层应用无感知，实现RPO=0，RTO=0。华为HyperMetro免网关阵列双活方案，是由两套独立的OceanStor V3存储 系统同时提供两个实时一致的数据副本供业务主机读写访问，任意一副本故障，都不影响业务的连续运行。华为HyperMetro免网关阵列双活方案示意图:SAN/NASOracle RACVMwareFusionSphereHyperMetro免网关A-A双活Ocea

11、nStor V3OceanStor V3华为HyperMetro免网关阵列双活方案的特点：独立的两套存储系统：在两套软硬件相互独立的OceanStor V3存储系统 之间实现双活，可以有效的隔离单存储系统的故障扩散，可靠性更有保 障。SAN与NAS 一体化双活：不需要在SAN设备上再叠加额外NAS网关， 并通过阵列本身特性在业务层面同时实现数据库与文件的双活，降低业 务部署复杂度并有效减少I/O路径故障点，提升系统可靠性。可并发读写的A-A访问机制：两个数据中心提供强一致性的数据镜像副 本，可以同时为上层应用提供相同业务数据，实现业务负载均衡。当一 个数据中心故障时，业务自动切换到另一个数据中

12、心，数据零丢失，业 务零中断。实时同步的双活副本：两个双活副本保持实时一致，RPO=0，RTO=0。即便第三方仲裁故障后双活LUN仍然具备同时提供读写访问的能力，以 保障数据的实时同步。保障性能的FC复制链路：双活数据中心间的SAN网络和数据镜像同步 网络支持FC组网，能够保证关键业务双活后的性能。众所周知，IP网 络很难满足业务高性能，低时延的诉求，对数据中心部署的距离限制更 加苛刻。独立第三方仲裁机制：华为HyperMetro免网关阵列双活方案提供双重 仲裁模式，即同时支持第三方仲裁和预定优先两种模式，且支持两种模 式间自动转换。第三方仲裁可以采用物理或者虚拟服务器的方式实现， 且生产中心

13、与仲裁服务器只需要IP网络可达即可，不同于业界部分厂商 需要用第三方阵列做仲裁以及必须FC组网的方式，华为HyperMetro免 网关阵列双活方案更灵活，TCO更低。止匕外，即便第三方仲裁发生故障， 华为HyperMetro免网关双活方案可自动进入预定优先模式，较传统双 活方案的仲裁机制更完善，业务连续性更高。 高可靠：每个双活数据中心都有OceanStor V3存储的冗余控制器，即便 单控制器发生故障剩余控制器能继续提供业务，不需要将业务切换到对 端的数据中心，性能及效率更高。此外，在最极端情况下，构成双活系 统的4个控制器即便有3个出现损坏，业务仍然能连续运行。广泛的增值特性兼容：华为Hy

14、perMetro双活特性可以结合异构虚拟化 特性接管不同厂商、不同品牌的存储设备，用户可以充分利用现有存储 设备资源，实现高可靠的存储资源整合，提高资源利用率，充分保护用 户现有投资；也可以与快照，远程复制等增值特性结合，充分利用本地 数据保护和远程数据保护的特点，提供更高级别的业务连续性保护。可视化与简单化的容灾管理：华为HyperMetro免网关阵列双活方案的 容灾管理软件，能够提供简化管理的容灾拓扑展示与端到端监控功能， 直观清晰的展示保护方案的状态与变化，实时监控相关设备部件，实现 业务灾难切换前就识别问题与故障并协助用户排除，规避影响业务和增 加成本的容灾切换发生。华为HyperMe

15、tro免网关阵列双活方案为用户提供6个9的可靠性谨体诩可克性用胃故障监测整静带炊供镀可克在保肝RAID工Q+短 融可巨性提升95佑华为阵列双活方案堂务7m总茂第六章 客户价值华为充分利用其宽产品线的优势，通过多产品的紧耦合，为客户提供端到端 双活数据中心解决方案，也是业界唯一可提供端到端双活解决方案的厂家。面临着市场的不断变化和业务的高速发展、以及IT系统的可用性和业务性 的需求，华为双活解决方案携手XX打造同城灾备建设，解决业务高速发展对IT 系统提出的更高要求，具体表现如下:业务连续性：华为双活方案融合了华为传输与存储技术的优势，是完整 数据中心双活解决方案，可实现7x24小时业务不间断运

16、行，RPO=0，RTO 心0,且维护过程中业务也不中断。提升同城资源利用率：与传统主备容灾同城灾备中心资源处于热备状态 不同，华为双活方案可以实现IT系统在同城范围内的高可用，提高同城 数据中心和IT资源的利用率。保护投资，降低灾备TCO：华为双活方案通过端到端拉通，与主流数据 库厂家合作，设计调优，支持银行原有第三方存储，实现存储设备统一 管理，从而帮助紫金农商行充分利旧，保护投资。智能灵活，可视管理：用户端和渠道端数据就近访问，业务自动负载均 衡，可平滑演进至两地三中心架构，生产中心应用模板自动发放并与LB 联动，统一管理，实时监控灾备状态。第七章 华为双活技术架构华为双活数据中心的定义及

17、分类“双活”数据中心，是指对于同一业务系统两个数据中心都能同时提供业务， 且互为备份，满足多种故障场景，业务可以自动完成切换访问，用户几乎无感知。双活数据中心涉及到应用、计算、网络和存储等多个层面，其中存储系统双 活是双活数据中心最主要的构成，同时也是最重要的一环。存储层双活解决方案， 是指由两套独立的存储设备提供两个实时一致的数据副本，两个副本可以被同一 业务主机并发读写访问，且任一副本故障，不影响上层业务连续运行。目前主流的存储层双活解决方案主要分为以下三种方式：Active-Passive阵列双活解决方案：仅主站点阵列承担业务负载，从站点 阵列并不处于实时提供业务的状态（分不可访问和业务

18、转发两种模式）。 提供仲裁机制，单站点故障下能够实现业务连续。但需要注意的是，这 种模式下如果主站点服务器与主阵列间链路故障，可能会导致业务中断。Active-Active阵列双活解决方案：主从站点双活架构，同一个双活LUN 的所有I/O路径均可同时被访问，主从阵列均可处理同一业务I/O,系统 间无需转发，实现业务负载均衡，提供完善的仲裁机制，发生故障时无 缝切换。这种Active-Active架构的双活就是通常我们所说的真正意义的 阵列双活架构。网关型双活解决方案：由专有设备对磁盘阵列虚拟化接管后再实现 Active-Active双活，能够实现负载均衡，提供仲裁机制，单站点故障下 能够实现业

19、务连续性。需要注意的是，增加网关设备意味着组网复杂度 加大，购置和管理成本也会增加；外置网关的引入让IT系统增加了更多 的节点，I/O路径的变长导致系统时延增加，对系统整体可靠性和性能 都会造成一定影响。尤其是全闪存应用日益盛行的时代，网关设备很容 易成为整个系统实现高性能与低时延的阻碍。通常我们所说的阵列双活解决方案指的就是Active-Active阵列双活解决方案，IDC 认为Active-Active阵列双活解决方案应该满足如下几方面条件：由两套软/硬件相互独立的存储系统之间实现双活。（如果是单套存储不 同引擎间实现的双活，无法处理单存储系统挂死等异常场景，很可能导 致业务中断。）两套存

20、储系统是否可以同时为上层应用提供同一个LUN的读写权限，双 活的两个副本都处于活动状态（非主备模式），对外提供实时一致的镜像 数据卷（RPO=0，RTO=0）。提供独立的仲裁机制。（当提供双活LUN的两套存储系统之间的链路故 障时，阵列已经无法实时镜像同步，此时只能由其中一套阵列继续提供 服务。为了保证数据一致性，必须有独立的第三方仲裁来决定由哪套阵 列继续提供服务，否则容易出现脑裂，或者停止服务。）两套存储系统间的双活复制链路支持高性能的FC组网。（保证关键业务 双活后的性能。）双活数据中心架构 端到端双活数据中心解决方案分为6层：存储层、计算层、应用层、网络层、传 输层和安全层。逻辑架构图

21、，如下：异构阵列端到端双活数据中心解决方案，为了实现更好的可靠性、性能和负载均衡，针对高可靠、优化的二层互联VMware FusionSphere 跨DC高可用、负载均衡、迁每一层进行一些设计和优化。各层设计要点：方案模块设计要点存储层免网关双活架构。通过OceanStor V3阵列的HyperMetr。功能，实现存储层的双 活，减少方案故障点，避免存储虚拟化网关的I/O性能瓶颈。通过OceanStor V3阵列的SmartVirtualization功能，接管 现网异构存储，将不同的存储资源的统一池化。 通过FastWrite功能，将标准的1个写I/O 2次往返优化为1次 往返，提升写性能。

22、通过自适应网络功能，提升链路性能不均匀时的双活性能。网络层采用华为CloudEngine系列数据中心交换机的EVN技术。 通过EVN打通大二层网络，实现2层网络协议在3层网络上运 行，保障了业务的跨数据中心互联互通。通过多种互联优化技术，实现广播域隔离，达到数据中心间 东西向流量优化。通过双活网关和路由注入等访问优化功能，优化数据中心间 南北向流量优化。安全层通过华为USG系列提供数据中心的FW、IDS等安全防护功能。通过数据中心间光传输加密技术，支持AES-256等多种加密 算法，预防数据中心间数据窃听。计算层采用华为FusionSphere、VMware等虚拟化平台提供跨数据中 心大集群技

23、术，满足企业多种关键业务双活的需求。应用层和人口口应用基于虚拟化集群提供更好的可靠性，通过负载均 衡实现业务自动切换。数据库基于双活LUN实现跨站点集群双活部署。传输层采用华为OptiX OSN系列作为双活数据中心的波分设备。通过线路冗余，板卡冗余，设备冗余三种1+1保护方案，满 足多级可靠性要求。通过色散补偿等调优手段，确保传输层延时最小。双活数据中心部署整体的方案物理组网图网络层应用层计算层存储阳列存储层存情阵列数据中心A数据中心B方案模块部署方式模块部署方式存储层跨DC的两套华为OceanStor V3系列存储阵列组成一个存储集 群。支持其中一台异构接管第三方存储，使用接管后的LUN与另

24、 一台V3上的LUN构建双活LUN。网络层采用华为CloudEngine系列数据中心交换机作为核心交换机。 数据中心内部采用典型二层或三层物理架构组网，启用EVN 形成二层通道，由核心交换机通过CSS+链路聚合接入波分设备。每个站点部署一台独立的GSLB实现站点间负载均衡。 每个站点部署2台SLB，组成HA集群，实现应用层服务器的负 载均衡。应用层 web、App即以部署在虚拟机或者物理机上，DC内的多台服务 器组成集群，或者跨DC的多台服务器组成集群。数据库建议物理机部署，跨数据中心组成一个集群。传输层采用华为OptiX OSN系列DWDM，每个站点部署2套波分设 备。如若不能设备级冗余，则

25、需要至少每套波分设备配置2块传输 板卡，实现板卡冗余。将多路FC信号和IP信号复用到光纤链路上传输，每套波分设 备通过两对裸光纤互联。安全层采用华为USG系列防火墙，每个站点部署2台防火墙，接入核 心交换机。在华为OptiX OSN系列DWDM启用传输加密功能。仲裁选择一个第三方站点部署仲裁设备和软件。软件支持安装在物理服务器或虚拟机上。 仲裁服务器使用IP网络连接到双活数据中心的两套存储阵列。传输层采用华为OptiX OSN系列DWDM，每个站点部署2套波分设 备。如若不能设备级冗余，则需要至少每套波分设备配置2块传输 板卡，实现板卡冗余。将多路FC信号和IP信号复用到光纤链路上传输，每套波

26、分设 备通过两对裸光纤互联。第八章 存储层双活技术介绍华为双活数据中心解决方案存储层基于 OceanStor V3 融合存储系统的 HyperMetro特性实现。HyperMetro采用AA双活架构将两套存储阵列组成跨站 点集群，实现数据实时镜像，具有高可靠、高性能和高扩展的特点。本章节将对 HyperMetro特性的主要技术原理和特点进行介绍。AA双活架构并行访问HyperMetro特性基于两套存储阵列实现八八（八戊2-八戊2）双活，两端阵列的 双活LUN数据实时同步，且双端能够同时处理应用服务器的I/O读写请求，面向 应用服务器提供无差异的AA并行访问能力。当任何一台磁盘阵列故障时，业务

27、自动无缝切换到对端存储访问，业务访问不中断。相较于AP方案，AA双活方案可充分利用计算资源，有效减少阵列间通信， 缩短I/O路径，从而获得更高的访问性能和更快的故障切换速度。双活方案的交 互流程。存储双活架构：数据中心A数据中心B数据中心A数据中心BAP双活AA双活（华为）8.1.2免网关设计HyperMetro双活架构无需额外部署虚拟化网关设备，直接使用两套存储阵 列组成跨站点集群系统。最大支持32个存储控制器，即两套16控存储阵列组建 双活关系。本方案架构精简、与存储增值特性良好兼容，对客户的价值如下：减少网关故障点，提高方案可靠性。I/O响应速度更快，无需经过存储网关转发，减少网关转发I

28、/O时延。双活可以兼容存储阵列已有特性，与OceanStor V3融合存储系统的其它 Smart系列和Hyper系列特性组合，可为客户提供多种数据保护和灾备 解决方案。显著降低双活组网复杂度，便于维护。I/O访问路径HyperMetro在应用主机则，通过UltraPath主机多路径软件，将两台存储阵 列上的双活成员LUN聚合为一个双活LUN，以多路径vdisk方式对应用程序提供 I/O读写能力。应用程序访问vdisk时，Ultrapath根据选路模式，选择最佳的访问路径，将I/O请求下发到存储阵列。 存储阵列的LUN空间上接收到I/O请求后，对于读I/O请求，直接读本 地Cache空间，将数据

29、返回应用程序；对于写I/O请求，首先会进行并 行访问互斥，获取写权限后，将I/O请求数据同时写本地双活成员LUN Cache以及对端的双活成员LUN Cache,双端写成功后返回应用程序写完 成。双活IO路径图：存储层组网两套双活存储阵列间通信支持FC或IP链路，推荐使用FC链路。另外，存 储阵列和仲裁服务器之间的链路采用更易于获取的IP链路。下图为4控制器的双活组网情况下，FC交换机端口占用情况 阵列双活方案组网RAC1ESXi2ESXilRAC2FC交换机3号波耀块FC交倒R4FC衬蝴2阵列连主机双活镜像网络同城互联网络阵列BPO P1 P2 P3 ： PO P1 P2 P3的BL 岛B2

30、PO P1 P2 P3 ： PO P1 P2 P3数据中心2数据中心18.2高可靠技术HyperMetro在继承OceanStor存储系统高可靠设计的基础上，全新设计了一 些解决方案级高可靠技术，最大化提高了存储双活方案的可靠性。本章节将从以几个方面介绍HyperMetro的高可靠技术：跨站点集群跨站点数据实时镜像跨站点坏块修复仲裁防脑裂高可靠链路设计8.2.1跨站点集群两套独立的存储阵列组建成跨站点集群，并以跨站点集群为核心，提供双活 存储架构，向应用服务器提供无差异的并行访问，处理应用服务器的I/O请求。双活跨站点集群配置过程极为简单，只需要将两套存储阵列配置成双活域， 即可完成跨站点集群

31、配置。跨站点集群系统使用阵列间FC或IP链路作为通信链路，完成全局节点视图 建立和状态监控。在全局节点视图基础上，跨站点集群系统提供分布式互斥等能 力，支持AA双活架构。下图为双活跨站点集群示意图。双活跨站点集群集群节点具有并发访问能力。当出现单个控制器故障时，主机业务将由双活跨站点集群的其它工作控制器承接。由于本地集群要进行故障自检，为了减少对性能和可靠性的 影响，系统优先选择由远端集群的控制器承接主机业务，待本地集群故 障自检完成并且通过后，本地集群继续提供主机业务服务能力。本地集群工作控制器全故障时，由远端集群接管主机业务。双活访问与切换图在跨站点集群基础上，HyperMetro以双活P

32、air或双活一致性组为单位提供 服务和进行状态管理。两套存储阵列上的双活成员LUN组成一个虚拟双活LUN，通过实时镜像技 术保持两个数据中心的双活成员LUN的数据实时一致。一致性组是多个双活pair的集合，可以确保单个存储系统内，主机在跨多个LUN进行写操作时数据的一致性。一致性组进行分裂、同步等操作时，一致性组的所有双活pair保持步调一致。 当遇到链路故障时，一致性组的所有成员对会一起进入异常断开状态。当故障排 除后，所有成员同时进行数据的同步，从而保证从站点灾备阵列数据的可用性。8.2.2跨站点数据实时镜像HyperMetro通过实时镜像功能，保证两个站点存储阵列之间数据的实时同 步。主

33、机写操作通过实时镜像技术同时写入两个数据中心的双活成员LUN，保持 数据实时一致。具体的写I/O流程如下图所示。跨站点镜像假如数据中心A阵列收到写I/O,镜像处理流程如下：1）申请写权限和记录写日志:数据中心A阵列收到主机写请求，先申请双活Pair 的写权限。获得写权限后，双活Pair将该请求记录写日志。日志中只记录地 址信息，不记录具体的写数据内容。该日志采用具有掉电保护能力的内存空 间记录以获得良好的性能。2）执行双写：将该请求拷贝两份分别写入本地LUN和远端LUN的Cache。3）双写结果处理：等待两端LUN的写处理结果都返回。4）响应主机：双活Pair返回写I/O操作完成。HyperM

34、etro支持断点续传功能。当某些故障场景（如单套存储故障）导致 双活Pair关系异常断开时，HyperMetro通过记录日志的方式，记录主机新产生 的写I/O。当故障恢复时，HyperMetro将自动恢复双活Pair关系，并且将所记录 的增量数据自动同步到远端，无需全量同步所有数据，整个过程对主机“透明”， 不会影响主机业务。双活主机访问状态表双活Pair运行状态主机访问状态状态描述主LUN从LUN暂停读写不R1读写用户暂停双活镜像 关系待同步读写不可读写阵列间链路或障或 in错误导致双活 镜像美系断开同步中读写不可读写恢复双活镜像关系 时全量,增囿同步双 端差异数据正常读写读写两端LUN都进

35、入 双活AA实时镜像 关系强制启动读写不口读与用户进行了强制将 双活从I工N：升期 为主 LUN的操作双活镜像状态表双活P疝运行状态镜像状态主LUN从LUN暂停/待同步僚制启动不镜像，记录差异日志不涉及同步中镜像写，后台复制差异不涉及正常镜像写镜像写8.2.3跨站点坏块修复硬盘在使用过程中可能因为掉电等异常情况出现坏块，如果是可修复错误但 是本端已经无法修复时，HyperMetro将自动从远端阵列获取数据，修复本地数据盘的坏块，进一步提高系统的可靠性。跨站点数据修复数据中心A阵列出现坏块时，从该阵列读I/O处理流程如下：步骤1主机下发读I/O。步骤2读本地LUN。2后步骤3 读取到坏块后，如果

36、为可修复错误，执行步骤4，否则执行1、 流程结束。重定向远端读。远端读返回。步骤4 将读数据返回主机，确保主机响应的快速返回。步骤5 根据远端的读数据，进行本地写入修复。步骤6 写修复结果返回。结束8.2.4仲裁防脑裂当提供双活LUN的两套阵列之间的链路故障时，阵列已经无法实时镜像同 步，此时只能由其中一套阵列继续提供服务。为了保证数据一致性，HyperMetro 通过仲裁机制决定由哪套存储继续提供服务。HyperMetro支持按双活Pair或双活一致性组为单位进行仲裁。当多个双活 Pair提供的业务相互依赖时，用户需要把这些双活Pair配置为一个双活一致性组。 仲裁完成后，一个双活一致性组只

37、会在其中一套存储阵列继续提供服务。例如， Oracle数据库的数据文件、日志文件可能分别存放在不同的LUN上，访问Oracle 数据库的应用系统存放在另一些LUN上，相互之间存在依赖关系。配置双活时， 建议数据LUN、日志LUN和应用LUN分别配置双活pair，并且加入同一个一致 性组。HyperMetro提供了两种仲裁模式：静态优先级模式仲裁服务器模式配置双活Pair前，需要配置双活域，双活域为逻辑概念，包括需要创建双活 关系的两套存储阵列和仲裁服务器。每个双活Pair创建时均要选择双活域，每个 双活域只能同时应用一种仲裁模式。仲裁服务器模式比静态优级模式具备更高的可靠性，可保证在各种单点故

38、障 场景下，业务连续运行。因此，华为双活方案推荐采用仲裁服务器模式。静态优先级模式静态优先级模式主要应用在无第三方仲裁服务器的场景。用户可以按双活 Pair或一致性组为单位，设置其中一端阵列为优先站点，另一端为非优先站点， 不需要额外部署仲裁服务器。该模式下，阵列间心跳中断时，优先站点仲裁胜利。当发生阵列间链路故障，或者非优先站点故障时，优先站点上的LUN继 续提供服务，非优先站点的LUN停止提供服务。当优先站点阵列故障时，非优先站点不能自动接管双活业务，双活业务 停止，需要人工强制启动非优先站点服务 静态优先级部署该模式的缺点是：两阵列之间的心跳丢失时，可能是站点间链路丢失或其中一个阵列故障

39、，系统无法区分这两种情况。静态优先级模式仲裁示意图编号示意图仲裁结果1故障类型；链路故障仲裁结果：H1继续运行业务，H2停止业务2Ih1R-IX故障类型：非优先故障仲裁结果；H1继续运行业务，H2失效二区一叵故障类型*优先故障仲裁结果：H1失效；H2停止业务,需要人工启动仲裁服务器模式使用独立的物理服务器或者虚拟机作为仲裁设备，仲裁服务器建议部署在第三方站点。这样可以避免单数据中心整体发生灾难时，仲裁设备也同时故障。仲裁服务器部署存储资源池网箔仲裁服务器模式下，当存储阵列间心跳中断时，两端阵列向仲裁服务器发起 仲裁请求，由仲裁服务器综合判断哪端获胜。仲裁获胜的一方继续提供服务，另 一方停止服务

40、。仲裁服务器模式下如果有优先获得仲裁的要求，也可以配置站点优先级。优 先阵列端具有仲裁获胜的优先权，心跳中断但其它正常时，优先阵列将获得仲裁 胜利。仲裁过程如下仲裁机制数据中心之间的链路断开时，跨站点阵列集群分裂为两个小集群。小集群分别抢占仲裁，优先阵列将优先抢占仲裁，抢占成功的小集群“获 胜”，将继续对外提供服务，为应用提供存储访问空间；抢占失败的小 集群则停止对外服务。中间链路恢复时，两个子集群检测到中间链路恢复正常，经过握手通信 将两个小集群自动组成一个跨站点集群，双活关系恢复，以Active-Active 模式提供服务。各故障场景仲裁示意图编示意图仲裁结果1AI ii i * h 心故

41、障类型：冲裁失效仲裁结果：HU H2继续追行业务2H Jk| H2故障类型，一套阵列与仲裁之间链路故障仲裁结果工HU H2继续运行槐务3直i直故障类型工一套阵列失效仲裁结果* H1失效，H2继续运行业务4A故障类型工阵列间链路中断仲裁结果：H2失效.H1继续运行业务5A故障类型* 一套阵列与仲裁同时失效 仲裁结果，H1失效，H2停止业务6x0 向兴邑故障类型* 一套阵列与对皓、件裁的链路同时中断仲裁结果，H1停止业务，H2继续运行业务编示意图仲裁结果7故障类型：一套阵列失效，且对端与仲裁链路中断 仲裁结果，H1失效，H2停止业务8/因、11，811故障类型，仲裁失效，且阵列间链路中断 仲裁结果

42、：H1与H2均停止业务9A hF|故障类型，仲裁失效，且其与一套阵列链路中断仲裁结果；HI, H2维续运行业务8.2.5高可靠链路设计HyperMetro阵列间组网支持FC或IP网络，可以根据用户的实际网络条件配 置网络。支持使用阵列直连、通过FC光纤交换机连接、通过IP交换机连接等。 为了提供更好的双活性能，推荐采用FC组网。以跨数据中心2节点+2节点双活组网为例，建议每个控制器节点都与 对端阵列建立2条阵列间镜像链路，并对两条链路的交换机进行隔离，获得最高 的链路可靠性。以跨数据中心4控双活组网示例为保证双活性能，HyperMetro对站点间双活链路的网络要求如下：误码率Wl0-12e。时

43、延 RTTWlms。无抖动，无丢包。链路带宽业务峰值带宽，最低要求2Gbps。除了高可靠的组网和链路质量要求外，双活阵列间镜像链路还应用了传输带 宽自适应特性，该技术通过一系列自动检测机制，根据链路质量，动态调整各链 路传输占比，减少数据重传率。例如当前控制器与对端阵列控制器存在两条镜像链路A和B,当系统检测到 链路A因为误码等原因存在较大的传输时延时，会根据算法将链路A的流控带 宽下降20%,将更多的带宽压力导向链路B,降低链路A的带宽压力，从而获得 更稳定的传输时延。当链路A的传输时延较小时，系统又会根据算法将链路A 的流控带宽上调20%，从而恢复带宽吞吐量。8.2.6分布式锁技术分布式互

44、斥能力是实现 AA 双活的关键能力之一，双活分布式锁模块利用Paxos和CHT (Consistent Hash Table) 一致性算法，提供了分布式对象锁和分布 式范围锁，从而满足AA双活的分布式互斥诉求。通过锁预取技术，可有效减少 跨站点的数据传输量和通信交互次数，从而提升I/O读写性能。在AP双活架构中，由于主机无法通过从端直接访问双活LUN，从端主机写 数据时，必须将完整的写数据发送到主控端，再通过镜像链路把I/O从主控端同 步到备控设备上，这样数据存在多次跨数据中心传输，严重影响写性能，如下图：AP双活的数据访问HyperMetro以主机I/O粒度，对主机I/O访问的LBA区间加分

45、布式范围锁进 行并发互斥，从而达到双向实时同步的目的，该方案可省去不必要的阵列间数据 传输带宽，并有效的减少数据传输次数。HyperMetro双活数据访问如下图应用分布式锁的双活数据访问HyperMetro分布式锁技术使用了智能的锁预取和缓存策略，在写权限本地 无缓存的情况下，会通过较小的控制报文，向锁权限缓存节点申请写权限，并多 预取部分区间的写权限缓存到本地。后续的连续写I/O可快速在本地命中写权限， 不需要再跨站点申请写权限。分布式锁实现原理如下图：分布式锁预取数据中心A主机.一一一 B眸列1锁叔漏哀荐二力00M ,司）*一 一 一 W100M , 200M )写权限 .数据中心A主机写

46、100M,102M)跨站点双活AA集群A阵列锁权限缓捋， 0,100M 新锁权限缰存：一 0,200M 卜一写权限不命中写102M,103M)跨站点双活AA集群写权限命中为了保证两个数据中心存储的数据实时一致，写操作都需要等待两端存储写 成功之后再返回主机“写成功”。双活I/O性能因为实时双写导致一定的时延增 加，华为HyperMetro设计了一系列I/O性能优化方案，减小对写时延的影响， 提升整体双活的业务性能。8.3.1数据零拷贝在双活镜像数据的初始同步或者恢复过程中的增量同步过程中，差异数据块 通常有大量的零数据块，无需逐块复制，该功能叫数据零拷贝。例如，虚拟化场 景下，新建虚拟机时会产

47、生大量的零数据块，一个数十GB的操作系统盘，实际 非零数据块仅2-3GB。数据零拷贝原理图如下图数据零拷贝Full copy 4 blocksFull copy 8 blocksHyperMetro零页面识别技术的实现方法如下：通过硬件芯片，对数据拷贝源端进行快速识别，找出零数据，在拷贝过程中， 对全零数据特殊标识，只传输一个较小的特殊页面到对端，不再全量传输。该技术可有效减少同步数据量，减少带宽消耗，缩短同步时间8.3.2 FastWriteHyperMetro通过FastWrite功能对阵列间数据传输进行了协议级优化，应用SCSI协议的First Burst Enabled功能，将写数据的

48、链路传输交互次数减少一半。正常的SCSI流程中，写I/O在传输的双端要经历“写命令”、“写分配完成”、 “写数据”和“写执行状态”等多次交互。利用FastWrite功能，优化写I/O交 互过程，将“写命令”和“写数据”合并为一次发送，并取消“写分配完成”交 互过程，将跨站点写I/O交互次数减少一半。如下图:传输协议优化8.3.3地域优化访问双活数据业务场景，两站点的距离远近，是影响I/O访问性能的关键因素。 HyperMetro特性通过与华为OceanStor UltraPath多路径配合，根据双活站点部署 距离，提供了两种I/O访问策略供用户选择。负载均衡模式优选阵列模式负载均衡模式该模式下

49、实现了1/。的跨阵列负载均衡，即1/。以分片的方式在两个阵列上下 发。分片大小可配，例如分片大小为128M，即起始地址为0-128M的I/O在A阵列下 发，128M-256M在B阵列下发，以此类推。负载均衡模式主要应用于双活业务部署在同一数据中心的场景。在该场景下， 主机业务访问两套双活存储设备的性能几乎相同，为最大化利用两套存储设备的 资源，将主机1/。按分片方式下发到两套阵列上。负载均衡访问优选阵列模式该模式下，由用户在OceanStor UltraPath上指定优选访问阵列，主机业务 访问时，1/0只会在用户设置的优选阵列路径上进行负载均衡下发，不产生跨阵 列的I/O访问。只有当优选阵列出现故障时，才切换到非优选阵列下发I/O。优选阵列模式主要应用于双活业务部署在距离较远的双数据中心场景。在该 场景下，双活数据中心的跨站点访问的代价较高，假如两个数据中心的链路距离 为100km，一次往返传输通常需要消耗约1.3ms时间。优选阵列模式可以减少跨站 点交互次数，从而提升I/O性能。针对数据读场景，双活数据中心的业务主机只需要读本数据中心对应的双活 存储阵列即可，避免主机跨数据中心读取数据，提升整体访问性能。优选阵列模式数据读跨站点双活AA集群数据中