GAD双活存储集群方案

1、技术方案建议书第1章需求分析第2章总体技术解决方案 2.1方案拓扑示意图及简要说明 2.2方案优势简要说明2.3 VSPG1000的高性能、高可靠性、高扩展能力 2.3.1综合说明. 22.3.2咼可靠性2.3.3高性能2.3.4高扩展性2.4双活存储集群的技术优势 2.4.1 VSP G1000的GAD双活存储集群 2.4.2 GAD双活存储集群的基础VSM 152.4.3 GAD与其他厂商双活集群技术的对比2.5现有核心SAN存储与新购存储的无缝集成 2.6关键线路连接示意图 错误!未定义书签。2.7存储虚拟化整合规划2.8远程容灾规划 2.8.1 选用HUR异步复制技术2.8.2 HUR

2、异步复制软件的工作原理 2.8.3 HUR异步复制软件与友商的技术对比说明 第3章数据迁移解决方案 253.1数据迁移概述3.1.1 迁移目标3.1.2数据迁移相关因素 3.2数据迁移方法论3.2.1迁移评估设计阶段 3.2.2迁移实施阶段3.3数据迁移技术的选择3.3.1可选的数据迁移技术 3.3.2 推荐数据迁移方案 第1章 需求分析 根据现状分析，本次项目的核心建设要点有以下 4 点：1) 高性能，高扩展性，且可保证数据以及应用安全的存储设备鉴于XXXX勺存储使用情况和未来的业务发展，需要高性能，高扩展性(如存储产 品的容量与端口等)，高可靠性的企业级高端存储设备作为南方中心整体存储方案

3、的 支撑。2) 需要单一存储设备故障不影响业务生产，即双活存储集群技术XXXX对存储的要求不仅仅是能保证单套存储设备的可靠性，而且要保证在极端情况下，单一存储设备故障时，不会影响关键业务的生产，此外，即使在单套存储设备 故障时，另一节点的双活存储的性能也需能够高效支撑业务，因此双活存储需采用相 同的配置，以保证在单套存储出现灾难时，另一套存储可以以同样的性能支撑南方中 心的业务。双活存储集群在写数据时是需要两套存储均确认写入成功才会执行下一写操作的， 因此必须考虑双活存储集群技术对业务性能的影响。随着两套存储之间距离的增大， 数据写入延时越长，因此，建议双活存储集群应在同一个数据中心中以保证业

4、务性能。3) 必须满足长期规划，以实现双活基础上的远程容灾保护即使已经实现了双活存储集群， 但由于两个存储在一个机房楼里， 仍然无法避免整 个数据中心灾难所带来的影响。因此，还必须在双活的基础上实现远程数据容灾保护 的功能，以保证在灾难发生时仍有可用数据快速恢复业务生产。4) 数据迁移由于南方中心的核心业务系统是从北京中心拆分出来的， 需要将北京中心的部分现有数据迁移到南方中心。因此，本项目必须提供一套可行的、完善的、风险系数最低 的数据迁移方案，为南方中心业务系统的部署和上线运行打好基础。根据分析，本项目需要实施数据迁移的 IT 环境中具有如下特点：操作系统多样性：整体环境中主机包括AIX、

5、Windows Linux、ESX等各种操作系统，服务器涉及多个品牌；数据格式的多样性：数据的存放主要以Oracle数据库为主，有RAC和主备等多种形式的集群，另外还有主机文件系统，NAS文件系统等；数据量大：数十TB规模的数据需要迁移到南方中心新购存储；环境限制：距离远、网络带宽有限；这些特点都表明了数据迁移的复杂性， 也对数据迁移的方法提出了挑战。 因此数据 迁移方案的选择和设计重点考虑以下要点：迁移方案应重点考虑数据初始化，即如何成功、快速的将数据从北京中心迁移到南方中心；迁移方案重点考虑与应用、操作系统、数据库的无关性，尽量通过更底层的技术，如备份恢复、数据库复制、存储复制等，这样可有

6、效降低数据迁移的复杂 性；总之，数据迁移应考虑采用一个有效的方法来面向不同数据库、操作系统、服务器 的各种应用的迁移，且迁移过程尽量缩短数据初始化的时间，完成南方中心的快速部 署和上线运行。第2章 总体技术解决方案2.1 方案拓扑示意图及简要说明在明确项目建设目标，经过调研和分析，建议方案设计如下图所示：上图中紫色字体的部分是本次项目投标提供的 SAN网络及存储设备。方案说明：SAN网络层在SAN网络层面，方案采用两套Brocade 6520交换机作为SAN交换网络，形成双冗余 连接，避免因单台交换机故障导致的存储业务中断。由于南方中心与北京中心之间的远程连接为 IP网络，因此建议用户考虑增加

7、 FC/IP路 由设备，用以实现南方中心与北京中心之间的远程FCSAN路由连接，为基于存储的远程容灾复制提供链路支持。（注：该设备未包含在本方案存储设备供货清单中）存储层方案采用两套HDS最高端的存储设备VSP G1000为南方中心的业务系统提供高性能、 高可靠的支撑服务，且采用安全级别最高的“双活存储集群”来实现两套VSP G1000的设备级冗余故障切换，单套 VSP G1000亭机不会影响业务的运行，无须任何人为干预，业务 系统能够连续不停机的对外服务。此外，方案中还采用一套 HDS中端存储设备HUS130既可以为网管、监控等业务系统提供支撑服务，也可当作 VSP G1000双活存储集群的

8、仲裁节点使用主机层考虑到系统可靠性，服务器应安装两块独立的HBA卡，分别连接到两台Brocade 6520交换机，形成冗余链路。HDS VSP G100自带HDLM动态多路径管理软件，可以安装在服务 器操作系统中，用于管理路径负载均衡和故障路径自动切换。2.2 方案优势简要说明1) 高可靠性、高性能、高扩展性：VSP G100C高端企业级存储，采用多控制器架构冗余设计，具有极高的可靠性。与此同时，VSP G1000的性能也非常出色，其上一代产品 VSP公开发布的SPC-1测 试结果为60万IOPS,而VSP G1000预估IOPS可以达到200万以上。扩展性方面：VSP G1000最大支持23

9、04块磁盘，192个前端口，2TB缓存，能够充 分满足未来的业务发展需求。2) 双活存储集群方案由两套VSPG1000存储共同提供业务支撑服务，在任意一套存储出现严重故障(如 断电等)无法工作时，业务系统能够继续运行，无须任何人工干预操作。在一套存 储出现严重灾难时，单套存储仍可保证的业务的高效运行，实现RTO=0 RP30的高可靠业务连续性方案和数据安全方案。两套存储的配置完全相同， 在一套存储故障时， 剩余的单套存储仍可以提供相同的 业务处理速度，不会降低服务水平。3）可实现双活基础上的远程容灾保护VSP G1000能够与北京中心实现远程容灾复制，从而实现北京中心与南方中心之间的数据互备容

10、灾。虽然本项目选择的是利用数据库复制软件实现两中心间的容灾， 但根据以往的项目经验，我们仍然建议使用存储级容灾复制功能，对 Oracle 数据 库的 Archive Log 再做一份副本数据，作为数据库复制软件的补充手段和备用手段， 为两中心间的容灾方案提供更全面的技术支撑。4）可行的、完善的数据迁移方案数据迁移是一个极其复杂的系统问题。如何选择一种可行的、完善的数据迁移方案， 应重点从以下几个方面考虑：容灾复制技术优先? 本项目的建设目的就是为了实现南方中心与北京中心之间的远程容灾，因此建 议首选容灾复制技术进行数据迁移。只有这样，数据迁移到南方中心并启动业 务生产之后，才能够继续保持与北京

11、中心之间的数据容灾复制关系。? 其他数据（文件系统、NAS等，可以考虑采用NFS FTP等方式迁移到南方中 心。在具备条件的情况下（可实现两中心间的 FC/IP 路由通讯），也可以考虑 使用存储系统的复制功能完成两中心间的数据迁移。电子传输比介质传送更可靠? 无论哪种复制技术，都具有非常完善的数据传输机制与校验机制，并且迁移到南方中心的数据可以与北京中心直接建立容灾复制关系。如果带宽条件有限，预估传输时间较长，建议考虑临时增容带宽，以提高初始化复制的处理速度。? 介质传输，无论是传送磁盘、磁带、甚至存储设备，都存在极高的数据损坏风险，并且时效性很差，需要再次通过数据复制进行数据更新，过程非常复

12、杂。2.3 vsp Gioo（的高性能、高可靠性、高扩展能力2.3.1 综合说明权威机构 Gartner 于 2o14 年 11 月对业界主流高端存储进行了全方位的综合评测，评 测项目众多，评分标准细致且科学。最终排名结果显示：VSP G1000排名第一（并列第一的 HP XP7是 VSP G1OO0勺 OEhfi号）。Gartner 官方网站链接如下：以下图片均为 Gartner 官方网站的截图：上图是2014年3月综合排名情况（VSP为VSP G1000的上一代产品）,VSP（ P9000为 VSP的OEM产品）综合排名第一。评测内容包括：管理性、可靠性、性能、快照复制、扩 展性、环保特性

13、、多租户与安全、存储效率。上图是2014年11月的综合排名情况，VSP G1000（XP7为VSP G1000的OEM产品）再 次综合排名第一。2014年11月OLTP典型数据库应用评测，VSP G1000排名第一。2014年11月OLAP典型数据库应用评测，VSP G1000排名第一2.3.2 高可靠性整体的存储系统平台分为三个层次，主机层、网络层和存储层。主机层：在数据中心的生产区和交换区的业务系统中，主机主要进行信息处理和数据库运行，在主机端安装HBA卡用于建立数据访问通道。由于主业务系统是典型的 OLTP应用，所以应 用对数据访问性能的要求非常高，为了满足这一要求，主机端需要多块HBA

14、卡，提供多条数据通道，通过安装HDL贓据通道管理软件，可以提供多通道之间的流量负载均衡，确保 高性能的数据访问。另一方面，对于生产系统这样关键的系统，链路的安全性需要得到保 证，HDL问样可以提供数据通道之间的失败切换功能。网络层：SAN网络中网络层是非常关键的一个部分，它负责将主机和存储系统连接在一起，并且提供一个高灵活性、高扩展性的环境，以适应业务系统不断发展带来的主机和存储系统的 扩展。在SAN网络设计中，我们采用冗余的网络设计，按照本项目的要求，我们全新配置2台Brocade6520交换机构成冗余FABRIC为主机和存储系统提供冗余的、可持续发展的连 接路径。存储层：存储层或者说整个S

15、AN网络存储系统的核心设备是磁盘阵列，在数据中心存储系统中， 我们建议配置两台高端存储设备做同步实现“ 0”数据丢失的保护；建议采用高性能、高可 扩展性、功能强大的磁盘阵列系统一一 VSPG1OO0通用存储平台。VSPG1000存储平台的出 现，完全改变了存储业界的工业标准，致使各个竞争友商的产品又一次处于落后状态。VSP G1000磁盘存储系统是业界唯一可以保证 100%数据可用性的系统，整个系统采用 全冗余的交换式结构设计，没有任何单点故障，双独立供电接口与内部 N+1 电源模块，冗 余散热风扇，RAID技术保护方式，全局动态热备份盘包，多独立Cache板设计，支持镜像写缓存技术，所有缓存

16、都是NVS保护的，保证系统高可靠性和实现7X 24X 365天不停机运 行要求。VSPG1000存储系统也是最易维修的系统。系统的所有部件均支持热插拔和不停机进行 更换、扩容和不停机地微码升级。当微码出现问题时可以自动不停机地返回旧版本并可不 停机地加入微码的Patch。这种维护特性是经过广大用户证实有效的技术，也是用户选择 VSP G1000的原因之一。2.3.3 高性能VSPG1000虚拟存储系统是业界性能更高的多控制器企业级存储系统。其内部结构采用 高性能、无瓶颈的全交换结构，如上图。前端控制器（ CHA、后端控制器（DKA、数据 缓存cache控制器多部分组成通过系统内部交换系统（核心

17、为HDS专利技术交换芯片）连接组成无阻塞的高速数据交换网络，提供 I/O 数据交换的多路由和高速的数据交换；前端（CHA、后端（DKA、控制缓存组成了点到点的网络结构，用于传输 I/O和cache的控 制信息，上述结构是目前业界最先进的存储结构设计；同时 VSP G1000虚拟存储系统采用 全局的数据检索技术和处理机制，保证了数据CACH中的数据高速检索和CACHED中效率， 获得全世界各权威咨询与评估机构的高度评价，并被公认为是目前业界最高性能和最好的 扩展性的存储系统。下图为权威评测机构 SPC（ Storage Performa nee Cou ncil ）官方网站截图，分别显示 了 V

18、SP G100（的上一代产品VSP与Huawei公司18800的SPC-1测试结果。虽然 VSP最高 60万IOPS,略低于Huawei 18800最高100万IOPS但在平均响应时间方面，VS（0.25-0.7 毫秒）却较Huawei 18800 （1.5 5毫秒）的表现要出色5倍以上。换言之，在相同的I/O 压力情况下，Huawei 18800的读写处理时长会是 VSP的5倍，也就意味着业务操作的等待 时间是VSP的5倍。VSP 60万IOPS平均响应时间0.25-0.7毫秒。SPC官方网站链接hds/A00136 Hitachi-VSP-Flash/a00136 Hitachi VSP-

19、HAF SPC-1executive-summary re visio n-1.pdfHuawei 18800: 100万IOPS,平均响应时间1.5-5毫秒。SPC官方网站链接：数据来源：/benchmark results files/SPC-1/Huawei/A00140 Huawei OceanStor-18800/a00140 Huawei OceanStor-18800 SPC-1 executive-summary-r1.pdf2.3.4 高扩展性VSPG1000磁盘存储系统采用了全光纤的交换体系结构的设计，保证了系统的极大的扩 充能力，系统内部最大可以扩充到 230

20、4块磁盘，内部最大扩充裸容量可以达到8PB通过虚拟化云的扩展可以达到 256PB系统的数据 CACHER大可以扩充到2000GB VSP G1000 系统的前端通道最大为192个8Gb光纤通道接口。与此同时，VSPG1000在设备扩展的灵活性方面作出了巨大的努力，允许扩展机柜与控制机柜分开摆放，以解决机房空间紧张的问题，其他最大连接距离可达100 米此外，VSP G1000还可以通过内置的存储虚拟化功能，将其他符合FC SAN标准的磁盘阵列虚拟化整合进来，形成一个统一的存储资源池，其最大规模可以扩展到256PB。2.4 双活存储集群的技术优势2.4.1VSP G1000的GAD双活存储集群VS

21、PG1000具有的GAD双活存储集群功能，存储真正成为了一个虚拟设备，不再依赖于 具体的物理设备，类似于服务器的虚拟化一样，成为了一个存储资源池；在存储物理设备 更新换代的过程中，虚拟的存储设备永远在线，业务永远在线，不会因为一台设备故障造 成业务中断。GAD双活存储集群功能，可以将来自两台 VSPG1000的磁盘逻辑卷整合为一个虚拟卷交 给服务器，服务器的写操作会被自动镜像写入到两台VSP G1000中，形成数据镜像保护，同时服务器的读操作会被自动分发到两台 VSP G1000中的一台执行，从而提高数据的读取 速度。通过这种“双写双读”的数据处理方式，VSPG1000能够轻松的依靠内置功能实

22、现 “双 活存储集群”，如下图所示：两台VSP G1000上的逻辑卷可以被整合成为统一的虚拟卷标示符，从主机看来如同来自不同路径的同一个逻辑卷，底层的数据双写和双读操作则由GAD软件控制完成。这种技术使得主机的存储资源可以在两节点的 VSPG100上同时运行，在单台VSPG1000出现故障 时，主机逻辑卷不需要人工干预进行切换，另外一台VSP G1000上的逻辑卷可以持续提供服务，极大的降低了业务运行的风险，避免了出现故障时需要大量时间人工恢复业务的风 险。本方案中推荐两套 VSP G1000采用完全相同的配置，目的是在一套存储出现灾难时， 另一套存储可以以同样的性能高效的支撑整个业务中心的运

23、行，使得整体存储性能始终保 持在一个相同的水平。2.4.2GAD双活存储集群的基础VSMVSP G1000的GAD双活存储集群功能，其基础功能是VSP G1000创新的存储虚拟机Virtual Storage Machine(VSM) 。VSPG1000创造性地将虚机的概念引入存储，在一台物理存储内允许用户按照业务和应 用的要求定义多个 Virtual Storage Machine(VSM), VSM 与一台存储类似，具备自己的存 储ID，设备序列号和端口 WWN通过VSM的定义，能够有效提高存储资源利用率，并实现 最大的架构、业务的灵活性。VSPG1000通过 VSM实现了 GAD功能，G

24、AD( Global-Active Device )是禾用 VSP的虚 拟控制器功能来实现 VSP G1000的水平扩展和设备双活(业务全部在线)。 VSP G1000未 来可以实现8台VSP G1000勺横向扩展能力。如上图所示，主机识别LUN是通过控制器ID来识别，VDK(是VSPG1000上虚拟出来的 一个虚拟控制器，它可以将多台存储底层的物理控制器虚拟成同一个控制器，这样主机通 过虚拟控制器访问后端磁盘资源时始终和一个控制器 ID 交互， 无论后台存储如何变化， 主 机都不会有感知，从而实现了业务永远在线，双活等特性。如上图所示，GAD能实现双活数据中心，应用数据在两端同时写入2台存储

25、，另外还需要一个quorum设备做仲裁判断，仲裁盘可以是VSPG1000内部磁盘，也可以是通过VSPG1000 虚拟化的外部磁盘。部署后应用层面由 Cluster 进行高可靠连续性保护，数据层面有 GAD进行高可靠连续性保护。双活数据中心在数据读取时可以分开读取，即本地主机读取本地存储数据，降低延时, 提升应用响应速度。2.4.3 GAD与其他厂商双活集群技术的对比GAD是目前业界唯一的，通过存储内置功能实现的双活存储集群解决方案。其他厂商则通过增加虚拟化及双活网关的方式实现类似功能。这两种技术方案的主要区别如下（以VSPG1000+GAD寸比 EMC VPLEX+VMA为例）：指标与特性VS

26、P G100併 GADEMC VPLEX + VMAXHuawei VIS6000+18000IBM SVC+DS8800前端端口最大192个FC接口，冗余最大32个FC接口，任何一个端口设备不影响存储坏掉都会引起VPLEX控制器重启取大双活卷64000个16000个体系架构分布式交换架构高端存VMAX 40K是 8个中端存储的堆叠，储，GAD为内置软件，双VPLEX多增加的一层PC架构的虚活方案不增加任何软硬件拟化层层I/O写操作流与存储同步复制技术流程增加VPLEX缓存写入环节，I/O处程相同理速度大幅下降I/O读操作流与存储同步复制技术流程增加VPLEX缓存读取环节，I/O处程相同理速度

27、大幅下降管理控制器存储内部集成单独增加一对PC管理服务器及交换机组成管理网络双存储间的网SAN网络互通即可SAN互通以外，额外多出一对管理络连接IP网络，网络管理复杂统一管理存储软件实现VPLEX, VMAX开管理，VMAX勺设置变化需要VPLEX重启三中心容灾不需引入其他的产品或架需要加入Recover point，改变现构有架构下图为EMC VPLE的部署架构示意图:每个VPLEX群集都有一对专用本地IP子网，它们将控制器连接到管理服务器。其中 一个子网上的链路丢失将导致某些成员不能与此子网上的其他成员通信。如下面图：虽然有网络冗余配置，但从上图可以看出 VPLEX集群引入了一对PC服务器

28、。集群间的网络连接复杂，可能引起整个系统的故障。包含两个或更多引擎的 VPLEX群集还需要多搭配一对光纤通道交换机，提供光纤通道连接来支持群集内的控制器间通信。由此可以看出VPLEX勺集群连接非常复杂，而且低级的故障点很多而利用VSP G1000的先进的GAD技术，在实现双活存储的同时，可以最大化的简化系 统架构，系统没有因为要实现双活存储增加任何额外的层和故障点。2.5现有核心SAN存储与新购存储的无缝集成VSP G1000与 XXXX1有的 USP-V VSP技术完全兼容，能够实现 VSP G1000与 USP-VVSP之间的远程容灾复制，从而实现南方中心与北京中心之间的数据容灾保护。虽然

29、本项目选定了数据库复制软件进行远程容灾，但我们仍然为南方中心的 VSPG1000 配置了少量的容灾复制软件许可，通过 VSPG1000与USP-V VSP之间的容灾复制技术，对 数据库的 Archive Log 进行异地容灾复制，作为数据库复制软件的后备手段，提供更全面 的容灾保护。除了数据库以外，南方中心还会有部分其他数据需要复制，如文件系统等，这些数据 无法通过数据库复制软件传输，因此也可以利用存储之间的复制功能进行远程容灾保护。在未来的下一步规划中，我们建议将南方中心的 VSP G1000与北京中心的USP-V VSP 之间的复制功能全部打开，通过底层存储对两中心的所有数据进行容灾复制保

30、护，以保证 数据库与文件系统的一致性，进一步提高容灾数据的可用性。2.6 关键线路连接示意图下图为GAD双活存储集群的关键线路连接示意图。其中，两台VSPG1000之间的GAEPair 采用光纤直连，两台VSPG1000到HUS130中裁存储之间也同样采用光纤直连。为了保证系 统冗余度，各直连线路均为 2 条以上。如果光纤交换机端口充足，也可以考虑使用交换机来连接 GAD Pair 以及中裁存储。为了保证系统冗余度，所有链路均应为 2 条以上，并分别通过不同交换机连接此外，VSPG100Q HUS130 HNAS406各自对主机提供服务的 FC接口和10Gb IP接口, 均需按照传统模式连接到

31、FC交换机及10Gb以太网交换机。同样的，为了保证系统冗余度， 所有链路均应为 2 路以上，并通过不同交换机连接。连接架构如下图所示：2.7 存储虚拟化整合规划VSP G1000存储特有的存储虚拟化功能可以将基于 FC的IBM、EMC HDS HP等主流存 储公司的光纤存储整合为一个整体，为数据中心向“云”转化提供统一的、可灵活调配的 存储资源池。VSPG1000磁盘存储系统通过存储虚拟化的技术，可以实现将不同厂商的存储系统集合 到同一个存储池中。VSP G1000存储平台内部的资源为内部存储资源，与之相连的其它存 储设备上的资源是外部资源。通过该功能，可以使用统一的管理平台实现对内部和外部存

32、 储资源的统一管理，统一分配，可以按照应用系统的性能要求分配相应的存储资源。从主 机的角度看，内部存储资源和外部存储资源功能完全相同，而内部和外部存储资源之间的 数据交换可以通过存储系统本身的数据复制和数据迁移软件来完成。 VSP G1000 外部连接 的存储系统进行虚拟化的独特功能，可为异构存储创建单一的异构存储池。这可以简化存 储管理、提高利用率和效率，改善服务水平、简化数据迁移，并可帮助企业满足监管达标 要求。异构存储虚拟化架构示意图VSPG1000通过异构存储虚拟化的技术，可以使用统一的管理平台实现对VSPG1000内部和外部存储资源的统一管理，统一分配，可以按照应用系统的性能要求分配

33、相应的存储 资源。从主机的角度看，VSP G1000内部存储资源和外部存储资源功能完全相同，而内部 和外部存储资源之间的数据交换可以通过存储系统VSP G1000本身的数据复制和数据迁移软件来完成。同样的，这些被虚拟化整合进来的外部存储均能够使用VSP G1000的独有功能，例如快照、克隆、GAD双活存储集群，3DC闭环容灾复制等等。也就是说，未来如果用户的其他 项目采购了其他品牌的存储设备，同样可以利用VSP G1000的先进技术，实现更高级别的数据保护和更高效的数据管理功能。通过VSP G1000存储分区技术可以对 VSP G1000进行逻辑划分，可以多个逻辑虚拟存 储系统（VSM。每个虚

34、拟存储系统都拥有独立的主机通道端口、CACHE磁盘等资源。在VSP G1000和与之相连的外部存储设备中，通过逻辑分区功能可以使得应用系统的需求和 分配给该应用的资源得到合理的调度和匹配，从而保证应用服务质量。2.8 远程容灾规划2.8.1 选用HUF异步复制技术远程容灾技术中主要有两种选择。? 同步数据复制技术数据实时同步没有数据丢失，但是应用系统能容忍的同步距离有限制（容灾存储越远 性能越差），不能抵御区域性的灾难，如大面积的自然灾害，区域性停电等，与本次项目中 容灾的规划不符，因此不采用。? 异步数据复制技术 数据实时异步复制，异步复制距离没有限制，能抵御区域性的灾难，对生产存储性能影响

35、小，但也正是由于采用异步数据复制，灾备中心数据有数据丢失（链路足够宽时， RPO 可无限接近于 0，但不能绝对等于零） 。由于条件有限，本项目的远程容灾必须采用异步数据复制技术。VSPG1000的异步数据复制功能采用的是业界最先进的，基于日志卷的远程容灾复制技术（HUR）。2.8.2HUR异步复制软件的工作原理HUF复制软件采用基于磁盘日志文件的技术，可以保证远程数据的一致性和完整性， 同时，极大的降低了存储系统 CACHE口通信链路带宽的需求。HUM原理如下图所示：图：HURS程数据复制软件磁盘日志卷HURE程数据复制软件利用“磁盘日志卷”进行待传数据的实时转发，节省生产系统存储Cache资

36、源当服务器端发出一个写操作时，写 I/O 按照写发生的顺序保存在主存储系统的日志卷（JNL）中，远端的存储系统通过发出读日志命令从主存储系统的日志卷（JNL）中读取记录并将其写到本地的日志卷（JNL）中，然后将该记录更新到本地的数据卷中。上述过程是实时进行的，相比起其他厂家的以 30秒钟为周期的异步复制技术，具有更理想的“ RPO指标。同时，无论线路带宽如何变化，HUF远程数据复制软件能够自动的调整传输策略，充分使用线路的带宽资源。HURS程数据复制软件也节省了通信链路的带宽需求，在传统的数据远程复制环境下， 通信链路的带宽需求不够，则数据会累积在存储系统的CACHED，当CACHES源不够时

37、，远程数据复制过程中断。采用基于磁盘日志方式的HUR远程数据复制软件，可以利用磁盘日志文件缓冲对带宽的瞬时高需求，从而可以避免由于瞬间的高带宽需求造成的远程数据 复制的挂起。图：HUR对Cache和带宽的要求降低吸收式复制技术HURS程数据复制软件利用“吸收式复制技术”进行数据复制，提升生产系统的存储工 作性能。HUR引入了 pull （拉）机制实现数据的复制，使用这种技术，主存储系统不需要特定 的资源将数据推（Push）到远程存储系统中，而是远程存储系统到本地存储系统来读日志 卷。这样就解除了主存储系统用于数据远程复制的资源消耗，使得主存储系统的资源 100% 的服务于生产系统，从而提高了存

38、储系统的性能。数据一致性保证通过“顺序号”、“一致性组”技术，HUR远程数据复制软件保证异步模式的数据一致 性。HUR远程数据复制软件也有效的解决了在数据复制过程中的重新同步过程中的数据不一致性问题。在传统的数据复制方式下，当数据链路的原因造成数据不能够复制，数据远 程复制自动挂起， 同时对生产端存储系统的数据更新保存在存储系统的 Bitmap 表中，当链 路恢复后，存储系统根据 Bitmap 表中的记录信息将更新过的磁道复制到备份端的存储系 统，而在这个过程中备份端的存储系统的数据一致性是不能保证的，这就是数据复制的重 新同步问题。由于HURS程数据复制软件采用基于磁盘日志的工作方式，当数据

39、链路断开 后，对数据的更新仍然按顺序保存在磁盘日志中，这样，当链路恢复后，HUR远程数据复制软件仍然到生产端存储系统的日志文件中读取数据更新记录，这样就解决了数据的重新 同步问题。解决通信线路故障修复后的数据“再同步”问题HUR远程数据复制软件也有效的解决了在数据复制过程中的重新同步过程中的数据不 一致性问题。在传统的数据复制方式下，当数据链路的原因造成数据不能够复制，数据远 程复制自动挂起， 同时对生产端存储系统的数据更新保存在存储系统的 Bitmap 表中，当链 路恢复后，存储系统根据 Bitmap 表中的记录信息将更新过的磁道复制到备份端的存储系 统，而在这个过程中备份端的存储系统的数据

40、一致性是不能保证的，这就是数据复制的重 新同步问题。一般的异步复制解决方案，为了解决“再同步”过程中的数据不一致，会要 求在灾备系统留出额外的一份“ Golden Copy”（完整数据快照）空间，在“再同步”之前 首先进行一个快照，以保证数据的一致性。这种方式，即浪费存储资源，又增加了额外的 系统管理难度。由于HUR软件采用基于磁盘日志的工作方式，当数据链路断开后，对数据的更新仍然 按顺序保存在磁盘日志中，这样，当链路恢复后，HUR远程数据复制软件仍然到生产端存储系统的日志文件中读取数据更新记录，这样就解决了数据的重新同步问题，无需额外的“ Golden Copy”。2.8.3HUR异步复制软

41、件与友商的技术对比说明基于存储系统实现的数据远程复制技术的比较功能/产品其他友商的异步复制技术HURS程数据复制软件生产系统CACH占用率？高低链路故障管理破坏式bitmap，重新同步按顺序写入，日志文件RPO空制30秒同步一次实时同步对主存储系统性能高（由生产系统执行复制低（由灾备系统执行复制逻辑）的影响逻辑）所支持的平台本厂商的存储HDS以及其它厂商的异构存储第3章 数据迁移解决方案3.1 数据迁移概述3.1.1 迁移目标数据迁移是企业 IT 建设经常面对的工作。在开发环境向运行环境转换、低版本数据库 向高版本数据库转换、两个不同数据库之间进行转换以至系统硬件升级时，数据均可能需 要被转移

42、并使之迁移后正常运行。就本项目而言，数据迁移工作主要是指将北京中心现有核心业务系统的部分数据一次 性搬迁到南方中心，之后北京中心和南方中心作为应用双活中心同时工作，各自负责一部 分业务的交易处理。在此基础上，还需要实现两个中心之间的数据交叉复制，实现数据的 远程容灾保护。3.1.2 数据迁移相关因素在进行数据迁移项目计划时，一些因素是必须考虑的。数据的保护数据的保护是最重要的，在数据迁移中数据的安全必须得到完全的保护。任何一个更 换过个人计算机中的硬盘的人，都对因为在更换过程中对某些细节的忽视造成的数据丢失 有预期和经验。当在企业级数据迁移中，数据备份、实施步骤的回退计划是保证数据在迁 移后的

43、可用性的必需准备。在线或离线迁移如果应用可以暂停，则迁移过程可以更快捷；但是当今大多数系统有着严格的可用性 要求。当数据迁移在生产环境中进行时，不仅要密切监控数据迁移的过程，而且要将迁移 对生产系统的影响降到最低。维护时间窗口通常迁移工作只能在预先确定的维护时间窗口中进行。通常时间窗口是在夜间或周末 生产活动最少的时候。这些严格的时间窗口的存在使得迁移项目可能表现出不规则间断的 情况：紧张的迁移在时间窗口中进行，然后在时间窗口关闭时停止，业务继续运行；迁移 工作只有在时间窗口再次打开后才可以继续进行。从而使得迁移工作分散成数个不连续的 多个阶段性工作。迁移技术在开放系统环境中，没有一个完美的数

44、据迁移技术。每个迁移技术均有优势和劣势。针对每个特定的业务环境，应该根据不同技术的特点进行仔细甄别选择。直接费用（人力、硬件和软件等）因素应该和间接因素（应用停止和生产系统性能影响等）结合起来作为选 择迁移技术的判据。有些需要更大的维护时间窗口，而有些对生产系统的性能会有较大影 响。这些都会成为选择相应存储技术的考虑因素。计划和应用停顿的容忍程度数据迁移会对生产系统有着或多或少的影响，当分析完应用可用性要求，完成维护时 间窗口的选择后，可供选择的技术就相对比较固定。测试需求根据应用的情况，特定时间的迁移前测试和迁移后测试是必须的。因为没有一个普遍 适用的测试计划，所以针对每个特定的环境都需要做

45、出详细的有针对性的测试计划。测试 的时间跨度也与应用情况相关，时间长短也是根据应用的需求决定。数据迁移的时间跨度总的来说，决定数据迁移时间跨度的最主要因素是用户对迁移对原应用的影响的容忍 程度。而时间跨度与应用可用性之间密切相关。通常，在费用和可以接受的应用可用性之 间有着一定的关系。 越高要求的应用可用性意味着越多的费用， 从而也就制约了时间跨度 经验表明，在没有详细彻底的评估环境和项目目标的情况下，进行迁移时间的预测是很困 难的。一般来说，需要经过评估，分析，计划和实施等几个步骤。整个环境的复杂性在数据迁移过程中涉及到各种应用和数据之间的关系，越复杂的应用环境，则相应的 计划和实施就越复杂

46、。3.2 数据迁移方法论HDS所提供的数据迁移服务是一种为客户准确完整地将物理上存在的多或单点数据转移集中至单一数据中心或单一存储系统的解决方案。本方案涵盖了主机及存储设备的重新 配置，并对客户系统资源进行合理的规划，以保证在迁移集中完成后，新系统环境可以达 到设计的要求，从而避免由于迁移集中导致的客户业务中断，及系统性能下降，同时确保 数据迁移集中后系统的安全性及可管理性。该方案将数据迁移集中过程中对客户业务的影 响减至最小，并承诺在HDS与客户双方同意的时间范围及规定的费用内完成对数据的迁移。HDS各一个数据迁移项目分为两个阶段：迁移评估设计阶段和迁移实施阶段3.2.1 迁移评估设计阶段在

47、这个阶段，通过分析工具，问卷调查和现场访问等手段，HDS技术顾问收集掌握用户主机、应用、存储环境信息。在了解用户将来的商业和技术目标对存储的要求，以及理解 用户当前的存储架构的基础上，设计未来满足要求的存储架构和数据迁移计划。这个阶段由以下子阶段组成：项目初始化阶段现场技术访问阶段收集数据阶段分析数据阶段制订数据迁移计划阶段总结回顾阶段1. 项目初始化阶段这一阶段对于数据迁移项目成功与否非常重要。在最初的项目会议中确认项目目标和 预期。在这一阶段中，项目基于用户的要求开始并定义。主要的用户人员被确认并联系， 项目范围和定义经过用户及 HDS项目人员的评论和确定。初步信息收集后，建立文档资料 基

48、于已经定义的项目范围，项目人员确认并排出相应的时间表。2. 现场技术访问阶段在这一阶段中，项目组成员进一步了解和明确用户对数据迁移的商业和技术要求。同 时对已有的主机、应用、存储环境做更多的了解和熟悉。3. 收集数据阶段这一阶段的目的是快速收集用户应用系统相关的计算环境信息和应用架构。这些信息 是对项目初始化阶段得到的信息的补充和验证。将收集到的信息整理归档以备分析阶段使 用。在这个阶段，项目中涉及的每个系统都要进行数据收集。 这个阶段是以后各个阶段的 基础。? 从主要技术人员（比如：数据库管理员和系统管理员）那里收集信息。? 制作系统环境收集表格，收集整理主机、系统和存储等的详细信息。? 收

49、集整理有关数据库和应用的信息，包括数据类型、数据可用性和数据库性能等方面。? 收集整理相关 IT 人员的职责和联系信息? 明确数据迁移的时间限制、维护时间窗口和停机许可等。4. 分析数据阶段所有收集的信息必须经过分析和研究，然后形成数据迁移初步技术方案。? 回顾和分析所有收集的信息。? 与技术人员求证实施计划的可行性。5. 制定数据迁移计划阶段完整的详尽的计划是实施数据迁移成功的关键。? 生成应用、主机和数据库等迁移的优先级序列? 生成初步数据迁移计划用于分析讨论。? 生成备用回退计划。? 集中分析最小化业务中断时间的方法。? 讨论决定数据迁移的阶段检查点。? 完成完整的数据迁移方案。数据迁移

50、针对的计算环境可以分为同构环境和异构环境。在进行数据迁移方案设计中，HDS在普遍适用数据迁移技术的基础上，针对异构和同构的环境，进行多种技术的结合。现将使用的技术情况简列如下：I. 针对同构环境：? 基于磁盘阵列远程数据复制技术的数据迁移。? 基于主机操作系统逻辑卷镜像技术的数据迁移。? 基于数据库复制、备份和恢复技术的数据迁移。? 基于三方工具的数据迁移。II. 针对异构环境：? 基于虚拟化技术为基础的数据迁移。? 基于主机操作系统逻辑卷镜像技术的数据迁移。? 基于数据库复制、备份和恢复技术的数据迁移? 基于三方工具的数据迁移。6. 总结回顾阶段 向用户阐述数据迁移计划，并与用户共同分析数据

51、迁移计划。在用户满意的基础上提供完整的计划文档。3.2.2 迁移实施阶段 这个阶段是在迁移评估设计阶段之后进行的，依据数据迁移计划，使用适当的工具，将用户数据从原有系统迁移到新系统。这个阶段主要由以下几个子阶段组成：? 项目初始化阶段? 迁移前测试和演习阶段? 数据迁移阶段? 迁移后测试阶段? 总结回顾阶段1. 项目初始化阶段 项目成员和用户共同分析数据迁移计划，明确使用的迁移方法和技术，准备相应所需的工具和设备。2. 迁移前测试和演习阶段在正式进行生产系统数据迁移前，对原有系统进行测试总结，作为迁移成功与否的一 个判据。根据设计的数据迁移方案，建立一个模拟的数据迁移环境，它既能仿真实际环境

52、又不影响实际数据，然后在数据模拟迁移环境中测试数据迁移的效果。数据模拟迁移前也 应按备份策略备份模拟数据，以便数据迁移后能按恢复策略进行恢复测试。在这个阶段可 以使用小规模的数据量测试检验数据迁移计划的可行和完整。根据设计的数据迁移测试方 案测试数据模拟迁移，也就是检查数据模拟迁移后数据和应用软件是否正常，主要包括： 数据一致性测试、应用软件执行功能测试、性能测试、数据备份和恢复测试等。在成功完成数据模拟迁移测试的基础上 ,在正式进行数据迁移之前 , 进行一次迁移演 习。在演习中，完全按照数据迁移计划，迁移生产系统。实际检测迁移计划的可行性和效 果，为真正的数据迁移做好最完备的准备。3. 数据

53、迁移阶段根据数据迁移计划进行生产系统的数据迁移。这个阶段包括所有进行迁移所需工作， 比如：进行系统全备份，安装临时软硬件，生成镜像等。4. 迁移后测试阶段测试检验迁移后系统的运行情况，进行数据验证，为最后的验收做准备。根据设计的 数据迁移测试方案测试数据迁移结果，也就是检查数据迁移后数据和应用软件是否正常， 主要包括：数据一致性测试、应用软件执行功能测试、性能测试、数据备份和恢复测试等。5. 总结回顾阶段根据系统运行正常的判据，检查验收数据迁移后的应用系统。交付完整项目文档，结束项目3.3 数据迁移技术的选择客户的现有系统应用系统架构中包括了多种主机平台，存储为USP-V与本次项目建议采购的V

54、SP G1000磁盘阵列属于同系列存储，因此可供选择的技术手段很多，主要包括以 下几种：1) 基于磁盘阵列之间的数据复制技术(HUR的数据迁移。2) 基于文件系统复制技术的数据迁移。3) 基于数据库复制技术的数据迁移。4) 基于数据库备份和恢复技术的数据迁移。5) 基于三方工具的数据迁移。3.3.1 可选的数据迁移技术对于业务数据的迁移，目前主要采用如下五种方法：1) 基于磁盘阵列之间的数据复制技术(HUR的数据迁移。2) 基于文件系统复制技术的数据迁移。3) 基于数据库复制技术的数据迁移。4) 基于数据库备份和恢复技术的数据迁移。5) 基于三方工具的数据迁移最后的迁移方案应该是上述方案的结合

55、，我们会在上述方法结合过程中找到最佳数据 迁移方案。 基于磁盘阵列远程数据复制技术的数据迁移对于两套同系列的磁盘阵列，可以通过阵列之间的数据复制技术来实现数据的迁移，如目前的HDS的TureCopy、HUR复制技术，EMC勺SRDF技术，都可以实现在两套磁盘阵列之间的数据迁移，并且此种方法不占用主机资源，对应用透明。但是源磁盘阵列和目标磁盘阵列必须是同一厂家的同一系列的产品，而且迁移过程对生产系统有一定的性能影响。这种迁移方案的好处在于对应用透明，无论需要复制的数据是结构化的数据库，还是非结构化的文件系统，磁盘阵列都会采用数据块的方式将其复制过去，因此适用方位非常 广，几乎所有具备条件的环境都能够实现。方案缺点这种迁移方案会将数据原封不动的复制过去，因此无法对目标数据进行重新规划安排， 例如目标卷大小的调整，甚至数据库版本的变化等等，都必须在复制完成成功启动新数据 之后才能进行。 基于文件