OceanStorHDP解决方案技术白皮书V

1、HDP解决方案技术白皮书V1.0华为技术有限公司版权所有 侵权必究目录 TOC o 1-3 h z u HYPERLINK l _Toc213846076 1HDP数据保护综述 PAGEREF _Toc213846076 h 2 HYPERLINK l _Toc213846077 1.1数据保护概述 PAGEREF _Toc213846077 h 2 HYPERLINK l _Toc213846078 1.2数据保护相关概念 PAGEREF _Toc213846078 h 2 HYPERLINK l _Toc213846079 1.3HDP体系结构 PAGEREF _Toc213846079

2、h 4 HYPERLINK l _Toc213846080 1.4HDP组网概述 PAGEREF _Toc213846080 h 5 HYPERLINK l _Toc213846081 1.5HDP解决方案特点 PAGEREF _Toc213846081 h 6 HYPERLINK l _Toc213846082 2传统备份恢复解决方案 PAGEREF _Toc213846082 h 7 HYPERLINK l _Toc213846083 2.1备份恢复概述 PAGEREF _Toc213846083 h 7 HYPERLINK l _Toc213846084 2.2备份恢复功能特点 PAGE

3、REF _Toc213846084 h 8 HYPERLINK l _Toc213846085 2.3备份恢复系统架构 PAGEREF _Toc213846085 h 9 HYPERLINK l _Toc213846086 3重复数据删除解决方案 PAGEREF _Toc213846086 h 10 HYPERLINK l _Toc213846087 3.1重复数据删除原理 PAGEREF _Toc213846087 h 11 HYPERLINK l _Toc213846088 3.2系统架构 PAGEREF _Toc213846088 h 11 HYPERLINK l _Toc2138460

4、89 3.3组网结构 PAGEREF _Toc213846089 h 12 HYPERLINK l _Toc213846090 3.4应用场景 PAGEREF _Toc213846090 h 13 HYPERLINK l _Toc213846091 4数据复制容灾解决方案 PAGEREF _Toc213846091 h 14 HYPERLINK l _Toc213846092 4.1工作原理 PAGEREF _Toc213846092 h 14 HYPERLINK l _Toc213846093 4.2工作模式 PAGEREF _Toc213846093 h 15 HYPERLINK l _T

5、oc213846094 4.3功能特点 PAGEREF _Toc213846094 h 17 HYPERLINK l _Toc213846095 5丰富的存储介质 PAGEREF _Toc213846095 h 19 TIME yyyy-M-d 2009-2-17华为机密，未经许可不得扩散第PAGE19页HDP数据保护综述数据保护概述随着计算机技术的快速发展以及应用的广泛深入，计算机技术被广泛地使用在企事业单位的各个业务环节，越来越多的依赖于计算机技术的应用系统成为我们日常工作的得力伙伴。在给我们带来方便和效率的同时，也使得各行各业对于计算机技术的依赖程度越来越高。信息系统由于其自身结构的复杂

6、性，在运行过程中常会出现各种各样的故障，这些故障都会不同程度地造成数据的丢失或者不完整。这四类故障包括以下几种情况： 系统硬件故障：系统硬件故障会导致数据错误，甚至会导致数据丢失或者损坏；系统软件故障：软件故障可能导致数据错误，甚至引起系统无法启动，丢失数据；人为操作错误：人为操作错误可能是误操作，导致数据丢失或者损坏；自然灾害：火灾、地震等自然灾害引起的信息系统破坏也是数据失效的客观原因。所以，除了追求各个设备和系统的可靠运行外，还应该防患于未然，将系统的关键数据进行备份，以备不时之用。HDP（Huaweisymantec Data Protection Solution ）即综合数据保护解

7、决方案，结合了Symantec数据保护软件和华为硬件磁盘阵列在各自领域的优势，致力于运营商、政府、金融、能源、交通、ISP网络、医疗、教育等行业为用户提供一揽子数据保护解决方案，以完全满足企事业单位IT系统对于高业务连续性和快速灾难恢复的要求。HDP解决方案通过华赛磁盘阵列与赛门铁克软件的紧耦合方式来提供各种方案，并对方案进行了严格测试，大大提高了解决方案的兼容性、可靠性、实用性。在此基础上，我们针对各种用户、各种环境提出了对应的解决方案，覆盖了备份容灾的方方面面。 数据保护相关概念数据保护软件数据保护软件：数据保护软件是数据保护系统的核心。不同厂商的数据保护软件具有一些基本相同的功能，但是又

8、各自具有自己的特点，导致具有不同的功能、性能，可靠性、兼容性也个不相同。 HDP采用的Symantec相关软件，在全球拥有众多的客户，在存储备份等市场处于领导地位，其产品可靠性、稳定性得到市场的广泛认可。备份网络备份网络一般有两种，LAN_BASE和LAN_FREE。基于LAN_BASE的备份网络是指在公用以太网网络上同时运行“备份控制命令”和“备份数据流”的备份系统。基于LAN_BASE的备份网络的最大的优点是部署简单，无需改造原有的体系结构；缺点是，在备份时，需要占用较多的网络资源，可能会对业务的运行造成一些影响。所以这种备份网络下，都要求在业务比较空闲（一般是晚上和周末）的时间段进行备份

9、作业。LAN_FREE的备份网络一般建立在SAN环境中，可以使部分“备份控制命令”和全部“备份数据流”在存储网络中（SAN）运行，大大减少对公用以太网的负载压力。在LAN_FREE技术基础之上，还可进一步提高软件的功能和相应的硬件支持，使得备份操作能够通过磁盘系统，SAN交换设备和备份磁带库的协同来完成，而最大限度的减少服务器对备份作业的参与，这样使得服务器能够更有效地为各种前端应用提供服务。建立在这种思想上的备份方式称为Server-Free 方式。备份介质磁带机、磁带库：传统的备份设备，其最大的优点是每存储容量（GB）的价格相对其他存储介质非常低廉。但是磁带机（磁带库）具有一些作为机械产品

10、而不可逾越的问题，主要是维护负担高、备份失效率高、备份恢复能力不佳。目前面临着可靠性较差、性能较低、可扩展性较小、投资回报率较低等缺点，在许多环境中，有逐步被其它备份介质替代的趋势。磁盘、磁盘阵列：基于磁盘的备份可以缩短备份时间和恢复时间，降低昂贵的磁带消耗，同时还允许使用一些增强的技术，如合成备份、持续备份、全面恢复。虚拟带库（VTL）：通过存储虚拟化技术将现有磁盘存储系统虚拟成传统的磁带库系统，为数据备份系统提供高可靠、高性能、低成本的解决方案。虚拟带库兼有传统磁带（库）、磁盘阵列的优点，已经逐步被众多客户接受。HDP解决方案，主要使用磁盘阵列和虚拟带库作为备份介质，同时可以兼容客户原有磁

11、带系统，保护用户的投资。备份策略完全备份：完全备份（Full Backup），就是对整个备份目标（操作系统、应用系统、或者相关文件）进行完整的备份。当发生数据丢失的灾难时，只需要最近一次的完全备份即可快速恢复数据，数据可靠性高。完全备份通常在初始备份和阶段性备份时使用。 其不足之处是备份数据量大，如果每次备份都进行完全备份，会占用大量备份存储空间，显著增加用户的成本。 差异备份：差异备份（Differential Backup），就是每次备份的数据是相对于上一次全备份之后变化的数据。 差异备份通常需要和阶段性的完全备份交替综合使用，这样不仅提高数据的可靠程度，又能节省备份时间和备份存储空间。增

12、量备份：增量备份（Incremental Backup），就是每次备份的数据只是相对于上一次备份（完全备份、差异备份或者增量备份）后新增加的和修改过的数据。由于没有重复的备份数据，即节省了磁带空间，又缩短了备份的时间。但它的缺点在于恢复数据比较麻烦，恢复时间较长，可靠性也最差。HDP体系结构HDP解决方案通过调用数据库、应用标准API，利用现有网络或新建网络环境在不中断现有业务情况下实现数据库和应用的备份与容灾。备份、容灾系统独立于生产系统，不会对生产系统的业务、稳定性、安全性造成任何影响。当生产系统中数据库或应用增加、减少或有其它变更时，只需要在备份、容灾系统中对变更的数据库和应用配置做相应

13、更改即可，不会影响其它数据库或应用。HDP解决方案主要包括生产系统、网络、备份/容灾系统三部分组成，其结构图下图所示。生产系统： 作为备份/容灾源，生产系统承载各种业务系统。网络： 提供生产系统与备份/容灾系统的网络连接备份/容灾系统：备份生产系统中数据库或应用，为生产系统提供容灾功能HDP组网概述该组网图主要包括以下三部分：生产中心（远程站点）： 生产中心是IDP解决方案保护的对象，生产中心包含各种数据库和应用。备份系统可以建立在生产中心所在位置，也可建立在数据中心所在位置。数据中心（可选）数据中心集中存储了各个生产站点的数据是整个系统的核心。备份系统也可建立在生产中心，实现各个生产站点数据

14、的集中统一备份。异地容灾中心（可选）容灾中心是一个与数据中心以及各个生产站点在地域上相隔的另一个数据存储点，主要用与预防地震、火灾、恐怖袭击等灾难对生产系统和数据中心的破坏。当发生灾难性事件导致生产站点和数据中心均受到严重破坏而不可用时，可以利用灾备中心存储的数据重建生产系统和数据中心。HDP解决方案特点业界兼容性最好、成功应用案例最广泛的数据保护软件，覆盖几乎所有的操作系统平台和数据库、应用最宽广的数据保护平台，在同一平台上可以提供包括备份、重复数据删除、连续数据保护、远程数据容灾等数据保护方案华赛提供软硬件结合的方案，提供包括备份服务器，软件，存储一体化的方案。通过预配置对产品进行打包，从

15、而降低用户项目的管理风险，减少实施时间，为客户提供统一的服务HDP数据保护解决方案提供众多的面向不同客户需求、不同系统环境的解决方案，以下我们逐一介绍。传统备份恢复解决方案备份恢复概述HDP备份与恢复解决方案设计用于保护、备份、归档和恢复各类计算环境中的数据，这些环境包括大型公司数据中心、远程组、台式机及笔记本电脑。 这些产品相集成可以提供数据整个生命周期内的管理解决方案 从创建到处理，从现场和非现场方式，跨越存储层次的所有级别 涵盖了磁盘、磁带和光学存储介质。 该解决方案提供一致、可靠的数据保护，同时简化数据保护。 您的企业将能够做好更充分的准备，并且更加轻松地从设备故障、病毒攻击或意外丢失

16、文件中恢复HDP备份恢复方案主要特点：对整个企业的统一数据保护平台进行标准化，以消除数据丢失的威胁并最大限度提高操作效率通过在企业内实现集中管理和报告数据保护，实现服务级别的管理和法规遵从 通过实施新一代备份/恢复平台，在整个企业内统一台式机、远程办公室和数据中心保护，最大限度地降低成本和复杂性 HDP备份恢复解决方案通过2款产品的组合，覆盖从低端到高端、从简单到复杂的各种应用环境，满足客户的各种不同需求。HDP的2款产品分别是Symantec Backup Exec（简称BE）、Symantec NetBackup(简称NBU)。BE主要特点和使用环境：适用于以Windows系统为主的用户环

17、境适用于中小规模，部门级和远程分支机构使用主要使用微软应用的环境，如SQL，Exchange，Sharepoint，Active Directory等中小企业级的磁盘备份系统，定位在中低端NBU主要特点和使用环境：适用于主机、操作系统复杂，业务应用复杂的用户环境，进行统一数据保护适用于组网结构复杂、存储硬件环境复杂的用户环境，进行统一的存储资源管理适用于业务增长迅速，IT环境日益复杂的用户环境异构环境下企业级的备份系统，定位在中高端备份恢复功能特点端到端数据保护：适用于所有环境的数据保护，从台式机到数据中心。集中式管理：从一个位置即可管理所有数据保护技术和多个备份服务器，从而提高了效率。基于磁

18、盘的数据保护：除了传统磁带解决方案之外，还允许使用磁盘来提供数据保护，从而提供了最出色的灵活性和广泛的选择。其中包括支持智能磁盘设备或环境中日常使用的现有磁盘。自动灾难恢复：借助 BMR(Bare Metal Restore)和IDR(Intelligent Disaster Recovery Option)进行自动的全面系统恢复，可以帮助确保在发生灾难时，服务器可以快速启动并恢复在线状态。对于异地磁带管理，能够为异地保险库创建并管理磁带副本。全面恢复重要应用程序：确保能够全面备份恢复重要应用程序，如 Vmware、SAP、Exchange、SharePoint、Domino 以及Oracle

19、、DB2、SQL等各种数据库系统先进的数据保护：利用快照客户端执行低影响、高性能的备份和恢复。一整套基于快照的技术能够将重要应用程序瞬间恢复到任意时间点。数据安全：确保访问数据的人员身份和其访问级别，以及异地放置的磁带经过加密。几乎无限的可伸缩性：灵活的三层架构伸缩自如，可以满足当今对不断增长的数据中心需求。无可比拟的性能：由于文件只需备份一次，因此使用合成备份不但可以减少使用的网络带宽，而且可以降低对应用程序主机的影响。支持多达 32 种数据流通向单一磁带驱动器的多路径技术，有助于实现存储硬件的最大额定吞吐量。备份恢复系统架构高端备份系统NBU的系统结构图如下图所示：Master Serve

20、r：是整个NBU备份体系的大脑，它的功能包括制定备份策略，管理备份索引等；本身具体Media Server和Client的功能。它集中管理系统中所有的Media Server、Client。Media Server：管理备份介质，接受备份数据，本身具备Client的功能；一个备份系统根据数据规模，可以在线逐步增加Media Server数量，轻松应对客户不断增大的备份需求。Client:每个要备份的系统都需要一个NBU Client,它通过LAN或者SAN发送本地数据到Master/Media Server，或者接受Master/Media Server的数据用于恢复 中小企业备份系统BE的系

21、统结构图如下图所示：介质服务器：是整个BE备份体系的核心，它的功能包括制定、管理、调度备份作业，接收并保存备份数据。根据用户备份数据的规模，可以增加介质服务器。 介质服务器本身也是客户机。客户机：需要保护的对象，可以是个人办公电脑、文件服务器、应用服务器。不同客户机都通过介质服务器进行统一的管理，管理界面为简单的图形化界面。备份介质：备份介质支持磁盘、磁带、虚拟带库(VTL)等主流介质。重复数据删除解决方案重复数据删除技术是一种存储形式上的“压缩”，基于不同的对象或粒度做到对于备份的数据只保留唯一的一份，重复的数据只存储地址指针，删除整个存储区域中的冗余内容，让有限空间发挥出远超过实际容量的存

22、储效益。重复数据删除原理Veritas PureDisk产品利用了业界领先的重复数据消除（deduplication）技术，能够在数据传输之前将数据进行全局单实例（SIS）存储，将通过WAN传输到数据中心的数据减少到50-500倍，数据中心备份的数据能够减少到原有数据的10到50倍，从而节省了网络带宽和最后的存储空间，对于远程分支结构/分散办公环境提供了良好的基于IP WAN的备份和数据存储。重复数据消除后备份数据的减少，相应的大幅减少了备份时间窗，以及对于远程分支结构IT人员技能的要求。由于数据量的减少，使得利用磁带备份的代价获得了磁盘方式的备份，但同时又消除了磁带备份机械操作的不可靠性Pu

23、reDisk采用了基于散列的方法，将数据流分成数据块进行比对。PureDisk采用MD5算法为每个唯一文件生成一个指纹，在指纹中会包括各个数据段的情况，后续进行全局备份的时候遇到相同文件的时候，会通过指纹判断出是相同的文件，不需要另外的存储空间来存储该文件，而只是生成该文件的元数据。而在文件发生改变的时候，会只对改变的数据段进行保存，并生成一个新文件的指纹，从而减小了存储空间。采用重复数据消除的增量备份方法一个好处是可以随时对任意一个增量备份进行恢复，只进行了增量备份但得到了全备的好处，并不会有传统增量备份恢复时间过长的缺点。PureDisk最大的产品特色在于远程集中备份和全局单实例存储：远程

24、集中备份：数据的远程集中备份，体现数据中心和容灾中心的概念，大大提高数据的可靠性，便于管理，有助于节省备份成本、维护成本、减少TCO的支出全局单实例存储：利用业界先进的重复数据删除技术在整个备份域中对于相同的备份数据只保留一份，大大节约网络带宽和存储空间，减少备份时间窗口，节省备份成本。系统架构PureDisk系统采用一个分布式的架构，其系统结构如下图所示：Agent:安装在客户端上，处理重复数据消除、压缩、加密等MetaBase Engine:一个分布式数据库，用于容纳元数据的编目信息Content Routers: 可伸缩的存储服务器，用来存储重复数据消除后的分段数据Storage Poo

25、l Manager: 基于Web的存储池管理应用程序其中，各功能模块可以安装在一台服务器上（all_in_one 组网），也可以根据数据规模，分布到不同的服务器节点上（多节点组网）。多节点组网方式是针对高容量、高性能的备份环境；支持任意增加MBE和CR节点以提高容量和性能；支持冗余节点对MBE或CR节点的Failover；支持在线扩展各功能节点，并且扩容后，数据自动在CR间实现重新均衡。组网结构PureDisk的宏观组网环境如下图所示：个人用户和小型企业可以通过PureDisk客户端直接将数据经过重复数据删除后，备份到数据中心的PureDisk存储池中。大中型企业可以在本地建立all_in_o

26、ne的PureDisk存储池，各个办公用机或者服务器的数据直接备份到本地的存储池中，并可以通过存储池之间的复制功能，将数据从分支机构的存储池传输到数据中心的存储中保存。数据中心的虚拟服务器或者托管服务器的数据经过重复数据删除后，可以直接备份到数据中的PureDisk存储池中，并可以恢复到指定的客户端。数据中心的存储池集中了个人用户、远程企业和数据中心本地的备份数据。数据中心的存储池的备份数据可以通过PureDisk存储池之间的复制功能，传输到远程灾备中心的PureDisk存储池中保存，达到数据级的容灾能力。应用场景具有重复特性数据备份场景：受保护的数据具有明显的重复特性，例如包括大量办公Off

27、ice文档；或者包括多个备份客户端，客户端之间存在大量的重复数据；或者初始数据量很大，数据增量很小的备份场景分布式远程集中备份容灾场景：业务系统存在多分支机构，各个分支机构之间处于不同的物理位置，需要将各个分支机构的业务数据统一的集中备份或者容灾到一个灾备中心。各个分支机构与备份中心之间的网络情况各异，可能存在低带宽的广域网。数据复制容灾解决方案随着信息技术的发展，企业越来越依赖于IT系统来保证其在业界的竞争力，其业务运作也更加依赖于IT系统的稳定运行，所以一旦发生IT系统停止运行，那么关键业务系统将受到严重影响。关键业务系统的高可靠性和高可用性已成为企业关注的重点。对企业来说，如果发生数据丢

28、失，轻则影响业务的开展以及客户满意度，重则会使整个企业的生产瘫痪。如何才能保证尽量减少企业数据的丢失、将危险与灾难的损失降低到最小程度呢？这就需要建立容灾系统，包括数据级容灾以及应用级容灾。容灾系统的核心就在于使用各种技术和管理手段将灾难带来的损失降到最低，在实践中主要表现为两个方面：一是保证企业数据的安全，即保障生产数据在灾难发生时不会丢失；二是更高级别的保证业务的连续性，即保障整个生产业务在灾难发生时不会中断业务运行。工作原理VERITAS Volume Replicator(简称VVR)是Storage Foundation企业级管理软件中用于帮助客户实现远距离异地数据复制的功能模块，是

29、一种数据数据级容灾技术（可以配合其它软件实现应用级容灾）。 VVR复制基于卷（逻辑磁盘）进行。复制的数据可以是数据库中的数据（文件方式或裸设备方式）和关键业务系统中的文件。VVR与Storage Foundation完全集成在一起。用Storage Foundation管理界面和命令统一配置管理，同时客户也可以使用WEB方式进行管理；由于VVR仅仅将Volume上每次I/O变化的实际数据实时复制到远程节点，所以在网络线路上传输的数据量相对较少，对带宽的需求也不是很高。下图是VVR的体系结构示意图。说明：Replicated Volume Group (RVG)，需要被复制的卷的集合Storag

30、e Replicator Log (SRL)，数据卷的日志Replication Link (RLINK)，生产机与容灾机之间的复制链路Apllication，可以是任何应用程序(包括数据库）当某些严重意外情况发生后，后备节点会变成新的主节点，称为角色转换（Takeove）。当原来的主节点在灾难后恢复正常，需要进行数据反向同步和角色转换。脱机处理。通过使用VVR的In-Band Control(IBC)消息、Snapshot、以及Volume Manager(VxVM)的FastResync(简称FR，即快速同步)功能，可以实现数据的脱机处理。脱机处理主要指对后备节点种的数据进行处理，例如进行

31、备份、打印报表、数据仓库处理等。脱机处理由打破后备节点的镜像卷、对镜像数据进行处理、重镜像等几个过程组成。工作模式数据复制的能够以同步/异步自适应模式进行工作，即在网络延时情况较好、数据能够及时复制时，工作在同步方式，完全保证两边数据的一致性；当网络延时情况较差、数据不能及时复制时，工作在异步方式下，保证主节点的I/O性能。数据复制根据实际情况，自行在两种工作模式之间切换。如果数据复制的线路带宽有限，出于保证本地服务器读写性能的考虑，可以将复制工作模式定义为异步，也是VVR 默认的工作模式。由于VVR的数据复制严格按照I/O的修改顺序进行，所以，无论在同步还是异步工作方式下，能够保证数据的完整

32、性。对于数据库系统，该复制机制能够保证灾备节点的数据库中数据与主节点一致在灾难发生时正常启动并提供服务。下图是VVR以“异步方式”进行卷复制的数据流示意图，图中的数字编号表明了生产机产生的数据复制到容灾机的流程。说明：1.主站点接收到应用系统的一个写请求2.把收到的写请求写入日志区3.主站点向应用系统报告数据写入完成4.把数据通过网络发送到目标站点；同时把数据写入数据卷；5.目标站点收到数据后，向主站点报告收到数据6.目标站点把收到的数据写入目标数据卷7.目标站点向主站点报告数据写入完成。异步方式下，对网络带宽需求不高，对主站点性能影响较小；容灾站点的数据与主站点相比可能存在延迟。下图是VVR以“同步方式”进行卷复制的数据流示意图。说明：1.主站点接收到应用系统的