CDM云数据灾备方案

1、CDM+云数据灾备方案m 鸽学位目录1,1,灾备系统建设任重道远2 2 .CDM.CDM 简介3 3 . .南京政务云 CDMCDM 灾备方案分析1灾备系统建设任重道远灾备系统建设是 ITIT 领域永恒的话题，但是，目前很多企业仍未重视灾备建设的重要性。不少企业的数据基本是裸奔状态。有些人认为存储或者服务器上做了 RAIDRAID 就万无一失了，这是被严重误导了，RAIDRAID 只能防止单盘故障时数据不丢，是为了应对硬盘错误，其目的不是备份，其无法防止由于病毒感染、误删除、环境灾难导致的数据丢失。而另一小部分人则是压根没想着去保护数据。不少企业都是在经历过数据丢失导致的一系列损失之后才痛定思

2、痛的。近年来，云基础架构被广泛部署，一些中小企业 ITIT 系统直接搬上了公有云，但多数企业还是选择部署私有云。云的本质就是虚拟化+统一管理平台，通俗来讲就是用高级网管软件来管理调配系统中所有资源。相比传统架构下的灾备系统，云基础架构之上的灾备系统建设带来的新挑战主要是针对虚拟机环境的特殊性做一系列适配，以及与云管理平台的集成统一管理。应用场景CopyDataManagementCopyDataManagement( (CDM)CDM)是灾备领域近年来出现的新概念，本文利用一个案例向大家展示 CDMCDM 如何在私有云中落地实现云虚拟化环境的灾备。白同学吧生产数据AcuezSQLServerz

3、SQLServer副本餐理初始化全量数撵+WMMtacam报表管理回InfoSemper般路管溟即Jr-一wareware监控管理应急恢复数据迁移应急恢复数据迁移生产环境生产环境a也也非生产环境非生产环境2CDMCDM 简介相比 CDMCDM,大家可能听说更多的是 CDPCDP( (ContinuousDataProtectionContinuousDataProtection 其利用记录基准数据和增量数据日志， 然后对日志做索引处理的方式，能够让用户在较短的时间内看到历史时刻数据的任意副本。然而，CDPCDP 系统更加注重的是将数据拿到和保护起来，至于这些数据如何被利用，长期以来却似乎并没有

4、受到重视。而 CDMCDM（CopyDataManagementCopyDataManagement,数据副本管理），这个技术概念其出发点就在于它并地硬盘、SANSAN、分布式存储、云存储等。它注重的是如何将获取到的数据更好的管理和利用,以及更好的与应用相结合的利用。ImageImage，但是无论是在设计初衷、配置过程、使用过程中都会透着浓浓的为数据恢复而服务的色彩，而不是为了数据使用。相反 CDMCDM 面向的就是如何使用好对应的数据。随着大数据时代的来临，企业面对市场的竞争，开始考虑如何提高数据的使用价值，挖掘出数据中隐藏的有效信息，从而快速提升企业的核心竞争力。企业的生产数据，已不仅仅用

5、于业务生产，还有很多非生产环境中也需要这些数据支持。,连续数据保护）不关心数据是怎么拿到的，比如是通过传统备份亦或是CDPCDP, ,也不关心数据放在哪里，比如本CDPCDP 面向的场景就是数据的连续保护、备份和恢复,CDPCDP 虽然也可以提供数据的历史时间点CopyCopy 生产数据到研开发新系统时，需要tSim 鸽学吧发环境中用于开发；测试系统时，需要 CopyCopy 生产数据到测试环境中用于调试；数据统计和分析，需要 CopyCopy 生产数据到统计分析系统中进行处理。高性能、争剧本，及时性的数据薛克障和快速帧复蟀夬方案，为关铀应用耳序而田汁的脏；吉幸程序员和DBADBA亟需可自助化

6、的工艮20172017 年底，国内 CDMCDM 领头厂商鼎甲科技发布了其CDMCDM 一体机：InfoSemperInfoSemper。详细信息可以参阅这里加速关舞业舞海决方案的应用开发，保胪和控翻关膜蜘葡化企业飘播即本的警直.关镜数舞阵的快速备悦与惨会、海量文件做帮的怏通卦册和文件级强量，济蚯父牛济向那rqrq自南京政务云 CDMCDM 灾备方案分析项目概述与需求南京市政务云系统软硬件设备分布在三个机房：新城机房、电信机房、移动机房。当前，新城250TB250TB，年预期增长 32TB32TB; ;电信机房拥有存量数据 142TB142TB，年预期增长 61TB61TB; ;产品命名：产品

7、命名：tcfoSEper|g纯软件一体机CDM 管理组件管理组件CDM 容量组件高性能容量组件高性能计算服务盎高性计算服务盎高性能能SSD 组件涧通高性能组件涧通高性能海量存普可逑海量存普可逑数据库服弟器数据库服弟器光纤交换机光纤交换机InfoSemper新建服尧器新建服尧器口口* *品品 2 弓弓 0生产及讴故障效振存储效振存储物理主机物理主机白舞胆移动机房数据与系统负载约为电信机房 1/21/2,故三机房总计当前数据容量估计为 500TB500TB,年均增长超 110TB110TB土机艇务器新城机房o_bgcsmIl1DIQI型单v.*qw,满足新城机房、电信机房、移动机房现有生产业务数据

8、的数据安全支撑，提供平台、数据、文件的全面备份能力。同时:移动机房此项目要求建设容灾备份系统基于数据中心虚拟化平台构建容灾交换网鳍Q云存储设备BlaQl专用刈络日白白口电白3主机艇务器三机服务然系统，支持备份数据集的直接使用功能，支持报表统计、数据分析、容灾演练等综合应用场景，进一步发挥灾备系统的应用能力。支持 VMwareVMware、飞天系统虚拟平台系统的备份。三个机房内 OracleOracle 数据库要求实现实时备份、 挂载恢复能力， 要求 RPORPO 小于 10s10s, ,数据库小于 1TB1TB 挂载恢复 RTORTO 不应超过 2 2 分钟，数据库小于 10TB10TB 挂在

9、恢复 RTORTO 不应超过 5 5 分钟。不改变源端主机配置和备份作业的情况下，直接使用备份集进行容灾演练、报表分析、计算统计等离线功能。支持卷级 CDPCDP 备份，可以回退到任意时间点，在恢复时支持通过挂载方式实现任意时间点的即时恢复。支持容灾演练功能，提供本地数据备份集挂载恢复演练，细粒度文件、单表恢复演练和机房间远程恢复演练。灾备系统支持定时周期演练，恢复演练过程无需人工干涉，无需额外编写脚本，恢复后结果无需人工启动脚本可以直接进行数据访问。此外还有一些传统备份方面的需求，篇幅所限不再列出。3.23.2 鼎甲 InfoKist+InfoSemperInfoKist+InfoSempe

10、r 方案本方案中，供应设备整体纳入统一备份域，由单独管理控制端进行全局调度，设备从功能应用角度，划分为备份服务器(InfoKistInfoKist)和容灾服务器(InfoSemperInfoSemper) ),前者提供机房内数据备份、存储管理、数据集恢复能力，后者提供应用连续性、CDMCDM 以及数据的即时恢复能力。新城机房csniInfoSemperinfoKist容灾播管机容灾播管机备份一体机箝份一体机备份一体机备份一体机备份一体机备份一体机备份一体机箝份一体机备份一体机备份一体机备份一体机备份一体机光纤交换机配置；上行2个万兆单唉光纤搂口:下行16堂24个万兆单模光纤接口：要求配置光汗模

11、块：InfoScmper容灾接管机容灾接管机鼎甲 InfoSemperCDMInfoSemperCDM 一体机支持数据库、文件、操作系统和虚拟化设备的增量备份数据与原全量数据合并成为新全量集，从而摆脱周期性全量备份的时间窗口开销。可以结合数据库的连续日志，在虚拟全备的基础上进一步降低 RPORPO。针对于海量的数据资源，分钟级产生测试需要的数据，快速部署到测试环境中；测试数据基于虚拟快照技术，大幅减少测试数据占用的数据存储空间；采用链接克隆和完全克隆的技术，保证测试数据可读写，以及数据源不被改变。定时或周期性产生定制化的副本数据，用于其他部门的数据查询；副本数据与生产系统分离，避免对主存的性能

12、和安全性的影响，进一步提升系统的可靠性；提供数据副本管理的 RESTREST白鸥学包移动机房电信机房EnfoK 原原备份一体机备份一体机交换机交换机交换机交换机CODInfoSemocr容灾接管机容灾接管机一圾交模机一圾交模机InfoKistInfoKistInfoKistInfoKistInfoKistInfoKist备场备场一停一停API,API,用户可根据自己业务应用的特点，打造自己的数据管理云平台主服务器主服务器00=3I!-备份代理端(Agent)鼎甲 InfoSemperInfoSemper 由一个主服务器(MasterServerMasterServer),),一个或多个存储服务

13、器(StorageStorageServerServer),),一个或多个代理端(AgentAgent) )联合构建而成。主服务器对所有代理端、存储服务器的数据进行管理；存常服旁器存常服旁器用户通过 WEBWEB 管理界面，在主服务器上配置好作业信息，主服务器将作业指令下发到代理端。代理端执行数据捕获的作业，把副本数据直接存储到存储服务器中；存储服务器可以把数据直接挂接到客户端，实现数据的即时恢复。InfoSemperCDMInfoSemperCDM 对数据的整个生命周期的管理分为数据捕获/持续增量、副本管理、副本还原/挂载/恢复三个大阶段流程。其中数据捕获阶段支持文件数据捕获、数据库数据捕获

14、、数据文件捕获、日志信息捕获等多种方式渠道。副本管理方面支持文件增量合并、数据库增量合并、链接克隆、多副本管理、生命周期管理等多个方面支持。数据物理复制合成F1-V1F2C1至昆数据F3-VIF4-V1数据索引笃定向合成曰71F2-V1全最断穆F3VIF4-V1图：文件增量合并棠数据回示骸色说明.现色：初加全量静忸敬霜的目染幽啊程色：增量型聒告并后全程备缶抬据的目录结轲红色：每次台产后逆行快蹿的日泵结科图：数据库增量合成和快照处理2.32.3 方案技术优势与云平台全方位对接。鼎甲科技已经与国内外主流的虚拟化平台建立了战略合作关系，实现了适配认证。包括阿里、华为、华三、VMwareVMware、

15、AzureAzure 等云服务商。已经实现 OpenStackOpenStack 多个版本云平台备份的项目，可以实现全方位的对接。鼎甲科技的灾备产品(InfoKistInfoKist)既支持初始全星备份数据及快照初始全星备份数据及快照UuporHlock快昭1ZX块祖畲1 1块追艳2 2块沿品？SuperHlock块祖芋1 1块港第史块追看3 3摺量数据合成及快照摺量数据合成及快照块设蓄1 1SuperBieckSuperSlock修改谡备快新增设备快修部设备快快照方式，也支持代理方式。并且独创性的提出精简安装模式，可以通过模板或者自动安装方0 0：式实现客户端的快速安装、注册和升级操作，让客

16、户拥有丰富的功能体验，同时降低了使用和管理的复杂度。虚拟机自动发现。鼎甲对于虚拟机平台支持虚拟机自动发现功能，结合静默代理安装模式，还可以实现如下好处：能够自动发现新增虚拟机，并自动纳入到备份保护范围内；能够自动添加新增虚拟机内部的备份资源，包括数据库、文件和操作系统；避免了因为忘记对新增虚拟机备份而造成的数据漏备份的严重问题。重复数据删除技术。鼎甲数据重删技术与市面上传统的重删技术相比，具备根据数据特征计算而动态选择变长数据切分算法，无需再通过管理人员手工选择变长长度，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，最大限度地提升重删性能和重删率。CLRPCLRP 连续日志复

17、制技术。连续日志复制是基于数据块级的复制，通过对数据库服务器中文件系统的消息监控，实时获取重做日志、归档日志等文件的变化情况，并根据变化情况对日志文件进行实时的持续采集。连续日志实时保护技术，实现了对变化数据达到秒级以内的数据保护，连续日志实时保护（CLRPCLRP）的主要优势包括：将 RPORPO 降低到秒级，正常负载条件下 RPORPO 平均为 0.20.2 秒。实时复制的变化数据块非常小，资源占用优于 CDPCDP。无需任何软硬驱动程序，不影响业务系统的运行。无需长备应急备机，可恢复到任意时间点或 SCNSCN。生产数据生产数据疏文件零位过滤技术稀疏文件， 是 UnixUnix 类和 N

18、TFSNTFS 等文件系统的一个特性， 就是在文件中留有很多空余空间， 留,将来插入数据使用。 开始时，一个稀疏文件不包含用户数据，也没有分配到用来存储用户数据的磁盘空间，这些空余空间被 ASCIIASCII 码白NNULLNULL 字符占据，当数据被写入稀疏文件时，才逐渐地为其分配磁盘空间。稀疏文件中的 NULLNULL 字符有可能增长得很大，占用相当大的空间。对稀疏文件的捕获，如果不剔除这些 NULLNULL 字符的空间，获取到的文件数据量将会比客户端实际数据量大很多。如：含有 1TB1TB 实际数据的稀疏文件，捕获后数据量可能有 4T4T。这极大浪费toIII数裾库生产主机数裾库生产主机生产骰1S故里AI圈鼎甲炳鼎甲炳; ;。Samper3前灌还两CLRPCLRP1主量以据派曼数据库应急备机数据库应急备机归档日志副本转据归档E志了用户的存储空间，且占用数据传输带宽。对稀疏文件的处理难点在于文件中 NULLNULL 位数据是不连续的，如果没有较好的数据块截取算法，难以准确地过滤