南京公交IC卡系统CDP解决方案.doc

CDP 数据连续保护系统数据连续保护系统解决解决方案方案 2008 年 10 月 太极计算机股份有限公司 北京市海淀区北四环中路 211 号 Tel: 010 51616888 ext 8653 Fax: 010 51616225 目 录 第一章第一章 飞飞康公司简介康公司简介.1 第二章第二章 项目摘要概述项目摘要概述.2 第三章第三章 项目需求的范围项目需求的范围.3 3.1 提高数据安全性：.3 3.2 简化系统管理：.4 3.3 强大的扩充能力：.4 第四章第四章 数据保护系统架构说明数据保护系统架构说明.4 4.1 系统架构说明.4 4.2 数据保护系统的核心技术描述.6 4.3 无服务器备份及归档（SERVERLESS BACKUP）.6 4.4 对 MICROSOFT EXCHANGE 邮件信息快速恢复 .8 4.5 保护因为人为操作错误所造成的数据丢失.10 4.6 提供数据异地复制保护.10 4.7 工程说明及标准.15 4.8 系统环境转换与工具.15 4.9 系统模拟测试.15 4.10 功能测试.16 4.11 上线试运行.16 第五章第五章 灾备演练计划灾备演练计划.16 5.1 本地端发生灾难的仿真及恢复过程.16 5.2 数据备份验证方法：.18 第六章第六章 项目培训项目培训.21 6.1 课程范围.21 6.2 课程时数及预计时间.22 6.3 教材种类.24 6.4 教师经验与能力.24 第一章 飞康公司简介 美国飞康软件公司(Falconstor Software Inc.) ，2000 年创立于美国纽约的 Melville，是适应性数据保护解决方案开发领域的领先厂商，全球存储网络协会 （SNIA）成员(享有投票权)。拥有一批存储领域资深的管理人员和最杰出的研发队 伍。所开发的适应性数据保护解决方案帮助所有 IT 基础架构优化数据中心效能及业 务持续性。 美国飞康软件公司的旗舰产品 IPStor 企业版是跨越异构平台、以网络为中主的 解决方案，在确保企业 24x7x365 小时不间断运营，简化存储管理的同时，最大化 投资回报率(ROI) 、降低整体拥有成本(TCO)，并提供先进的存储环境。 美国飞康软件公司的存储虚拟化、持续的数据保护(CDP)、灾难恢复、虚拟带 库(VTL)解决方案可无缝的整合到用户现有环境中，保障用户快速的数据恢复和简单 化的存储管理。这些方案已被全球近千家企业用户所采用，行业遍及政府、教育机 构、航空航天、能源生产、金融服务、医疗、法律、制造、通讯等。 美国飞康软件公司先进的存储技术和可靠的解决方案受到了存储界同仁的广泛 认可，全球著名存储厂商 EMC、McData、StorageTek 、NEC 、Fujitsu 、Hitachi IT 及 Acer 等都是飞康公司紧密的 OEM 合作厂商。同时，飞康公司与微 软（Microsoft）, HDS 、IBM 、Network Appliance 及 Sun-PS 等保持了密切的 合作伙伴关系。 美国飞康软件公司的业务遍及全球，销售及支持网络覆盖全球 15 个国家和地区， 其中亚洲的业务及支持机构设在北京、上海、香港、东京、台湾、韩国、新加坡马 来西亚等地。 美国飞康软件公司非常重视国内业务的发展，关注国内客户飞速增长的数据保 护需求。2001 年，飞康公司正式进入中国大陆，现已成功地为移动、联通、电信、 电力、税务、港口、石油、保险、 医疗等行业的用户实现了数据容灾、异构存储管 理与整合、虚拟带库等存储解决方案。飞康公司在中国非常重视与方案供应商及集 成商的合作，并期待着更多合作伙伴加入到飞康的解决方案中来。美国飞康软件公 司中文网址： 飞康公司卓越的解决方案多次在国际存储展会上获奖，所获奖项为： IPStor CDP/DR 解决方案获得“2005 年度中国计算机报编辑选择奖” IPStor 在 2005 CMPs Xchange 大会上，获得“技术创新奖” 用于 Windows Storage Server 2003 的 iSCSI 存储服务器解决方案，在 2004 年 获得微软公司评选的“Best of TechEd Europe 2004”及“Best of TechEd China 2004” IPStor 在 TechTargets Storage 和 SearchS 举办的 2003 年度最佳 产品评选中获得“备份&灾难恢复软件”类银奖 IPStor 在 SearchS 和 Storage magazine 举办的 2003 年度最佳存 储产品评选中获银奖 IPStor 荣获 2002 年度 PC Magazine 和 eWeek 存储类“架构创新奖” IPStor 荣获纽约长岛软件协会“2002 年度最佳产品奖” IPStor VTL 所获奖项为: 2006 年 1 月，荣获 DOSTOR.COM 评选的“2005 年度虚拟带库首选品牌” 2004 年 8 月，荣获 Network Computer 杂志“最佳编辑奖” 2004 年 3 月，Computer Technology 大会上荣获“Best of Best” 第二章 项目摘要概述 南京公交 IC 卡公司 AFC 自动收费系统于 2000 年开始建设。最初为南京公 交、出租、轮渡、地铁四大公共交通领域的智能 IC 卡系统做出巨大的贡献。 随后后陆续开通了在苏果、加油、停车等 17 个领域的智能刷卡消费业务。极 大的方便了市民的日常出行及生活。 南京 AFC 系统日交易量近 200 万笔。目前通过全市范围内超过一百个以上 的人工充值点，充值设备通过 PSTN 拨号线路直接与 IC 卡公司清算中心连接， 在全是范围内另有 6 个综合业务网点，提供换卡、充值查询等服务，网点通过 DDN 专线与金陵通卡结算中心连接。在极大方便了市民的日常生活的同时，如 何保证庞大的系统在负荷极大的条件下能够安全运转也是当今亟需解决的问题。 如何有效的保护数据是信息系统不停顿的关键，以往数据保护的做法是将 数据通过备份软件转存到磁带或其它可存储介质中，以应对未来可能发生的灾 难与突发事件。人们发现，在灾难发生时，IT 系统往往仍然不能获得良好的保 护，尤其是作为业务连续性关键的数据保护。各类灾难后的快速恢复能力往往 得不到保障。今天，先进的 CDP 连续数据保护技术对于信息系统的抗击灾难 的能力产生了质的飞跃。以飞康的 CDP 技术为代表的连续保护技术不仅能够 保障本地系统的数据安全和业务快速能力，而且能够结合远程的灾备中心实现 异地的数据级别和应用级别容灾能力。其抗击的灾难不仅能够涵盖常规的各类 自然或异常灾难，而且尤其针对人为的各类错误和灾难具有极为有效的抗击能 力。 为了逐步加强各信息系统抗灾能力，建立业务连续运行的机制，完善系统 建设，南京公交 IC 公司首要需要加强的就是对各类数据和系统的本地及异地 容灾备份，以降低数据损失的几率，促进系统的可用性，以服务日益增长的电 子化业务需求与剧增的信息数据量。 为了达成上述的目的，南京公交 IC 卡系统公司信息中心拟构建一个良好 的本地及异地数据容灾备份系统，纳入重要的信息系统及数据库，确保其数据 的安全，使数据能够集中进行管理、保护及获得在其它方面的增值服务，以达 到数据存储及安全管理的目标。 第三章 项目需求的范围 本方案以构建南京公交 IC 卡公司 AFC 自动收费系统等系统数据文件及数 据库的本地及异地容灾备份为目标，并且能执行相关数据和系统的恢复演练， 重点在于能够在各种灾难情况下获得系统的快速恢复。 3.1 提高数据安全性： 在本地生产端建立一套完整的自动化数据定时备份，每天在设定的时间 间隔内完成本地端及异地端数据备份。避免因发生天灾人祸后的数据丢失， 导致营运系统停止运行，严重影响到企业的服务质量。 3.2 简化系统管理： 能够对数据实时备份系统进行灵活的集中管理，需要提供良好的操作使 用界面、事件告警、与工作流程的管理等，将复杂的企业数据保护工作化繁 为简，避免人为的疏忽，降低维护人员的工作量。 3.3 强大的扩充能力： 随着数据的成长，应用系统的开发构建及数据量的增加，数据保护系统 需具备服务器主机节点及存储容量按需增加的扩充能力。 第四章 数据保护系统架构说明 4.1 系统架构说明 根据贵单位的需求，我们建议南京公交 IC 卡 AFC 收费系统中在线前置、 DATASERVER、充值前置以及充值代理中心等 Windows 系统及数据通过 飞康公司的 DiskSafe 主机数据复制模块，将数据以异步镜像的方式经由光 纤通道或 iSCSI 通道复制到存储区域网络下的飞康 CDP Appliance 数据保 护器上。 当数据复制到 FalconStor 的 CDP Appliance 数据保护器上时，将 可以对所有的数据提供多达 64256 份的快照数据版本控制。为了确保数据 库的完整性，FalconStor 还提供了各种数据库的 Agent，包括 SQL、Exchange、Oracle 等。在做数据快照时，会将数据库瞬间切换到刷 新状态以确保数据的完整性。 飞康的 CDP 数据保护器能够在应用服务器系统发生故障或宕机时，利用 SAN Boot 的方式将镜像到到 CDP 中的数据作为主磁盘重新启动应用系统， 快速上线恢复服务器系统的业务生产。当服务器的新磁盘修复之后，可以快 速的将数据从后台恢复到新的磁盘中。此后可以快速恢复到原有系统的工作 状态。通过此架构，使得发生此类事件时系统的宕机时间只有五十分钟就 可继续提供服务，简单快速的恢复生产。 通常的容灾恢复机制要做到本地保护加上异地复制是非常困难的，但是通过 飞康的 CDP Appliance 的 Remote Replication 功能可以将镜像过来的数据 通过现有的 IP 线路远程复制到异地的信息中心中。 所有的数据备份过程中无论本地还是异地，都采用基于块级（Block Based）的方式进行数据复制，并且是增量的数据备份。在本地数据保护中 可以选择实时备份或定时备份。远程异地备份则可以采取定时增量备份。这 种策略主要是考虑到本地与异地信息中心的网络带宽。 本项目中的数据保护方案，主要考虑的是：不影响到各服务器的正常运作， 同时对于各类的数据恢复能够达到瞬间可用的能力。而一般的备份软件对数 据保护时，对于数据恢复所需的时间相当漫长而且比较复杂（需要对于特定 的备份数据格式提取并恢复到系统中，而且只能对于上一个备份点有效） ， 而且，常规的备份系统并不提供系统的远程启动立即恢复能力。基于此考虑， 我们提供的解决方案只需要重新开机即可。所耗费的时间也只有重新开机的 时间。方案结构图： 南京公交 IC 卡 AFC 缴费系统容灾备份示意图 4.2 数据保护系统的核心技术描述 本架构以飞康 CDP Appliance 数据保护器为核心，及其附带的 DiskSafe 以及数据库的 Agent 来达到数据快速镜像、瞬间恢复以及数据异 地容灾备份的效果。 CDP Appliance 数据保护器可视为一个存储备份的数据保护设备，将其 内置和外置的硬盘空间进行虚拟化。连接到 SAN（IP 或 FC）环境中的主机， 对主机数据进行保护 ( 如下图)。 4.3 无服务器备份及归档（Serverless Backup） CDP Appliance 数据保护器独一无二的数据恢复选件是能够透明地与当 今备份软件协同工作的备份和恢复工具。借助它的功能，企业用户提高了磁 带设备的工作效率，减少了应用服务器的系统开销，并消除了在生产局域网 中迁移数据的需求。 传统备份方法的限制 * 服务器系统开销增加了 CPU、系统总线和系统内存的负荷。 * 网络系统开销数据备份占用生产网络。 * 设备使用不充分备份设备不能在服务器间被有效共享；设备的运 行速率通常比额定速率低许多。 * 影响 7x24 小时全天候工作影响企业业务的连续性。 CDP Appliance 数据保护器的备份和恢复加速选件： LAN-free Serverless（HyperTrac Option） 备份选项增加了对扩 展拷贝协议的支持，该协议使数据从磁盘到磁带的直接搬移成为可能。这种 支持允许第三方应用软件把 CDP Appliance 数据保护器作为扩展拷贝加速 器使用。换句话说，CDP Appliance 数据保护器变成了数据搬移器，可以有 效的消除生产 LAN 上的数据流量（达到无网络负荷，Lan-Free） ，并且极大 地减少了应用服务器的数据处理周期（无服务器负荷，serverless） ，同时也 满足用户数据归档到磁带库或虚拟磁带库的要求 通过使用 LAN-free Serverless 的备份加速选件，极大地减少了传统备 份所带来的限制。备份服务器向 CDP Appliance 数据保护器发出命令，然 后退出数据通路。在这种情况下只有 CDP Appliance 数据保护器和源设备、 目的设备介入数据流量的处理。然而，应用服务器仍然需要运行一些备份软 件组件（被称作备份代理或客户代理） ，该组件发送备份请求并定期获得其 间的更新数据。CDP Appliance 数据保护器的 LAN-free Serverless 备份选 项是一个软件选项，因此无需任何附加的硬件安装，只需在 Java 管理控制 台上轻按几下鼠标就可完成安装选件。一旦被启动，备份软件将把 CDP Appliance 数据保护器看作是数据搬移器（也被称为第三方数据拷贝管理器） ，并将利用 CDP Appliance 数据保护器从磁盘到磁带移动数据。 4.4 对 Microsoft Exchange 邮件信息快速恢复 面临的挑战：“电子邮件哪里去了？” 处理电子邮件时，时常会出现各种错误：信息和文件夹被意外删除，邮 箱被损坏，病毒通过 Exchange 服务器进行传播。不论是哪种情况，电子 邮件作为非常关键的商务应用程序，进行快速恢复是必须的，这样才能确保 业务持续性、遵从性，以及人力资源工作需要等。 虽然单个邮箱的备份和恢复可以使用基于磁带的解决方案（业界称为 “积木层级备份” ） ，但是这些解决方案在备份和恢复两方面都比较慢。 当今的企业要求，在需要数据时，便能快速、简单地找回所需的关键 Exchange 数据。 解决方案：快速、简单的 Exchange 信息恢复 通过飞康公司针对 Microsoft Exchange 的 FalconStor Message Recovery (MRE)，用户可以在 5 分钟内恢复所要找的东西。飞康公司的 MRE 与 Microsoft Exchange 和 Active Directory 无缝集成，自动、快速 地恢复邮箱/信息。其简单易用的界面让您只要点击几下鼠标，即可快速找 到基于磁盘的 Exchange 备份，并快速恢复数据，而不必再花费几小时从 磁带备份中复原。 由于不必进行积木层级恢复，飞康公司 MRE 节省了宝贵的时间，确 保电子邮件持续可用和业务运作不间断。 Exchange 服务器和用户充分享有灵活性和业务持续性 飞康公司 MRE 利用久经验证的 IPStor 技术，从本地生产现场和远程 次站点/DR 站点恢复 Exchange 数据。它本身可以与 Microsoft Exchange Recovery Storage Group (RSG) 协同工作，在不影响 Exchange 系统操 作的情况下，进行恢复。它可以让管理员控制将数据直接复原到生产 Exchange 服务器上的用户端，还是复原到新建或已有的 Outlook PST 文 件。 如果数据损坏或丢失，这个灵活的工具让管理员可以复原整个 Exchange 邮箱或单个信息项目，确保 100 数据完整性和时间点一致性。 最终用户可以使用他们熟悉并常用的 Exchange 工具来查找和检索文件夹、 信息、附件、任务列表、日历或联系人。最终用户会在其 Outlook 系统中 收到恢复的信息数据（邮件、联系人等） ，再使用熟悉的 Exchange 搜索功 能来查找并复制所需内容，然后就可像什么也没有发生过一样继续操作了。 可以快速、简单、向导驱动地对单个邮箱、文件夹、信息、附件等 进行恢复 实时不间断恢复 与 Microsoft Exchange 和 Active Directory 无缝集成 无需 Exchange 积木层级备份 可以快速、简单地找到并复原 Exchange 备份 支持使用生产 Exchange 服务器进行邮箱恢复，无需备用服务器 从主站点或次站点/容灾站点 (DR) 进行恢复 无需维护一台单独的“恢复服务器” ，消除了由此产生的成本和复杂 操作 支持单节点和多节点 Microsoft 集群 Exchange 环境 4.5 保护因为人为操作错误所造成的数据丢失 飞康 CDP Appliance 数据保护器可针对某个逻辑卷作 TimeMark，类似 快照点。最多可保留最近的 256 个快照点 ( TimeMark )，这些快照可供管 理者 mount 该逻辑卷的任一时间点的影像，相当于该逻辑卷立刻回溯到指 定的时间。在此同时，原逻辑卷仍旧在在线被使用而毫无影响。DiskSafe 将数据复制到 CDP Appliance 的磁盘上，透过 CDP 的 TimeMark 将数据做 多版本保护。 CDP 只保留每个 TimeMark 间的差量 block，并非要作一份全拷贝，故 mount 快照时只是对应于 TimeMark 时间点的虚拟磁盘卷（快照指针） ，这 样即可节省硬盘空间，并且能快速制作快照点。 TimeMark 快照功能主要是在提供人为疏失等所导致的数据逻辑受损， 例如数据中毒，或是数据误删除。您可以随时将数据回溯到中毒前一刻的完 整资料状态，或是随时可以将受损的资料透过飞康的 TimeView 恢复回来。 (如图 3) TimeMark 示意图 4.6 提供数据异地复制保护 飞康 CDP Appliance 数据保护器提供数据的远程复制功能。其工作流 程是以 snapshot 技术计算数据库或文件系统的差量 block，将时间点前的 数据拷贝到 snapshot 缓存区。数据库主机需安装该数据库的快照代理模块 （snapshot agent） ， 如 SQL 需要 snapshot agent for SQL ，因此在恢复 时能够使数据库立刻运行而无需回滚。 4.6.1 本地 CDP Appliance 数据保护器将时间间隔内的差量 block（利用了 snapshot 缓存区）经由 TCP/IP 传到远端的 CDP Appliance 中。远端 CDP Appliance 先将数据放入暂时存储区中，待确认所有数据均传输 无误后，才确认完成，否则需重新续传。 4.6.2 远端 CDP Appliance 将暂时存储区中的数据写入到对应的逻辑卷中。 4.6.3 远端 CDP Appliance 可搭配 TimeMark 快照提取功能进行快照的提取。 4.6.4 相对于一般磁盘阵列 的 Remote Replication ( 如图 )，飞康 CDP 数 据保护器的远程复制拥有极大的优点： . 飞康 CDP Appliance 的 replication 功能是由 CDP 本身提供的， 与磁盘阵列硬件无关；因而可在本地搭配较为高端的磁盘阵列及远端 搭配低端的磁盘阵列。而一般磁盘阵列的 replication 功能则是由磁盘 阵列控制器提供的，必须要一对相同系列或相同机型的磁盘阵列才可 支持。一般说，低端的磁盘阵列不支持 replication，因此往往采用一 对同型中高端的磁盘阵列。 . 飞康 CDP Appliance 的 replication 经由 TCP/IP WAN 传输，因是标 准的协议，故可由两台 CDP 的网卡直接传输。一般磁盘阵列的 replication 则由两台磁盘阵列的控制器经 WAN 专线传输，不论是透过磁盘阵列的 ESCON 接口或 FC switch 的光纤端口，都必须搭配一对非常昂贵的 gateway 网关转 WAN 来传输，导致其建设、管理与维护成本大幅提高。 . 飞康 CDP Appliance 的资料需先经过快照，数据库在快照前通过 snapshot agent 先使数据库进入 hot backup mode，因此数据写入到远端 的 CDP 中可直接使用而不需作 data recover。一般磁盘阵列的 replication 则因数据在本地端并未做快照处理，故在远端作恢复时必须先对数据作 data recover，然后才能使用。 . 飞康 CDP Appliance 在远端 CDP 端搭配 TimeMark，可提供多份不 同时间点的拷贝且不需占大量硬盘空间。这些虚拟的拷贝可供其它应用主 机使用，例如软件测试、查询与备份。一般磁盘阵列在远端也可搭配 snapshot copy 功能作一份拷贝 ( 如图三之步骤 4 )。但因为它是真实的拷 贝，需一倍硬盘空间，故无法保留多份不同时间点的拷贝。 . 此为最重要的一点：CDP Appliance 的架构支持多对一 replication。 可以将多个地点的数据备援到异地的 CDP Appliance 中。一般磁盘阵列的 replication 则因其为一对磁盘阵列控制器互传，故需要成对的磁盘阵列。 4.6.5 异地复制机制及效果 本方案保证了数据实时备份时的现有服务器的正常运行，例如系统 及数据库仍然由本地硬盘运行，通过同步或异步的数据复制软件将数据 通过 FC/IP 网络复制到后端的数据保护器上，最后通过过数据异地复制 的功能将数据复制到异地信息中心的远程备份端。 以下为整体设计时的重点考虑要点以及建议使用的解决方案： 1.成本考虑，由于 Storage to Storage 的复制机制成本高，必须考 虑其投资成本。 2.要保持本地端应用服务的不中断性，如主应用服务器中毒、硬盘 受损、维护等以及备份系统接管的时间点。 3.数据写入到存储设备后，需能够有效的复制到保护设备中。 4.需要考虑因数据损坏，中毒所造成的的数据受损时的数据版本 管理及提取方式。 4.6.6 DiskSafe 数据和系统镜像工作机制 DiskSafe 是飞康公司一套针对系统以及数据保护所提供的解决方案 之一。DiskSafe 可以通过同步以及异步的复制方式将数据复制到存储设 备上。DiskSafe 不但是以 Block-based 的方式进行数据复制并且还可以 做到增量的数据复制。 . 有效、简单的数据保护 传统的数据保护都是透过备份软件或是备份代理来达到数据的保 护。这种方式除了管理成本昂贵外，一方面需要漫长的过程进行数据 恢复，另一方面只能恢复到上一个备份点，造成实时性根本得不到保 障。而且真的要恢复数据时又不一定能恢复的回来。以本次的项目而 言，我们将不只是提供实时数据备份，而且保护了本地的系统数据， 进一步提供了异地备份系统。 DiskSafe 的连接方式十分灵活，DiskSafe 可以透过 Fibre Channel 或 iSCSI 来将数据复制到数据保护器上，以本项目而言，我 们建议使用 iSCSI 的架构来设计，因为 iSCSI 可以在应用主机宕机时， 利用 remote Boot 功以将 Windows 系统及数据快速启动并立即恢复工 作,而且连接简单。它可以在最短的时间内提供服务并且可以瞬间将数 据复原，减少宕机时间，提高企业的服务质量。它可以完整的提供企 业 7x24x365 的服务。其架构图如下： 4.7 工程说明及标准 4.7.1 本项目的实施将分几个阶段进行： 4.7.2 某地信息处： 顺序工作内容工作天数 1是先将存储设备、FC/IP 交换机与 CDP Appliance 搭建完成， 因为这些操作无需各服务器宕机。 2安装光纤卡或 iSCSI 卡到各服务器。各服务器需要关机。 3安装 DiskSafe 的软件以及 Database Agent。需要重新开机。 4开始将数据透过 SAN 网络复制到 CDP Appliance 的存储设 备上。 5启动 TimeMark/TimeView，设定 64 份的快照策略。 6利用磁带机将数据复制到磁带上，准备将数据 restore 到异 地数据中心的 CDP Appliance 数据保护器上。 1-2 天 4.7.3 远端灾备中心： 顺序工作内容工作天数 1将存储设备与 CDP Appliance 搭建完成。 2将本地端的数据同步到异地端 CDP 存储设备上。 3确认网络设定可以联机到生产中心。 4启动异地复制设定，通过 CDP Console 将数据复制到灾备 中心。数据开始比对，然后进行增量数据复制。 1-2 天 4.8 系统环境转换与工具 4.8.1 本方案对于本地内置硬盘和存储设备的数据实施镜像保护，在服务器 上只改动如安装光纤卡或 iSCSI 卡以及安装 DiskSafe 及 DB agent。 4.8.2 DiskSafe 是通过异步 Mirror 的方式将数据以 Block Level 复制到数据 保护器上。通过 DiskSafe 的管理画面，可以监控数据复制的流量。 也因为采取异步 Mirror 的方式，服务器的 CPU 使用率不会超过百分 之 5%。 4.9 系统模拟测试 测试项目验证方式工作天数 数据复制至存储设备可通过重新开机来验证数据 可以做实时或定时数据 复制 可透过 DiskSafe 管理画面来确认 可以建立快照达 64 份可以手动建立快照并且将 SAN Disk 分配给服务器进行验证 快照时，Oracle 数据库 会正常进入备份模式 可通过重新开机来验证 Oracle 是否正 常开启 远程数据复制可通过 IP 网络 建立异地灾备利用管理工具或准备一台 Windows 机器进行验证 1 天 系统模拟测试 4.10 功能测试 数据备份最重要的是数据的恢复，本方案我们提供快速的数据恢 复与验证。在系统模拟测试上，准备两台一模一样的 Windows 服务器 模拟本地与远程的异地灾备。做法如下： 项次工作内容工作天数 1在本地