数据中心灾备方案设计

1、数据中心解决方案之灾备方案设计1. 数据中心容灾备份解决方案随着社会的发展和科技的进步， 政府日常工作越来越依赖于数据处理来进行， 政 务系统的连续性依赖于数据中心系统的稳定运行。 然而，灾难就像灰尘一样伏击 在运营环境周围，政务系统的数据中心可能正在一个充满风险和威胁的环境下运 行。如果不能对这些风险采取有效治理， 一旦数据由于某种原因丢失， 就很有可 能对政府的日常工作造成严重的影响。 如果核心数据丢失， 将会使得某些核心功 能陷入瘫痪， 造成不可估量的损失。 因此，保证政务的连续性和数据的高可靠性 和可用性，已经成为政府部门在数据中心建设中，必须要考虑的问题。1.1 灾备解决方案原则首先

2、，在制定容灾系统方案的过程中要考虑的就是容灾系统建设对原有业务系统 带来的影响。比如，采用数据复制技术对系统 I/O 带来的延迟， 应用数据同步对 日常业务处理系统带来的压力等。 因此，企业要通过周密的测试和分析来规避容 灾系统建设时带来的这些风险， 以保证业务系统不会因容灾系统的建设而出现在 处理性能上下降的问题。第二，数据状态要保持同步。 为保证在灾难发生时， 业务可以成功地切换到备份 中心，就必须保证容灾系统数据同步机制的可靠性。 因此， 建立可靠的数据同步 校验机制是必须的 ; 同时，还要考虑建立定时的、 自动的数据同步核查对比机制， 以检验两个中心数据的一致性，这是数据容灾工作中非常

3、重要的一部分。第三，容灾系统的日常维护工作要尽可能轻， 并能承担部分业务处理和测试的工 作。容灾系统的维护和管理是容灾切换成功的重要保证， 在系统建设中， 就必须 要考虑系统的维护管理流程。 生产中心任何业务处理过程的改变都必须完整地复 制到备份中心 ; 所有新业务系统上线时， 必须通知备份中心， 并在备份中心配置 好数据同步机制 ; 对原程序的改动也必须保证两个中心同时上线。第四，系统恢复时间要尽可能短。 容灾系统主要是为了实现在主中心系统发生灾 难时，可以在规定时间切换到备份中心， 保证数据不会丢失， 并且继续向用户提 供服务。但往往在灾难发生时， 主要技术人员不能及时到达现场， 为了顺利

4、实现 系统间的切换，应该让系统切换操作尽可能地简单 ; 并建立固定化的、 标准化的 切换流程，要求维护人员在切换演习时严格按照流程的指导步骤进行操作。第五，可实现部分业务子系统的切换和回切。当人事变动、业务变化、 IT 设施 变化以及其他可能引起恢复规划文档失效的变化发生时， 应及时更新各恢复规划 文档，并在必要时启动模拟测试或演习，确保业务连续性系统的工作能力。第六，技术方案选择要遵循成熟稳定、高可靠性、可扩展性、透明性的原则。目 前，国际上比较成熟的容灾技术包括：SAN/NAS技术、远程镜像技术、虚拟存储、基于IP的SANS连技术以及快照技术等。其中基于IP的SAN远程数据容灾 备份技术应

5、用比较广泛，其是利用基于IP的SAN的互连协议，将主数据中心SAN 中的信息通过现有的TCP/IP网络，远程复制到备份中心的 SAN中的。当备份中 心存储的数据量过大时， 可利用快照技术将其备份到磁带库或光盘库。 这种基于 IP的SAN®程容灾备份，可以跨越 LAN MAN和WAN成本低、可扩展性好。基 于 IP 的互连协议主要包括 FCIP、iFCP、InfiniBand 、iSCSI 等。第七，构建系统方案可以选择多种技术组合方式。 目前，业内应用较多的容灾方 案是基于智能存储系统的远程数据复制技术， 它是由智能存储系统自身实现的数 据远程复制和同步， 即智能存储系统将对该系统中

6、的存储器 I/O 操作请求复制到 远端的存储系统中并执行。 由于在这种方式下， 数据复制软件运行在存储系统内， 因此较容易实现主中心和容灾备份中心的操作系统、 数据库、系统库和目录的实 时拷贝及维护能力， 且不会影响主中心主机系统的性能。 如果在系统恢复场具备 了实时数据， 那么就可以做到在灾难发生时， 及时开始应用处理过程的恢复。 但 这种方案也有开放性差 （ 不同厂家的存储设备系统一般不能配合使用 ） 、对于主、 备中心之间的网络条件 （稳定性、带宽、链路空间距离 ）要求较苛刻等缺点。1.2 灾备解决方案设计需要考虑的因素1.2.1 RTO 和 RPORTO（RecoveryTime Ob

7、ject ）：是指灾难发生后，从 IT 系统宕机导致业务停顿 之刻开始，到 IT 系统恢复至可以支持各部门运作，业务恢复运营之时，此两点 之间的时间段成为RTO RTO是反映业务恢复及时性的指标，表示业务从中断到 回复正常所需要的时间。RTO值越小，代表容灾系统的数据恢复能力越强。各种 容灾解决方案的RTC有较大差别，基于光通道技术的同步数据复制，配合异地备 用的业务系统和跨业务中心与备份中心的高可用管理， 这种容灾解决方案具有最 小的 RTC。RPC（Recovery Point Cbjective ），是指从系统和应用数据而言，要实现能够 恢复至可以支持各部门业务运作， 系统及生产数据应恢

8、复到怎样的更新程度。 RPC 是反映恢复数据完整性的指标，在同步数据复制方式下，RPC等于数据传输延迟的时间；在异步数据复制下，RPC基本为异步传输数据排队的时间。在实际应用 中，考虑导数据传输的因素，业务数据库与容灾备份数据库的一致性（SCN是不同的，RPC表示业务数据库与容灾备份数据库 SCN勺时间差。发生灾难后，启 动容灾系统完成数据恢复，RPC就是新恢复业务系统的数据损失量。设计容灾系统不能只看 RTC和RPO对于不同的业务系统和用户特殊的要求，其 它一些指标有可能成为选择容灾解决方案的主要因素。 例如，某些地区为了防范 一些特定自然灾害的风险， 要求容灾备份中心与业务中心保持足够的距

9、离， 在这 种情况下，容灾备份中心与业务中心的距离要求就是容灾系统的重要指标。1.2.2 数据安全数据的完整性， 一致性是保证业务连续的关键。 在本地，数据安全需要使用 RAID 技术来保证。 在灾备方案的设计中， 数据复制方案的设计是整个设计的基础。 目 前业界主流的数据复制技术有： 基于数据库本身的复制技术， 基于操作系统的数 据复制，基于虚拟存储的复制技术和基于存储的复制技术。 在方案所用技术的选 择时，应当根据客户的预算，现场的条件，综合来进行考量。后续在 1.6.1 数据 同步章节，将会有这 4 类数据复制技术的综合对比，可以作为选择的参考。1.2.3 网络安全通信网络是容灾系统的组

10、成部分， 通信线路的质量也是容灾系统的性能指标之一，其中包括网络的数据传输带宽、网络传输通道的冗余和网络服务商的服务水平（网络年中断率） 。如果容灾系统使用的通信网络是确定的， 为了比较不同容灾 解决方案，可以用单位存储容量的数据库在同一通信网络上的数据完全恢复时间 作为一项设计指标。124业务连续性业务连续性是灾备方案的最终目标，是方案的价值所在。为了保证业务的连续， 首先需要数据的连续，之前我们讨论了数据安全相关的内容。 其次，在数据连续 的基础上，出现灾难时，系统需要能够满足（1）网络切换（2）应用切换。以此， 来保证系统能够顺利切换到灾备地，继续安全运营，最大化保证客户利益。1.3国标

11、系统灾备等级划分及应对措施国家信息系统灾难恢复规范（GB/T 20988-2007）规定了六个级别的容灾, 下表分别针对每个级别给出了相应的应对措施。级别内容措施Level6数据零丢失和远程集群支持实现远程数据实时备份，实现零丢失；应用软件可以实现实时无缝切换；远程集群系统的实时监控和自动切换能力；Level5实时数据传输及完整设备支持实现远程数据复制技术；备用网络也具备字哦那个或集中切换能力；Level4电子传输及完整设备支持配置所需要的全部数据和通讯线路及网络设备，并处于就绪状态；7*24运行；更高的技术支持和运维管理；Level3电子传输和部分设备支持配置部分数据，通信线路和网络设备；

12、每天实现多次的数据电子传输； 备用场地配置专制的运行管理人员；Level2备用场地支持预定时间调配数据，通信线路和网络设备；备用场地管理制度；设备及网络紧急供货协议；Level1基本支持每周至少做一次完全数据备份；制定介质存取/验证和转储的管理制度；完整测试和演练的灾难恢复计划；1.4容灾技术分析1.4.1备份方式(1) 冷备份备份系统未安装或未配置成与当前使用的系统相同或相似的运行环境，应用系统数据没有及时装入备份系统。一旦发生灾难，需安装配置所需的运行环境，用 数据备份介质(磁带或光盘)恢复应用数据，手工逐笔或自动批量追补孤立数据， 将终端用户通过通讯线路切换到备份系统，恢复业务运行。优点

13、：设备投资较少， 节省通信费用，通信环境要求不高。缺点：恢复时间较长，一般要数天至1周,数据完整性与一致性较差。(2) 温备份将备份系统已安装配置成与当前使用的系统相同或相似的系统和网络运行环境， 安装了应用系统业务定期备份数据。 一旦发生灾难，直接使用定期备份数据，手 工逐笔或自动批量追补孤立数据或将终端用户通过通讯线路切换到备份系统，恢复业务运行。优点：设备投资较少，通信环境要求不高。缺点：恢复时间长，一 般要十几个小时至数天，数据完整性与一致性较差。(3) 热备份备份处于联机状态，当前应用系统通过高速通信线路将数据实时传送到备份系统， 保持备份系统与当前应用系统数据的同步；也可定时在备份

14、系统上恢复应用系统 的数据。一旦发生灾难，不用追补或只需追补很少的孤立数据，备份系统可快速 接替生产系统运行，恢复营业。优点：恢复时间短，一般几十分钟到数小时，数 据完整性与一致性最好，数据丢失可能性最小。缺点：设备投资大，通信费用高， 通信环境要求高，平时运行管理较复杂。在计算机服务器备份和恢复中，冷备份服务器(cold server )是在主服务器丢 失的情况下才使用的备份服务器。冷备份服务器基本上只在软件安装和配置的情 况下打开，然后关闭直到需要时再打开。温备份服务器(warm server ) 一般都是周期性开机，根据主服务器内容进行更 新，然后关机。经常用温备份服务器来进行复制和镜像

15、操作。热备份服务器(hot server )时刻处于开机状态，同主机保持同步。当主机失灵 时，可以随时启用热备份服务器来代替。对于关键的业务，Primeton建议采用同城热备+异地热备的方式进行部署，对 于一般性的业务，建议采用同城热备+异地温备(应用不启动，数据保持异步复 制)的方式进行部署。1.4.2数据复制技术目前数据复制技术主要有如下表所列 4种，基于红色字体部分的要求，结合客户 的需要，Primeton推荐采用基于存储或者基于应用程序的数据复制技术来进行 数据同步。基本原 理数据的复制过程通过本 地的存储系统和远端的 存储系统之间的通信完 成。复制技术是伴随着存储局域 网的出现引入的

16、，通过构建 虚拟存储上实现数据复制。通过操作系统或者 数据卷管理器来实 现对数据的远程复 制。数据库的异地复制技术，通常采用日志复 制功能，依靠本地和远程主机间的日志归 档与传递来实现两端的数据一致。平 台 要 求同构存储与平台无关，需要增加专有的复制服务器或带有复制功能的SAN交换 机同构主机、异构存储与平台无关复制性能高高高较高资 源 占 用对生产系统存储性能有影响对网络要求高对生产系统主机性能有影响占用部分生产系统数据库资源技 术 成 熟 度成熟成熟度有待提高，非主流复制技术。成熟成熟投入成本咼，需要同构存储较高，需要专有设备较高，需要同构主机一般部分软件免费，如DataGuard复制

17、软 件IBM PPRCEMC SRDFHP CA (ContinuesAccessHDS TrueCopyBrocade Tapestry DMMUIT SVMEMC VSM原厂技术：IBM AIX LVMHP-UINXMirrorDiskSun Solaris SVM专业的复制软件：Symantec SF/VVROracle DataGuardOracle GoldenGateDNT IDRDSG RealSyncQuest SharePlex1.4.3 重复数据删除技术重复数据删除技术是指将存储系统中存在的大量内容相同的数据删除， 只保留其 中一份， 从而缩减存储空间的技术。 在云灾备中，

18、 该技术既能大幅减少灾备中心 存储的数据量， 降低灾备中心的建设和运维成本， 又能大幅减少数据备份和恢复 过程中用户和灾备提供商间的数据传输量， 提高备份和恢复的性能， 是一项十分 重要的技术。随着灾备中心的规模不断增大， 存储的数据量和访问量不断增加， 单一节点上的 重复数据删除方法已不能满足性能和容量的需求。 除上述基本重复数据删除技术 外，一些优化和改进技术对云灾备是至关重要的，包括高性能、可扩展的、分布 式的重复数据删除技术， 以及为提高灾备中心数据可靠性的高可靠重复数据删除 技术。1.4.4 操作系统虚拟化技术 ?除了数据级的灾备， 还应提供系统级的灾备。 即在将数据复制到云端的同时

19、， 也 将受保护的应用程序的状态复制到云端， 当灾难发生时可以立即切换到云端的应 用程序运行，保证业务连续性。 系统级灾备是通过操作系统虚拟化和检查点实现 的。检查点用来捕获进程某一时刻的运行状态， 从而实现进程迁移。 进程迁移既 可以是用户应用程序进程到云灾备中心的迁移， 也可以是云灾备中心内部的虚拟 机池间进程迁移，以实现根据前端用户的需求自动地调节灾备服务提供商有限的 硬件与软件资源，动态地、弹性的反应前端业务对灾备的需求。当程序因故障中断， 如果不能保留其中间运行状态， 恢复后从头运行将会带来极 大的消耗。 检查点技术能够解决这个问题。 通过保留各个进程的运行状态， 恢复 时能够复原到

20、最近一次保留的数据映像。传统的检查员机制是基于库的检查点机制。 例如以静态库的形式实现， 或通过加 载动态链接库来追踪程序运行过程中的数据变化。 也有一些检查点机制实现于内 核级别甚至硬件级别。 例如通过在文件系统层之上引入一个中间层来实现保留文 件系统状态的检查点机制；或者借助 Fuse 内核模块实现的支持检查点机制的文 件系统，通过 Fuse 侦测、拦截内核级别的文件系统操作并将控制权传递给用户， 从而能够在用户空间对文件系统状态进行保留。随着操作系统虚拟化技术的发展， 基于虚拟容器的检查点技术也得到了很好的应 用。虚拟容器是通过系统虚拟化技术构建出来的一个进程运行的较独立的上下文 环境。

21、虚拟容器检查点技术能够有效保护容器内运行的应用程序和服务而不需要 对应用进行修改。1.5 总体架构设计1.5.1Primeton “两地三中心”容灾解决方案架构设计结合近年国内出现的大范围自然灾害， 以同城双中心加异地灾备中心的“两地三中心”的灾备模式也随之出现，这一方案兼具高可用性和灾难备份的能力。1.5.1.1 “两地三中心”本地高可用和容灾保护策略（1）本地保护策略：? 本地高可用? 本地 clone? 持续数据保护? B2D BVTL? 磁带备份Archive Log 备份(2)容灾保护策略?应用级或者数据级容灾?同级容灾、降级容灾?同步数据保护/异步数据保护?容灾数据复制技术?主备中

22、心运营方式/双主中心运营方式/多中心运营方式?短、中、远期容灾策略1.5.1.2 “两地三中心”功能定位生产中心同城备份中心异地灾备中心生产生产(双活或热备)生产备份备份备份灾备灾备灾备开发监控测试测试监控监控管理管理同城双中心是指在同城或邻近城市建立两个可独立承担关键系统运行的数据中 心，双中心具备基本等同的业务处理能力并通过高速链路实时同步数据，日常情况下可同时分担业务及管理系统的运行，并可切换运行；灾难情况下可在基本不 丢失数据的情况下进行灾备应急切换，保持业务连续运行。与异地灾备模式相比 较，同城双中心具有投资成本低、建设速度快、运维管理相对简单、可靠性更高 等优点。异地灾备中心是指在

23、异地的城市建立一个备份的灾备中心， 用于双中心的数据备 份，当双中心出现自然灾害等原因而发生故障时，异地灾备中心可以用备份数据 进行业务的恢复。1.5.1.3 “两地三中心”容灾架构设计逻辑架构模型设计:Site副同it容灾）Site A生产中心）Ml兀物理架构设计:10G0f199异步&据友划r_*巧二匚 tL-P- I-*-万案特点：?同城范围有效保证了数据的安全性和业务连续性；?异地复制数据根据灾难情形，尽可能降低数据丢失机率；?同城双中心为同步复制，数据实时同步，RPO=0?异地无距离限制，保证数据一致性，保证了数据的有效保护;?异地容灾带宽要求低，先进的复制机制提高带宽利用率

24、。对于本地本级备份，应建立在线、近线、离线等多级存储备份系统，充分利用先 进的备份手段和备份策略，形成完整的本地备份管理解决方案；备份的数据包括 操作系统、数据文件以及应用服务环境等多个方面；日常访问的重要数据采用磁 盘或者虚拟带库方式备份，归档数据和非重要数据采用磁带库方式备份； 重要数 据应至少保证每周做一个全量备份，平时做增量备份。对于数据级异地灾备中心，选址上，应进行风险分析，避免异地备份中心与主中 心同时遭受同类风险；网络备用系统上，必须在核心网络层面实现热备，保证灾 备中心区域内通信的可靠性；数据备份系统上，主中心与备份中心的备份链路应 有冗余，并确保2小时内将主中心的增量数据复制

25、或备份到灾备中心； 数据处理 备用系统上，配备灾难恢复所需的全部数据处理设备， 并处于就绪状态或运行状 态，与主中心共同承担部分核心应用的查询服务功能。对于同城应用级灾备中心，选址上，主中心与同城灾备中心距离应小于100KM网络备用系统上，在核心网络层面实现热备，主中心与应用级灾备中心间通过裸 光纤互联或VPLS互联，部署TRILL构建大二层网络，满足虚拟化需求；网络负 载均衡上，主中心网络与灾备中心网络的负载均衡，提高灾备网络利用率与灾备 网络可用性，正常情况下数据流同时使用两个中心的网络，主中心网络出现故障 时，则全部数据流向灾备网络；应用集群切换上，关键业务系统集群实现手动切 换，主中心

26、与同城灾备中心之间建立高可用性监控技术，实现灾备中心应用服务器集群与主中心生产服务器集群之间的高可用性切换；云计算技术采用上，采用 虚拟化技术对同城灾备中心进行规划建设， 同时，根据业务关键程度、对性能的 要求，系统平台选择不同档次和不同平台的主机资源池、存储资源池。1.5.2基于不同服务需求选择不同可靠性“两地三中心”架构1.521服务等级划分的可靠性服务级别tierltier2tier3tier4服务内容关键任务服务，需要最 高级别的可靠性。高端 技术和工具将会被用来 满足最高级别的可靠关键业务服务的运维和 tierl 一样，但是某些 限制非可靠级别的服务 可以容忍短时间的不可高端技术和工

27、具将会尽 量（略低于tierl和 tier2 ）被用来满足最高 级别的可靠性。允许有没有关键服务运行，运 维和支撑只要能够在一 个可以接受的范围内即 可。性。如果丢失一个组件， 如服务器，一块存储， 或者一个通信链接，都 将会导致服务不可靠。 每个应用和基础服务都 会制定性能指标。这些 指标都将会被监控，并 会通过业务支持的流程 以特定格式输出。这个 site不仅仅包含基础架 构组件。恢复的影响。高端技术 和工具将会尽量（略低 于tierl ）被用来满足 最高级别的可靠性。系 统设计和指导里面必须 包含没有单点故 障。多个单点故障。仅仅在 计划上有一些伸缩性。关键指标99.99%的可靠性，数据

28、 中性能够切换，厂家支 持（小于2小时的响应 时间），硬件容错性， 没有单点故障，N+1,数 据中心的切换选择，硬 件冗余99.5%的可靠性，数据中 性能够切换，厂家支持（小于4小时的响应时 间），硬件具备容错性， 没有单点故障，N+195%勺可靠性，数据中性 能够切换，厂家支持（小 于24小时的响应时间）没有可靠性保证，最低级别的支持分钟宕机/月4.32216.002160.001.522 Primet on通用的基于服务的“两地三中心”架构示意图本地：生产环瓏+同拡冬份八、I厂 界地：和案二桶同或甫-和、牛产环境椁冋或拧没有ffftffi (A)生产醉壇K*nnflArwclHL *sirt 瓦1lnqfKP&ZJWts-公H *驚.FUJgt1-M弄穴內rt * -服务HA甚础架构计划内更新/可it性级别：99.XXX本地工W厂相皤徨远的异地1.5.2.3 Primeton基于不同的服务质量，达到不同级别的整体可靠性(tier )(1)场景1主环境如图中A所示，包含了数据库，应用，Web三层服务结构，本地高可用环 境P作为同城备份站点，复制100%A