大数据备份系统地设计

1、数据备份系统的设计1. 引言对于一个关键业务系统而言，数据资料是整个系统运作的核心。但人为的 操作错误、软件的缺陷、硬件的损坏、电脑病毒、黑客攻击、自然灾难等诸多 因素都有可能造成计算机数据的丢失，那么将会对于业务运作造成无法估量的 影响。此时，最关键的问题在于如何尽快恢复信息系统，使其能正常运行。为 了省级交通管理信息系统的数据安全与业务的正常运行，有必要建立一套完善 的具有高可用性的数据备份系统，为广阔机动车驾驶人和群众正常办理交通管 理业务提供强大而持续的技术支撑，以防止在各种极端情况下造成的重大损 失。本文分析了省级交通管理信息系统数据备份方式，软硬件要求，备份系统 的组成，磁带介质与

2、备份系统的本钱等内容。2. 数据备份系统的根本要求一个全面的数据备份系统对备份软件和硬件都有较高的要求2.1. 软件要求对于备份软件来说，界面友好、使用灵活是必不可少的。备份软件应提供 集中管理方式，用户在备份管理服务器上可以备份服务器到桌面的文件数据、1 / io数据库中数据。支持在线备份数据、离线备份数据等多种备份方式，可自由设 置备份策略。支持多种介质备份，具有对相应的备份设备的管理功能。支持备 份的安全性，在备份时应能进展数据备份校验，能够设置备份的密码防止未授 权的数据恢复。22 硬件要求数据备份系统备份介质主要有磁带库、虚拟磁带库、磁盘阵列、光盘库 等。备份介质应便于移动和重复使用

3、。备份介质的容量应远大于现有系统的总 数据量，备份介质应具有较高的可用性，应使用高速度的备份设备。2.3. 网络要求数据备份系统进展在线数据备份时对网络有较高的要求，应根据系统的备 份时间与恢复时间计算网络带宽的大小。3. 数据存储方式的设计通常数据存储采用三种方式：DAS NAS SAN下面详细介绍这三种数据存 储方式。3.1. DAS直连存储这种存储方案的服务器结构如同 PC机架构，外部数据存储设备（如磁盘阵 列、光盘机、磁带机等）都直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一局部，同样服务器也担负着整个网络的数据存储职责。DAS这种直连方式，能够解决单台服务器的存储空间扩

4、展、高性能传输需求，。此外，DAS还可以构成基于磁盘阵列的双机高可用系统，满足数据存储对高可用的要 求。32 NAS网络附加存储此方式全面改良了以前低效的 DAS存储方式，它是采用独立于 PC服务器， 单独为网络数据存储而开发的一种文件服务器。NAS服务器中集中连接了所有的网络数据存储设备如各种磁盘阵列、磁带、光盘机等，存储容量可以较好地 扩展,同时由于这种网络存储方式是 NAS服务器独立承当的，所以，对原来的网 络服务器性能根本上没什么影响，以确保整个网络性能不受影响。它提供了一 个简单、高性价比、高可用性、高扩展性和低总拥有本钱（TCO）的网络存储解决方案。3.3. SAN存储域网络它与N

5、AS是完全不同，它不是把所有的存储设备集中安装在一个专门的NAS服务器中，而是将这些存储设备单独通过光纤交换机连接起来，形成一个光纤 通道的网络，然后这个网络再与企业现有局域网进展连接，在这种方案中，起 着核心作用的当然就是光纤交换机了，它的支撑技术就是Fibre Cha nnelFC光纤通道协议，这是 ANSI为网络和通道I/O接口建立的一个标准集 成，支持HIPPI，IPI，SCSI, IP，ATM等多种高级协议。在 SAN中，数据以集中的方式进展存储，加强了数据的可管理性，同时适应于多操作系统下的数据 共享同一存储池，降低了总拥有本钱。34 存储方式比照DAS直连存储的最大弊病在于，各局

6、部的存储资源相互隔离，容易形成孤 岛，DAS因其相当于在本地系统中增加一块大硬盘且不能实现数据共享，现逐渐 被SAN ISCSI等方式所取代。NAS具有无人值守、高度职能、性能稳定、功能专一的特点，因此我们对一 般数据存储使用了投入本钱少而安全性高的 NAS数据存储方式。但NAS技术不 能满足可靠度为99.999%的数据存储系统的要求，主要用于文件级数据的存储与 备份，无法用于数据库数据的存储与备份。而SAN的最大优势如此在于，可以把异构环境下不同厂商的存储设备整合 在一起，实现资源的共享。而其较高的性能可用于数据库存储与数据备份，不 适用于文件级的存储。4. 存储介质的选择传统的存储介质包括

7、：硬盘、光盘、磁带机、磁带库、虚拟带库、磁盘阵 列等。硬盘、光盘、磁带机等主要用于单机的数据存储，作为备份系统的存储 介质应具有可用容量大、数据存储安全、可共享等特性。磁盘阵列优点：可靠性高、能实现数据同步，磁盘备份的读写速度非常快， 并且磁盘可以做RAID保护。缺点：总体拥有本钱高、不能实现跨平台应用。磁带库优点：设备可共享、可连接至多台备份客户端共同使用，可靠性、 安全性高、可实现离线操作，可实现跨平台操作。缺点：费用高，磁带的保 管、保存困难、数据恢复困难，磁带采用顺序读写方式备份与恢复速度低。虚拟带库优点：具有磁带库的优点，因其采用磁盘阵列模拟磁带库，性能 取决于磁盘的数量。缺点：总体

8、拥有本钱高，相对备份容量有限。因省级交通管理信息系统包含多个业务系统，分别部署于AIX、Solaris、Windows Linux等多个平台之上。此次备份系统设计采用虚拟磁带库作为数据 备份的一级备份设备，对信息系统进展在线数据备份；采用磁带库作为二级备 份设备，对存储于虚拟磁带库中的备份数据进展二次备份，实现备份数据转存 的目的。5. 数据备份对象因省级交通管理信息系统部署于多个平台之上，采用数据库包含Oracle、SQLServer等数据库。数据备份系统应可备份 AIX、Solaris、Windows Linux 等操作系统，以与备份Oracle数据库系统。5.1. Windows操作系统

9、备份Win dows操作系统因其属于微软公司研发，代码未公开。对Win dows操作系统备份一般采用离线备份方式，备份时重启Win dows系统进入备份模式，对Win dows操作系统采用镜像方式进展备份。创建操作系统镜像文件与恢复引导 盘，镜像文件转存至虚拟磁带库中。如需恢复操作系统，如此采用创建的恢复引导盘引导服务器进入镜像恢复 模式，通过引导盘加载已备份的操作系统镜像对服务器进展操作系统恢复。52 AIX、Solaris、Linux 等系统备份AIX、Solaris、Linux等操作系统均属于UNIX或源于UNIX系统，系统结构 根本类似。对此类操作系统进展备份可采用DD工具对系统分区进

10、展备份，将系统分区创建成系统分区文件并创建恢复引导盘，系统分区文件转存至虚拟磁带 库中。如需恢复操作系统，如此采用创建的恢复引导盘引导服务器进入恢复模式，通过引导盘加载已备份的系统分区文件，采用DD工作将分区文件重写入系统分区中实现操作系统恢复。5.3. Oracle数据库系统备份Oracle数据库备份分为在线数据备份与离线数据备份两种模式，离线数据 备份包含EXP EXPDP逻辑数据导出与冷备份数据文件复制等方式。在线数据备 份如此采用RMA工具对数据库进展热备份，先对数据文件、控制文件进展备份 完成数据库全库备份，再备份归档日志文件作为增量备份文件。数据备份系统封装上述几种 Oracle备

11、份工具，将通过EXP EXPDP RMAN 等备份工具备份出的数据转存至虚拟带库中。在有重大数据变更时导出数据库 逻辑数据备份，平时日常数据库备份采用 RMAI在线数据备份方式。Oracle数据库在常规情况下恢复采用 RMA工具进展恢复，现恢复最近一次 备份的全库备份文件，再通过重做日志方式恢复到最近的归档日志。6. 数据备份方式数据备份方式分为完全备份与增量备份两种。6.1. 文件级备份文件级备份在做完全备份时，将文件系统中所有指定的目录与文件通过 COPY CP等复制的方式，备份至虚拟磁带库中。文件备份至虚拟磁带库后，创 建文件属性列表，对文件名称、创建时间、修改时间、文件大小、文件宿主的

12、 属性进展存储。文件级备份在完成完全备份后，通过对服务器中文件的修改时间等文件属 性与备份系统中的文件属性列表进展比照，对差异的文件进展备份，对无差异 文件进展忽略，并创建新的文件属性列表。以此方式完成文件级的增量备份与 差异备份。6.2. 数据库级备份Oracle数据库备份可通过RMA工具完成数据库的全库备份与增量备份，备 份系统在对Oracle进展备份时，采用脚本方式调用 RMA工具完成数据库备 份。63 Windows操作系统备份Win dows操作系统因其属于微软公司研发，代码未公开。对Win dows操作系统备份一般采用离线备份方式，备份时重启Win dows系统进入备份模式，对Wi

13、n dows操作系统采用镜像方式进展备份。创建操作系统镜像文件与恢复引导 盘，镜像文件转存至虚拟磁带库中。7. 备份策略7.1.操作系统备份策略对于应用服务器，可实现异机的恢复，方便灵活的选择备份和恢复文件。通过备份系统的定时备份功能，在业务系统非忙碌时段，由备份服务器，定时将应用系统数据经由网络快速的备份至虚拟磁带库中完成备份。每日备份策略：每日22:00-03:00之间每台应用服务器进展一次增量备 份。每周备份策略：每周六使用 NetVault:Backup的增量合并式备份功能，将每周所有的增量备份与前一次的全备份自动进展合并，产生新的全备份。每月备份策略：每月1日将合并产生的全备份做一个镜像，保证每个月至少有两个全备份存在72 Oracle数据库备份策略数据库的备份，由于使用的是 Oracle数据库，我们利用RMAN工具分3级 备份，通过SAN结构用直接备份到虚拟磁带库中，在业务系统非忙碌时段，再 由虚拟带库备份到物理磁带库中。每日备份策略：每天 20:00-22:00使用Oracle RAM作levell级别的备 份，以保证每天到上一次全备份的增量备份每周备份