数据安全解决方案

1、数据安全解决方案目 录第一章环境及需求 11.1环境描述 11.2需求分析 1第二章数据安全解决方案 42.1解决方案概述 42.2数据安全解决方案具体描述 52.2.1双机双柜实现方式 52.2.2备份设备选型分析 62.2.3双机双柜（2+2 模式）解决方案的优势 92.2.4与其他双柜解决方案的对比 102.3双机双柜案例 122.3.1安徽合肥住房公积金 122.3.2广州市政务信息中心 13第一章 环境及需求1.1 环境描述目前应用系统主要是小型机，数据库是 Oracle，系统原来已经有一台 HP EVA4100 磁盘阵列和 1 台 EVA3000（2G FC 产品），以及一台物理磁

2、带机。目前由于养老保险、失业保险等数据是分开保存，养老保险部分的数据量不大，只有几十 GB 左右，导出的 Oracle .dmp 文件接近 4GB。但是 2010 年 X 月准备上“五险合一”（养老保险、失业保险、医疗保险、工伤保险、生育保险）系统，因此数据量会比以前增加不少。此外，将来的新办公地点将在 XX 新区，现在的 XX 大厦将来会作为容灾机房与 XX 新区机房做互为应用容灾，新老机房之间采用裸光纤进行连接。1.2 需求分析通过前期的初步交流，我们发现当前系统中主要存在以下几个问题：1. 存在多个单点故障环节：单块的 HBA 卡、单数据链路、单个的磁盘阵列，任何一个环节中断，都将造成业

3、务的停顿。2. 数据备份繁琐、难以满足应用系统升级后的要求：目前的数据靠每 2 天一次刻录 DVD 光盘，先把 Oracle 数据库导出dmp 文件（需要 3 个小时），然后用刻录软件把 dmp 文件刻录到光盘的方式进行手工备份，目前 dmp文件已经达到 4G 左右，很快就不能用一张光盘刻录完，随着整个社保系统的软件升级和数据的大集中，现有的备份方式将完全不能满足要求。3. 缺乏异地容灾的实现方式：数据和应用集中在一个地方，难以避免火灾、意外停电、人为破坏等各种意外灾害的毁灭性打击。4. 原有存储设备的问题：原有的 EVA3000 磁盘阵列为 2Gbps FC 的存储系统，控制器和电源出现过多

4、次故障，而且已经过了 3 年维护期，需要进行更换；原有的 EVA4100 虽然是 4G FC 的磁盘阵列，但是也同样面临过维保需要续保的问题，同时相应的备件供应也是一个需要考虑的问题。通过对环境的调研和分析，我们得出当前系统的主要需求如下：1. 核心应用系统的不间断保护：由于社保系统是民生工程，涉及到每个家庭和个人，因此社保系统最关键的就是全年 7*24 小时的业务连续性要求，尤其在工作日更是如此，否则将带来较大的社会影响和动荡。要实现应用系统的不间断保护，光靠服务器层面的双机热备是远远不够的，普通的双机只能保证服务器硬件故障时，备机进行自动接管，但是如果磁盘阵列出问题，将导致数据库数据不可用

5、，导致系统无法提供对外服务。因此，在本期系统升级改造中，需要重点解决磁盘阵列的单点故障问题，同时也可以一并解决 HBA 卡、数据链路的单点故障问题。2. 数据缺乏可靠和自动化的冗余保护：目前没有采用备份软件进行自动化的备份，也没有专门的专业备份设备，数据安全性缺乏可靠的保障。如果五险合一系统正式运行之后，数据量还会进一步增加，因此无论从数据量的增加还是从手工备份的繁琐，原有的备份方式都必须升级为自动化的备份方式。而备份作为数据保护的最后一道防线，在整个数据安全架构规划中是不可缺少的一个组成部分，因此我们建议采用目前主流的虚拟磁带库作为近线备份设备（二级存储设备）；在本期项目中，原来的购买的磁带

6、机也可以继续作为离线归档设备使用，将来可以根据需要，替换为物理磁带库作为第三级的归档设备专门用于历史数据的离线保存。3. 异地应用级容灾需求：由于五险合一系统上线后，医保刷卡会在每天的任何一个时段发生，同时社保系统作为民生工程，对业务连续性的要求较高，在本地机房故障后，需要异地有对应的容灾设备包括服务器、存储系统等保证应用系统能够在尽可能短的时间内恢复正常。4. 容量扩展和原有设备的利旧：按照“金保工程”的要求，各城区和周边县的数据要进行大集中到以市的数据中心，各险种实现“五险合一”，便于数据交换和管理。由于数据集中和各险种数据的汇总，将造成社保数据的大幅增加，因此原有磁盘阵列将面临容量不足问

7、题。如果单纯的采用扩容的办法，除了购买扩展柜、磁盘外，还需要购买相应的维保服务，投入不低，不一定合算。因此第一种方式是可以考虑新购 2 台 4Gbps FC 的磁盘阵列做双份在线数据保存，原有的磁盘阵列可以做备份设备用；第二种方式是新购 1 台 4G FC 磁盘阵列，原有的 EVA4100 保持不变，就在原地进行扩容，然后增加虚拟磁带库作为近线备份。这两种方式都可以达到保护投资，完善数据安全架构，降低了维护和扩容成本的效果。综合考虑，我们认为第二种方式更为可取。第二章 数据安全解决方案2.1 解决方案概述在本项目中，针对五险合一系统全年 7*24 小时的业务连续性要求，我们构建双机双柜系统，然

8、后对核心业务数据进行近线备份和离线归档的方式，构建一个完整的数据安全架构。本期项目中，我们新增加 1 台主流的 4G FC 光纤磁盘阵列，部署在主机房，容灾机房采用原有的磁盘阵列，主机房和容灾机房之间采用裸光纤链接，然后把社保系统服务器（Oracle DB 服务器）分别部署在两个机房，采用 IP 链路同时传输数据和心跳信号，实现物理上的隔离和逻辑上在 FC SAN 架构内的实时镜像存储，提供双份在线生产数据；备份系统由 1 台虚拟磁带库、原有的磁带机和 1 套自动备份软件组成，通过设定备份策略，就可以实现完全的自动备份，并可以进一步对数据进行完整的生命周期管理。2.2 数据安全解决方案具体描述

9、2.2.1 双机双柜实现方式通过在核心的五险合一服务器上采用主机卷管理软件，就可以在两个机房的磁盘阵列上实现生产数据的实时在线镜像。采用主机卷管理软件的方式，核心数据库服务器上的数据可以同时写入 2台磁盘阵列中，没有任何的差异，因此可以在后端同时拥有两份完全相同的在线生产数据。此外，为了防止数据链路的单点故障，建议构建双交换机 FC SAN 网络。这样，从服务器、数据链路、磁盘阵列等几个环节消除了单点故障，任何一台服务宕机、任何一条数据链路中断，或者任何一台光纤交换机故障，任何一台盘阵宕机，都完全不影响前端核心业务，因此可以真正实现社保系统的 7×24 小时连续工作，保证了最高的业务

10、连续性，并最大程度的减少了维护部门的压力，是故障后的恢复工作可以轻松有序的进行。具体的容量配置，可以在对数据量进行统计和预估之后做出。作为数据最后一道防线的备份，我们建议采用目前主流的备份设备虚拟磁带库专业的备份软件来实现，原有的磁带机可以作为归档设备，备份设备的选型依据如下：2.2.2 备份设备选型分析随着计算机用户对数据存储重要性认识的不断扩大、用户对存储设备功能、性能、可靠性要求的不断提高，存储市场的新理念、新产品也在不断涌现。在数据备份领域，随着数据量的不断攀升，备份系统对于备份设备的容量、备份速度、可靠性、性能价格比等要求越来越高，传统磁带库备份设备在诸多方面已经捉襟见肘，而与此同时

11、磁盘介质随着容量的大幅提高、价格的大幅下跌，以 PATA/SATA 为主的磁盘备份系统已经渐渐在存储市场崭露头角，这就是近年来逐步成为主流备份设备的虚拟磁带库，我们可以先来看一下磁带机、物理磁带库碰到的问题，然后比较一下虚拟磁带库和传统的物理磁带库、磁盘阵列备份的有什么样的优势。1. 传统的磁带机、磁带库和磁带介质的问题：磁带机、磁带库和磁带介质的问题在于整体 TCO 较高，除了初期的购买成本较低外，如果我们全面考虑后续的维护、管理、支持、升级等成本，磁带机、磁带库如果作为主要的备份设备，总体拥有成本（TCO）是很高的，物理磁带库/磁带机备份的主要问题在于以下几个方面：（1） 可靠性较差导致维

12、护成本较高：磁带机和磁带库是机械设备，同时磁带不是可靠的备份介质，为维护磁带系统的稳定性经常使得系统管理员也要付出极大的精力：1) 磁带库机械故障多：机械臂故障一般在 1 年后就会出现，3 年内维修和更换机械臂的情况屡见不鲜，从而导致成本很高，机械臂的成本有时占到整个带机或带库成本的 40%60%；2) 怕潮湿、容易霉变：磁带平日存放要防潮（最好放于恒温恒湿的磁带箱内）以免发霉；3)怕强光：强光下磁带中的部分有效成分会挥发；4)怕灰尘：如果磁带上灰尘太多会造成读取/写数据的错误；5)怕摔：现今磁带的磁录密度都相当高，一旦不慎从高处摔落地面，就会导致磁头定位不准，读取不到数据；6)怕强磁场：不可

13、放置于强磁区以免磁化（被磁化的磁带经常是导致还原失败的原因）；7)怕粘带：不可长期闲置以免粘带（长时间存放的磁带必须按时回带）；8)容易掉磁粉：不可频繁存取某个带段以免损带；另外，磁头也须经常清洗（确保万一需要复原时，磁带能正常被读取。）；9)容易卡带：磁带库/带机还要定期检查、保养机械手装置以免卡带。（2） 备份和恢复速度慢：磁带库采用顺序读写方式，磁带的加载和卸载也耗费了不少时间，备份速度慢，而恢复速度更慢（备份时间的 1.5 倍）。对上述的管理、维护成本进行具体量化后，其结果会使企业的 IT 主管们大吃一惊。2. 与传统的物理带库相比，虚拟磁带库有以下优势：（1） 可靠性更好：这是因为虚

14、拟带库没有机械部件，不会出现机械故障；此外，虚拟磁带库采用 RAID 技术对磁盘介质进行保护，可靠性更高；（2） 备份和恢复的速度快：因为虚拟带库采用磁盘作为介质，磁盘的随机读写速度比磁带的顺序读写速度快；此外，虚拟磁带库没有磁带机和磁带库的磁带加载和卸载时间；（3） 备份介质利用率更高：物理磁带经常不能充分利用完所有的空间，造成较大浪费。而虚拟磁带可以灵活分配备份空间，可以按需分配空间，因而空间不会有浪费；（4） 在备份介质的管理方面：虚拟带库可以实现集中管理，而物理磁带的管理需要非常小心，物理磁带的管理比较分散，占用空间较多，而且存放地点要注意防潮、防磁等环境要求；（5） 从恢复成功率来看

15、，物理磁带由于存在容易受潮、磁粉脱落、失磁等原因，恢复成功率较低，而虚拟磁带库的磁盘介质在这方面比物理磁带要好很多；（6） 虚拟磁带具有多种高级功能：这些高级功能是物理磁带不具备的，例如磁带粉碎、重复数据删除、远程复制、多磁带输出等，可以实现多种应用和管理的要求。3. 与传统的磁盘阵列做备份相比，虚拟磁带库有以下的优势：（1） 读写速度快：这是因为虚拟带库基于裸设备进行读写操作，数据是块结构，因此比同类的磁盘阵列基于文件系统的读写有根本上的不同，文件系统的读写速度较慢。（2） 避免了人为误操作，尤其是误删除操作的影响：由于虚拟磁带库是裸设备写，因此无法直接对数据块进行删除和修改操作。相比之下，

16、我们熟悉的文件系统，尤其是 Windows 文件系统，误删除和误修改的问题是非常严重的，就算是 Linux 系统，一个 rm r *操作甚至可能导致整个操作系统的崩溃！（3） 避免了病毒的破坏：病毒通常都基于文件系统，例如宏病毒、木马病毒等，这些基于文件系统的病毒无法在虚拟磁带库中起到任何破坏作用；（4） 空间回收快、无碎片整理问题：磁盘阵列的空间回收慢，需要操作系统的删除命令，还有碎片整理的问题。而虚拟带库的空闲空间能自动回收、没有碎片问题；（5） 空间利用率高：普通的磁盘阵列没有数据压缩和重复数据删除功能，而虚拟磁带库能进行软件或硬件方式的压缩备份，还具备重复数据删除功率，大大提高了可用空

17、间，备份空间比正常情况下提高数倍倍，节省了硬盘开支；（6） 与物理磁带库/带机的交互性：虚拟磁带库保存的都是虚拟磁带，格式与物理带库/带机一样，当需要做离线归档时，虚拟磁带库可以把数据导出到物理带库；而磁盘阵列无法做到这点。总之，在分级存储架构中，我们选用虚拟磁带库这种专用的备份设备来实现近线存储，而由于磁带介质本身的成本低廉、便于携带、可以离线归档等功能是作为近线设备的虚拟磁带库无法做到的，因此在 D-D-T 分级存储架构中，物理带库/磁带机本身仍然是一个有机的组成部分。而磁盘阵列主要是作为主存储设备，是一种保存生产数据的在线设备。2.2.3 双机双柜（2+2 模式）解决方案的优势1. 全冗

18、余架构，无单故障点：前端应用采用双机、中间网络层采用双 FC 交换机、后端存储采用双磁盘阵列，所有数据链路为冗余多链路；2. 零宕机，零数据丢失（业务连续性最佳，可以达到 RPO=0；RTO=0）：两台磁盘阵列通过卷管理软件进行实时镜像，两份在线数据，一台磁盘阵列故障时，业务不会有任何中断；3. 灾难发生时，完全没有手工接管的操作过程：单个服务器故障有备机自动接管；任何一台网络设备和任何一台存储设备故障时，完全不影响业务运行；4. 没有数据迁移的风险：如果在保留原有的磁盘阵列基础上实现双柜，无需对原有磁盘阵列的卷或数据做改动，就可以把镜像磁盘阵列添加进来，实现数据的第一次完全同步，完全同步完成

19、后就可以进入实时镜像写的状态，整个过程不会对原有的生产数据做任何改动，避免了数据迁移的风险；5. 能有效避免和快速恢复由于逻辑错误和人为错误造成的数据丢失：快照功能实现数据丢失后，可以在几十秒或者 1 两分钟内实现快速回滚；6. 异构平台兼容性好：跨各种主机平台（Windows、Linux、UNIX）、跨存储网络架构（FC SAN、IP SAN、DAS 等多种架构）、跨可跨越异构存储平台、跨各种厂家和各种型号的存储设备（与具体的存储设备无关）；7. 可以升级到“多点集群多柜”的工作模式：也就是说，在主机集群这个层面，可以实现 3 个、4 个、甚至几十个节点的集群，在存储的后端，可以在双柜的基础

20、上，再增加第三个、甚至第四个磁盘柜，这样做的意义是，可以实现三个地点的实时镜像，容灾级别进一步提升；8. 性能影响小：采用主机卷管理软件对性能的影响一般在 2%5%左右，这个性能影响对绝大多数应用都是可以忽略不计的。从实际项目中测试的结果来看：对服务器的 CPU 占用率大约 2%，对主机内存的消耗不超过 5%，对存储 IO 资源的消耗大约 5%。【注】：在各种不同的主机平台下，对资源的占用率稍有差异，但是基本上相差很小。因此总体而言，主机卷管理软件对性能的影响非常小；9. 可以进行增量同步：当一台盘阵由于链路中断、硬件故障（例如电源坏、控制器坏）等原因暂时无法读写数据时，镜像盘阵继续正常读写数

21、据保证前端业务连续；当链路修复、部件更换完毕后，故障磁盘阵列可以从中断点处以 “增量”的方式把数据从镜像磁盘阵列“取”过来；10. 可以满足额外的数据挖掘需求：采用卷管理软件的快照功能对生产卷定期做镜像分离型的快照（例如每月或每个季度、每半年一次），然后分离镜像快照卷挂接到数据挖掘服务器即可做定期数据挖掘；11. 采用集中备份系统构建数据保护的最后一道防线：对数据进行自动化备份，采用与主存储完全不同的保存格式，更为安全。2.2.4 与其他双柜解决方案的对比1. 采用 2 台磁盘阵列复制的双机双柜方案的不足：（1） 需要手工接管，维护难度大：当主盘阵（源磁盘阵列）故障时，需要在容灾中心手工提升备

22、用磁盘阵列（目标磁盘阵列）为主磁盘阵列，这个手工操作过程需要执行一个脚本，整个过程最少需要半个小时，甚至 1 个小时以上，不能实现真正的自动接管。这样原来，对维护管理人员要求高，需要及时响应，对于全年 7*24 小时连续性要求的应用系统，要求机房里面的系统维护和管理人员必须 24 小时在机房现场值班；（2） 局限性大：受限于同一个存储厂商和同一个型号、同一系列的产品。换句话说，即使是同一个厂商的磁盘阵列，由于新老磁盘阵列的型号不同，或者所用的软件、固件版本不同，也无法实现同步复制，或者给同步复制带来一定风险和问题，因为这是由同步复制的实现机制决定的。所以一般情况下，都会尽量避免新老磁盘阵列混用

23、，而更多的是建议上两个一样的磁盘阵列，或者上同一个时期生产的不同型号，但是必须是同一系列的磁盘阵列；（3） 同步复制时的性能损耗：做同步复制时，对磁盘阵列的性能有较大影响，性能会下降 30%40%以上，所以一般会选择较为高档的磁盘阵列，以抵消性能下降对整体性能的影响，但是这样一来，投入会较大；（4） 对链路的要求很高、存在一定风险：磁盘阵列的同步复制要求链路带宽足够，而且链路要具有冗余性和稳定性。如果链路中断、不稳定、或者带宽不够，可能会因为主存储的缓冲区溢出等原因造成主磁盘阵列的宕机和崩溃，因此存在一定的风险。因此磁盘阵列要进行同步复制必须是采用单模的冗余裸光纤链路，避免这些问题的发生；（5

24、） 存在一定的数据迁移实施风险：如果采用 2 个新磁盘阵列替代原来的老磁盘阵列，那么原有磁盘阵列的数据要迁移到新磁盘阵列，必须采用数据库的导出/导入，或者采用备份/恢复的方式进行在线生产数据的迁移，这个实施过程将存在一定的风险因素；（6） 投入高：需要配置 2 个复制模块，复制软件较为昂贵；（7） 无法实现多个地点的实时同步复制：磁盘阵列的复制都是一对一、多对一的方式，3 台磁盘阵列无法实现 3 个地点的实时同步。2. 采用 2 个主机软件复制的的双机双柜方案的不足：（1） 不能数据做到实时同步：与前面两种双机双柜方案（主机卷镜像双柜方案和磁盘阵列复制的双柜方案）相比，采用主机复制软件的方式只

25、能采用异步复制，因而目标端的数据不是最新的实时数据，只能是准实时的数据；（2） 需要手工接管：主机房故障时，容灾机房需要在备机上启动数据库和应用系统才能使用；（3） 不适合大数据量的复制：因为主机复制走的是 IP 链路而不是 FC 链路，由于 IP 链路无法达到 FC 链路那样的高带宽，因此数据量大的时候传输时间较长。采用主机复制软件的好处是：不受限于存储厂商和具体产品型号、投入小、对带宽的要求不高，所以适用于某些预算小、数据量小、实时性和业务连续性要求不高的项目中采用，但是在本项目中不适合。【小结】：综合以上三种方案的对比，采用主机卷管理软件实现的 2+2 双机双柜方案是最佳的选择，可以获得零数据丢失、自动接管、异地应用级容灾、无数据迁移风险的效果，同时不受限于存储产品的厂家和型号，因而被广泛的应用与证券、政府、医疗、制造等客户的数据安全项目中。2.3 双机双柜案例2.3.1 安徽合肥住房公积金核心的住房公积金系统运行在 2 台 IBM 的小型机上，AIX/Oracle 数据库，公积金系统和社保系统非常类似，同样是民生工程，并发访问量大，数据非常重要不容丢失，因为涉及到每个人和每个家庭的财产，所以对业务的连续性和数据的安全性要求非常高。通过各种方案框架的对比后，合肥住房公积金最终选择采用了