ch2 数据安全-容灾容错

数据安全基本知识数据备份为防止系统出现操作失误或系统故障导致数据丢失，而将整个系统数据或部分重要数据集合打包，从应用主机的硬盘或阵列中复制到其他的存储介质的过程数据复制技术是灾难备份系统的核心技术。数据复制技术主要是将数据中心的生产数据复制成灾难备份数据，灾难备份数据与生产数据应保持一致复制技术种类同步数据复制异步数据复制相关概念容错技术当由于种种原因在系统中出现了数据、文件损坏或丢失时，系统能够自动将这些损坏或丢失的文件和数据恢复到发生事故以前的状态，使系统能够连续正常运行的一种技术。容灾技术为了应付突发性灾难如火灾、洪水、地震或者恐怖事件等对整个组织机构的数据和业务生产会造成重大影响的技术。

相关概念容错容灾容错技术主要故障检测与诊断技术、故障屏蔽技术、动态冗余技术、软件容错技术、信息保护技术数据级容灾：只保证数据的完整性、可靠性和安全性，但提供实时服务的请求在灾难中会中断。应用级容灾：能够提供不间断的应用服务，让服务请求能够透明(在灾难发生时毫无觉察)地继续运行，保证数据中心提供的服务完整、可靠、安全。分类本地、异地数据、应用指标RPO恢复点目标RTO恢复时间目标技术存储技术、备份技术、冗余磁盘阵列、复制技术、迁移技术、快照技术、失效检测技术、双机热备份技术和集群技术数据容错技术容错技术：在一定程度上容忍故障的技术，也称故障掩盖技术（faultmasking），冗余是关键容错技术。容错系统系统在运行过程中，若其某个子系统或部件发生故障，系统将能够自动诊断出故障所在的位置和故障的性质，并且自动启动冗余或备份的子系统或部件，保证系统能够继续正常运行，自动保存或恢复文件和数据。重复配置部件，故障时，冗余部件承担故障部件的工作，由此减少故障时间以增加资源的办法换取可靠性。冗余要消耗资源，应权衡和折衷可靠性与资源消耗。冗余技术（储备技术）6后备冗余：一个单元工作，冗余单元待机备用。工作冗余：冗余单元与工作单元并行工作（并联模型），平均负担工作冗余技术分类——工作方式7硬件冗余：通过硬件的重复使用来获得容错能力软件冗余：用多个不同软件执行同一功能，利用软件设计差异来实现容错。信息冗余：附加部分信息位来检测或纠正信息在运算和传输中的错误，如奇偶校验、CRC校验、海明码时间冗余消耗时间重复运算以检测故障，指令级复执、程序级复执冗余技术分类——资源8增加线路、设备、部件，形成备份硬件堆积冗余（工作冗余）：N个设备同时工作待命储备冗余（后备冗余）：1个设备工作，N-1个待命

混合冗余系统：堆积冗余和待命储备冗余的结合应用统称KfromN结构，容错能力t=N-K硬件冗余9提供足够的冗余信息和算法程序，使系统能及时发现程序设计错误，并进行补救。策略：前向恢复：继续当前计算，屏蔽错误，把系统恢复成连贯的正确状态后向恢复：恢复系统到前一个正确状态，继续执行（ms系统还原点）方法：恢复块方法N版本程序设计防卫式程序设计软件冗余10动态屏蔽技术，后向策略提供具有相同功能的主块和几个后备块恢复块方法11静态故障屏蔽技术，前向恢复策略N个相同功能程序同时执行一项计算，结果通过多数表决来选择。N－版本程序设计12N份程序必须由不同的人独立设计，使用不同的方法，不同的设计语言，不同的开发环境和工具来实现。减少N版本软件在表决点上相同错误的概率。N－版本程序设计13在程序运行过程中发生的异常事件，比如除0溢出、数组越界、文件找不到等，将阻止程序的正常运行。程序设计时，需考虑可能发生异常事件并做出相应的处理，包含错误检查代码和错误恢复代码错误发生，程序能撤消错误状态，恢复到一个已知的正确状态中去。不至于导致系统崩溃，程序终止，还可在短时间内找到错误所在，方便程序的维护。防卫式程序设计14try...{

//blockofcodetomonitorforerrors}catch(ExceptionType1exOb)...{

//exceptionhandlerforExceptionType1} ...//可以抛出多个异常catch(ExceptionType2exOb)...{ //exceptionhandlerforExceptionType2}finally...{

//释放资源

//blockofcodetobeexecutedbeforetryblockends}JAVA异常处理的通用框架15intreadAge(){intage=读入年龄;if(age<=0||age>=100){throwAgeException(age);}returnage;}classAgeException{public:interrorAge;AgeException(intage){errorAge=age;}};使用：try{inti=readAge();printf("Ageinputedis%d",i);}catch(AgeExceptione){printf("error.Ageinputed=%dandisnotvalid.",e.errorAge);}函数,读入年龄，如果<=0或者>=100,抛出异常16

容灾系统参数MidnightTheDayBeforeFailure3:00pm11:59RPO=RecoveryPointObjectiveRTO=RecoveryTimeObjective恢复点目标(RPO)，你可以容忍丢失多少数据?恢复时间目标(RTO)，多长时间可以恢复?是指灾难发生后，从IT系统宕机导致业务停顿之刻开始，到IT系统恢复至可以支持各部门运作，业务恢复运营之时数据安全概述数据安全的概念数据安全一是数据本身的安全，主要是指采用现代密码算法对数据进行主动保护，如数据保密、数据完整性、双向强身份认证等二是数据防护的安全，主要是采用现代信息存储手段对数据进行主动防护，如通过磁盘阵列、数据备份、异地容灾等手段保证数据的安全。数据安全的需求定义数据安全的需求如何有效的防止数据在录入、处理、统计或打印中由于硬件故障、断电、死机、人为的误操作、程序缺陷、病毒或黑客等造成的数据库损坏或数据丢失现象某些敏感或保密的数据可能被不具备资格的人员或操作员阅读，而造成数据泄密等后果。相关技术存储技术DAS存储、NAS存储、SAN存储、OBS存储备份技术磁带备份、基于应用程序的备份、数据库的远程数据复制、服务器逻辑卷的远程数据复制、基于存储备份软件实现的远程数据复制、基于智能存储设备的远程数据复制复制技术同步复制、异步复制冗余磁盘阵列技术镜像、数据条带、数据校验高可用技术双机热备份、集群相关技术开放系统直连式存储（Direct-AttachedStorage，DAS）是指将储存设备通过SCSI接口或光纤通道直接连接到一台计算机上网络附属存储（NetworkAttachedStorage，NAS）是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术 1.本地存储直接连接存储(DAS)优点：简单、可靠、成本低缺点：容量有限、可扩展性低内部直连（内嵌式）外部直连（SCSI接口或者光纤通道，如存储网络SAN）23

磁盘阵列IDEEIDESCSIDACIntegratedDeviceElectronics集成设备电路仅支持2个盘增强型IDE接口可支持4个盘小型计算机系统接口可支持多个盘DAC磁盘阵列控制器可支持多分组多个磁盘常见的存储设备接入方式： 2网络存储网络连接存储(NAS)DisksforFileSystemADisksforFileSystemBNASDeviceA

FileSystemANASDeviceB

FileSystemBInternal/Externalconnectivity

todisksorarraysServerA

FileSystemAServerB

FileSystemBClient1Client2Client3LocalAreaNetwork

网络存储NAS优点：远距离：跨平台：高可用性：NAS缺点：网络带宽的限制：专用文件服务器的限制：3.SAN存储技术存储区域网络（StorageAreaNetwork，SAN）是一种高速网络或子网络，提供在计算机与存储系统之间的数据传输存储技术DASNASSAN项目DASNASSAN设计目的存储设备网络存储器存储网络传输单位块I/O块I/O块I/O网络连接协议SCSITCP/IPFC性价比性能低，成本低性能、成本适中性能高，成本高

数据备份技术备份策略：采取什么存储介质进行备份；什么数据需要备份；采取哪种备份管理软件；确定备份方式；何时备份；将数据备份到何处；将备份介质存放何处等。

备份技术完全备份用存储介质对全部数据进行备份。累计备份或差分备份每次备份的数据是相对于上一次全备份之后新增加的和修改过的数据。增量备份增量备份是对上一次备份后所有发生变化的文件进行备份。按需备份按需备份是根据需要对资料进行备份。数据量不同：完全备份>累积备份>增量备份。

备份的执行时间与频率根据业务重要程度而决定

数据备份的种类备份方式：全备文件1文件2文件3文件9…文件系统文件1文件2文件3文件9…

备份方式备份方式：累积备份文件1文件2文件3文件9…文件系统文件2文件3文件3发生变化文件3

备份方式备份方式：增备文件1文件2文件3文件9…文件系统文件3文件3文件3发生变化快照技术关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点（拷贝开始的时间点）的映像快照技术的作用主要是能够进行在线数据恢复，当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复，将数据恢复成快照产生时间点的状态为存储用户提供了另外一个数据访问通道，当原数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。

分级存储分级存储的实现在线存储近线存储离线存储磁带磁带服务器磁盘阵列用户磁带库光盘库数据迁移数据调回直接读取直接读取数据备份技术磁带备份基于应用程序的备份数据库的远程数据复制服务器逻辑卷的远程数据复制基于存储备份软件实现的远程数据复制基于智能存储设备的远程数据复制基于应用的数据复制技术基于应用的数据复制技术数据库文件系统逻辑卷磁盘系统应用程序生产中心数据库文件系统逻辑卷磁盘系统应用程序生产中心网络数据处理请求或处理结果数据基于数据库的数据复制技术基于数据库的数据复制技术数据库文件系统逻辑卷磁盘系统应用程序生产中心数据库文件系统逻辑卷磁盘系统应用程序生产中心网络归档日志联机日志基于文件系统的数据复制技术基于文件系统的数据复制技术

数据库文件系统逻辑卷磁盘系统应用程序生产中心数据库文件系统逻辑卷磁盘系统应用程序生产中心网络新增或修改的文件基于服务器逻辑卷的数据复制技术基于服务器逻辑卷的数据复制技术数据库文件系统逻辑卷磁盘系统应用程序生产中心数据库文件系统逻辑卷磁盘系统应用程序生产中心网络I/O操作40

磁盘阵列RAID：RedundantArrayofIndependent（或Inexpensive）Disks，“独立（廉价）冗余磁盘阵列”。是由加州大学伯克利分校Patterson在1988年提出。RAID——将一组磁盘驱动器逻辑上联系起来，作为一个磁盘驱动器来使用。作为一种数据保存手段，RAID提供了专用服务器中接入多个磁盘（专指硬盘）时，以磁盘阵列方式组成一个超大容量、响应速度快、可靠性高的存储子系统。以冗余技术增加其可靠性，以多个低成本磁盘构成磁盘子系统，提供比单一硬盘更完备的可靠性和高性能，RAID被广泛地应用在服务器体系中。冗余磁盘阵列RAID有三个关键技术镜像、数据条带和数据校验。RAID级别RAID0 条带化RAID1 镜像RAID2 数据条带化技术和海明码编码校验技术RAID3 异或校验，按字节RAID4 异或校验，按数据块RAID5 轮流存放RAID6 双重校验 RAID技术RAID

控制器RAID阵列主机

磁盘RAID组件RAID组件RAID

控制器RAID阵列主机逻辑阵列逻辑阵列物理阵列44

磁盘阵列RAID的优点1．成本低，功耗小，传输速率高。在RAID中，可以让很多磁盘驱动器同时传输数据，远远超过单个磁盘驱动器。2．提供容错功能，因而具有更高的安全性。3．RAID与传统的大直径磁盘驱动器相比，价格要低？45

磁盘阵列RAID0：无冗余无校验的磁盘阵列简单将数据分配到各个磁盘上，不提供真正容错性。至少需要2个硬盘，可支持8/16/32个磁盘。整个逻辑盘的数据是被分条（stripped）分布在多个物理磁盘上，可以并行读/写，速度最快，但无容错能力。优点：更好地利用磁盘空间，延长磁盘寿命，多个硬盘并行工作，提高了读写性能。缺点：不提供数据保护，任一磁盘失效，数据可能丢失，且不能自动恢复。46

磁盘阵列输入数据流输入数据磁盘阵列控制器并行传输HDD1HDD2HDD3HDD4HDD5RAID0示意图47

磁盘阵列镜象磁盘阵列(RAID1)

每一组盘至少两台，数据同时以同样的方式写到两个盘上，两个盘互为镜象。磁盘镜象可以是分区镜象、全盘镜象。容错方式以空间换取，实施可以采用镜象或者双工技术。主要用在对数据安全性要求很高，而且要求能够快速恢复被损坏的数据的场合。优点：具有最高可靠性，策略简单，恢复数据时不必停机。缺点：有效容量只有总容量的1/2，利用率50%。由于磁盘冗余，成本较高。48五、磁盘阵列输入数据流输入数据磁盘阵列控制器并行传输HDD1HDD2第一组镜象HDD3HDD4RAID1示意图第二组镜象工作盘镜像盘工作盘镜像盘49磁盘阵列循环奇偶校验阵列(RAID5)RAID5是无独立校验盘的奇偶校验磁盘阵列。校验数据不固定在一个磁盘上，而是循环地依次分布在不同的磁盘上。校验信息分布在各个磁盘驱动器上。RAID5对各种大小数据量的读写都有很好的性能，是目前采用最多、最流行的方式，至少需要3个硬盘。50磁盘阵列循环奇偶校验阵列(RAID5)优点：校验分布在多个磁盘中，写操作可以同时处理。为读操作提供了最优的性能。一个磁盘失效，分布在其他盘上的信息足够完成数据重建。缺点：数据重建会降低读性能；每次计算校验信息，写操作开销会增大，是一般存储操作时间的3倍。51五、磁盘阵列输入数据流输入数据磁盘阵列控制器HDD1HDD2HDD3HDD4HDD5RAID5示意图奇偶校验parityparityparity52

磁盘阵列其它形式的磁盘阵列（按照校验方式不同划分）RAID2：并行海明纠错阵列RAID3：奇偶校验并行位交错阵列RAID4：奇偶校验扇区交错阵列RAID6：二维奇偶校验阵列53五、磁盘阵列输入数据流输入数据磁盘阵列控制器HDD1HDD2HDD3HDD4HDD5RAID2示意图：并行海明纠错阵列HDD6HDD7HCCHCCHCC海明校验HCCHCCHCCHCCHCCHCC54五、磁盘阵列输入数据流输入数据磁盘阵列控制器HDD1HDD2HDD3HDD4HDD5RAID3示意图：奇偶校验并行位交错阵列parityparity奇偶校验55

磁盘阵列输入数据流输入数据磁盘阵列控制器HDD1HDD2HDD3HDD4HDD5RAID4示意图：奇偶校验扇区交错阵列parityparity奇偶校验paritySecter交叉56

磁盘阵列输入数据流RAID6示意图：二维奇偶校验阵列冗余磁盘阵列RAID级别RAID0RAID1RAID3RAID5RAID10别名条带影像专用奇偶位条带分布奇偶位条带影像阵列条带容错性没有有有有有冗余类型没有复制奇偶校验奇偶校验复制热备盘选项没有有有有有读性能高低低高中间随机写性能高低最低低中间连续写性能高低低低中间需要的磁盘数一个或更多2个或2×N个3个或更多3个或更多4个或4×N个可用容量总的磁盘量总的磁盘量的50%（n-1)/n（n-1)/n总的磁盘量的50%典型应用无故障的迅速读写，要求安全性不高，如图形工作站等随机数据写入，要求安全性高，如服务器，数据库存储等连续数据传输，要求安全性高，如视频编辑，大型数据库等随机数据传输，要求安全性高，如金融，数据库、存储等要求数据量大，安全性高，如银行，金融领域

失效检测技术失效检测技术定义：失效检测（FailureDetection）是实现系统可靠性保障的基本技术，它对系统运行时的存活状态进行检测，它可以及时地发现系统灾难，以便及时对系统实施补救措施。失效检测失效检测系统通常的评价标准完整性指每一个失效的进程或节点都会被检测系统检测出来有效性分为及时性和准确性两个方面模型推PUSH模型拉PULL模型

基于Push模型的失效检测方法失效检测方法基于Push模型的失效检测方法活动进程检测进程Iamalive

基于Pull模型的失效检测方法基于Pull模型的失效检测方法检测进程Iamalive活动进程Areyoualive

检测方法比较Push方式对于检测进程来说是“被动”的检测失效“Pull”方式对于检测进程来说是“主动”的检测失效使用Push方式完成一次检测仅需要一个消息报文，而使用Pull方式需要两个消息报文63

系统切换1.自动侦测：运行中自动地通过专用的冗余侦测线路和软件判断系统运行情况，检测冗余系统各冗余单元是否存在故障。2.自动切换：当确认某一主机出错时，正常主机除了保证自身原来的任务继续运行外，还接管预先设定的后备作业程序，进行后续程序及服务。3.自动恢复：故障主机被替换后，进行故障隔离，离线故障修复。修复后通过冗余通信线与正常主机连线，继而将原来的工作程序和磁盘上的数据自动切换回修复完成的主机上。服务切换与回切服务切换

服务切换是指在生产中心发生计算机系统严重故障或灾难时，为了尽量减少对业务造成的损失，而制定的故障定位与隔离措施、异地接管步骤和方法。切换原则切换原则故障影响程度优先选择本地恢复原则优先恢复关键性业务原则切换必要性确认切换必要性确认

应分别对生产中心的机房环境、计算机网络、系统硬件、操作系统、数据库和业务应用系统等方面的损害程度和可恢复程度进行评估

恢复时间目标(RTO)：当生产中心不可恢复或恢复时间超过了业务系统停机所能承受的范围，就应该采取切换措施。

切换可行性确认切换可行性确认在进行切换必要性确认的同时，就必须进行可行性确认。切换可行性确认的工作主要包括：在容灾中心标识相应系统的数据处理平台、通信网络平台、用户接入平台。确认数据平台保护的恢复点目标RPO指标是否满足容灾抗毁系统设计的要求。切换方式切换方式手动方式自动方式服务回切回切原则业务影响最小原则及时性原则数据一致性原则服务回切可行性确认应分别对生产中心的机房环境、计算机网络、系统硬件、操作系统、数据库和业务应用系统等方面的恢复程度进行评估，当生产中心已经完全具备生产条件，就要制定回切计划并启动回切过程。70双机热备份传统的高可靠性系统采用双机热备份方案。两台服务器都处于热机状态，如果一台服务器坏了，另一台服务器可以将所有的业务接管过来。两种工作方式：

Online方式：两台服务器都在工作，分别担负不同的任务，均衡负载。成本大，管理难。

Standby方式：备份机不工作，只是监测作业机的工作状况。缺点：服务器之间切换时间较长。71三机表决系统三台主机同时运行，由表决器(Voter)根据三台机器的运行结果进行表决，有两个以上的机器运行结果相同，则认定该结果为正确。通常可靠性比双机系统要高。缺点：成本高。当一台机器出现故障后表决已失去意义，其可靠性甚至比不上一个双机系统。因此当三