云存储与备份关键技术发展历程.ppt

1 RAID技术介绍 2 存储架构发展历程 3 数据容灾备份,一 数据存储关键技术回顾,RAID技术介绍,一 数据存储关键技术回顾,磁盘阵列,主机端,Host Computers,SCSI (or Fibre),Disks,RAID Subsystem,SCSI (or Fibre),Drive-Plane,Redundant Fans,Redundant PSUs,磁盘阵列分类,JBOD,Just a Bunch of Disks，在逻辑上将几个物理磁盘一个接一个的串联起来，其目的是增加磁盘容量，并不提供数据安全保障。,RAID- Redundant Array of Independent Disks,独立冗余磁盘阵列。是按照一定的形式和方案组织起来的存储设备。它比单个存储在性能、稳定性和可扩展性都有很大的提高，并且具备一定的数据安全保护能力。 容量、性能、可靠性,RAID保护数据,无RAID机制,如果硬盘损坏,数据会丢失,使用 RAID保护,当一块硬盘失效,数据依然完成,RAID提升逻辑容量,无RAID机制,使用 RAID机制,磁盘容量,=,每块硬盘容量,磁盘容量,= N x,每块硬盘容量,N drives,1,N,( RAID 0为例),RAID改善存储性能,性能 N x,每块硬盘性能,Software setup Access Time Data Transfer Software Completion,全部请求执行时间,With RAID,I/O 1,I/O 2,I/O 1,I/O 2,(Disk 1),(Disk 2),Time Saved,Without RAID,(RAID 0为例),RAID的数据组织,分块：将一个分区分成多个大小相等的、地址相邻的块。 条带：同一磁盘阵列中的多个磁盘上相同“位置”的分块。 条带深度（Stripe Depth） 条带宽度（Stripe Width),未条带,条带化,RAID0-条带,N Blocks,条带,RAID 0: 无冗余、分条（最少2块硬盘） 性能最高、简单、易实现 易失效,RAID1-镜像,N Blocks,镜像,RAID 1: - 镜像（最少2块） - 数据保护最好、最易实现 - 成本高、利用率低、性能低,RAID1+0,Striping,RAID 10 - 镜像和分条的结合（最少4块硬盘） - 容错能力和性能都很高 - 成本高、不易扩展,RAID5,N Blocks,带校验条带,RAID 5 - 读速率高、写速率中等、使用率高、平均速率较高 - 硬盘失效影响性能,实现复杂,重建恢复慢,RAID5+0,9,7,P(1,3),Disk 1,11,P(5,7),1,Disk 2,P(9,11),5,3,Disk 3,Striping,RAID 5 Logical Drive,10,8,P(2,4),Disk 4,12,P(6,8),2,Disk 5,P(10,12),6,4,Disk 6,RAID 5 Logical Drive,RAID6,RAID6本质上是RAID5的升级，有第二个独立的校验设计。数据和校验码被分割成块写入每个硬盘中，像RAID5一样，第二份奇偶码有计划的写入组成盘阵的所有磁盘中。作为大盘阵考虑，在掉两块盘时，它能提供更可靠的保护。,RAID的容量,Disk 1,Disk 2,Disk 3,Disk 4,Disk 5,Disk 6,Maximum Common Capacity,(Among all member drives),存储架构的发展历程,一 数据存储关键技术回顾,存储架构的发展历程,第一阶段 存储基本架构的演进过程 第二阶段 存储整合、虚拟化统一的过程 第三阶段 云存储架构阶段,存储架构的发展历程,第一阶段 存储基本架构的演进过程,DAS,第一阶段 存储基本架构的演进过程,NAS,。,存储架构的发展历程,第一阶段 存储基本架构的演进过程,SAN,。,存储架构的发展历程,第一阶段 存储基本架构的演进过程,存储架构的发展历程,第二阶段 存储整合、虚拟化统一的过程,存储架构的发展历程,第三阶段 云存储架构阶段,存储架构的发展历程,第三阶段 云存储架构阶段,存储架构的发展历程,第三阶段 云存储架构阶段,存储架构的发展历程,云存储架构是为了应付高速成长的数据量与带宽而产生的新形态存储系统，因此云存储在构建时重点考虑的三点：扩容简便、性能易于增长、管理简易。,数据备份和容灾,一 数据存储关键技术回顾,为什么要搭建备份系统,双机热备,系统命令, 异构网络无法备份； 不具备容错功能； 不具备开放性； 复杂备份策略无法实现； 对大型、超大型数据库无能为力； 磁带库等特殊设备无法支持；,备份关键指标,恢复时间RPO（RECOVERY POINT OBJECTIVE） 灾难发生后，系统和数据必须恢复到的时间点要求。 体现恢复运转时数据丢失的可容忍程度； 恢复时间目标RTO（RECOVERY TIME OBJECTIE） 灾难发生后，信息系统或业务功能从停顿到必须恢复的时间要求。 体现需要恢复的紧迫性也即多久能够得到恢复的问题；,RPO,RTO,灾难 发生,数据丢失量,业务恢复时间,成功备份需要考虑的问题,您准备花多少时间恢复系统？,每次备份您最长给我多少时间？,恢复时您能让我丢多少数据？,您备份的数据量有多大？,您希望各种数据保留多长时间？,您的系统环境？主机/存储/带宽/应用,您打算花多少钱？,您备份数据的类型是什么？,备份的概念,备份是指用户为应用系统产生的重要数据制作一份或者多份拷贝，以增强数据的安全性。 采用备份软件技术来实现数据的备份，备份前后数据格式不一致，数据经过压缩和格式转换，备份数据必须恢复后才可使用 防止认为误操作或系统问题，保存的是历史数据，恢复相对长,备份系统组成,备份的类型,全备份 差异备份 增量备份,备份的方式,D2T(Disk to Tape) 数据从磁盘阵列备份到磁带的方式 D2D(Disk to Disk) 数据从磁盘阵列备份到磁盘阵列的方式 D2D2T(Disk to Disk to Disk) 数据从磁盘阵列备份到磁盘到磁带的方式,容灾的概念,利用镜像或复制等技术来实现数据的同步，其同步前后数据格式一致，容灾数据可以直接不通过恢复进行使用 防止生产数据丢失或数据中心遭受毁灭性灾难，恢复速度快，数据基本上就是发生事故那会的版本,理解容灾：数据级,生产中心,容灾中心,LAN,SAN,数据镜像/复制,理解容灾：应用级,生产中心,容灾中心,LAN,SAN,AdvancedCopy Manager,ETERNUS,ETERNUS,理解容灾：业务级,生产中心,容灾中心,LAN,SAN,数据镜像/复制,主机跨域集群,备份与容灾,区别 备份关心数据的安全，容灾关心业务应用的安全，我们可以把备份称作是“数据保护”，而容灾称作“业务应用保护”。 备份按照设定的策略，定时定期对数据进行备份，保存的是历史生产数据。 容灾的数据与生产数据实时或相差一定时间保持一致，即基本上容灾中心的数据同生产数据基本上是一样； 联系 首先，在备份与容灾中都有数据保护工作。 其次，备份是存储领域的一个基础，在一个完整的容灾方案中必然包括备份的部分；同时备份还是容灾方案的有效补充，因为容灾方案中的数据始终在线，因此存储有完全被破坏的可能，而备份提供了额外的一条防线，即使在线数据丢失也可以从备份数据中恢复。,灾备系统国际标准,根据SHARE 78国际组织提出的标准，可以将系统容灾的级别划分为如下7级。,0层：无异地备份数据,没有灾难恢复计划，数据仅在本地进行备份恢复，没有任何数据信息和资料被送往异地，没有处理意外 事故的计划。 恢复时间：在此种情况下，恢复时间不可预测。,1层：有数据备份，无备用系统,将需要的数据备份到磁带上，然后运送到其它较为安全的地方。但在那里缺乏能恢复数据的系统，若数据备份的频率很高，则在恢复时丢失的数据就会少些。此类业务应能忍受几天乃至几星期的数据丢失。,2层：有数据备份，有备用系统,定期将数据备份到磁带上，并将其运到安全的地点。在备份中心有备用的系统，当灾难发生时，可以使用这些数据备份磁带来恢复系统。虽然还需要数小时或几天的时间来恢复数据以使业务可用，但不可预测的恢复时间减少了。,3层：电子链接,电子链接将磁带备份后更改的数据进行记录， 并传到备用中心，使用此种方法会比使用传统的磁带备份更快地得到更新的数据。 备用中心要保持持续运行，与生产中心间的通讯线路要保证畅通，增加了运营成本。,4层：使用快照技术拷贝数据,对数据的实时性和快速恢复性要求更高些。1-3层的方案中较常使用磁带备份和传输，在4层方案中开始使用基于磁盘的解决方案。同基于磁带的解决方案相比，通过加快备份频率，使用最近时间点的快照拷贝恢复数据会更快。,