数据存储与备份基础知识培训学习教案

1、会计学1数据存储数据存储(cn ch)与备份基础知识培训与备份基础知识培训第一页，共62页。汇报提纲存储 备份 恢复与容灾第1页/共62页第二页，共62页。传统传统(chuntng)计算机存储系统的问题计算机存储系统的问题l 硬盘的容量有限l 有限的硬盘槽位，难满足大容量需求l 单个硬盘存放数据，数据可靠性难以(nny)保证l 存储空间利用率低l 本地存储，数据分散 第2页/共62页第三页，共62页。数据被破坏(phui)的原因自然灾害(zrnzihi)系统管理员及维护(wih)人员的误操作计算机设备故障病毒感染造成的数据破坏Internet上“黑客”的侵入和来自内部网的蓄意破坏第3页/共62

2、页第四页，共62页。存储备份(bi fn)的意义随着(su zhe)信息技术的飞速发展，人们对计算机信息系统的依赖程度越来越强， 信息化给人们带来快捷的服务和方便的管理时，也给人们带来数字信息丢失的风险。数据的丢失会中断企业的正常运行，同时也会给企业造成巨大的经济损失。数字信息丢失、破坏，就无异于丢掉了过去、失去了现在，甚至断送了未来。数据丢失的主要原因可分为二大类，一类为存放数据的硬件设备出现故障，另一类是人为因素，如计算机犯罪、计算机病毒、软软件错误及人为的误操作。其中，人为的误操作是最常见的现象。因此，数据的存储、备份成为保证数据安全的重要措施。存储备份也称为数据备份，数据备份是将数据以

3、某种方式加以保留，以便在系统遭受破坏或其他特定情况下重新加以利用的一个过程。而数据备份的最终目的不是备份，而是快速恢复数据。 第4页/共62页第五页，共62页。存储(cn ch) 第5页/共62页第六页，共62页。 存储的概念存储的概念存储的组网形态存储的组网形态主要协议主要协议(xiy)RAID磁盘热备与重构磁盘热备与重构第6页/共62页第七页，共62页。什么什么(shn me)(shn me)是存储是存储1、存储是信息的载体，是围绕“信息、数据”而展开的，提供信息保存、信息备份、信息安全以及信息生命周期管理(gunl)设备。2、存储是根据不同的业务，采用合适、安全、有效的技术方案将信息存放

4、在具有冗余、保护、迁移等功能的物理媒介。3、存储是 实现核心业务数据存放、关键数据保护、高效率的备份恢复和归档，以及搭建容灾系统提供业务连续性等 的一个完整的系统。第7页/共62页第八页，共62页。存储(cn ch)（磁盘阵列）的构造1、控制器2、磁盘(c pn)柜、扩展柜3、磁盘(c pn)第8页/共62页第九页，共62页。影响(yngxing)磁盘阵列可靠性稳定性的因素电源系统散热系统背板设计(shj)控制器环境监控Host Spare 第9页/共62页第十页，共62页。存储(cn ch)的分类第10页/共62页第十一页，共62页。存储的三种(sn zhn)常见模式DASDirect At

5、tached StorageNASNetwork Attached StorageSANStorage Area Network第11页/共62页第十二页，共62页。DAS DAS（Direct Attached Storage直接连接存储）是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上。 DAS的适用环境为：1）服务器在地理分布上很分散，通过SAN或NAS在它们之间进行互连非常困难时(商店或银行的分支便是一个典型的例子)；2）存储系统必须被直接连接到应用服务器（如Microsoft Cluster Server或某些数据库使用的“原始(yunsh)分区”）上时；3）包括许多数

6、据库应用和应用服务器在内的应用，它们需要直接连接到存储器上，群件应用和一些邮件服务也包括在内。当服务器在地理上比较分散，很难通过远程连接进行互连时，直接连接存储是比较好的解决方案，甚至可能是唯一的解决方案。利用直接连接存储的另一个原因也可能是企业决定继续保留已有的传输速率并不很高的网络系统。 第12页/共62页第十三页，共62页。DAS 基于基于(jy)DAS结构的存储备份结构的存储备份 第13页/共62页第十四页，共62页。DAS 优点(yudin) 低费用使用简单容易安装价格相对较低缺点不能共享连接距离有限 升级(shng j)困难缺乏较好的高可用性维护复杂 适宜于小型(xioxng)机构

7、的存储解决方案第14页/共62页第十五页，共62页。 网络附加存储设备（Network Attached Storage，NAS）是一种专业的网络文件存储及文件备份设备，它通过标准的网络拓扑结构连接到计算机网络上，利用(lyng)现有的网络资源来接入专用的网络存储设备，因此也称为网络直联存储设备、网络磁盘阵列系统。 NAS 第15页/共62页第十六页，共62页。优点 容易安装，维护简单共享数据跨平台文件共享远程访问减轻(jinqng)服务器负担充分利用网络带宽缺点不适合数据库存储孤立的存储设备传输速率低成为(chngwi)瓶颈 主要适宜于文件(wnjin)存储的解决方案NAS 第16页/共62

8、页第十七页，共62页。SAN 基于基于SAN结构结构(jigu)的存储备份的存储备份 存储域网络（Storage Area Network）以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有高传输速率的光纤通道直接连接，提供SAN内部(nib)任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。第17页/共62页第十八页，共62页。客户机LAN(局域网局域网)广域网广域网存储存储(cn ch)区域网区域网（第二网）（第二网）Fabric = 第二(d r)网“Fabric”是一个由智能光纤通道交换机构成并具有良好系统设计的高智能网络, 这一数据网络可以提供企业

9、级的性能, 扩展能力, 可管理能力, 可靠性和可用能力服务器存储子系统第一网第一网SAN 第18页/共62页第十九页，共62页。Fiber Channel SwitchesDiskArray 主机(zhj)服务器 光纤交换机 磁盘阵列简单的SAN存储(cn ch)结构第19页/共62页第二十页，共62页。 线缆（光纤或铜线(tn xin)） FC HBA、 GBIC、& MIAFC HUB/交换机 数据网关 服务器存储管理软件: Tivoli SANergy VERITAS SANPoint Direct ADIC Centravision SGI CXFS Transoft FibreNet

10、 ATTO StudioNet存储系统 RAID，JBOD 磁带存储设备 光存储设备 SAN的组成的组成(z chn)第20页/共62页第二十一页，共62页。优点 设备整合，维护方便存储资源利用率高高扩展性高数据(shj)存取效率充分利用网络带宽缺点成本较高安装和升级(shng j)比NAS复杂 主要适宜于大型数据(shj)存储的解决方案SAN 第21页/共62页第二十二页，共62页。DAS（直连式存储）NAS（网络式存储）SAN（存储区域网络)传输类型SCSI、FCIPIP、FC、SAS数据类型数据块文件数据块典型应用任何(适用于小型机构的存储解决）文件服务器数据库应用优点v磁盘与服务器分离

11、，便于统一管理v使用简单v容易安装v价格相对较低v容易安装，维护简单v共享数据v跨平台文件共享，支持多系统v远程访问v减轻服务器负担v充分利用网络带宽u高扩展性u高可用性u数据集中，易管理缺点v不能共享v连接距离有限 v升级困难v缺乏较好的高可用性v维护复杂v不适合数据库存储v孤立的存储设备v传输速率低成为瓶颈u相比NAS成本较高u安装和升级比NAS复杂第22页/共62页第二十三页，共62页。存储传输的硬件通道(tngdo)有三种： &传输传输(chun sh)通道通道&通过(tnggu)以太网线连接通过(tnggu)SCSI线缆连接通过(tnggu)光纤线缆连接 iSCSI HBA Card

12、iSCSI 磁盘阵列SCSI HBA CardSCSI 磁盘阵列FC HBA CardFC磁盘阵列以太网线SCSI线缆光纤线缆主机GE Card第23页/共62页第二十四页，共62页。 第24页/共62页第二十五页，共62页。早期(zoq)外部存储系统JBOD （Just a Bunch of Disks） ：是在逻辑上把几个物理磁盘一个接一个的串联在一起，其目的纯粹是为了增加磁盘的容量(rngling)，并不提供数据安全保障。CPU硬盘RAMServerRAID功能SCSI卡JBOD(Just Bound Of Disk)第25页/共62页第二十六页，共62页。存储技术的核心(hxn)：RA

13、ID RAID是“Redundant Array of Independent Disks”的缩写，中文意思独立磁盘冗余阵列，早期又称“Redundant Array of Inexpensive Disks”廉价磁盘冗余阵列，由美国加州伯克利分校的D.A.Patterson教授(jioshu)在1988年提出。 简单的说，RAID是一种把多块独立的硬盘（物理硬盘）按不同方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据冗余的技术。组成磁盘阵列的不同方式成为RAID级别（RAID Levels）。 第26页/共62页第二十七页，共62页。RAID 0：条带化结构

14、：条带化结构 以条带形式将以条带形式将RAID组的数据均匀分布在各个硬盘中，因此具有很高的数据传输率。它没有数据冗余，尽管不占用组的数据均匀分布在各个硬盘中，因此具有很高的数据传输率。它没有数据冗余，尽管不占用CPU资源，但并不能算是真正资源，但并不能算是真正(zhnzhng)的的RAID结构。结构。RAID 0只是单纯地提高性能，并没有为数据的可靠性提供保证，而且其中的一个磁盘失效将影响到所有数据。只是单纯地提高性能，并没有为数据的可靠性提供保证，而且其中的一个磁盘失效将影响到所有数据。RAID 0不能应用于数据安全性要求高的场合。不能应用于数据安全性要求高的场合。最少磁盘数最少磁盘数2个个

15、允许坏允许坏0颗磁盘颗磁盘容量计算：容量计算：C=N* DC：可用容量：可用容量N：磁盘个数：磁盘个数D：磁盘容量：磁盘容量 优点：传输率和硬盘利用率最高，价优点：传输率和硬盘利用率最高，价格便宜。格便宜。缺点：缺点： 无冗余无冗余(rn y)(rn y)，可靠性最，可靠性最差，其中一个磁盘发生故障，所有数差，其中一个磁盘发生故障，所有数据将丢失。据将丢失。应用：通常使用在暂存数据和高应用：通常使用在暂存数据和高 I/O I/O 速率的工作站速率的工作站 。RAID 0第27页/共62页第二十八页，共62页。yMyFileliFMe第28页/共62页第二十九页，共62页。RAID 1：镜像结构

16、：镜像结构 它是通过磁盘数据镜像实现数据冗余，在成对的独立磁盘上产生互它是通过磁盘数据镜像实现数据冗余，在成对的独立磁盘上产生互 为备份的数据，为备份的数据，100%的数据冗余。当原始数据繁忙时，可直接从镜像拷贝中读取数据，因此的数据冗余。当原始数据繁忙时，可直接从镜像拷贝中读取数据，因此RAID 1可以提高读取性能。可以提高读取性能。RAID 1的成本比较高，其硬盘空间利用率只有的成本比较高，其硬盘空间利用率只有1/2。 当一个磁盘失效当一个磁盘失效(sh xio)时，系统可以自动切换到镜像磁盘上读写，而不需要重组失效时，系统可以自动切换到镜像磁盘上读写，而不需要重组失效(sh xio)的数

17、据，提供了很高的数据安全性和可用性。的数据，提供了很高的数据安全性和可用性。最小磁盘数最小磁盘数2个。个。允许坏允许坏1颗磁盘颗磁盘容量计算：容量计算：C=(N/2)*DC：可用容量：可用容量N：磁盘个数：磁盘个数D：磁盘容量：磁盘容量优点：可用性高，即使一个磁盘发生故障，逻辑硬优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据盘上的数据(shj)(shj)依然可用。依然可用。缺点：需要缺点：需要 2 2 个磁盘，但只使用其中一个存储数据个磁盘，但只使用其中一个存储数据(shj)(shj)。应用：通常使用于较小的系统，其中一个磁盘的容应用：通常使用于较小的系统，其中一个磁盘的容量足够，并用

18、作启动盘。量足够，并用作启动盘。 RAID 1第29页/共62页第三十页，共62页。MyFileyyeeMMFFiill第30页/共62页第三十一页，共62页。RAID3：带奇偶：带奇偶(q u)校验码的并行传送校验码的并行传送将数据条块化分布于不同的硬盘上，将数据条块化分布于不同的硬盘上， RAID 3使用简单的奇偶使用简单的奇偶(q u)校验，并用单块磁盘存放奇偶校验，并用单块磁盘存放奇偶(q u)校验信息。如果一块磁盘失效，奇偶校验信息。如果一块磁盘失效，奇偶(q u)盘及其他数据盘可以重新产生数据；盘及其他数据盘可以重新产生数据；如果不过如果校验盘也损坏，就无法恢复数据了。如果不过如果

19、校验盘也损坏，就无法恢复数据了。RAID具有较高的读速率，适合大文件连续操作的应用。具有较高的读速率，适合大文件连续操作的应用。但有数据盘故障时，每次读操作时都需要进行校验计算，读性能大幅度下降。但有数据盘故障时，每次读操作时都需要进行校验计算，读性能大幅度下降。最小磁盘数最小磁盘数3个。个。允许坏允许坏1颗磁盘，但不能是校验盘颗磁盘，但不能是校验盘容量计算：容量计算：C=(N-1)*DC：可用容量：可用容量N：磁盘个数：磁盘个数D：磁盘容量：磁盘容量优点：可用性高，即使一个磁盘发生故障，逻辑硬优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用盘上的数据依然可用优点：很好地利用了磁

20、盘空间（如优点：很好地利用了磁盘空间（如 n n 个磁盘的阵列个磁盘的阵列，n-1 n-1 被用作数据存储）被用作数据存储）缺点：必须计算缺点：必须计算(j sun)(j sun)冗余信息，这样就限制了冗余信息，这样就限制了写入性能写入性能 应用：由于安装容量与实际可用容量的比率较高，应用：由于安装容量与实际可用容量的比率较高，通常用于较大的数据存储系统通常用于较大的数据存储系统RAID 3第31页/共62页第三十二页，共62页。yMyFileliFMe第32页/共62页第三十三页，共62页。RAID5：分布式奇偶校验的独立磁盘结构：分布式奇偶校验的独立磁盘结构 实际是由实际是由RAID3所衍

21、生而来的技术。所衍生而来的技术。 RAID3的工作速度比的工作速度比RAID0要慢一些，如果存储数据的硬盘发生损坏，可利用校验盘上的校验信息恢复数据，不过如果校验盘也损坏，就无法恢复数据了。要慢一些，如果存储数据的硬盘发生损坏，可利用校验盘上的校验信息恢复数据，不过如果校验盘也损坏，就无法恢复数据了。 RAID5针对针对RAID所存在的安全隐患，将数据奇偶校验信息均匀分布在各数据硬盘上，硬盘同时保存数据和校验信息，这样所存在的安全隐患，将数据奇偶校验信息均匀分布在各数据硬盘上，硬盘同时保存数据和校验信息，这样(zhyng)就不用担心校验盘损坏所带来的数据安全问题，就不用担心校验盘损坏所带来的数

22、据安全问题，RAID 5是最常用的是最常用的RAID方式之一。方式之一。允许坏允许坏1颗磁盘颗磁盘最小磁盘数最小磁盘数3个。个。容量计算：容量计算：C=(N-1)*DC：可用容量：可用容量N：磁盘个数：磁盘个数D：磁盘容量：磁盘容量优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用；很好地利用了磁盘空间然可用；很好地利用了磁盘空间缺点：必须缺点：必须(bx)(bx)计算冗余信息，这样就限制了写入性能计算冗余信息，这样就限制了写入性能 应用：由于安装容量与实际可用容量的比率较高，通常用于较大应用：由于安装容量与实际可用容量的比率

23、较高，通常用于较大的数据存储系统的数据存储系统RAID 5第33页/共62页第三十四页，共62页。yMyFileliFMe第34页/共62页第三十五页，共62页。RAID10：高可靠性与高效磁盘结构：高可靠性与高效磁盘结构(jigu) 是将镜像和条带进行两级组合的级别。是将镜像和条带进行两级组合的级别。第一级是第一级是RAID1镜像，第二级为镜像，第二级为RAID 0累加，这种组合提高了读累加，这种组合提高了读/写速率，并可用允许硬盘损坏，因此写速率，并可用允许硬盘损坏，因此RAID10也是一种应用比较广泛的也是一种应用比较广泛的RAID级别。级别。但是但是RAID10和和RAID1一样只有一

24、样只有1/2的磁盘利用率。的磁盘利用率。最小硬盘数最小硬盘数4个。个。适合银行、证劵类对数据非常敏感的企业适合银行、证劵类对数据非常敏感的企业 允许坏允许坏2颗磁盘颗磁盘容量计算：容量计算：C=N*D/2C：可用容量：可用容量N：磁盘个数：磁盘个数D：磁盘容量：磁盘容量优点：高读取速度；高写入速度，写开销较小优点：高读取速度；高写入速度，写开销较小；特定情况下，可以允许；特定情况下，可以允许N/2N/2个硬盘同时损坏个硬盘同时损坏缺点：磁盘利用率低，只有缺点：磁盘利用率低，只有1/21/2的硬盘利用率，的硬盘利用率，至少需要至少需要4 4块磁盘块磁盘应用：数据量大，安全性要求应用：数据量大，安

25、全性要求(yoqi)(yoqi)高的环高的环境，如银行、金融等领域境，如银行、金融等领域RAID10第35页/共62页第三十六页，共62页。RAID-0RAID-1RAID-1MMyyFFiilleeMyFile第36页/共62页第三十七页，共62页。RAID10和和RAID01是否是否(sh fu)一致？一致？第37页/共62页第三十八页，共62页。RAID1RAID1RAID0RAID0RAID0RAID1RAID10模型模型(mxng)RAID01模型模型(mxng)第38页/共62页第三十九页，共62页。RAID 6（独立的数据（独立的数据(shj)硬盘与两个独立分布式校方案）硬盘与两

26、个独立分布式校方案）RAID 6等级是在RAID 5基础上，为了进一步加强数据保护而设计的一种RAID方式，实际上是一种扩展RAID 5等级。与RAID 5的不同之处于除了每个硬盘上都有同级数据XOR校验区外(q wi)，还有一个针对每个数据块的XOR校验区。当然，当前盘数据块的校验数据不可能存在当前盘而是交错存储的，具体形式见图。第39页/共62页第四十页，共62页。RAID6 DP的工作(gngzu)原理D12D0D4D8D13D1D5D9D14D2D6D10P3P0P1P2DP3DP0DP1DP2驱动器驱动器1驱动器驱动器2驱动器驱动器3横向横向(hn xin)校校验盘验盘斜向校验斜向校

27、验(xio yn)盘盘条带0条带1条带2条带3DP4D15D3D7D11驱动器驱动器4DPDouble Parity，就是在RAID4所使用的一个行XOR校验磁盘的基础上又增加了一个磁盘用于存放斜向的XOR校验信息 横向校验盘中P1P4为各个数据盘中横向数据的校验信息例：P0=D0 XOR D1 XOR D2 XOR D3 斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息 例：DP0=D0 XOR D5 XOR D10XOR D15磁盘故障数据恢复第40页/共62页第四十一页，共62页。u 所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘

28、在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。u 热备盘分为：全局热备盘和局部热备盘u 全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。u 局部热备盘：只针对某一RAID组起作用。u 因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起(ynq)的种种不便。热备（HotSpare）第41页/共62页第四十二页，共62页。Hot Spare全局(qunj) Hot S

29、pareSet 1Set 2本地(bnd) Hot SpareSet 1Set 2Hot SpareHot Spare 具有 自动复制 + 替换 功能第42页/共62页第四十三页，共62页。热备与重构热备与重构RAID5 set of drives:4 active,1 hot-spareCOPY BACK完成完成某个磁盘损坏，重构过程开始某个磁盘损坏，重构过程开始重构过程结束，重构过程结束，RAID5可靠性恢复冗可靠性恢复冗余余插入新磁盘，插入新磁盘，COPYBACK开始开始第43页/共62页第四十四页，共62页。备份(bi fn) 第44页/共62页第四十五页，共62页。 备份的系统介绍备

30、份的系统介绍备份介质备份介质备份窗口备份窗口(chungku)备份策略备份策略备份方式备份方式第45页/共62页第四十六页，共62页。数据备份：就是使用存储介质，定期将系统/业务数据备份下来，以保证数据意外丢失时能尽快恢复，从而将损失降到最低点。其主要目的是通过备份的方式提高(t go)数据的安全性能。数据备份分类：离线备份，即把数据备份至磁带，目前的主要技术有LAN-free、Server-free等，这种方式恢复时间比较长，但投资较少；在线备份，也称数据复制，即同步数据备份，恢复时间非常短。备份系统(xtng)介绍第46页/共62页第四十七页，共62页。常用常用(chn yn)备份备份介质介质目前备份的常用介质磁盘：备份到Disk/RAID存储子系统中光盘：备份到光盘库中磁带：使用磁带机，磁带自动装载机或磁带库进行备份以前比较多的是使用磁带设备来备份数据(shj)新趋势：基于SATA的虚拟磁带库技术第47页/共62页第四十八页，共62页。LCD介介质质进进出出舱舱门门驱驱动动器器1驱驱动动器器2驱驱动动器器预预留留位位机机械械手手电电源源磁磁带带槽槽驱驱动动器器预预留留位位磁带库构成磁带库构成(guchng)示示意图意图第48页/共62页第四十九页，共62页。备份备份(bi fn)窗口窗口它是指在用户正常使用的业务系统不受影响的情况下，能够对业务系统中的业务数据进行数据