网络存储的基础知识培训

1、06.JAN 2007网络存储的基础知识培训存储产品线行销部存储网络的发展概述存储网络基本概念几个关键问题和概念存储市场介绍课程目标掌握存储的技术过去和发展过程了解存储的基本知识对网络存储有一个基本认识作为与客户交流的谈资课程题目：存储网络的发展概述学习完此课程，您将会：数据存储技术概述多媒体、大型数据库、网络、Internet、电子商务等迅猛发展大型科学实验：生物、大气、高能物理等全球每年数据增长达到 50-100!人们越来越依赖数据19982003Terabytes Storage Required 54 Million TB102030405060Cost of Data Managem

2、ent per GB/MonthRising Storage Mgmt Cost$20$40$60$80$100$12020012 per GB ($20,000 per TB)15 per GB数据爆炸性增长举例： 假如有100T数据，买 100G大小的磁盘，需要1000个！ 如何把1000个磁盘连接起来？ 如果用一般的PC，需要250台！ 数据存放起来了，如何管理和使用？ 性能如何？ 常用的方案，用服务器连接磁盘阵列，这样可否解决问题？这种方案就是传统的数据存储技术。海量存储很多硬盘？传统的数据存储技术网络 客户机网络接口 SCSI主机网络接口存储接口存储子系统虚框为服务器SCSI 传统的

3、客户服务器结构传统计算机存储系统的问题CPU硬盘RAMServer计算机存储系统可扩展性不够 - 总线结构，而非网络结构 - 可连接的设备受到限制 - 增加容量时，需停机性能级别不够高数据难以共享传统计算机存储系统的局限性：具有高数据传输率、低延迟、高可靠性等特性，但有很多不足;硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散 外部磁盘阵列的演变CPU硬盘RAMServer早期外部存储系统SCSI卡SCSI电缆JBOD(Just Bound Of Disk)传统计算机存储系统的局限性： 硬盘成为整个系统的性

4、能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散RAID功能RAID (Redundant Arrays of Inexpensive Disks)CPU硬盘RAMServerSCSI卡控制器 SCSI电缆控制器中包含RAID功能、大容量Cache，同时使得磁盘阵列具有多种实用的功能，配置专用管理软件进行配置管理传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散演进存储网络的产生SCSI电缆最长支持25米FC光纤

5、连接距离可达10公里至100公里传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散web servermail server30%99%ClientClientClientClient存储网络的发展概述存储网络基本概念几个关键问题和概念存储市场介绍课程目标掌握网络存储的基本概念掌握网络存储的基本形态了解RAID的基本形态了解网络存储的功能形态课程题目：网络存储的基础概念学习完此课程，您将会：存储的基本概念总的来讲可以包含两个方面的含义： 存储就是根据不同的应用环境通过采取合理、安

6、全、有效的方式将数据保存到某些介质上并能保证有效的访问。它是数据临时或长期驻留的物理媒介它是保证数据完整安全存放的方式或行为存储的特征存储网络的基本形态DAS (Disk Attached Storage)NAS (Network Attached Storage） SAN (Storage Area Network)网络存储几种常见类型DAS(Direct Attached Storage)优点：存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器；传统的、最常见的连接方式，容易理解、规划和实施；缺点：DAS没有独立操作系统，也不能提供跨平台的文件共享，各平台下数据需分别储存；各

7、DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少。NAS(Network Attached Storage)NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。NAS是在RAID的基础上增加了存储操作系统；NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据上数据；磁盘I/O会占用业务网络带宽。SAN

8、(Storage Area Network)一种高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构 ；存储网络的三种形态比较SCSI/FCGEGEFCFCDASNASSANFC SwitchLAN SwitchSCSI存储/FC存储NAS存储FC存储Server存储的功能分类 为了

9、减少企业对存储的整体投入，通常不同的数据采取不同的存储方式，因此在一个较大的存储系统中存储设备会分成：磁带/光盘库存储介质复制离线/脱机入库主存储数据镜像、远程复制保护数据快照近线存储数据 Raid 5 保护磁带备份在线关键数据近线/归档数据离线/归档数据失效数据时间数据对业务影响在线数据存储归档数据存储附加磁盘（暂存）可移动介质迁移,归档减少归档存储空间随着数据价值的变化而改变存储位置减少归档存储空间数据分级存储自动检索和管理数据以适应企业的变化和业务需要APPRaid 技术RAID=Redundant Array of Independent Disks RAID 翻译成中文即为独立磁盘冗

10、余阵列，或简称磁盘阵列。简单的说，RAID是一种把多块独立的硬盘（物理硬盘）按不同方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据冗余的技术。组成磁盘阵列的不同方式成为RAID级。 在用户看起来，组成的磁盘组就像是一个硬盘，用户可以对它进行分区，格式化等等。总之，对磁盘阵列的操作与单个硬盘一模一样。不同的是，磁盘阵列的存储性能要比单个硬盘高很多，而且可以提供数据冗余。SCSI技术与RAID技术(容易混淆的概念) SCSI是SmallComputerSystemInterface(小型计算机系统接口)的英文缩写。SCSI最早是一种并行连接使用SCISI命令的计算

11、机硬件接口。 RedundantArrayofInexpensive(orIndependent)Drive。RAID是1988年由美国加州大学的Berkeley分校的DavidPatterson等几人提出来的。 RAID的存取模式RAID条切“striped”的存取模式 在使用数据条切DataStripping的RAID系统之中，对成员磁盘驱动器的存取方式，可分为两种：独立存取IndependentAccess并行存储ParalleledAccessRAID2和RAID3是采取并行存取模式。RAID0、RAID4、RAID5及RAID6则是采用独立存取模式 并行存取模式支持里，是把所有磁盘驱

12、动器的主轴马达作精密的控制，使每个磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的I/O数据传送，如此一来，从主机来的每一个I/O指令，都平均分布到每一个磁盘驱动器。 为了达到并行存取的功能，RAID中的每一个磁盘驱动器，都必须具备几乎完全相同的规格：转速必须一样；磁头搜寻速度AccessTime必须相同；Buffer或Cache的容量和存取速度要一致；CPU处理指令的速度要相同；I/OChannel的速度也要一样。总而言之，要利用并行存取模式，RAID中所有的成员磁盘驱动器，应该使用同一厂牌，相同型号的磁盘驱动器。 相对于并行存取模式，独立存取模式并不对成员磁盘驱动器作同步转动控制，

13、其对每个磁盘驱动器的存取，都是独立且没有顺序和时间间格的限制，同时每笔传输的数据量都比较大。因此，独立存取模式可以尽量地利用overlapping多任务、TaggedCommandQueuing等等高阶功能，来“隐藏”上述磁盘驱动器的机械时间延迟Seek和RotationalLatency。 由于独立存取模式可以做overlapping多任务，而且可以同时处理来自多个主机不同的I/ORequests，在多主机环境如Clustering，更可发挥最大的性能。 独立存取IndependentAccess并行存取ParalleledAccessRAID级别 RAID技术经过不断的发展，现在已拥有了从

14、 RAID 0 到 6 七种基本的RAID 级别。另外，还有一些基本RAID级别的组合形式，不同RAID 级别代表着不同的存储性能、数据安全性和存储成本。下面就针对一些最为常用的 RAID级别做简单介绍。 RAID0存取速度最快没有容错RAID1完全容错成本高RAID3写入性能最好没有多任务功能RAID4具备多任务及容错功能Parity磁盘驱动器造成性能瓶颈RAID5具备多任务及容错功能写入时有overheadRAID0+1/RAID10速度快、完全容错成本高EDCBJIHG:FAControllerData blocksData disksABCDEFGHIJRAID 0级别介绍要点: RA

15、ID 0 通过条带把数据分布在 组内所有硬盘上，从而可以并 发的读写而提升性能优点: 速度快且利用率高缺点: 一个盘故障将导致全部数据丢 失RAID 1级别介绍Mirror diskData diskData blocksControllerABCDEFGHIJAA:BJ:BJ要点: RAID 1 数据在个硬盘之间 相互镜像优点: 任何一个硬盘故障不丢失数据 且不影响性能缺点: 成本高，利用率低RAID 5级别介绍Data blocks(A-D)PDCBAControllerABCDEFGHIJH(E-H)PGF:EData disks + Parity disks:Parity要点:RAID

16、 5 采用条带和奇偶校验优点:通过条带提升性能，通过奇偶校验提高可靠性缺点:对于密集的随机小的写以及一个磁盘故障情况下性能较差一块校验盘RAID 1+0级别介绍Data diskControllerData blocksABCDEFGHIJAABIGECIGECJHFDHJFDB要点:RAID 1+0 既采用条带技术又采用镜像技术优点:性能高于 RAID 1，可靠性相当缺点:成本高，利用率低Mirror diskData diskMirror diskRAID 6级别介绍Data blocks(A-C)P(A-C)PCBAControllerABCDEFGHIJF(D-F)P(D-F)PE:D

17、(G-I)PIH(G-I)PG:要点:RAID 6 采用了条带和双重校验优点:即使RAID组中同时坏个磁盘，数据依然是完整的缺点:比RAID性能略差:ParityData disks + Parity disks两块校验盘RAID6是最安全的RAID保护方式数据丢失数据丢失数据丢失数据安全RAID 级别比较项目RAID0RAID1RAID10RAID5、RAID3最小配置1243性能HighestLowestRAID5RAID10RAID0RAID1RAID5/N描述不带奇偶效验的条带集磁盘镜像RAID0与RAID1的结合带奇偶效验的条带集其中RAID3与RAID5的区别为：RAID3更适合于

18、顺序存取，RAID5更适合于随机存取。需要根据具体的应用情况决定使用那种RAID级别。RAID 级别比较RAID 级别比较存储网络的发展概述存储网络基本概念几个关键问题和概念存储市场介绍课程目标掌握存储的几个关键问题掌握存储的基础概念课程题目：几个关键问题和概念学习完此课程，您将会：FC（Fibre Channel）光纤通道点对点(Point-to-Point) 两个设备之间互连仲裁环(Arbitrated Loop) 最多支持126个设备互连，形成一个仲裁环 交换式Fabric(Switch Fabric) 最多1千6百万个设备互连Fibre Channel有三种拓扑结构:交换式 Fabri

19、cArbitrated Loop (仲裁环)点对点主机接口硬盘接口Fibre Channel主要用途硬盘接口类型SCSI：小型计算机接口；传输速率：80Mb/s、160Mb/s、320Mb/sSATA：串行IDE接口：传输速率：150Mb/s、300Mb/s、600Mb/sSAS：串行连接SCSI（Serial Attached SCSI ）：150Mb/s、300Mb/s、600Mb/sFC：光纤通道：2G主要接口类型参数：连接器系统背板驱动器驱动器FC硬盘：73GB（10k rpm、15k rpm）146GB（10k rpm、15k rpm）300GB（10k rpm） SATA硬盘：25

20、0G（7200 rpm）500G（7200 rpm）750G（7200 rpm）500G（10000rpm） 硬盘容量：数据一致性和完整性某一个控制器掉电或死机后如何保证写CACHE中的数据不丢失。整个系统掉电后如何保证写CACHE中的数据不丢失。一条主机链路或磁盘环链路故障后，如何把数据链路切换到另一条并不影响数据的完整性。按照RAID算法，每个分条数据都是XOR一致的。可是在某些故障情况下，比如拔出一块控制板或者突然掉电，可能出现数据不一致的错误。如果继续往出现一致性错误的数据上写入数据，错误会继续存在。这种现象称为Write Hole。防止Write Hole的方法通常为把数据和校验和都

21、镜像。关心性能的几个主要指标顺序读带宽顺序写带宽随机读IO数（IOPS）随机写IO数（IOPS）存储性能的指标：性能除了CPU和Cache大小之外，从以下几个方面解决：主机端口数，目前业界主流为4个以上。磁盘端口数，目前业界主流为24个。后端是使用JBOD（环路）还是SBOD（交换）。XOR是硬件还是软件实现。存储网络的发展概述存储网络基本概念几个关键问题和概念存储市场介绍存储产业生态发展趋势主流厂家向软件和服务转型,通过收购方式获得核心技术硬盘供应商趋于集中独立存储厂家增长最快,成为业界领导厂商存储独立采购趋势明显单位：10亿美金存储市场发展趋势27,66627,05126,21425,43

22、124,41522,61713,66712,38911,19810,0588,9367,87534,10632,61731,16529,52827,77925,74675,43972,05768,57765,01761,13056,238020,00040,00060,00080,000200420052006200720082009存储阵列存储软件存储服务全球存储市场, 20042009（单位:US$MM）SourceIDC, 2005CAGR (%)200420095.811.74.1全球存储市场, 包括系统、软件、服务。2005年的市场空间约为610亿美金,预计到2009年将达到750亿

23、美金，总体年复合增长率达到5.4%。其中服务和软件的平均增长要高于硬件的平均增长水平。2005-2010年，国内存储市场复合增长率增长最高的是NAS产品（13.5%)和SAN产品（16.2%），均高于全球平均水平；而增长净值最高的分别是SAN和DAS产品国内存储产品最主要客户包括电信及媒体业、银行及金融业、政府网、制造业、教育等。外部存储市场细分SAN,NAS,DAS 2006年第一季度EMC以21.8%的份额仍然位居外部磁盘存储系统市场榜首，惠普和IBM分别以17.9%和 12.0%位列第二和第三。戴尔和日立分别以8.2%和8.1%跻身前五。 2006年第一季度整个网络磁盘存储系统收入超过28亿美元，年同比增长1