网络存储的基础知识培训.ppt

1、Page 1,06.JAN 2007,网络存储的基础知识培训,存储产品线行销部,Page 2,存储网络的发展概述 存储网络基本概念 几个关键问题和概念 存储市场介绍,Page 3,课程目标,掌握存储的技术过去和发展过程 了解存储的基本知识 对网络存储有一个基本认识 作为与客户交流的谈资,课程题目：存储网络的发展概述,学习完此课程，您将会,Page 4,数据存储技术概述,多媒体、大型数据库、网络、Internet、电子商务等迅猛发展 大型科学实验：生物、大气、高能物理等 全球每年数据增长达到 50-100! 人们越来越依赖数据,1998,2003,Terabytes Storage Requir

2、ed,54 Million TB,Cost of Data Management per GB/Month,Rising Storage Mgmt Cost,2001,数据爆炸性增长,Page 5,举例： 假如有100T数据，买 100G大小的磁盘，需要1000个！ 如何把1000个磁盘连接起来？ 如果用一般的PC，需要250台！ 数据存放起来了，如何管理和使用？ 性能如何？ 常用的方案，用服务器连接磁盘阵列，这样可否解决问题？这种方案就是传统的数据存储技术,海量存储很多硬盘,传统的数据存储技术,传统的客户服务器结构,Page 6,传统计算机存储系统的问题,CPU,硬盘,RAM,计算机存储系统

3、,可扩展性不够 - 总线结构，而非网络结构 - 可连接的设备受到限制 - 增加容量时，需停机 性能级别不够高 数据难以共享,传统计算机存储系统的局限性,具有高数据传输率、低延迟、高可靠性等特性，但有很多不足,硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,Page 7,外部磁盘阵列的演变,CPU,硬盘,RAM,早期外部存储系统,SCSI卡,SCSI电缆,JBOD(Just Bound Of Disk,传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数

4、据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,CPU,硬盘,RAM,SCSI卡,控制器,SCSI电缆,控制器中包含RAID功能、大容量Cache，同时使得磁盘阵列具有多种实用的功能，配置专用管理软件进行配置管理,传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,演进,Page 8,存储网络的产生,SCSI电缆最长支持25米 FC光纤连接距离可达10公里至100公里,传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬

5、盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,web server,mail server,file server,30,99,Client,Client,Client,Client,Page 9,存储网络的发展概述 存储网络基本概念 几个关键问题和概念 存储市场介绍,Page 10,课程目标,掌握网络存储的基本概念 掌握网络存储的基本形态 了解RAID的基本形态 了解网络存储的功能形态,课程题目：网络存储的基础概念,学习完此课程，您将会,Page 11,存储的基本概念,总的来讲可以包含两个方面的含义,存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到

6、某些介质上并能保证有效的访问,它是数据临时或长期驻留的物理媒介 它是保证数据完整安全存放的方式或行为,存储的特征,Page 12,存储网络的基本形态,DAS (Disk Attached Storage) NAS (Network Attached Storage） SAN (Storage Area Network,网络存储几种常见类型,Page 13,DAS(Direct Attached Storage,优点： 存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器； 传统的、最常见的连接方式，容易理解、规划和实施； 缺点： DAS没有独立操作系统，也不能提供跨平台的文件共享，

7、各平台下数据需分别储存； 各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少,Page 14,NAS(Network Attached Storage,NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。 NAS是在RAID的基础上增加了存储操作系统；NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数

8、据上数据；磁盘I/O会占用业务网络带宽,Page 15,SAN(Storage Area Network,一种高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。 SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构,Page 16,存储网络的三种形态比较,SCSI/FC,GE,GE,FC,FC,DAS,NAS,SAN,FC Swit

9、ch,LAN Switch,SCSI存储/FC存储,NAS存储,FC存储,Server,Page 17,存储的功能分类,为了减少企业对存储的整体投入，通常不同的数据采取不同的存储方式，因此在一个较大的存储系统中存储设备会分成,在线关键数据,近线/归档数据,离线/归档数据,失效数据,时间,数据对业务影响,Page 18,在线数据存储,归档数据存储,附加磁盘（暂存,可移动介质,随着数据价值的变化而改变存储位置,减少归档存储空间,数据分级存储,自动检索和管理数据以适应企业的变化和业务需要,APP,Page 19,Raid 技术,RAID=Redundant Array of Independent

10、Disks,RAID 翻译成中文即为独立磁盘冗余阵列，或简称磁盘阵列。简单的说，RAID是一种把多块独立的硬盘（物理硬盘）按不同方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据冗余的技术。组成磁盘阵列的不同方式成为RAID级。 在用户看起来，组成的磁盘组就像是一个硬盘，用户可以对它进行分区，格式化等等。总之，对磁盘阵列的操作与单个硬盘一模一样。不同的是，磁盘阵列的存储性能要比单个硬盘高很多，而且可以提供数据冗余,SCSI技术与RAID技术(容易混淆的概念,SCSI是SmallComputerSystemInterface(小型计算机系统接口)的英文缩写。SCS

11、I最早是一种并行连接使用SCISI命令的计算机硬件接口。 RedundantArrayofInexpensive(orIndependent)Drive。RAID是1988年由美国加州大学的Berkeley分校的DavidPatterson等几人提出来的,Page 20,RAID的存取模式,RAID条切“striped”的存取模式,在使用数据条切DataStripping的RAID系统之中，对成员磁盘驱动器的存取方式，可分为两种： 独立存取IndependentAccess 并行存储ParalleledAccess RAID2和RAID3是采取并行存取模式。RAID0、RAID4、RAID5及

12、RAID6则是采用独立存取模式,并行存取模式支持里，是把所有磁盘驱动器的主轴马达作精密的控制，使每个磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的I/O数据传送，如此一来，从主机来的每一个I/O指令，都平均分布到每一个磁盘驱动器。 为了达到并行存取的功能，RAID中的每一个磁盘驱动器，都必须具备几乎完全相同的规格：转速必须一样；磁头搜寻速度AccessTime必须相同；Buffer或Cache的容量和存取速度要一致；CPU处理指令的速度要相同；I/OChannel的速度也要一样。总而言之，要利用并行存取模式，RAID中所有的成员磁盘驱动器，应该使用同一厂牌，相同型号的磁盘驱动器,相对

13、于并行存取模式，独立存取模式并不对成员磁盘驱动器作同步转动控制，其对每个磁盘驱动器的存取，都是独立且没有顺序和时间间格的限制，同时每笔传输的数据量都比较大。因此，独立存取模式可以尽量地利用overlapping多任务、TaggedCommandQueuing等等高阶功能，来“隐藏”上述磁盘驱动器的机械时间延迟Seek和RotationalLatency。 由于独立存取模式可以做overlapping多任务，而且可以同时处理来自多个主机不同的I/ORequests，在多主机环境如Clustering，更可发挥最大的性能,独立存取IndependentAccess,并行存取ParalleledAc

14、cess,Page 21,RAID级别,RAID技术经过不断的发展，现在已拥有了从 RAID 0 到 6 七种基本的RAID 级别。另外，还有一些基本RAID级别的组合形式，不同RAID 级别代表着不同的存储性能、数据安全性和存储成本。下面就针对一些最为常用的 RAID级别做简单介绍,RAID0存取速度最快没有容错 RAID1完全容错成本高 RAID3写入性能最好没有多任务功能 RAID4具备多任务及容错功能Parity磁盘驱动器造成性能瓶颈 RAID5具备多任务及容错功能写入时有overhead RAID0+1/RAID10速度快、完全容错成本高,Page 22,E,D,C,B,J,I,H,

15、G,:,:,:,:,:,F,A,Controller,Data blocks,Data disks,A,B,C,D,E,F,G,H,I,J,RAID 0级别介绍,要点: RAID 0 通过条带把数据分布在 组内所有硬盘上，从而可以并 发的读写而提升性能 优点: 速度快且利用率高 缺点: 一个盘故障将导致全部数据丢 失,Page 23,RAID 1级别介绍,Mirror disk,Data disk,Data blocks,Controller,A,B,C,D,E,F,G,H,I,J,A,A,:,B,J,:,B,J,要点: RAID 1 数据在个硬盘之间 相互镜像 优点: 任何一个硬盘故障不丢失

16、数据 且不影响性能 缺点: 成本高，利用率低,Page 24,RAID 5级别介绍,Data blocks,A-D)P,D,C,B,A,Controller,A,B,C,D,E,F,G,H,I,J,H,E-H)P,G,F,:,:,:,:,:,E,Data disks + Parity disks,Parity,要点:RAID 5 采用条带和奇偶 校验 优点:通过条带提升性能，通过奇偶校验提高可靠性 缺点:对于密集的随机小的写 以及一个磁盘故障 情况下性能较差,一块校验盘,Page 25,RAID 1+0级别介绍,Data disk,Controller,Data blocks,A,B,C,D,

17、E,F,G,H,I,J,A,A,B,I,G,E,C,I,G,E,C,J,H,F,D,H,J,F,D,B,要点:RAID 1+0 既采用条带技术又采用镜像技术 优点:性能高于 RAID 1，可靠性相当 缺点:成本高，利用率低,Mirror disk,Data disk,Mirror disk,Page 26,RAID 6级别介绍,Data blocks,A-C)P,A-C)P,C,B,A,Controller,A,B,C,D,E,F,G,H,I,J,F,D-F)P,D-F)P,E,:,:,:,:,D,G-I)P,I,H,G-I)P,G,:,要点:RAID 6 采用了条带和 双重校验 优点:即使R

18、AID组中同时坏个磁盘，数据依然是完整的 缺点:比RAID性能略差,Parity,Data disks + Parity disks,两块校验盘,Page 27,RAID6是最安全的RAID保护方式,Page 28,RAID 级别比较,其中RAID3与RAID5的区别为：RAID3更适合于顺序存取，RAID5更适合于随机存取。需要根据具体的应用情况决定使用那种RAID级别,Page 29,RAID 级别比较,RAID 级别比较,Page 30,存储网络的发展概述 存储网络基本概念 几个关键问题和概念 存储市场介绍,Page 31,课程目标,掌握存储的几个关键问题 掌握存储的基础概念,课程题目：

19、几个关键问题和概念,学习完此课程，您将会,Page 32,FC（Fibre Channel）光纤通道,点对点(Point-to-Point) 两个设备之间互连 仲裁环(Arbitrated Loop) 最多支持126个设备互连，形成一个仲裁环 交换式Fabric(Switch Fabric) 最多1千6百万个设备互连,Fibre Channel有三种拓扑结构,交换式 Fabric,Arbitrated Loop (仲裁环,点对点,主机接口 硬盘接口,Fibre Channel主要用途,Page 33,硬盘接口类型,SCSI：小型计算机接口；传输速率：80Mb/s、160Mb/s、320Mb/s

20、 SATA：串行IDE接口：传输速率：150Mb/s、300Mb/s、600Mb/s SAS：串行连接SCSI（Serial Attached SCSI ）：150Mb/s、300Mb/s、600Mb/s FC：光纤通道：2G,主要接口类型参数,FC硬盘： 73GB（10k rpm、15k rpm） 146GB（10k rpm、15k rpm） 300GB（10k rpm） SATA硬盘： 250G（7200 rpm） 500G（7200 rpm） 750G（7200 rpm） 500G（10000rpm,硬盘容量,Page 34,数据一致性和完整性,某一个控制器掉电或死机后如何保证写CACH

21、E中的数据不丢失。 整个系统掉电后如何保证写CACHE中的数据不丢失。 一条主机链路或磁盘环链路故障后，如何把数据链路切换到另一条并不影响数据的完整性。 按照RAID算法，每个分条数据都是XOR一致的。 可是在某些故障情况下，比如拔出一块控制板或者突然掉电，可能出现数据不一致的错误。 如果继续往出现一致性错误的数据上写入数据，错误会继续存在。这种现象称为Write Hole。 防止Write Hole的方法通常为把数据和校验和都镜像,Page 35,关心性能的几个主要指标,顺序读带宽 顺序写带宽 随机读IO数（IOPS） 随机写IO数（IOPS,存储性能的指标,性能除了CPU和Cache大小之

22、外，从以下几个方面解决,主机端口数，目前业界主流为4个以上。 磁盘端口数，目前业界主流为24个。 后端是使用JBOD（环路）还是SBOD（交换）。 XOR是硬件还是软件实现,Page 36,存储网络的发展概述 存储网络基本概念 几个关键问题和概念 存储市场介绍,Page 37,存储产业生态发展趋势,主流厂家向软件和服务转型,通过收购方式获得核心技术 硬盘供应商趋于集中 独立存储厂家增长最快,成为业界领导厂商 存储独立采购趋势明显,单位：10亿美金,Page 38,存储市场发展趋势,全球存储市场, 包括系统、软件、服务。2005年的市场空间约为610亿美金,预计到2009年将达到750亿美金，总体年复合增长率达到5.4%。其中服务和软件的平均增长要高于硬件的平均增长水平。 2005-2010年，国内存储市场复合增长率增长最高的是NAS产品（13.5%)和SAN产品（16.2%），均高于全球平均水平； 而增长净值最高的分别是SAN和DAS产品 国内存储产品最主要客户包括电信及媒体业、银行及金融业、政府网、制造业、教育等,Page 39,外部存储市场细分SAN,NAS,DAS,2006年第一季度EMC以21.8%的份额仍然