网络存储的基础知识培训

网络存储的基础知识培训第一页，共四十四页，编辑于2023年，星期三存储网络的发展概述存储网络基本概念几个关键问题和概念存储市场介绍第二页，共四十四页，编辑于2023年，星期三课程目标掌握存储的技术过去和发展过程了解存储的基本知识对网络存储有一个基本认识作为与客户交流的谈资课程题目：存储网络的发展概述学习完此课程，您将会：第三页，共四十四页，编辑于2023年，星期三数据存储技术概述多媒体、大型数据库、网络、Internet、电子商务等迅猛发展大型科学实验：生物、大气、高能物理等全球每年数据增长达到50-100％!人们越来越依赖数据19982003TerabytesStorageRequired

54

MillionTB102030405060CostofDataManagementperGB/MonthRisingStorageMgmtCost$20$40$60$80$100$12020012¢perGB($20,000perTB)15¢perGB数据爆炸性增长第四页，共四十四页，编辑于2023年，星期三举例：假如有100T数据，买100G大小的磁盘，需要1000个！如何把1000个磁盘连接起来？如果用一般的PC，需要250台！数据存放起来了，如何管理和使用？性能如何？常用的方案，用服务器连接磁盘阵列，这样可否解决问题？这种方案就是传统的数据存储技术。海量存储＝很多硬盘？传统的数据存储技术网络

客户机网络接口

SCSI主机网络接口存储接口存储子系统虚框为服务器SCSI传统的客户服务器结构第五页，共四十四页，编辑于2023年，星期三传统计算机存储系统的问题CPU硬盘RAMServer计算机存储系统可扩展性不够

-总线结构，而非网络结构

-可连接的设备受到限制

-增加容量时，需停机性能级别不够高数据难以共享传统计算机存储系统的局限性：具有高数据传输率、低延迟、高可靠性等特性，但有很多不足;硬盘成为整个系统的性能瓶颈有限的硬盘槽位，难满足大容量需求单个硬盘存放数据，数据可靠性难以保证存储空间利用率低本地存储，数据分散第六页，共四十四页，编辑于2023年，星期三外部磁盘阵列的演变CPU硬盘RAMServer早期外部存储系统SCSI卡SCSI电缆JBOD(JustBoundOfDisk)传统计算机存储系统的局限性：硬盘成为整个系统的性能瓶颈有限的硬盘槽位，难满足大容量需求单个硬盘存放数据，数据可靠性难以保证存储空间利用率低本地存储，数据分散RAID功能RAID(RedundantArraysofInexpensiveDisks)CPU硬盘RAMServerSCSI卡控制器SCSI电缆控制器中包含RAID功能、大容量Cache，同时使得磁盘阵列具有多种实用的功能，配置专用管理软件进行配置管理传统计算机存储系统的局限性：硬盘成为整个系统的性能瓶颈有限的硬盘槽位，难满足大容量需求单个硬盘存放数据，数据可靠性难以保证存储空间利用率低本地存储，数据分散演进第七页，共四十四页，编辑于2023年，星期三存储网络的产生SCSI电缆最长支持25米FC光纤连接距离可达10公里至100公里传统计算机存储系统的局限性：硬盘成为整个系统的性能瓶颈有限的硬盘槽位，难满足大容量需求单个硬盘存放数据，数据可靠性难以保证存储空间利用率低本地存储，数据分散webservermailserverfileserver30%99%ClientClientClientClient第八页，共四十四页，编辑于2023年，星期三存储网络的发展概述存储网络基本概念几个关键问题和概念存储市场介绍第九页，共四十四页，编辑于2023年，星期三课程目标掌握网络存储的基本概念掌握网络存储的基本形态了解RAID的基本形态了解网络存储的功能形态课程题目：网络存储的基础概念学习完此课程，您将会：第十页，共四十四页，编辑于2023年，星期三存储的基本概念总的来讲可以包含两个方面的含义：存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问。它是数据临时或长期驻留的物理媒介它是保证数据完整安全存放的方式或行为存储的特征第十一页，共四十四页，编辑于2023年，星期三存储网络的基本形态DAS(DiskAttachedStorage)NAS(NetworkAttachedStorage）SAN(StorageAreaNetwork)网络存储几种常见类型第十二页，共四十四页，编辑于2023年，星期三DAS(DirectAttachedStorage)优点：存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器；传统的、最常见的连接方式，容易理解、规划和实施；缺点：DAS没有独立操作系统，也不能提供跨平台的文件共享，各平台下数据需分别储存；各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少。第十三页，共四十四页，编辑于2023年，星期三NAS(NetworkAttachedStorage)NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。NAS是在RAID的基础上增加了存储操作系统；NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据上数据；磁盘I/O会占用业务网络带宽。第十四页，共四十四页，编辑于2023年，星期三SAN(StorageAreaNetwork)一种高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构；第十五页，共四十四页，编辑于2023年，星期三存储网络的三种形态比较SCSI/FCGEGEFCFCDASNASSANDASNASSAN传输类型SCSI、FCIPFC数据类型块级文件级块级典型应用任何文件服务器数据库应用优点易于理解兼容性好易于安装成本低高扩展性高性能高可用性缺点难以管理扩展性有限存储空间利用率不高性能较低对某些应用不适合比较昂贵配置复杂互操作性问题FCSwitchLANSwitchSCSI存储/FC存储NAS存储FC存储Server第十六页，共四十四页，编辑于2023年，星期三存储的功能分类为了减少企业对存储的整体投入，通常不同的数据采取不同的存储方式，因此在一个较大的存储系统中存储设备会分成：磁带/光盘库存储介质复制离线/脱机入库主存储数据镜像、远程复制保护数据快照近线存储数据Raid5保护磁带备份在线关键数据近线/归档数据离线/归档数据失效数据时间数据对业务影响第十七页，共四十四页，编辑于2023年，星期三在线数据存储归档数据存储附加磁盘（暂存）可移动介质迁移,

归档减少

归档存储

空间随着数据价值的变化而改变存储位置减少

归档存储

空间数据分级存储自动检索和管理数据以适应企业的变化和业务需要APP第十八页，共四十四页，编辑于2023年，星期三Raid技术RAID=RedundantArrayofIndependentDisksRAID翻译成中文即为独立磁盘冗余阵列，或简称磁盘阵列。简单的说，RAID是一种把多块独立的硬盘（物理硬盘）按不同方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据冗余的技术。组成磁盘阵列的不同方式成为RAID级。在用户看起来，组成的磁盘组就像是一个硬盘，用户可以对它进行分区，格式化等等。总之，对磁盘阵列的操作与单个硬盘一模一样。不同的是，磁盘阵列的存储性能要比单个硬盘高很多，而且可以提供数据冗余。SCSI技术与RAID技术(容易混淆的概念)SCSI是Small

Computer

System

Interface(小型计算机系统接口)的英文缩写。SCSI最早是一种并行连接使用SCISI命令的计算机硬件接口。Redundant

Array

of

Inexpensive

(or

Independent)

Drive。RAID是1988年由美国加州大学的Berkeley分校的David

Patterson等几人提出来的。第十九页，共四十四页，编辑于2023年，星期三RAID的存取模式

RAID条切“striped”的存取模式

在使用数据条切﹝Data

Stripping﹞

的RAID

系统之中，对成员磁盘驱动器的存取方式，可分为两种：独立存取﹝Independent

Access﹞并行存储﹝Paralleled

Access﹞RAID

2和RAID

3

是采取并行存取模式。

RAID

0、RAID

4、RAID

5及RAID

6则是采用独立存取模式并行存取模式支持里，是把所有磁盘驱动器的主轴马达作精密的控制，使每个磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的I/O数据传送，如此一来，从主机来的每一个I/O

指令，都平均分布到每一个磁盘驱动器。为了达到并行存取的功能，RAID

中的每一个磁盘驱动器，都必须具备几乎完全相同的规格：转速必须一样；磁头搜寻速度﹝Access

Time﹞必须相同；Buffer

或Cache的容量和存取速度要一致；CPU处理指令的速度要相同；I/O

Channel

的速度也要一样。总而言之，要利用并行存取模式，RAID

中所有的成员磁盘驱动器，应该使用同一厂牌，相同型号的磁盘驱动器。相对于并行存取模式，独立存取模式并不对成员磁盘驱动器作同步转动控制，其对每个磁盘驱动器的存取，都是独立且没有顺序和时间间格的限制，同时每笔传输的数据量都比较大。因此，独立存取模式可以尽量地利用overlapping

多任务、Tagged

Command

Queuing等等高阶功能，来“隐藏”上述磁盘驱动器的机械时间延迟﹝Seek

和Rotational

Latency﹞。由于独立存取模式可以做overlapping

多任务，而且可以同时处理来自多个主机不同的I/O

Requests，在多主机环境﹝如Clustering﹞，更可发挥最大的性能。独立存取﹝Independent

Access﹞并行存取﹝Paralleled

Access﹞第二十页，共四十四页，编辑于2023年，星期三RAID级别

RAID技术经过不断的发展，现在已拥有了从RAID0到6七种基本的RAID级别。另外，还有一些基本RAID级别的组合形式，不同RAID级别代表着不同的存储性能、数据安全性和存储成本。下面就针对一些最为常用的RAID级别做简单介绍。RAID

0

存取速度最快

没有容错

RAID

1

完全容错

成本高

RAID

3

写入性能最好

没有多任务功能

RAID

4

具备多任务及容错功能

Parity

磁盘驱动器造成性能瓶颈

RAID

5

具备多任务及容错功能

写入时有overhead

RAID

0+1/RAID

10

速度快、完全容错

成本高

第二十一页，共四十四页，编辑于2023年，星期三EDCBJIHG:::::::::::::::FAControllerDatablocksDatadisksABCDEFGHIJRAID0级别介绍要点:RAID0通过条带把数据分布在组内所有硬盘上，从而可以并发的读写而提升性能优点:速度快且利用率高缺点:一个盘故障将导致全部数据丢失第二十二页，共四十四页，编辑于2023年，星期三RAID1级别介绍MirrordiskDatadiskDatablocksControllerABCDEFGHIJAA’:::BJ:::B’J’要点:RAID1数据在２个硬盘之间相互镜像优点:任何一个硬盘故障不丢失数据且不影响性能缺点:成本高，利用率低第二十三页，共四十四页，编辑于2023年，星期三RAID5级别介绍Datablocks(A-D)PDCBAControllerABCDEFGHIJH(E-H)PGF:::::::::::::::EDatadisks+Paritydisks:Parity要点: RAID5采用条带和奇偶 校验优点:

通过条带提升性能，通过 奇偶校验提高可靠性缺点:

对于密集的随机小的写 Ｉ／Ｏ以及一个磁盘故障 情况下性能较差一块校验盘第二十四页，共四十四页，编辑于2023年，星期三RAID1+0级别介绍DatadiskControllerDatablocksABCDEFGHIJAA’B’IGECI’G’E’C’J’H’F’D’HJFDB要点: RAID1+0既采用条带技 术又采用镜像技术优点:

性能高于RAID1，可靠 性相当缺点:

成本高，利用率低MirrordiskDatadiskMirrordisk第二十五页，共四十四页，编辑于2023年，星期三RAID6级别介绍Datablocks(A-C)P(A-C)PCBAControllerABCDEFGHIJF(D-F)P(D-F)PE::::::::::::D(G-I)PIH(G-I)PG:::要点: RAID6采用了条带和 双重校验优点:

即使RAID组中同时坏２ 个磁盘，数据依然是完整 的缺点:

比RAID５性能略差:ParityDatadisks+Paritydisks两块校验盘第二十六页，共四十四页，编辑于2023年，星期三RAID6是最安全的RAID保护方式数据丢失数据丢失数据丢失数据安全第二十七页，共四十四页，编辑于2023年，星期三RAID级别比较项目RAID0

RAID1RAID10

RAID5

、RAID3最小配置1243性能HighestLowestRAID5<RAID10<RAID0RAID1<RAID5<RAID10特点无容错最佳的容错最佳的容错提供容错磁盘利用率100%50%50%(N-1>/N描述

不带奇偶效验的条带集磁盘镜像RAID0与RAID1的结合带奇偶效验的

条带集其中RAID3与RAID5的区别为：RAID3更适合于顺序存取，RAID5更适合于随机存取。需要根据具体的应用情况决定使用那种RAID级别。第二十八页，共四十四页，编辑于2023年，星期三RAID级别比较RAID级别比较第二十九页，共四十四页，编辑于2023年，星期三存储网络的发展概述存储网络基本概念几个关键问题和概念存储市场介绍第三十页，共四十四页，编辑于2023年，星期三课程目标掌握存储的几个关键问题掌握存储的基础概念课程题目：几个关键问题和概念学习完此课程，您将会：第三十一页，共四十四页，编辑于2023年，星期三FC（FibreChannel）光纤通道点对点(Point-to-Point)–两个设备之间互连仲裁环(ArbitratedLoop)–最多支持126个设备互连，形成一个仲裁环交换式Fabric(SwitchFabric)–最多1千6百万个设备互连FibreChannel有三种拓扑结构:交换式FabricArbitratedLoop

(仲裁环)点对点主机接口硬盘接口FibreChannel主要用途第三十二页，共四十四页，编辑于2023年，星期三硬盘接口类型SCSI：小型计算机接口；传输速率：80Mb/s、160Mb/s、320Mb/sSATA：串行IDE接口：传输速率：150Mb/s、300Mb/s、600Mb/sSAS：串行连接SCSI（SerialAttachedSCSI）：150Mb/s、300Mb/s、600Mb/sFC：光纤通道：2G主要接口类型参数：连接器系统背板驱动器驱动器FC硬盘：73GB（10krpm、15krpm）146GB（10krpm、15krpm）300GB（10krpm）

SATA硬盘：250G（7200rpm）500G（7200rpm）750G（7200rpm）500G（10000rpm）硬盘容量：第三十三页，共四十四页，编辑于2023年，星期三数据一致性和完整性某一个控制器掉电或死机后如何保证写CACHE中的数据不丢失。整个系统掉电后如何保证写CACHE中的数据不丢失。一条主机链路或磁盘环链路故障后，如何把数据链路切换到另一条并不影响数据的完整性。按照RAID算法，每个分条数据都是XOR一致的。可是在某些故障情况下，比如拔出一块控制板或者突然掉电，可能出现数据不一致的错误。如果继续往出现一致性错误的数据上写入数据，错误会继续存在。这种现象称为WriteHole。防止WriteHole的方法通常为把数据和校验和都镜像。第三十四页，共四十四页，编辑于2023年，星期三关心性能的几个主要指标顺序读带宽顺序写带宽随机读IO数（IOPS）随机写IO数（IOPS）存储性能的指标：性能除了CPU和Cache大小之外，从以下几个方面解决：主机端口数，目前业界主流为4个以上。磁盘端口数，目前业界主流为2－4个。后端是使用JBOD（环路）还是SBOD（交换）。XOR是硬件还是软件实现。第三十五页，共四十四页，编辑于2023年，星期三存储网络的发展概述存储网络基本概念几个关键问题和概念存储市场介绍第三十六页，共四十四页，编辑于2023年，星期三存储产业生态发展趋势主流厂家向软件和服务转型,通过收购方式获得核心技术硬盘供应商趋于集中独立存储厂家增长最快,成为业界领导厂商存储独立采购趋势明显单位：10亿美金第三十七页，共四十四页，编辑于2023年，星期三存储市场发展趋势27,66627,05126,21425,43124,41522,61713,66712,38911,19810,0588,9367,87534,10632,61731,16529,52827,77925,74675,43972,05768,57765,01761,13056,238020,00040,00060,00080,000200420052006200720082009存储阵列存储软件存储服务全球存储市场,2004–2009（单位:US$MM）Source IDC,2005CAGR(%)

2004–20095.811.74.1全球存储市场,包括系统、软件、服务。2005年的市场空间约为610亿美金,预计到2009年将达到750亿美金，总体年复合增长率达到5.4%。其中服务和软件的平均增长要高于硬件的平均增长水平。2005-2010年，国内存储市场复合增长率增长最高的是NAS产品（13.5%)和SAN产品（16.2%），均高于全球平均水平；而增长净值最高的分别是SAN和DAS产品国内存储产品最主要客户包括电信及媒体业、银行及金融业、政府网、制造业、教育等。第三十八页，共四十四页，编辑于2023年，星期三外部存储市场细分－SAN,NAS,DAS2006年第一季度EMC以21.8%的份额仍然位居外部磁盘存储系统市场榜首，惠普和IBM分别以17.9%和12.0%位列第二和第三。戴尔和日立分别以8.2%和8.1%跻身前五。

2006年第一季度整个网络磁盘存储系统收入超过28亿美元，年同比增长15.4%。EMC以28.7%的市场份额保持了第一的位置，惠普和IBM的市场份额分别为19.3%和10.7%。在前五强中，NetApp