存储基础知识-20140404

存储基础知识目录存储系统02存储网络架构03信息存储硬盘接口技术存储的基本原理01什么是存储信息我们感知的形象世界是由信息组成，而不是物质。数据用来描述信息的信息目的是为了以一种通用的方式对信息进行传递、保存和读取存储保存、读取以及管理数据的方法硬盘现如今，磁存储技术是数据存储的主要手段，而目前主流的海量存储介质，即是硬盘。大容量易擦写成本适中SSD存储选数管（Selectrontube）是数字计算机存储设备的一种早期形式。选数管是在弗拉基米尔·佐利金（以发明电视机知名）的指导下，由JanA.Rajchman和他的团队在RCA公司研发的。在磁芯记忆体开始广泛流行之前，选数管的开发团队并未能够生产出可用于商业的选数管，因此，直到今天，选数管在应用上仍然不为大多数人了解。闪存闪存技术是1984年日本东芝公司最先发明。SSD

固态硬盘（SolidStateDisk、IDEFLASHDISK）是由控制单元和存储单元（FLASH芯片）组成，简单的说就是用固态电子存储芯片阵列而制成的硬盘目录存储系统02存储网络架构03信息存储硬盘接口技术存储的基本原理01硬盘主轴下面是轴承和马达磁头停泊区磁头永磁铁传动轴机械传动架构成为了目前单磁盘性能的主要瓶颈。磁盘硬盘磁盘0盘面1盘面0号读写头1号读写头

磁道格式化划分多个同心圆（磁道），由外到内从0开始编号启停区最内圈，不保存数据，磁头最初停在启停区扇区磁道划分为角速度一致的一段段圆弧，从1编号外圈数据读写要快于内圈扇区是最小的读写单位扇区内部数据是连续流式记录

柱面所有盘面的同一磁道，构成一个柱面，每个磁头由上到下从0开始编号数据读写按照柱面进行：只需切换磁头（电子方式），避免寻道

盘面每个盘片有2个盘面，都可以存储数据，称为有效盘面。编号从0开始磁头号有效盘面号，每个有效盘面对应一个读写磁头硬盘磁盘驱动器

磁盘驱动器负责解析通用指令，控制磁头在盘片上进行寻址与读写操作。硬盘的主要性能指标（1）硬盘类型容量转数SAS300GB/600GB/900GB10000/15000RPMSATA1TB/2TB/3TB(/4TB）7200RPMNL-SAS1TB/2TB/3TB(/4TB）7200RPMFC300GB/450GB15000RPM目前典型的硬盘硬盘接口的类型主轴转速：决定磁盘内部数据传输率的决定因素之一IOPS

(Input/OutputPerSecond)即每秒的输入输出量(或读写次数)寻道时间、旋转延时、数据传输时间寻道时间：磁盘盘面上磁头移动到目的数据所在磁道的平均时间（ms级）旋转延时：磁头移动到目的数据所在磁道后，等待数据块继续转动到磁头下的平均时间（ms级）数据传输时间：磁头找到目的数据的平均时间，一般等于平均寻道时间、平均潜伏时间之和一次IO的时间=寻道时间+旋转时延+数据传输时间硬盘的主要性能指标（2）目录存储系统02存储网络架构03信息存储硬盘接口技术存储的基本原理01接口技术ParallelATA：并行ATA接口IDE

=ATAIDE：IntegratedDriveElectronics电子集成驱动器ATA：AdvancedTechnologyAttachmentATAPATA ParallelATA：并行ATA接口价格低廉、兼容性强共有7个版本的ATA接口规范，最高规格ATA133，传输速度133MB/s硬伤：随着频率提升，交叉干扰、地线增多、信号混乱接口技术SATA磁盘接口：串行ATA接口SerialATA：串行传输ATA。2003年发布SATA1.0规范Intel2000年提出ATAPATA SATASATA1.0规范(Seagate2001)优点：传输性能高（150MB/s）、数据可靠性高、节省空间、利于散热、线缆串扰低缺点：在多任务、多请求的典型服务器环境中，性能大幅下降；可维护性、可连接性不好（一个接口只能连接1个设备）SATA2.0规范：传输速率3Gb/s（相当于300MB/s接口速率）支持NCQ：NativeCommandQueue自身命令队列端口选择器：具有PortSelector的SATA硬盘对外有2个SATA接口端口复用器：一个控制器上扩展多个SATA设备（最多15个----和并行SCSI一样）服务器特性：交错启动功能、温控控制、风扇控制、环境管理；背板互联、热插拔等接口和连线的强化：eSATA（外部设备的SATA接口），目的取代USB、IEEE1394。接口技术SCSI：SmallComputerSystemInterface，一种总线接口，具备和多种类型外设的通信特点/优点：多任务、带宽大、CPU占有率低、支持热插拔；性能高，单通道支持多个设备（最多16个）发展历程：SCSI-I/2UltraSCSI/Ultra2SCSI/Ultra160SCSI/Ultra320SCSI（传输速率320MB/s）ATASCSISCSI协议SCSI包含指令集和完整的数据传输协议物理层：总线链路层：使用CRC校验帧网络层：完成寻址功能编址方式：SCSIID（0~15）：SCSI控制器（7），优先级最高寻址方式：控制器通道SCSIIDLUN寻址机制：空闲阶段、仲裁阶段（总线结构）、选择阶段SCSI3开始，将指令和底层传输的分离；可以将SCSI指令承载在在其他链路之上接口技术SAS磁盘接口：SerialAttachedSCSI2002年提出SAS可直接兼容SATA接口硬盘ATASCSISASSAS串行SCSI协议(SSP)用于传输SCSI命令；SCSI管理协议(SMP)用于对连接设备的维护和管理；SATA通道协议(STP)用于SAS和SATA之间数据的传输支持宽端口(多端口并联聚合)：传输带宽可达12Gb/s（SAS1.0）铜缆：<8m（1.0）,<15m（2.0）接口技术FC接口FibreChannel：网状通道，是1988年由惠普、SUN和IBM等公司组成的R&D实验室提出的，为包括IP数据网在内的骨干网使用的高速网络协议。完整的一套协议，功能强大、光纤长距离连接ATASCSIFC目录存储网络架构03存储系统结构RAID技术存储的基本原理01存储系统02

存储系统的逻辑结构前端缓存(Cache)后端硬盘存储网络存储系统存储系统（智能存储系统）包括：前端高速缓存后端物理硬盘缓存技术工作模式前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓存CPUCPU后端总线读缓存

写缓存主机写入数据流反馈写OKWrite-back回写主机写入数据流反馈写OKWrite-through透写磁盘缓存技术FC或IP(GE)缓存(Cache)CPUCPU后端总线磁盘FC或IP(GE)缓存(Cache)CPUCPU后端总线Cache电池FC或IP(GE)缓存(Cache)CPUCPU后端总线阵列内置UPS三种常见控制器Cache保护设计电池保护Cache内置UPS保护控制器外置UPS保护整机阵列外置UPS缓存技术——缓存镜像前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓存CPUCPU后端总线读缓存写缓存1、主机数据写入缓存；2、缓存数据进行异或运算，产生校验数据；控制器缓存镜像前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓存CPUCPU后端总线读缓存写缓存1、主机数据写入缓存；2、缓存数据进行异或运算，产生校验数据；3、将校验数据添加到缓存；控制器缓存镜像前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓存CPUCPU后端总线读缓存写缓存1、主机数据写入缓存；2、缓存数据进行异或运算，产生校验数据；3、将校验数据添加到缓存；4、将缓存数据复制到目标控制器；5、目标控制器处理完数据和校验数据返回消息；6、源控制器返回主机消息，操作完毕。OK存储系统的结构——控制器前端后端存储系统的结构——双控制器后端共享PCIe或其他总线通信避免单点故障

双控制器工作方式

ActiveStandbyActiveActive存储系统的结构——主柜+扩展柜主柜扩展柜存储系统的结构——盘阵+盘柜目录存储网络架构03存储系统结构RAID技术存储的基本原理01存储系统02RAID的技术背景需要一个空间超大硬盘，怎么办？单块磁盘容量有限SCSI控制器只能支持15个SCSIID磁盘坏掉，怎么办？数据安全性差单磁盘性能（IOPS、吞吐量）不够，怎么办？磁盘之间协作较差RAID的定义RAID：Redundant

ArrayofIndependentDisks独立磁盘冗余阵列：将多个硬盘通过RAID控制器结合成虚拟单个大容量的硬盘使用，从而提高了硬盘的读写性能和数据安全性。1987年由加州大学伯克利分校提出。可解决空间、数据保护、性能问题RAID出现的原因计算机发展初期，大容量硬盘价格非常高，而需要存储的数据量越来越大容量性能CPU运算速度飞速提高，数据读写速度不应该成为计算机系统处理的瓶颈信息时代，数据对企业和个人的重要性越来越大，数据存储安全更需要保障RAID可靠性RAID的级别根据不同的组合方式可以分为不同的RAID级别。RAID0数据条带化，无校验RAID1数据镜像，无校验RAID2海明码错误校验及校正RAID3数据条带化读写，校验信息存放于专用硬盘RAID4单次写数据采用单个硬盘，校验信息存放于专用硬盘RAID5数据条带化，校验信息分布式存放RAID6数据条带化，分布式校验并提供两级冗余RAID的扩展级别同时采用两种不同的RAID方式还能组合成新的RAID级别RAID0+1先做RAID0，后做RAID1，同时提供数据条带化和镜像RAID10类似于RAID0+1，区别在于先做RAID1，后做RAID0RAID50先做RAID5，后做RAID0，能有效提高RAID5的性能RAID基本概念—条带分条条带

硬盘0硬盘2硬盘1硬盘3RAID基本概念—校验异或运算P=A0XORA1数据A0和A1通过异或运算进行奇偶校验得到校验位PA0值A1值P值000101011110表1-3异或XOR的校验原理

A1A0P数据盘数据盘校验盘RAID基本概念—重建(rebuild)数据盘A1A0PA0A1PXOR故障数据盘校验盘A2A2XOR数据盘更换RAID基本概念—RAID组状态RAID组正常工作RAID组降级RAID组重建RAID组创建RAID组失效RAID的基本概念—物理卷物理磁盘物理卷（RAID）RAID由几个硬盘组成，从整体上看相当于一个物理卷RAID的基本概念—逻辑卷物理磁盘逻辑卷物理卷（RAID）LUN1LUN2LUN3分割在物理卷的基础上可以按照指定容量创建一个或多个逻辑卷，通过LUN（LogicUnitNumber）来标识RAID级别-RAID0RAID0即没有容错设计的条带硬盘阵列(StripedDiskArraywithoutFaultTolerance)，以条带形式将RAID组的数据均匀分布在各个硬盘中。DHLCGKBFJABCDEFGH数据……AEI极高的读写效率速度快，由于不存在校验，所以不占用CPU资源部署简单优点不适合用于关键数据环境无冗余，通常和其他RAID级别混合使用缺点2最小硬盘数RAID级别-RAID1RAID1又称镜像，数据同时一致写到主硬盘和镜像硬盘提供了很高的数据安全性和可用性100％的数据冗余设计、使用简单不作校验计算，CPU占用资源少优点空间利用率只有1/2相对于单个硬盘，无法提高写性能缺点2最小硬盘数EDCBAEDCBAABCDE……=数据RAID级别-RAID3RAID3即带有校验的并行数据传输阵列数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据。数据分布式存储在连续的硬盘上，具有较高的读速率，适合大文件连续读操作的应用如果有一个硬盘损坏，数据的有效性没有影响优点校验盘是整个硬盘阵列系统的瓶颈有数据盘故障时，每次读操作时都需要进行校验计算，读性能大幅度下降缺点3最小硬盘数D0C0B0A0D1C1A1B1D2C2A2B2PDPCPAPBABCD……异或运算数据盘校验盘……P4A3A2A1A0B4P3B2B1B0C4C3P2C1C0D4D3D2P1D0E4E3E2E1P0异或运算A0B0C0D0A1B1C1E1A2B2D2校验信息Px分布式存储数据RAID级别-RAID5RAID5

RAID5与RAID3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬盘上，是最常用的RAID方式之一。高读取速率，中等写速率提供一定程度的数据安全优点RAID组里单块硬盘的故障，会导致其他硬盘读写性能大幅度下降缺点3最小硬盘数QEB5C34D4P4……P3A2A1A0QDP2B1B0C3QCP1C0D3D2QBP0E3E2E1QA异或运算A0B0C0A1B1E1A2D2E2校验信息P+Q分布式存储数据RAID级别-RAID6RAID6使用2个校验盘，采用不同的校验方式P0=A0xorB0xorC0;P1=A1xorB1xorE1;……QA=A0xorA1xorA2;QB=B0xorB1xorB5;……可以同时允许两块硬盘失效优点磁盘利用率比RAID5更低校验计算复杂，对控制器性能消耗很大，增加系统负载出现硬盘失效时，RAID重建时对系统性能影响更大，并且重建时间长缺点4最小硬盘数RAID级别-RAID10、RAID01RAID10先做RAID1镜像对再做RAID0

应用比较广泛ABCDEFGHAACBBCDDEEFFGGHHABCDEFGHABCDEFGHABCDEFGHRAID01先做RAID0再做RAID1

失效概率更高RAID10RAID01RAID级别-RAID50RAID50第一级是RAID5第二级为RAID0P13F1A2P02A1A0B2B1P01B0P03C1C0P00异或运算A0B0D0E0A1C0D1F0B1……C1D2P12D1D0E2E1P11E0F0P10硬盘0硬盘1硬盘2硬盘3硬盘4硬盘5异或运算RAID的比较和选择性能可靠性成本RAID0RAID6RAID5RAID10RAID1RAID硬盘失效处理热插拔：HotSwap热备：HotSpare定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性全局式：备用硬盘为系统中所有的冗余RAID组共享专用式：备用硬盘为系统中某一组冗余RAID组专用定义：在不影响系统正常运转的情况下，用正常的硬盘物理替换RAID系统中失效硬盘关键在于热插拔时电子器件的保护机制磁盘1磁盘2磁盘3热备盘磁盘4磁盘5磁盘6RAID5RAID5磁盘阵列全局热备示例该热备盘由系统中两个RAID组共享，可自动顶替任何一个RAID中的一个失效硬盘目录DAS（DirectAttachedStorage）SAN（StorageAreaNetworks）NAS(NetworkAttachedStorage)存储的基本原理01存储系统02存储网络架构03独立宣言DAS

SCSI、SASFC服务器阵列磁带机光盘库DAS：

DirectAttachedStorage直连附加存储器通过SCSI、SAS、FC接口连接服务器为核心，不直接连入网络独立宣言：DAS磁盘置于服务器机箱外部，存储系统只是扩展了机箱大小，安装更多块硬盘。JBOD(justabunchofdisks)——就是一坨硬盘

简单磁盘簇，官方术语称作“Spanning”，在逻辑上把几个物理磁盘一个接一个串联到一起，从而提供一个大的逻辑磁盘。应用程序目录层文件系统卷LUN磁盘/RAID控制器物理磁盘内存通信内存通信内存通信IO总线通信总线通信最终通道服务器主机物理磁盘物理磁盘磁盘柜JBODDiskCERPServerDiskBExchangeServerDiskAFileServerDAS优点

低费用使用简单容易安装价格相对较低缺点不能共享连接距离有限升级困难缺乏较好的高可用性维护复杂

适宜于小型机构的存储解决方案目录DAS（DirectAttachedStorage）SAN（StorageAreaNetworks）NAS(NetworkAttachedStorage)存储的基本原理01存储系统02存储网络架构03基于网络的SCSISCSI允许连接设备数量较少SCSI连接设备距离非常有限

？基于网络的SCSIFCSANIPSANFCPiSCSI如何解决FCoE

SANSAN(StorageAreaNetwork)

独立于LAN的服务器后端存储专用网络FCSANFibreChannel有三种拓扑结构:FibreChannel（FC）是1988年由惠普、SUN和IBM等公司组成的R&D实验室提出的1994年由ANSI标准化组织制订，是一种适合于千兆位数据传输通信的网络技术。点对点仅2个设备仲裁环最多126个设备交换式FC网络（Fabric）最多1600万个设备客户机LAN(局域网)广域网Fabric=第二网“Fabric”是一个由智能光纤通道交换机构成并具有良好系统设计的高智能网络,。可以提供企业级的性能、扩展能力、可管理能力、可靠性和高可用能力，我们称之为：SAN服务器存储子系统第一网FC

SAN存储区域网（第二网）应用程序目录层文件系统卷LUNFC协议控制器物理磁盘内存通信内存通信内存通信IO总线通信FC协议通信服务器主机物理磁盘物理磁盘磁盘阵列控制器(LUN)FC

SAN优点

高性能：出世就有1G的带宽低开销：FC首部简洁高效，仅24字节高可靠性：有基于信用方式的buffertobuffer以及端到端的流控机制基于链接的传输：链路级点对点链接FLOGI和传输级端到端链接PLOGI缺点高成本：专用设备及软件低兼容性：与IP以太网等几乎不兼容，甚至不同厂家的FC设备之间都存在兼容性问题。人员技术水平要求高：FC相对IP协议更小众，人员一般需要专项培养iSCSI(InternetSCSI)——可以Internet上传输SCSI的协议2003年2月，IEIF(互联网工程任务小组）正式发布标准协议:iSCSI协议。2005年，IBM、EMC、NetApp和Dell等存储大厂纷纷推出了相关的iSCSI硬盘产品IPSANGbitEthernet操作系统千兆网卡或iSCSIHBA

主机文件系统iSCSI设备驱动FCorSCSI存储设备iSCSI交换机将iSCSI包转换成标准SCSI命令与物理存储设备间进行数据的传输及交换19801993199920022012以太网10M100M1000M10G40/100GFC1G2G4G8/16G32/64G以太网的发展，成为SAN架构的转折点显然从性能上看，以太网起点低于FC，但其10倍的发展速度，远高于FC两倍的速度，如今更是把FC甩在了后头IPSANiSCSI使用通用的TCP/IP+以太网的黄金搭档，有着无以伦比的兼容性和低成本，速度占领了SAN的低端市场，并不断与FC争夺中端。IPSANHostsIPNetworkClients存储设备IPSAN优点

可连接性能超群，基于现有以太网络架构，可自然扩充到LAN、MAN、WAN，是远程数据传输的最佳方案。提供与FC同级别的高可用可加强的性能及高可用性、扩展性虚拟存储与集中管理，易于整合低整体成本超远传输距离，未来万兆以太网的前景缺点不低的先期成本投入协议尚未最后定稿目前带宽依然还不如FC通道

基于文件和数据块的高中端存储解决方案IPSAN的速度扩张，让FC架构感到了压力。FCSAN必须与IPSAN逐鹿中原，以压制IPSAN的市场侵食。FCoESANFCoESAN以太网需要提供可靠的链路级传输保障机制2007年4月，包括博科、思科、EMC、Emulex、Nuova和QLogic在内的多家厂商向美国国家标准协会(ANSI)T11委员会提案，创建一种被称为以太网光纤通道(FCoE)的新技术标准。目录DAS（DirectAttachedStorage）SAN（StorageAreaNetworks）NAS(NetworkAttachedStorage)存储的基本原理01存储系统02存储网络架构03NAS66应用程序目录层文件系统卷LUN磁盘控制器物理磁盘内存通信以太网通信内存通信IO总线通信SCSI总线通信服务器主机物理磁盘物理磁盘NAS

(NetworkAttachedStorage)

网络附加存储NAS可看作网络中的文件系统解放服务器的计算资源，分散到各NAS设备中，瘦主机。使用NFS、CIFS等网络文件系统协议，通过以太网链路传输目录层指令适合CPU密集型的环境NAS设备NAS混合网络环境中的NAS应用Workwith:NFS=NetworkFileSystemCIFS=CommonInternetFileSystemIPNetworkNASControllerHostsDisksubsystemSharedInformationNAS优点

容易安装，维护