存储系统主流技术比较分析

存储系统主流技术比较分析信息技术系统现已进入以数据为中心的时代，随着存储技术的不断发展和完善，企业的技术基础架构正在从以前复杂的以服务器为中心的IT架构逐渐向以数据存储为中心的方向演变。我公司目前技术系统已初步建成以SAN存储（主要为EMC的SymmetrixDMX）为核心，NAS（主要为NetAPP的FAS3170）存储为补充的多层次的存储系统架构。下面将从存储系统架构、磁盘技术、存储管理和云存储等几个方面分析存储技术在我公司技术系统的应用和发展方向。一、存储系统架构存储系统架构的发展由内置存储进化为独立的外置存储，再由直连式存储发展为网络式存储由功能单一的SAN存储网络发展为统一多功能存储目前SAN架构与IP网络也有逐渐融合的趋势。发展过程如下图所示：厂内置存储_Direct-AttachedStorage外置存储直接式存储（DAS）_Network-AttachedStorageLFabric-AttachedStorage^网络接入存储外置存储直接式存储（DAS）_Network-AttachedStorageLFabric-AttachedStorage^网络接入存储（NAS）网络存储（FAS）StorageAreaNetwork存储区域网络（SAN）1.1、内置存储与外置存储

传统的内置存储是将存储设备(通常是磁盘)与服务器其他硬件直接安装于同一个机箱之内，且该存储设备是为服务器所独占使用。外置存储既是将存储设备从服务器中独立出来，根据与服务器物理连接的方式可分为：直连式存储(Direct-AttachedStorage,简称DAS)和网络化存储(Fabric-AttachedStorage,简称FAS)；网络化存储根据传输协议又分为：网络接入存储(Network-AttachedStorage/简称NAS)和存储区域网络(StorageAreaNetwork/简称SAN)。1.2、连式存储(1.2、连式存储(Direct-AttachedStorage,DAS)直连式存储必须依赖服务器主机操作系统进行数据的IO读写和存储维护管理，所以数据备份和恢复必然占用服务器主机资源(包括CPU、系统IO等)，直连式存储与服务器主机之间的连接通道通常采用SCSI连接,带宽为10MB/S、20MB/S、40MB/S、80MB/S等，随着服务器CPU的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，SCSI通道将会成为IO瓶颈；服务器主机SCSIID资源有限，能够建立的SCSI通道连接有限。而且直连式存储无法很好的处理数据共享的需求,目前只使用于较简单的应用中。1・3、SAN与NAS使用存储网络可以提高数据存储的统一性,实现数据集中管理,且数据容易扩充并具有容错功能。针对存储网络可采取两种不同的实现手段，即SAN（StorageAreaNetworks）存储区域网络和NAS（NetworkAttachedStorage）网络接入存储。存储区域网络（SAN）采用光纤通道（FibreChannel）技术，通过光纤通道交换机连接存储阵列和服务器主机，采用SCSI、FC-AL接口，建立专用于数据存储的区域网络。网络接入存储（NAS）采用网络技术，通过网络交换机连接存储系统和服务器主机，建立专用于数据存储的存储私网。随着IP网络技术的发展，网络接入存储（NAS）技术正发生质的飞跃。随着千兆以太网（1000Mbps）的商用化，为网络接入存储（NAS）带来质的变化和市场广泛认可。由于网络接入存储采用TCP/IP网络进行数据交换，并采用业界标准文件共享协议如：NFS、HTTP、CIFS实现共享。不同厂商的产品（服务器、交换机、NAS存储）只要满足协议标准就能够实现互连互通，无兼容性的要求；目前万兆以太网（10000Mbps）的成熟和推广，存储网络带宽将大大提高NAS存储的性能。NAS和SAN最本质的不同就是文件管理系统在哪里。SAN结构中，文件管理系统（FS）还是分别在每一个应用服务器上；而NAS则是每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统。换句话说：SAN提供的是存储空间服务（磁盘）而NAS提供文件系统管理与服务（文件服务）。NAS的结构及采用的协议使得NAS具有以下优点：异构平台下的文件共享；容易安装，使用和管理都很方便，实现即插即用；广泛的连接性，可以适应复杂的网络环境；较低的总拥有成本等。但是在实际应用中NAS也表现出一些缺陷：（1）在文件访问的速度方面:NAS采用的是FileI/O方式，File的I/O请求先经过整个TCP/IP协议栈封装，再经过网络传输，再对存储设备进行读写。数据取出来之后要经过类似的与之相反的过程，这带来巨大的网络处理开销，因此NAS的文件访问速度相对SAN而言较低，不适合对访问速度要求高的应用场合，如数据库应用，在线事务处理等。2）NAS需要占用LAN的带宽，需要为NAS划分独立的存储专用网络。而SAN采用FibreChannel协议构建的专用于存储的网络。存储设备和SAN中的应用服务器之间采用BlockI/O的方式进行数据交换。独特的体系结构和构建技术使得SAN具有如下优点：高性能、高速存取，目前光纤通道可提供2Gbps-4Gbps的带宽，新的8Gbps的设备也已投入商用；集中存储和管理：可以整合各种不同的存储设备形成一个统一的存储池，向用户提供服务；可扩展：服务器和存储设备相分离两者的扩展可以独立进行;实现LAN—freebackup,数据备份不占用LAN带宽；当然SAN也有自身的缺陷：如异构环境下的文件共享方面以及较高的拥有与维护成本。1・4、IP与SAN的融合（iSCSI与FCoE）SAN（StorageAreaNetworks）是专用于存储的网络。基于FC（FibreChannel网状通道）协议的SAN是目前存储系统的主流技术。但是IP技术仍然是IT行业中最成熟、最开放、发展最迅速、成本最低、管理最方便的数据通讯方式。通过IP技术实现存储架构，可以更好的适应广域网数据应用、大规模服务器数据集中、海量数据存储等应用对新一代存储系统的要求。其中代表性技术就是iSCSI（TCP/IP上的SCSI）。iSCSI协议是一种纯粹的IP存储网络技术，它不包含任何的FC内容,iSCSI通过IP网络传输SCSI指令集，在IP网络上实现块级数据传输。iSCSI协议位于TCP/IP协议和SCSI协议之间，可以起到连接这两种协议网络的作用。2003年，以IBM等公司共同发起的iSCSI（InternetSCSI）协议，通过IETF组织的审议，公布为RFC标准。基于iSCSI协议构建的IPSAN存储，已崭露头角，成为新一代存储系统的标准，成为IT新时代围绕IP技术进行的网络与存储融合的标志性技术。我公司基础网络系统中已实现10Gb网络技术的应用，为IP存储技术在我公司存储系统中的推广建立了坚实的网络基础。且目前Citrix终端虚拟化系统已实际使用iSCSI存储技术并表现良好。随着基础网络设备的不断更新，10Gb网络技术将在我公司技术系统很快得到普及，届时IP-SAN技术也将在我公司的存储系统中成为越来越重要的组成部分。随着网络技术的高速发展，网络传输带宽正成倍增长。目前10GB正成为商用主流技术，且20Gb/s，20Gb/s甚至100Gb/s的技术标准正在制定中。而FCSAN的带宽主流仍为2-4Gb，8Gb技术正逐渐推广。传统FC在底层传输速率的发展已明显落后于以太网。为了让存储系统更好的使用以太网资源，目前已推出了FCoE（FibreChanneloverEthernet以太网光纤通道）。即将光纤通道架构运行于10Gbps增强型以太网（CEE）上,从而形成融合网络。FCoE技术标准可以将光纤通道映射到以太网，可以将光纤通道信息插入以太网信息包内，从而让服务器-SAN存储设备的光纤通道请求和数据可以通过以太网连接来传输，而无需专门的光纤通道结构，从而可以在以太网上传输SAN数据。FCoE面向的是10G以太网，其应用的优点是在维持原有服务的基础上，可以大幅减少服务器上的网络接口数量（同时减少了电缆、节省了交换机端口和管理员需要管理的控制点数量），从而降低了功耗，给管理带来方便。此外它还提高了系统的可用性。由于FCoE不使用TCP/IP协议因此FCoE数据传输不能使用IP网络。FCoE是专门为低延迟性、高性能、二层数据中心网络所设计的网络协议。FCoE协议要求底层的物理传输是无损失的。因此，厂商已经开发了针对以太网标准的扩展，尤其是针对无损10Gb以太网的速度和数据中心架构。这些扩展可以进行所有类型的传输。这些针对以太网标准的扩展被Brocade等厂商称为“融合型增强以太网（CEE）”，被思科称为“数据中心以太网（DCE）”。增强型以太网能够支持多种传输类型，包括FCoE和TCP/IP，因此许多厂商认为它将是下一代数据中心的统一架构，增强型以太网将能够将服务器和存储、IP网络以及其他服务器连接在一起，从而为集群式应用程序服务。FCoE技术被业界认为有可能将彻底颠覆存储网络架构目前的格局，成为未来主导的存储传输协议。虽然目前尚未在我公司存储系统中实际应用，但是该技术仍值得我们长期关注和了解。磁盘是存储系统的基础部件，磁盘的性能与稳定性是存储系统的重要性能指标之一。磁盘随着接口类型的不同可以分为IDE、SATA、SCSI、SAS、FC等类型。其中目前主要为外置存储设备所使用的是SATA磁盘、SAS磁盘与FC磁盘。2.1、SATA磁盘、SAS磁盘与FC磁盘SATA（SerialATA）磁盘属于高性价比磁盘，其单个磁盘容量比SAS和FC磁盘大，转速比SAS和FC磁盘低，当然价格也比后者低，因此SATA磁盘主要应用于对容量需求大或者性能要求相对不高的场合，例如视频监控、文件服务、数据备份等应用，或者小型的数据库、应用系统等。而SA（SerialAttachedSCSI即串行连接SCSI）兹盘和FC（FiberChannel，光纤通道）磁盘都属于高性能磁盘（主流转速15000转/s，主流容量300GB），主要用于对性能要求苛刻的关键核心应用。SAS和FC磁盘都是采用相同的内部结构，包括相同的物理盘片、相同的读写磁头、相同的传动装置，采用相同的读写原理。从结构上看，两者的唯一区别在于磁盘与外部系统连接的接口，SAS磁盘采用了SAS接口，FC磁盘采用了FC接口，满足不同的连接接口要求。决定磁盘性能的主要指标包括磁盘转速、缓存容量、内部数据传输率、平均寻道时间、延迟时间等，其中磁盘转速是最关键的指标。主流SAS磁盘和FC磁盘采用相同的内部结构，同时都采用15000转的转速，决定了两者绝大部分指标都相同。指标上的区别主要在于外部传输率，这是由物理接口所决定的,SAS磁盘采用了SAS接口，目前支持300MB带宽，下一代将支持600MB，FC磁盘采用了FC接口，目前最大支持400MB带宽。而实际上，受内部传输率限制，外部传输率并不会成为传输带宽瓶颈。下图是希捷15K/10K转磁盘参数表，其中把2.5寸SAS盘和3.5寸FC盘放在同一个列中，其中SS后缀表示的是2.5寸SAS磁盘，FC后缀表示的是3.5

寸FC磁盘：从中可以看出SAS盘和FC盘只要转速一样性能完全一致。Specifications900GB1600GB1450GB13OOGB1ModelNumberSTMOfflOBS航吗加70碍晋5T9800605resrMoaznsssST960010555!8T»0aZI15FCSTa450405&SST9450305&SEST9450405FCETDUHftO&SEST93OD505SS!5r9300605FCCapaeltyPormattedEH2ByiesZSectar(GB)500600450300ExternalTransferRate(MD/s)AttachedSCSI4Gb/sFibneChannelGQQ4006QD4004C0SOO400PerformanceSpindleSpeed(HPM)1dK10K10K10KAverageLatency(ms}9.09.03.03.0SeekTuneAverageHead/WriiB(ms)Track-tD4raEkRead/Mfrite(ms)9.7/4.10.2/0J9.4/9.B0.2/0.43.4/3.00.2/DJM弭0.2/0JSustainedTransferRateOutertnInnerDiameterCache,MuNisegmEnted(M6)IMtaDl641GBtooa64IBBtoflS641G0taQ9&4目前我公司存储系统仍以FC磁盘为主，部分采用了SATA磁盘。但是随着将SATA技术和SCSI技术有机结合的SAS技术的逐步成熟和速度的提高，SAS磁盘将成为传统HDD硬盘的主流产品。与FC磁盘相比，SAS盘主要好处有以下几点：在兼容性方面，SAS技术了简化内部连接的设计，通过共用组件降低设计成本。为保护用户投资，SAS的接口技术可以向下兼容SATASAS系统的背板既可以连接具有双端口、高性能的SAS驱动器也可以连接高容量、低成本的SATA驱动器。在成本方面，SAS的相对于FC更是明显。SAS产品的成本从芯片级开始，都远远低于FC，而正是因为SAS突出的性价比优势，使SAS在硬盘接口领域，给光纤存储带来极大的威胁。与FC相比，SAS不仅成本更加低廉，而且还能更有效地处理故障。SAS在

组件层次上对故障进行报告。FC无法在组件层次上报告故障，只能对环路层次上的故障进行报告，这就意味着对故障进行纠正需要更长的时间，从而使可用性水平下降与SAS技术相比，FC技术唯一的优势就是连接距离。在SAS规范里面并没有严格限定线缆长度，而是靠发送水平和接收敏感度来考察，制造商通过检测线缆特性来判定其所能达到的距离——高质量线缆可以连接得更远，当然成本也更高。现在SAS线缆连接距离的要求已经提高到8米，通过3个扩展器之后，SAS的连接距离能够超过32米，足以应付机内存储设备连接和近距离DAS的要求了。而FC是傲人的10公里传统的HDD（HardDiskDrive）硬盘由干机械架构的存在，其主轴转速基本已没有太大的提高空间，而且硬盘相应的发热噪音和寿命问题是难以解决的问题。在HDD硬盘遭遇性能瓶颈时，SSD（SolidStateDisk）固态硬盘却以其速度较快、防震及耗电量较少等优势，拥有着极为广阔的发展前景。固态硬盘也称作电子硬盘或者固态电子盘，是由控制单元和固态存储单元（DRAM或FLASH芯片）组成的硬盘。固态硬盘的接口规范和定义、功能及使用方法上与普通硬盘的相同，在产品外形和尺寸上也与普通硬盘一致。由于固态硬盘没有普通硬盘的旋转介质，因而抗震性极佳。而且其芯片的工作温度范围很宽（-40-85°C）。固态硬盘的存储介质分为两种，一种是采用闪存（FLASH芯片）作为存储介

质，另外一种是采用DRAM作为存储介质。基于闪存的固态硬盘采用FLASH芯片作为存储介质，这也是我们通常所说的SSD。它最大的优点就是可以移动，而且数据保护不受电源控制，能适应于各种环境，但是使用年限不高，适合于个人用户使用。在基于闪存的固态硬盘中，存储单元又分为两类：SLC（SingleLayerCell单层单元）和MLC（Multi-LevelCell多层单元）。两者特性及区别如下图示：MLCFlsshBinaryFlashMLCFlsshM=5rgBa«B_n0Huzlwgct-m豈M=5rgBa«B_n0Huzlwgct-m豈FeaturefiMLCSLCBitspercell21End.urance(Erase/Writeeyeles.)about10Kabout100KRea匚servicetime129U538usWriteservicedine(Avg)那幷U5377us.BlockEra(Avg)4,500LHJs400lsSLC全称是单层