磁盘性能评价指标

目录TOC\o"1-5"\h\z\o"CurrentDocument"一、磁盘I/O的概念1二、性能评价指标2\o"CurrentDocument"IOPS与吞吐量的关系2\o"CurrentDocument"三、I/O读写的类型5\o"CurrentDocument"大/小块I/O5\o"CurrentDocument"连续/随机I/O5\o"CurrentDocument"顺序/并发I/O5\o"CurrentDocument"四、磁盘I/O性能的监控6topas6\o"CurrentDocument"nmon7五、磁盘I/O性能调优7\o"CurrentDocument"确认磁盘I/O存在性能问题7一、磁盘I/O的概念I/O的概念，从字义来理解就是输入输出。操作系统从上层到底层，各个层次之间均存在I/O。比如，CPU有I/O,内存有I/O,VMM有I/O,底层磁盘上也有I/O,这是广义上的I/O。通常来讲，一个上层的I/O可能会产生针对磁盘的多个I/O,也就是说，上层的I/O是稀疏的，下层的I/O是密集的。磁盘的I/O,顾名思义就是磁盘的输入输出。输入指的是对磁盘写入数据，输出指的是从磁盘读出数据。我们常见的磁盘类型有ATA、SATA、FC、SCSI、SAS，如图1所示。这几种磁盘中，服务器常用的是SAS和FC磁盘，一些高端存储也使用SSD盘。每一种磁盘的性能是不一样的。10seivic^tirtnes"i■屯prfcia.Tiir^idi+rotafeonaflatency10seivic^tirtnes"i■屯prfcia.Tiir^idi+rotafeonaflatency+time-FC-SkS一性能评价打杼.物理磁盘的架构以及常见磁盘类型SAN(StorageAreaNetwork,存储区域网络)和NAS存储(NetworkAttachedStorage,网络附加存储)一般都具备2个评价指标：IOPS和带宽(throughput)，两个指标互相独立又相互关联。体现存储系统性能的最主要指标是IOPS。下面，将介绍一下这两个参数的含义。IOPS(Input/OutputPerSecond)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，I/。请求通常为读或写数据操作请求。随机读写频繁的应用，如OLTP(OnlineTransactionProcessing),IOPS是关键衡量指标。另一个重要指标是数据吞吐量(Throughput),指单位时间内可以成功传输的数据数量。对于大量顺序读写的应用，如VOD(VideoOnDemand),则更关注吞吐量指标。简而言之：磁盘的IOPS,也就是在一秒内，磁盘进行多少次I/O读写。磁盘的吞吐量，也就是每秒磁盘I/O的流量，即磁盘写入加上读出的数据的大小。IOPS与吞吐量的关系每秒I/O吞吐量=IOPS*平均I/OSIZE。从公式可以看出：I/OSIZE越大，IOPS越高，那么每秒I/O的吞吐量就越高。因此，我们会认为IOPS和吞吐量的数值越高越好。实际上，对于一个磁盘来讲，这两个参数均有其最大值，而且这两个参数也存在着一定的关系。IOPS可细分为如下几个指标：ToatalIOPS，混合读写和顺序随机I/O负载情况下的磁盘IOPS，这个与实际I/O情况最为相符，大多数应用关注此指标。RandomReadIOPS，100%随机读负载情况下的IOPS。RandomWriteIOPS，100%随机写负载情况下的IOPS。SequentialReadIOPS，100%顺序读负载情况下的IOPS。SequentialWriteIOPS，100%顺序写负载情况下的IOPS。下图为一个典型的NFS测试结果：TestNameAvJ.I0petAvij.MBpMTimeSecondSecondM珂Throughput-100%Read17,1日3,494.46109.20RealLife-60%F?and/65%121.86480.813.7SReadMaxThroughput-50%Reari12774,718.29U7.45Random8K-70%Peal123.41473.173.74IOPS的测试benchmark工具主要有Iometer,IoZone,FIO等，可以综合用于测试磁盘在不同情形下的IOPS。对于应用系统，需要首先确定数据的负载特征，然后选择合理的IOPS指标进行测量和对比分析，据此选择合适的存储介质和软件系统。IOPS计算公式对于磁盘来说一个完整的IO操作是这样进行的：当控制器对磁盘发出一个IO操作命令的时候，磁盘的驱动臂(ActuatorArm)带读写磁头(Head)离开着陆区(LandingZone，位于内圈没有数据的区域)，移动到要操作的初始数据块所在的磁道(Track)的正上方，这个过程被称为寻址(Seeking)，对应消耗的时间被称为寻址时间(SeekTime);但是找到对应磁道还不能马上读取数据，这时候磁头要等到磁盘盘片(Platter)旋转到初始数据块所在的扇区(Sector)落在读写磁头正上方的之后才能开始读取数据，在这个等待盘片旋转到可操作扇区的过程中消耗的时间称为旋转延时(RotationalDelay);接下来就随着盘片的旋转，磁头不断的读/写相应的数据块，直到完成这次IO所需要操作的全部数据，这个过程称为数据传送(DataTransfer)，对应的时间称为传送时间(TransferTime)。完成这三个步骤之后一次IO操作也就完成了。在我们看硬盘厂商的宣传单的时候我们经常能看到3个参数，分别是平均寻址时间、盘片旋转速度以及最大传送速度，这三个参数就可以提供给我们计算上述三个步骤的时间。第一个寻址时间，考虑到被读写的数据可能在磁盘的任意一个磁道，既有可能在磁盘的最内圈(寻址时间最短)，也可能在磁盘的最外圈(寻址时间最长)，所以在计算中我们只考虑平均寻址时间，也就是磁盘参数中标明的那个平均寻址时间，这里就采用当前最多的10krmp硬盘的5ms。第二个旋转延时，和寻址一样，当磁头定位到磁道之后有可能正好在要读写扇区之上，这时候是不需要额外额延时就可以立刻读写到数据，但是最坏的情况确实要磁盘旋转整整一圈之后磁头才能读取到数据，所以这里我们也考虑的是平均旋转延时，对于10krpm的磁盘就是(60s/10k)*(1/2)=2ms。第三个传送时间，磁盘参数提供我们的最大的传输速度，当然要达到这种速度是很有难度的，但是这个速度却是磁盘纯读写磁盘的速度，因此只要给定了单次IO的大小，我们就知道磁盘需要花费多少时间在数据传送上，这个时间就是IOChunkSize/MaxTransferRate。现在我们就可以得出这样的计算单次IO时间的公式。IOTime=SeekTime+60sec/RotationalSpeed/2+IOChunkSize/TransferRate于是我们可以这样计算出IOPSoIOPS=1/IOTime=1/(SeekTime+60sec/RotationalSpeed/2+IOChunkSize/TransferRate)对于给定不同的。大小我们可以得出下面的一系列的数据4K(1/7.1ms=140IOPS)5ms+(60sec/15000RPM/2)+4K/40MB=5+2+0.1=7.18k(1/7.2ms=139IOPS)5ms+(60sec/15000RPM/2)+8K/40MB=5+2+0.2=7.216K(1/7.4ms=135IOPS)5ms+(60sec/15000RPM/2)+16K/40MB=5+2+0.4=7.432K(1/7.8ms=128IOPS)5ms+(60sec/15000RPM/2)+32K/40MB=5+2+0.8=7.864K(1/8.6ms=116IOPS)5ms+(60sec/15000RPM/2)+64K/40MB=5+2+1.6=8.6从上面的数据可以看出，当单次IO越小的时候，单次IO所耗费的时间也越少，相应的IOPS也就越大。上面我们的数据都是在一个比较理想的假设下得出来的，这里的理想的情况就是磁盘要花费平均大小的寻址时间和平均的旋转延时，这个假设其实是比较符合我们实际情况中的随机读写，在随机读写中，每次IO操作的寻址时间和旋转延时都不能忽略不计，有了这两个时间的存在也就限制了IOPS的大小。现在我们考虑一种相对极端的顺序读写操作，比如说在读取一个很大的存储连续分布在磁盘的的文件，因为文件的存储的分布是连续的，磁头在完成一个读IO操作之后，不需要从新的寻址，也不需要旋转延时，在这种情况下我们能到一个很大的IOPS值，如下。4K(1/0.1ms=10000IOPS)0ms+0ms+4K/40MB=0.18k(1/0.2ms=5000IOPS)0ms+0ms+8K/40MB=0.216K(1/0.4ms=2500IOPS)0ms+0ms+16K/40MB=0.432K(1/0.8ms=1250IOPS)0ms+0ms+32K/40MB=0.864K(1/1.6ms=625IOPS)0ms+0ms+64K/40MB=1.6相比第一组数据来说差距是非常的大的，因此当我们要用IOPS来衡量一个IO系统的系能的时候我们一定要说清楚是在什么情况的IOPS，也就是要说明读写的方式以及单次IO的大小，当然在实际当中，特别是在OLTP的系统的，随机的小IO的读写是最有说服力的。另外，对于同一个磁盘(或者LUN)，随着每次I/O读写数据的大小不通，IOPS的数值也不是固定不变的。例如，每次I/O写入或者读出的都是连续的大数据块，此时IOPS相对会低一些；在不频繁换道的情况下，每次写入或者读出的数据块小，相对来讲IOPS就会高一些。也就是说，IOPS也取决与I/O块的大小，采用不同I/O块的大小测出的IOPS值是不同的。对一个具体的IOPS,可以了解它当时测试的I/O块的尺寸。并且IOPS都具有极限值，表1列出了各种磁盘的IOPS极限值。表1.常见磁盘类型及其IOPSDevicseTyp.IntenfsioieNotes-7,200rpmKATAdnv^&MOOSATA3GW纭1rpmsaTAdrivesS/XT/XWG&/S1a.ooctrpmsasanveskiDDIORSESAS15,000rpmSASdlnvcsHDD-175-210IOPS[aiSAS如WK>PSIfWlMifmzLe钢ss?550WAJGtiSSD7.心iops1'--■SATA3Gfc>tGEic：PhMfldfF*aSSDECOOlOFSi—■SAXSGMOCZ-Vrai:S50浙tnSOXJMlOPS、■SAWGfrXTaxisSgm电nSiNfl55Dlifl.DOCrRirdcrtiHgTgfOeS5D】/.0K向Jg中宝134■.戳1^ltlAgmfits|UmNOa浏33.WC叫湘g。R&ftCCRSuung^*1«虹网3M.做ti^S4屈MowsSSDESYE心心吵:站Z>vgSS&:W.CM^iOPB-^说JM.GK*内W呼研QPS114网&Hf.lzpjn牛；KS>eFQjibk-finituTK!tlA£OWk-.wX1.KJftdEMQi!A；-；3Ri-ri-jfrSMIUJ*'—11*"忑-iiIms■网RjihSsjv7205SDdffiJ.OK4KBF攻i初Ml如t®心繇KFC；nUiLiBjrnJ8EWg知肘令"企Z-C-vtFH临tniirtaaW’hi松i七Ufrfrg§舟elsrSassso1.0QCDOjiiKB.HMifcSffiR4M.lv-It-市匚：宿niEd明白FuimigcjOmQcIj!年住*"1JKW3*箕珂5■EgIgn82云翎*53去MwE由旧工细igig=；心TtosIwtffKMVSysie™志nSar>705S&1,迎DMR*HYlf仰牌砂fC€三、I/O读写的类型大体上讲，I/O的类型可以分为：读/写I/O、大/小块I/O、连续/随机I/O,顺序/并发I/O。在这几种类型中，我们主要讨论一下：大/小块I/O、连续/随机I/O,顺序/并发I/O。大/小块I/O这个数值指的是控制器指令中给出的连续读出扇区数目的多少。如果数目较多，如64,128等，我们可以认为是大块I/O；反之，如果很小，比如4,8,我们就会认为是小块I/O,实际上，在大块和小块I/O之间，没有明确的界限。连续/随机I/O连续I/O指的是本次I/O给出的初始扇区地址和上一次I/O的结束扇区地址是完全连续或者相隔不多的。反之，如果相差很大，则算作一次随机I/O连续I/O比随机I/O效率高的原因是：在做连续I/O的时候，磁头几乎不用换道，或者换道的时间很短；而对于随机I/O,如果这个I/O很多的话，会导致磁头不停地换道，造成效率的极大降低。顺序/并发I/O从概念上讲，并发I/O就是指向一块磁盘发出一条I/O指令后，不必等待它回应，接着向另外一块磁盘发I/O指令。对于具有条带性的RAID(LUN)，对其进行的I/O操作是并发的，例如：raid0+1(1+0),raid5等。反之则为顺序I/O。

四、磁盘I/O四、磁盘I/O性能的监控III监控磁盘的I/O性能，我们可以使用AIX的系统命令，例如：sar-d,iostat,topas,nmon等。下面，我将以nmon和topas为例，讲述在系统中如何观察磁盘I/O的性能。topas登录AIX操作系统，输入、topas，然后按D，会出现如下界面：Toj)«KcrniCor1Eorhost;pTM_01_2ManDm1916;58sZ6sonDisk如邱&KBPSTP'SRB-RARTjtarKB-UAMTJtliTAOVUdistaSPO78.0KIS-50.00.00.0"7S,0K20.365■-1S.S«j.riPR4。APD.DQ.DOaq*『口A口hdistel0.00.00.00.00-00.0o„oa.o0.00.0o.ahxUg0.DD.D□.00,00.00.00,0a.o氏口0.00,0hdistes□<3q0.D0.0oao。■口6□a.o0.□n,ahdisfe4D.O2OR0.50.0o.a0.02.OK0.90.9o.eo.a在上图中，TPS即为磁盘的IOPS，KBPS即为磁盘每秒的吞吐量。由于服务器处于空闲的状态，我们可以看到IOPS，KBPS的数据都非常低。我们使用ddif命令向磁盘hdisk2发读I/O，block大小为1MB：野if=/dev/rlidisteSaf=/dev/nullbs=1024k£tl)利用topas进行监控:TopicsHanitcic心96;：pFIQJ)Lhi日姑取■*2MenDM15n；O3i3O2011&iskSij3^EBPSTP5KE-RARTKRTKB-M3k«THWTAQU93.51S3.9H653.S163.9K3,3«obd0,00,0Bdfk寸O.S4.OK1.00-0O.00.0W・OK?.S0.00.0hdrski□.DL。aa□D.DO.□0.DCL□Oi.D0,0□.DMi9K3Q.QQ.OQ.Qo.a■QQ.Q■QOiCc.aQ.Qhdisk^0.00.0G.0©«BG.00.BG.0ft.OC.B6.00.G也umq0.0a.oDjdO.DOJDG.DOa00.0l.D0.D此时，hdisk2的吞吐量为163.9M，IOPS为655。我们再启动一个ddif，使hdisk的busy数值达到100%：ffg中日单v/rjujlfcs-TcipssMo-mt-GEfo>irhost:.f7<0O1h.eb1ngatsniw2-KoraDecM1?!:10!r2：3201.1&13K飙日出lKEFST?SKB-RARTtERTK_07ASTBWTjlawAQOh心事威1010.03DEM1r2K30-3,1FC与M4QL3o.a60口Z0,1DhO3.5-30.DKo.a0.0&.030.OKU0.00.0hdisKl0.QOpOQPQO.QQrQQ=.QQ.QQ.QQ.OO.QQ-afeniiskS6.0O.ftCi.H6.6ft.6日qG.O0.6&.a0.6msfcs0,00,0oPeo.a0.00,00.00.00.00,0口qG.D0.C0.00.00.0&.DQ.a0.0O.GQ.OO.Q从上图可以看出，在磁盘busy达到100%的时候，其吞吐量为304.1M，IOPS为1200。hdisk2是本地集成的SAS盘，我们可以查出本地集成SAS通道的带宽为3Gb：

惇2sdewIgrep-isarh曲我。IvaiLable00-0S-MSAS&lskEtivsiieL193(5JivaiLanle00^03-00SASRAID05S&ArrayjjtliskOJivailarrleOO^CJB-OOPhysical3assaii-dstaterrMEL耳。JiVailBibleoa-aa-uaCantroLIecSASFtctacolJivaitato-ie00-03*00SASEnclosure5ervicesDevicestwcotmiEJivailaMeoc^oa-oo-FF_5AS_5tocageFramevoxH_CoixionsisaasOAvalkato-lecc-osPCI-K266Planar3<t)SASMapter祁■对于3Gb的SAS通道，304.1M的磁盘吞吐量已经接近其I/O带宽的峰值了。需要指出的是，使用ddif测量磁盘的带宽是可行的，但是由此来确定业务I/O的I