PCIE-SSD卡测试方案0001

1、PCIe SSD卡性能测试方案1 测试环境准备1.1 硬件环境：服务器型号 HUAWEI RH2288H V2CPU Intel(R) Xeon(R) CPU E-52630 v2 2.60GHz*2 内存 DDR3 1600MHz RECC 16G*8 系统盘： SATA 1TB*2 7K2转组磁盘阵列 RAID 0 测试对象：SATA硬盘 SATA 1TB*2 7K2转组磁盘阵列 RAID 0 SSD：宝存 Direct-IO PCIe SSD-G2i-1.2T1.2 软件环境：操作系统：Red Hat Enterprise Linux 6.1测试软件：fio -2.1.101.3 测试软

2、件安装：步骤一： 在 网站上免费下载该工具的压缩文件。 步骤二： 安装编译环境 命令： yum install libaio -devel步骤三： 解压压缩文件并安装 tar -xjvf fio -2.0.10.tar.bz2 cd fio-2.0.10makemake install命令(以 fio -2.0.10.tar.bz2 为例)注意： yum install 和 make install 命令需要 root 权限 yum install libaio -develtar -xjvf fio -2.0.10.tar.bz2 cd fio -2.0.10 makemake instal

3、l2 测试方案本次测试基于单台服务器安装 1 张宝存 1.2T PCIE SSD闪存卡和本地两块 7200 转 1TB SATA 盘做 RAID 0做性能对比测试。两种类型的磁盘组都不创建文件系统，采用裸盘测试。评测存储设备性能的主要三个指标：读写延迟 (Latency) ：一次 I/O 操作所耗费的时间 读写带宽 (Bandwidth) ：单位时间内传输的数据量 IOPS：每秒完成的 I/O 操作次数测试方案通过这三个指标的测试展现 宝存 Direct-IOTM PCIe SSD 的性能与本地 SATA磁盘阵 列的测试。测试 1 - 全盘随机读测试步骤步骤一： 顺序将盘写满。fio -nam

4、e=seqWrite -dev/dfa -numjobs=1 -bs=128k -ioengine=libaio -iodepth=32 -direct=1 -rw=write -group_reporting -randrepeat=0 以上命令将在整盘顺序写满之后自动退出。步骤二： 执行随机读测试fio -name=randRead -dev/dfa -numjobs=1 -bs=4k -ioengine=sync -direct=1-norandommap -rw=randread -group_reporting -randrepeat=0 -runtime=120其中， 命令中的各项

5、参数解释如下dev/dfa 测试文件名称，通常选择需要测试的盘或数据目录。 numjobs=1 单进程，可以通过修改此参数改变进程数。bs=4k block size=4k，数据块大小。 ioengine= sync io 引擎，采用 sync 方式 direct=1 测试进程绕过页面缓存，采用 direct 读取方式。 rw=randread 全盘随机读，可选随机读写或顺序读写，或只读只写。 runtime=120 测试时间为 120 秒测试结果1. 每一项结果列表中包含延迟， 对应带宽，及 IOPS，分别以微秒 us (或毫秒 ms)， MB/s 和 k IOPS 为单位2. 改变以上命令

6、中 -bs=4k 和-numjobs=1 两个参数而得到不同线程和不同 block size 的结 果， 步骤一只要执行一次即可，不必每次变动参数测试时都要执行。BLOCKSIZE4KB8KB32KB128KB线程SSDSATASSDSATASSDSATASSDSATA延时68us11ms80.8us11.2ms155us11.4ms173us12msms1带宽58MB/s364KB/s98MB/s736KB/s204MB/s2807KB/s714MB/s10.7MB/sIOPS14.5K8912.2K896.3K875.783延时74.9us21.7ms92us22ms181.7us22ms

7、309us23ms4带宽205MB/s708KB/ms337MB/s1.5MB/s685MB/s5.8MB/s1610MB/s20.1MB/sIOPS52.6K18442.9K18221.8K18012.8K171延时81us33.9ms100us34.2ms212us34.9ms519us37.7ms8带宽382MB/s920KB/s616MB/s1.85MB/s1160MB/s7.6MB/s1922MB/s27.1MB/sIOPS97K23578K23337.3K22915.3K212延时89us56.2ms113us56.2ms298us57.9ms994.663.4ms16带宽692M

8、B/s1.2MB/s1085MB/s2.3MB/s1667MB/s8.8MB/s2014MB/s33.1MB/sIOPS177K284138.9K28453.3K27616K251延时107.6us94.4ms154us94.7ms520us97.7ms1968us109ms32带宽1147MB/s1.4MB/s1606MB/s2.7MB/s1919MB/s10.4MB/s2030MB/s37.3MB/sIOPS293.6K338205.9K33761.3K32716K292测试 2 - 全盘随机写（稳态）测试步骤步骤一： 随机将盘写满 2 遍，达到稳态。fio -name=precondit

9、ion -dev/dfa -numjobs=2 -bs=128k -ioengine=libaio-iodepth=32 -iodepth_batch=16 -iodepth_batch_complete=16 -direct=1 -rw=randwrite -group_reporting -randrepeat=0以上命令将在随机将 SSD 卡写满 2 遍之后自动退出。 根据 SSD 卡容量的大小，耗时长 短不一， 224 小时不等。 如果不想等待如此长的时间， 可以将 numjobs=2 减少（至少 >=2）， 减少写满盘的次数。该步骤完成后，可以认为 SSD 卡已经处于稳态，只要

10、不进行格式化擦 除数据，可以认为其一直处于稳态。步骤二： 开始随机写测试fio -name=randomWrite -dev/dfa -numjobs=1 -bs=4k -ioengine=sync -direct=1-norandommap -rw=randwrite -group_reporting -randrepeat=0 -runtime=120测试结果1. 每一项列表中包含延迟，对应带宽，及IOPS，分别以微秒 us （或毫秒 ms）， MB/s 和 kIOPS为单位。2. 改变以上命令中 -bs=4k 和-numjobs=1 两个参数而得到不同线程和不同 block size 的

11、结 果， 步骤一只要执行一次即可，不必每次变动参数测试时都要执行。BLOCK SIZE4KB8KB32KB128KB线程SSDSATASSDSATASSDSATASSDSATA延时20us2379us29us2407us98us2526us378us2915us1带宽181MB/s1.7MB/s257MB/s3.3MB/s320MB/s12.7MB/s336MB/s43.8MB/sIOPS46.3K41932.2K41510K3952.6K342延时46us9.6ms90us9.85ms323us10.2ms1272us11.7ms4带宽337MB/s1.7MB/s345MB/s3.2MB/s

12、390MB/s12.4MB/s400MB/s43.5MB/sIOPS84.3K41643.2K40412K3893.1K340延时87us19.3ms166us19.6ms639us20.4ms2432us23ms8带宽359MB/s1.6MB/s381MB/s3.3MB/s399MB/s12.6MB/s420MB/s44.6MB/sIOPS89.9K41347.6K40612.5K3923.2K348延时164us38.8ms317us38.8ms1221us40.6ms4786us46.2ms16带宽385MB/s1.6MB/s400MB/s3.3MB/s418MB/s12.6MB/s42

13、7MB/s44.3MB/sIOPS96.3K41150K41213K3943.3K346测试 3 - 全盘随机混合读写（稳态）测试步骤步骤一： 随机将盘写满 2 遍。fio -name=precondition -dev/dfa -numjobs=2 -bs=128k -ioengine=libaio-iodepth=32 -iodepth_batch=16 -iodepth_batch_complete=16 -direct=1 -rw=randwrite-group_reporting -randrepeat=0以上命令将在随机将 SSD 卡写满 2 遍之后自动退出。 根据 SSD 卡容量

14、的大小，耗时长 短不一， 224 小时不等。 如果不想等待如此长的时间， 可以将 numjobs=2 减少（至少 >=2）， 减少写满盘的次数。 该步骤完成后， 可以认为 SSD 卡已经处于稳态， 只要不进行格式化擦除数据，可以认为其一直处于稳态。如果已经在测试 2 中完成这一过程，可以在此跳过。步骤二：开始随机混合读写测试fio -name=randomReadWrite -dev/dfa -numjobs=1 -bs=4k -ioengine=sync-direct=1 -norandommap -rw=randrw -rwmixread=70 -group_reporting -r

15、andrepeat=0-runtime=120测试结果1. 读写比例为：读 70%，写 30%2. 每一项列表中包含读 (R)和写 (W)的延迟， 所对应带宽，及 IOPS，分别以微秒 us (或毫秒 ms)，MB/s 和 k IOPS 为单位3. 改变以上命令中 -bs=4k 和-numjobs=1 两个参数而得到不同线程和不同 block size 的结 果， 步骤一只要执行一次即可，不必每次变动参数测试时都要执行。BLOCK SIZE4KB8KB32KB128KB线程操作指标SSDSATASSDSATASSDSATASSDSATA延时74us12ms94us12ms212us12.9ms

16、496us13.7ms70%读带宽48MB/s320KB/s77MB/s633KB/s137MB/s2.4MB/s224MB/s9MB/s1IOPS12K789.6K774.3K761.7K71延时15us376us17us392us41us459us159us710us30%写带宽20MB/s139KB/s32MB/s269KB/s59MB/s1MB/s96MB/s3.9MB/sIOPS5.1K344.1K321.8K3275030延时103us25ms150us24ms394us25ms1075us27ms70%读带宽141MB/s644KB/s195MB/s1.2MB/s297MB/s4

17、.9MB/s416MB/s18MB/s4IOPS35K15724K1589.3K1543.2K142延时18us852us26us900us75us913us353us1.4ms30%写带宽60MB/s280KB/s83MB/s548KB/s127MB/s2.5MB/s178MB/s7.7MB/sIOPS15K6810K663.9K651.4K60延时135us41ms210us42ms590us43ms1673us47.2ms70%读带宽216MB/s770KB/s280MB/s1.4MB/s396MB/s5.8MB/s533MB/s21MB/s8IOPS54K18835K18712K1824.1K166延时24us1.3ms36us1.2ms122us1.1ms567us1.9ms30%写带宽92MB/s328KB/s120MB/s657KB/s170MB/s2.5MB/s228MB/s9.2MB/sIOPS23K8015K805