TCESA 1233-2022 基于典型服务器应用场景的固态盘性能测试方法

ICS35.220CCSL63团 体 标 准T/CESA1233—2022基于典型服务器应用场景的固态盘性能测试方法Applicationperformancetestmethodofsolidstatediskforserverbasedontypicalserverapplicationscenarios2022-11-30发布 2022-12-30实施中国电子工业标准化技术协会 发布IIT/CESA1233—2022版权保护文件许可可于发布机构获取。鏈鏈鏈鏈T/CESA1233—2022目 次前言 1范围 12规范性引用文件 13术语和定义 14缩略语 25概述 26测试用例 2关系型数据库应用场景 2应用场景说明 26.1.2硬件环境 26.1.3软件环境 26.1.4应用配置 26.1.5测试模型1 36.1.6测试模型2 4非关系型数据库应用场景 4应用场景说明 46.2.2硬件环境 56.2.3软件环境 56.2.4应用配置 56.2.5测试模型1 5分布式文件系统应用场景 6应用场景说明 66.3.2硬件环境 76.3.3软件环境 76.3.4应用配置 86.3.5测试模型1 86.3.6测试模型2 96.3.7测试模型3 9ⅡT/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈前 言本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国电子技术标准化研究院提出。本文件由中国电子技术标准化研究院、中国电子工业标准化技术协会归口。本文件起草单位：中国电子技术标准化研究院、华为技术有限公司、飞腾技术有限公司、武汉长江计算科技有限公司、中国长城科技集团股份有限公司、新华三技术有限公司、美光半导体有限责任公司、杭州华澜微电子股份有限公司。本文件主要起草人：赵梦晗、孔宪伟、任翔、尹航、钟伟军、包振忠、张英桥、吴彤、宋梦涛、陈向明、汪新新、覃贵安、史文科、魏小义、朱荻、高蛟飞。Ⅲ基于典型服务器应用场景的固态盘性能测试方法范围本文件描述了基于关系型数据库应用场景、非关系型数据库应用场景、分布式文件系统应用场景下的企业级固态硬盘的存储性能测试方法。本文件适用于企业级固态硬盘的业务场景性能测试。规范性引用文件本文件没有规范性引用文件。本文件没有规范性引用文件。3 术语和定义下列术语和定义适用于本文件。3.1固态盘solidstatedisk以电子存储器或存储模块作为主要记录媒体进行数据读写的存储设备。SSDSolidStateDrive的简写。SolidStateDrive与本标准所指的固态盘机械部分，主要由控制器和存储单元构成。[来源：GB/T36355-2018,2.1.1,有修改]3.2联机事务处理onlinetransactionprocessing利用计算机网络，将分布于不同地理位置的业务处理计算机设备或网络与业务管理中心网络连接，以便于在任何一个网络节点上都可以进行统一、实时的业务处理活动或客户服务。3.3关系型数据库管理系统relationaldatabasemanagementsystem指包括相互联系的逻辑组织和存取这些数据的一套程序(数据库管理系统软件)。注：关系数据库管理系统就是管理关系数据库，并将数据逻辑组织的系统。3.4分布式文件系统distributedfilesystem文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简1T/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈单的理解为一台计算机）相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的体系。缩略语下列缩略语适用于本文件。DFS：分布式文件系统（DistributedFileSystem）OLTP：联机事务处理（OnlineTransactionProcessing）POSIX：可移植操作系统接口（PortableOperatingSystemInterface）SSD：固态盘（SolidStateDisk）概述本测试方法用于评估服务器用固态盘在真实应用场景下的性能，测试场景包括关系型数据库、非本测试方法用于评估服务器用固态盘在真实应用场景下的性能，测试场景包括关系型数据库、非关系型数据库和分布式文件系统。测试结果用于评估服务器用固态盘在真实应用场景下的性能，为服务器选配固态盘提供参考。6 测试用例关系型数据库应用场景应用场景说明关系型数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用在测试用服务器上后，给服务器上电，然后配置软硬件环境进行测试。硬件环境测试硬件环境为单机测试，测试前应明确测试硬件的参数配置，包括但不限于品牌、型号、处理器型号、数量、内存型号、数量、容量等。软件环境测试使用MySQL数据库及InnoDB存储引擎，版本要求见表1。表1 测试用软件环境及版本要求软件环境版本MySQL8.0.22或以上数据库引擎InnoDB(16kB)测试基准Sysbench/TPC-C应用配置测试应用配置见表2，参数设置可根据实际测试进行调整。T/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈表2 测试应用配置参数名称参数值sync_binlog1innodb_flush_log_at_trx_commit1innodb_io_capacity2000innodb_buffer_pool_size128MBinnodb_log_file_size256MBinnodb_log_buffer_size16MBinnodb_max_dirty_pages_pct90Innodb_flush_methodO_DIRECT测试模型说明测试模型使用Sysbench多线程性能测试工具进行测试。参数配置测试应用配置见表3，参数设置可根据实际测试进行调整。表3 测试应用配置参考测试模型说明测试模型使用Sysbench多线程性能测试工具进行测试。参数配置测试应用配置见表3，参数设置可根据实际测试进行调整。表3 测试应用配置参考参数名称参数值threadsa20timeb3600warmup_timec600rated0histogramonpercentilee99report-interval10oltp-tables-countf500oltp-table-sizeg100000000oltp-test-modecomplexathreads为测试进程数量，需要根据实际测试SSD配置进行设置，设置范围一般在10~20之间。btime为测试时间，建议测试时间预防冷数据对测试结果影响。cwarmup_time为预热时间，建议为10min，表示不限制。drate为平均事务处理速率，0为1h，以免受到测试数据分布不均和数据缓存等因素影响。epercentile为指定latency统计百分率参数。foltp-tables-countwarehousetable50，可根据实际业务需求设置，测SSD20SSDgoltp-table-size为每个table中记录数量，建议为100000000，可根据实际业务需求设置，测试中尽可能满足数据总量达到SSD容量的20%以上，以获得更真实的SSD存储能力。3T/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈6.1.5.3 测试结果说明测试结果说明如下：TPS–处理的事务数量每秒；QPS–执行的查询数量每秒；Latencymin/max/avg/99th–每个事务执行的延时情况；CPU使用率-确保CPU没有成为瓶颈。2测试模型说明测试模型使用TPCC进行测试，主要用于OLTP类应用的测试。参数配置测试应用配置见表4，参数设置可根据实际测试进行调整。表4 测试应用配置参数名称参数值Warehousea500connectionb50warmup_time600running_time3600aWarehouse为仓库的数量，一般不少于100个，视服务器硬件配置（CPU处理能力），SSD配置（NVMe/SATA,SSD容量）和具体业务需求配置。bConnection为访问数据库线程数，一般为50。测试结果说明TPCC有如下5种事务(对应事务总量的百分比)，测试完成后会输出这5种事务的吞吐量和延迟。——New-Order：客户输入一笔新的订货交易；——Payment(43%)：更新客户账户余额以反应其支付状况；——Delivery(4%)：发货；——Order-Status(4%)：查询客户最近交易的状态；——Stock-Level(4%)：查询仓库库存状况，以便能够及时补货。tpcc-mysql（显示在RawResults5ms5ms、5ms80mstpcc-mysql90%的事务的请求延迟在最大延时范围之内。OKNG。非关系型数据库应用场景应用场景说明RocksDB是一个嵌入式的K-V（任意字节流）存储。架构如下,所有的数据在引擎中是有序存储，可以支持Get(key)、Put（Key）、Delete（Key）和NewIterator()。RocksDB的基本组成是memtable、sstfile和logfile。测试前先将被测样品安装在测试用服务器上后，给服务器上电，然后配置软硬件环T/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈境进行测试。硬件环境测试硬件环境为单机测试，测试前应明确测试硬件的参数配置，包括但不限于品牌、型号、处理器型号、数量、内存型号、数量、容量等。软件环境测试使用软件环境见表5。6.2.4 应用配置测试应用配置见表6，参数设置可根据实际测试进行调整。6.2.4 应用配置测试应用配置见表6，参数设置可根据实际测试进行调整。表6 测试应用配置软件环境版本RocksDB6.6.3/(5.11.3inYCSB)数据库引擎XFS测试基准YCSBversion:0.17.0(latestversion)参数名称参数值max_background_compaction4max_background_flushes4max_open_files-1block_size4kBblock_cachefalsewrite_buffer_size256MBmax_write_buffer_number5min_write_buffer_number_to_merge2level0_file_num_compaction_trigger8max_bytes_for_level_base4GBmax_bytes_for_level_multiplier10compression_per_levelL2/L3num_levels41测试模型说明测试模型1为开源NoSQL测试工具YCSB(Yahoo!CloudServingBenchmark),YCSB项目的目标是开发一个框架和一组通用的工作负载，用于评估不同的“关键价值”和“云”服务商店的性能。参数配置测试应用配置见表7，参数设置可根据实际测试进行调整。5T/CESA1233—2022T/CESA1233—2022鏈鏈鏈鏈6.2.5.3 测试结果说明测试结果说明见表8。6.2.5.3 测试结果说明测试结果说明见表8。表8 测试结果说明参数名称参数值Threads注8-16fieldcountdefaultfieldlengthdefaultreadallfields3600readproportiondefaultrecordcount1Billionoperationcount1BillionExecutiontime60mins注：Threads为测试进程数，不同workload略有不同。参数名称参数说明RunTime(ms)运行总时间Throughput(ops/sec)吞吐量，每秒操作数[TOTAL_GC*]区显示垃圾回收情况（JVM有关垃圾回收机制的配置）[TOTAL_GCS_PS_Scavenge],Count,ParallelScavenge回收次数[TOTAL_GC_TIME_PS_Scavenge],Time(ms),ParallelScavenge回收时间[TOTAL_GC_TIME_%_PS_Scavenge],Time(%),ParallelScavenge回收时间百分率[TOTAL_GCS_PS_MarkSweep],Count,MarkSweep回收次数[TOTAL_GC_TIME_PS_MarkSweep],Time(ms),MarkSweep回收时间[TOTAL_GC_TIME_%_PS_MarkSweep],Time(%),MarkSweep回收时间百分率[TOTAL_GCs],Count全局GC次数[TOTAL_GC_TIME],Time(ms)全局GC时间[TOTAL_GC_TIME_%],Time(%)全局GC时间百分比[READ]区显示读取操作的统计结果Operations总操作数AverageLatency(us)平均延迟（微秒）MinLatency(us)最小延迟MaxLatency(us)最大延迟95thPercentileLatency(us)95百分位延迟99thPercentileLatency(us)99百分位延迟分布式文件系统应用场景应用场景说明6T/CESA1233—2022T/CESA1233—2022分布式文件系统（DistributedFileSystem，DFS）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机）相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构，从而使用户访问分布在网络上的共享文件更加简便。单独的DFS共享文件夹的作用是相对于通过网络上的其他共享文件夹的访问点。测试前先将被测样品安装在测试用服务器上后，给服务器上电，然后配置软硬件环境进行测试。本文件选取数据中心应用最普遍的Ceph为场景测试基准。Ceph存储集群包括存储节点和管理节点，可提供良好的扩展性，冗余能力和性能。每个节点搭建在标准的数据中心服务器上，节点间通过Cephdaemons实现如下功能：——存储、检索和复制数据；——监视并报告群集运行状况；——动态重分发数据(重映射和回填)；——确保数据完整性；——检测并从故障中恢复。硬件环境硬件环境包括四个存储节点和一个监控节点，测试前应确认各节点配置信息。存储节点SSD配置见表9，参数设置可根据实际测试进行调整。表9 存储节点SSD配置参数参数值SequentialRead1540MB/sSequentialWrite2350MB/sInterface6Gb/sSATACapacity3.84TBMTTF2MdevicehoursRandomRead83,000IOPSRandomWrite6,500IOPS存储节点硬件应配置的参数为ServerType、CPU(x1)、DRAM(x8)、SATA(x12)、NVMe(x2)、Network(x1)。存储节点服务器应配置的参数为ServerType、CPU(x1)、DRAM(x4)、SATA(OS)、Network(x1)。监控节点硬件应配置的参数为ServerType、CPU(x1)、DRAM(x8)、SATA(x12)、NVMe(x2)、Network(x1)。网络交换机应配置的参数为Model、Software。软件环境软件环境包括存储&监控节点、客户端软件和操作系统，其参数的配置见表10~表12，测试前应确认各节点配置信息，参数设置可根据实际测试进行调整。7T/CESA1233—2022T/CESA1233—2022表10 存储&监控节点软件配置参数参数值存储Cephversion12.2.13表11 客户端软件配置参数参数值存储CephClient:RedHatCephStorage3.2测试基准FIO3.10w/librbdenabled表12 操作系统设置参数参数值disable_transparent_hugepagetruekernel.pid_max4,194,303fs.file-max26,234,859vm.zone_reclaim_mode0vm.swappiness1vm.min_free_kbytes1,000,000net.core.rmem_max268,435,456net.core.wmem_max268,435,456net.ipv4.tcp_rmem409687,380134,217,728net.ipv4.tcp_wmem409665,536134,217,728ceph_tcmalloc_max_total_thread_cache134,217,728应用配置Ceph存储节点数量：4节点，10个存储节点是企业Ceph集群的建议上限。四个存储节点代表一个有效的构建块，可用于扩展到更大的部署。根据扩展需要，可以将其他节点与集群集成。Ceph监控节点数量：1节点，出于任何非测试目的，至少应在单独的硬件上配置三个监视节点。MTBRNVMeOSD时，建议在生产环境中进行2倍的复制。Storeengine：Bluestore，BlueStore技术，数据对象可以无需任何文件系统的接口而直接存储在物理块设备上。设计初衷是为了减少写放大，并针对SSD做优化，而且直接管理裸盘，从理论上进一步规避文件系统如ext4、xfs等部分的开销，BlueStore是一个全新的OSD存储后端，采用块设备提示存储性能。OSD最优数量：为了减少4kB写传输中的tail（QoS）延迟，每个物理SSD运行多个OSD。1测试模型说明RBD(RADOSBlockDevice)是一种构建在RADOS集群之上为客户端提供块设备接口的存储服务中间层。本测试模型使用FIO工具和CephRADOSBlockDevice(RBD)驱动程序在10个负载生成客户端服务器上测试了4k字节的随机读写工作负载。8T/CESA1233—2022T/CESA1233—2022参数配置测试应用配置见表13，参数设置可根据实际测试进行调整。表13 操作系统设置参数名称参数值replicatedsize2min_size2crush_rule0object_hashrjenkinspg_num32pgp_num32last_change67flagshashpspoolstripe_width0application