媒体存储测评技术

网络存储系统设计与测评-6中国传媒大学研究生课程《数字媒体存储技术》朱立谷:电话：65783324中国传媒大学计算机学院网络存储实验室网络存储性能测评1存储测评的意义1.1存储测评的混乱问题 1.2存储测评的意义 2存储测评的技术现状 2.1存储测评的技术现状 2.2国外存储测评机构与公司 2.3国内存储测评的现状3存储性能测评的分类 3.1按负载产生方式分类 3.2按应用负载分类4存储性能的影响因素 4.1硬件配置 4.2参数 5存储综合测评技术 5.1综合评测指标体系5.2功能评测技术5.3性能基准测试程序5.4可用性测试技术1存储测评的意义....’s....1.1存储测评的混乱问题1.厂家基于市场策略的人为操作由于目前大多数用户对存储及其测评技术不了解，而存储厂商也只公布其产品的测试结果，都未公开自己的系统具体配置、测试环境与方法。测试结果是和测试环境紧密相关的，相同的产品在不同的测试环境下所得到的测试结果截然不同；这些没有描述测试环境与方法的结果对用户来说参考意义并不大，因此没有可对比性的测试结果直接影响用户选购存储产品。2.测试负载不符合买主的应用环境特征性能测试主要采用模拟方法对被测存储系统进行压力测试的，因此，测试节点端的配置和应用操作对存储系统的影响巨大，如不同的数据块大小、不同的读写比例、不同的存取操作模式、访问文件的大小和并发连接的数量等都是影响存储系统测试结果的关键因素。3.测试对象选择不合理存储产品应用时需要配备一整套的系统，单个设备的性能数据不足以代表整个存储系统的性能数据。例如存储系统不只包含核心的存储控制器和磁盘柜，还包括适配器、网络设备、线缆等组成部分，这部分器件的数据处理消耗对存储系统的性能表现也会产生一定影响。因此，需要去研究存储系统的硬件配置，比较各项参数的数值以及参数表以外的因素。为了优化配置，必须进行存储系统性能瓶颈测试。因此，在对系统进行瓶颈测试时，需要详细研究被测系统的具体配置，保证测试结果的真实与可靠，从而为优化系统提供技术方案。1.2存储测评的意义1.对企业效益的影响存储测评不仅可以根据企业的具体应用测试系统在投入运营前的性能和可靠性的关键指标，还可以为企业对产品的选型提供参考，也可以为存储产品和系统的优化提供技术方案，使资源的利用率达到最大化。2.促进企业的研发能力存储测评能帮助企业发现产品在研发的各个阶段存在的问题，找出系统瓶颈，提供技术参考资料，为企业研发更好的技术提供了帮助。3.促进产业的健康发展存储测评不仅能促进存储相关软硬件关键技术研究，而且可以促进产品的设计与优化，更可以为产品生产和系统集成等过程提供质量控制，还能促进存储产品在典型应用中的产业化以及系统的优化升级等。2存储测评的技术现状2.1存储测评的技术现状目前，国内外存储评测技术研究的主要内容是对存储系统的性能评测。从最早的基准测试和硬盘性能评测工具、文件系统性能评测工具，已经发展到针对网络文件服务器（、）的性能评测基准和块级网络存储的性能评测基准。1988年成立的（）制定了商务应用基准程序的标准规范、性能和价格度量，并依据这些基准测试项目发布性能数据。系统每次事务进行2～10次磁盘存取，所以，软件不仅可测量数据库等软件的效率，也可测量存储系统的性能。文件系统性能评测软件是目前最易获得的存储性能评测工具，常用的有、、和。、可以运行在多个操作系统上，是较好的文件操作的基准工具；可对各种常用的负载情况如文件服务器、、服务进行测量和评测，的工作负载规范已经成为平台的事实标准，并且可以产生许多性能指标结果，是平台最好用的、最常用的测试性能的基准工具；是测试应用下文件系统性能的新基准。目前已有一些针对网络文件存储系统的测量和评估的性能基准。()下属的()小组维护的和是目前广泛使用的文件服务器的性能评测基准。只能评测其中的性能。弥补了的缺陷，被接受为测试的性能基准，只能报告吞吐量而不能报告响应时间，因此，又开发了一个测试的新基准。目前尚无针对的性能评测工具。但由于存储系统提供块级存储服务，在服务器上它被映射为本地磁盘，因此，文件系统性能评测基准也可以用来测试和评估的性能，是最常用的基准工具之一。即使采用用相同的的基准工工具用于于存储系系统评测测，由于于用户的的测试环环境、存存储配置置和工作作负载等等方面都都不同，，因此，，得到的的测试指指标仍然然没有可可比性。。因此，，2001年（（））创建了了第一个个行业标标准性能能基准测测试1(1)，它是是第一个个基于工工业标准准的存储储性能测测试体系系，可以以对存储储产品的的性能、、价格和和可靠性性三项指指标进行行评价。。基准的的最大特特点是定定义了标标准的测测试环境境、存储储配置和和工作负负载，并并且规定定测试结结果必须须经过审审计才予予以公布布，保证证测试结结果的真真实性和和可重复复性。1主要用用于针对对随机应应用环境境的基准准测试，，随着新新的应用用推广，，又推出出了2和和3。2.2国国外存储储测评机机构与公公司网络存储储工业协协会（，，）拥有420家来来自世界界各地的的公司成成员和7100多位个个人成员员，遍及及整个存存储行业业。致力力于提供供相关行行业标准准，推动动开放式式存储网网络解决决方案的的市场。。为了是是存储行行业的健健康发展展，提出出了“绿绿色存储储能源测测量规范范”，促促进存储储领域向向节能方方面发展展等。2010年初，，网络存存储工业业协会（（）出台台了“绿绿色存储储能源测测量规范范”（）），规规范包括括具体的的绿色存存储的分分类方法法，即将将不同的的存储技技术和存存储系统统加以归归类以便便进行对对比，除除此以外外，还包包括一个个测量系系统空闲闲状态下下能耗的的测量方方法。存储性能能委员会会（，，）是存储领领域拥有有举足轻轻重地位位的第三三方存储储测评机机构，拥拥有数十十家大型型存储企企业和研研究机构构会员，，致力于于建立标标准化的的测评基基准，为为企业和和用户提提供客观观、公正正和权威威的检测测结果。。目前，，、、、、、等存存储巨头头都是的的重要会会员，他他们都按按照的测测评规范范对自身身产品进进行测评评，并把把测评结结果发给给审核，，把其审审核的结结果发布布到网上上供用户户了解。。已建立立起一套套测评规规范，包包括1、、2、3和等，，其中1是用于于测试存存储产品品在随机机应用环环境下的的性能，，2用于于测试存存储产品品在顺序序应用环环境下的的性能，，3用于于测试数数据备份份与恢复复等的应应用性能能，目前前还没有有完善，，而则是是今年才才发布的的功耗测测评规范范，用于于测试存存储产品品在多种种应用环环境下的的功耗情情况。标准性能评估估委员会（,））是一个全球性性的权威的第第三方应用性性能测评组织织，成立于1988年，，现有超过60家公司参参与。它提供供包括、图形形系统、文件件系统、存储储系统、应用用等多个方面面的性能评价价标准和基准准测试程序，，其中用于于测量文件系系统的性能，，包括吞吐率率和响应时间间，2008是于2008年发布的的第一项服务务器标准的功功耗/性能测测试标准，推推动了存储产产业功耗测评评研究的发展展。以一个通通用的公平的的标准来考量量一个服务器器的能耗表现现，作为第一一个可以在多多种负载条件件下测量能耗耗与性能关系系的服务器评评测标准，这这个标准设定定了统一的评评测基准，提提供了一种测测量服务器用用电效率的标标准方法，从从而避免了因因为每家公司司都会更加倾倾向自己的产产品而引起的的评测数据的的混乱。事务处理性能能委员会（，，）是一个专门负负责制定计算算机事务处理理能力测试标标准并监督其其执行的组织织。自其1988年成立立后，提出了了一系统基准准测试集，这这些测试集用用于评价计算算机系统进行行事务处理的的能力，包括括、、、等测测试集。其中中是一个联机机事务处理的的测试集，被被广泛用来测测试存储系统统对与机遇数数据库应用的的支持能力，，并通过每秒秒事务数量来来描述系统的的性能。2009年10月，推出了了功耗测评基基准V1.0.0基准准，把功耗测测评研究推向向了一个快速速发展的阶段段。新罕布什尔大大学互操作实实验室（，，）为世界著名的的中立第三方方测试实验室室，专注于工工业之测试标标准，对于各各种技术领域域之研发测试试都有涉猎，，并提供标准准的产品互通通性()测试验证服服务。公司公司成立于1981年，，经过30年年的发展和数数十次收购，，目前已成为为全球最大光光纤零件和光光通讯领域的的巨头之一，，并从事大量量测评工作，，包括通信测测评、存储测测评、系统测测评等，其测测试工工具是存储业业知名的测试试工具，功能能全面，能满满足对存储系系统的性能、、功能和可靠靠性等多方面面压力测试。。许多研究机构构和实验室，，如美国实验验室、美国国国家能源部、、、美国国防防部、大学、、加州大学分分校等，各大大存储厂商也也有自己的存存储测评研究究，如、、、、等等，有名名的存储测评评工具如开发发的，开发的的、、等，，，公司的等等等。3存储性能能测评的分类类3.1按负负载产生方式式分类存储性能评测测按照请求发发生的方式可可以分成三大大类：基准程程序法、应用用仿真法和采采集法。基准程序法基准程序法（（）是目前一一致认可的测测试存储产品品的较好方法法，它能有效效和精确地测测评产品的各各种特性。目目前已出现很很多成熟的存存储测评基准准，如事务处处理委员会（（）提出的基基准测试集和和等，标准性性能评价委员员会（）提出出的和2008，存储储性能委员会会（）提出的的1，2和3等存储测评评基准集及其其相应的基准准程序。应用仿真法应用仿真（））是一种高效效和可行的研研究手段，它它能解决日益益复杂的存储储系统打来的的多种问题，，如在真实系系统上验证和和优化方案成成本高、设计计和实现周期期长的难题，，有时采用真真实系统缺乏乏可行性。这这类典型程序序包括、、和和等。采集法法。采集法法是用用特定定的方方法和和工具具收集集存储储系统统在具具体应应用下下的各各种典典型操操作，，这些些操作作是真真实环环境下下的多多种混混合操操作行行为，，然后后通过过收集集到的的集在在应用用系统统上进进行回回放测测试的的方法法。实验室室一直直在其其研究究部门门的服服务器器上搜搜集大大量的的。从从2007年开开始，，公司司开始始利用用等工工具跟跟踪、、记录录公司司研发发的系系列服服务器器产品品在各各种负负载下下的，，并在在网站站中公公开发发布。。3.2按按应用用负载载分类类目前主主流的的基准准测试试程序序侧重重目的的不同同：有有的测测试服服务性性能，，有的的测试试数据据处理理性能能，有有的测测试科科学与与工程程计算算性能能，有有的测测试网网络通通讯速速度等等。不不同的的测试试工具具有不不同适适用范范围，，可分分为如如下六六类：：综合测测试型型1基准准测试试程序序主要要是用用来测测试存存储子子系统统在进进行随随机输输入/输出出运算算、查查询和和更新新等操操作时时的系系统性性能，，2是是面向向连续续应用用的性性能测测试体体系，，包括括大型型文件件处理理、大大型数数据库库查询询和视视频点点播，，3针针对备备份和和恢复复性能能的评评测体体系。。性能型型其中96主主要用用于评评价响响应用用户点点击的的性能能，96值值是服服务器器每秒秒能够够支持持的连连接数数量。。开发的的主要要用于于评测测系统统在不不同环环境、、不同同负载载模式式下的的服务务性能能事务处处理性性能型型其中公公司的的基准准测试试主要要用于于对比比不同同层面面和类类型的的磁盘盘用于于数据据库时时的性性能和和吞吐吐量，，是一一款比比较全全面的的针对对数据据库应应用的的测试试工具具由(，，事事务处处理性性能委委员会会)负负责定定义了了诸如如、和和基准准测试试之类类的事事务处处理与与数据据库性性能基基准测测试，，并依依据这这些基基准测测试项项目发发布客客观性性能数数据。。系统软软件性性能型型由开发发主要要测试试操作作系统统性能能，其其具体体指标标包括括：空空系统统调用用时间间，进进程切切换时时间，，、、、、的的延迟迟和带带宽，，内存存、、、的读读写性性能，，存储储映射射的性性能。。主要要评测测计算算机系系统的的网络络性能能，也也可用用来评评测（（））、的的性能能，、、的带带宽和和请求求应答答数。。用于于评测测系统统的性性能。。科学与与工程程计算算性能能型其中美美国开开发的的()主主要要用于于包括括8个个空气气动力力学计计算类类应用用，5个核核心程程序和和3个个伪应应用，，、多多重网网格求求解、、共轭轭梯度度方程程求解解、三三维、、整数数排序序。大大学开开发的的主要要用于于评测测共享享存储储系统统性能能，其其包括括7个个完整整的应应用和和5个个计算算核心心程序序，科科学与与工程程计算算，计计算机机图形形学方方面的的并行行程序序。主主要用用于评评价大大型可可扩展展系统统的计计算性性能。。文件系系统性性能型型这类基基准测测试主主要进进行以以下几几个方方面的的测试试：文文件系系统建建立后后的读读/写写性能能测试试；文文件系系统建建立后后的文文件建建立测测试，，文件件建立立测试试后的的文件件删除除测试试。用于于测测试试新新闻闻服服务务器器上上高高速速增增加加删删除除文文件件性性能能测测试试；；主要要用用于于测测试试文文件件系系统统在在邮邮件件系系统统或或电电子子商商务务系系统统中中性性能能。。3.3按按负负载载方方法法分分类类.....aa..a..4.存存储储性性能能的的影影响响因因素素4.1硬硬件件配配置置存储储系系统统包包含含很很多多硬硬件件子子系系统统，，如如磁磁盘盘、、磁磁盘盘接接口口、、交交换换机机、、网网卡卡、、主主板板、、内内存存、、等等等等，，简简单单的的存存储储结结构构如如图图所所示示。。1.读读写写方方式式读写写方方式式主主要要包包括括随随机机读读、、顺顺序序读读或或混混合合读读写写三三种种。。对对存存储储设设备备性性能能测测评评的的过过程程中中，，选选择择不不同同的的读读写写方方式式将将直直接接影影响响到到最最终终的的测测试试结结果果。。2.块块大大小小存储储设设备备的的性性能能表表现现严严重重依依赖赖于于数数据据块块的的大大小小，，当当数数据据块块的的大大小小增增加加，，带带宽宽增增加加，，而而减减少少。。4.2参参数数3.读写写比例读写比例例是指操操作流中中读和写写操作各各占的比比例，读读比例与与写比例例之和为为100%。4.文件件大小针对不同同的文件件存储应应用，它它请求的的文件大大小是不不同的，，一般来来说服务务、服务务、新闻闻服务都都请求小小文件，，而音视视频和大大文件处处理等服服务一般般是请求求大文件件。

(%)

(%)(%)

（随机）

29

32

61

(顺序)

11

28

39

40

60

100表1读读写方式式参数5.存取取模式文件系统统中的存存取模式式分为共共享存取取访问模模式（））和并并发存取取访问模模式（））。对对于并发发存取访访问模式式，每个个进程拥拥有一个个属于自自己的操操作文件件，因此此很容易易实现按按操作队队列进行行读写操操作，进进程只需需按照操操作队列列循环读读写相应应文件即即可。而而对于共共享存取取访问模模式，由由于所有有并发进进程同时时操作同同一个文文件的不不同段或或不同块块。..a.–:..:“0”,.a.–25.1.–.....–-50,000100,000150,000200,000250,000300,000350,000400,000'2k''4k''16K''64K''256K'=.=.–.1,4134,6261,0002,0003,0004,0005,0006,000'2k''4k''16K''64K''256K',.....a,..:A’s5’s0101011010100x56A0’s1’s.a.:...–11a.:(,,).–2525a.–8.’s..–512.’s.A...:......:,a.:.....a32/33..5.存存储储综综合合测测评评技技术术网络络存存储储的的综综合合评评测测指指标标系系统统，，不不仅仅仅仅强强调调存存储储的的性性能能指指标标，，同同时时还还包包括括功功能能、、可可用用性性和和功功耗耗等等指指标标，，更更科科学学地地揭揭示示不不同同结结构构存存储储系系统统的的长长处处和和短短处处，，便便于于进进行行不不同同设设备备与与系系统统之之间间的的全全面面对对比比，，为为存存储储产产业业的的快快速速发发展展提提供供技技术术指指导导，，为为用用户户购购买买最最合合适适应应用用需需求求的的存存储储系系统统提提供供决决策策支支持持。。Q&A？THANKYOU!中国国传传媒媒大大学学计计算算机机学学院院网络络存存储储实实验验室室2012年2月14日谢谢谢12月月-2205:53:5305:5305:5312月月-2212月月-2205:5305:5305:53:5312月-2212月-2205:53:532022/12/315:53:539、静夜夜四无无邻，，荒居居旧业业贫。。。12月月-2212月月-22Saturday,December31,202210、雨中中黄叶叶树，，灯下下白头头人。。。05:53:5305:53:5305:5312/31/20225:53:53AM11、以我独沈沈久，愧君君相见频。。。12月-2205:53:5305:53Dec-2231-Dec-2212、故人江江海别，，几度隔隔山川。。。05:53:5305:53:5305:53Saturday,December31,202213、乍见翻疑梦梦，相悲各问问年。。12月-2212月-2205:53:5305:53:53December31,202214、他乡生白发发，旧国见青青山。。31十二月月20225:53:53上午05:53:5312月-2215、比比不不了了得得就就不不比比，，得得不不到到的的就就不不要要。。。。。十二二月月225:53上上午午12月月-2205:53December31,202216、行动出成果果，工作出财财富。。2022/12/315:53:5305:53:5331December202217、做前，能够够环视四周；；做时，你只只能或者最好好沿着以脚为为起点的射线线向前。。5:53:53上午5:53上上午05:53:5312月-229、没有有失败败，只只有暂暂时停停止成成功！！。12月月-2212月月-22Saturday,December31,202210、很多多事情情努力力了未未必有有结果果，但但是不不努力力却什什么改改变也也没有有。。。05:53:5305:53:5305:5312/31/20225:53:53AM11、成功就就是日复复一日那那一点点点小小努努力的积积累。。。12月-2205:53:5305:53Dec-2231-Dec-2212、世间成成事，不不求其绝绝对圆满满，留一一份不足足，可得得无限完完美。。。05:53:5305:53:5305:53Saturday,December31,202213、不知香积寺寺，数里入云云峰。。12月-2212月-2205:53:5305:53:53December31,202214、意志坚强强的人能把把世界放在在手中像泥泥块一样任任意揉捏。。31十二二月20225:53:53上上午05:53:5312