测试类型说明VIP

1、测试类型说明Date日期Date日期Date日期Prepared by拟制Reviewed by审核Approved by批准for internal use only内部公开测试类型说明修订记录日期修订版本描述作者All rights reserved版权所有，侵权必究第3页，共16页测试类型说明e；na, use 0nlyfl测试类型说明5一、 背景/目的5二、儿组易混淆的概念51、 测试类型(TestType) 52、 测试阶段(TestStage/Level ) 53、 测试:舌动(Test ActMty ) 54、 质量特性(Quality Charactics ) 65、 测试方法

2、(TestMethod)66、测试工程方法(Test Engineer Method ) 6三、基本测试类型61 > 功能测试(Function Test) 61、 一致性测试(Con forma nee Test) 72、 安全性测试(Security Test) 83、 性能测试(Performanee Test) 84、 压力测试(Stress Test) 86、 酉己置测试( Configuration Test) 97、 安装测试(Installation Test) 108、 恢复测试(Recovery Test) 109、 易用性测试(Usabihty Test) 11四、

3、可选测试类型 121、备份测试(BackupTest) 125 互操作性测试(In teroperabihty Test ) 13五、各测试阶段常用的测试类型15All rights reserved版权所有，侵权必究第4页，共16页for internal use only内部公开测试类型说明测试类型说明关键词：测试类型、测试阶段、质量特性、测试工程方法摘要：本文结合业界和分部经验，给出测试部级的推荐的测试类型，并对每种测试类型进行了描述。缩略语清单:Abbreviations 缩略语Full spelling英文全名Chinese explanation 中文解释IPDIntegrated

4、 Product Development集成衣品开发BBITBuild Block Intergration TestBuild集成测试MITModule Intergration Test模块集成测试MSTModule System Test模块系统测试SDVSystem Design Verification系统设计验证SITSystem Integration Test系统集成测试SVTSystem Verification Test系统验证测试All rights reserved版权所有，侵权必究第7页，共16页测试类型说明背景/目的本文是“测试分析与设计工程方法开发”项目计划阶段的

5、输出之一，对一些常用的测试类型的概念进 行了描述，并对一些易混淆的概念进行了澄清，目的在于统一测试部的测试类型的定义。几组易混淆的概念1、测试类型(Test Type)不同类型的测试会发现不同类型的Bugso测试类型是从不同的角度来分析和测试产品，以下所列的测试类型多用于设计系统测试。功能测试(Function Test)一致性测试(Conformance Test)安装测试(Installation Test)2、测试阶段(Test Stage/Level)按照业界一般的划分，分为单元测试、集成测试、系统测试、验收测试几个阶段;3、测试活动(Test Activity )在任何一个测试阶段，

6、根据所进行活动的目标、方法、输出等的不同，可以划分为以下几类活动:测试计划(Test Plan )测试设计(Test Desig n )测试实现(Test Implementation )测试执行(Test Execution )测试评估(Test Evaluation )4、质量特性(Quality Charactics )质量特性是软件产品的属性集合，通过这些属性，可以描述和评估软件的质量。测试类型说明器喝7 use。小功能性(FunctinaHty ):合适性、准确性、互操作性、顺从性、安全性。可靠性(Reliabihty )：成熟性、容错性、可恢复性。易用性(Useability):可

7、理解性、可学习性、可操作性。效率性(Efficency ):时间行为、资源利用。可维护性(Maintain abiHty):可分析性、可变化性、稳定性、可测试性。可移植性(PortabiMy):可适应性、可安装性、共存性、可替代性。5、测试方法(Test Method )1)从是否针对系统的内部结构和具体实现算法的角度：白盒测试(WMte- Box Test),黑盒测试(Black Box Test),灰盒测试(Gray一Box Test)2)从是否需要执行被测软件的角度：静态测试(Static Test)、动态测试(Dynamic Test)3)从是否需要人工测试的角度：手工测试(Manua

8、l Test)、自动测试(Automated Test)6 测试工程方法(Test Engineer Method )测试工程方法是以一定的质量目标为核心，开展具体测试活动所需要使用的工程技术方法。工 程方法不是 纯粹的理论描述，而是能在具体产品、业务研发过程中能够为测试工程师所掌握，具体、直接指导实践工作的 技术、方法。主要测试工程方法有55种：宽带Delphi法、等价类划分法、因果图法”三、基本测试类型1 > 功能测试(Function Test)【定义】测试系统提供的功能是否能够正确、完全满足用户需要。【说明】All rights reserved版权所有，侵权必究第9页，共16页

9、for internal use only内部公开测试类型说明功能测试主要关心的质量特性是功能性。功能性是指满足规定需求和隐含需求的一组功能及它们规定性质的一组属性。功能测试针对检验所观察到的被测系统的运行状态是否与其规定的相符，测试系 统是否满足开发要求，是否能够提供设计所描述的功能，用户的需求是否都得到满足。换句话说，功能测试不 管软件内部的实现逻辑，以检验输入输出信息是否符合规格说明书和需求文档中有关功能需求的规定为目标， 努力找出程序与对外规格说明书的差异。外部规格说明书是指从外界观点(如用户)的角度精确描述程序行为性 能的说明书。功能测试主要是为了发现以下几类错误：1)是否有不正确或

10、遗漏了的功能？2)功能实现是否满足用户需求和系统设计的隐藏需求？3)输入能否正确接受？能否正确输出结果？2、一致性测试(Con forma nee Test)【定义】测试系统是否符合相关的协议/标准。【说明】一致性(Con forma nee)的含义是：如果某实际系统与其他实际系统的通信过程符合所用协 议的国际标准，则称该实际系统展示了一致性。分为静态一致性和动态一致性两个方面，对静态 一致性要求的测试通过静态一致性分析(Static Conformance Resview )实现，将PICS ( ProtocolImpleme ntatio n Con forma nee Statement

11、与协议中的静态一致性要求相比较；对动态一致性要 求的测试体现在测试行动(Test Campain),即运行测试集对ITU ( Implementation Under Test) j&行测试。 一致性测试是我们通讯产品测试中最常用到的测试类型之一。为了使得各网络设备成功 的进行通信，必须遵守一组规则。协议(Protocol)规定了一个网络设备在和其它网络设备进行通信时应遵守的规则集合。为了使得来自不同厂家的系统能够成功地进行通信，必须有标准化的协 议。实现者对于协议的不同理解会导致不同的协议实现，有时甚至会是错误的实现。因此，我们 需要一种有效方法对协议实现进行判别，这种方法便是协议一

12、致性测试。3、 安全性测试(SecuHty Test)【定义】测试软件产品保护信息和数据的能力，如非法用户或系统不能阅读和修改信息和数据，合 法用户或系统不会被拒绝访问，以保证数据的保密性和完整性。【说明】系统安全性测试内容包括设备本身数据的安全性和保密性、系统的登录、密码验证、用户管理、内部通信协议测试、病毒的检测、防火墙测试、WEB安全性测试、数据库安全性测试等。这些安全性测试的内容有些设备具有，有些没有，所以在不同的设备测试方案中可以酌情选择。安全性测试设计时要考虑以下四个安全组件：asset threats exposure> control。Asset是被测实体需要被保护的有形

13、和无形的资源，包括它的数量、数值、用途、特征等。Threats是可能引起资源丢失或损坏的事件，包括意外的、故意的和自然的事件，以及发生频率。Exposures是丢失和损坏的可能表现形式，即当theart出现时，asset所可能发生的一切。Control是防止丢失和损坏的 保护措施。建议采用矩阵和检查表的方式设计安全性测试用例。4、 ，性能测试(Performanee Test)【定义】性能测试针对系统是否达到其规定的性能需求进行测试，如容量和响应时间。【说明】性能测试是指这样一类测试，通过实现和执行来特征化和评估一个应用(或系统)相关特征的性能，如时间要求，执行流，响应时间，操作的可靠性和极限

14、。简而言之，性能测试就是用来检验被测对 象是否符合规定的性能要求。不同的测试对象具有不同的预期性能与效率指标，因此，性能测试的目的就是设 计和执行用例来验证这些测试对象是否达到了预期的性能指标。在软件开发早期，进行性能测试，识别并消除 与系统结构有关的性能瓶颈。在软件开发阶段，进行性能测试以调整软件环境(优化响应时间和资源)。在软件 开发后期，执行性能测试以验证应用和系统可以承受的高负荷和强度，例如大量的事务处理，客户，或/和大 量的数据。5、 压力测试(Stress Test)【定义】压力测试通过使系统达到或超过其设计的最大负荷来检验其在非正常状态下的特性。是“用于评估被测试对象处于非正常状

15、态下的特性表现”。这里所指的特性表示系统所需要完成的正常功能。【说明】为什么要有压力测试？首先，能不能让系统的各种处理能力远远大于所要求的，这样不就可以避免这些问题了吗？答案显然是否定的，用户不会为超出他们的需求的部分付出一分钱，也就是说即便我们提供这些能力，也是一件高成本 低收益的事情。其次，压力测试是指在异常情况下的特性表现，而异常情况总会发生，用户会有什么样的举动很难预 料。甚至我们的周边设备也会突然崩溃，或者大量地发送错误的数据或连接请求，要成为一个成熟而健全的产 品，特别对于电信级的设备，就必须能够经得起各种异常的冲击。第三，压力测试会暴露系统在普通情况下不易发生，但是有可能发生的B

16、UGo对于软件系统来说，某些积累性的错误并不容易暴露，例如内存泄漏，通过高负荷也许在短时间就能够发现 类似错误。第四，压力测试可以发现系统的奇点，所谓奇点是指系统在某种负荷下出现非预期(例如CPU占用率 的非线性变化、呼损的突变等)的异常。6、 配置测试(Configuration Test )【定义】验证系统能够在不同的系统配置(硬件、软件、网络)环境下正常工作的测试。【说明】在配置测试时，系统应该是为不同用户服务而设计的，测试是分析系统在各种各样的特定配置下的表现。 其中有一个重要的测试分支：性能指标配置测试。产品日益复杂，组合配置种类变 化繁多，无法穷尽，设计时 考虑不到从而隐患也就很多

17、。配置测试涉及的方面可分为：硬件配置测试：通常支持硬件配置的数目太多，不可能对各种组合进行测试，但是至少要对 每一种硬件的 最大最小配置进行测试。重点考虑网上的实际情况，测试网上的典型配置。7、 安装测试(Installation Test )【定义】验证系统能够被成功安装、升级的测试。【说明】系统可安装性测试的目的是找安装错误。在安装软件系统时，会有多种选择。要分配和装入文件与程 序，布置适当的配置，进行程序的联结。而安装测试就要找出这些安装过程中出现的错误。在系统开发完成和 接受测试执行后，系统要在目标环境下测试安装，也就是根据硬件和软件配置需求进行系统测试。同样要检验 安装的步骤。安装是

18、客户使用新系统的第一个活动，因此，清晰而简明的安装指导必须是系统文档中最重要的部 分。安装指导还必须告诉用户如何调整系统选项，以及如何从先前版本上升级。安装测试设计时，需要考虑以下问题：1）谁是安装者，他们具备什么技能？2）安装手册是否记录了完整的安装步骤？3）安装程序可能在什么环境下运行，如平台、软件、硬件、网络、版本?4）安装是否会改变用户目前的环境设置，如config.sys文件等？5）安装者如何知道是否正确安装，如是否有安装测试程序等？8、 恢复测试（Recovery Test ）【定义】测试系统从硬件或软件故障中恢复的能力。【说明】恢复测试又称故障恢复测试，故障恢复就是指测试当系统遇

19、到各种内部、外部故障导致子系统及整机 故障或者部分功能丧失时的恢复能力。广义的理解，故障恢复测试包括故障后系统的自动恢复，也包括在操作 人员的人工干预下的恢复。在这时候，操作人员的技术水平和熟练程度，故障处理指导手册的写作水平等也可 以成为被测试的项目。对于电信系统，不同的故障对系统运行影响范围也不同，根据不同的影响，可以对故障 进行下面分类，对于不同故障测试时关注的检查点也不一样。1）对业务和功能都不影响，主要关注对故障能否正常告警，呼叫是否正常。2）影响正在运行的业务部影响功能，还要关注是否有内部资源会吊死，话单是否正常。3）影响部分功能，还要关注功能恢复（故障恢复）的时间和条件。4）影响

20、整机所有功能运行，关注整机恢复的时间。对于故障恢复测试应在系统能够正常稳定运行后集中测试，否则容易漏测。在测试过程中要充分利用调试命 令，监测测试前后内部表资源的占用情况，如果条件允许还要检查话单的正确性，因为这些是最容易出错的地 方。9、 易用性测试（UsabiHty Test ）【定义】易用性测试评价系统的终端用户使用或学习系统，支持用户任务系统功能的效率和最终从用户失误中 恢复的能力。【说明】易用性测试用例要覆盖测试的检查点。对于配置完整的环境，还要进行最大配置的易用性测试。日 志，后台打.印，资源查询等功能均需要进行测试。易用性测试就是要努力找出人为因素或软件的易用性和问题。遗憾的是，

21、如何很好的定义和研究程序 系统的人为因素还没有得到足够的重视，导致对于人为因素的分析仍然是非常主观的。下面列举了一些目前考 虑到的应该测试的项目种类：1）是否每一个用户接口都能适应各种终端用户的智力，教育背景，以及环境因素。2）程序的输出是否是有意义的，而且完全没有“乱码”的等等？3）错误诊断系统（如错误提示信息）是否都简单易懂，还是需要由计算机领域的专家才能理解？例如，程序是否会提示这样的信息“IEK022A OPEN ERROR ON FILE LYSIN' ABENDCODE= 102 ” ?4）全套的用户接口能否展现出令人满意的概念一致性（2），句法的连贯性、一致性，惯例、语义

22、、格式、风格、以及语言的缩略呢？5）输出结果是否需要等待很长时间？6）系统是否会包含过多的选项，而这些选项未必会被用到？7）系统是否会对所有输入立即返回各种类型的确认？8）软件使用是否简单？例如，输入一条命令给一个分时系统时是否需要重复使用“shift键来切换大小写字母？四、可选测试类型1、 备份测试（Backup Test）【定义】测试系统在软件或硬件故障时备份数据的能力。【说明】备份测试作为恢复测试的补充，也可以在设计时作为恢复测试的一部分。备份测试要考虑：文件的备份，与原文件进行比较文件和数据的存档检查点备份系统备份备份对系统性能的影响备份的副作用备份的触发因素备份过程中的安全性备份过程

23、中的维护处理日志2、 大容量测试（Volume Test）【定义】在系统在大容量的数据下运行，以测试系统是否能处理大容量的数据。【说明】大容量测试是一类特殊的性能测试，它专门测试内部程序或系统的限制。也就是让软件接 收大数据量 测试，例如：如果是一个编译器，就让它编译一个超大资源的程序（程序需要的资源大到不可思议的程度）；如 果是一个连接编辑器，就要接受包括成千模块的程序的考验；如果是电子电路模拟器就要模拟规模庞大的电 路；如果是操作系统工作队列就要进行满容量测试；假如让一个程序处理跨越多卷的文件（如磁带），那么就要 生成足够的数据使得程序从一卷切换到另一卷。换句话说，容量测试目的是要测出被测

24、软件不能支持哪些指定 的规格指标。无论从人力还是物力上看容量测试显而易见是非常昂贵的，因此不能过量投入，但是对于每一个软件来说必须要经过一定量的容量测试。3、流控测试（Traffice Control Test）【定义】对系统流量控制能力的测试。【说明】流控测试是压力测试的一个重要组成，设备的流控点不会只有一个，会有若干条件超过标准导致的若干种流控，比如CPU过载导致的流控，还同时导致信令流控；模块间通信过载会导致通信流量流 控；流控还要分级别以达到平滑控制的目的。测试流控并没有固定方法，需要开发测试人员共同试验，以达到 最佳效果。目前有的原则是：1）流控发生时，应模拟不变的负荷、继续加重的负

25、荷和减轻的负荷等多种负荷情况来测试流控效果。2）流控时系统开销已经很大，尽量不让流控算法或方法继续加重系统负担。3)流控效果判断标准比流控开始时间有迟滞或者特别灵敏的情况，要区分开并结合负荷情况在恰当时间结束流控或降低流控级别。4、兼容性测试(Compatibility / Cohabitation Test)【定义】对不同操作系统、不同硬件平台、不同应用程序、不同网络的兼容性的测试。【说明】兼容性有两重意思，一是指两种或多种不同的系统、部件能够在同样的软件和硬件环境实现其功能。以上 的定义就是为了测试被测对象是否具备这种兼容性。另一是指两种或多种不同的系统、部件能够交换信息和处 理相互交换的

26、信息。其实就是互操作性测试。习惯上和其他厂家对接时，也称作兼容性测试。5、互操作性测试(In teroperability Test)【定义】与其他厂家相关产品的对接/互通测试。【说明】由于通信协议、路由协议非常复杂且拥有众多选项，实现同一协议的网络设备并不能保证互通互操 作。并且因为一致性测试能力有限，即使通过协议一致性测试也未必能保证完全实现协议。所以有必 要对设备进行互操作测试。互操作测试实际上是将一致性测试中所用的仪表替换成需要与之互通互操作的设备，选择一些重要且 典型的互连方式配置，观察两设备是否能按照预期正常工作。6、Web 测试(Web Test)【定义】用于Web服务器性能和容

27、量测试。【说明】针对Web和电子商务的应用有一些特殊的测试技巧。Web测试时，被测服务器与测试仪上一般都装有千兆光纤网卡，两网卡通过光纤直接连接。Web性能测试工具模拟实际的用户发出 HTTP请求，并根据回应给出具体的详细测试结果。它有以下特点：能够模拟成百上千的客户端对服务器发出请求；能 够模拟真实的网络应用情况，比如网站在高峰期的访问量应该是动态的维持，有新 客户端的加入，同时也有原 客户的离去，访问量不是固定不变的；可以产生较大个连接/秒请求量，足以满足测试的需要；测试项目丰富，有访问请求的成功失败数，有URL和页面的响应时间，有网络流量数，还有HTTP和TCP协议的具体情况。测试分为静态性能与动态性能两部分。主要是因为在实际的Web应用中，有的站点静态内容居多，提供的服务也绝大多数是静态的，因此，他们就会特别的关心服务器静态性能；同样，有的站点提供的服 务交互性的内容居多，他们就会更关心服务器的动态性能。被测网站中页面大小及静态、动