第三方软件系统验收测试实践

1、第三方软件系统验收测试实践2011/4/25 9:00:00李志刚（黑龙江省电子信息产品监督检验院，哈尔滨 150090）摘 要：软件验收测试是用户对软件产品上线运行前进行的最后一次测试活动。其测试活动一般应包括：文档审核、可执行程序测试和按客户需求进行的其他项测试。对于软件系统的最终用户而言，委托第三方测试机构对软件系统进行验收测试对于提高软件质量并降低软件系统运行时的质量风险具有极其重要的作用。本文对第三方测试机构的验收测试加以论述。关键词：验收测试；文档审核；功能测试Third-party software system acceptance testing in practiceLi

2、Zhi-gang(HLJ Provincial Electronic Information Products Supervision Inspection Institute, Harbin 150090, China)Abstract：Software acceptance testing is the last testing activities before software products to run on the line. Its testing activities should generally include: document review, the execut

3、able program testing and other tests according to customer requirements For the software system in terms of end-users, commissioned by third-party testing agencies to conduct acceptance testing of the software system play an extremely important role for improving software quality and reduce the qual

4、ity of software systems running the risk. In this paper, acceptance testing third-party testing agencies will be addressed.Key words：acceptance testing；document review；functional test1           引言近年，世界许多企业都因产品质量方面的问题，引发了行业危机、经济损失和社会公共安全问题等诸多质量问题事件。软

5、件系统质量问题由此引发了人们对软件产品质量的高度关注。对于提高软件质量而言，软件系统验收测试起着极其重要的作用。软件系统验收测试（Acceptance testing）是软件系统开发生命周期中的一个里程碑式的阶段，该阶段标志着被开发软件产品在其生命周期中由开发阶段转为运行维护阶段。软件系统验收测试阶段决定着软件开发委托方（系统用户）是否接受并使用该系统，即该系统是否满足系统委托开发合同或最终用户所规定需求的测试活动。该阶段无论对于系统开发方还是委托开发方来说都是一个极其重要的阶段，对于开发方来说该阶段决定着其所开发的软件产品质量是否被客户接受并取得相应的报酬，对于委托开发方来说决定确定该软件产

6、品是否满足自己需求并且是否最终为该项软件产品付出款项，而且对于软件产品本身来说是保证上线运行质量的一个最后的关键性活动。软件系统验收测试是向系统用户表明系统能够像预定要求那样工作，即软件的功能和性能如同用户所期待的那样。可以看出软件验收测试所关注的是软件是否被正确的编码。软件系统验收测试应由开发方在系统验收阶段组织项目干系人（开发方、委托开发方、项目监理人、第三方测试机构等相关人员）对系统进行相关验收测试以确定该软件系统是否应该被验收。但是，目前有些软件公司由于本身技术成熟度低，市场竞争激烈等原因，导致系统开发者周期短，单元测试、集成测试等测试活动进行的不充分，以致系统在上线运行后不能保证软件

7、产品的质量，系统带病运行，使系统在运行过程中存在着各种各样的不同程度的隐患。综上所述，对于软件验收测试而言其过程应该由项目委托开发方组织实施，但是由于技术条件等诸多因素限制，项目委托开发方一般不具有完整的组织项目并实施软件系统验收测试的能力。所以，对于软件质量要求比较严格的软件系统而言，建议软件系统项目委托开发方委托第三方软件评测机构来完成软件系统验收测试工作。2           测试实施第三方软件验收测试实施机构一般是在软件测试领域具有专业技术能力并取得国家认可的测试实施机构。第三方实施软

8、件系统测试是依据国家标准并根据自身在测试领域多年积累下的测试活动的方法论而实施软件系统验收测试。作为第三方测试机构在实施验收测试时一般软件系统已经处于上线运行的前夕，测试方法主要以黑盒测试技术为主。被测试软件系统作为一个软件产品，其交付物至少应包括：文档、系统可执行程序、系统源代码。故软件验收测试应主要包括：系统配置审核、可执行程序测试两大方面以及客户所要求的个性化测试需求。2.1        系统配置审核系统配置审核包括：文档审核、源代码审核、系统配置脚本审核、测试程序或脚本审核等诸多内容，其中主要的审核内容为文档审核。

9、文档审核过程主要依据国家标准GB/T 8567-2006 计算机软件文档编制规范针对开发方提供的文档进行审核工作。在执行文档审核前应对该软件系统委托测试方和软件系统开发方提供的文档的完备性加以审核，软件系统委托测试方提供的文档为系统测试委托书和系统委托开发合同。软件系统开发方提供的文档，根据GB/T 8567-2006 计算机软件文档编制规范中6.1项所述，在软件的生存周期，一般地说，应包括以下一些基本文档：软件(或项目)开发计划、软件需求规格说明、系统/子系统设计(结构设计)说明、软件(结构)设计说明、接口设计说明、数据库(顶层)设计说明、(软件)用户手册、操作手册、测试计划、测试报告、软件

10、配置管理计划、软件质量保证计划、开发月进度报告、项目开发总结报告、软件产品规格说明。其中，以上文档对于软件系统开发方而言分为内部文档和外部文档，作为第三方测试机构我们应着重关注项目外部文档，文档包括：1)        软件需求规格说明；2)        系统/子系统设计(结构设计)说明；3)        软件(结构)设计说明；4)    &#

11、160;   数据库(顶层)设计说明；5)        (软件)用户手册；6)        操作手册。其评测基本原则如下：1)        软件系统开发方所撰写系统需求分析说明文档能够正确有效的反应出软件系统委托方的实际需求（此项目需委托方加以确认）；2)        所列文档依据GB/T

12、8567-2006 计算机软件文档编制规范进行审核；3)        其中系统委托开发合同与系统需求分析说明书为标志性文档，其余所提供文档应符合系统委托开发合同与系统需求分析说明书要求，即其余文档内容应与这两项文档内容项目保持一致，并满足需求的可追溯性；4)        软件系统开发方必须提供软件系统用户使用手册与软件系统维护使用手册，这两项文档为软件系统正式运行后的操作指南是用户最为倚重的文档，软件系统开发方所提供的软件系统设计说明书应对这两项文档的

13、具有指导性作用，即软件设计性文档应该成为软件系统操作与维护性操作具有指导和帮助性作用。其中文档审核是最为繁复的工作，但是也是必不可少的工作，在系统需求文档审核之后，就可以同步展开的软件系统的源代码审核、系统配置脚本审核、测试程序或脚本审核等项工作，在审核的同时应注意到审核过程是一个反复的过程，审核要达到的基本目标是：根据共同制定的审核表，尽可能地发现被审核内容中存在的问题，并最终得到解决。在根据相应的审核表进行文档审核和源代码审核以及配置脚本审核时，还要注意文档与源代码的以及配置脚本的一致性。2.2        可执行程序

14、测试（功能测试）在文档审核、源代码审核、配置脚本审核、测试程序或脚本审核都顺利完成后，就可以进行验收测试的最后一个步骤可执行程序的测试，主要工作为功能测试，其中测试过程如下：1)         软件需求分析：根据软件系统委托开发合同、需求分析文档等相关文档，确定软件功能和性能要求、软硬件环境要求等，并确定软件的质量要求和验收要求。2)         编制验收测试计划和项目验收准则：根据软件需求和验收要求编制测试计划，制定需测试的测试

15、项，制定测试策略及验收通过准则，并经过客户参与的评审。其中，项目验收准则中应包括项目测试正常完成准则和异常完成准则，正常完成准则应包括：a)         所有功能100被测试；b)         集成测试用例至少执行了一遍；c)         软件的整体功能和性能及其他特性与用户要求一致；d)     

16、;    本阶段发现的缺陷符合质量目标的要求，并且缺陷清除率一二级达到100，三级达到80以上，四级达到60以上；e)         根据测试委托方要求完成测试。测试异常完成准则为：系统的一二级错误太多、功能严重违背用户需求。同时，根据测试委托方要求决定是否终止测试。3)         测试设计和测试用例设计：根据验收测试计划和项目验收准则编制测试用例，并经过评审。4)   

17、;      测试环境搭建：建立测试的硬件环境、软件环境等。（可在委托客户提供的环境中进行测试）5)         测试实施：测试并记录测试结果。6)         测试结果分析：根据验收通过准则分析测试结果，做出验收是否通过及测试评价。7)         测试报告：根据测试结果编制缺陷报告和验收测试报

18、告，并提交给客户。在测试过程中每种测试也都包括目标、启动标准、活动、完成标准和度量等五部分。同时在测试过程中也应该注意到的是一般不应直接使用开发方提供的可执行程序用于测试，而要按照开发方提供的编译步骤，从源代码重新生成可执行程序。2.3        其他测试对于第三方测试机构而言，在实施验收测试时，测试委托方（系统用户）还可能要求进行其个性化要求的测试项目，例如：系统性能测试、系统总体评价等诸多测试项目内容，此时，第三方测试机构会根据客户需求和相关国家标准以及行业标准对该软件系统进行相应的测试活动。3  &#