软件测试管理规范

1、软件测试管理规范软件测试管理手册卡友研发中心质量体系文件状态：【1草稿【】修改稿【J】正式发布文档编号保密等 级内控作 者最后完成 日期审核 人员最后审核 日期批准人最后批准 日期II软件测试管理手册修改记录日期版 本作者/ 修改者修订 类型描述2017-02-71.0修改根据原卡友智能的软 件测试过程进行修订1导言11.1 概述11.2 目标11.3 适用范围12测试职责23测试需求分析34测试策略55测试计划55.1 测试讲入条件55.2 测I试计戈口 56测试用例66.1 测试用例操作步骤66.2 测试用例诜择准则76.3 测试软/硬件环境76.4 测试数据准备77测试执行87.1 项目

2、测试周期87.2 项目测试启动87.3 项目测试阶段 87.4 项目测试结束 97.5 测试执行过程绩效考核 108测试变更109缺陷管理129.1 缺陷基本属件 129.2 缺陷管理流程139.3 缺陷分类149.4 缺陷定义179.5 缺陷完成度209.6 处理机制2010测试结果分析2110.1 测试完成的标准2110.2 保留的缺陷 2210.3 测试退出2311敏捷测试2412业务开发组测试与测试组测试的联系与区别.2512.1 职责上区别与联系2512.2 初界的划分25软件测试管理手册1 导言1.1 概述制定本过程与规范的目的是为了规范软件测试过程中的软件测试活动，明确软件测试过

3、程中业务单元开发小组的内部测试与测试组之间的系统业务集成测试的关系与区别；明确软件测试过程中的工作原则与方法。本规范作为软件测试工作的标准与指南。1.2 目标测试的正确定义是“为了发现程序中的错误而执行程序的过程” 。 为了更好地执行好测试， 我们明确以下目标：1)测试是为了发现程序中的错误而执行程序的过程；2) 好 的测试方案是极可能发现迄今为止尚未发现的错误的测试方案；3) 成 功的测试是发现了至今为止尚未发现的错误的测试。1.3 适用范围本规范是对项目软件测试的一份指导性文件， 对软件测试过程中所涉及到的测试理论、测试类型、测试方法、测试标准、测试流程以及软件产品开发单位所承担的职责进行

4、总体规范，以有效保证软件产品的质量。2 测试职责测试职责是指在项目开发过程中跟测试工作有关的角色分工，主要包含的角色以及工作职责如下：测试经理：负责产品业务需求与测试任务的对接与安排；组织和指导测试组长完成项目的测试工作；负责测试组内资源的协调和管理；定期组织测试的总结和分析；负责测试过程中与开发、产品的业务协调和业务确认；测试组长（产品测试负责人） ：分析需求并进行细化可用于执行测试的需求制定测试计划参与、跟踪测试过程统计测试数据对测试活动和结果进行分析，撰写测试分析与总结报告测试工程师：根据测试计划编写测试用例搭建测试环境，准备测试脚本执行测试，记录测试结果和缺陷，跟踪缺陷的解决执行回归测

5、试提交测试数据技术支持工程师：环境支持版本发布支持3 测试需求分析首先了解产品或者客户提出的业务需求功能、 形成的产品需求，以及本公司对需求的理解及说明，参加需求评审、设计评审。通过对文档分析，分解各功能模块和功能，为测试用例设计提供数据依据。反复检查并理解各种信息，与产品或用户交流，理解他们的要求。可以按照以下步骤执行：1 ）确定软件提供的主要商业任务，即根据价值确定的需求。2）对每个商业任务，确定完成该任务所要进行的功能。3）确定从数据库信息引出的计算结果。4）对于对时间有要求的交易，确定所要的时间和条件。 这些条件包括数据库大小、 机器配置、 交易量、以及网络拥挤情况。5）确定会产生重大

6、意外的压力测试，包括：内存、硬盘空间、高频度的交易。6）确定应用需要处理的数据量。7）确定需要的软件和硬件配置。通常情况下，不可能对所有可能的配置都测试到，因此要选择最有可能产生问题的情况进行测试， 包括： 最低性能的硬件、几个有兼容性问题的软件并存、客户端机器通过最慢的LAN/WAN连接访问服务器。8） 确定其他与应用软件没有直接关系的商业交易。包括：管理功能，如启动和退出程序配置功能，如设置打印机操作员的爱好，如字体、颜色应用功能，如访问 email 或者显示时间和日期。9）确定安装与部署过程，包括定置从哪安装、定制安装、升级安装。需要的部署物理结构，机器配置等。10）确定没有隐含在功能测

7、试中的用户界面要求。大多界面都在功能测试时被测试到。 还有些没有测到，如：操作与显示的一致性，如使用快捷键等；界面遵从合理标准，如按钮大小，标签等。4 测试策略测试策略用于说明某项工作的测试方法与目标。 系统测试策略主要针对系统测试需求确定测试类型及实施的测试方法与技术。1. 采 用的测试类型，对于测试案例的设计策略；2. 用 于测试评估结果和测试是否完成的标准；3. 对 测试策略所述的测试工作存在影响的特殊事项；4. 基 于时间、 进度、 度量的软件测试平衡策略的考虑；5 测试计划5.1 测试进入条件项目启动后，项目或者产品需求（ UI 原型）完成并经过评审；即可启动测试工作；5.2 测试计

8、划根据测试的种类，测试计划分为功能测试和非功能测试计划。测试计划旨在说明各测试阶段任务、人员分配、时间安排、测试要点、工作规范等。测试计划在策略和方法方面说明如何计划、组织和管理测试项目。测试计划包含足够的信息使测试工程师明白项目需要做什么是如何运作的。测试计划不包括测试用例的细节和系统功能的详细信息。测试计划应附有测试功能点矩阵、测试性能点矩阵。测试计划应在项目组内进行评审。 参与测试计划评审的人员包括：项目经理、测试组长、开发组长、测试工程师。6 测试用例测试用例是为实施测试而向被测试系统提供的输入数据、操作或各种环境设置以及期望结果的一个特定的集合。 解决要测什么、 怎么测和如何衡量的问

9、题。从测试结构上面划分分为黑盒测试、 白盒测试 2 种，他们各自有不同的测试方式，目前本公司只考虑黑盒测试，以下设计方法以黑盒方法为例。6.1 测试用例操作步骤在设计编写测试用例时， 首先要从测试用例库中选择相应功能的测试用例，在原有测试用例的基础上依据系统需求文档对测试用例的进行修改、更新，评审通过后将使用该测试用例测试被测系统。在测试项目结束后，统计分析所使用过的测试用例，进行分类放到相应的测试用例库中。为以后测试用例的设计编写提供数据基础。6.2 测试用例选择准则测试用例的代表性：能够代表各种合理和不合理的、合法的和非法的、边界和越界的 , 以及极限的输入数据、操作和环境设置等；测试结果

10、的可判定性： 即测试执行结果的正确性是可判定的或可评估的；测试结果的可再现性：即对同样的测试用例 , 系统的执行结果应当是相同的。6.3 测试软 / 硬件环境根据需求文档提供的内容， 与研发沟通确定测试项目所需的软硬件环境，完成对测试项目所需软硬件资源的准备工作，使软硬件资源得到满足。软件硬件资源的确定需要在项目进入测试之前完成。完成对软硬件资源的配置后， 要进行对测试项目的软硬件环境进行检查，确认对软硬件资源配置的有效性。6.4 测试数据准备完成对测试项目基本数据的准备操作， 包括数据库连接、用户信息、用户角色权限、单位组织等信息和测试相关的测试数据。7 测试执行7.1 项目测试周期测试项目

11、的测试周期可分为： 单元测试、 接收测试、集成测试、系统测试、回归测试、性能测试、配置测试等等。根据不同项目或产品的特性，可以选型不同的测试周期，但集成测试、系统测试、回归测试是必不可少的，性能测试根据具体产品与项目情况而定。7.2 项目测试启动软件项目测试活动的正式启动， 是在确认软件可测试性后展开的。软件业务组内的测试人员与开发人员需要一起完成代码的单元测试并形成单元测试报告 ，单元测试效果通过接收测试验证。7.3 项目测试阶段测试工程师依据测试计划和测试用例进行测试活动。测试一般分为三个阶段：1. 业 务模块组内的单元测试与随测， 由业务模块组内的测试人员与开发人员共同一起完成； 业务组

12、的测试人员主要对业务模块开发组的每天完成的功能进行随测， 对已完成功能的核心代码部分完成单元测试（白盒测试） ；2. 集 成测试、 系统测试阶段： 该阶段测试工程师实时提交缺陷，并跟踪缺陷，验证缺陷，直到提交的缺陷被关闭或被保留。 开发人员周期性提交修改过缺陷的新版本， 测试工程师在新版本上验证缺陷。3. 回 归测试阶段：在集成测试、系统测试阶段完成后， 产品将进入回归测试阶段。测试工程师对修改后的产品进行重新功能验证， 确保修改的正确性，验证在修改缺陷的同时没有引入新的问题。回归缺陷是指开发人员标示已修改的缺陷， 经测试后发现仍未修改正确， 或引入其他缺陷，或在前一个版本中未发现的缺陷， 在

13、后一个版本中出现。4. 在 测试过程中，测试组长每天下班以前需要花15-30 分钟组织开发人员、测试工程师和项目经理对BUG进彳R REVIEW由项目经理给出BUGffi应的解决时间。如产品进行性能测试，则需要在性能测试后，进行一轮回归测试，确保功能的正确性。7.4 项目测试结束项目测试结束时应达到测试质量目标所规定的标准。通过评审后结束该项目测试。软件测试管理手册7.5 测试执行过程绩效考核为促进开发人员积极主动做好质量工作，对开发人员进行考核。序 号开发人员考核内容考核评分 标准1开发人员提交的首个产品未通过单兀 测试标准。待定2开发人员无故将【严重】、【非常严重】 级别无争议的缺陷延期1

14、天修改。待定3开发人员未能正确修改缺陷，导致状 态为【已修改】的缺陷被【重新打开】， 测试过程中每天超过1个。待定4开发人员千行缺陷代码率在项目组中 排名第一者待定5一个项目中【延迟修改】或【已知问 题】的缺陷数超过总缺陷数的10%待定8测试变更当需求变更，功能变化时，产品经理需要通知测试 工程师，测试工程师根据变更情况，评估测试变更所 需时间，提出变更风险。测试组长要修改相应的测试 计划，测试工程师要重新设计测试用例并组织完成评审或者经过测试经理的审查9缺陷管理9.1缺陷基本属性缺陷是指在软件开发过程中的针对软件产品和开 发过程中的问题，这些问题已经影响或可能会影响软 件产品的质量。缺陷应该

15、具备以下属性，也就是往缺 陷管理库或者缺陷列表中提交的缺陷应该具备以下属 性：属性名 森描述缺陷标识标记某个缺陷的一组符号，每个缺陷 必须有一个唯一的标识缺陷类型根据缺陷的自然属性划分的缺陷种类缺陷验证程 度因缺陷引起的故障对软件产品的影响 程度缺陷所处的 模块或子系 统缺陷分步的模块或子系统缺陷出现几 率指发现错误的几率缺陷的重现 步骤详细的缺陷重现步骤附件与缺陷相关的附件（截图、附件、用 例等）备注对缺陷的其他描述9.2缺陷管理流程测试人员开发人员项目经理提交BUG关闭BUG修改BUG.是否需要延期 修改保留BUG.是是 中1）提交缺陷测试工程师将缺陷填写到管理工具中，选择指派人 为开发组

16、长或相应的开发人员。2）分配缺陷开发人员分别对自己收到的缺陷进行评审。 评审后 如果对提交的缺陷有疑问，可以与提交人协商。对未 能达成一致的缺陷由项目经理组织项目组成员评审。软件测试管理手册评审人员可以是项目组人员。如果缺陷初次分配的开发人员无法修改该缺陷， 初次分配的开发人员可以将缺陷再次分配给其他开发人员。但为避免缺陷被多次分配，项目经理应跟踪 3 天以上未修改的缺陷。3) 修改缺陷开发人员对已确认的缺陷进行修改，填写修改记录，修改缺陷状态为“已修改”或其他状态。4) 关闭缺陷测试工程师对已修改的缺陷进行验证。 如果已修改完成，测试工程师将缺陷状态设置为关闭。如果没有修改或引起回归问题，

17、将修改缺陷状态为 “重新开启”或新增缺陷，由开发工程师继续修改。5) 保留缺陷对于有争议的缺陷进行， 将有项目经理最终决定是否修改。如果缺陷是由于技术原因、版本原因不能修改，则保留该缺陷。9.3 缺陷分类1)根据缺陷的定义，将缺陷分为如下列? 文档缺陷：是指对文档的静态检查过程中发现的缺陷。检查活动包括同行评审、产品审计等。评审的缺陷要根据被评审对象的类型来确定，被评审的对象包括最终出产物和中间过程产出物，比如需求文档、设计文档、计划、报告、用例等缺陷 分类描述描述不完整文档内容缺失，或文档应该包括的范围 没有涵盖不一M一致性问题有两类：是与源头说明书不一致，比如需求和 客户业务需求不一致、设

18、计与需求不 致等二是上下文或者与前提不一致描述错误文档描述是错误的，不可实现或导致错 误的输出或结果功能问题该缺陷将会导致用户功能的错误、不满 足、不可用不清楚或有 歧义内容的描述不清楚、不能准确表达、或 表达的息思有歧义逻辑错误内容组织逻辑不清楚、逻辑错误接口问题与最终用户接口问题、与外部系统的接 口问题、内部子系统或模块的接口问题输入输出问 题输入输出不完整、不正确、不可测试或 验证不细化、描 述不具体内容还需要进一步细化性能问题文档的设计或实现方式存在性能问题安全性问题文档的设计或实现方式存在安全性问 题?代码缺陷：是指对代码进行同行评审、审计 或代码走查过程中发现的缺陷缺陷分类描述常量

19、变量定义问题不满足设计或需求编写代码不符合规范条件判断处理循环处理错误异常处理算法逻辑问题注释问题代码冗余性能问题?测试缺陷：是指由测试活动发现的测试对象 （被测对象一般是指可运行的代码、系统，不包 括静态测试发现的问题）的缺陷，测试活动包括 单元测试、集成测试、系统测试、性能测试等?过程缺陷：有称为不符合项问题，是指通过 过程审计、过程分析、管理评审、质量评估、质 量审核等活动发现的关于过程的缺陷和问题。过 程缺陷的发现者一般是测试工程师、项目经理等缺陷 类型描述功能错误影响了重要的特性、用户界面、产品接 口或全局数据结构，并且设计文档需要 争取的变更。如逻辑、循环、递归、功能等缺陷结构错误

20、Web应用程序结构化页面无法显示）或 署显示错误脚本错误Web应用程序当中出现脚本错误，包括 客户端对数据进行校验和运算的各种 情况下产生的错误页面链接错 误Web应用程序页面出现空链接、错误链 接、死链接页面文字错 误Web应用程序页面出现的中外文拼写、 使用、以及不同语种页面的编码错误页面图形错 误Web应用程序页面出现图片内容使用不 当，或者无法显示ALT错误Web应用程序页面当中超文本标识语 言、文本标签解释错误排版错误Web应用程序页面排版不符合要求或者 不符合使用习惯业务逻辑不 合理应用程序的实现流程和规定业务流程 不一致，或者实现流程无法正确完成。 包括流程数据的部分并行、争用、

21、同步 等操作，引起的流程断裂、死锁、以及 其他异常情况业务逻辑不 方便应用程序实现流程在实际情况下虽然 可以完成，但是存在不必要的反复、等 待、冗余等影响使用效率的情况其他错误其他未分类错误建议系统改进建议9.4 缺陷定义1）缺陷等级定义缺陷的严重程度对以上所述的缺陷类型都是适合 的，缺陷的严重程度反映的是对缺陷的发现对象可能 造成的影响或后果来定义的。缺陷等 级缺陷性 质系统中 对应的 错误分 类描述级致命错 误系统崩 溃、死锁 闪退导致对被描述的主要对 象的理解错误、不可行、 不可运转、对业务和整个 系统造成重大损失或损 害；对产品的基本功能有 致命影响的缺陷。级严重缺 陷严重错 误对被描

22、述的部分对象的 理解或实现错误，部分的 模块或系统不可行或不 能运转或部分模块和系 统缺失，对整个系统有重 大影响或可能造成部分 的损失或损害；系统实现 功能与需求不符。级一般缺 陷错不错 要局理字 次误布合文误系统中部分单元模块或 单个功能描述和实现有 错误、石偏差、不一 有缺失，不影响模块的正 常运行，或有影响，但可 以有替代的办法或避免 亦注四 级微小缺 陷微不足 道基本不影响系统的运行 和功能的实现。但是与标准、规范和定义不一致五 级建议缺 陷新特性不在定义、标准、范围的 定义和约束之内，但是从 提出者来看是需要完善 的建议2）缺陷优先级定义缺陷优先 级描述紧急需要立刻进行修改高在1-

23、2天之内必须修改完成中缺陷需要正常排队等待修复低留到组后解决，如果项目的进度紧 张可以在产品发布以前不解决3）缺陷状态定义缺陷状 态描述初始状态（NeW测试或开发人员提交一个新的缺陷，等 待开发人员或项目经理分配修改负责 人打回(FeedBack)要求缺陷的报告者再次对缺陷进行说 明已 分 配 (Assigned )是指已经分配给属主，等待修改。已 解 决(Resolved)缺陷被属主修改，等待测试工程师验证关闭（Closed）测试工程师验证缺陷已经修复重新打开(Reopen)测试工程师验证，缺陷没有修改正确遗留(Later )经项目经理和技术经理验证此缺陷在 本版本中不用修改9.5缺陷完成度

24、缺陷完成度描述打开(Open缺陷没有被解决已解决(Fixed )缺陷已经修改遗留(Suspended)此缺陷步骤本阶段解决重新打开(Reopen)重新打开某个缺陷不做修改 (Won t fix )不对这个缺陷进行修改重复(Duplicate )与某个缺陷重复需求如此技术经理和开发人员经过需求和设 计的核实后决定不需要修改不可重现被指派的开发人员想要再现缺陷进 行修改个时候，发现缺陷始终不能再 现9.6处理机制1)退回机制若在测试过程中发生如下情况，将系统退回到业务 开发组或相应的版本提交人中员：?经过测试后，发现与需求说明规格说明书中定义软件测试管理手册的功能项存较大的差异。? 单一模块，测试

25、过程中发现缺陷较多或者无法继续进行系统其它功能模块的测试， 继续测试无意义。? 测试过程中，频繁死机、系统崩溃或者应用闪退（单次版本出现三次以上） 。? 主业务流程出现断点。2） 报告机制若出现以下情况，需要及时向部门领导汇报的情况：? 测试后期出现重大逻辑错误，修改测试影响上线时间? 测试过程中需求出现重大变更? 测试负责人定期汇报测试情况10 测试结果分析10.1 测试完成的标准被测试出的、在软件错误级别分类中定义的：? 一级缺陷，致命错误，100%得到修改并且复测通过? 二级缺陷，严重错误，100%得到修改并且复测通过? 三级缺陷，较大错误，100%得到修改并且复测通过?四级缺陷，一般错

26、误，90婿到修改并且复测通 过?五级缺陷，轻微错误，85嘀到修改并且复测通 过10.2 保留的缺陷测试超过了预定时间表，由项目经理组织确定是否停止测试，如果停止测试需要获得质量总监的同意 测试结论及评价标准如下：测试结 论评价标准测试未通过遗留了一级、二级缺陷测试通过版 本不能遗留一、二类缺陷二类 般缺陷90%得到修改并且通过复测四类轻微缺陷85%得到修改并且通过 复测推荐使用版 本不能遗留一、二类缺陷二类 般缺陷90%得到修改并且通过复测四类轻微缺陷85%得到修改并且通过 复测可以证实发不能遗留一、二类缺陷布版本二类 般缺陷95%得到修改并且通过复测四类轻微缺陷90%得到修改并且通过 复测测

27、试结果分析是对测试结果的一个综合评估，主要描述有测试中各个等级的缺陷数量，缺陷分布情况， 缺陷修改情况、回归测试提交缺陷数量，性能测试指 标情况。测试报告由测试组长编写并提交给项目经理，且项目组内评审确定、由质量总监进行审批。10.3 测试退出当软件测试总结完成，被测试的产品获得相应的测 试评估的结果，即本轮次或者本产品的测试即完成。11敏捷测试1、验证需求和设计1r2、编写计划和用例测试工程师的重点是审核和检查文本对用户需求定义的完整性、严密性和功能设计的可测性；在测试初期，测试工程师学会做静态测试（针对于项目或者产品的UI原型、PRD文档），做好测试需求分析，设计逻辑的分析。测试工程师更多

28、的是的思考需求的可实现性，将自身作为第一用户积极参与项目和系统 的需求分析，设计和开发。积极地参与前期工作，并迅速反馈给设计和开发其静态测试结果。要尽早的 开始测试，不要等待到功能完全做好才开始。3、测试执行2.1编写计划根据每次冲剌或迭代所确定的Features （特性与需求）的优先级来制定测试计划，需要包括测试的范围、测试的工作量评估、测试的策略及时间任务安排，所需要的测试资源的计划。2.2编写用例测试案例的编写颗粒度依据项目的具体情况而定，可以是简要的测试大纲与要点的形式，也可以是涉及 到具体的参数、步聚和数据的设计。2.3评审用例为使开发人员能参与到测试案例的Review中来，以保证测

29、试案例的质量和可行性，确保测试工作的顺利进行，让开发人员迅速地了解测试的重点并给出相应的意见和建议，测试人员在写测试案例的同时，需要形成Test Case跟踪矩阵，其中注明TC已覆盖了哪些 Features ,具体每个Features对应的测试案例，这样在测试经理和 SM对测试案例进行 Review的时候，能够对 TC的覆盖率一目了然，对覆盖率不足的地方 能够及时给出意见3.1单元测试在日构建版本给测试前，开发首先要做单元测试，提前告知软件中的薄弱环节，帮助测试工程师调整测 试重点。3.2验证测试这一阶段的测试需要在计划下进行。这种计划性首先体现在开发和测试的相互协调配合，根据产品的架 构和功

30、能模块的依赖关系，按照项目的总体计划共同推进。从测试的过程来看，测试执行的一开始可以 是针对部分功能的，之后可以逐步扩展。接着开始采用迭代的过程完成测试任务，即将测试任务划分为 多个周期，一开始可以做些关键的功能性测试，可以对代码中的可复用部分（组件，构件）做完整的测 试。接着的迭代周期可以做边缘化的功能测试和其他测试，最后的几个迭代应该用于回归测试，和关键 的性能和稳定性测试。3.3每天提供 BUG趋势分析为方便衡量项目的进度，测试可每天测试完毕后提供测试的bug趋势，即将每天新生成的Bug数和每天被解决的Bug数标成一个趋势图表。一般在项目的开始阶段新生Bug数曲线会呈上升趋势，到项目中后

31、期被解决Bug数曲线会趋于上升，而新生 Bug数曲线应下降，到项目最后，两条曲线都趋向于零。PM会持续观察这张图表，确保项目健康发展，同时通过分析预测项目Bug ,对于每个版本的 bug ,开发都应该想想为什么会出现这样的问题，特别是很低级的bug ,对于同类的bug ,是否可以避免。3.4测试用例维 护在执行测试过程中，测试工程师需要对已有的测试用例进行及时的维护。通常以下两种情况下要新增一些测试用例：一是对于当初测试设计不周全的领域，二是对于外部的Bug ,没有被现有测试用例所覆盖。当产品的功能设计出现更改时（敏捷项目中功能设计的更改频繁），所涉及的测试用例也要相应地修 改，使测试用例保持和现有的功能需求同步。3.5控制中间版本为更好地保证软件质量，规