军用软件测评实验室测评过程要求

军用软件测评实验室测评过程要求演示文稿当前1页，总共58页。优选军用软件测评实验室测评过程要求当前2页，总共58页。提纲1、范围2、引用文件3、术语和定义4、管理要求4.1、组织4.2、测试过程4.3、项目管理4.4、文档和记录的管理当前3页，总共58页。范围规定了军用软件测评实验室在执行GJB2725A-2001《测试实验室和校准实验室通用要求》时的附加要求；适用于军用软件测评实验室。当前4页，总共58页。引用文件GJB2725A-2001测试实验室和校准实验室通用要求；GB/T11457软件工程术语。当前5页，总共58页。术语和定义软件测评实验室：softwaretestingandevaluatinglaboratories测试类型：testingtypes测试项：testingitems当前6页，总共58页。组织4.1.1实验室应有措施确保：实验室的工作不利用委托方所拥有的知识产权牟取利益；不以各种压力影响软件测评工作的公正性。4.1.2实验室应：制定保护委托方保密信息和知识产权的管理规定或程序文件；还应有措施确保软件安全和国防军事机密不被泄露。公正，不谋取私利保守秘密当前7页，总共58页。组织4.1.3为保证软件测评工作的公正性，实验室的测评工作应保持独立性：软件测试人员不应承担被测软件的开发工作。4.1.4实验室应确保每个软件测评项目配备相应人员，其中至少应包括：项目负责人；测试人员；测试监督员；质量保证人员；配置管理员。与被测软件组织、人员等方面没有关联确保5类人员当前8页，总共58页。组织4.1.5实验室的质量管理体系：应覆盖软件测试过程和软件测评项目管理；质量管理体系文件应具有可操作性，便于实施和有利于测评工作的顺利开展；对“必要”、“适用”和“明显”等用语给出确切的说明。管理体系完整、可操作当前9页，总共58页。总结质量管理体系完整可操作；在测评工作中应：公正；保密；独立。每个测评项目应配备5类人员：项目负责人；测试人员；测试监督员；质量保证人员；配置管理员。当前10页，总共58页。测试执行测试过程顺序执行的过程；测试过程包括：测试需求分析；测试策划；测试设计和实现；测试执行；测试总结，（包括评价过程和总结）等。测试需求分析测试策划测试设计和实现执行测试测试总结充分性？当前11页，总共58页。测试过程总结测试活动是有依据的；测试过程是顺序执行的过程，前一阶段的工作/工作产品是后续阶段的基础；工作产品（除记录外）要评审，并受到控制；过程评审有两个：测试就绪评审；测试总结评审。从测试依据开始，建立需求追踪机制，以证明测评需求的状态，从已分析到已评价。可使用需求跟踪矩阵当前12页，总共58页。测试过程工作产品及管理要求当前13页，总共58页。测试需求分析-4.2.2.1实验室对测评任务进行测试需求分析：进行测试需求分析的测试依据是：软件测评任务书；合同或其他等效文件；以及被测软件的需求规格说明或设计文档。当前14页，总共58页。测试需求分析的内容确定需要的测试类型：功能测试、性能测试等类型；确定需要的测试要求，包括：状态；接口；数据结构；设计约束等要求。标识类型和要求，标识应清晰、便于识别。确定测试类型中的各个测试项及其优先级。测试类型和测试要求均应与合同中规定相匹配；测试需求分析还要确定测试要求，要有具体的内容，应该保证可测试性。标识的目的是为了后续使用，一般应保证标识的唯一性。当前15页，总共58页。测试需求分析-4.2.2.2和4.2.2.4应建立测试类型中的测试项与测试依据的追踪关系。应将测试需求分析结果，按所确定的文档要求形成测试需求规格说明。测试需求规格说明应经过评审，并应受到变更控制和版本控制。软件测评任务书、合同或其他等效文件、以及被测软件的需求规格说明或设计文档必须的要求，有独立的测试需求规格说明，其格式可由实验室自行定义测试需求规格说明的管理要求：经过评审；受到管理和控制是同行评审的概念：要关注评审，有效的评审是提高测试质量的最好的方法当前16页，总共58页。测试策划-4.2.3.1~4.2.3.4实验室应根据测试依据进行测试策划；策划的内容；实验室应建立测试计划与测试需求规格说明的追踪关系；实验室应将的测试策划结果，按所确定的文档要求形成测试计划；测试计划应经过评审，并应受到变更控制和版本控制。在计划中，建立计划与需求的追踪表测试计划是有格式要求的文档，格式可由实验室自行规定测试计划的管理：经过评审；受到管理和控制当前17页，总共58页。测试设计和实现-4.2.4.1实验室应根据测试需求规格说明和测试计划进行测试设计和实现；应完成如下工作：设计测试用例；准备和验证所有的测试用数据；确定测试用例的执行顺序；准备并获取测试资源；必要时，编写测试执行需要的程序；建立和校核测试环境，记录和标识测试环境偏差。将测试项进行分解，针对分解后的每种情况设计测试用例；

如测试环境所必须的软、硬件资源等如开发部件测试的驱动模块和桩模块以及测试支持软件等当前18页，总共58页。测试设计和实现-4.2.4.2~4实验室应将测试策划的工作结果，按照所确定的文档要求编写测试说明；确定测试说明与测试计划的追踪关系，给出清晰、明确的追踪表。测试说明的管理要求：应经过评审，得到相关人员的认同；受到变更控制和版本控制；根据测试实际情况，修订测试说明。测试说明是有格式要求的文档当前19页，总共58页。测试设计和实现-4.2.4.5测试就绪评审：在测试计划评审和测试说明评审后，还必须进行测试就绪评审，以确定能否开始执行测试；当测试说明评审与测试就绪评审同时进行时，应分别有相应的评审记录。当前20页，总共58页。测试设计和实现-4.2.4.5测试就绪评审要求：审查测试文档内容的完整性、正确性和规范性；通过比较测试环境与软件真实运行的软件、硬件环境的差异，审查测试环境要求是否正确合理、满足测试要求；审查测试活动的独立性和公正性；审查测试说明评审的有效性，如是否评审了测试项选择的完整性和合理性、测试用例的可行性和充分性。没有利益关系，人员具有独立性当前21页，总共58页。测试执行-4.2.5.1~4.2.5.2实验室应按照测试计划和测试说明的内容和要求执行测试。实验室应如实填写测试的原始记录，原始记录应（※）：受到严格管理；规范格式；至少包括测试用例标识、测试结果和发现的缺陷。及时、真实、完整支持问题可再现，证明所有设计的用例均得到执行当前22页，总共58页。测试执行-4.2.5.3~4.2.5.4实验室应根据每个测试用例的期望测试结果、实际测试结果和评估准则，判定测试用例是否通过。当测试用例不通过时，实验室应根据不同的缺陷类型，采取相应的措施：对测试工作中的缺陷，记录到相应的表格中（如《问题及变更报告》），并实施相应的变更；对被测软件的缺陷应记录到软件问题报告中；软件问题报告的格式应规范。如测试用例缺陷、测试数据缺陷、执行测试步骤时的缺陷、测试环境中的缺陷等，设计测试用例时，应确定期望的测试结果和评估准则。当前23页，总共58页。测试执行-4.2.5.5当所有的测试用例都执行完毕后，实验室应根据测试的充分性要求和有关原始记录，分析测试工作是否充分，是否需要进行补充测试：当正常终止时，如果发现测试工作不足，或测试未达到预期要求时，应进行补充测试。补充测试应视情况按4.2.2~4.2.4的要求进行；当异常终止时，应记录导致终止的条件、未完成的测试或未被修正的错误。功能覆盖、路径覆盖、渔具覆盖、分枝覆盖当前24页，总共58页。测试总结-4.2.6.1实验室应根据测试依据和测试文档对测试工作和被测软件进行分析和评价；并将对以后有价值的数据和文档收集入库。测试文档包括：测试需求规格说明；测试计划；测试说明；测试记录、问题及变更报告和软件问题报告等；测试报告和/或测评报告。软件测评任务书、合同（其他等效文件）、被测软件文档评价的准确性决定于测试活动进行的程度。当前25页，总共58页。测试总结-4.2.6.2实验室应对测试工作进行分析和评价；分析和评价包括：总结测试需求规格说明、测试计划和测试说明的变化情况及其原因；在测试异常终止时，说明未能被测试活动充分覆盖的范围及其理由；确定无法解决的软件测试事件并说明不能解决的理由。（总结报告）测试过程结合配置管理测试过程当前26页，总共58页。测试总结-4.2.6.3实验室对被测软件进行分析和评价；分析和评价包括：总结测试中所反映的被测软件与软件需求（或软件设计）之间的差异；可能时，根据差异评价被测软件的设计与实现，提出改进的建议；当进行配置项测试或系统测试时，需要时，测试总结中应对配置项或系统的性能做出评估，指明偏差、缺陷和约束条件等对于配置项或系统运行的影响。软件问题报告可以裁减有性能测试要求时，要说明偏差、缺陷和约束条件对软件运行的影响。当前27页，总共58页。测试总结-4.2.6.4实验室应分析本测评项目中的数据和文档，以供以后的测试使用；数据如：缺陷数据（包括缺陷描述、类型、严重性等）；用例数据；管理数据（如生产率、工作量、进度等）；文档如：好的用例设计；好的需求规格说明等。实验室自我总结和提高的过程。在CMM中建立过程资产库当前28页，总共58页。测试总结-4.2.6.5（※）实验室应根据测试依据和测试文档，对测试结果和问题进行分类和总结，按所确定的文档要求编写测试报告或测评报告；测评报告应包括：对测试结果的分析；对被测软件的评价和建议。测评报告和测试报告有时可以合并。软件测评任务书、合同（其他等效文件）、被测软件文档测试需求规格说明、测试计划、测试说明、测试记录和软件问题报告等测试报告：测评报告：当前29页，总共58页。测试总结-4.2.6.6实验室应进行测试总结评审；评审应在4.2.6.1～4.2.6.5的各项工作完成后进行，以确定是否达到测试目的，并给出评审结论；测试总结评审的求是审查：测试文档与记录内容的完整性、正确性和规范性；测试活动的独立性和有效性；测试环境是否符合测试要求；软件测试报告与软件测试原始记录和问题报告的一致性；实际测试过程与测试计划和测试说明的一致性；测试说明评审的有效性，如是否评审了测试项选择的完整性和合理性、测试用例的可行性和充分性；测试结果的真实性和正确性。当前30页，总共58页。策划的内容-1确定测试策略；确定测试需要的技术或方法；确定要受控制的测试工作产品，列出清单；确定每个测试项的测试充分性要求；如部件测试策略如测试数据生成与验证技术、测试数据输入技术、测试结果获取技术根据被测软件的重要性、测试目标和约束条件，确定每个测试项应覆盖的范围及范围所要求的覆盖程度当前31页，总共58页。策划的内容-2确定每个测试项测试终止的要求：包括测试过程正常终止的条件（如测试充分性是否达到要求）；导致测试过程异常终止的可能情况；确定用于测试的资源要求；进行测试风险分析；确定测试任务的结束条件；包括软硬件设备、环境条件、人员数量和技能等要求如技术风险、人员风险、资源风险和进度风险等根据测试需求和被测软件的特点确定结束条件当前32页，总共58页。策划的内容-3确定被测软件的评价准则和方法；确定测试活动的进度；确定需采集的度量及采集要求：应根据测试的要求，确定要采集的度量；特别是测试需求度量、用例度量、风险度量、缺陷度量等；应明确相应的数据库。应根据测试资源和测试项，确定进度当前33页，总共58页。测试说明的内容-1A）测试名称和项目标识；B）测试用例的追踪；C）测试用例说明；D）测试用例的初始化要求，包括：硬件配置；软件配置（包括测试的初始条件）；测试配置（如用于测试的模拟系统和测试工具）；参数设置（如测试开始前对断点、指针、控制参数和初始化数据的设置）等的初始化要求。说明测试所依据的内容来源，并跟踪到相应的测试项的标识（编号）简要描述测试的对象、目的和所采用的测试方法；当前34页，总共58页。测试说明的内容-2E）测试用例的输入；每个测试用例输入的描述中包括：1)每个测试输入的名称、用途和具体内容及其性质；2)测试输入的来源，以及选择输入所使用的方法；3)测试输入是真实的还是模拟的；4)测试输入的时间顺序或事件顺序。来源：如测试程序产生、磁盘文件、通过网络接收、人工键盘输入等；方法：如等价类划分、边界值分析、猜错法、因果图以及功能图等内容：如确定的数值、状态或信号等；性质：如有效值、无效值、边界值等当前35页，总共58页。测试说明的内容-3F）测试用例的期望测试结果；期望测试结果应有具体内容，不应是不确切的概念或笼统的描述；必要时，应提供中间的期望结果；如确定的数值、状态或信号等。当前36页，总共58页。测试说明的内容-4G）测试用例的测试结果评估准则；评估准则应根据不同情况提供相关信息，如：1)实际测试结果所需的精确度；2)允许的实际测试结果与期望结果之间差异的上、下限；3)时间的最大或最小间隔；4)事件数目的最大或最小值；5)实际测试结果不确定时，重新测试的条件；6)与产生测试结果有关的出错处理；7)其它有关准则。是用以判断测试用例执行中产生的中间或最后结果是否正确。当前37页，总共58页。测试说明的内容-5H）实施测试用例的执行步骤；执行步骤应包括：1)每一步所需的测试操作动作、测试程序输入或设备操作等；2)每一步期望的测试结果；3)每一步的评估准则；4)导致被测程序执行终止伴随的动作或指示信息；5)需要时，获取和分析中间结果的方法。按照执行顺序排列的一系列相对独立的步骤当前38页，总共58页。测试说明的内容-6i) 测试用例的前提和约束，并要说明它们对测试用例的影响。前提和约束如：特别限制；参数偏差；或异常处理等。j) 测试终止条件，包括：测试正常终止；异常终止的条件。当前39页，总共58页。4.3项目管理需求管理策划管理跟踪与控制质量保证配置管理当前40页，总共58页。项目管理各过程的关系配置管理质量保证跟踪和控制需求管理策划管理测试需求规格说明测试计划测试说明，程序等测试报告测试日志，问题报告测试过程测试设计和实现测试执行测试总结测试需求分析测试策划文档和记录的管理与配置管理一致；当前41页，总共58页。项目管理总结需求管理：应评审需求，建立基线，保持计划、活动和工作产品与需求一致；策划管理：计划应基于估计，不断细化，得到认同，并受到管理和控制；跟踪和控制：应建立机制，有跟踪基准，确定明显偏离，纠正措施跟踪到结束；质量保证：有计划，保持独立性和客观性，高管处理争议，情况要通报；配置管理：有计划，配置项要标识，发布和变更要受控，情况要通报。当前42页，总共58页。需求管理-4.3.2.1~4.3.2.2测评项目需求管理的对象是测评需求；测评需求应根据不同的测试级别而定，一般指：软件测评任务书；合同或其他等效文件；技术附件：包括被测软件需求规格说明、被测软件设计文档以及用户手册等。实验室应在测评项目的整个生存期内对测评需求进行管理。当前43页，总共58页。需求管理-4.3.2.3（※）测评项目需求管理应：评审测评项目的需求和需求变更，包括评审测评需求的可测性、完备性、一致性；建立测评项目的需求基线，控制和管理测评项目的需求和需求变更；有措施保证测试需求规格说明、测试计划、测试活动和测试工作产品与测评需求相一致。视情况测评项目需求评审可以与合同评审一起进行使用配置管理技术，管理测评需求当前44页，总共58页。需求管理建立条目化的测评需求；后续工作产品使用追溯表与上游文档建立追溯关系；变更控制。测评需求测试需求规格说明测试计划测试/评报告测试记录测试说明测试活动当前45页，总共58页。策划管理-4.3.3.1~4.3.3.2测评项目策划管理应贯穿测评项目的整个生存周期。测评项目策划管理的内容包括：制定测试计划（如进度、人员安排）时应基于对软件测试工作量和资源的估计；应根据测试实际情况，对测试计划不断细化和修订；应评审测试计划，并得到各有关方的认同；测试计划应受到版本控制和变更控制。计划基于估计，可以使用历史数据进行计划应具有可执行性，不能一成不变，变是永恒的关注点在于与需求相比测试工作的安排没有遗漏，并可行。当前46页，总共58页。跟踪与控制-4.3.4.1实验室应建立内部跟踪与控制机制，明确：跟踪什么；由谁跟踪；如何跟踪；以及跟踪频度等。确定要跟踪的元素，如工作量、用例数、进度等，指派确定的人跟踪，如测试项目负责人、张三等，采用什么方式跟踪，跟踪的数据的记录方式跟踪的间隔，单周/双周；里程碑等当前47页，总共58页。跟踪与控制-4.3.4.2实验室应按照测试计划和测试说明，跟踪测评项目的实施情况；具体包括：跟踪实际结果和性能，如进度、工作量和测试的充分性等；跟踪和评价测试人员工作的有效性；跟踪和评价测试工具的使用情况。对按计划实施项目所得到的实际结果的一种度量。工作结果与所花费工作量的一种规格化度量工具名称和版本、测试类型、发现缺陷情况、使用人员等当前48页，总共58页。跟踪与控制-4.3.4.3实验室应将测试计划和测试说明作为跟踪的基准；当实际的进度、工作量和测试的充分性等明显偏离测试计划和测试说明时，实验室应采取纠正措施；纠正措施应加以管理直到结束。应明确定义明显的概念，适用阈值可以确定。如：偏离20%当前49页，总共58页。质量保证-4.3.5.1~4.3.5.2实验室应有措施保证测评项目正在运行的过程和正在形成的工作产品，符合相应的技术文件要求。实验室应：编制测评项目质量保证计划；对质量保证计划进行评审；并按计划执行。两个“正”字，说明审核时机、审核间隔、QA的工作是符合性审核，检查表是必须的。当前50页，总共58页。质量保证-4.3.5.3测评项目的质量保证内容包括：质量保证人员应客观地验证工作产品及其活动遵循所用标准、规程和需求的情况；质量保证人员应将测评项目质量保证活动的结果通知到相关人员；最高领导层应负责处理在测评项目组内无法解决的问题。注：当测评项目较小时，可以由项目组成员承担质量保证工作，但必须保持相对的独立性和客观性。不由QA个人决定对错和好坏，有标准、规程等约束让所有受影响的人了解，及时纠正不符合，预防不符合的再次发生。当前51页，总共58页。配置管理-4.3.6.1~4.3.6.2实验室应在测评项目的整个生存期内，对测评项目进行配置管理，保证工作产品的完整性。实验室应：编制测评项目配置管理计划；对配置管理计划进行评审；并按计划执行配置管理。从项目起始到项目结束，全部要实施配置管理，包括：测试需求规格说明；测试工作产品；测试环境等。必要时，包括被测件。当前52页，总共58页。配置管理-4.3.6.3（※）测评项目的配置管理应保证：所选定的工作产品及其描述、测试工具和测试环境等，是已标识的、受控的和可用的；已标识的工作产品的更改和发布是受控的；基线的状态和内容通知到各相关