设备综合监管与IT运维定制平台出厂测试计划和说明函审结论 (1)

1、.中国科学院空间科学战略性先导科技专项编 号： 密 别： 阶段标记： S 页 数：名称：设备综合监管与IT运维定制平台出厂测试计划和说明共 页产品名称： 设备综合监管与IT运维定制平台 出厂测试计划和说明 产品代号： 产品编号： 项目负责人： 徐 博 承制单位： 东华软件股份公司 东华软件股份公司2015年10月16日表一 评审内容产品名称设备综合监管与IT运维定制平台出厂测试计划和说明产品代号评审地点北京评审时间2015年10月8日主办单位东华软件股份公司评审依据评审主要内容设备综合监管与IT运维定制平台出厂测试计划和说明是否合理，是否能够作为出厂测试的依据。产品组成设备综合监管与IT运维定

2、制平台出厂测试和说明，产品清单及代号如下：序号产品名称产品代号产品编号（版本号）数量1设备综合监管与IT运维定制平台出厂测试计划v1.612设备综合监管与IT运维定制平台出厂测试说明v1.61表二 评审结论评审结论评审意见：2015年10月8日，东华软件股份公司针对设备综合监管与IT运维定制平台出厂测试计划和说明邀请了中科院计算机网络信息中心、中科院国家空间中心的相关专家进行评审。评审意见如下：测试计划内容完整，方法正确，计划安排可行；测试用例设计合理、全面准确，覆盖了设备综合监管与IT运维定制平台任务书的要求。评审组同意通过评审。 评审组长签名：年 月 日保留意见无保留意见项目负责人意见项目

3、负责人： 年 月 日表三 待办事项表序号待办事项内容责任单位责任人计划完成时间完成情况监督人1（测试计划 3.2，P7）补充了用户方代表及质控人员。东华软件徐博2015年10月16日已修复2（测试计划 3.1.9）删除相关测试用例及需求追踪表中内容东华软件徐博2015年10月16日已修复3（测试说明 3.1.1.2.2，P37）增加网络配置验证的测试步骤东华软件徐博2015年10月16日已修复4（测试说明 3.1.9）删除相关测试用例东华软件徐博2015年10月16日已修复5（测试说明 3.1.2，P111）在流程测试中体现出用户权限功能东华软件徐博2015年10月16日已修复6（测试说明 3

4、.1.8.1，P166）增加了接口性能测试和采集性能测试；东华软件徐博2015年10月16日已修复7（测试说明 3.1.9）删除整体环境测试用例东华软件徐博2015年10月16日已修复8（测试计划 3.1，P6）增加测试具体时间安排东华软件徐博2015年10月16日已修复9（测试计划 3.2，P6）增加了测试人员明细东华软件徐博2015年10月16日已修复10（测试说明3.1.2，P111）已修改相关文字描述，流程测试包括运维流程测试，工单申请审批流程测试，被监控设备异常测试，被监控设备登录测试等能够体现系统在实际使用中。东华软件徐博2015年10月16日已修复11（测试计划 8，P47）完善

5、了第八节测试准则的描述东华软件徐博2015年10月16日已修复12（测试计划 5.1.6，P30）修改了可靠性测试用例和描述东华软件徐博2015年10月16日已修复13（测试计划 5.2，P33）以增加相关内容，带外管理网将在系统试运行期间部署及测试；东华软件徐博2015年10月16日已修复14（测试计划 4.1，P8）以增加相关内容，考虑到业务网功能、设备、范围都远大于环境支撑网和带外管理网，因此主要测试都集中在业务网。东华软件徐博2015年10月16日已修复15（测试计划/测试说明）每项用例逐一进行了修正，对文字描述模糊、文档格式不够统一的问题进行了完善。东华软件徐博2015年10月16日

6、已修复附件评阅人姓名胡钛职务/职称副总师/研究员单位中国科学院国家空间科学中心联系电子邮件hutai评阅文档名称设备综合监管与IT运维定制平台出厂测试计划、说明评阅文档代号评阅发现问题无。评阅意见评阅结论通过通过原则通过作必要修改不通过，需复审评阅人日期年 月 日评阅人姓名胡玉新职务/职称副研究员单位中国科学院电子学研究所联系电子邮件yxhu评阅文档名称设备综合监管与IT运维定制平台项目出厂测试计划、测试说明评阅文档代号评阅发现问题1） 测试计划3.1节需要给出本测试的具体时间安排；2） 测试计划3.2节中需要明确给出测试组长和成员，并且需要

7、有研制方质量管理部门的人员参与；3） 测试计划5.1.2节/测试说明3.1.2节中的流程测试应该按照系统运行模式总结提炼形成几个相对独立的业务流程来进行测试。文中所描述的异常测试建议改换说法，否则容易给人误解；4） 测试计划5.1.3节/测试说明3.1.3中的接口测试应该重点关注本软件与任务运行分系统、数据处理与管理分系统间的业务调用和数据接口测试，本文中所描述的几个测试用例建议放到功能测试中；5） 测试计划5.1.8节/测试说明3.1.8节中性能测试项的描述方式需要修改，针对任务书中要求的每个性能都需要覆盖；6） 测试计划第8节测试评价准则需要根据测试问题分级给出具体通过准则，同时需要给出出

8、现问题时的处理策略及回归测试安排；7） 本文档需要进一步完善文档的规范性和测试操作的可执行性。评阅意见建议通过评审，需根据专家意见修改完善。评阅结论通过原则通过作必要修改不通过，需复审评阅人日期2015年 10月 8 日评阅人姓名周园春职务/职称室副主任/研究员单位中国科学院计算机网络信息中心联系电子邮件zyc评阅文档名称设备综合监管与IT运维定制平台项目出厂测试计划和出厂测试说明评阅文档代号评阅发现问题请注意文档写作规划和细节。请项目组认真阅读两篇文档，实现格式的一致化和规范化。如在出厂测试计划文档中1、在变更记录表中（1）日期由“2015-9-21“，也有“20

9、15-09-28”格式，建议统一规范（2）负责人有“徐 博”，也有“徐博”格式，建议统一规范2、在正文中，有些图表有标题，有些图表没有标题，建议统一规范如在出厂测试说明文档中1、“3.1.1.1.4.网络设备IP-MAC监视测试用例”后面有很多空白行2、在表中的编号有的是1），有的是1)，建议统一规范3、在第95页中，“操作描述”和“实际结果”后面都多一列评阅意见设备综合监管与IT运维定制平台项目出厂测试计划和出厂测试说明文档符合测试说明的整体标准，需要加强文档撰写的一致化和规范化。评阅结论通过原则通过作必要修改原则通过请在写作规范与格式做必要的修改不通过，需复审评阅人日期2015年 10 月

10、 02日评阅人姓名佟继周职务/职称副主任 /副研究员 单位中国科学院国家空间科学中心联系电话62586486电子邮件Tongjz评阅文档名称设备综合监管与IT运维定制平台项目出厂测试计划V1.5设备综合监管与IT运维定制平台项目出厂测试说明V1.5评阅文档代号评阅发现问题设备综合监管与IT运维定制平台项目出厂测试计划V1.5：1、3.1进度安排建议更加明确，应与用户方沟通时间可定；2、 5.1.6可靠性测试中表格所列时间是什么意思？3、 5.1.3接口测试中是否明确任务运行分系统与IT综合监控系统无trap接口? 只通过指定用户登录后，页面进行查看？4、 5.1.9平台整体环境需求测试是否有必

11、要，个人认为是测试前的环境准备，是必须要达到的。5、 5.2.测试用例设计（环境支撑网）和5.3.测试用例设计（带外管理网）中是否除功能测试外，还应该包括与其功能配合的可靠性、性能、流程等测试，建议再梳理?6、 8.2测试出口准则中缺少最关键的测试准则，即“全部测试用例通过”。7、 4.1.3带外管理网测试环境还处于待定，是否表示还不具备测试状态？但是测试用例进行了设计，建议增加测试范围这一章节，明确本次要测试的内容，不能测试的内容准备安排在何时进行测试。设备综合监管与IT运维定制平台项目出厂测试说明V1.5：1、 建议根据测试计划中提出的用例增改意见，进行用例补充。2、 测试用例中的测试步骤

12、可评判性不高，即期望结果描述不够清晰。举例 “MySQL数据库监视测试用例”中期望结果是“得到关注的数据库对象数据”，具体关注的数据库对象是什么？如何判别目前看到的数据库对象就是用户期望关注的，符合预期结果，无法判别和得知。大部分用例均存在此问题，建议修改活在测试过程中详细进行步骤记录，体现在测试报告中。3、 关于性能测试应考虑多次测试结果的平均值作为最终的测试结果，所以测试步骤应考虑设计重复多次；4、 IT综合运维监管的核心目的是及时发现异常及时报告异常，应设计异常网络终端或者设备故障时，系统出现告警等用例，目前在设计用例中没有看到，需要补充!评阅意见设备综合监管与IT运维定制平台项目出厂测

13、试计划文档中测试流程、总体计划、测试环境等描述清晰，建议在测试内容和评价准测部分根据评阅意见进行进一步修改。设备综合监管与IT运维定制平台项目出厂测试说明文档中测试用例设计及步骤设计相对合理，建议根据评阅意见进行进一步修改。评阅结论通过原则通过作必要修改原则通过，请根据评定意见作必要修改不通过，需复审评阅人日期2015年10 月 5 日评阅人姓名郑岩职务/职称主管设计师单位中科院国家空间科学中心联系电话62582610电子邮件Zhengyan评阅文档名称(1) 设备综合监管与IT运维定制平台出厂测试计划_v1.5(2) 设备综合监管与IT运维定制平台出厂测试说明_v1.5评阅文档代号评阅发现问题测试计划：1. 3.2节系统测试人员补充补充用户方代表：张埕锎。2. 需求文档中3.10-3.15，不属于测试内容，可再测试计划中相应删除。测试说明：1. 3.1.1.2.2网络设备配置备份管理测试用例，在测试步骤中增加使用备份后的配置文件进行恢复，已验证配置备份是否成功。2. 需求文档中3.10-3.15，不属于测试内容，可再测试计划中相应删除。3. 3.1.1.5.2用户配置测试用