(高清版)GB∕T 37715-2019 公安物联网基础平台与应用系统软件测试规范

公安物联网基础平台与应用系统软件testingofIoTPS国家市场监督管理总局中国国家标准化管理委员会I 12规范性引用文件 1 1 1 3 87易用性测试 8 99安全性测试 12文档质量测试 附录A(资料性附录)感知控制功能测试用例说明和用例示例 ⅢGB/T37715—2019本标准按照GB/T1.1—2009给出的规则起草。本标准由中华人民共和国公安部提出并归口。本标准起草单位：公安部第一研究所、公安部安全与警用电子产品质量检测中心、公安部第三研究1GB/T37715—2019公安物联网基础平台与应用系统软件测试规范本标准适用于公安物联网基础平台与应用系统的软件测试。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文GB/T22240—2008信息安全技术信息系统安全等级保护定级指南GB/T33474—2016物联网参考体系结构GB/T35317—2017公安物联网系统信息安全等级保护要求下列缩略语适用于本文件。GPS:全球定位系统(GlobalPositioningSystem)IoTPS:公安物联网(InternetofThingsPublicSecurity)IP:互联网协议(InternetProtocol)QoS:服务质量(QualityofService)RFID:射频识别(RadioFrequencyIdentification)4基本要求用系统。2GB/T37715—2019软件环境指被测软件运行时必需的操作系统、数据库及物联网平台与应用系统所包含的软件等构成的环境。样本数据环境指能保证系统各种功能、性能实现所需要的各类样本数据。测试环境配置应遵循以下原则：a)能保证支撑物联网基础平台与应用系统的正常运行；b)选用物联网基础平台与系统运行兼容的操作系统等基础软件环境；c)除了要求的基础软件，测试环境上只安装平台与系统运行和测试必需的软件；d)利用杀毒软件检测软件环境，保证测试环境中没有检测到病毒；e)在生产系统环境具备测试条件时，也可直接选择在生产环境下进行测试。向具有国家或行业资质的测试机构提交的资料应至少包括以下内容：a)设计开发合同；b)开发需求规格说明书；c)测试分析报告；d)项目总结报告；e)项目技术报告；f)平台与系统用户使用报告；g)用户操作手册。方确认，签订委托测试合同。测试机构根据委托测试合同、委托方提交资料及相关标准，制定测试实施细则。测试实施前应明确测试机构按照第5章～第12章内容确认的测试用例及测试方法，依据测试实施细则进行测试。测试用例根据每个用例所考察的内容可分为但不限于关键用例、一般用例、附加用例，关键用例考察的是测试中最基础、最重要的内容，附加用例考察的是可选内容，其他用例列为一般用例。对不同行业领域，测试用例级别的定义可参考行业内的惯例或行业标准的具体要求。测试用例应考察以下内容：a)基础平台所包括的服务、接口及全部功能；3GB/T37715—2019b)应用系统开发需求规格说明书中定义的所有功能；e)易用性；f)效率；h)可移植性；i)文档质量。测试结果通过的判定准则应包括以下内容：b)应用系统开发需求规格说明书中定义的所有功能符合要求；c)安全性符合要求；d)可靠性符合要求；h)可移植性符合要求；i)文档质量符合要求。测试机构根据测试结果出具测试报告。5功能测试a)依据GB/T33474—2016中的6.1,物联网概念模型由连接，见图1。关于各域的描述和各域之间的关联关系见GB/T33474—2016中的6.2和6.3。入和安全管理功能是公安物联网运行的重要基础组成。用运行的基础。4GB/T37715—2019资源交换域Q服务提供域10-运维管控域域—X—关联关系感知控制域月标对象域图1物联网概念模型公安物联网基础平台与应用系统的功能测试方法使用黑盒测试方法，根据基础平台测试实施细则中约定的测试项对基础平台的逐项功能点进行验证测试；根据开发需求规格说明书的要求，编制业务应用系统的功能测试用例，并逐条测试。所有的测试用例都应按设计步骤执行，测试人员当场记录测试过5.3测试内容测试内容包括但不限于：a)应支持通过与目标对象关联绑定的传感结点采集目标对象信息的功能；b)应支持对传感结点的参数和软件进行配置的功能；c)应支持对传感结点的状态[包括能耗(电池供电)、覆盖率、在线率等]进行监测的功能；d)应支持通过读写设备对附加在目标对象上的RFID、条码(一维码、二维码)等标签进行识别和信息读写，以采集或修改目标对象相关信息的功能；e)应支持通过北斗、GPS、移动通信系统等定位系统采集目标对象位置数据的功能；f)应支持通过语音、图像、视频等设备采集目标对象的音视频等非结构化数据的功能；g)宜支持设备认证和业务安全、设备管理安全的功能；h)宜支持网关、远程管理服务器等节点的性能和状态监测的功能；i)针对目标对象采集的相关数据的数据元，宜具有一定的规范性；j)可支持数据处理和协议转换功能。测试项及测试结果如表1所示，测试用例说明和用例示例参照附录A。5GB/T37715—2019序号测试项名称类别要求测试方法测试结果1信息采集-传感结点关键应支持通过与目标对象关联绑定的传感结点采集目标对象信息的功能考察是否能够通过与目标对象关联绑定的传感结点采集目标对象信息若与预期一致，判定测试结果为通过，否则为不通过2参数配置关键应支持对传感结点的参数和软件进行配置的功能考察是否能够对传感结点的参数和软件进行配置若与预期一致，判定测试结果为通过，否则为不通过3传感结点状态监测关键应支持对传感结点的状态[包括能耗(电池供电)、覆盖率、在线率等]进行监测的功能考察是否能够对传感结点的状态[包括能耗(电池供电)、覆盖率、在线率等]进行监测若与预期一致，判定测试结果为通过，否则为不通过4信息采集或修改-标签关键应支持通过读写设备对附加在目标对象上的RFID、条码(一维码、二维码)等标签进行识别和信息读写，以采集或修改目标对象相关信息的功能考察是否能够通过读写设备对附加在目标对象上的RFID、条码(一维码、二维码)等标签进行识别和信息读写，以采集或修改目标对象相关信息若与预期一致，判定测试结果为通过，否则为不通过5位置数据采集关键应支持通过北斗、GPS、移动通信系统等定位系统采集目标对象位置数据的功能考察是否能够通过北斗、GPS、移动通信系统等定位系统采集目标对象位置数据若与预期一致，判定测试结果为通过，否则为不通过6非结构化数据采集关键应支持通过语音、图像、数据的功能考察是否能够通过语音、图像、视频等设备采集目标对象的音视频等非结构化数据若与预期一致，判定测试结果为通过，否则为不通过7安全管理附加宜支持设备认证和业务安全、设备管理安全的功能考察设备是否经过认证、业务安全性是否有保障措施若与预期一致，判定测试结果为通过，否则为不通过8节点状态监测附加宜支持网关、远程管理服务器等节点的性能和状态监测的功能考察各节点的性能状态实时或历史监测记录若与预期一致，判定测试结果为通过，否则为不通过9数据元规范性附加针对目标对象采集的相关数据的数据元，宜具有一定的规范性考察针对目标对象采集的相关数据的数据元，是否符合相关标准的规定若与预期一致，判定测试结果为通过，否则为不通过数据处理和协议转换附加可支持数据处理和协议转换功能考察是否能够对采集的目标对象信息进行数据处理和协议转换若与预期一致，判定测试结果为通过，否则为不通过6GB/T37715—2019测试内容包括但不限于：a)应支持对变更或接入物联网的系统和设备进行审核与管理的功能；b)应支持对非法入侵物联网的系统或设备进行告警的功能；c)应支持对运行状态进行管理时，至少提供运行日志、用户登录日志、系统备运行状态显示与记录等实时性信息记录的功能；d)应支持对系统设备进行维护时，系统统备份、系统版本控制等非实时性信息记录的功能；e)应支持对IP化与非IP化网络及其网元设备进行管理的功能；g)应支持网络资源使用方式(授权)配置与资源接入控制的功能；h)应支持对基于IP连接的传感网及其结点进行管理与维护的功能；i)宜支持对各类网络间不同设备的QoS进行配置的功能；j)宜支持对网络设备、IoTPS数据采集和处理设备进行在线远程测试、远程设置等功能；k)宜支持对基于非IP连接的传感结点进行管理与维护的功能；1)可支持对感知控制域内系统的运行维护状态信息进行收集，以及下发系统和设备的管理控制指令的功能；m)可支持对服务提供域内系统的运行状态监测和控制，以及对系统运行过程中的法规符合性进行监管的功能；n)可支持对用户域内系统的运行状态的监测和控制，以及对相关感知和控制服务要求进行法规监管和审核的功能；o)可支持对资源交换域内系统的运行状态的监测和控制，以及对资源交换过程中的法规符合性进行监管的功能。测试内容包括但不限于：a)应支持有线通信和无线通信接入方式的一种或多种；c)对以视频监控联网系统为基础的联网接入平台，应符合GB/T28181—2016的相关要求；d)对接入公安信息网的平台，应符合公安信息网安全接入的相关要求。测试内容包括但不限于：a)应支持网段划分功能，利用网络中间设备的安全机制控制各网段间的访问；b)应支持管理和配置基础防火墙的功能，通过实时监控网络数据流，检测攻击行为并给予响应和处理；c)应支持身份认证和验证功能，能够进行访问控制、防止客体重用、对日常操作进行审计等；d)应支持明确的数据库存取授权策略，重要信息应有安全保密和验证措施，关键信息应进行安全备份；7GB/T37715—2019e)可支持基于数据库的扫描检测功能，检查数据库特有的安全漏洞。5.3.2应用系统测试内容测试内容包括但不限于：c)应支持传感网、传感结点和网关自动配置的功能；d)应支持对网络设备的位置、状态、可达性等动态信息进行收集的功能；e)应支持时间同步机制；f)宜支持周期性或按需检测基础网络和传感网连通性的功能；g)宜支持监控和管理基础网络和传感网运行状态的功能。测试内容包括但不限于：a)应支持权限允许下的信息共享交互的功能；b)应支持和不同协议的系统进行互联时，可调用协议转换模块，进行协议转换处理的功能；c)应支持从共享交换数据中抽取要素，形成共享交换数据目录；d)应支持提供各种共享交换数据目录搜索查询的功能；e)应支持和其他系统进行交互时建立数据共享交换机制的功能(用户注册和权限分配);f)应支持保存其他系统注册数据的功能；g)应支持根据数据重要程度，配置相应级别的安全管理机制的功能；h)宜支持同其他相关系统的信息资源交换的功能，可包括提供用户物联网基础服务的必要信息i)宜支持同其他相关系统的信息资源进行交换的功能；j)宜支持和其他系统进行交互时建立数据共享交换机制的功能(用户注册和权限分配);k)宜支持在共享交换连接过程中检查其他系统访问者的身份，根据身份分配权限的功能；l)宜支持建立完整工作日志的功能；m)可支持防范冒名访问的功能。测试内容包括但不限于：a)应支持对管理(业务)用户信息和权限进行管理和维护的功能；b)应支持对用户日志进行查询、导出等功能；c)应支持对管理(业务)用户通过输入设备提交给系统的信息进行加工处理的功能；d)应支持对服务提供域和运维管控域提供的信息进行加工处理，并在输出设备上进行呈现的功能。8GB/T37715—20196可靠性测试表2可靠性测试项目序号测试项目要求测试方法测试结果1屏蔽用户操作错误软件在运行过程中不应陷入用户无法控制的状态，既不应崩溃也不应丢失数据(不能用任何程序捕获的硬中断和操作系统中断不在此范围内)在功能测试中，同时检验当程序认为输入错误或输入未经定义时，运行是否正常并记录在功能测试中，系统未出现因输入错误导致系统失效(可重复),则为通过2日志管理提供操作日志管理、查询等功能在功能测试中，同时检验系统是否具有日志管理功能并记录系统具有操作日志管理功能，则为通过3错误提示的准确性错误提示准确，与产品说明和用户文档集中的陈述一致在功能测试中，同时检验系统错误提示是否准确并记录系统错误提示准确，则为通过4错误是否导退出软件应能提供差错处置功能，保证不会导致系统异常在功能测试中，同时检验一般操作错误不会导致系统异常退出并记录一般操作错误不会导致系统异常退出，则为通过退出5数据可靠性软件应识别违反句法条件的输入，并且不应作为许可的输入加以处理在功能测试中，同时检验系统是否对相关数据输入进行有效性检查，对非法数据输入有明确提示并记录系统对相关数据输入进行有效性检查，对非法数据输入具有明确的提示，则为通过6用户文档集中规定的可靠性要求符合用户文档集中规定的其他可靠性要求在功能测试中，同时检验系统用户文档集中规定的其他可靠性要求是否满足并记录符合用户文档集中规定的其他可靠性要求，则为通过7易用性测试9GB/T37715—2019表3易用性测试项目序号测试项目要求测试方法测试结果1易理解性a)有关软件执行的各种问题、消息和结果都应是易理b)软件出错消息应指明如何改正差错或要报告差错向谁联系在功能测试中，同时检验系统易理解性是否符合要求并记录以下内容符合要求，则为通过：a)软件的界面、提示和结果是易于理解的，包括但不限于：1)通过选择适当的术语；2)通过图形表示；3)通过提供背景信息；4)通过帮助功能的解释；b)系统出错提示的信息准确2易浏览性a)软件应以最终用户易于理解的形式提供信息，即以可见易读的文本或图形输出，或以易听的音频输出；b)出自软件的消息应设计成使最终用户易于理解的c)屏幕输入格式、报表和其他输出对用户来说应是清晰且易理解的在功能测试中，同时检验系统易浏览性是否符合要求并记录以下内容符合要求，则为通过：a)程序信息能以易观察易读的形式向用户提供；b)屏幕输入格式，报表和其他输入、输出设计清晰且易于浏览3可操作性a)对具有严重后果的功能的执行应是可逆的，或者软件应给出这种后果的明显警告，并且在这种命令执行前要求确认；b)借助用户接口、帮助功能或用户文档集提供的手段，最终用户应能够学习如何使用某一功能；c)当遇有执行某一功能其响应时间超出通常预期限度会引起冲突时，最终用户应被告知；d)每一元素(数据媒体、文件等)均应带有产品标识，如果有两种以上的元素，则应附上标识号或标识文字在功能测试中，同时检验系统可操作性是否符合要求并记录a)对具有严重后果的功能的执行是可逆的，或者软件给出这种后果的明显警告，并且在这种命令执行前要求确认，则为b)借助用户接口、帮助功能或用户文档集提供的手段，最终用户能够学习如何使用某一功能，则为通过；c)当遇有执行某一功能其响应时间超出通常预期限度会引起冲突时，最终用户被告知，则为d)每一元素(数据媒体、文件等)带有产品标识，如果有两种以上的元素，附上标识号或标识文字，则为通过8效率测试效率测试的测试方法可由测试机构与委托方另行制定，宜采用商用软件性能测试工具执行测试项目。GB/T37715—2019效率测试包含但不限于以下内容：a)最大并发用户数；b)一定并发用户数条件下的操作响应时间；d)系统负载；e)最大在线用户数；f)数据存储容量。效率测试项目如表4所示。表4效率测试项目序号测试项目要求测试方法测试结果1最大并发用户数设计开发合同、开发需求规格说明书等文档中的要求使用商用性能测试工具执行检测，过程包括：录制脚本、设计场景、执行测试、记录结果测试结果满足要求中指标时，则为通过2一定并发用户数条件下的操作响应时间设计开发合同、开发需求规格说明书等文档中的要求使用商用性能测试工具执行检测，过程包括：录制脚本、设计场景、执行测试、记录结果测试结果满足要求中指标时，则为通过3一定并发用户数条件下操作的吞吐量、吞吐率设计开发合同、开发需求规格说明书等文档中的要求使用商用性能测试工具执行检测，过程包括：录制脚本、设计场景、执行测试、记录结果测试结果满足要求中指标时，则为通过4系统负载设计开发合同、开发需求规格说明书等文档中的要求使用商用性能测试工具执行检测，过程包括：录制脚本、设计场景、执行测试、记录结果测试结果满足要求中指标时，则为通过5最大在线用户数设计开发合同、开发需求规格说明书等文档中的要求使用商用性能测试工具执行检测，过程包括：录制脚本、设计场景、执行测试、记录结果测试结果满足要求中指标时，则为通过6容量设计开发合同、开发需求规格说明书等文档中的要求登录系统，查看数据存储容量的数值并记录测试结果满足要求中指标时，则为通过9安全性测试按照GB/T22240—2008定级的公安物联网信息系统中软件平台与应用系统的安全性评价应按照GB/T35317—2017中系统所属等级的网络安全要求、主机安全要求、应用安全要求、数据安全及备份恢复要求进行安全性测试。GB/T37715—201910维护性测试维护性测试项目包括易分析性、易改变性、稳定性和易测试性，如表5所示。表5维护性测试项目序号测试项目要求测试方法测试结果1易分析性软件产品应能诊断软件中的缺陷或失效原因，以及判定待修改的部分在功能测试中，同时检验系统易分析性是否符合要求并记录系统异常时能提供出错原因的提示信息，则为通过2易改变性软件指定的修改应能被实现在功能测试中，同时检验系统易改变性是否符合要求并记录系统软件指定的修改可以被实现，则为通过3稳定性软件产品应避免由于软件修改而造成意外结果在功能测试中，同时检验系统稳定性是否符合要求并记录系统对于局部错误的修改不影响整体程序的运行，则为通过4易测试性软件产品应使已修改软件能被确认在功能测试中，同时检验系统易测试性是否符合要求并记录系统软件需求变更的各项功能点，变更后能通过测试用例进行测试，则为通过11可移植性测试可移植性测试项目包括适应性、易安装性、共存性和易卸载性，如表6所示。表6可移植性测试项目序号测试项目要求测试方法测试结果1适应性对于软件应用程序的成功安装和正确运行，应就产品说明中列出的所有支持平台和系统加以验证在功能测试中，同时检验系统适应性是否符合要求并记录软件无需为适应不同环境而采用特殊方法或手段，即可在产品描述的指定环境中正常运行，则为通过2易安装性遵循安装文档中的信息应能成功地安装软件在功能测试中，同时检验系统易安装性是否符合要求并记录软件能够依据用户安装手册，在指定环境中成功安装，则为通过3共存性当用户能够实施安装、且该软件对已安装的任何部件具有任何共存性约束时，则这种约束应在安装前予以陈述在功能测试中，同时检验系统共存性是否符合要求并记录软件可与其他程序或软件共存，则为通过4易卸载性软件应向用户提供移去或卸载所有已安装的部件的方法在功能测试中，同时检验系统易卸载性是否符合要求并记录软件能够依据用户安装手册，在指定环境中成功卸载，则为通过GB/T37715—2019测试的文档范围包括但不限于以下内容：a)设计开发合同；b)开发需求规格说明书；c)测试分析报告；d)用户操作手册。所示。表7文档质量测试项目序号测试项目要求测试方法测试结果1完备性a)用户文档集应包含使用该软件必需的信息。在产品说明中陈述的所有功能以及最终用户能调用的所有功能，都应在用户文档集中给予完整地描述，对于所有关键的软件功能，应提供完备的细则信息和参考信息，可靠性特征及其操作应给予说明，所处置的和引起应用系统失效或终止的差错和失效，特别是那些导致数据丢失的应用系统终止的结束条件应全部列出，并且应给出必要数据的备份和恢复指南：b)用户文档集应陈述在产品说明中给出的所有限制，及安装所要求的最小和最大磁盘空间；c)对用户要完成的应用管理职能，用户文档集应包括所有必要的信息，在所完成的信息中应包括让用户能验证是否成功完成的信息；d)如果用户文档集分若干部分提供，在该集合中至少有一处应标识出所有的部分检验用户文档集的完备性是否符合要求并记录符合以下要求，则为通过：a)用户文档集包含使用该软件必需的信息，在产品说明中陈述的所有功能以及最终用户能调用的所有功能，都在用户文档集中给予完整地描述，对于所有关键的软件功能提供完备的细则信息和参考信息，可靠性特征及其操作均给予说明，所处置的和引起应用系统失效或终止的差错和失效，特别是那些导致数据丢失的应用系统终止的结束条件均全部列出，并具备必要数据的备份和恢复b)用户文档集在产品说明中给出所有限制，安装所要求的最小和最大磁盘空间；c)用户文档集包括应用管理所有必要的信息，在所完成的信息中包括让用户能验证是否成功完成的信息；d)用户文档集分成若干部分时，集合中至少有一处标识出所有的部分2正确性用户文档集中的所有信息都应是正确的，不应有歧义的信息检验用户文档集的正确性是否符合要求并记录用户文档集中信息准确无误，且不存在歧义时，则为通过GB/T37715—2019表7(续)序号测试项目要求测试方法测试结果3一致性用户文档集中的各文档不应自相矛盾、互相矛盾以及与产品说明矛盾检验用户文档集的一致性是否符合要求并记录用户文档集所包含的文档间互相不矛盾且与产品说明一致时，则为通过4易理解性用户文档集应采用该软件特定读者可理解的术语和文体，使其容易被软件产品主要针对的最终用户群理解，通过经编排的文档清单为理解用户文档集提供便利检验用户文档集的易理解性是否符合要求并记录用户文档集提供可理解的术语和文体，容易被软件产品的最终用户群理解，并具有便利的文档清单时，则为通过5易学性用户文档集应为用户如何使用该软件提供必要的信息检验用户文档集的易学性是否符合要求并记录用户文档集能够为用户如何使用该软件提供必要的信息，则为通过6可操作性a)如果用户文档集不以印刷的形式提供，则文档集应指明是否可以被打印，如果可以打印，那么指出如何获得b)卡片和快速参考指南以外的用户文档集，应给出目次(或主题词列表)和索引；c)对于不常用的术语和首字母缩略语，用户文档集应加以定义检验用户文档集的可操作性是否符合要求并记录符合以下要求，则为通过：a)用户文档集不以印刷的形式提供时，文档集指明是否可出如何获得打印件：b)卡片和快速参考指南以外的用户文档集均给出目次(或主题词列表)和索引；c)用户文档集中对于不常用的术语和首字母缩略语均加以定义7产品说明产品说明对于该产品的潜在需方和用户应是可用的检验用户文档集的产品说明是否符合要求并记录产品说明对于该产品的潜在需方和用户可用时，则为通过产品说明应包含潜在需方所需的信息，内容应是一致的、可测试的或可验证的产品说明包含潜在需方所需的信息，内容一致的、可测试或者可验证时，则为通过产品说明应显示唯一的标识，并以其名称、版本和日期指称，指出系统最大并发最终用户数、接口和依赖环境，并对提供支持和维护情况加以描述产品说明显示唯一的标识，并以其名称、版本和日期指称，指出系统最大并发最终用户数、接口和依赖环境，并对提供支持和维护情