DB32T 4701-2024 工业嵌入式实时操作系统通 用测试规范

工业嵌入式实时操作系统通用测试规范发出布版发出布版江苏省市场监督管理局Ⅰ前言 Ⅲ 2规范性引用文件 3术语和定义 4缩略语 5一般要求 5.1测试目的 5.2测试内容 5.3测试过程 5.4测试方法 5.5测试用例 5.6测试工具 5.7测试环境 5.8测试文档 6技术要求 6.1功能性 6.2性能效率 6.3安全性 6.4可配置性 6.5兼容性 6.6易用性 6.7可靠性 6.8维护性 6.9可移植性 7测试内容 7.1功能性 7.2性能效率 7.3安全性 7.4可配置性 7.5兼容性 7.6易用性 7.7可靠性 Ⅱ7.8维护性 7.9可移植性 7.10余量测试 7.11文档审查 7.12代码审查 8终止条件 8.1正常终止条件 8.2异常终止条件 9评价标准 Ⅲ本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由江苏省工业和信息化厅提出。本文件由江苏省软件和信息技术服务标准化技术委员会归口。本文件起草单位：江苏省电子信息产品质量监督检验研究院（江苏省信息安全测评中心）、南京翼辉信息技术有限公司、国网江苏省电力有限公司信息通信分公司、国网江苏省电力有限公司、南京理工大学、南京大学、东南大学、中移物联网有限公司、江苏省软件行业协会、江苏省人工智能学会、镇江市京口区大禹山创意新社区管委会、中国船舶工业软件测试中心、航天中认软件测评科技（北京）有限责任公司、工业和信息化部电子第五研究所、中国软件评测中心。1DB32/T4701—2024工业嵌入式实时操作系统通用测试规范本文件规定了工业嵌入式实时操作系统的一般要求、技术要求、测试内容、终止条件和评价标准。本文件适用于工业嵌入式实时操作系统的测试。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T15532—2008计算机软件测试规范GB/T22033—2017信息技术嵌入式系统术语第2部分：术语和定义GB/T25000.51—2016系统与软件工程系统与软件质量要求和评价（SQuaRE）第51部分：就绪可用软件产品（RUSP）的质量要求和测试细则3术语和定义GB/T22033—2017和GB/T15532—2008界定的以及下列术语和定义适用于本文件。3.1工业嵌入式实时操作系统industrialembeddedreal⁃timeoperatingsystem一种用于控制工业嵌入式系统的操作系统，具有高度的实时性和可靠性，能确保对时间敏感的任务及时响应，提供严格的处理时间界限，并保证系统按预定顺序准确地执行任务。3.2系统时基systemtimebase系统中用于测量和同步时间的基准，由系统时钟提供，确保各组件按协调的时间线执行任务。3.3周期任务抖动jitterinperiodictasks系统执行周期性任务时，任务实际开始执行的时间与预期时间之间的差异。4缩略语下列缩略语适用于本文件。ARP：地址解析协议（AddressResolutionProtocol）CPU：中央处理单元（CenterProcessingUnit）ICMP：网络控制报文协议（InternetProtocol）IP：网络互连协议（InternetProtocol）SMP：对称多处理器结构（SymmetricMulti⁃Processing）2TELNET：远程登录服务协议（TelecommunicationNetworkProtocol）TFTP：简单文件传输协议（TrivialFileTransferProtocol）5一般要求5.1测试目的工业嵌入式实时操作系统测试的目的是：a）发现工业嵌入式实时操作系统的缺陷或错误；b）验证工业嵌入式实时操作系统是否满足软件任务书、软件需求规格说明及其他技术文件所规定的技术要求；c）评价工业嵌入式实时操作系统的技术和质量。5.2测试内容工业嵌入式实时操作系统执行的测试类型包括功能性测试、性能效率测试、安全性测试、可配置性测试、兼容性测试、易用性测试、可靠性测试、维护性测试、可移植性测试、余量测试、文档审查和代码审查。本文件给出技术要求和对应测试内容的全集，分为核心要求和一般要求，核心要求为必选项，一般要求为可选项。测试时应依据具体情况选取或增补测试类型和测试项。5.3测试过程工业嵌入式实时操作系统的测试过程应符合GB/T15532—2008对测试过程的要求。在测试执行过程中执行测试用例，获取测试结果后，针对发现的问题，与软件研制方进行沟通，需要时，由软件研制方对代码和相关的各阶段软件文档进行修改，修改后的代码进行回归测试，回归测试按GB/T15532—2008的规定执行。5.4测试方法测试方法应采取动态测试和静态测试相结合的方式，具体如下：a）动态测试方法适用于功能性测试、性能效率测试、安全性测试、可配置性测试、兼容性测试、易用性测试、可靠性测试、维护性测试、可移植性测试、余量测试；b)静态测试方法适用于文档审查和代码审查。5.5测试用例应准备测试用例，并对其适用性进行评审，确保测试的覆盖率和充分性。测试用例的设计对需求的覆盖率应达到100%；基于代码的测试覆盖率应包括语句覆盖、分支覆盖和修正条件/判定覆盖（MC/DC覆盖）三个方面，宜依据应用的安全要求，选择代码测试覆盖的类型并确定覆盖率，覆盖率宜不低于30%。5.6测试工具对工业嵌入式实时操作系统进行测试时，可以使用测试工具和测试包，应对其适用性进行评审，确保所选择的测试工具适用于相应类型的测试。35.7测试环境对测试环境的要求如下：a）硬件环境，包括宿主机、目标机、程序下载工具及供电电源；b）软件环境，包括宿主机操作系统、工业嵌入式实时操作系统的开发环境、集成开发环境及编译器。5.8测试文档测试文档的编写应符合GB/T25000.51—2016测试文档要求或相关文档格式要求，测试文档主要包括：a）测试计划；b）测试说明；c）测评报告；d）测试记录；e）测试问题报告单。6技术要求6.1功能性6.1.1任务管理任务管理应提供任务调度、创建任务、删除任务、挂起任务、激活任务和任务优先级设置等功能。工业嵌入式实时操作系统应至少支持就绪、运行和阻塞三种任务状态。任务管理功能要求具体见表1。表1任务管理功能要求模块名称技术要求备注任务管理支持创建任务、删除任务、挂起任务、激活任务和任务优先级设置核心支持任务调度，提供禁止/使能调度的机制核心支持基于优先级抢占的调度算法，使优先级高的任务优先得到处理核心至少支持三种任务状态：就绪、运行和阻塞，支持任务在就绪、运行、阻塞三种状态间进行切换核心支持任务属性对象，允许根据指定属性创建任务核心支持针对相同优先级任务采用时间片轮转或先进先出等调度策略，保证相同优先级任务都能够得到合理调度核心支持任务属性的设置、查询等功能一般提供任务创建、任务删除、任务切换扩展点一般6.1.2任务同步与通信任务同步主要用于协调多任务系统中任务的执行顺序和共享资源的互斥访问。任务通信主要用于在不同任务间传递数据。任务同步和通信的机制主要包括信号量、互斥量、消息队列、信号、条件变量、读写锁等。任务同步与通信功能要求具体见表2。4表2任务同步与通信功能要求模块名称技术要求备注信号量支持二值信号量和计数信号量核心支持任务在等待信号量时采用优先级次序或先进先出的调度原则核心支持非阻塞方式锁定信号量核心支持任务以永久等待方式获取信号量核心支持任务以限时等待方式获取信号量核心互斥量支持互斥量，提供防止优先级反转机制核心支持任务以非阻塞方式获取互斥量核心支持任务以永久等待方式获取互斥量核心支持任务以限时等待方式获取互斥量核心支持互斥量嵌套访问，允许互斥量拥有者多次调用该互斥量核心支持确保持有互斥量的任务删除安全核心消息队列支持消息队列，支持同步、异步的通信机制核心支持阻塞、非阻塞的消息发送机制核心支持阻塞、非阻塞的消息接收机制核心信号支持采用异步的信号接收和发送机制核心支持向指定任务发送指定的信号核心支持阻塞等待指定信号发生核心提供系统信号的默认处理方式，并能够设置信号处理功能的扩展点以实现特定功能核心支持设置信号掩码，屏蔽信号送达核心条件变量支持条件变量，支持初始化、销毁条件变量核心支持永久阻塞方式等待条件变量核心支持限时阻塞方式等待条件变量核心支持同时唤醒一个或多个等待任务核心读写锁支持共享读锁和互斥写锁核心支持读写任务发生竞争时采用读任务优先或写任务优先策略一般6.1.3时钟/定时器管理时钟管理主要用于维护系统时基，设置和获取时间信息。定时器管理主要用于支持指定函数与一个特定的时间间隔相关联，当间隔时间结束时指定函数立刻被调用。定时器根据其触发类型可分为单次定时器和周期性定时器。时钟/定时器管理功能要求具体见表3。5表3时钟/定时器管理功能要求模块名称技术要求备注时钟管理支持内核节拍（tick）计数值的获取核心支持系统时钟的设置和控制核心支持系统范围内的实时时钟、记录系统启动时间的单调时钟核心支持任务执行时间计时，支持任务延时等待核心定时器管理支持以系统范围内的实时时钟、记录系统启动时间的单调时钟进行计时的定时器核心支持单次定时器，定时器设置一次触发后不会自动装载原有的设置核心支持周期性定时器，定时器触发后自动装载原有设置的时间间隔，并周期性的触发核心6.1.4中断/异常管理中断管理主要用于为系统可能发生的中断事件提供默认的中断处理程序，并提供用户定义的中断服务程序安装接口。异常管理主要用于为系统可能发生的异常事件提供默认的异常处理程序，并提供用户定义的异常处理程序安装接口。中断/异常管理功能要求具体见表4。表4中断/异常管理功能要求模块名称技术要求备注中断管理提供中断处理程序接口核心缺省情况下提供默认中断处理程序核心支持使能和屏蔽系统中断或者某一特定中断核心支持中断嵌套核心支持中断处理程序具有独立的栈空间，用户可配置栈空间大小核心异常管理支持异常处理的触发核心缺省情况下提供异常中断处理程序核心6.1.5内存管理内存管理用于提供内存的分配和回收等管理功能。内存管理功能要求具体见表5。表5内存管理功能要求模块名称技术要求备注内存管理支持内存动态分配和回收核心支持按照指定边界对齐进行内存分配核心支持内存分区管理，实现内存分区的创建、删除等操作核心支持内存映射核心提供内存使用统计信息便于调试和系统状态跟踪核心6表5内存管理功能要求（续）模块名称技术要求备注内存管理支持冗余内存块管理，支持冗余内存块分配、冗余内存块读写一致性以及冗余内存块校验，提供数据完整性保护功能和冗余容错功能支持核心6.1.6文件系统文件系统以一定的格式组织文件和目录，对文件和目录进行打开、关闭、读、写和删除等操作。文件系统功能要求具体见表6。表6文件系统功能要求模块名称技术要求备注文件系统支持动态创建文件和目录核心支持根据文件名或者描述符打开、关闭和删除文件核心支持记录文件属性，并允许对其进行查询核心支持按照指定的方式读出文件指定长度的数据核心支持将数据写入到文件的指定位置核心支持文件控制命令核心支持卷的创建、格式化、挂载和卸载操作一般文件系统管理框架提供统一的文件系统访问接口，包括打开、关闭、读、写、删除、挂载和卸载等基本操作一般6.1.7设备管理设备管理实现操作系统对外部设备的管理，为用户提供统一的设备访问接口，屏蔽外部设备的访问细节。设备管理功能要求具体见表7。表7设备管理功能要求模块名称技术要求备注设备管理当系统提供终端设备管理功能时，支持终端设备的打开、关闭、读、写、控制操作核心当系统提供字符设备管理功能时，支持字符设备的打开、关闭、读、写、控制操作核心当系统提供块设备管理功能时，支持块设备的打开、关闭、读、写、控制操作核心支持查看指定设备信息的功能核心支持设备的异步访问功能一般扩展功能模块当系统提供设备管理功能时，支持工业嵌入式常用协议一般6.1.8网络通信网络通信主要用于物理上分离的嵌入式设备通过网络连接进行互联通信。网络通信功能要求具体7DB32/T4701—2024表8网络通信功能要求模块名称技术要求备注网络通信支持网络设备管理核心提供标准套接字（socket）编程接口核心支持TCP、UDP、IP、ICMP和ARP网络协议核心支持协议栈统计信息核心支持TFTP、TELNET等应用层协议核心提供协议栈扩展点一般支持加密、身份认证、访问控制等网络安全功能一般支持Wi⁃Fi、Bluetooth等无线通信功能一般6.1.9运行模式运行模式用于实现协同工作，以提高整体系统性能。运行模式功能要求见表9。表9运行模式功能要求模块名称技术要求备注运行模式多核处理器需支持SMP核心6.2性能效率6.2.1时间工业嵌入式实时操作系统的时间性能要求见表10。表10时间性能要求序号技术要求备注1中断响应时间应不大于30μs，宜根据实际应用需求提供更高的中断响应时间性能核心2任务切换时间应不大于80μs，宜根据实际应用需求提供更高的任务切换时间性能核心3任务抢占时间应不大于230μs，宜根据实际应用需求提供更高的任务抢占时间性能核心4信号量延迟时间应不大于260μs，宜根据实际应用需求提供更高的信号量延迟时间性能核心5周期任务抖动应不大于40μs，宜根据实际应用需求提供更高的周期任务抖动时间性能核心6系统任务状态转换时间应不大于200μs，宜根据实际应用需求提供更高的任务状态转换时间性能核心6.2.2空间资源工业嵌入式实时操作系统的空间资源使用要求见表11。8表11空间资源性能要求序号技术要求备注1最小配置（包含核心功能)可剪裁到6MB以内核心2至少能够支持32位地址空间访问核心6.3安全性工业嵌入式实时操作系统的安全性要求见表12。表12安全性要求序号技术要求备注1检查输入数据、返回值的合法性和有效性核心2提供死锁检测机制核心3提供同步机制，防止优先级反转导致任务长时间阻塞核心4检查内核中指针地址的有效性，避免引用无效内存地址核心5采取异常保护设计，设计有效的保护措施，系统在缺省情况下接管和处理所有异常情况，并提供用户对于异常的接管能力核心6能够限制应用程序的资源使用，包括内存资源，处理器资源等核心7能够对非法攻击进行检测、预警和防范。在掉电情况下，系统能够保证文件的安全核心6.4可配置性工业嵌入式实时操作系统的可配置性要求见表13。表13可配置性要求序号技术要求备注1系统能够对最大任务数进行配置核心2系统能够对时钟频率、支持的定时器最大个数进行配置核心3系统能够对中断最大数进行配置核心4系统能够对信号量的最大个数、互斥量的最大个数、条件变量的最大个数、读写锁的最大个数进行配置。系统能够对内存、设备等关键资源进行限制核心5系统能够对磁盘资源进行限制一般6.5兼容性工业嵌入式实时操作系统的兼容性要求见表14。9表14兼容性要求序号技术要求备注1至少支持POSIXIEEE1003（POSIX）标准核心6.6易用性工业嵌入式实时操作系统的易用性要求见表15。表15易用性要求序号技术要求备注1用户可以借助用户接口、帮助功能或用户文档集提供的手段快速学习某一功能一般2用户可按照用户操作手册进行系统操作核心6.7可靠性工业嵌入式实时操作系统的可靠性要求见表16。表16可靠性要求序号技术要求备注1系统应保证在应用在长时间运行时，系统没有出现崩溃、死机等现象核心2系统应识别系统外设的非法输入，并且不应作为许可的输入加以处理一般6.8维护性工业嵌入式实时操作系统的维护性要求见表17。表17维护性要求序号技术要求备注1系统能够提供版本标识，能够阐明系统迭代信息，并提供更替日志一般2各项功能、性能等指标应是可测量的，且其修改易于验证一般3应提供相应的机制便于诊断缺陷或失效的原因，或标识需要修改的部分一般6.9可移植性工业嵌入式实时操作系统的可移植性要求见表18。表18可移植性要求序号技术要求备注1系统应支持多种架构处理器，并至少支持一种国产处理器一般2系统应能够进行灵活的剪裁配置，以适应不同的应用环境需要，并向用户提供移去功能组件的方法一般7测试内容7.1功能性7.1.1任务管理任务管理功能的测试内容和评价准则见表19。表19任务管理功能测试内容和评价准则测试项目测试内容评价准则备注任务管理测试创建、删除任务的功能能正确实现所测试的系统功能核心测试将指定任务挂起或激活执行的功能能正确实现所测试的系统功能核心测试赋予任务优先级的功能能正确实现所测试的系统功能核心测试指定任务禁止调度，并在延时后使能任务调度的功能能正确实现所测试的系统功能核心测试系统的调度算法支持基于优先级抢占的调度算法，优先级高的任务优先得到处理核心测试依据任务的状态来调度任务执行，并对任务做相应的状态切换的功能至少支持三种任务状态：就绪、运行和阻塞。任务调度时被切换的任务之间能够进行现场的保护与恢复核心测试设置任务属性对象，允许根据指定属性创建任务的功能能正确实现所测试的系统功能核心测试同优先级任务的调度策略支持采用时间片轮转或先进先出调度策略核心测试对任务属性进行设置、查询等功能能正确实现所测试的系统功能一般测试任务扩展点功能允许用户提供任务创建、任务删除、任务切换扩展例程，对系统任务的关键行为设定额外的处理一般7.1.2任务同步与通信任务同步与通信功能的测试内容和评价准则见表20。表20任务同步与通信功能测试内容和评价准则测试项目测试内容评价准则备注信号量测试创建、删除二值和计数信号量的功能能正确实现所测试的系统功能核心测试任务在等待同一信号量的调度策略对等待同一信号量的任务可以采用优先级次序或先进先出调度策略核心测试任务以非阻塞方式锁定信号量的功能当信号量未被锁定时，成功返回，否则无法锁定信号量并返回核心测试任务以永久等待方式获取信号量功能当信号量未被锁定时，成功返回，否则，调用任务不返回，除非它成功锁定信号量或是被信号中断核心表20任务同步与通信功能测试内容和评价准则（续）测试项目测试内容评价准则备注信号量测试任务以限时等待方式获取信号量的功能当信号量未被锁定时，成功返回，否则，若在指定的限时时间内没有其他任务对信号量解锁，将终止等待，返回错误核心互斥量测试系统创建、删除互斥量的功能能正确实现所测试的系统功能核心测试系统避免优先级反转的机制提供防止优先级反转机制核心测试任务以非阻塞方式获取互斥量的功能当互斥量未被锁定时，能成功返回，否则无法锁定互斥量并返回核心测试任务以永久等待方式获取互斥量的功能当互斥量未被锁定时，能成功返回，否则任务会阻塞直到互斥量变为可用核心测试任务以限时等待方式获取互斥量的功能当互斥量未被锁定时，能成功返回，否则调用任务将阻塞等待一段指定的时间，如果任务在指定的时间内仍无法得到互斥量，它将因超时而停止等待并返回核心测试互斥量的嵌套访问允许互斥量拥有者多次调用该互斥量核心测试持有互斥量的任务删除安全不能删除持有互斥量的任务核心消息队列测试创建和删除消息队列的功能能正确实现所测试的系统功能核心测试消息队列的同步通信机制任务能够通过消息队列进行同步通信核心测试消息队列的异步通信机制任务能够通过消息队列进行异步通信核心测试任务以阻塞方式发送消息队列的功能如果消息队列已满，调用任务会阻塞，直到消息队列空间可用或者调用任务被信号中断核心测试任务以非阻塞方式发送消息队列的功能如果消息队列已满，调用任务就不会阻塞，直接返回错误核心测试任务以阻塞方式接收消息队列的功能如果指定的消息队列为空，任务会阻塞，直到一个消息加入到队列中或调用任务被信号中断核心测试任务以非阻塞方式接收消息队列的功能如果指定的消息队列为空，则返回错误核心信号测试信号以异步方式完成接收和发送的功能能正确实现所测试的系统功能核心测试向指定任务发送指定的信号的功能能正确实现所测试的系统功能核心测试任务以阻塞方式等待指定信号发生的功能将任务挂起，直到任务接收到一个信号来执行信号处理函数或终止任务核心测试系统是否提供信号的默认处理方式提供系统信号的默认处理方式核心测试设置信号处理功能扩展点功能能够设置信号处理功能扩展点，实现特定功能核心测试设置信号掩码的功能设置信号掩码成功，屏蔽信号送达核心表20任务同步与通信功能测试内容和评价准则（续）测试项目测试内容评价准则备注条件变量测试初始化、销毁条件变量的功能能正确实现所测试的系统功能核心测试任务以永久阻塞方式等待条件变量的功能自动阻塞调用任务，等待条件变量，直到条件变量被激活核心测试任务以限时阻塞方式等待条件变量的功能自动阻塞调用任务，等待指定的条件变量，直到条件变量被激活，或者系统时间到达指定的时间核心测试同时唤醒一个或多个等待任务的功能解除阻塞在条件变量上的任务核心读写锁测试创建、删除共享读锁和互斥写锁功能可以分配、释放读写锁资源核心测试读写任务发生竞争时的调度策略可以采用读任务优先或写任务优先调度策略一般7.1.3时钟/定时器管理时钟/定时器管理功能的测试内容和评价准则见表21。表21时钟/定时器管理功能测试内容和评价准则测试项目测试内容评价准则备注时钟管理测试获取内核节拍（tick）计数值的功能能正确实现所测试的系统功能核心测试系统时钟设置和控制功能能正确实现所测试的系统功能核心测试实时时钟功能支持系统范围内的实时时钟核心测试单调时钟功能支持记录系统启动时间的单调时钟核心测试任务执行时间计时功能能正确实现所测试的系统功能核心测试任务延时等待功能使调用的任务休眠，直到经过指定的时间间隔核心定时器管理测试实时时钟定时器功能支持系统范围内的实时时钟核心测试单调时钟定时器功能支持记录系统启动时间的单调时钟核心测试单次定时器功能定时器设置一次触发后不会自动装载原有的设置核心测试周期性定时器功能定时器触发后自动装载原有设置的时间间隔，并周期性触发核心7.1.4中断/异常管理中断/异常管理功能的测试内容和评价准则见表22。表22中断/异常管理功能测试内容和评价准则测试项目测试内容评价准则备注中断管理调用中断处理程序安装接口接口调用成功核心测试缺省情况下提供默认中断处理程序的功能能正确实现所测试的系统功能核心测试使能和屏蔽系统中断或某一特定中断的功能能正确实现所测试的系统功能核心测试中断嵌套功能能正确实现所测试的系统功能核心测试配置中断处理程序栈空间大小的功能能正确实现所测试的系统功能核心异常管理测试触发异常处理的功能能正确实现所测试的系统功能核心测试缺省情况下提供异常中断处理程序的功能能正确实现所测试的系统功能核心7.1.5内存管理内存管理功能的测试内容和评价准则见表23。表23内存管理功能测试内容和评价准则测试项目测试内容评价准则备注内存管理测试内存动态分配和回收功能能正确实现所测试的系统功能核心测试内存分配功能能按照指定边界对齐核心测试创建、删除内存分区功能能正确实现所测试的系统功能核心测试内存映射功能能正确实现所测试的系统功能核心测试内存使用统计信息功能可以获取和显示内存使用信息核心测试冗余内存块分配、冗余内存块读写一致性以及冗余内存块校验提供数据完整性保护功能和冗余容错功能核心7.1.6文件系统当系统提供文件系统功能时，应进行文件系统功能测试，测试内容和评价准则见表24。表24文件系统功能测试内容和评价准则测试项目测试内容评价准则备注文件系统测试动态创建文件或目录功能能正确实现所测试的系统功能核心测试打开、关闭和删除文件功能能根据文件名或者描述符进行打开、关闭和删除文件操作核心测试文件属性记录、查询功能能正确实现所测试的系统功能核心测试读文件功能能够按照指定的方式读出文件指定长度的数据核心文件系统测试写文件功能能够将数据写入到文件指定位置核心测试文件控制功能能支持文件控制命令核心测试卷的创建、格式化、挂载和卸载功能能正确实现所测试的系统功能一般DB32/T4701—2024表24文件系统功能测试内容和评价准则（续）测试项目测试内容评价准则备注文件系统管理框架测试文件系统的打开、关闭、读、能正确实现所测试的系统功能一般7.1.7设备管理当系统提供设备管理功能时，应进行设备管理功能的测试，测试内容和评价准则见表25。表25设备管理功能测试内容和评价准则测试项目测试内容评价准则备注设备管理当系统提供终端设备管理功能时，测试对终端设备的打开、关能正确实现所测试的系统功能核心当系统提供字符设备管理功能时，测试对字符设备的打开、关能正确实现所测试的系统功能核心当系统提供块设备管理功能时，测试对块设备的打开、关闭、能正确实现所测试的系统功能核心测试查看指定设备信息的功能能正确实现所测试的系统功能核心测试设备的异步访问功能能正确实现所测试的系统功能一般扩展功能模块当系统提供设备管理功能时，能够支持工业嵌入式常用协议能够支持CAN、EtherCat等相关工业协议。一般7.1.8网络通信当系统提供网络通信功能时，应进行网络通信功能测试，测试内容和评价准则见表26。表26网络通信功能测试内容和评价准则测试项目测试内容评价准则备注网络通信测试网络设备管理功能能正确实现所测试的系统功能核心调用标准套接字编程接口接口调用成功核心调用TCP、UDP、IP、ICMP和ARP网络协议进行网络间通信网络连接正常，数据通信正确核心进行协议栈信息统计能正确实现所测试的系统功能核心网络通信调用TFTP、TELNET等应用层协议进行网络间通信网络连接正常，数据通信正确核心调用协议栈扩展点，实现对其他网络协议的扩展支持能正确实现所测试的系统功能一般可实现关键信息的加密，以网络方式登录系统需完成身份认证与访问控制用户通过用户名与加密后的口令可正常登录系统一般测试与Wi⁃Fi、Bluetooth等设备的连接功能能正常使用WiFi、Bluetooth等无线设备通信一般7.1.9运行模式当系统提供运行功能时，应进行运行模式功能测试，测试内容和评价准则见表27。表27运行模式功能测试内容和评价准则测试项目测试内容评价准则备注运行模式运行模式支持多核处理器支持SMP核心7.2性能效率工业嵌入式实时操作系统的时间性能测试应测试相应系统调用的最大执行时间，测试内容和评价准则见表28。表28时间性能测试内容和评价准则序号测试内容评价准则备注1中断响应时间，即从中断产生到开始执行中断处理程序的第一条指令之间的时间间隔。主要由系统锁中断时间和中断执行准备时间组成中断响应时间应不核心2任务切换时间，即CPU的控制权由运行任务主动转移到另外一个就绪任务时所花费的时间。任务切换时间包括保存当前运行任务上下文的时间、选择下一个任务的调度时间以及将要运行任务的上下文恢复时间任务切换时间应不核心3任务抢占时间，即系统将控制权从低优先级任务转移到高优先级任务所花费的时间，它包括识别引起高优先级任务就绪的事件，比较两个任务的优先级，最后进行任务的切换任务抢占时间应不核心4信号量延迟时间，即一个任务释放信号量到另一个任务等待信号量的任务获得信号量的时间间隔。当无任务等待信号量时，信号量延迟即为其释放操作和获取操作所需时间。当信号量的等待队列上有阻塞等待的任务时，信号量延迟时间包含从等待队列中解除阻塞任务，到该任务被调度执行的时间间隔信号量延迟时间应核心5周期任务抖动，即周期性任务在实际执行时与预计调度执行时的偏差周期任务抖动应不核心6任务状态转换，系统可支持状态转换（就绪态→运行态延迟态→运行态悬置态→运行态）任务状态转换时间应不大于200μs核心7.2.2空间资源空间资源性能测试的测试内容和评价准则见表29。表29空间资源性能测试内容和评价准则序号测试内容评价准则备注1测试工业嵌入式实时操作系统最小配置的大小最小配置可剪裁到6MB以内核心2测试工业嵌入式实时操作系统的32位寻址方式支持32位寻址方式核心3测试工业嵌入式实时操作系统的64位寻址方式支持64位寻址方式一般7.3安全性安全性测试内容和评价准则见表30。表30安全性测试内容和评价准则序号测试内容评价准则备注1测试工业嵌入式实时操作系统在传入合法和非法数据时响应传入合法值后，应用可正常运行。传入非法值后，系统应提示数据非法，并阻止应用执行核心2测试工业嵌入式实时操作系统的死锁检测机制系统可以检测到死锁核心3测试可能发生优先级反转的各种情况下，系统防止优先级反转的措施系统可以防止优先级反转核心4测试引用无效内存地址的情况下，系统能否进行出错处理系统可以进行出错处理核心5测试系统出现异常状况（例如：虚拟存储区统能否检测到异常错误并进行处理操作系统能检测到异常错误，并由异常处理程序进行处理核心6测试应用程序资源使用超出范围时，操作系统的处理能力能够对应用程序占用内存、磁盘等关键资源进行限制或配额，防止应用程序在使用时对内存等相关资源超量使用，造成系统负担甚至异常，当出错时系统需进行出错处理核心7在配置网络通信模块时，测试系统对非法攻击的检测、预警和防范机制系统提供检测、预警和防范机制核心8在出现掉电情况下时，测试系统能够保证文件的安全系统能够保证在重复掉电的情况下，文件不受损坏，即文件的安全性核心7.4可配置性可配置性测试内容和评价准则见表31。表31可配置性测试内容和评价准则序号测试内容评价准则备注1测试系统可创建的最大任务数配置符合配置范围时，配置并运行成功；超出配置范围时系统有出错提示或相应处理核心2测试系统时钟频率的配置核心3测试系统支持的定时器最大个数配置核心4测试系统支持的中断最大数配置核心5当系统包括任务同步与通信模块时，测试系统支持信号量的最大个数配置核心6当系统包括任务同步与通信模块时，测试系统支持互斥量的最大个数配置核心7当系统包括任务同步与通信模块时，测试系统支持消息队列的最大个数配置核心8当系统包括任务同步与通信模块时，测试系统支持条件变量的最大个数配置核心9当系统包括任务同步与通信模块时，测试系统支持读写锁的最大个数配置核心当系统包括内存管理模块时，测试系统内存管理起始地址、系统工作区大小和系统堆栈区大小配置核心当系统包括内存管理模块时，能够对应用占用的内存进行配额或限制核心当系统包括设备管理模块时，测试系统可注册最大设备数配置核心当系统包括设备管理模块时，能够对设备的权限和使用进行控制核心当系统包括文件系统时，测试系统可打开文件最大