智能视讯设备技术要求和测试方法 第1部分：总体要求

4智能视讯设备技术要求和测试方法第1部分：总体要求本文件规定了智能视讯设备的总体技术要求，包括系统架构与组网、智能视讯设备的功能、协议、业务流程、性能和互通性等；本文件还规定了智能视讯设备的测试方法。本文件适用于支持视频会议及相关的音视频业务的专业的智能视讯设备。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件仅该日期对应的版本适用于本文件不注日期的引用文件，其最新版本(包括所有的修改单)适用于本基于IP网络的视讯会议系统总技术要求基于IP网络的视讯会议系统设备技术要求第3部分；多点控制单元(WCU)基于IP网络的视讯会议终端设备技术要求第1部分：基于ITU-TH.323协议的终端出入口控制人脸识别系统技术要求安防人脸识别应用防假体攻击测试方法YD/T1522.1-2006会话初始协议(SIP)技术要求第1部分：基本的会话初始协议YD/T1523-2006会话初始协议(SIP)服务器设备测试方法YD/T2033.3-2009基于IP网络的视讯会议系统设备测试方法第3部分：多点控制单元(MCU)基于IP网络的视讯会议终端设备测试方法第1部分基于ITU-TH.323协议的终端3术语、定义和缩略语下列术语和定义适用于本文件。3.1术语和定义智能视讯平台intelligentaudio-visualcommunicationplatfora基于人工智能技术，采用云或非云的架构，对视讯业务和智能视讯终端进行认证和智能分析，实现多路音视频信号和其它媒体信息的汇聚、合成、转码、智能编辑处理、智能选路分发，并实现对各类数据信息的智能分析管理等功能的业务平台智能视讯终端intelligontaudio-visualcommunicationterminal基于人工智能技术，分析业务属性并通过自主决策，实现音视频信号及其它媒体信息的识别采集、智能压缩和编码、通过网络传输到智能视讯平台或其它设备，同时对智能视讯平台或其它设备发送的音视频信号及媒体信息进行接收、解码和播放等功能的终端。智能视讯设备intelligentaudio-visualcommuni包括智能视讯终端和智能视讯平台中用于实现智能编解码、智能路由、业务智能分析管下列缩略语适用于本文件。FRR错误拒绝率FalseRejectiIP互联网协议InternetProtocolROI感兴趣区域RegionofInterestSIP会话初始协议SessionInitiationProtocolsVC分级视频编码ScalableVideoCoding4.1概述智能视讯业务系统可基于语音识别、图像识别、指纹识别、数据智能分析和业务并根据其提供的业务属性，采用人工智能技术为用户提供更好质量、更高效率的用户体验4.2系统架构与组网智能视讯业务系统主要由以下三个部分构成——智能视讯终端；——智能视讯平台——通信网络智能视讯终端可以通过有线网络、无线网络接入智能视讯平台。智能视讯业务系统的结构示意图如图1所示ee74)呼叫控制模块：包括视讯业务和智能视讯设备的注册、信令路由、能力协商、媒体传输、媒体控制等功能单元，实现单点或者多点视讯业务的呼叫控制5)协议映射和转换模块：通过协议的映射和转换，实现内外网穿越及与外部系统互通功能；6)媒体处理模块：实现视讯业务的媒体处理功能：7)媒体转换模块：实现媒体的转换，与外部系统互通功能。4.3功能要求4.3.1智能视讯络端功能智能视讯终端的基本功能宜符合GB/T28499.1-2012第7章的要求。4.3.1.2智能识别智能视讯终端的智能识别包括人脸识别、语音识别和指纹识别等，智能视讯终端应支持至少一种或多种智能识别功能智能视讯终端的人脸识别功能，宜包括以下内容：——人脸签到，通过人脸识别进行签到，签到信息可包括姓名、部门信息等；——智能跟踪，通过声源和图像定位技术，智能跟踪发言人，并居中显示：——智能唤醒，设备在休眠状态下，支持智能人脸检测，实现设备唤醒功能，可支持智能唤醒功能开启或关闭：——智能待机。一段时间内未检测到人脸，设备可自动进入待机状态：——智能取景，通过判断人数，智能抓取全景，将全部人脸拍摄入画并居中显示——智能拼接，抓取全景，通过人脸识别技术，将人员画面特写拼接展示：——智能导播，智能切换场景中的单个发言人特写或同时显示多个发言人：智能视讯终端的语音识别功能，宜包括以下内容：—语音指令，通过语音下达指令，侧如语音开关机召集会议、进行会议控制、音量调节等。智能视讯终端的指纹识别功能，宜包括以下内容——指纹识别；智能视讯终端的近场感应功能，宜包括以下内容：——近场投屏，即个人终端接近智能视讯终端时，进行快捷投屏：—近场唤醒，即个人终端接近智能视讯终端，唤醒设备。4.3.1.3智能分析处理智能视讯终端应支持设备自检和自动网络检测，可查询设备本身、网络连接情况、服务器连接情况和连接耗时等信息。智能视讯终端应支持自适应编码，可根据采集视频的特性和网络条件，预测并配置最优的编码参数或根据网络条件自适应动态配置适当的编码参数。智能视讯终端可支持ROI编码，如支持人脸、人体和文字的ROI区域检测，并对检测的ROI区域分8智能视讯终端可支持图像画质增强功能，通过智能分析处理，如低照度增强、宽动态增强、对比度增强、去模糊、去雾等，使画质更清晰。智能视讯终端可支持视频人脸美颜功能。智能视讯终端可支持背景的虚拟化功能，虚化模糊人物后的背景，或将视频背景替换成自定义的背景图片/视频。智能视讯终端可支持音频降噪功能，通过分析采集的音频，进行降噪处理，提升用户的音频体验。智能视讯终端可支持智能调节亮度，适应用户所在的外部光学环境。智能视讯终端可支持智能调节音量4.3.2智能视讯平台功能4.3.2.1基本功能智能视讯平台的基本功能宜符合GB/T21642.3-2012第5章的要求。4.3.2.2智能分析处理智能视讯平台应支持设备自检和自动网络检测，可查询所包括的设备本身、网络连接情况、服务器连接情况和连接耗时等信息。智能视讯平台应支持自适应编码，可根据采集视频的特性和网络条件，预测并配置最优的编码参数。或根据网络条件自适应动态配置适当的编码方式，实现对网络损伤的适应性。智能视讯平台应支持对智能视讯终端的人脸信息的识别，实现人脸签到、电子铭牌等功能。智能视讯平台宜支持自动增益功能，通过分析采集的音频，进行增益处理，提升用户的音频体验。智能视讯平台可支持对智能视讯终端的指纹信息的识别，实现认证解锁等功能。智能视讯平台可支持同声字幕，将发言人的语音实时转写为字幕。智能视讯平台可支持电子纪要，如把发言人的语音实时记录下来并转写为会议纪要。4.3.2.3智能选路智能视讯平台可支持根据传输网络节点的业务资源占用与终端接入的节点情况，预估传输的时延等信息，并对不同类别的视讯业务，提供不同的策略实现智能选路功能。4.4协议要求4.4.1通信协议智能视讯设备采用IP协议作为承载协议时，应支持完整的TCP/UDP/IP协议栈。智能视讯设备宜支持L.23、SIP、RTSP和RTIP等通信控制协议。智能视讯设备支持双流通信时，宜支持ITU-TH.239或IETFBFCP协议。音频编码与解码宜支持但不限于以下一种或多种标准——AVS音顿——G.711——G.722——G.722.10——G.723.1——G.728——G.729——G.719——Opus视频编码与解码宜支持但不限于以下一种或多种标准：——H.2659YD/IX0000—20X0—-H.264——H.263——MJPEG——MPEG-2 智能视讯设备宜支持高清及以上分辨率，如720P(1280x*720)、1080P(1920x*1080)、4K(3840x*2160)等，并向下兼容标清分辨率；宜支持25fps、30fps、60fps及以上帧率。智能视讯设备的辅流宜支持高清及以上分辨率，如720P(1280x*720)、1080P(1920x*1080)、4K(3840x*2160)等，向下兼容标清分辨率；宜支持25fps、30fps、60fps及以上帧率。智能视讯平台宜支持对接入终端的全适配处理能力，确保接入终端能以不同的协议、分辨率、帧率、码率等参加同一会议4.4.2网管协设智能视讯设备宜支持网络管理协议，通过网管协议，智能视讯设备宜支持自动选择连接网管服务器，实现远程配置管理、版本管理和日志管理等功能。智能视讯设备宜支持定期在线自检，自主选择将状态上报网管服务器，并定期下载最新软件版本。4.5业务流程要求4.5.1基于H.323协议的业务流程支持H.323协议的智能视讯设备，相关业务流程参见GB/T21639-2008第7章的要求。4.5.2基于SIP协议的业务流程支持SIP协议的智能视讯设备，相关业务流程参见YD/T1481-2006第12章的要求。4.6.1智能视讯终端性能智能视讯终端的常规性能要求宜符合GB/T28499.1-2012第15.1~15.6条的要求智能视讯终端还应满足如下性能要求；--点对点模式下，会议室型终端单路视频最大支持编解码能力应不低于1080P30fps-—会议模式下，会议室型终端单路视频最大支持编解码能力应不低于720P30fps:——最大人脸检测数量：单帧图片的人脸检测数量宜不小于10个：——图像识别性能：●图像唤醒率不小于90%;●图像误唤醒率不大于5%;●图像平均唤醒时间应小于等于3s;—语音识别性能：●语音唤醒率不小于90%;●语音误唤醒频度不大于0.2次/小时；●语音唤醒响应时间不大于3s,语音命令识别准确率不小于90%;——指纹识别错误接受率不大于1/50000,错误拒绝率不大于3%; 纹识别的响应时间不大于1ss4.6.2智能视讯平台性能智能视讯平台的常规性能宜符合GB/T21642.3-2012第12.1~12.3条的要求。智能视讯平台还应满足如下性能要求：-一点对点模式下，单路视频最大支持编解码能力应不低于1080P30fps-—会议模式下，单路视频最大支持编解码能力应不低于720P30fps; 语音实时转写会议纪要或字幕时，2米距离以内语音识别的字正确率不小于85%4.6.3端到端性能4.6.3.1端到端的音视频业务质量无损网络下，视频图像清晰流畅、色彩还原度高；大运动视频无花屏、无马赛克；声音清晰流畅无噪音。无损网络下，不考虑网络传输时延情况，端到端的音视频呼叫建立时间应小于3s;音视频通信端到端强时应小于300ns音视频通信应保证唇音同步，对音视频同步误差的极限容忍值为声音超前于图像的时间不能超过90ms,声音滞后于图像的时间不能超过185ms。4.6.3.2端到端的AI服务性能——人脸注册失败率应不大于1%;——人脸识别的正确识别率应不小于97%;——人脸识别的精度宜满足在错误接受率FAR不大于1%时，人脸识别错误拒绝率FRR不大于1%;-—人脸识别平均响应时间应不大于3s;——活体检测正常通过率宜不小于95%;-—无损网络下，不考虑网络传输时延情况时，同声字幕的时延宜不大于500ms。4.6.3.3网络损伤适应性智能视讯设备应支持对网络损伤的适应能力，根据网络的情况智能选择应对措施，如根据网络情况自适应动态调整编解码方式、帧率或带宽等。在2Mbps带宽的特定网络条件下，网络自适应能力宜符合表1的相关规定。表1特定网络条件下，网络自适应能力要求表2不同的网络带宽和呼叫带宽的条件下，网络白适应能力要求20Mhos,.....丢包10%,时迁200ns.丢包10%,时廷200ns,注：网络适应性要求的限制条件是呼叫带宽不超过网络4.6.3.4网络带宽适应性当网络带宽小于设备当前呼叫带宽，但大于设备最低配置带宽，端到端音视频质量应无明显卡顿，质量应与同等呼叫带宽下的音视频质量相当。当网络带宽恢复，端到端音视频质量应无明显卡顿，质量应与同等呼叫带宽下的音视频质量相当。4.6.4可靠性要求为保障视讯业务的可靠运行，不因局部的故障导致视讯业务整体不可用，智能视讯平台宜满足如下要求；—支持关键设备的主备冗余或负荷分担机制—支持告警检测、告警上报等功能：智能视讯设备应支持软件升级，升级失败时应该能够恢复到升级前的版本。4.7互通性要求智能视讯终端宜支持自适应适配音视频编码算法。智能视讯平台应支持自适应适配接入的智能视讯终端的音视频编码算法。智能视讯平台应支持分级编码，自动适配视讯会议终端、电子白板/智慧屏、手机APP等各种异构终智能视讯平台与第三方智能视讯平台、视频监控系统、IPTV系统和物联网平台等互通时，宜支持音视频编解码协议的自动适配智能视讯设备应支持内外网间的信令和媒体交互。5测试方法除特殊规定外，根据智能视讯设备的应用场景，包括室内/室外环境，所有测试宜在下列正常条件下进行：——环境温度：0℃-40℃;——相对湿度：20%-90%;——大气压力：86kPa~106kPa。5.2测试组网协议分析仪智能视讯终端智能视讯平台性能分析仪预置条件；脸底库中；2、将智能视讯终端镇定，或者将智能视讯终端关机后再开1、采用以下任意一种方式将测试人员的人脸图像数据录入到人脸底库中：测试步骤；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、开启人脸签到功能；3、在智能视讯平台上启动视讯业务；4、测试人员面部位于在智能视讯终端的采集区域内；5、观察是否能对测试人员的人脸进行签到，签到信息是否智能视讯终端通过检测人脸进行签到，签到测试步骤；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、开启智能跟踪功能：3、在平台上启动视讯业务：4、两名测试人员位于同一会场内，测试人员A和B交替发言：5、测试人员A发言，智能视讯终端将测试人员A居中显示在视频画面中：6、测试人员B发言，智能视讯终端将测试人员B居中显示1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线4、待被测设备休眠后，测试人员人脸出现在智能视讯终端的采集区智能视讯终端检测到人脸后，波自动唤醒。智能视讯终端能1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；3、在平台上启动视讯业务；4、智能视讯终端在规定时间内未检测到人脸；智能视讯终端在一段时间内未检测到人脸，络端可1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、开启智能取景功能；3、在平台上启动视讯业务：员都能居中显示在视频画面中智能视讯终端能够智能抓取全景，将全部人员拍1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；3、在平台上启动视讯业务；4、观察智能视讯终端是否将指定测试人员的特写进测试步骤；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、开启智能导播功能：4、三名测试人员位于同一会场内，测试人员A、B和C交替1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、开启智能人数统计功能：3、在平台上启动视讯业务：4、多名测试人员面部位于在智能视讯终端的采集区域内；1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、开启同声字幕功能：3、在平台上启动视讯业务：4、测试人员采用普通话方式进行发言：5、观察测试人员的发言内容是否能变成字幕1、如图3所示，连接好智能视讯终端与智能视讯平台之间3、在平台上启动视讯业务：5、观察智能视讯终端能否能够根据测试人员的1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、开启指纹录入功能；3、采用以下任意一种方式将测试人员的指纹图像数据录入到指纹库1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、开启指纹识别功能：测试步骤；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、开启指纹解锁功能：3、将智能视讯终端锁定，或者将智能视讯5、测试人员将手指放在智能视讯终端的指纹采集区域内：1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线4、测试人员携带个人终端接近智能视讯终端，观察终端是否可进1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线2、开启近场唤醒功能；4、智能视讯终端休眠后，测试人员携带个人终端接近被测终端，观1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、打开被测智能视讯终端的电源；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、在智能视讯终端上设置音视频编码算法的自适应方3、基于终端支持的音视频算法，在平台上依次启动基于不同的算法的视讯业务：4、观察每次启动视讯业务时，智能视讯终编是否能够进行正常的1、如图3所示，连接好智能视讯终端与智能视讯平台之间3、在平台上启动视讯业务：1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、在智能视讯终端的图像画质增强功能已启用；3、在平台上启动视讯业务；4、在低照度、背光、高对比度、模糊背景或雾气等环境中，观察智1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；3、在平台上启动视讯业务；测试步骤；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、在智能视讯终端的背景虚拟化功能已启3、在平台上启动视讯业务：4、观察智能视讯终端能否实现下列一个或多个虚拟化功能：1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、在智能视讯络终端的音频降噪功能已启3、在平台上启动视讯业务：4、观察智能视讯终端能否在下列一个或多个场景中实现音频降噪：2)鼓掌声音；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、在智能视讯终端的智能调节亮度功能已启用；3、在平台上启动视讯业务；4、在较低或较高照度环境下，观察智能视讯终端能否自1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、在智能视讯终端的智能调节音量功能已启用：4、测试人员用较低或较高音量发言，观察智能视讯终端能否自1、如图3所示，连接好智能视讯终端与智能视讯平台之间1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、在智能视讯平台上已启用音视频编码算法的自适应方3、三个智能视讯终端上设置不同的音视频算法：4、在智能视讯平台上启动视讯业务，进行多点通4、观察智能视讯平台是否能够实现正常的1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、开启人脸签到功能；3、在智能视讯平台上启动视讯业务；4、测试人员面部位于在智能视讯终端的采集区域内：5、观察是否能通过测试人员面部进行签到，签到信息是否智能视讯终端通过检测人脸进行签到，签到测试步骤；1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、开启自动增益功能：3、在平台上启动视讯业务：5、观察平台处输出的音频信号是否被调节，即预期结果；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、开启指纹识别功能；3、测试人员将手指放在智能视讯终端的指纹采集区域内，进行指纹采集操作；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、开启同声字幕功能：3、在平台上启动视讯业务；4、测试人员采用普通话方式进行发言；5、观察测试人员的发言内容是否能变成字幕1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、开启电子纪要功能；3、在平台上启动视讯业务；4、测试人员采用普通话方式进行发言；1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、开启智能选路功能：3、在平台上启动视讯业务：4、观察智能视讯平台是否能够根据信道情况，智能选测试分项目：点对点模式下会议室型终端的最1、如图3所示，连接好智能视讯终端之间的物理线2、两台智能视讯终端建立点对点通信；会议室型终端单路视频最大支持编解码能力应不低于1080P3测试分项目：会议模式下会议室型终端的最1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、在平台上启动视讯业务，建立多点通信；会议模式下，会议室型终端单路视频最大支持编解码能力应不低于720P3测试步骤；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、启动智能视讯终端；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；3、待终端休眠后，测试人员面部出现在智能视讯终端的采集区域内唤醒终端：4、多次重复步骤3,记录终端被成功唤醒的次数，1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、在平台上启动视讯业务：4、多次重复步骤3,记录终端被成功唤醒的次数，计1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、在平台上启动视讯业务：1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、在平台上启动视讯业务：4、多次重复步骤3,记录终端被成功唤醒的次数，计算1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；3、待终端休眠后，测试人员在智能视讯设备的采集区域内通过4、多次重复步骤3,记录终端被成功唤醒的次数，计算语音1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、在平台上启动视讯业务；终端唤醒的响应时间；1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；1、如图3所示，连接好智能视讯终端与智能视讯平台之间3、多次重复步骤2,计算指纹识别错误接指纹识别错误接受率不大于1/50000,错误拒1、如图3所示，连接好智能视讯终端与智能视讯平台之间的物理线路；2、测试人员进行指纹识别操作，记录测试人员启动指纹采集到1、如图3所示，连接好智能视讯终端之间预期结果点对点模式下，单路视频最大支持编解码能力应不低于1080P30fps1、如图3所示，连接好智能视讯终端与智能视讯平台之间会议模式下单路视频最大支持编解码能力应不低于720P31、如图3所示，连接好智能视讯终端与智能视讯平台之间2、在平台上启动视讯业务，测试人员距离预期结果；1、如图3所示，连接好智能视讯终端与智能视讯平台之间2、在平台上启动视讯业务，测试人员距离5.6.3端到端性能测试5.6.3.1端到端的音视频业务质量理线路；2、在平台上启动视讯业务：测试步接；2、在平台上启动视讯业务：3、记录音视频呼叫建立的过程，计算呼叫建立时呼叫建立时间应小于3s;1、端到端测试时，如图3所示，连接好智能视讯理线路：3、记录智能视讯终端的视频画面，计算端到端时延，多1、端到端测试时，如图3所示，连接好智能视讯理线路；音视频通信应保证后音同步，视讯业务中声音超前于图像的时间不能人脸注册数据集，应符合GA/T1093-2013第6.31、端到端测试时，如图3所示，连接好智能视讯理线路；3、采用以下任意一种方式将人脸图像数据注册到人脸底库中：测试步骤；2、设置底库，其中包含真实库和干扰库：3、在平台上启动视讯业务：4、测试人员面部位于智能视讯终端的采集区域内，查看识别结5、计算人脸识别的正确识别率，计算公式如下：测试步骤；2、在平台上启动视讯业务：4、在错误接受率FAR不大于1%时，计算人脸识别错误拒1、端到端测试时，如图3所示，连接好智能视讯理线路：3、进行人脸识别相关操作，统计智能视讯终端从人脸检测到输2、在平台上启动视讯业务：4、计算活体检测通过率，计算公式如下：2、在平台上启动视讯业务：3、记录测试人员发言到显示同声字幕的过程，1、端到端测试时，如图4所示，连接好智能视讯理线路：2、在平台上启动视讯业务，建立多点通信，将终端1到平台