《智能屏幕AI摄像头集成技术规范》

ICS35.120

CCSL67

NSSQ

团体标准

T/NSSQXX—2023

智能屏幕AI摄像头集成技术规范

TechnicalSpecificationforIntegrationofAlCameraswithSmartScreens

（征求意见稿）

2023—00—00发布2023—00—00实施

广州市南沙区粤港澳标准化和质量发展促进会发布

T/NSSQXX—2023

智能屏幕AI摄像头集成技术规范

1范围

本文件规定了规定智能屏幕AI摄像头集成的全方位技术要求和严格的检测方法。

本文件适用于不同规模和类型的智能屏幕、各种使用环境和条件、多种功能和应用场景、与其他设

备和系统的互操作性工作。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T38648—2020信息安全技术蓝牙安全指南

GB/T41867—2022信息技术人工智能术语

GB/T36480—2018信息技术紧缩嵌入式摄像头通用规范

GB/T24001—2016环境管理体系要求及使用指南

SJ/T11737—2019智能电视基于2D摄像头手势识别技术要求及测量方法

3术语和定义

下列术语和定义适用于本文件。

3.1

智能屏幕smartscreen

一种采用射频方式在近距离使用电子信息设备交换信息的无线接口技术的产品。

[来源：GB/T38648—2020，3.1，有修改]

3.2

人工智能artificialintelligence

针对人类定义的给定目标，产生诸如内容、预测、推荐或决策等输出的研究和开发。

[来源：GB/T41867—2022，3.1.8，有修改]

3.3

智能屏幕AI摄像头集成技术smartscreenAIcameraintegrationtechnology

智能屏幕与AI摄像头之间进行硬件接口连接和软件功能集成的相关技术。

3.4

3

T/NSSQXX—2023

分辨率resolution

产品对空间频率的响应函数。

注：分辨率的量度可用视觉分辨率、空间感应灵敏度(SFR)和调制传递函数(MTF)等指标表达。

[来源：GB/T36480—2018，3.6]

3.5

全景模式panoramicmode

图像为全屏状态，视场角范围内图像正常显示。

3.6

最佳视角模式optimalviewinganglemode

模组自动将画面中的人居中显示。

3.7

发言人追踪模式speechmakertrackingmode

做出对应手势的人员将被识别为发言人，被图像画面特写追踪。

3.8

说话人追踪模式speakertrackingmode

多人或单人场景下，根据声源定位对说话者进行图像特写。

3.9

智能分屏模式smartsplitscreenmode

图像左上角展示所有人脸相框，说话者相框显示黄色。

4技术使用分类

4.1按智慧屏类型分类

a)具有互联网和智能交互功能的电视产品；

b)集成了计算机主机和显示器的一体机。

4.2按使用场景分类

a)家庭娱乐；

b)商务会议；

c)教育培训。

4.3按搭载功能分类

a)AI人脸识别；

b)语音控制；

c)手势控制；

d)AR/VR显示。

4.4AI摄像头集成技术内容应根据智慧屏类型、使用场景、搭载功能调整。

5一般要求

4

T/NSSQXX—2023

5.1使用环境

使用温度应保持在0-30℃内，湿度应不高于80%。

5.2维护和清洁

5.2.1常规维护

定期检查硬件连接、软件更新。

5.2.2清洁方法

使用非腐蚀性清洁剂和软布进行外部清洁。

6通用技术要求

6.1AI摄像头硬件

6.1.1搭配IMX258镜头

最高分辨率：4032x3016

TTL：5.12

最大图像传输率：全分辨率@30fps，4k2k@30fps，1080p@30fps，720p@30fps

焦距：35.0°

光圈：2.26

视场角：118°/94°/75°

镜头最大像素高：6.06mm

相对照度：＞25.4%

对焦距离：1m

数据格式：MJPG/YUV2/H264/H265

像素：13M

6.1.2搭配2305D镜头

最高分辨率：3840*2160

最大图像传输率：全分辨率@30fps，4k2k@30fps，1080p@30fps，720p@30fps

视场角：97°/89°/59°

镜头最大像素高：6.06mm

相对照度：＞35%

对焦方式：定焦

数据格式：MJPG/YUV2/H264/H265

像素：8.29M

6.1.3搭配W808镜头

最高分辨率：3840*2160

最大图像传输率：全分辨率@30fps，4k2k@30fps，1080p@30fps，720p@30fps

视场角：128°/118°/78°

镜头最大像素高：6.06mm

相对照度：＞51%

对焦方式：定焦

数据格式：MJPG/YUV2/H264/H265

5

T/NSSQXX—2023

像素：8.29M

6.1.4搭配IMX586Sensor镜头

最高分辨率：8000*6000

最大图像传输率：全分辨率@30fps，4k2k@30fps，1080p@30fps，720p@30fps

视场角：94°/92°/55°

相对照度：＞30%

对焦方式：定焦

数据格式：MJPG/YUV2/H264/H265

像素：4800W​

6.1.5接口类型

应部署高速接口，如USB3.0或MIPICSI-2，以便于传输高分辨率图像和深度数据。使用适当的数

据传输协议，如USBVideoClass（UVC）和MIPICameraSerialInterface（CSI）。

6.2AI摄像头软件

6.2.1识别算法

6.2.1.1图像处理流程

使用ISP（图像信号处理器）进行图像预处理，包括降噪、白平衡、亮度/对比度调整、颜色校正、

色彩空间转换、直方图均衡化和多尺度金字塔处理。

6.2.1.2计算机视觉技术

采用深度学习技术，如卷积神经网络（CNN）进行人脸检测和特征提取；使用循环神经网络（RNN）

处理手势识别。

6.2.1.3深度学习模型优化

在深度学习模型中应用模型压缩和加速技术，包括量化、裁剪、模型剪枝等，如使用TensorRT库进

行模型优化，减小模型体积和提高运行效率。

6.2.2数据存储和处理

AI摄像头系统数据存储应采用安全、可靠的数据库管理系统，以支持大量视频和图像数据的存储需

求。数据处理系统应配备功能齐全的CPU和GPU，以实现高速图像处理和深度学习任务的执行。此外，应

用数据压缩和优化技术，减少存储占用和加快数据处理速度。

6.2.3安全性和隐私

部署端到端加密，并使用专业协议如TLS保护数据传输的安全，采用访问控制机制，保护用户数据

的隐私。

6.2.4更新和维护

固件升级考虑使用专业的OTA（Over-The-Air）固件升级机制，实现设备的远程更新和维护。系统

应设计为可持续更新，以便及时响应技术进步和安全漏洞。应提供常规的系统维护和技术支持，确保系

统的稳定运行和性能优化。

6.3互联性和兼容性

6.3.1连接和交互

应部署高速接口，如USB3.0或MIPICSI-2，以便于传输高分辨率图像和深度数据。使用适当的数

据传输协议，如USBVideoClass（UVC）和MIPICameraSerialInterface（CSI）。系统应支持无线

连接技术，如Wi-Fi和蓝牙，以便于与移动设备和其他智能设备的无缝连接。系统还应支持多种输入/

输出接口，以确保与不同的外部设备和平台的兼容性和互操作性。

6

T/NSSQXX—2023

6.3.2软件更新与兼容性

系统应采用模块化设计，设计为与主流操作系统和平台兼容，包括Windows、macOS、Linux、

AndroidiOS、各种视频会议软件和应用程序。软件升级应提供自动检测和提示，方便用户及时获取最新

功能和安全补丁。应预留硬件接口以及软件集成能力，以便兼容将来新出现的算法框架、传感器技术等，

并提供详细的版本更新日志和技术支持，帮助用户顺利过渡至新版本。

6.4功能性能

6.4.1识别准确率

识别准确率应达到95%以上，可通过广泛的数据集测试和持续的算法优化来维持和提高，确保有效

的面部识别、手势追踪和情感分析。

6.4.2延迟时间

延迟时间不应超过50毫秒，以保证实时交互的流畅性和响应的及时性，尤其在视频会议和远程协作

场景中。

6.4.3适应光线条件

AI摄像头应在各种光线条件下均能稳定运作，如低光照和强光照环境。应使用图像处理技术如HDR

（高动态范围）和低光照增强使摄像头能够适应从室内灯光到户外自然光的多种照明条件，保持图像的

清晰度和准确性。

6.5用户界面和交互

6.5.1操作简便性

6.5.1.1用户界面（UI）设计

创建直观的用户界面，展示识别的人脸、手势和情感分析结果。这涉及到应用响应式设计和用户体

验（UX）设计的专业界面设计原则。

6.5.1.2可使用双手手势切换功能，具体手势及对应功能参见图1。

图A.1手势及对应功能

注：切换到最佳视角模式，人正对着摄像头，双手同时做比耶手势，识别成功后图像会切换到最佳视角模式

6.5.2用户指南和帮助文档

技术提供方应给予全面的用户指南和帮助文档，以指导用户如何有效使用AI摄像头和其功能，文档

应包括安装指南、功能说明、常见问题解答（FAQ）和故障排除指南。资料应在线上提供，并支持下载

为PDF格式。可提供视频教程和在线客服支持，以帮助用户更快地掌握产品的使用。

6.6安全与隐私

6.6.1数据加密

7

T/NSSQXX—2023

所有通过AI摄像头系统传输和存储的数据应采用强加密算法进行加密，如使用高级加密标准（AES）

和安全哈希算法（SHA）等行业认可的加密技术。此外，应实施传输层安全（TLS）协议，确保数据在网

络传输过程中的安全和完整性。

6.6.2用户数据存储和分享政策

用户数据的存储应符合相关法律法规。在收集和处理用户个人数据前，应获得用户的明确同意授权。

授权协议应清晰表明数据的用途和共享情况。数据存储方应明确告知用户数据的使用方式、存储期限和

共享范围，并提供用户数据访问、修改和删除的选项。

6.6.3防护措施

6.6.4系统应部署多层防护措施，包括网络防火墙、入侵检测系统和反病毒软件

6.6.5定期进行安全审计和漏洞扫描，每月进行一次系统漏洞扫描，及时发现和修复安全隐患。每年

进行一次完整的渗透测试，评估系统的整体安全性。重要更新发布后进行回归测试。数据存储方应采取

物理安全措施保护服务器和数据中心，防止数据泄露和损坏。

7测试方法

7.1测试条件

温度应在25°C±3°C，湿度应在50%±10%，电源电压应在220V±10%，电源频率应在50Hz±1Hz。

7.2测试设备

7.2.1一体机，配置要求主要包括：

a)处理器：IntelCorei5或同等性能；

b)内存：8GBDDR4；

c)存储：256GBSSD；

d)操作系统：Windows10专业版；

e)显示器：分辨率1920×1080，对比度1000：1。

7.2.2摄像头，配置要求主要包括：

a)传感器：高清传感器，像素≥800万；支持高动态范围和低光照成像；

b)分辨率：支持3840×2160或以上分辨率摄录；

c)帧率：达每秒30帧的高帧率图像捕获；

d)镜头：广角镜头，视角≥100°；光圈大小f/2.0以下；

e)对焦：自动对焦，工作距离0.5-4米；

f)图像处理器：集成高性能ISP，可进行降噪、HDR、图像稳定等算法处理。

g)人工智能芯片：集成神经网络处理单元，可实现人脸识别、语音识别、手势识别等智能分析；

h)接口：USB3.0/3.1、HDMI2.0等高速数字视频输出接口。

7.2.3连接线材：用于连接摄像头和一体机的线材，如HDMI线。

7.2.4校准卡：包含标准颜色、分辨率、对比度测试图形的卡片，用于显示效果测试。

7.3硬件测试

硬件测试类型及对应测试方法参见表1。

8

T/NSSQXX—2023

测试类型测试方法

分辨率测试使用标准图像和分辨率测试软件及校准卡，比较不同分辨率下图像的清晰度和细节

传感器类型测试评估图像传感器在各种光照条件下的性能，包括低光环境下的图像质量

焦距测试测量摄像头的焦距，确定其视野范围，并评估适用于不同拍摄距离的能力

光圈测试测试摄像头在不同光圈设置下的曝光能力和图像质量

视角测试测量摄像头的水平和垂直视角，评估其在不同场景下的适用性

接口类型测试检查摄像头的接口类型，测试其与不同设备的连接兼容性和稳定性

表1硬件测试类型及方法

7.4软件测试

7.4.1识别算法

7.4.1.1图像处理流程测试

使用标准化的图像测试套件评估ISP（图像信号处理器）的预处理效果，包括对比预处理前后的图

像以评估降噪效果、白平衡准确性、亮度/对比度调整、颜色校正效果等。可采用专业图像分析软件来

量化处理前后的图像质量差异。

7.4.1.2计算机视觉技术测试

人脸检测和特征提取测试应采用具有多样化特征的人脸数据库进行测试，评估卷积神经网络（CNN）

的识别准确率和处理速度，包括不同角度、表情、光照条件的测试。

手势识别测试应使用不同类型的手势数据进行测试，评估循环神经网络（RNN）的识别准确性和反

应时间，包括多种手势以及在不同背景和光照条件下的识别性能。

7.4.1.3深度学习模型优化测试

通过运行不同版本的深度学习模型（包括原始模型和经过优化的模型），比较性能指标，如识别准

确率、处理速度和资源占用（如内存和处理器使用）。采用工具如TensorRT来评估模型压缩和加速技术

的效果，包括量化、裁剪、模型剪枝等对模型效率的提升。

7.5互联性和兼容性测试

7.5.1操作系统兼容性测试

7.5.1.1多平台测试

测试AI摄像头软件在各种操作系统（如Windows、macOS、Linux）上的安装、启动和运行情况。确

保软件在这些系统上都能正常运行，界面显示和功能操作正常。

7.5.1.2移动设备兼容性

测试软件在不同的移动操作系统（如Android和iOS）上的性能和兼容性。

7.5.2接口和连接测试

7.5.2.1物理接口测试

将摄像头连接到支持不同接口的设备，如USB、HDMI端口的电脑和显示器，测试连接稳定性和传输

效率。

7.5.2.2无线连接测试

在不同的Wi-Fi网络和蓝牙连接条件下，测试摄像头的连接速度、稳定性和数据传输效率。

7.5.3第三方软件兼容性测试

7.5.3.1视频会议软件测试

在不同的视频会议软件（如如腾讯会议、Zoom）中集成摄像头，测试其视频和音频传输的兼容性和

质量。

9

T/NSSQXX—2023

7.5.3.2应用程序兼容性

将摄像头与多种第三方应用程序（如微信、QQ）结合使用，测试是否能正常交互和协作。

7.5.4外围设备兼容性测试

7.5.4.1外设连接测试

连接不同品牌和型号的麦克风、扬声器、显示器等外围设备，测试摄像头的兼容性和交互能力。

7.5.4.2多设备协作测试

在多个设备同时连接的情况下，测试摄像头的性能和稳定性，确保不会因多设备协作导致性能下降

或连接中断。

7.6功能性能测试

7.6.1.1人脸识别准确性

使用不同的人脸数据集，包括不同性别、种族和年龄组，测试算法的识别准确性。应包括各种表情、

姿态和光照条件。

7.6.1.2手势识别

手势识别测试方法应符合SJ/T11737-2019中5的规定。

7.6.1.3情感分析

通过分析表情和身体语言，测试摄像头对用户情感状态的识别准确性。

7.6.2延迟、准确性

7.6.2.1响应延迟测试

测量从捕捉图像到完成处理的时间。使用高速摄影机和计时软件，评估系统在不同操作（如人脸识

别、手势识别）中的响应速度。

7.6.2.2准确性评估

统计不同功能（如人脸识别、手势识别）正确识别的比例。

7.7安全和隐私测试

7.7.1加密算法

采用已知数据输入，验证加密算法的强度和效果。包括测试数据在加密和解密过程中的完整性和不

可逆性。使用专业的安全评估工具，对算法执行各种密码攻击（如暴力破解、侧信道攻击等），以评估

其抵抗力。同时，检查算法是否符合当前行业标准，如AES或RSA加密标准。

7.7.2数据泄露风险

7.7.2.1内部风险测试

评估系统内部的数据处理和存储机制是否