基于边缘计算的机器视觉 第3部分：技术要求

1基于边缘计算的机器视觉第3部分：技术要求本文件规定了基于边缘计算的机器视觉的技术要求，包括功能框架、边缘侧功能、云硬件性能、网络、接口、系统功能要求等。测试。仅该日期对应的版本适用于本文件不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T9813.3-2017计算机通用规范第3部分：服务器GB/T28181-2016公共安全锁会拼监控联网系统信息传输、交换、控制技术要求GB/T15412-2017应用电视摄像机云台通用规范GB/T30147-2013安防监控视频实时智能分析设备技术要求GB/T30269.901-2016信息技术传感器网络第901部分：网关：通用技术要求CUVA006-20205G超高清监控摄像机通用技术规范T/CMWU001-2020工业数字相机定义下列术语和定义适用于本文件。使用机器替代人眼实现检测，测量，识别在靠近物或数据源头的一侧，采用网络、计算、存储或应用核心能力为一体的开放平台由图像传感器、辅助电子器件和标准镜头座组成，将光信号接收端，适用于工业应用的一体式设备QoS:服务质量(QualityofService)3云管理平台云管理平台协同管理视频图像存储管理算法管理边缘视觉平台视频编解码工业数字相机视频图像处理与分析视频边缘计算硬件智能摄像机智能视频网关网络智能视频服务器图1基于边缘计算的机器视觉系统通用架构图6边缘侧功能要求6.1视频边缘计算硬件视频边缘计算硬件通常是提供进入边缘网络的入口点的设备或硬件，智能视频处理设备包括智能视频服务器、智能视频网关，视频采集设备包括智能摄像机、工业数字相机等多种硬件形态。6.1.2智能视频服务器智能视频服务器，是面向机器视觉场景的边缘侧AI处理设备，具备网络服务器基础功能外，应嵌入智能网络摄像机的智能功能，还可相应嵌入较复杂软件及AI算法等智能功能，如用于商业等应用的人群注意力及拥堵程度的识别用于公共场所的人与物异常行为识别以及用于预防各种灾害的水灾、火灾、地震等的识别等。这样，仅有通过移动侦测、人与物异常识别以及天灾人祸识别等各种智能功能的预/报警触发的视频数据，才会被传送到中央监控站，以用于进行进一步地分析，并采取进一步的响应，或可使用更为复杂的智能分析应用，以降低网络设备的负载并减少人为错误智能视频服务器，服务器能力要求采用符合GB/T9813.3-2017要求的功能外，智能视频的功能要求可参考支持如下功能：a)宜支持多路视频同时显示：b)可支持不同厂家的终端设备c)宜支持视频缓存功能：d)可支持HTTP接口及不同协议格式的流地址：e)宜提供视频、图像、语义、自然语言处理、推理等通用智能能力服务。关键指标要求：4b)宜支持全通道实时25fps编码：c)宜支持HDCVI(高清复合视频接口HighDefinition机、普通标清模拟摄像机、网络摄像机三种信号接入，高标清自适应：d)应支持通过数模转换，全部转成数字通道：e)可支持选配wifi2.5G/5G内置模块：支持选配4G模块：f)可支持web端同步回放、事件回放、图片回放、快放、慢放功能：g)可支持MicroSD卡，最大支持可达到128G:h)应支持100M、1000M网口：i)宜支持条纹、噪声、偏色、虚焦、过曝等视频质量诊断，及时发现图像异常问题：j)宜支持温度报警。当温度超过设定阀值时候，可联动报警功能：k)宜支持通过web或客户端进行系统操作、配置操作、报警事件等日志的记录与查询功能，最大应达到1024条日志：1)可支持固定容量打包，录像可以按文件大小打包，以方便用户进行录像备份或刻录：m)宜支持远程零通道预览，预览多通道分割的视频画面，包括模拟通道和IP通道：n)应支持ONVIFSERVER、GB28181、CGI、ONVIF2.4标准协议：o)可支持iSCSI扩展存储功能检验，可通过网络与其他存储设备连接。并将数据存储于接入的存储设备。6.1.3智能视频网关智能视频网关，应具备边缘网关的基本功能，提供多样的网络接入，包括快速以太网、ADSL、WIFI、3G/4G/5G/LTECAT4/LTECATI网络、Modbus、WIFI、PROFINET、EtherCAT等，还应能处理对视频图片等数据的智能处理能力。功能要求采用符合GB/T30269.901-2016的技术要求。关键功能参数：a)应支持网络接口、管理网口；c)可支持多种码流类型，支持双码流；d)应支持多种接入能力f)应支持流量分类、访问控制、攻击防护和QoS等安全功能，支持用户策略、应用策略和行为策略等智能控制手段g)宜支持IPSEC(互联网安全协议InternetProtocolSecurity)、SSL等多种传输加密协议；h)宜支持Qos优先转发视频、图片类数据。6.1.4智能摄像机智能摄像机，应具备基本的监控摄像机功能外，还应具有对采集到的视频图像数据进行智能分析的基本监控摄像机功采用符合GB/T15412-2017的协议规范外，还应符合GB/T30147-2013的技术要求，智能监控分析功能要求采用符合CUVA006-2020的技术规范。关键功能指标要求：a)宜内置电动云台和一体化变焦镜头：b)宜支持前端多种智能资源计算切换，如人体抓拍、人脸抓拍、车辆抓拍、混合目标检测(建模比对、全结构):5c)可支持万张以上的对象属性数据导入(人脸、车牌等):d)可支持黑名单比对成功报警输出：e)可具备存储空间存储对比数据库：f)宜支持快速抓拍和最佳抓拍两种模式：h)宜支持三码流技术，每路码流可独立配置分辨率及帧率：i)宜支持定时抓图与事件抓图功能。6.1.5工业数字相机工业数字相机定义及功能要求符合T/CWYU001-2020的规范要求。AI框架提供管理数据集、评估器、推理的功能，并且能在多任务之间实现并行运算和任意切换。AI框架宜包括机器学习算法库、模型库、推理、结果可视化等几部分，实验轻量级、低时延、高效的AI计算功能。AI框架的技术要求应包括：a)应支持边缘计算节点上文字提取、图像分类、目标检测、目标分割等推理算法；b)框架应支持灵活扩展的架构；c)模型库应支持多种任务(检测、分割和识别等)的算法模型及模型结构(如CNN、LSTM、RNNd)推理应支持AI专用加速芯片(GPU、NPU、VPU等)硬件指令流：e)应提供基于深度学习芯片的专用计算资源(如GPU、NPU、VPU),协助通用计算单元的运算处理：f)应提供用于加速计算任务的独立内存空间：g)运行在通用计算单元的主程序应能够配置、使用、管理深度学习加速单元的硬件计算资源。视频编解码处理过程需要满足如下技术要求：a)视频编解码技术要求，应支持多路(如4路、8路、16路、32路、64路等)视频编解码：b)应支持H.264、H.265、MPEC-4等视频编码格式的至少一种编码格式的编码和解码功能(如1路视频可支持至少240FPSC1080p,多路视频如32路，可支持至少30FPSe1080p)。6.2.3视频图像内容处理与分析视频图像内容处理与分析需要满足以下技术要求：a)图像处理技术要求，应支持JPEG、JPEG2000、BMP、PNG等图像格式的至少一种的编码和解码功能，(如宜支持180FPSJPEG图像解码能力),宜支持多种类型图像文件的互相转换：宜支持多种图像空间表示：宜支持滤波、锐化、对比度增强、去雾、去抖动等多种图像增强功能：b)图像识别技术要求，应支持至少一种图像类别的分类或检测，如人体、人脸、车牌、非机动车、机动车、物品、文本、尺寸、外观缺陷等：宜支持在同一图像中不同尺度的目检分类或检测：识别速度应小于0.5s:c)机器视觉结构化技术要求，应能提取分析目标的一种以上的属性信息：7a)应支持480P、720P或1080P分辨率其中一种或多种b)应支持实时模式：可支持PAL每路1帧/秒~25帧/秒可调：NTSC每路1帧/秒~30帧/秒可调：c)可支持32Kbps~4096Kbps(720P默认2Mbps,最高4Mbps:1080P默认4M,最高4M):d)应支持视频流/复合流g)可支持双码流：h)应支持G.711A、G.711U、PCM等音频编码标准：8.2智能视频网关性能要求主要性能指标要求：a)应支持10W/100W/1000M自适应以太网口：b)宜支持2个以上USB2.0:c)宜支持至少1个VGA接口：d)应支持标准RS-232串行接口(RJ45接口):i)可支持最多1000台IP视频编码设备接入。8.3智能摄像机性能要求基本性能指标要求采用符合GB/T20090.2-2013的技术要求。其他主要性能指标要求包括a)宜支持主码流，子码流，第三码流等码流类型：b)应支持H.265,H.264,MPEG等视频压缩标准：e)宜支持32Kbps~16384Khps等视频压缩码率：d)可支持人脸+人体抓拍，并关联输出，支持两路混合目标检测及抓拍，可对人体、人脸、车辆进行检测等混合目标检测e)可支持同时检测30张人脸，支持对运动人脸进行检测、跟踪、抓拍、评分、筛选，输出最优的人脸抓图；f)可支持人脸对比；8)宜支持移动侦测，报警输入，报警输出，遮挡报警，异常等普通事件：h)可支持区域入侵侦测，越界侦测，进入区域侦测，离开区域侦测，徘徊侦测，人员聚集侦测，快速移动侦测，停车侦测，物品遗留侦测，物品拿取侦测；1)应支持断网续传，智能后检索等录像功能；k)宜支持NAS1)宜支持IPv4/IPv6,HTTP,HTTPS,802.1x,Qos,FTP,RTSP,RTCP,RTP,TCP/IP等网络协议；m)应支持软件集成的开放式API,ONVIF,ISAPI;n)可支持至少1路高清视频的1种目标识别。YD/Txxx-xxX8.4工业数据相机性能要求关键性能指标要求包括：a)应支持USB2.0/3.0、1394a/1394b、CamerLink、Gige、CoaXPress等类型的接口：b)应支持黑自与彩色图像之间切换；c)宜支持10W/100N/1000M等多自适应传输率；d)宜支持100万/300万/500万/1000万/1200万等多分辨率；e)宜支持8Bit/10Bit/12Bit等多像素深度；f)宜支持5/10/50/100/200帧/秒等多帧率；g)应支持像元尺寸为3um-10un;h)光谱响应范围在350mm-1000nm。9.1数据接口要求数据接口应满足如下技术要求a)应支持边缘计算硬件向云平台进行按需数据上传。并对上传中断、失败等异常情况对数据进行缓存并重新上传：b)应支持云平台、边缘侧机器视觉平台之间信息和数据的按需访问：c)视频数据传输应符合GB/T28181-2016标准或者其他约定传输协议的视频传输：d)图像数据传输接口应符合GA/T1400.4-2017标准：e)宜支持第三方调用数据接口协议访问、查询与数据获取：f)应支持至少一种传输协议，包括如MQTT、HTTP、CoAP、RESTful等。9.2控制和管理接口要求控制和管理接口应满足如下技术要求：a)控制接口应支持对算法模型、业务指令的下发与反馈：b)管理接口应支持云侧对边缘侧的信息和数据的查询，应支持边缘侧对云侧的请求访问：c)控制和管理接口均应支持按需调用的参数扩展与修改；d)应支持至少一种传输协议，包括如MOTT、HTTP、CoAP、RESTful等。支持多种网络接入方式，基于高速率、低时延