基于边缘计算的机器视觉 第2部分：参考架构

基于边缘计算的机器视觉第2部分：参考框架本文件给出了基于边缘计算的机器视觉功能逻辑架构的信息，规定了基于边缘计算的机器视觉系统的业务流程、逻辑框架以及框架各组成部分的功能要求。本文件适用于指导工业制造、安防、医疗、交通等领域基于边缘计算的机器视觉系统的设计和开发。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件不注日期的引用文件，其最新版本(包括所有的修改的)适用于本文件。GB/T28181-2016公共安全视频监控联网系统信息传输、交换、控制技术要求3术语和定义下列术语和定义适用于本文件。智能播像机intelligentcamera可以应用各种算法模型，对视频和图像实现自动识别和分析，形成半结构化、结构化的特征信息，或对视频图像质量进行增强和改善的能力摄像机下列缩略语适用于本文件AI:人工智能(ArtificialIntellCNN:卷积神经网络(ConvolutionalNeuralNetworks)DNN:深度神经网络(Deep-LearningNeuralNetwork)RNN:循环神经网络(RecurrentNeuralNetwork)5业务流程和功能框架基于边缘计算的机器视觉逻辑功能架构如图1所示，包括应用、云侧、边缘侧，价值场景包括智能安防、智慧交通、智慧医疗、工业等。应用云侧网络协议边缘侧云侧可支持视频管理、协同管理、算法管理等管理功能，可实现视图数据存储、算力网络优化、端边协同等能力，同时通过A框架(训练、推理、机器学习算法库)实现AI模型的训练和推理能力。数据传输网络包括边缘侧内部网络和公用网络，实现方式包括有线网络(如工业以太网、工业总线)、无线网络(如4G/5G、WLAN)及接口传输介质(图像采集卡、USB等),同时结合MEC(移动边缘计算MobileEdgeConputing)、TSN(时间敏感型网络TimeSensitiveNetwork)技术提升网络稳定性和性能。6.1视频边缘计算硬件要求6.1.1视频采集设备应支持一种或多种频图像信息(视频流、视频片段、图像、结构化数据)的采集功能。例如智能摄像机、工业数字相机等。6.1.2智能视频处理设备应支持图像处理、图像识别、目标比对、图像检索等一种或多种视频处理功能。例如智能视频网关、智能视频服务器等6.2视觉处理平台要求AI框架包括机器学习算法库、模型库、推理等几部分，完成轻量级、低时延、高效的AI计算框架。其中机器学习算法库应支持机器学习、图像处理、视频处理等常见算法；模型库应支持CNN、RNN、DNN等常用的深度学习网络模型应支持一路或多路视频编解码，应支持H.264、H.265、MPEG-4等主流视频编码格式的至少一种编码格式的编码和解码。6.2.3视频图像处理与分析6.2.3.1视频图像处理应支持滤波、锐化、对比度增强、去雾、去抖动等多种图像处理技未，提高视频图像整体或视频图像中特定部分的清晰度、对比度等质量指标。6.2.3.2视频图像内容分析应支持对视频图像中的人员、车辆、物体等对象的特征、行为、数量、质量等进行检测或识别判断。6.2.3.3视频图像检索4应支持使用人员、车辆、物体等对象的视频图像针对特征库进行1:N检索，并返回检索结果；宜支持自定义检索相似度阈值和检索时间范围、特征库等；宜支持按照时间范围、单一或多个结构化属性信息或其组合进行检索结果的筛选。7.1接口协议分类接口协议按照传输信息的类别，可分为数据、控制、管理三类，数据部分除视频流采用符合GB/T28181-2016要求的协议外，所有数据、控制、管理等接口协议宜采用RESTfulHTIPS协议JS0N数据包格式。包括设备登录、注销、状态、视频流、特征数据、结构化数据等数据的上传和下发接口。7.3控制和管理从云服务或边缘服务下发的控制和管理指令，实现配置下发、算法模型下发、视频查询、任务下发、边云协同等功能应满足但不限于以下要求a)应支持4G/5G、WLAN、有线等多种网络接入方式；b)网络互联时，宜支持全隔离、信令协议层安全控制、端口防攻击监测、安全边界平台(隔离网闸)或数字隔离等一种或多种确保网络边界安全。注：具体支持种类根据实际应用场景需要。9.1管理平台9.1.1视频图像存储管理应支持通过集群应用、网格技术或分布式文件系统等技术，海量存储边缘侧上传的视频图像信息，并保证数据安全可靠。应对系统中算法的模型名称、历史