人工智能边缘计算视频大数据解决方案

第第页项目编号：人工智能边缘计算视频大数据解决方案第二章项目建设背景及市场分析2.1基于AI智能分析的视频上云网关硬件及系统项目建设背景近年来，视频监控行业的核心技术发生翻天覆地的变化，从传统的模拟摄像机到当今的IP摄像机、\t"/html/2019-01/_blank"\o"AI"AI摄像机。这个转变也将为音视频流媒体行业带来新的生命力，2019年亚太地区的市场总值达51亿美元。随着摄像机和传感器的发展，\t"/html/2019-01/_blank"\o"物联网"物联网等新兴技术与视频管理系统的集成，视频技术必将对企业和市场产生更多影响。对于未来的一年，我们认为会有以下三种趋势：一是\t"/html/2019-01/_blank"\o"人工智能"人工智能将持续推动视频监控市场的转变。人工智能能为摄像机配备更加智慧的大脑，以匹配到他们前端的采集，让整体系统臃肿度进一步改善，并减少人力的投入成本。行为分析与主动识别已经进一步赋予了视频监控的生命力，例如目前在新加坡与韩国等主要城市的指挥中心与监控中心开始采用智能视频技术，以实现更有力地打击犯罪。随着智能化趋势的发展，AI视频技术已经在监控行业中崭露头角。二是视频技术是企业IT战略中不可或缺的因素。在现代企业中，企业领导者和关键决策者不仅重视公司资产的安全性，而且对业务流程与环境有更加迫切的了解需求，而智能视频技术在提升业务绩效和降低运营成本等关键点上都会有极佳的表现。如零售业便是获益最明显的例子，视频监控不仅充当安保的角色，在物联网与视频分析技术的提升下，用户已经可以及时了解消费者的消费行为及习惯；三是视频与物联网正在融合改变传统业务。随着越来越多的物联网设备相互连接，其产生了大量的数据，视频分析将加速大量结构化数据的转化，以生成可操作以及具有价值的视频数据。2.2基于AI智能分析的视频上云网关硬件及系统国内外现状2.2.1国外智能视频应用现状分析2001年美国“9·11”事件，以及后来的西班牙马德里列车连环爆炸和英国伦敦地铁大爆炸等恐怖袭击后，使全世界范围内对视频监控系统的需求空前高涨，各国部署的摄像头越来越密集，系统也日益庞大。比如英国全国范围内目前已经安装摄像机420多万个，平均每14个人一个，一个人一天之中可能出现在多达300个摄像机前，为了解决海量信息与图像的有效应用与处理问题，各国相继把计算机视觉中的相关技术引入到视频监控中，从而发展起来一种新型视频监控技术—智能视频监控。智能视频应用概念模型出现后不久，一些国外的公司就开始着手研发相关的软硬件产品，经过几年的发展，智能视频分析技术在欧美国家得到了长足的发展，迅速形成了相对成熟的产品并成功应用于实际安防工程中。如瑞典Axis网络通讯有限公司早期推出了一批智能视频产品，其中包括AXIS242SIV视频服务器和AXISIVM120人数统计智能视频应用模块。AXIS242SIV集成了专用DSP芯片（TIDM642），具备强大的图像处理能力，并可支持第三方应用软件模块的运行和开发。AXISIVM120人数统计智能视频应用模块可以使视频监控设备通过对监控画面的分析自动为用户计算进/出特定区域的人数，能够有效帮助服务、零售等行业的管理者分析营业情况或提高服务质量。Axis还计划推出更多智能视频应用模块，包括车牌号识别、非法滞留等等。此外，美国VERINT公司是较早进入智能视频分析领域的国际厂商之一，同时也是较早倡导并实施“前端内置分折”架构理念的厂商之一。该公司为用户提供“一站式”的智能视频分析解决方案—Nextiva，其中包括网络视频编码器、网络摄像机、无线视频编码器等硬件产品，用来满足不同行业不同部署环境的用户在智能分析方面的要求。从目前的发展情况来看，当前大部分智能视频监控系统的核心算法技术仍然掌握在美国以及欧洲地区等国家手里。据IMSResearch调查显示，世界范围内IVS（IntelligentVideoSurveillance）的市场占有率为35%～36%，其中美国的OV（ObjectVideo）就占有9%左右的比例。“9·11”事件发生后，美国在安防科研方面大大加强了投资力度，许多研究机构和研究人员纷纷加入了安防类技术研究和开发，智能视频分析就是其中的一个亮点。由于视频分析需求的产生促使视频监控系统智能化出现，进而推动软件市场年复合增长率达到21.7%。根据IMS的市场研究分析，在未来3年内有关视频技术的软件市场份额将达到8亿美元。在视频智能分析软件的市场需求急剧增长的刺激下，国外提供视频智能分析软件产品的厂商有很多，如：Verint、Vidient、Westec、Interactive、VisualDefence、Nextiva、Vistascape、NiceVision、ioimage、TASC、MATE、Ov、Dallmeier、Ivbox、Viseowave等，这些厂商都能提供视频智能分析产品，大部分厂商提供的视频智能分析产品都基于ObjectVideo公司的图像分析技术，采用ObjectVideoOnBoard平台来设计并创建自己品牌的OEM产品，这是大部分视频智能分析产品商以最小的投资成本及最快的时间来赢得市场的一个办法。总的来看，经过长期的发展和积累，在市场需求的推动以及政府的支持下，国外的智能视频应用市场正在从“概念验证”阶段向“规模应用”阶段转化，智能视频已经在地铁、铁路、机场、高速公路、军事等领域得到较广泛的应用，并慢慢开始形成一个产业。2.2.2国内智能视频应用现状分析当前，国内视频监控的主要需求依然来自于平安城市建设、行业延伸及民用市场开启。伴随着我国城镇化的持续推进，政府对平安城市、智慧城市建设及升级改造的重视，各行业对视频监控及视频应用需求的进一步提升，居民对人身安全、财产安全的重视程度不断提高，促进视频监控行业市场规模继续保持快速增长。此外，伴随着“中国制造”、“互联网+”的开展，视频监控也得到政策的大力支持。从发展势头来看，传统的金融、能源市场趋于饱和，政府、交通市场还在持续快速增长，民用、医疗、教育等新兴市场保持高速增长势头。就智慧城市建设而言，目前大城市的安防基础建设工作已基本完成，中小城市正处于蓬勃发展阶段，视频监控更多的向联网化、智能化和高清化方向发展，同时随着对数据和有效信息利用要求的提高，云存储、大数据和云计算也开始发展。在智能交通领域，随着智能手机和无线互联网开始普及以来，互联网的体验型应用越来越渗透到智能交通中，此外，视频智能分析、车联网等技术不断突破，不仅提高了公安交警的工作效率，也给普通民众提供了更便利、更人性化的平台。民用市场迎来发展期。随着人们生活的水平提高，消费者正在成为推动消费安防的重要力量，中小企业、商铺、家庭逐渐成为常规安防需求的中坚力量。目前，我国民用安防监控只占了6%的市场份额，远远落后于发达国家（如美国民用安防监控产值占据了整体的30%以上），具有非常强的发展潜力。随着家庭市场的发展成熟，市场会向更高一级的使用便利化以及有序管理服务方向发展，家庭监控将融合移动监控、云存储、隐私保护以及综合运营服务，不单单是安全功能，同时也向个人价值的满足和分享方向发展。2.3智能视频技术发展趋势2.3.1“大数据+云”的智能化视频监控进入高清化、网络化与智能化阶段，一个城市每天从卡口摄像机产生的视频数据就达到PB级。海量的高清视频监控数据对网络传输和后端存储提出了新的挑战，安防大数据时代，如何构建以视频应用为核心，通过“大数据+云”技术满足平安城市建设中的治安管理、城市管理、交通管理、应急指挥等需求，同时发挥预防、发现、控制、打击违法犯罪的作用，为案件侦破提供破案线索，固定违法犯罪证据等方面发挥人防、物防所不可替代的作用，对于提升城市可视化管理水平和政府应急处置能力，搭建高效的社会治安防控体系，提升公安警务工作中的实战效能，维护城市公共安全具有十分重大的意义。以车辆大数据技术在平安城市的应用为例，大数据通过对海量数据的整合和挖掘，揭示传统技术方式难以展现的关联关系，还可以预警风险，及时切断风险链。如针对堵车现象，实时采集车流数据，自动控制信号灯，让堵车能有所缓解，实现视频监控“大数据+云”的智能化应用。2.3.2联网共享的大平台平安城市建设因为参与建设的企业众多，在前期大建设阶段，各个厂家因为设备协议、传输模式、编解码方式、平台操作系统各不相同，导致现阶段的视频监控要实现设备和平台的互联互通，难度相当的大。虽然现在存量市场巨大，但同一个城市存在一二三类监控点联网接入难的问题，以深圳作为一线城市的代表为例，目前二三类点的摄像机的联网接入就难以实现，其他城市在未来三到五年内要想实现设备与平台的互联互通，难度就更大。然而不管困难有多大，未来平安城市建设以视频监控联网共享的大平台的趋势不可抵抗，以一个大中型规模的城市为建设模型，大平台模式可分为三级层次：一是以市公安局为一级视频共享平台，二是以区县分局、派出所为二级视频共享平台，三是以各种视频感知前端如治安卡口、布控球、车载监控等接入三级管理平台。并最终依托互联网，以市级监控平台为基础，建立与交警、市政管理等平台进行互联互通，形成感、存、知、用一体化的综合性大平台。2.3.3.智能运维的可管控在视频监控进入“大数据+云”及联网共享大平台阶段，对整个安防网的网络架构及后端服务器提出了严苛的要求。以存储为例，要实现海量视频存储数据有价值信息的提取，势必要对存储系统的容量、扩展性、性价比、性能、管理性、稳定性等提出更高的要求。而联网共享大平台由于本身联接的设备及平台系统众多，也需要一套可智能监测自身运行状况的运维系统，让服务器主动监控在线情况、图像情况、录像完整情况等，即发现问题，并采用先进的智能分析技术，对视频应用中常见的故障情况进行智能诊断分析。平安城市的智能运维系统可以对监控视频进行智能诊断，让管理人员掌握监控点位摄像机的好坏及信号传输的健康状况等，如监测摄像机有没有虚焦、过曝、遮挡等问题，以保证平安城市整个安防网络本身是可管控的。2.3.4音视频相关的智能硬件一般来说，智能硬件指的是具备信息采集、处理和连接能力，并可实现智能感知、交互、大数据服务等功能的新兴终端，成为“互联网＋”AI的重要载体。智能硬件是以平台性底层软硬件为基础，以智能传感互联、人机交互、新型显示及大数据处理等新一代信息技术为特征，以新设计、新材料、新工艺硬件为载体的新型智能终端产品及服务。从某种意义上说，基于AI智能分析的视频上云网关硬件及系统由于可以通过人机交互自动完成一系列服务和功能，因此可以被归为智能硬件范畴。另一方面，智能硬件特征的视频上云网关可以通过与其他智能硬件，如智能手机，通过二维码建立连接，进而进行应用间的交互，例如：监控设备在线状态，配置管理、数据交换等。视频上云网关设备向智能化方向的转变是一种必然的趋势，也必然会带来重大的技术和业务革新。2.4对产业发展的作用与影响视频监控系统不断建设和快速发展，其在打击犯罪、治安防范、社会管理、服务民生等方面发挥着越来越积极的作用。从当前全国视频监控系统的部署情况来看，视频上云已成星火燎原之势。对产业化发展的作用与影响主要体现在以下五个方面：2.4.1提升资源使用效率计算和存储的资源池化，可以大幅度的提升资源使用效率，实现资源的分时、跨域共享和按需调用，避免重复建设，同时实现资源的快速弹性扩容，加快业务部署。2.4.2为数据的融通提供可能便于市、区、县之间视频监控数据的融通，形成“数据湖”，实现视频监控图像信息共享，使跨市、区、县的视频追踪办案成为可能。在新形势下，国家发改委、中综办、公安部等九部委在2015年联合发布了996号文，对视频监控系统提出了“全域覆盖、全网共享、全时可用、全程可控”等立体化防控体系建设的要求。为满足“全网共享”的要求，传统的视频监控系统采用烟囱式模式来建设，不同厂家系统间的视频数据共享实现起来难度非常大。云平台是解决数据共享最佳的模式，通过视频上云来承载视频监控的图像信息大数据，具有平滑扩容、便于共享、便于处理、便于管控等优点。2.4.3解决海量视频大数据和AI的算力问题视频监控图像信息大数据和AI的处理、分析需要用到超高性能计算能力，上云可以解决算力不足的问题。海量的视频图像信息，需要远超出普通数据处理技术的存储、分析、搜索等能力。视频大数据可以分析间接的人与人、物与物、人与物间的关系，这对视频监控系统的计算能力提出了非常高的挑战。而视频上云的方案，可为视频监控系统按需提供计算能力。例如某省大数据平台，强大的计算能力支撑业务快速响应，可在1分钟内实现亿条过车数据分析。有一次发生山体滑坡，有车辆被掩埋。当时通过大数据平台汇聚75个收费站、4042公里省内高速、13.3万辆车的信息，结合时空轨迹等信息准确分析出被埋车辆车型、乘员、数量等信息，为抢险工作提供有力支撑，而传统的服务器集群方案无法满足以上要求。2.4.4开放的云模式构建繁荣的生态视频上云是一种生态，向下可对接琳琅满目的不同厂家摄像头，向上承载百花齐放的行业最优算法和应用。通过灵活组合，始终保持实战能力的领先。采用通用服务器来构建基础设施是视频云的基本能力，在此之上构建基于OpenStack开放架构的云平台和基于Hadoop架构的大数据平台作为统一的安防云计算存储环境，真正做到软件与硬件解耦、前端与后端解耦、应用与平台解耦。对上支持各种算法和应用的部署，让各个厂商做自己擅长的事情；对下提供可靠、开放、易维护、易管理的统一接入服务和视频转码服务，兼容各主流厂商的各种前端设备，满足公安机关日常立体化防控的业务需求。视频上云是平台和生态基础，开放、共享是必要基因。在某省，创新的组件化开发模式供警局敏捷开发了100多种通用组件方便各警种根据业务需要直接调用，提高了效率，达成优异的实战效果。2.4.5云端智能化比前端更强大、更丰富视频上云建设的核心就是拉通共享，所有摄像头及视频数据资源应该是随需而动，比如市区道路卡口的主要工作是车辆识别，但在重要安保或紧急抓捕行动时，还需具备人脸识别功能，在前端摄像头中无法内置所有的算法，需要部署多类摄像头才能满足需求，而从云端实现多业务算法是更优途径。以上五大驱动力使得越来越多的视频监控系统采用云模式进行规划、建设和部署，实现了资源的共享、数据的融通、算力的提升；而开放的生态和业务的智能，让视频监控系统更好地为公安实战服务，无论是城市安全还是商业优化，视频的未来都充满希望，让城市更安全，让社会更安定。2.5产业关联度分析2.5.1结合人工智能技术，以效率提升和价值创造赋能客户在云计算、大数据与人工智能趋向三位一体的背景下，视频上云在上传、转码、分发、播放的基础服务上，不断探索新的增值服务，从视频内容审核到可以直接驱动流量变现和内容生产的视频内容理解和视频内容编辑。尽管目前"AI+"在客户群体中的渗透程度相对有限，但考虑到人工智能技术的应用将能够带来效率提升、价值创造的显著作用，从而提升视频云服务对客户的价值，势必会成为下一阶段行业发展的重要方向。视频内容数量激增对于各类型的视频平台而言既是机会也是挑战，2018年4月短视频行业迎来最强监管，低俗、暴力、血腥、色情等问题再度引起关注。现阶段单纯的人工审核方式已经显现出瓶颈，结合人工智能的视频内容审核因大幅节约重复工作所带来的人力成本，正逐渐成为视频云服务的一项重要功能。人脸识别、事件识别、动作识别、语音识别、文字识别、视频指纹等人工智能增值服务迅速发展，未来将更广泛的应用在视频云服务行业。全球经济正大步踏入数字经济时代，同时，企业逐步迈向扁平化、平台化、生态化，管理模式正在发生深刻变革，视频上云是大势所趋。2.5.2构建云-边协同的智能云终端平台采用“云、管、端”总体架构，租用公有云服务，实现视频监控统一转码接入云端，开发云端视频管理平台，通过微信微博小程序等满足社会公众的高并发访问，实现视频秒播。2.6智能视频市场需求分析全球行业数字化转型的浪潮孕育兴起，掀起了新一轮产业变革浪潮。据第三方分析师机构统计，到2020年将有超过500亿的终端与设备联网，未来超过50%的数据需要在云端分析、处理与储存，如何解决海量终端的联接和管理，海量数据的实时分析和处理，成为保障行业数字化转型的现实难题。特别是音视频智能技术的普及应用，使得城市的安防从过去简单的安全防护系统向智慧城市综合化体系演变。城市的安防项目涵盖众多的领域，有街道社区、楼宇建筑、银行邮局、道路监控、机动车辆、警务人员、移动物体、船只等。特别是针对重要场所，如：高速公路、机场、码头、水电气厂、桥梁大坝、河道、地铁、加油站等场所，引入智能视频技术后可以通过无线移动、轨迹跟踪定位等手段建立全方位的立体防护。兼顾了整体城市管理系统、环保监测系统、交通管理系统、应急指挥系统等应用的综合体系。特别是车联网的兴起，车载视频智能终端在公共交通管理上、车辆事故处理上、车辆偷盗防范上可以更加快捷准确的跟踪定位处理。2.6.1存储资源消耗大且增长迅速视频监控业务极度消耗存储资源，一个成规模的互联网视频监控服务往往需要PB级甚至更多存储资源，普通IDC或小云服务提供商有限的基础设施很容易成为云视频监控业务爆发增长的瓶颈，一旦出现存储瓶颈，扩容难度大，迁移成本高。2.6.2对数据可靠性要求高监控视频数据是安防监控业务的核心价值数据，必须不能丢失。尤其是在互联网业务模式下，如果能做到视频数据不丢失，安防监控服务提供商就能向其终端用户提供可靠的视频存储服务。2.6.3带宽资源消耗巨大，且上行、下行流量不对称7*24小时写入视频流的视频监控业务是重资产的业务，数万级别摄像头、数GB级别并发上传流量带来了巨大的带宽成本。并且，视频监控业务有明显的上行流量远大于下行流量的特点，而在互联网类的业务模式下，下行流量才是行业的有效业务流量。在传统IDC架构中，流量不对称的特点直接导致无效成本的增加。2.6.4用户观看体验在海量并发业务下难以保障流畅是视频监控最重要的用户体验，数万路视频并发写入、观看需要优质的基础设施、强大的产品性能，来保障视频体验质量。视频流一般为分片存储，任意分片写入失败，就会直接导致播放时卡顿。2.7应用前景和预期效果基于AI智能分析的视频上云网关设备及系统是基于视频智能AI分析的一站式快速上云解决方案。企业可通过智能接入网关实现Internet就近加密接入，获得更加智能、更加可靠、更加安全的上云体验，可实现线下机构互通或线下机构接入云数据中心。运用烟火识别、车辆识别、车牌识别、人脸分析等技术，可广泛应用于消防、交通、园区、加油站等的智能云终端设备。从目前来看，视频上云网关的应用可分为安防类应用和非安防类应用两大类，安防类应用是目前市场上的主要应用，具体包括：（1）高级视频移动侦测：在复杂的天气环境中（例如雨雪、大雾、大风等）精确地侦测和识别单个物体或多个物体的运动情况，包括运动方向、运动特征等。（2）物体追踪：侦测到移动物体之后，根据物体的运动情况自动发送PTZ控制指令，使摄像机能自动跟踪物体，在物体超出该摄像机监控范围之后，自动通知物体所在区域的摄像机继续进行追踪。（3）人物面部识别：自动识别人物的脸部特征，并经与数据库档案的比较来识别或验证人物身份。（4）车辆识别：识别车辆的形状、颜色、车牌号码等特征，并反馈给监控者，可用在被盗车辆追踪等场景中。（5）遗留、遗弃物品检测：当一个物体（如箱子、包裹、车辆、人物等）在敏感区域停留的时间过长或超过了预定义的时间长度就产生报警，典型应用场景包括机场、火车站、地铁站等。（6）入侵探测：可感知设定区域内突然出现和入侵的物体并及时报警，比如在戒备森严的军事重地或银行博物馆等重要场所出现可疑人物等。（7）物品被盗或移动检测：当监控场景中的物体被盗或移动，算法将自动检测这种动作，常用于贵重物品和关键设备的监控。（8）人体行为分析：在目标检测分类的基础上，利用人体的各种行为特征对其进行各种行为的描述和分析，提取那些危险和有潜在危险的行为，如打斗、抢夺和突然倒地等行为。（9）拥挤检测：识别人群的整体运动特征，包括速度、方向等，以避免形成拥塞或及时发现异常情况，典型的应用场景包括超级市场、火车站等人员聚集的地方。（10）焰火检测：根据发生火情过程中烟火表现出的特征进行烟火的实时检测。除了安全相关应用之外，视频上云网关设备还可以应用于一些非安全业务中，这些应用主要面向零售、服务等行业，以提高服务水平和营业额，具体包括人数统计、人群控制、注意力控制和交通流量控制等。2.8重点应用领域分析2.8.1平安城市基于AI智能分析的视频上云网关需求近年来，随着改革开放的进一步深入，我国经济飞速发展，城镇化速度进一步加快，导致城镇人口流动化、密集化的趋势愈发明显，这给城市治安、交通及城市管理等诸多方面带来了沉重压力。为应对社会发展给公安管理工作特别是预防犯罪和执法工作带来了严峻的挑战，国家早在2004年就提出了创建平安城市、平安社会的活动并启动了“科技强警示范城市”创建活动，随即从2005年开始在全国范围内开展城市监控报警联网系统建设“3111”试点工程。近年来全国上下更是掀起了平安城市建设的热潮，2010年平安城市市场规模约700亿，占安防市场总量的30%。近几年以来国家平安城市相关的预算增长了70%，全国已有25个省份，218个城市，290多个区县，2235个派出所安装了视频监控。公安机关已建监控系统2万余套，省级监控平台20余套，实现联网IPC40余万台，地市级平台332套，实现联网IPC60余万台。平安城市就是通过三防系统（技防系统、物防系统、人防系统）建设城市的平安和谐。它是一个特大型、综合性非常强的管理系统，不仅需要满足治安管理、城市管理、交通管理、应急指挥等需求，而且还要兼顾灾难事故预警、安全生产监控等方面对图像监控的需求，同时还要考虑各系统之间的联动。2.8.2园区智能安防基于AI智能分析的视频上云网关需求从园区的类型来看，可以划分为企业园、物流园、工业园等。工业园区安防系统通常由以下部分构成：视频监控系统、入侵报警系统、门禁管理系统、电子巡更系统、停车管理系和综合管理平台。为园区周界、内部道路、大厅、走廊、室内提供全方位综合安防保障，实现园区可视化、数字化、智能化管理，让园区更智能，让工作与生活更平安。视频监控系统企业工厂的视频监控系统主要实现对主要出入口、关键区域(如：仓库、财务室)、车间、生产线的在线视频监控，重要区域实现24小时不间断录像，预防事故、案件的发生，并且可以在事后进行原因分析、证据定位。入侵报警系统入侵报警系统对非法入侵情况向安保人员进行报警，通常由周界防范和防盗报警系统构成，系统通过在厂区分布设置的报警探测器对厂区周界及重要区域进行布防，实现非法入侵探测，一旦监视区域内发生非法入侵，报警探测器立即发出报警信号到保卫中心。烟火检测厂区、加油站是一个由储存、输送、消防、维修等子系统构成的一个易燃、易爆、有毒的危险场所。由于它存在易燃、易爆以及易腐蚀、有毒、易流失等不安全因素，危险性很大。一旦发生事故，就可能造成人员伤亡和油料物资的大量损失，因此采取预防措施，加强明火管理，严防火种产生是输油站安全管理的首要措施，烟火识别系统成为输油站的首要选择的智能防范措施。烟火检测基于智能视频分析和深度学习神经网络技术，实现对监控区域内的烟和火烟进行识别、实时分析报警。不依赖其他传感设备，直接对视频监控区域的画面的烟雾和火焰均可及时准确识别。对烟雾和火焰实时分析报警，同时将报警信息快照和报警视频存入数据库，将报警信息及时推送给相关的管理人员，及时应对。烟火检测可协助管理人员，对厂区、输油站内的火焰做到全天二十四小时实时分析及时报警。门禁管理系统厂区的门禁管理系统通过读卡器和电磁锁控制人员的进出，对人员在敏感区域的进出加以记录，同时能结合厂区考勤系统及消费系统、停车管理系统等实现厂区一卡通功能。电子巡更系统电子巡更系统通过在厂区的主要干道、重要机房、仓库、财务室等关键设置巡更点，安保人员在特定时间内按设计好的线路进行巡更，实现厂区安防的人防和技防相结合。该系统分为离线式、在线式两种模式，离线式无需布线至中心，安装方便，系统扩展性好，但实时安全性不高；在线式通过巡更点与中心直接连接，能实时显示巡检人员的身份信息、地理位置等。停车管理系统停车管理系统可以实现对车辆的进出和停放进行有序管理，包括对厂区内部车辆管理、外来访客的临时车辆管理。通过系统实现对进出车辆的记录、控制、计时及收费等功能。综合管理平台综合管理平台将视频监控系统、入侵报警系统、门禁管理系统、电子巡更系统、停车管理系统有机结合起来，实现一体化集成管理和系统联动。例如：当发生入侵报警时，可联动摄像机对报警区域进行监视；门禁的进出记录和视频监控可以有机结合起来，对门禁出入情况可关联视频监视；视频监控和电子巡更、停车管理系统的有机结合等等。2.8.3智慧校园基于AI智能分析的视频上云网关需求近年来，随着各种校园安全事件频发，学校人流集中，场地复杂难于管理，为预防、震慑犯罪，减少财产损失，保障师生员工的人身安全，完善校园安全防范体系、提高校园整体防控能力，改善学校管理体系，创建一个文明、安全、和谐、美丽的校园环境，亟需一套完善的解决方案，将最新的视频监控和智能技术应用到校园的安全保障中，通过“人防、物防、技防”的有效结合，全方案保护学校是生的人身财产安全。目前，校园实行智能安防的主要需求有：透明食堂监控为了保障学校视频安全，预防不法案件的发生，目前需要重点监控饮食加工操作规范、外来人员进出食堂突发事件以及对视频安全事故记录取证；校园车辆卡口系统校园和社会外界融为一体，校园内存在大量的社会车辆进出，对于校园里的车辆管理和安全管理是个很大的隐患。为了解决这一问题，需要在校园内部署卡口测速系统，对超速车辆、黑名单车辆抓拍布控，加强校园车辆管理，提高整个校园的安全管理水平；手机移动监控保证学校领导在外的时候，可以通过手机预览学校紧急事件现场的实时图像和历史录像；打通安防和这些其他业务系统的隔阂，实现安防与校园管理的融会互通也成为一个必要条件。校园安防正逐步将技术防控系统作为安保信息化建设其中一部分，逐步提升智能化水平，实现技防各子系统高度集成联动、海量数据智能化分析并自动导出，真正意义上实现安保工作基础平台信息化。随着安防监控越来越靠近IT行业，安防项目很多数据传输和处理都要靠信息技术来完成。2.8.4高速视频上云基于AI智能分析的视频上云网关需求监控视频作为道路信息采集的一种手段，因其实时性、直观性，对道路管理者掌握道路通行实景具有不可替代的作用，一是交通诱导，通过远程视频监控，可以实时采集路况信息和气象信息，为交通诱导提供依据。二是事后取证，对道路、收费站车道、收费亭等日常工作、出入车辆的视频图像资料进行存储，以备交通事故、车辆闯卡等突发事件取证时查询。三是应急指挥，在突发交通事故等事件时，可以实时监控，为远程应急指挥提供帮助。为改善高速公路运营管理效率，提升高速公路信息服务能力，以“互联网+交通”为思路，创新采用“云、管、端”的总体架构，将分散在各个路段管理的监控视频推送上云，建立云上统一的“可视”“可控”的视频平台。同时视频上云网关为高速公路各级管理者提供实时、高清、便捷的视频调看服务，同时向出行公众提供低延时、大并发、可管控的安全视频服务。第三章项目实施目标和主要内容3.1项目实施目标本项目结合互联网、人工智能、物联网、大数据、智能语音、云计算等信息技术，研发基于AI智能分析的视频上云网关硬件终端+软件系统，视频智能分析软件、省级视频联网云平台、智能物联网联网平台、智能云组网服务平台、视频接入相关软件、智能边缘计算平台，解决存储资源消耗大且增长迅速，对数据可靠性要求高，带宽资源消耗巨大，且上行、下行流量不对称，用户观看体验在海量并发业务下难以保障的技术问题，并嵌入智能语音、烟火识别、车牌识别、车流分析、人脸识别、拥堵分析等模块，实现Internet就近加密接入，获得更加智能、更加可靠、更加安全的上云体验。经过简单配置即可实现视频接入、视频浓缩、视频转码、智能组网、边缘计算、人脸识别等技术目标。3.2建设内容与建设规模“基于AI智能分析的视频上云网关设备及系统”项目建设周期：2019年10月1日至2020年11月30日。该项目基于互联网、视频智能分析、物联网、视频大数据、智能语音、云计算等信息技术，融合视频上云运营理念，为客户打造智能的终端设备、智享的用户服务和智慧的运维管理，是真正意义上的互联网化、智能化的视频上云解决方案。该项目在建设周期内，计划总投资200万元，其中固定资产20万元，项目建设完成，达产年预计新增产值380万元，新增利润50万元，新增税收18万元。3.3技术方案该项目融合视频上云运营理念，为政企部门打造一套包含平台+硬件的智能视频快速上云一体化的解决方案，帮助政企部门通过智能视频上云网关实现Internet就近加密接入，获得更加智能、更加可靠、更加安全的上云体验，有效提高运营效率，节省成本，增大利润空间。对上云汇聚点的视频系统开展上云接入条件改造后与云平台直接对接，具备控制信令通过由云提供的云端VPN隧道传输、视频流由互联网通道传输等功能，并由云平台向各地提供统一的“在线调取、共享分发、智能分析”等服务，同时具备调整为“路段-升级云平台-部级云平台”方式的能力，总体架构如下图：云端安全框架图：3.3.1视频上云网关设备及系统的设计视频接入技术视频源设备多种多样，目前市场上有摄像机IPCamera、硬盘录像机NVR、视频编码器、视频服务器等各种视频源设备，而这些设备目前经过发展和市场改造，基本都已经支持标准的RTSP/Onvif、国标GB/T28181协议，而要将这些设备接入到视频上云设备中，就需要设备能够支持这一系列的行业标准协议。（其中国际标准RTSP/Onvif协议可通过EasyNVR流媒体服务器软件接入，国标GB/T28181协议可通过EasyGBS流媒体平台接入，还可通过EasyRTMP流媒体推送软件将RTMP、FLV视频流，对接/推送到视频上云设备中，如EasyDSS流媒体服务器软件、EasyIOT智能物联网服务平台、EasyCVS省级视频联网云平台等）。在通常情况下，视频智能分析的原始数据源就是这些设备所生产的，他们具有编码多样化、码率多样化、帧率多样化、编码质量多样化等特点，这些视频参数会给视频源设备的接入带来各种各样的兼容性问题。同样，在不同的应用领域，对于视频接入的要求也各不一样，例如机场、火车站、交通等人流量密集区域视频设备，就需要超高分辨率、超大码率、超大数据量的实时视频源，用于实时的人流量统计、人脸识别和车辆（车牌）分析。通过接入视频监控图像，并存储至云端视频服务器，满足视频的实时推送和调看需求。视频转码视频上云网关通过集成转码工具，可以显示上云汇聚点采集的视频、图片，在导入系统时统一转化为标准格式视图，在平台中统一播放，为之后的视频结构化分析提供前期必要的视频准备工作。视频编码的归一化是一切视频结构化分析和应用的基础，只有尽可能多地兼容多种视频格式，才能实现视频信息的深度应用。目前上云网关支持视频、音频两种文件形式的转码，其中支持80多种的视频格式，并且兼容的范围在持续增长。通过就媒体服务器进行视频转码，通过云视频平台的接口实时上报高清视频的摄像机信息。视频浓缩目前进行视频侦查作战，主要还是依赖“人海战术”。这种方式由于投入资源巨大，目前只能应用于重特大案件中，无法应用于一般性案件。随着视频资源质量的提高，以及人像、机动车等识别技术的成熟，可以通过自动识别、自动比对以及自动预警的方式来提高视频资料的利用效率，减轻人工工作压力。通过平台的浓缩处理工具可以快速实现视频中运动目标的动静分离，1个小时的视频可以通过压缩处理成几分钟的只包含运动目标的视频，且运动物体可以根据需要在同一时间集中播放，大大缩短民警查看视频的时间。摘要分析经过上云网关终端及系统，云端统一输出标准的RTSP、RTMP、HLS、FLV格式直播流，云端智能分析采用模式识别、图像分析比对等技术，自动对视频图像进行分析，提取结构化信息描述，生成多种类型的索引：包括运动目标索引、车辆索引、烟火等危险物索引以及人脸索引。生成的索引能够在时间轴上进行标记，支持人工标注发现的线索信息，截取视频片段，并作标记，以便案件进一步分析研判使用。视频增强通过研究视频图像增强技术，不仅可以对实时视频，也可以对历史视频中的模糊现象进行清晰化处理。改善由于环境因素（雾天、奇偶场等）导致的图像模糊现象。灵活的参数设置方案，实现画面质量即调即所得。常用于恶劣天气下高速车辆设备、车牌识别及人脸识别，防控高速事件的发生。模糊图片处理警用图像处理系统主要包括常规功能、高级功能、特殊功能和序列图像处理功能。常规功能主要涵盖图像几何变换、图像滤波、图像特征、图像运算、图像增强和图像转换形态学操作等图像的基本操作功能。高级功能主要包括超分辨率、模糊处理、图像复原、图像融合、噪声处理和颜色处理。特殊功能包括人像重建、去雾、色彩分离、移行和奇偶场。序列图像处理主要包括稳定化、超分辨率、多帧平均、多帧融合、手工配准和低照度增强。人脸识别比对通过模式识别技术，快速提取视频中运动目标的人脸，与公安的高危人员库进行比对识别，一旦发现嫌疑人员，系统自动产生报警，起到了提前预防和防范的目的。边缘计算技术边缘计算指的是在网络边缘结点来处理、分析数据。这里，我们给出边缘结点的定义，边缘结点指的就是在数据产生源头和云中心之间任一具有计算资源和网络资源的结点。比如，手机就是人与云中心之间的边缘结点，网关是智能家居和云中心之间的边缘结点。在理想环境中，边缘计算指的就是在数据产生源附近分析、处理数据，没有数据的流转，进而减少网络流量和响应时间。边缘计算市场概况：驱动因素云基础设施上的负载越来越大不同行业有种类广泛的应用智能应用的数量增加制约因素与边缘计算有关的安全和隐私问题机会5G网络出现挑战不够到位的行业标准和互操作性问题推动因素：云服务的推动：云中心具有强大的处理性能，能够处理海量的数据。但是，将海量的数据传送到云中心成了一个难题。云计算模型的系统性能瓶颈在于网络带宽的有限性，传送海量数据需要一定的时间，云中心处理数据也需要一定的时间，这就会加大请求响应时间，用户体验极差。物联网的推动：现在几乎所有的电子设备都可以连接到互联网，这些电子设备会后产生海量的数据。传统的云计算模型并不能及时有效的处理这些数据，在边缘结点处理这些数据将会带来极小的响应时间、减轻网络负载、保证用户数据的私密性。终端设备的角色转变：终端设备大部分时间都在扮演数据消费者的角色，比如使用智能手机观看爱奇艺、刷抖音等。然而，现在智能手机让终端设备也有了生产数据的能力，比如在淘宝购买东西，在百度里搜索内容这些都是终端节点产生的数据。智能云组网技术解决难题设备置于私有内网，设备所在内网无公网固定IP地址，无法在互联网上被其他用户和设备访问到；设备置于私有内网，设备所在内网虽然有公网固定IP地址，但端口映射权限的开通遇到困难，网管不会、审批流程麻烦、端口资源不够、映射端口不够灵活，如何跳过路由器、防火墙，做自定义的端口映射；需要远程运维内网设备或者主机，即使主机既没有公网固定IP，而且远程端口（例如22、3389等）未开放，如何做到对各种类型终端设备的指令控制；设备置于私有内网，而且数量众多，内网多台设备如何能够统一组织到云端，实现云端的集中访问和控制；在音视频上云领域，内网上行带宽总是有限，如何借助云端带宽和计算资源实现更大能力的数据分发；有的应用场景下，常态情况无需端口映射，是否有方案能够做到按需映射、按需组网；保护数据安全，表面上数据是从公网输出，实际是内网输出的，云组网只做数据的代理转发；主要内容网络穿透服务这里说到的网络穿透，可能跟传统意义上的p2p网络穿透不是一回事，传统意义的网络穿透多指终端网络（p即私有内网）与终端网络之间直接对等传输，不需要经过第三方服务器进行转发的网络传输方式，这里说到的EasyNTS智能云组网的网络穿透是采用的服务转发方式的穿透，穿透率100%，我们称这种功能为云组网。只要EasyNTS云终端设备能连接到EasyNTS云组网，就可以建立起设备的云端组网，将设备的所有网络能力在云端得到发布。动态组网服务按照EasyNTS智能云组网网络穿透的原理，数据的穿透实际采用的是EasyNTS智能云组网云端服务进行的网络数据转发，并且所有的数据都会经过EasyNTS智能云组网服务器进行中转传输，而且在EasyNTS智能云组网对外发布内网每一台设备的每一种网络能力时（例如HTTP、RTSP、SSH、Telnet、RDP等），需要为每一台设备都专门分配开通公网端口，单台EasyNTS如果需要组网1万台设备服务，那么就需要EasyNTS云服务器同时开放1万个端口对外，但是大部分情况下，例如我们的云端远程控制功能，只有每次需要远程ssh、telnet或者rdp的时候才需要开放端口，常态下是只要保持EasyNTS智能云组网服务与EasyNTS智能云终端的连接就可以了，于是，EasyNTS根据这种需求原则，基于MQTT加密协议研发出了EasyNTS动态组网的功能，在某些应用场景下，设备不需要开放端口时，只需要保持心跳连接，让EasyNTS智能云组网服务器能向EasyNTS智能云终端发送指令即可，一旦需要开放任意端口，EasyNTS智能云组网服务会向EasyNTS智能云终端发送端口组网的指令，在瞬时间内立即组网穿透成功，并在EasyNTS智能云组网服务端形成设备云端能力对外发布。远程运维功能基于上述的“网络穿透”和“动态组网”的功能，充分发挥EasyNTS智能云组网服务的能力，应用于各种各样的应用场景，可以将EasyNTS理解为PaaS(Platform-as-a-Service：平台即服务)能力，同时，我们基于EasyNTS本身的能力，也做了一些SaaS（Software-as-a-Service：软件即服务）方面的扩展，我们可以直接在EasyNTS智能云组网的后台，通过ssh/telnet/rdp等方式直接远程控制设备，同时，基于这些远程连接，可直接向EasyNTS云终端设备传输文件和直接发送自定义的操作指令。0运用技术列表基于AI智能分析的视频上云网关硬件及系统涉及多个产品，如：云组网、省级视频联网、视频上云网关系统、智能物联网服务平台、边缘计算、智能分析、视频大数据等，具体见下表：主要技术运用产品产品特点相关知识成果智能组网EasyNTS智能云组网服务平台V1.0EasyNTS智能云组网服务平台是一整套的智能云组网产品，用户可集成部署在自己的硬件终端和业务系统中，也可以根据需求直接配置在终端网络现场，实现智能接入与智能管控、动态组网、远程运维、文件传输、远程指令调用等功能，从终端到云端，

形成了一整套的云组网解决方案，极大地解决现场无固定IP、端口不开放、系统权限不开放等问题；EasyNTS智能云组网服务平台具有强大的服务器群组网能力，可以按需选择需要组网的网络成员实现点点互联、智能动态组网等技术特点。软件著作权：1个证件号：2019SR0780934视频接入EasyDSSEasyDSS流媒体解决方案采用业界优秀的流媒体框架模式设计，服务运行轻量、高效、稳定、可靠、易维护，支持RTMP直播、RTMP推送、HTTP点播、HTTP-FLV直播、HLS直播，并支持关键帧缓冲，画面秒开等多种特性，能够接入Web、Android、iOS、H5、微信等全平台客户端，是移动互联网时代贴近企业点播/直播需求的一款接地气的流媒体服务器，配套OBS、EasyRTMP等直播推流工具以及EasyPlayer等网络播放器，可以形成一套完整的视频直播、录播解决方案，满足用户在各种行业场景的流媒体业务需求。软件著作权：3个证件号：2018SR197280软著检测：1个编号：ASTC2018010490编号：ASTC2018010873EasyGBS流媒体平台EasyGBS流媒体服务器提供的流转发服务，负责将GB28181设备/平台推送的PS流转成ES流，然后提供RTSP、RTMP、FLV、HLS多种格式进行分发，实现web浏览器、手机浏览器、微信、PC客户端等各终端无插件播放。同时，EasyGBS流媒体服务器对外提供HTTPAPI接口，通过接口可以获知流媒体转发服务的运行状态信息，转发会话信息，服务器配置和版本信息等。软件著作权：1个证件号：2018SR891598视频大数据EasyNVS视频综合管理平台EasyNVS视频综合管理平台是一套以视频为核心的物联网大数据智能调度与管控平台，主要面向多个行业应用，比如能源环保、智慧工地、电力等行业，是以视频基础平台为核心，融合了前端各种传感器数据的采集，包括后端的大数据智能分析（开关辅助识别、安全帽辅助识别、电力巡线检测等），形成的一套视频大数据平台；EasyNVS视频综合管理平台主要有覆盖面广、兼容性强、数据分析处理及时、联动预警机制完善、架构可扩展性高等技术特点。软件著作权：1个证件号：2019SR1057002TSINGSEE视频开放平台TSINGSEE视频开放平台是一个可以为多种行业产品提供视频能力解决方案的综合PaaS平台，TSINGSEE开放平台包含了视频各个行业所需的视频分析算法、智能语音算法、视频中间件、视频SDK、视频分析工具的能力开放平台，用于整个流媒体音视频领域，在工业与物联网、公安安全与交通、广电与通信、能源与环保等领域具有广泛应用；TSINGSEE视频开放平台具有覆盖面广、兼容性强、数据分析处理及时、联动预警机制完善、架构可扩展性高等技术特点。软件著作权：1个证件号：2019SR1056994视频对讲EasyRTC视频通话软件EasyRTC视频通话软件是一款覆盖全球的实时音视频通话与会议软件，结合了智能视频、智能语音、窄带传输、通道加密、数据加密等技术，可通过微信小程序、H5页面、APP、PC客户端等接入方式之间互通，

快速从零开始搭建实时音视频通信，支持一对一、一对多等视频通话，满足语音视频社交、在线教育和培训、视频会议和远程医疗等场景；支持多终端接入方式之间互通，快速从零开始搭建实时音视频通信平台；

EasyRTC视频通话软件可以具有实时音视频通话，支持语音会议、视频会议、会议录像、会议回放、旁路直播等技术特点

。软件著作权：1个证件号：2019SR1057014视频会议EasyRTS应急指挥管理平台EasyRTS应急指挥管理平台是一套指挥调度平台，也是以视频为主，结合无线通信，这里的无线包含公网、LTE专网、自组网还有海事卫星等通讯手段，在保证应急的情况下通讯畅通，结合平台集群调度、视频智能调度、智能语音调度以及地图调度等功能，可以实现任务下发等一系列调度功能。另外，平台可以和现有的会议系统做一个融合，实现视频的会商调度；EasyRTS应急指挥管理平台具有窄带通信能力强、视频智能分析速度快、智能语音交互友好、融合性强等技术特点。软件著作权：1个证件号：2019SR1056989智能识别EasyDSS-Kernel高性能流媒体服务软件V1.0EasyDSS-Kernel高性能流媒体服务软件是一款应用于AI视频识别分析智能边缘计算设备中的流媒体视频服务软件，EasyDSS-Kernel高性能流媒体服务软件不仅是一款集成了AI人工智能的移动侦测、人脸检测、区域监测算法，而且具有标准RTSP/Onvif/GB/T28181协议接入功能的视频服务软件，EasyDSS-Kernel提供一站式的视频智能转码、点播、直播、录像、检索、时移回放的AI视频服务；EasyDSS-Kernel高性能流媒体服务软件具备架构可扩展性高、协议兼容性强、稳定性高、操作简单、检测及时、智能分析速度快、传输可靠保障性高等技术特点。软件著作权：1个证件号：2019SR0777379智能预警EasyRTMPLive视频转换服务软件V1.0EasyRTMPLive视频转换服务软件是包含在视频分析设备中的一套边缘计算型RTMP流分析软件，应用于车载终端中对驾驶员、危险品、乘客行为管控的智能分析与实时上报预警软件，包括基础人脸、车牌的特征提取算法，危险品的识别算法，还有针对不同类型车辆、车种特定的算法，比如司机的安全带检测、乘客人员异常举动检测、疲劳驾驶检测等。EasyRTMPLive视频转换服务软件具有软硬结合性强、视频智能分析检测速度快、预警机制全面、软件运行稳定性高等技术特点。软件著作权：1个证件号：2019SR0777639边缘计算EasyEdge智能边缘计算平台V1.0EasyEdge智能边缘计算平台是一套针对安防场景：如平安城市、城管、安检、环保等安防可视化需求的，结合无线图传、人工智能的算法的RTSP协议接入网关软件，是专为适配边缘侧设备打造的一款轻量级物联网操作系统，具备工业协议解析、数据过滤和分发等核心功能，具有跨平台、易使用和二次开发等特点。软件著作权：1个证件号：2020SR0029121智能分析EasyRTSPServer安防视频智能服务软件V1.0EasyRTSPServer安防视频智能服务软件由一套稳定、高效、可靠、多平台支持的RTSP流媒体智能服务软件，支持多种音视频编码格式，适用于手机视频服务，桌面视频服务，摄像机视频服务，通过该视频服务可以进行多种行业应用场景类型视频的智能分析，例如人脸分析、人脸比对、安全帽分析、车辆分析、行为分析等等；EasyRTSPServer安防视频智能服务软件具有兼容性强、稳定性高、操作简单、分析速度快等技术特点。软件著作权：1个证件号：2019SR0778638EasyStreamClient视频客户端软件EasyStreamClient视频客户端软件是一款进行标准音视频流协议交互和智能分析的客户端软件，主要面向的是互联网类直播的实时视频分析鉴黄与语音言论管控，功能是将实时直播的互联网视频进行人工智能的视频分析，鉴别出违法、色情等视频信息；对实时直播的语音进行文字转义，对敏感字样进行分析预警，提供和上报到第三方平台接口；EasyStreamClient视频客户端软件具有兼容性强、接入面广、接口机制全面、视频识别速度快、语音/文字转换准确等技术特点。软件著作权：1个证件号：2019SR1057020EasyIVS视频智能分析软件EasyIVS视频智能分析软件是一款基于边缘接入节点和视频接入技术，面向监控设备提供统一开放的视频流接入、处理和分发服务。把视频内容接入云端，进行存储、录制回看、全网分发。同时与智能视觉、视频计算系统、机器学习平台、生态合作伙伴能力集成，快速构建利用计算机视觉和视频分析的应用程序和智能监控解决方案。软件著作权：1个证件号：2020SR0027611视频上云EasyCVS省级视频联网云平台EasyCVS省级视频联网云平台是一套视频综合管理平台，负责集中管控下辖的所有视频接入上云网关，并做基本的设备管理、直播管理、设备控制（云台、雨刷、聚焦等）、录像管理、用户管理、Token管理等，并作为一种视频能力平台对外提供视频能力，包括对交通部的部级视频云平台提供能力服务，同时也会主动级联接入到部级视频云平台，接受统一管控；软件著作权：1个证件号：2020SR0027604EasyCVR视频上云网关软件EasyCVR视频上云网关软件是一套视频接入上云网关，类似于我们的EasyNVR智能云终端，主要的工作是做视频设备的接入，例如视频摄像机IPC、数字硬盘录像机NVR，是一种网关的角色，承上启下连接省级视频云平台与高速公路现场设备，不涉及具体业务。软件著作权：1个证件号：2020SR0035132EasyIOT智能物联网服务平台EasyIOT智能物联网服务平台提供了一站式的设备接入、设备管理、监控运维、数据流转、数据存储等服务，数据按照实例维度隔离，可根据业务规模灵活提升规格，具备高可用性、高并发、高性价比的特性，是企业设备上云的首选。软件著作权：1个证件号：2020SR00283573.3.2系统软件设计云管控平台指令对接接口摄像机信息统一管理云视频平台要对各分公司视频的摄像机信息做统一的管理，这些摄像机信息来源于上云网关设备实时地将各分公司视频的摄像机信息通过接口的上报接口管理推送视频上云网关设备要具体推送的视频图像是由云视频平台通过接口向其指定的，通过接口，指定摄像机图像开始推送以及停止推送设备状态管理上云网关设备需定期地向云视频平台做状态上报，以便云视频平台能及时了解上云网关设备的当前系统状态和负载情况云管控平台指令接口定义摄像机信息注册/修改接口接收数据上报方提供的摄像机列表信息，如果摄像机存在则对信息进行修改，否则新增。该接口可以一次上报多条摄像机信息接口和访问形式：http://[ip:port]/bms/service/video.VideoInformation?token=[xx]摄像机信息删除接口接收数据上报方提供的删除摄像机编号，删除摄像机信息。该接口支持一次性删多个摄像机信息接口和访问形式：http://[ip:port]/bms/service/video.VideoInformationDel?cameraNum=xx,xx&token=xx视频推送开始接口平台通知上云网关设备开始启动指定的摄像机视频推送，视频上云网关设备处理后，向平台返回处理结果接口和访问形式：http://[ip:port]/bms/service/video.VideoTransBegin?cameraNum=xx&token=xx&videotype=1视频推送停止接口平台通知上云网关设备停止指定的摄像机视频推送，视频上云网关设备处理后，向平台返回处理结果。推荐每次只停止一路接口和访问形式：http://[ip:port]/bms/service/video.VideoTransFinish?cameraNum=xxxx&token=xx&videotype=1视频上云网关设备状态上报由视频上云网关设备向平台上报状态信息使用，上云网关设备根据运行状态，实时上报运行中所遇到的异常或状态内容。发送频率每秒不超过3条。平台收到上报内容后，需要对上报内容做出回应，并记录上报内容。上报的摄像机推流状态可以有多个。接口和访问形式：http://[ip:port]/bms/service/video.TransStatusReport?pcTranscodID=xx&token=xx转码服务软件统一媒体数据格式根据客户端终端设备能力生成符合其解码播放的媒体数据。以实现不同客户端终端顺利解码播放根据客户端终端网络状况，调整媒体数据的分辨率，帧率以适应不同的网络通信要求。输入&输出媒体数据接口上云网关设备中集成的转码服务软件通过多种多媒体国际标准网络协议接口从外部获取需要转码的媒体数据，将转码之后的媒体数据通过多种多媒体国际标准协议推送到外部标准编解码算法国际成熟的标准编解码算法，可以适应不同的硬件平台，方便嵌入式移植。流媒体软件多媒体转发通信平台核心软件负责各类监控设备的实时视频、历史回放视频等的复制转发与接入控制。实现不同的客户端可以随时随地调看前端多种不同设备多媒体数据，实现单播复制转发，组播流转单播复制分发。多样化私有协议&标准因特网多媒体通信协议支持多媒体国际标准，灵活性和适应能力强，满足多媒体融合需求，方便对不同种类的客户端提供多媒体服务国际标准接口跨平台技术软件全部基于标准的C/C++语言编写，可以在不同的CPU平台上编译运行，可以非常容易的部署于各种高可靠性的嵌入式硬件设备中。3.3.3上云网关硬件设计产品设计视频上云网关设备及系统主要分为两大部分，硬件部分和软件部分。硬件部分主要是视频现场部署的终端节点的硬件组成，在硬件设计之前，我们需要对整个系统的研发有个整体的设计，这样就需要我们做大量前期准备工作。包括前期的功能设计，芯片选择等等。还需要考虑到功耗，产品的体积，部署的简易性，网络天线的安装位置，安置的方式等方面。根据现在的具体情况应该考虑到以下特点：（1）放置在需要开阔干燥的区域，远离强信号干扰；（2）工作温度：0～+60度；（3）相对湿度：小于80%RH；（4）工作电压：电源适配器输入电压交流100-220V，输出电压直流9V；（5）系统功耗：小于10W。(根据工作环境场强的不同稍微有所不同)；（6）7*24小时不间断稳定运行。根据以上特点，该设备应该具有实时不间断视频采集、多通道接入、视频智能分析、数据保存与管理、视频参数云端上报、智能语音交互、监测报警等功能特点。系统结构及总体方案该设备的方案设计以微处理器为核心，使用各种GPU计算芯片、检测芯片、语音交互模块、操作系统模块、网络模块、4G模块等组成。通过网络采集的视频数字信号，再经过GPU超强的视频编解码技术与人工智能的视频分析技术，形成特定条件的人脸、行为、边界区域等特征值，最后经过软件程序的判断，实现分析预警的过程，当监测出有异常时，智能视频上云网关设备将异常信号发送至云端集中管控平台。该设备能够实现现场设备状态、人流量情况、车流量情况、边界区域作业人员情况、人员行为规范等诸多参数值的实时上报。硬件安装要求单一机柜部署所有与数据上云相关的设备，需要安装在同一个机柜中网络接入要求视频接入网关设备需要接入省部级业务平台的监控网，同时需要接入数据上云的运营商宽带网络，以实现将监控中心的监控网段视频接入转码并推送至视频云平台电源接入要求由于视频上云网关设备转码计算量大，需要高功率的机房标准电源支持，以保障至少500W以上的视频接入网关设备的用电负荷设备安装顺序要求上云的设备从下而上分别是网络设备（电信光猫、路由器、交换机等）、视频上云网关设备等顺序安装设备安装间距要求设备的上下设备间距1U以上以保障设备及时散热，延迟设备使用寿命硬件设备的调试本项目建设的视频上云网关设备不是自成体系的独立设备，是需要与上级信息中心的管控平台实现指令控制、状态推送等等，因此调试的工作主要为对接的工作，具体工作内容说明如下：视频上云网关设备的网络调试，网络需要同时联调公有云资源（阿里云、腾讯云）以及监控中心视频监控内网，通过配置静态路由方式进行多网络通信，最终实现视频数据上云的网络架构将该视频上云网关设备信息向控股信息中心的云控平台注册，以通知其设备上线，方便后续的摄像机列表推送、资源推送、状态推送以及控制指令的执行监控视频的点位信息采集，包括监控点位的名称、GPS坐标、IP地址、端口号、用户名、密码、方向、线路号、视频平台内的唯一标示等等信息将第三条采集到的监控点列表信息向中心云控平台推送注册，以达到视频图像资源共享最终实现视频数据上云接收来自控股信息中心指令信息按照视频上云的接口协议要求，进行相应的推送控制包括启动推流、停止推流、状态推送、指令认证、编码参数调整等等，最终实现视频数据上云3.4研发重点3.4.1基于AI智能分析的视频上云网关软件设计基于AI智能分析的视频上云网关软件是基于WebStorm、GoLand、VSCode、IntelliJ

IDEA、Visual

Studio开发工具，SQLite、MySQL数据库系统，来实现能在多种系统平台上稳定运行的应用。中间件架构软件采用中间件架构设计，满足系统开放式接入和应用体系要求，基于标准设计框架，能够运行于多种硬件平台和操作系统之上，支持分布计算，提供跨网络、硬件平台和操作系统的透明性的应用或服务的交互，支持标准的协议和接口，能够快速支持各类设备的接入。分布式体系架构软件将采用分布式架构设计，管理控制、流媒体和存储均采取分布式架构，下级如建设分中心平台，则各下级节点的稳定性不依赖于总控中心，单台可自成系统，多台互联可形成更大的系统，每个系统节点都可实现区域自治，任何一个节点的故障都不会影响到其他节点。1）设备层设备层的设备主要包括摄像机设备、控制解码器、云台、网络视频编码器等。它是整个系统的信号源，由它产生视频信号，然后通过网线、编码器等设备将信号传输到平台上。2）能力层能力层负责视频转分发、视频存储、报警转发、矩阵解码控制、设备控制信令转发，以完成对前端设备的操作。能力层主要包括流媒体服务、存储服务、消息服务、矩阵服务等。流媒体服务流媒体服务主要是用来接收来自设备层输过来的实时视频图像，并转发给多个客户端、集中存储服务、数字矩阵服务器进行实时图像浏览，避免客户端直接访问前端摄像机，降低网络流量，降低数据对网络的占用，实现在不同网络带宽条件下大规模视频流媒体传输的优化管理。存储服务存储服务提供对数字化视频监控系统的录像集中存储服务，实现对多台编码器传输过来的实时视频图像在监控中心进行集中录像功能的综合管理，保障大规模长时间视频存储系统的可靠性和稳定性，支持中心专业存储设备（如IPSAN磁盘阵列机）视频流写入。消息服务主要用于接收前端设备接口报警信息、事件内容、状态变化等信息，对不同类型的前端设备发出操作指令和控制信息，兼容各个子系统不同类型的通信方式和多种通信格式，它相当于翻译的角色。通过建立起一套统一的消息体系，利用先进的XML语言，在各个前端采集设备的响应之间建立起一座互连互通的桥梁。各个前端采集设备按照统一的标准接口通过消息服务器与中心平台进行信息交换和控制信令交换。矩阵服务矩阵服务可实现多路高清视频信号输出，同时提供手动切换、自动切换、分组切换、定时切换等多种切换方式，并且可以输出多画面分割图像。不仅满足用户对电视墙监看的需求，同时降低系统造价。3）展现层展现层承担事物处理的中间环节，负责和控制数据库操作，接受和处理客户端请求，负责系统的业务逻辑处理以及提供各类应用服务。应用层主要包括了中心管理服务、WEB服务。中心管理服务中心管理服务器实现整个视频平台的站点架构、用户管理、设备配置、存储设置、信息查询等功能，提供用户管理与权限管理双向模式、界面的一站式管理、全面的权限管理，满足多级别组织中架构管理、权限分配、设备定义、设备配置、录像设置、报警记录、用户操作、录像查询等管理功能，并提供WEB方式通过IE浏览器实现远程配置和管理。同时它具有电子地图管理功能：包括电子地图的信息应分层提供，电子地图应能够逐级放大及缩小地图显示。WEB服务WEB服务主要是给访问客户提供更为方便快捷的访问方式，用户无需安装任何监控软件，即可实现通过浏览器方式的实时远程监控，可将分布在不同地点的摄像机集中管理，分散在网络中不同地点、不同使用权限的用户可同时监控同一现场，也可以任意选择其他监控现场，各用户监控不受影响，在Web浏览方式下，同样能控制摄象机和云台等控制对象，也可以同时实时监控多个图像管理子系统的视频图像。3.4.2基于AI视频智能分析视频人工智能方面，仅学习数据是不够的。由于搜集到的各种视频数据是不成体系的，会造成较高的维护成本，于是我们构建了一套大数据知识库自学习体系。主要分为三个模块：1、视频结构化模块：把视频结构化、组件化，把OS层要素和分割定位工作全部做完，把较大的图片和视频变成了随时可被提取的小组件。我们很形象地把它叫做乐高。2、知识图谱模块：通过关联知识图谱中的政治人物，我们能快速将对应的人物导进视频中。3、海量检索的大数据检索系统：与传统主要针对文本内容的检索系统不同，我们的产品涉及人物特征、人脸特征、图像特征、视频特征，而特征上会有更复杂的系统结构。所以系统不仅支持普通的全文检索，还可以在富媒体数据，包括视觉特征基础上能够做检索。3.4.3基于AI的智能语音智能语音方面，针对嵌入式人机语音交互系统的实用性需求，在噪声鲁棒性、解码器和置信度、语音模糊检索等关键核心技术进行了一系列创新。我们进行了很大程度上的创新，包括：1、研发了一种综合考虑加性噪声和信道畸变的模型补偿算法，以改善语音交互系统中识别前端的噪声鲁棒性问题。在该算法中，我们先使用语音中的静音段来估计加性噪声，接着结合EM算法联合估计信道函数，最后基于上述估计的表征加性噪声和信道函数的相关参数，在倒谱域上对失配的声学模型进行联合补偿。该算法使得嵌入式语音识别系统在噪声环境和信道失配场景下的识别效果均取得显著提升。此外，该算法具备动态跟踪环境变化的特性，其效果和实用性一致优于CMN规整、MLLR自适应等传统的语音识别噪声鲁棒性算法。提出了一种综合考虑加性噪声和信道畸变的模型补偿算法，以提高嵌入式识别系统的鲁棒性；2、另一方面，智能语音算法中我们采用了一种基于语言模型校正机制的语音识别解码算法和一种基于音素聚类子空间的置信度判决算法，以缓解因为运算资源受限而无法在嵌入式设备上进行较复杂语音识别任务的问题。具体来说，我们在所提出的识别解码算法中，用基于单树词典的搜索算法替代传统的树状词典拷贝算法，以改善传统算法导致的搜索空间随词典规模指数级增长的效率问题，并进一步在树状词典的各节点处进行语言模型得分的校正处理，以恢复单树词典所产生的搜索错误，该方法最终在不影响识别性能的前提下使得解码算法复杂度降低了一个数量级。另一方面，本文提出的置信度改进算法主要针对识别后端的结果确认模块，该算法基于KL度量对原始音素全空间进行“自下而上”方式的聚类，最终获取信息量几乎不损失、且更加紧致的音素子空间，并基于音素聚类子空间来估计置信度得分的规整项，在基本不影响置信度性能的前提下，同样使得其运算复杂度获得了显著下降。提出了一种基于语言模型校正机制的语音识别解码算法和一种基于音素聚类子空间的置信度判决算法，显著改善了语音识别在运算资源受限的嵌入式设备上运行的实用性问题；3、探索出了一种语音模糊检索的系统解决方案，以满足用户对千万量级以上文本列表集进行语音查询的典型需求。该方案综合了二级倒排索引、分块动态规划、识别重排序等核心算法并分别对其进行针对性改进，最终在响应实时的前提下，使得用户只需要输入检索文本列表中的片段、缩略或者其跨序组合即可将与之关联的备选结果查询出来。运用该方案的实用化系统在支持用户以自由语音方式进行输入的同时，具备了相当高的检索性能，明显改善了人机语音的交互体验。一种语音模糊检索的系统解决方案，明显改善了用户基于海量文本列表进行语音查询的交互体验。3.4.4实时视频分析视频上传到云端后，通过消息服务通知云端流媒体服务器，获取视频后进行指定的视频分析，并把视频分析结果实时通知用户。智能的云视频分析系统，可以有效的避免信息遗漏、使各种高危风