基于图像融合算法的便携式全景监控系统的研发

精选优质文档-----倾情为你奉上精选优质文档-----倾情为你奉上专心---专注---专业专心---专注---专业精选优质文档-----倾情为你奉上专心---专注---专业密级：公安部应用创新计划项目申报书项目名称：基于图像融合算法的便携式全景监控系统的研发项目负责人：周海波申报单位：桂林市灵川县公安局一级单位：优先主题：推进移动警务应用研发

一、基本信息表项目名称基于图像融合算法的便携式全景监控系统的研发优先主题推进移动警务应用研发应用领域技术专业成果形式研究形式合作研发项目联系人周海波联系电话申请部拨经费60万元自筹经费40万元承担单位桂林灵川县公安局参加单位桂林市长海发展有限责任公司主要研究内容本项目根据基层实战需求，拟投入100万元，通过研究多视频融合技术、图形矫正算法、亮度平衡、像素级图像细节缩放算法等高新技术，自主研发出一套集180度全景视频采集、细节放大、视频监控、视频检索、4G传输等功能与一体的高效、智能符合公安实战需求的便携式视频监控系统。主要研究内容如下：（1）实现系统的便携一体化自主设计，使产品符合灵活便携、方便实用的应用需求；（2）实现“多视频拼接融合”等关键技术的研究和应用，实现系统高清全景的设计，实现产品全景180度广角，支持细节放大，支持360旋转，无死角监控，使产品符合高清、广角的需求，解决传统视频监控系统视场角小、可视范围窄等缺点。（3）实现系统视频、图片、信息的分类传输设计，同时保证系统实时性和完整性。（4）实现便携式全景监控系统的实战应用，提高移动警务应用水平。主要应用场景：主要用于公安机关、刑侦、交巡警、检察院等执法部门现场取证、处理案件等工作，适用与在大型广场、车站、码头等视野广阔的场所。二、项目单位表排名单位名称联系人办公电话贡献描述1桂林市灵川县公安局2桂林长海发展有限责任公司周海波

三、项目人员表排名姓名工作单位职务职称专业移动电话1灵川县公安局2灵川县公安局3灵川县公安局4灵川县公安局1庾新林桂林长海发展有限责任公司系统分析高级工程师计算机2周海波桂林长海发展有限责任公司系统架构中级工程师计算机3梁秋波桂林长海发展有限责任公司负责硬件研发高级工程师自动化4刘国鑫桂林长海发展有限责任公司软件开发中级工程师计算机5艾建华桂林长海发展有限责任公司UI设计中级工程师外形与工业设计6秦忠华桂林长海发展有限责任公司软件开发中级工程师自动化7莫保泉桂林长海发展有限责任公司项目实施中级工程师机械设计与自动化8莫易桂林长海发展有限责任公司项目实施中级工程师计算机12黄垚桂林长海发展有限责任公司产品测试中级工程师计算机13潘峰桂林长海发展有限责任公司系统测试中级工程师机械设计与自动化四、可行性研究报告（一）项目相关情况项目名称基于图像融合算法的便携式全景监控系统的研发背景随着我国各地平安城市建设的不断深入，警用车载智能设备的应用越来越广泛，尤其高清视频及4G时代的来临，传统的3G及昂贵的卫星传输无法满足车载客户的需求，同时传统的警用车载系统功能单一、云台笨重、视场角小、可视范围窄、实时传输的视频质量差等缺点，造成取证灵活性差、无法与指挥中心实现即时处理警情，因此迫切需要便携式180度全景监控系统来实现无线远程移动式的广角实时视频监控系统投入实战使用。申报主体情况灵川县公安局介绍灵川县公安局位于灵川县灵川镇灵北路10号，现有民警199人，机关内设指挥中心、政工监督室、警务保障室、法制室、治安管理大队、刑事侦查大队、禁毒大队、国内安全保卫大队、经济犯罪侦查大队、交通管理大队、巡逻警察大队11个内设机构，以及看守所、行政拘留所两个监管场所，甘棠派出所、三街派出所、定江派出所、灵川镇派出所、潭下派出所、青狮潭派出所、兰田派出所、灵田派出所、大圩派出所、潮田派出所、大境派出所、海洋派出所12个派出所，共有社区和农村警务室34个。近年来，局党委在县委、县政府和上级公安机关的指导下，按照“抓班子、带队伍、促工作、保平安”的工作思路，紧紧围绕改革开放和经济建设这个中心，在思想上求新，工作上求实，管理上求严，有效地维护了一方平安。2004—2009年度，全局一次被公安部授予“全国优秀公安局”，一次被公安厅授予“全区优秀公安局”，三次获全市“优秀公安局”，先后4人次获国家先进个人，集体15个，个人48人次获二、三等功；集体18次，个人21人次获区级先进；集体45个，个人82人次获地、市嘉奖（先进）。灵川县公安局项目负责人介绍桂林长海发展有限责任公司介绍公司现有员工近800人，科研生产人员330余人。经济实力雄厚，2014年企业营业收入突破5亿元。企业科研生产取得丰硕成果，曾经获得国家、省（部）级科技进步奖、质量奖等众多奖项，为国民经济建设做出了不懈的努力。产品涉及电子对抗、海用雷达、天气雷达、船用电子、智能安防、计算机及配套产品等多个产品系列。在智能交通领域，致力于标清/高清图像的采集、识别、传输、智能分析和存储等关键技术的研究，并在车牌识别、人脸识别、高清视频无压缩传输、智能分析等方面取得了自主知识产权，申请了10多项专利，产品技术水平是属业界领先，填补广西在智能交通行业的空白，逐步形成了比较完善的产品体系和以视频监控系统、治安卡口系统、电子警察系统为重点的解决方案体系。为政府、公安、教育、国防等专业领域的客户提供以自主研发产品为核心的多种信息化专业解决方案。成为信息安全、智能交通、智慧城市领域中一颗冉冉升起的新星。桂林长海发展有限责任公司项目负责人介绍项目总负责人周海波，工程师，硕士，主要从事安防设备及雷达技术总体设计、产品研发和项目管理工作。自2005年至今一直从事信息系统和装备的研发和管理工作，对大型软硬件系统的产品架构、系统开发和项目实施管理具有非常专业的技术能力，申请发明专利7项，发表论文3篇，领导研发了智能卡口系统、免维护计算机、天网监控系统、视频侦控系统、应急指挥车、一键报警等十余个产品，组织实施了委内瑞拉国家公共安全项目、广西公安厅视频侦控项目、广西教育班班通薄改项目、桂林市治安卡口项目等，累及实现产值超过2亿元，大大提升了公司在安防和教育行业的影响力，有力的推动了广西电子信息技术产业的发展，实现了良好的社会价值。从事研发的项目：智能卡口系统：本人担任技术负责人，该产品获得了广西科技攻关和广西技术中心创新项目的支持，研发成果已经成功应用于桂林市及其下属区县的平安城市项目和委内瑞拉国家公共安全项目，实现产值3000多万，同时该产品成果已经通过公安部的产品认证，并获得2013年桂林市优秀技术创新成果奖。2、免维护计算机：本人担任技术负责人，该产品获得了广西中小企业发展专项资金支持，研发成果已经成功应用广西全区的中小学教育信息化，实现产值1亿元以上，同时该产品成果已经通过教育部中央电教馆班班通解决方案产品认证，通过该产品完成的论文也已经被“中国教育信息化”收录。3、应急指挥车：本人担任技术负责人，该产品是集3G/4G/卫通等多种通信方式于一体，具有远程监控、现场指挥、资源调度等功能的大型软硬件集成系统，目前已经完成三个系列11辆车的研发生产，成果已经成功应用于委内瑞拉国家公共安全项目，实现产值1亿元以上。负责实施项目：1、委内瑞拉国家公共安全项目：项目合同金额2.8亿元，目前正在实施中，本人担任副总工程师，全面负责项目的具体实施和管理工作。2、广西普教班班通工程（薄改项目）：项目合同累计金额1亿多元，分三期进行，目前已经全部实施完成，本人担任技术负责人，全面负责项目的具体实施和管理工作。3、广西天网工程项目：项目合同累计金额3000多万元，包括桂林十几个县市和视频监控和智能卡口系统、广西公安厅的视频侦控系统等项目，目前已经全部实施完成，本人担任项目负责人，全面负责项目的具体实施和管理工作。项目内容本项目根据基层实战需求，拟投入100万元，通过研究多视频融合技术、图形矫正算法、亮度平衡、像素级图像细节缩放算法等高新技术，自主研发出一套集180度全景视频采集、细节放大、视频监控、视频检索、4G传输等功能与一体的高效、智能的车载便携式设备。主要用于公安机关、刑侦、交巡警、检察院等执法部门现场取证、处理案件等工作，适用与在大型广场、车站、码头等视野广阔的场所。

（二）目的意义目前，在实际工作中，传统的视频监控在警务工作中无论是应急指挥、侦查破案、证据采集工作中起着举足轻重的作用。随着我国各地平安城市建设的不断深入，警用智能设备在尤其高清视频及4G时代的来临，传统的3G及昂贵的卫星传输无法满足车载客户的需求。近年来，随着我国执法透明度越来越高、国家实施科技强警战略，公安、法院等执法单位开始在警车上安装监控系统录制执法过程。执法类车辆的车载视频监控主要是以公检法系统的执法应用为主，车载视频监控设备主要安装在车辆外部，用于监控车辆外部的环境情况。这类应用不仅可对执法和巡逻过程进行记录，实现阳光执法，另一方面指挥中心也可以实时掌握执法、押运现场，根据现场情况进行调度安排。在传统的车载视频监控系统使用过程中，一般存在如下几个问题：1无法远程实时监控传统车载视频监控系统无法进行网络传输图像，个别可以网络传输的，其传输码流大无法远程实时监控。只能通过现场人员观看视频或查看现场情况，人工同后台指挥报告，指挥中心再通过描述判断，进行指挥协同作战，无法达到实时指挥。同时由于人员的描述的准确性和指挥人员对现场人员传达信息常常容易出现误解，给实际的执法带来的不便。2监控视频视角窄，监控死角较大在执法过程中，由于传统车载视频摄像机前段固定或且转动，无法根据现场人员的意愿，在同一时间、针对不同方向发现的情况实时查看且保留执法证据，常常存在监控死困难角。常常针对不同方向布设多个不同摄像头，虽然消除部分死角，但仍然存在较大监控空白，特别是较空旷的广场、运动场馆、停车场，超市等地方，由于很难专为监控摄像机建立太多的支点，无法满足应用需求。3数据本地保存，数据容易遭到破坏传统车载视频监控系统，由于无法通过网络同指挥中心相连，其录像数据存储在本地硬盘上，数据容易遭到破坏，不能达到安全监控的目的，当发生重大时间时，现场第一手证据无法取得，给执法带来的不便，同时对数据安全性带来了隐患。4扩展性差传统车载视频监控系统扩展性能差，很难在现有基础上对产品进行功能升级。5安装拆卸不便传统车载监控系统，调试比较困难，不能进行快捷安装，效率低传。传统视频监控设备位置固定，重新拆卸安装需专业人员操作，位置调整困难，造成取证灵活性差，无法满足移动警务的需求。本项目研究的产品完美的解决的以上难题：1指挥中心实时监控，指挥本系统采用3G/4G网络进行数据传输，其图像编码采用低码流的H.264压缩方式，可以很好的实现远程实时监控，可在指挥中心直接查看实时视频监控，对现场情况进行直接指挥现场执法或指导应对应急处理。2高清全景，无死角监控通过全景180度广角设计，同时兼顾360度旋转，无死角监控。仅需一台摄像机即可最大限度的解决监控中的死角问题。因而他也有着非常广阔的应用空间。3数据异地保存，数据安全视频数据通过网络同指挥中心存储相连，实时的保存到本地和通过网络保存到后台存储中，在汽车上发生事故或监控设备被毁灭或者车匪路霸把监控设备毁灭后，我们的服务器仍保存有设备被毁之前的录像；4功能容易扩展本项目中，由于通过网络与后台相连，很容易将功能扩展到如移动车牌识别、无线人脸识别、车型识别等众多功能。5灵活便携摄像机支撑架底部设计有强力磁铁，可吸附在铁质的平面上，便于临时使用，也可用螺栓固定于固定的安装板上。如下图所示。全景轮廓示意图采用磁吸式固前端定、便于拆卸、安装稳固。解决传统灵活性差问题。通过一体化设计，产品小型化，使产品轻巧便携，集成多功能与一体，完美的解决便携性的问题。（三）总体目标、研究内容、技术关键及主要性能与技术指标总体目标通过基于图像融合算法的便携式全景监控系统的的研发，形成全景便携式网络视频监控领域的自主研发和标准化实施的能力，首期完成以后，完成一套集180度全景视频采集、细节放大、视频监控、视频检索、4G传输等功能与一体的高效、智能符合公安实战需求的便携式全景视频监控系统。研究内容（1）实现基于图像融合算法的便携式全景监控系统自主设计，符合产品灵活便携的需求；（2）实现高清全景的无线传输，体现技术创新；（3）实现“多视频拼接融合”等关键技术的研究和应用；（4）实现便携式全景监控系统的实战应用。技术关键视频监控系统的一体化结构设计 结构设计采取合理有效措施，需要保证在实际的使用环境条件下正常地工作，确保其环境的适应性，同时满足可靠性、使用性、维修性、安全性、经济性及美观、实用等要求。视频监控系统的一体化设计的关键是解决系统的自主电源供电、如何实现系统的灵活、便携、一体化结构的设计。通过即支持锂电池供电和设备市电供电两种方式供电方式解决自主供电问题，解决车载等移动警务的实际需求。同时通过设备小型化设计、设备磁吸式固定、安装稳固、便于拆卸。如何使设备集轻巧、便携、多功能与一体是项目设计的技术关键之一。高清全景设计如何使系统在轻巧、便携的基础上完成视频监控的高清全景功能设计是该项目另一个技术关键。如何使系统实现摄像头全景180度广角、支持360度旋转、无死角监控。全景机芯固定在垫板上，外壳通过螺栓固定在垫板上。垫板设计有防水槽，通过在槽设置硅胶条，使之与外壳紧固密封。在底板下部设计有电池仓，电池可以取出更换，方便设备可以连续的工作。最下边设计有支撑架，可以360度手动调节。支撑架底部设计有强力磁铁，可吸附在铁质的平面上，便于临时使用，也可用螺栓固定于固定的安装板上。选取目标同时采用H.264压缩编码技术，实现高数据压缩比率，同等图像质量下压缩后的数据更小的同时还拥有高质量流畅的图像，更利于存储。无线传输方式设计如何在实现满足移动警务的基础上，保障实时信号的传输，是本项目的另一个技术关键。由于移动车载和远程监控中心之间存在有线或无线网络的音视频流数据传输，根据传输带宽的大小将传输方式分类，分成图片传输和视频传输。图像细节放大算法技术选取目标通过鼠标拉框的方式联动细节摄像机进行拼图的局部放大的功能。根据全景图像及细节摄像机的运动特点构建各自坐标系及数学模型，通过鼠标在全景图像中框出感兴趣的局部图像范围得到输入参数，经数学模型得到输出参数，细节摄像机根据设定的数学模型计算后得到的运动参数自动到达指定位置并放大相应的倍数使之准确显示局部图像。多视频拼接融合技术多视频拼接融合技术解决若干个视频图像拼接成全景视频时显示的实时性差和稳定性不好的问题。视频拼接技术是指将若干个摄像机采集到的视频图像拼接形成一幅全景图像的技术。目前常用的视频拼接技术大多是基于图像拼接算法上找出相邻视频图像中的重合部分进行转换拼接，但这类方法受摄像场景的变化、拍摄角度的不同和拼接算法等因素的影响，特别是当视频图像中有运动的物体时，很难实现视频图像的稳定实时拼接。通过算法对视频流进行上、下、左、右移动来调节控制相邻的视频图像边界的重叠区域，对该重叠区域进行平滑融合处理。图像矫正算法图像矫正算法技术解决广角镜头产生的桶形畸变的现象，对图像进行修正。桶形畸变也称为桶形失真，是由透镜物理性能以及镜片结构引起的成像画面呈桶形膨胀状的失真现象，畸变只可改善，不可消除。根据桶形畸变的表现出来的越接近图像边缘的直线弯曲越为明显的现象，构建一种类似双曲线的数学模型，根据这一数学模型，对每一帧视频图像进行校正处理。广角镜头引起的桶形失真曲线类似于一种双曲线形式，其离心率从中心到外由小变大,不同的视角发生的畸形变形程度不同，根据这一特性，本畸形矫正方法构造一种双曲线数学模型，对桶形畸变进行矫正处理。原理为：设原畸变图像的中心为坐标原点(0,0)，顺时针建立四个坐标象限。设畸形变形值为k，经过计算可得出每一个像素(X,Y)所在位置的曲率P为和压缩率。可求得矫正后图像坐标点为。根据图像的四个象限变化，分别对每一个像素建立哈希表，视频图像矫正时每一帧通过哈希查表得出畸形矫正后的图像。在全景摄像机的视频图像中，可以看出本方法对桶形失真的校正取得了明显的效果。图像亮度平衡算法技术图像亮度平衡算法技术解决多个摄像机画面拼接成一幅全景画面时因受光照影响而导致的亮度不统一问题。目前行业中通过人工反复设置各个前端设备的亮度参数来实现，操作繁琐、速度慢、效果不佳、且当环境改变后需重新调整参数，不适用于环境多变的场景，特别是移动场景效果极差。图像亮度平衡的技术特征是：在全景画面显示前，首先获取每个摄像机和与其相连摄像机重叠部分的YUV数据，其次获取Y分量的平均值，并对比相连两个摄像机的Y分量平均值，根据对比的结果，调整摄像的亮度值，直到两个摄像机的Y分量相差不大（比如10以内），则完成调节。整个调节过程通过程序自动实现，无需人工干预，速度快、效果佳。海量数据处理和存储每台摄像机每分钟拍摄20张图片，每张图片100K,按目前至少200个摄像头算，一天就有20*200*60*24*100=576G的存储量，录像的存储量就更大了，如此大的数据。如何并发，存储，也是一个技术关键。主要性能与技术指标功能要求a)支持实时监控；b)支持视频全景图像矫正；c)支持图像自适应；d)支持视频录像及回放；e)支持定时抓图及存储；f)支持PTZ控制、细节放大及联动；g）支持视频、图片无线传输；h）支持锂电池供电；i）支持车载磁吸式固定；性能要求c)图像分辨率：≥3000(H)×1000(V)；d)拼图摄像机最低彩色照度：1.0Lux；e)细节放大摄像机镜头光学变焦：30倍；f)细节放大摄像机分辨率：1920X1080；g)转动范围：方位360°（连续旋转）；h)传输码流：≤10Mbps；

（四）技术路线、实施方案及计划进度1确定项目主要方向。首先通过收集一线民警的需求，和查询网路资源信息，同相关技术专家咨询，确定，确定将移动便携、无线传输、全景功能作为功能设计方向。用来将决传统视频监控设备位置固定，拆卸困难，位置调整困难，造成取证灵活性差等问题关键。2完成项目的总体规划设计，制定研究计划。将视频监控系统的一体化结构设计、高清全景设计作为重点研究。3寻找企事业单位合作伙伴，确定与桂林长海发展有限责任公司作为合作伙伴。4建立项目研发团队，明确各成员职责。灵川县公安局主要负责需求整合，前期调研及总体功能要求及后期的产品测试及反馈。桂林长海发展有限责任公司负责产品功能的实现。5完成项目软件的研究和开发。灵川县公安局主要负责提出软件的功能需求，桂林长海发展有限责任公司负责软件功能的实现。重点实现高清全景的实时监控及细节放大功能6完成产品的硬件设计。重点实现产品的移动便携功能。7完成产品的测试及成型及应用实战。重点针对实战的技战术使用的研究。本项目是以桂林市灵川县公安局和桂林长海发展有限责任公司为研究单位，负责便携式全景监控系统的研发工作。在项目刚刚启动时，项目专门成立了技术领导小组，由桂林市灵川县公安局刘建忠任组长，下设产品规划组、质量管理组、硬件研发组、软件研发组、测试组、产品化组；技术领导小组成员将定期进行技术交流和项目进度通报，召开技术讨论会，有效地控制了该项目的进度和保证了项目质量。项目组织结构示意图如REF_Ref\h图2所示。图1项目组织结构示意图项目管理是指在项目活动中运用专门的知识、技能、工具和技术，使得项目能够实现或超过利益相关者的需要和期望。一个项目的成功与否关键之处并不只是实施项目的技术，更关键的是项目的管理。光有技术但是不注重项目的范围、时间、成本的管理，那么，项目最后将违背项目利益相关者的需要和期望。因此，在确立的技术领导小组后，我们要重视项目管理，并确立拥有丰富的管理经验的人员担任项目经理。在技术领导小组的领导下，项目组对该项目的需求进行了深入分析，在明确研制的总目标和任务前提下，对项目的工作进行了合理的分配。表格SEQ表格\*ARABIC4任务分工表任务负责协助需求分析，并给出需求分析报告产品规划组质量管理组总体方案设计产品规划组硬件组、软件组产品硬件开发硬件研发组产品规划组产品软件开发软件研发组产品规划组、硬件组产品测试测试组全员项目产品化，应用实战。产品化组全员2. 项目产品后续规划基于图像融合算法的便携式全景监控系统的研发项目主要是用于执法部门现场取证、处理案件，经几年业内经验积累，可以延伸其它产品：（1）便携式全景智能卡口系统；（2）便携式全景人脸识别系统；（3）便携式全景视频侦控系统。3. 项目工程进度规划项目工程考虑与公安的用户的培训及系统的熟悉，将项目分阶段实施，具体进度如下：2015年06月完成产品的总体设计规划。2015年12月产品的成型，并应用于实战。任务名称起始/终止时间负责机构任务负责人项目预研2015.01-2015.03