8上海港务工程公司海达QC小组

1、.PAGE ：.；提高港口监控录像分辨率新技术研发小组简介课题称号提高港口监控录像分辨率新技术研发课题类型创新型小组称号港工海达QC小组注册编号GGQC2021-008活动日期2021年2月2021年7月活动次数16次TQC教育人均46小时活动出勤率95序号姓名性别年龄文化程度职务组内分工1谈 星男54本科高级工程师总谋划2孙 昕男50本科高级工程师分项谋划3吴 超男31本科工程师数据分析4邱明佳男30本科工程师数据分析5宋鑫颖女28本科助理工程师完成QC成果报告6白 敏女35本科助理工程师对策实施、效果检查7朱继成男26大专技术员对策实施、效果检查8戚琳烨女23大专技术员对策实施、效果检查9

2、徐 君男25本科见习对策实施、效果检查课题背景随着上海国际航运中心建立的启动，上海国际港务集团股份成为国际航运中心的重要组成部分，根据公安技防的规定和国际萨拉斯协议的要求，思索把安保技防设备作为根底建立的重点之一。安保技防设备建立在港区内主要偏重闭路电视视频监控系统，闭路电视视频监控系统主要实现两大功能：管理人员可以根据需求对监控范围内的码头、道路、堆场及出入口等重点区域的人员、车辆动态进展实时监视，进展必要的控制以到达最明晰的监视效果；经过储存设备对监视到的图像进展保管，一旦需求的时候，可以对特定摄像机的特定时段的录像内容进展回放，便于港区的平安管理。但是在监控图像的采集与处置过程中，由于各

3、种要素影响，会导致图像分辨率的下降，其主要表现为模糊、噪声和变形，达不到监控的要求，影响系统功能。一、选题理由选题理由近几年随着闭路电视监控系统在港区的运用越来越广泛，在消费管理和平安防备起到不可替代的作用，但是由于软硬件各方面要素的限制，视频监控录像回放分辨率往往不能到达运用要求。上海港于09年2月4号公布的企业规范，里面明确要求新建监控系统的录像回放质量要大于等于300电视野，比原有的规范录像资料270电视野提高了10%。我公司作为上海市专业从事技术防备行业的从业单位，为上海港提供监控系统的安装和维护效力。为满足港区消费调度、平安防备要求，采用各种技术手段提高监控图像录像回放分辨率就显得极

4、为重要。 问题的提出目前港区内原有的设备图像回放质量停留在270线程度。无法满足消费平安回放质量300线的规范要求。回放时分辨率较低，无法满足消费平安管理的要求。确定课题本着“用户至上的理念，为满足港区消费调度、平安防备要求，同时思索到港区固定资产管理的需求，公司提出必需花尽能够小的经济代价处理视频图像分辨率不高的问题，小组成员接受挑战选定课题为：提高港口监控录像分辨率新技术研发二、确定目的采用尽能够低的经济代价提高电视监控系统视频图像回放分辨率。根据的企业规范1.将原先图像分辨率270电视野360*270提高到300电视野400*300以上；另根据中电视监控系统的视频图像技术目的要求2.回放

5、图像明晰度要求：峰值信噪比28；3.回放图像复原度要求：平均绝对差0.14.回放图像视觉要求：信噪比改善因子7三、提出各种方案并确定最正确方案方案的提出与确定1.课题分析要提高电视监控系统视频图像的分辨率，首先需求对视频图像分辨率不高的缘由进展分析，对于视频图像成像储存的环节进展分析，才干根据不同的缘由采取不同的处理方案。电视监控系统的视频图像的运用分为4个步骤：图像采集、图像传输、图像储存、图像回放。图像采集：图像采集就是利用摄像机中电子传感器把光学影像转换成电信号，以便与传输及储存。传感器的外形和尺寸、光学部件性能的好坏直接影响图像的分辨率。图像传输：图像传输就是利用光缆、电缆、无线等方式

6、将采集来的图像传输到显示或者储存设备。在传输过程中，会引入不同类型的噪声，如高斯噪声、椒盐噪声等，而且噪声的引入方式也不同，或为加性噪声、或为乘性噪声，这些都会直接影响到图像的分辨率。图像储存：目前模拟录像机已根本淘汰，运用最广是数字硬盘录像机，根本原理是将模拟的音视频信号经过数据紧缩方式转变为MPEG数字信号存储在硬盘上。数字化采集过程也会降低图像分辨率。图像回放：图像回放就是重现存储在系统中的视频图像资料。2.方案的提出根据视频监控系统的任务原理，针对视频图像运用的各个环节，2021年2月15日小组成员利用头脑风暴法将之归纳为硬件和软件两大类，提出了5种方案建议，并将结果用亲和图整理如下：

7、亲和图3.方案的初步比较优化摄像机传感器固有的采样频率限制了图像的空间分辨率，目前在监控系统中广泛运用的是CCD传感器，提高分辨率最直接的方法是降低像素尺寸，提高单位面积的像素数目。优点：明显提高图像分辨率，可直接提升港区视频回放分辨率至300电视野以上，预期效果良好；作为成熟的产品，操作简便，可操作性强。缺陷：改换摄像机费用太高，经济性很差；以港区为例，前端摄像机50台左右，改换资料费就将近200多万，本钱太高优化传输系统图像传输过程中引进的噪声会直接影响到图像的分辨率。对传输系统进展优化，比如更新为先进的光缆传输系统、添加长间隔 补偿器、添加视频抗干扰器等，可以提高图像的信噪比，相应提高图

8、像分辨率。优点：一定程度提高图像分辨率；缺陷：改换传输设备费用较高，经济性不好，以上文某港区为例，假设将线缆全部改换，工程耗资约80万，况且老港区进展线路更新施工难度太大；要根据不同的噪声叠加情况采取不同的措施，难度较大，实现比较困难。优化录像机思索到录像资料储存时间的限制，摄像机采集到的图像在储存时采用紧缩的格式，去除了不用要的高频部分，相应的视频图像那么损失了图像细节，即降低了分辨率。假设改换硬盘录像机，减少紧缩比例，那么可以明显提高图像分辨率。优点：明显提高图像分辨率；可操作性较好缺陷：需求改换硬件，目前1台硬盘录像机约需1.5万，假设全部改换，费用较高，性价比不高；硬件遭到工艺程度影响

9、，提高有限。要兼顾存储时间，假设存储文件太大，分辨率即使有所提高，录像保管时间将大大缩短，不能满足用户的要求。优化录像格式针对视频图像储存的步骤：采样、量化、编码。由于硬盘录像机直接影响监控系统的分辨率，假设对储存过程的参数进展调整，例如改动编码格式，提高录像文件所含信息量，也可以提高视频图像的分辨率。优点：提高图像分辨率；缺陷：目前视频格式为成熟格式，重新调整难度太大。录像保管时间将大大缩短，不能满足用户的要求。存储图像处置视频监控主要功能之一就是在发生突发事件时能进展图像回放，往往在需求监控的区域能够事先没有思索到高清录像，回放效果不尽如人意，这时候再进展设备更新也来不及了，只能在现有的图

10、像资料的根底上进展软件处置，利用软件的方法提高视频图像分辨率。优点：运用范围广，属于事后弥补，适用性强；根本没有硬件投资，在原有根底上进展软件处置，经济性很好；立足现有设备，大批原有设备可以得到利用，为港区改造节约大笔资金，提高监控系统现代化程度。 缺陷：没有现成阅历方法可自创，软件处置计算繁琐，实现难度较大。 我们对5个方案进展了初步比较汇总结果如下：类型序号方案缺陷方案选择硬件方法1优化摄像机改换摄像机费用太高，经济性很差；由于港区实践情况，对于设备更新本钱太高，不具可行性。不选择2优化传输系统全部更新传输系统本钱太高，不具可行性，针对各种类型的叠加噪声进展处置那么比较复杂，不易构成规范工

11、法。不选择3优化录像机需求部分改换设备，性价比不是很高，但思索到录像机是目前监控系统的瓶颈，一旦录像机上分辨率有提高，那么可明显提高录像资料的分辨率。选择软件方法4优化录像格式目前视频格式为成熟格式，重新调整难度太大。要兼顾存储时间，假设存储文件太大，分辨率即使有所提高，储存时间将大大缩短，不能满足用户的要求。不选择5储存图像处置没有现成阅历方法可以自创，软件处置计算繁琐，实现难度较大。经过方案改良可以实现选择4.方案的实验比较2021年2月19日，小组成员对可采用的两个方案进展了现场实验对比：实验背景 首先选取港区现场原始录像资料截图，港区视频监控系统原有录像机为杭州海康威视的DS-8004

12、HC-S，录像分辨率为MPEG-4的2CIF格式302*288。图1：原始录像截图3#方案：改换录像机港区视频监控系统原有录像机为杭州海康威视的DS-8004HC-S，录像分辨率为MPEG-4的2CIF格式302*288，经过改换硬盘录像机：杭州海康威视的D1格式高清硬盘录像机DS-8004HF-S，录像分辨率到达MPEG-4的4CIF格式704*576，实际上提高了2倍，录像截图效果如以下图所示，可以看到图像质量无论在视频分辨率还是图像的颜色饱和度各个方面有明显提高。图2：改换设备后录像截图但是经过改换硬件的方式经济性不理想，以该港区为例，共配置摄像机32台，八路硬盘录像机3台，四路硬盘录像

13、机3台，同时由于录像资料的提高，相应的录像文件所需硬盘空间也相应变大，为满足存储时间的要求，还需求添加硬盘存储设备，加上相应的安装调试费用，假设要全部改换至D1格式的高清硬盘录像机那么需求：八路硬盘录像机3台：9600*3=28800元四路硬盘录像机3台：6400*3=19200元添加1T硬盘48块：950*48=45600元安装调试费用：1.5万元合计约10.8万元，费用不菲。同时，经过改换硬件的方法还有一个很大的缺陷，性能目的的提升受限于硬件的消费程度，会产生一个瓶颈。图3：高清录像截图的部分放大如上图中所见改换高清设备以后整幅图像分辨率提高了，但是假设将某一部分进展放大，那么会发现局部分

14、辨率依然达不到要求。这种情况很难经过更新设备进一步提高分辨率。5#方案：视频图像的软件处置采用基于信号处置的软件方法对图像的空间分辨率进展提高，对图1进展处置，得出结果如下：图4：经过软件处置的视频截图软件处置视觉效果较为明显，而且运用范围广，属于事后弥补，适用性强；根本没有硬件投资，在原有根底上进展软件处置，经济性很好；立足现有设备，大批原有设备可以得到利用，为港区改造节约大笔资金，提高监控系统现代化程度。5.选定方案由于3#方案较易实现，而5#方案，虽然无论在经济本钱还是预期效果方面均优于3#，但实现相对较为困难，两者各有优势，为了表达QC活动的民主性，小组成员经过讨论决议采用打分方式对两

15、个方案进展选优，确定最正确方案。各方案的分析及评价表序号方案可行性分析评价小计加权总分能否采用规范权数宋鑫颖吴 超邱明佳谈 星孙 昕戚琳烨徐 君朱继成1优化录像机费用较高，提高分辨率效果较好，提高一定程度以后再晋级硬件有瓶颈难易性0.2275.418.6不采用经济性0.493.6需时间0.1121.2预期效果0.3288.42视频图像处置费用较低，提高分辨率效果略差，可行性较强，如进一步伐整图像处置软件算法可到达要求难易性0.2112.223.6可采用经济性0.43012需时间0.1222.2预期效果0.3247.2：4分 ：3分 ：2分 ：1分 制表人：宋鑫颖 日期：2021年3月10日评价

16、结果： 我们采用“归一法对该工程实施经济性、需时间及预期效果进展加权评价，操作难易性主要对两种优化方法的实现难易度进展评价，由于对于监控图像的分辨率提高，技术上要求较高，难度加大不可防止，加权系数为0.2；经济性指技术措施本钱，由于本工程中心思念就是以尽能够低的经济代价提高电视监控系统视频图像回放分辨率。本着“效力客户目的，费用加权相对较大采用0.4；需时间主要指对新技术开发周期长短评价，由于本工程时间要求不是特别严厉，加权系数为0.1；预期效果指到达提高分辨率目的值的能够性，加权系数为0.3。综合得分总分值应是32分。我们把得分率超越60%即23.6分以上的方案即视频图像处置作为最正确方案。

17、6.细化方案图像处置原理视频图像处置方案，其中心思想是用时间带宽获取同一场景的多帧图像序列经过运算合成得到高分辨率图像，实现时间分辨率向空间分辨率的转换，使得重建后图像的视觉效果超越任何一帧低分辨率图像。以下图表示了高、低分辨率图像像素之间的关系。图中左边三帧Y1，Y2，Y3具有相对位移的低分辨率图像，经过对录像过程中图像变化规律即运动的估计，进展相应的插值运算，可以合成得到如下图的高空间分辨率图像X。图像处置方法分类视频图像处置分类目前视频图像处置方法主要分为频域和空域两大类，其中空域又可以分为最大后验概率估计方法MAP、凸集投影算法POCS和混合MAP/POCS方法三种：1频域法频域方法实

18、践上是在频域内处理图像内插问题，其主要方法主要利用傅里叶变换的移位性质，对原始图像进展摸转数变换，使图像转变为可修正的傅里叶方程模型。优点：实际简单，运算复杂度低，很容易实现并行处置，具有直观的去变形超分辨率机制。缺陷：所基于的实际前提过于理想化，不能有效地运用于多数场所，只能局限于全局平移运动和线性空间不变降质模型，包含空域先验知识的才干有限。2空域法空域方法主要在空间域分布上进展图像重建，如以下图所示，对一系列低分辨率图像所含像素信息进展定位后组合成一张高分辨率图片。空域方法适用范围较广，主要包括非均匀样本内插法、迭代反投影方法、集合论方法如凸集投影：POCS、统计复原方法最大后验概率估计

19、MAP 和最大似然估计ML、混合MAP/POCS 方法以及自顺应滤波方法等。而目前凸集投影法；最大后验概率估计；混合MAP/POCS 方法较为适宜本技术的目的最大后验概率估计方法优点：在解中可以直接参与先验约束、能确保解的存在和独一、降噪才干强和收敛稳定性高等；即该方法可以保证图像明晰度，减少干扰信号在运算过程中的累加对图像所呵斥的影响，提高信噪比。缺陷：运算速度较慢和运算量大。另外，由于该方法可以过滤细微干扰信号数据，同时也会将图像的细微部分进展过滤、排除，因此，由这类方法获得的高分辨率图像上的细节容易被忽略，平均绝对差相对较高，不利于图像有效复原。凸集投影方法优点：可以方便地参与先验信息，

20、可以很好地坚持高分辨率图像上的边缘和细节；得到图像平均绝对误差较低，即可以有效保证图像复原度。缺陷：解不独一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。即运算过于复杂，且不稳定导致图像信噪比改良因子较低，图像视觉效果较差。混合MAP/POCS方法把MAP和POCS两种算法合并为一致的算法。提出了一种把MAP和非椭球约束结合在一同的混合算法，这种方法即可保证图像明晰度和复原度又可有效提高图像视觉效果。实际证明，梯度下降法能保证这种混合MAP用OCS方法收敛到全局最优解。3方法的初步比较类型序号方案缺陷方案选择频域法1傅立叶变换求解频谱方程所基于的实际前提过于理想化，不能有效地运用于多

21、数场所。不选择空域法2最大后验概率估计方法MAP收敛慢和运算量大。另外，最大后验概率估计方法的边缘坚持才干不如凸集投影方法，由这类方法获得的高分辨率图像上的细节容易被平滑掉。不选择3凸集投影方法POCS解不独一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高不选择4混合MAP/POCS方法结合MAP和POCS二者优点，计算速度快，图像重建效果好选择7.总结结合以上分析，我们预备采用空域方法中的混合MAP/POCS方法对港区已储存录像中的片段经过软件方法进展合成，复原现场真实环境。四、制定对策选定最正确方案后，小组成员讨论确定了软件处置实施流程图：实施步骤如下： 步骤一：确定各项图像处置参数

22、，并初步合成需重建低分辨率图像，对图像进展模转数处置； 步骤二：对图像进展配准，对参考帧进展运动估计，即对多帧图像的数字模型进展叠加处置；步骤三：对图像进展数字模型复核运算，保证重建图像后的视觉效果；根据流程图制定了相应的研发对策：序号工程对策目的措施地点责任人完成时间1图像合成确定图像重建参数确定运动估计精度、插值运算参数、图像重建帧数；控制峰值信噪比281.参数确定2.数字模型建立3.初步运转实验室吴 超朱继成2021.32图像配准实验配准准确测定一系列图像之间对应像素的运动估计；配准后平均绝对值误差0.11.图像配准2.继续改良实验室邱明佳孙 昕2021.43图像校核实验校核将不同图像的

23、有效像素经过插值运算重建一帧图像。1.确定校核次数2.重建图像实验室宋鑫颖白 敏2021.4五、对策实施实施一、图像合成1.参数确定影响图像重建效果主要有三个要素：运动估计精度、插值运算算法和图像重建次数。运动估计精度：即是测定低分辨率图像和参考帧之间的像素位移参数，假设是针对每一个像素进展测定，那么易受噪声影响，估计不够可靠，而且运算量添加。普通来说，基于块的运动估计，当前帧被划分为图像块，以块为单位进展测定。块的大小直接影响重建效果和计算复杂度。插值运算算法：常用的插值函数有最近邻点函数1维、双线性函数2维和双三次插值函数3维等等。算法越复杂那么图像质量相应提高，假设是复杂到一定程度，那么

24、在明显加重了计算负担的同时，图像质量提高并不显著。因此适宜的算法对重建效果影响很大。图像重建次数：即参与图像重建的低分辨率图像帧数，根据超分辨率图像重建实际，图像重建次数越多那么重建效果越好，但是计算复杂度也越高，适用性和经济性会下降，因此选择一个适中的重建次数参数显得极为重要。2021年3月3日8日，我们小组进展了专题研讨，运用正交实验法进展了实验分析1实验目的：确定运动估计精度、插值运算算法、图像重建帧数的最正确组合2评价目的：峰值信噪比。3确定要素：运动估计精度、插值运算算法、重建次数3个要素4确定程度：对每个要素确定了3个程度序号A运动估计精度块大小B插值运算算法C图像重建次数次13*

25、31最近邻点函数626*62双线性函数839*93双三次插值函数105选定适宜的正交表选用 L9(34) 表 根据上述确定的3个程度与3个位级6实施实验2021年3月56日我们根据正交表设计的实验要求进展了共9次不同条件要素组合的实验室测试，结果如下：ABC峰值信噪比113*3113(10)22.4226*6111(6)28.1339*9112(8)26.6413*322(8)26.5526*623(10) 27.3639*921(6)23.2713*33(3)1(6)23.9826*63(3)2(8)29.3939*93(3)3(10)28.8T172.877.175.2T284.77782

26、.4T378.68278.5/T124.225.325.1/T228.225.727.4/T326.226.326.1R11.957.2初定优先程度A2B3C27结果分析：看一看：实验结果中第8号信噪比最高,即初定优程度A2B3C2算一算：确定较优位级, A: IIIIII, B: II I III, C: I III C B;A为主要要素, C为重要要素, B为次要要素实验要素影响趋势：图中我们可以看到，当运动估计块取6*6，双三次插值函数时峰值信噪比最大即图像质量最好，另外随图像重建次数提高，峰值信噪比有所提高。8结论分析：随运动估计图像块添加信噪比添加，当块精度超越6*6时易受噪声影响，

27、估计不够可靠，而且运算量添加导致图像质量下降；当图像重建次数采用8次信噪比最大，随着重建次数添加，噪声信号逐渐加大，信噪比下降。实验结果A2B3C2完全满足趋势影响,所以我们决议运动估计精度采用6*6图像块，插值运算采用双三次插值函数，图像重建采用8帧图片进展运算。2.数字模型建立小组成员根据所获得的参数建立了图像合成的数字模型：建模方式：将延续两帧低像素图片进展分块，并根据每块特征值进展定位，每个单块为6*6个像素，根据每个像素的特征采集相应的数据构成矩阵A及矩阵A1类似矩阵，并经过双三次插值函数进展计算，获得新矩阵B双插值计算方式： 经过对矩阵A及矩阵A1对应像素的周边像素配准确定该像素估

28、计值，以先横向，后纵向单个像素运算的方式进展。3.初步运转 2021年3月710日，我们对正交法确定的实验参数进展了验证，共选择了5组不同的实验样本，实验结果如下：样本组号ABCDE峰值信噪比29.228.728.929.129.0经过实验可以看出，对比目的值，峰值信噪比都大于28，均到达事先选定的目的值范围，故此组参数的选择是可行的。9实施效果：根据本实施中确定的参数组合，我们进展了大范围实施，在港区内抽取大量样本100个样本组进展视频图像的优化，经过优化的峰值信噪比分布如以下图所示。从图中可以看出，信噪比在28.529.5之间呈正态分布，分布区间满足事先设定的目的值的要求，进一步验证了本参

29、数组合的可行性。 实施结果：完成目的，实施有效实施二、图像配准1.图像配准定义图像配准定义为两幅图像之间的空间变换和灰度变换，配准的目的就是要使两帧图像之间的某种类似度准那么到达最大。如以下图所示，由多帧具有规范位移的低分辨率图像(b)(e)按照规范位移把低分辨率图像的像素放在高分辨率图像中适当位置即可重构高分辨率图像(a)。假设是图像配准算法选择的不好，重建出来的图像就会产生变形，引起分辨率下降，由于位移参数无法准确测定，这里还是采用经过测定重建图像的平均绝对值误差来评价配准效果：图像配准序列图像相关帧之间的运动参数可以用2个参数来表示：程度偏移rx、垂直偏移yr，即横向平移及纵向平移根据傅

30、立叶变换FT的位移性质，频域的相位变化相应于空域的平移变化，基于FT的图像配准方法的根本思想是准确测定傅立叶变换函数的相位变化，就能准确测定帧间平移。2.继续改良发现问题2021年4月1日，小组成员在本实施进展过程中，根据傅立叶变换算法对5组样本数据进展实验验证，验证数据如下：样本组号ABCDE平均绝对误差0.120.170.130.110.18 根据目的值要求，所合成图像平均绝对值误差必需小于0.1，而目前无到达目的值要求图像，不合格率到达了100%，我们小组立刻对这一景象进展了缘由分析。查找缘由、提出处理方案2021年4月15日，我们QC小组召开专题讨论，研讨这一景象，经过对比样本，发现样

31、本组A、C图像变化较为平缓，多为全局平移运动，而样本组B、D、E那么图像变化较为猛烈，存在图像旋转景象。基于傅立叶变换的配准算法可以准确测定程度偏移rx、垂直偏移yr两个参数。未对旋转参数进展准确的估计，而实践图像中，帧间旋转是存在的，如样本组B、D、E的情况下，基于傅立叶变换的频域配准算法就不能有效地对图像进展配准，因此需求对该算法进展改良。改良配准算法由傅立叶变换的配准算法求出平移参数后，再由基于光流场的配准得到的旋转参数对低分辨率图像进展旋转补偿，可以得到一个不错的配准算法。在傅立叶域中表示为确定好改良后的配准算法以后，我们对之前的样本组进展了验证，选择了之前5组不同的实验样本，实验结果

32、如下：样本组号ABCDE平均绝对误差0.090.020.030.080.06经过实验可以看出，对比目的值，平均绝对值误差，均到达事先选定的目的值范围，故该改良配准算法的选择是可行的。4实施效果：根据本实施中确定的配准算法，我们进展了大范围实施，在港区监控资料内抽取大量样本100个样本组进展视频图像的优化，经过优化的峰值信噪比分布如以下图所示。从图中可以看出，平均绝对值误差在0-0.1之间呈正态分布，分布区间满足事先设定的目的值的要求，进一步验证了本配准算法的可行性。 实施结果：完成目的，实施有效实施三、图像校核1.确定校核次数发现问题2021年4月25日小组成员以阅历对输出的图像进展两次校核后输出，发现图像细部构造虽然非常明晰，但重建后图像平滑程度缺乏，存在锯齿景象。根据规范要求，图像信噪比改善因子应7。2021年4月26日小组成员对重建后图像进展了检测：信噪比平均绝对值误差信噪比改善因子检测结果290.084