数字图像处理课程设计

1、1 设计目的数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了 广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理 等专业的重要课程。数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法；增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力；尝试所学的内容解决实际工程问题，培养学生的工程实践能力。运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展

2、和计算机性能的不断提高，动态图像处理技术日益受到人们的青睞，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。目前,以数字图像处理技术为核心的视频监视系统越来越广泛地应用到交通监管中，它利用摄像机来获取图像，由计算机完成对运动目标的自动检测，如果车辆交通违规时，自动发出预警，记录全程违章视频，这在很大程度上减轻了监控人员的劳动强度，克服可能的人为失误,而且节约大量存储空间，使存储的数据更为有效，为交通违规的后续处理提供了客观依据。因此，基于光流法，实现交通场景中运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起交通场景中运动目标检测的整体

3、思路和方法。2 总体设计方案通过MATLAB软件中的图像、视频处理模块（Video and Image Processing Blockset）,来实现利用光流法检测并追踪视频中的动态汽车。该模型通过光流法估计视频帧中的运动向量，并对运动向量进行阈值和形态学闭操作，计算出二进制图像，再定位出二进制图像中的汽车信息，在经过白线的汽车上绘制绿色矩形图，统计感兴趣区域的汽车数量。Simulink模型如图2.1：图2.1 模型框图3 具体设计实现3.1 光流法实现运动目标检测的基本原理3.1.1 光流法介绍（1）光流与光流场的概念光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像

4、素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量光流场是指图像灰度模式的表观运动，它是一个二维矢量场，所包含的信息就是各个像素点的瞬时运动速度矢量信息。光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动。（2）光流场计算的基本原理视觉心理学认为人与被观察物体发生相对运动时，被观察物体表面带光学特征的部位的移动给人们提供了运动和结构的信息。当相机与场景目标间有相对运动时所观察到的亮度模式运动称之为光流(optical flow)，或者说物体带光学特征部位的移动投

5、影到视网膜平面(也即图像平面)上就形成了光流。光流场的计算一般分为四类：基于梯度的方法(Horn-Schunck和Lucas-Kanade算法)；基于匹配的方法；基于能量的方法；基于相位的方法。基于梯度的方法利用图像灰度的梯度来计算光流，是研究最多的方法。基于梯度的方法根据运动前后图像灰度保持不变这个基本假设，导出光流约束方程。由于光流约束方程并不能唯一的确定光流，因此需要导入其他的约束。根据引入的约束不同，基于梯度的方法又可以分为全局约束方法和局部约束方法。全局约束的方法假定光流在整个图像范围内满足一定的约束条件；而局部约束的方法假定在给定点周围的一个小区域内，光流满足一定的约束条件。基于匹

6、配的方法，这类方法是将速度vm定义为视差d=(dx,dy)t，使得两个时刻的图像区域的匹配最佳。为了找到最佳匹配，我们可以对定义在d上的相似度量，如规一化的互相关系数，进行最大化，也可以对某一距离度量，如光强度差的平方和，进行最小化。在此仅介绍基于梯度的光流场算法梯度光流法又分为全局约束方法和局部约束方法。全局约束方法假定光流在整个图像范围内满足一定的约束条件，而局部约束的方法假定在给定点周围的一个小区域内，光流满足于一定的约束条件。下面先导出光流约束方程。然后给出两种比较典型的基于梯度的方法。、 光流约束方程假定图像上点m=(x,y)t在时刻t的灰度值为I(x,y,t)，经过时间间隔dt后，

7、对应点的灰度为I(x+dx,y+dy,t+dt)，当时，可以认为两点的灰度不变，也就是：I(x+dx,y+dy,t+dt) = I(x,y,t) （3.1）如果图像灰度随x,y,t缓慢变化，可以将(1)式左边泰勒级数展开：I(x+dx,y+dy,t+dt)=I(x,y,t)+Ixdx+Iydy+Itdt + (3.2)其中代表二阶无穷小项。由于dt0，忽略，可以得到：Ixdx+Iydy+Itdt=0 (3.3)令u=dxdt，v=dydt代表x,y方向上的光流，IX=Ix，IY=Iy，IT=It分别代表图像灰度相对于x,y,t的偏导，式(3.3)可以写成： IXu + Iyv +It =0 (

8、3.4)此式即光流场的基本方程。写成向量形式，即：I Vm + It =0 (3.5)其中I=(IX, Iy)是图像在点m处的梯度，Vm(U,V)是点m的光流。上式称为光流约束方程，是所有基于梯度的光流计算方法的基础。图3.1 基本等式所确定的约束线考虑u和v组成的二维空间，那么式(3.5)定义了一条直线，所以满足约束方程的Vm都在该直线上，图3.1，该直线和图像梯度I垂直，因而仅仅能够解决沿梯度方向的分量，也就是等灰度轮廓的法线分量Vn=S*N，其中：(实际上，式(3.5)光流约束方程产生的是恒值亮度轮廓图像运动的法向分量Vn=S*N) S=-It/| I | , N = I /| I |

9、(3.6)光流约束方程包含u和v两个未知量，显然由一个方程并不能唯一确定，这就是孔径问题。为了解决孔径问题，必须找新的约束。在此仅介绍用到的Horn-Schunck算法。 Horn-Schunck算法Horn-Schunck算法提出了光流的平滑性约束。即：图像上任一点的光流并不是独立的，光流在整个图像范围内平滑变化。因此Horn-Schunck算法是一种全局约束的方法。设平滑性约束项为极小化： (3.7)由基本等式，显然要求极小化： (3.8)于是，由(3.7)和(3.8)式可知，最后求得光流应满足(9)式： (3.9)这里的取值要考虑图中的噪声情况，如果噪声较强，说明图像数据本身的置信度较低

10、，需要更多的依赖光流约束，所以可以取较大的值；反之，取较小的值。为了满足(3.9)，可将该式对u和v分别求导，并取导数为0。这样就得到： (3.10) (3.11)以上两式也称为Euler方程。如果令和分别表示u邻域和v邻域中的均值(可用图像平滑算子求得)，并令和，则式(3.10)和(3.11)改写成： (3.12) (3.13)从上式解得： (3.14) (3.15)式(3.14)和(3.15)提供了用迭代法求解u和v的基础。实际中，常用松弛迭方程进行求解： (3.16) (3.17)其中k是循环数，和是初始值，可以取为0。和是局部平均，为权重系数，根据导数求取的精确度确定。 上述迭代过程有

11、一个简单的几何解释，参考图3.2所示：图3.2 用迭代法求解光流的几何解释在实际求解过程中，需要估计亮度的时间和空间微分。这可在图像点的一个222立方邻域中估计，如果下标分别对应，那么3个一阶偏导分别是： (3.18) (3.19) (3.20)也就是用一阶差分来替代灰度I关于轴的偏导。上述算法的实现相对简单，计算复杂性较低。但是这种技术存在着严重缺陷。首先，图像灰度保持假设对于许多自然图像序列来讲都是不合适的，尤其是在图像的遮合边缘处和(或)当运动速度较高时，基于灰度保持假设的约束存在较大误差。其次，在图像的遮合区域，速度场是突变的，而总体平滑约束则迫使所估计的光流场平滑地穿过这一区域，此过

12、程平滑掉了有关物体形状的非常重要的信息。第二，微分技术的一个要求是I(x，y，t)必须是可微的，这暗示着需对图像数据进行时空预平滑，以避免混叠效应;而且数值微分的求取具有病态性，如果处理不当将对最终的速度估计产生显著影响。3.1.2 光流法检测运动目标物体的基本原理概述给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标与图像背景存在相对运动，运动物体所

13、形成的速度矢量必然与邻域背景速度矢量不同，从而检测出运动物体及位置。光流法的优点：光流不仅携带了运动物体的运动信息，而且携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。3.2 Simulink模型介绍如方案所示：optical_flow_tracking模型分为视频输入模块、色彩空间转换模块、光流估计模块、阈值和区域滤波模块、视频输出显示模块。该模型通过光流估计技术，估计了视频帧中的运动向量，并对运动向量进行阈值和形态学闭运算操作，计算出二进制图像，再通过Blob Analysis模块定位出每个二进制图像中的汽车信息，然后通过绘图图形模块给经过白线的汽车

14、添加绿色矩形框，同时在左上角，用计数器窗口统计感兴趣区域的汽车数量。（1） 视频输入模块模型以viptraffic.avi为视频输入端，视频帧图像大小为120*160，视频帧频率为15fps图3.3 输入视频截图（2） 色彩空间转换模块设置色彩空间转换模块中的Conversion参数为“RGBto intensity”,Image signal 为“One multidimensional signal”（3） 光流估计模块通过Horn-Schunck方法，估计两帧视频间的光流。（4） 阈值与区域滤波模块 图3.4 阈值与区域滤波模块如上图所示，通过上一模块得到的光流信息，计算出速度的阈值，并

15、对运动向量进行中值滤波和形态学闭操作，得到视频帧中的光流信息的阈值。模块的另一输出端口为通过区域滤波模块得到的感兴趣区域。所包含的子模块还有图3.5 子模块1图3.6 子模块2（5） 视频输出显示模块图3.7 视频输出显示模块如上图所示，视频输出端口1显示了上述视频帧中图像光流信息的阈值视频；通过边界框和汽车数量统计模块，将感兴趣区域中的带有边界框汽车及其数量通过端口2输出；端口3输出原始视频；端口4输出带有光流线的运动汽车视频包含的子模块还有图3.8 子模块14 仿真结果与分析 图4.1 一 图4.2 二 图4.3 三 图4.4 四第一幅图为原始视频帧第二幅图则通过光流线，绘制出了运动中的汽

16、车背景是不变的，所以它的光流矢量是连续变化的。运动的汽车速度矢量与邻域背景速度矢量不同，所以显示的光流矢量呈上图所示第三幅图得到了视频帧中的光流信息阈值图，运动中的汽车用二进制图像中的白色图像表示这是对运动向量进行阈值和形态学闭运算，计算出二进制图像，然后显示得到的！第四幅图得到了视频帧中感兴趣区域的汽车数量以及汽车的绿色矩形框标定这是通过Blob Analysis模块定位出每个二进制图像中的汽车信息，然后通过绘制图形模块给经过白线的汽车添加绿色矩形框，同时在左上角，用计数器窗口统计感兴趣区域的汽车数量得到的。5 结论光流法是对运动序列图像进行分析的一个重要方法，光流不仅包含图像中目标的运动信

17、息，而且包含了三维物理结构的丰富信息，因此可用来确定目标的运动情况，反映图像的其他信息。基于光流法可以实现在军事航天、交通监管、信息科学、气象、医学等多个领域的重要应用。例如，利用光流场可以非常有效地对运动目标进行检测和分割，这对地对空导弹火控系统的精确制导、自动飞行器精确导航与着陆、战场的动态分析、军事侦察的航天或卫星图片的自动分析系统、医学上异常器官细胞的分析与诊断系统、气象中对云图的运动分析、城市交通的车流量进行监管等都具有重要价值。参考文献1 于慧敏，徐艺，刘继忠等.基于水平集的多目标运动时标分割与跟 踪.中国图形图像学报J, 2007, 12(7) ; 1218-12232 李俊韬，

18、张海，范跃祖.复杂交通场号中多运动目标分割算法.北 京航天航空大学学报J，2006，32(3)： 297-300，3 李晴，徐群.复杂场景下多运动口标速度检测技术的实现.计算 机与数字工程J. 2006，34(11) 167-1714 陈景波，陆建明，郞正义，谈正.交通场景中多目标的检测与跟踪. 现代电子技术J，2008(01) :66-705 万卫兵，霍宏，赵宇明著，智能视频监控中口标检测与识別M， 上海，上海交通大学出版社，2010. 16 王陈阳，周明全，耿国华.基于自适应背景模型运动目标检测.计 算机技术与发展J，2007 (04) : 54-577 吕国亮，赵曙光，赵俊.基于三帧差分和连通性检验的图像运动口 标检测新方法.液晶与显示J，2007 (2) :87-928 孙状,宋正河,毛恩荣，吕安涛.高清视频车辆检测及跟踪系统的 设计与实现.中国农业大学学报J，2009 (06) : 112-1159 Ulisses Braga-Neto,Manish Choudhary Johan Goutsias.Automatic target detection and