（信号与信息处理专业论文）视频序列中运动目标检测算法研究.pdf

长春工业大学硕士学位论文 摘要 动态视频序列中运动目标的检测在视频监视系统、交通自动监控、目标检测与 跟踪、目标识别等领域有着十分重要的应用。视频序列中运动目标的检测由于受到 外界环境( 如树枝、树叶的摇动，光照条件的变化) 以及背景中固定对象的移动等 影响，使得从图像中准确地检测出运动目标成为当前的研究热点。常用的运动目标 检测算法有：光流法、帧差法、背景减法。 光流法能够检测出独立运动的对象，并且不需要预先知道场景的任何信息，可 用于摄像机运动的情况，但多数光流法计算复杂耗时，很难用于实时检测；帧差法 非常适合于动态变化的环境，但不能弯曲的分割运动对象，不利于进一步的对象分 析与识别；背景减法实现简单，并且能够完整的分割出运动对象，但是背景模型恢 复的准确与否直接关系到最终检测结果的准确性； 上述三种运动目标检测方法只是利用了图像的时序特性，虽然能够分割出运动 目标，却难以获得准确的对象轮廓。本文采用背景减法进行运动目标检测，为了克 服上述问题，提高检测的准确度，采用了一种基于统计的背景模型恢复方法。首先， 通过观测 0 ，t 时间内同一像素点在相邻帧中的亮度值发现在一段时间内同一像素 点的亮度值主要集中在很小的一个区域，统计亮度该区间亮度值，求取出中值作为 该像素点的背景值，恢复出背景图像；将当前帧与背景相减分割出运动目标，对结 果图像进行形态学处理。最后，以对象区域的边缘为初始位置，使用以彩色梯度为 外部能量的活动轮廓( s n a k e ) 算法获得准确的运动对象轮廓。 关键词：目标检测时空特性彩色梯度 长春工业大学硕士学位论文 a b s t r a c t m o v i n go b j e c td e t e c t i o ni nd y n a m i cv i d e os e q u e n c eh a sa ni m p o r t a n tu s ei nv i d e o s u r v e i l l a n c e ，t r a f f i ca u t o m a t i cc o n t r o l ，o b j e c t sd e t e c t i n ga n dt r a c i n g ，o b j e c t sr e c o g n i t i o n e t c s om a n ya t t e n t i o nh a sb e e nf o c u s e do nm o v i n go b j e c td e t e c t i o nf r o mi m a g e se x a c t l y b e c a u s eo ft h ea f f e c t i o no fo u t e re n v i r o n m e n t ( f o re x a m p l es h a k i n go ft h eb r a n c h e sa n d l e a v e s ，c h a n g i n go fi l l u m i n a t i o n ) a n ds t a t i co b j e c t sm o v i n gs u d d e n l y t h r e em e t h o d s h a v eo f t e nb e e nu s e di nm o v i n go b j e c td e t e c t i o na l g o r i t h m t h e yw e r eo p t i c a lm e t h o d , f r a m ed i f f e r e n c ea n db a c k g r o u n ds u b t r a c t i o n o p t i c a l m e t h o dc a nd e t e c tt h e i n d e p e n d e n c em o v i n go b j e c ta n dn e e d n tk n o wt h ei n f o r m a t i o no ft h ee n v i r o n m e n t i t o f t e nw a su s e dw h e nv i d i c o nw a sm o v i n g b u tt h ec a l c u l a t i o no fo p t i c a lm e t h o dw a s c o m p l i c a t e d , s oi tw a sh a r dt o 啪i nr e a l t i m ed e t e c t i o n ；f r a m ed i f f e r e n c ei su s e f u li n d y n a m i ce n v i r o n m e n tb u ti tc a n td i v i d em o v i n go b j e c tc u r v i n g ，s oi ti su s e l e s si no b j e c t a n a l y s e sa n dr e c o g n i t i o n ；a sw ea l lk n o w nb a c k g r o u n ds u b t r a c t i o nc a n d e t e c tt h ep o s i t i o n , s h a p ea n ds i z eo fm o v i n go b j e c t s ，b u ti tc a n ts h o wm et h ee x a c tc o n t o u ro fm o v i n g o b j e c t s t h i sp a p e ru s e db a c k g r o u n ds u b t r a c t i o nt od e t e c tt h em o v i n go b j e c ti no r d e rt o o v e r c o m et h eq u e s t i o n sih a v es h o w e da n da l s oi m p r o v et h ev e r a c i t yo f t h er e s u l t an e w m e t h o dw a sa d v a n c e db a s e do ns t a t i s t i c s f i r s t , o b s e r v e dt h el u m i n a n c eo f t h es a m ep i x e l i nd i f f e r e n tf r a m e sb e t w e e n0a n dt w ec a nf i n dt h a tt h ev a l u eo ft h es a m ep i x e l c e n t r a l i z e di ns m a l lf i e l da n d 嘴t h em e d i a nv a l u eo ft h ef i e l da st h eb a c k g r o u n d l u m i n a n c eo f t h ep i x e la n dr e s t o r et h eb a c k g r o u n d w ec a nu s et h ei m a g ef r a m es u b t r a c t t h eb a c k g r o u n da n do b t a i nt h er e s u l t t h e nu s em o r p h o l o g i ct op r o c e s st h er e s u l t l a s tw e a d o p ts n a k et h a t 璐i i l gc o l o r - g r a d i e n ta st h eo u t e re n e r g yt oo b t a i nt h ee x a c t l y c o n t o u r k e y w o r d s ：o b j e c td e t e c t i o n , t i m e s p a t i a lp r o p e r t i e s ，c o l o rg r a d i e n t 1 1 1 长春工业大学硕士学位论文 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作 所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经 发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中 以明确方式标明。本声明的法律结果由本人承担。 论文作者签名： 狄日日车i 少 日期： 加7 年年月1 日 长春工业大学硕士学位论文 第一章绪论 视频运动目标检测是数字视频处理、分析应用的一个重要领域，在民用和军事 上有着广泛的应用。随着微电子技术的迅猛发展，数字信号处理器件的工作速度越 来越快，同时视频目标实时处理技术的研究也得到相应的突破，使得视频目标实时 处理成为可能，并成为当前研究热点。 1 1 运动目标检测与跟踪的概述 人类感知外部世界主要是通过视觉、触觉、听觉和嗅觉等感觉器官，其中视觉 信息占到8 0 i ”，因此，开发能够辅助或代替人类工作的智能机器，赋予机器以人 类视觉功能对发展智能机器是极其重要的，有此也形成了一门新兴的学科计算 机视觉。 计算机视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学和技术。作 为计算机视觉研究的一个分支见频目标检测与跟踪，就是对视场内的运动目标， 如人或车辆等，进行实时的观测，并在此基础上对被观测对象进行分类，然后分析 它们的行为。这种技术的主要研究涉及到运动目标的检测与提取( 视频分割) 、运动 目标跟踪、运动目标识别、运动目标行为分析和理解等诸多内容1 2 j 。 翻1 i 运动雕际缝澍与跟踪落穗 视频运动目标检测与跟踪工作可以分为两方面如图1 1 所示，运动目标的检测 和运动目标的跟踪，这两方面的工作是一个承接的关系，但同时也是相互影响的。 运动目标检测是视频运动目标检测与跟踪的第一部分，它就是实时的在被监视的场 景中检测出运动目标，并将其提取出来。视频图像序列中的运动目标跟踪一直是计 算机视觉、数字视频与图像处理和模式识别领域中的一个重要的研究课题。运动目 标跟踪同样也是衔接运动目标检测和目标行为分析和理解的一个重要环节。所谓运 动目标跟踪，就是在运动目标检测的基础上，利用目标有效特征，使用适当的匹配 算法，在序列图像中找寻与目标模板最相似的图像的位置，简单的说就是给目标定 位。在实际应用中，运动目标跟踪不仅可以提供目标的运动轨迹和准确定位目标， 为下一步的目标行为分析与理解提供了可靠的数据来源，而且，也可以为运动目标 检测提供帮助，从而形成一个良性的循环。 长春工业大学硕士学位论文 1 2 运动目标检测发展现状 运动目标检测算法依照目标与c c d 之间的关系可以分为静态背景下的运动目 标检测和动态背景下的运动目标检测。所谓静态背景下运动检测就是摄像c c d 在 整个监视过程中不发生移动，只有被监视目标在摄像c c d 的视场内运动，这个过 程只有目标相对与c c d 的运动；动态背景下运动目标检测就是摄像c c d 在整个监 视过程中发生了移动( 如平动、旋转或多自由度运动) ，被监视目标在摄像c c d 的 视场内也发生了运动，这个过程就产生了目标与c c d 之间复杂的相对运动。 静态背景下运动目标检测主要有三种常用方法：光流法【1 5 1 、连续帧间差分法( 2 帧或3 帧) 1 2 1 、和背景减法 1 3 , 1 4 1 。光流法能够检测出独立运动的对象，并且不需要 预先知道场景的任何信息，可用于摄像机运动的情况，但多数光流法计算复杂耗时， 很难用于实时检测；帧差法非常适合于动态变化的环境，但不能弯曲的分割运动对 象，不利于进一步的对象分析与识别；背景减法实现简单，并且能够完整的分割出 运动对象，但是背景模型恢复的准确与否直接关系到最终检测结果的准确性；文献 f 1 6 ，1 7 提出了一种将连续帧间差分法和背景减法相结合的方法，取得了较好的效果， 但还存在着目标轮廓检测的不完整性和目标相关点保留较少的问题。文献【1 8 】利用 连续3 帧间差分法，对得到的两个差分图像进行相与处理后利用n a t s t 二值化算 法提取出运动目标，文献 1 4 】使用多阶颜色和形状统计模型将人从背景中分割出来， 文献0 3 中前景目标的提取是通过联合背景分析和简单的二值图像处理来完成的， 背景场景是通过一段时间对最小灰度值、最大灰度值和最大灰度差分学习而模型化 得到的，文献 1 9 ，3 6 利用背景减法，为了增加它的鲁棒性，降低环境变化造成的影 响，使用i i r 对背景图像进行滤波，即完成对背景的更新，为了更好的得到背景文 献 1 9 ，3 6 和文献 2 0 】分别提出了单高斯背景模型和多高斯背景模型来获取更精确的 背景描述用以目标检测。 动态背景下运动目标检测由于存在着目标与c c d 之间复杂的相对运动，所以 算法也要比静态背景下运动目标检测算法复杂的多，常用的动态背景下运动目标检 测算法是匹配块法、光流估计法、图像匹配法以及全局运动估计法等方法。 1 3 运动目标跟踪发展现状 运动目标跟踪要依据目标和目标所处的环境，选择一个或多个能唯一表示目标 的特征，即就是所选的特征能够将目标从它的背景中区分开来，所以在运动目标跟 踪中主要的工作就是选择好的目标特征和采用适用的搜索算法。这些算法一种是为 了提高搜索其配的速度和搜索匹配的精度，一种就是通过预测目标在后续图像序列 中的可能出现的位黄来缩小搜索范围，从而缩短目标搜索的时间。 常用的特征匹配算法有绝对平衡搜索法( a b s ) 和归一化相关法( n c ) 这两种 2 长春工业大学硕士学位论文 都是经典的匹配算法【。文献 2 1 1 使用了一种目标模板和当前帧图像颜色直方图相 比的比率直方图进行实时的目标跟踪，并着重研究了对小目标的改进方法，文献 2 2 】 提出了基于人脸在h s v 颜色空间中的特征，利用均值偏移算法( m e a n - s h i l l a l g o r i t h m ) 实现了对人脸的实时跟踪。文献 2 3 ，2 4 1 提出了基于目标颜色直方图分布 的均值偏移跟踪算法，并用b h a r a e h a r y y a 距离作为目标模板和候选目标的相似性测 度，完成了对目标任意场景下的实时跟踪；基于边缘特征的目标跟踪算法常使用 h a u s d o r f f 距离检测目标模板和候选目标的边缘相似性完成对目标的跟踪；文献 2 6 】 提出了一种目标轮廓跟踪的算法c o n d e s a = 兀0 n 算法，此算法实际上就是利用 蒙特卡罗方法( m o n t ec a r l o ) 通过大量样本仿真得到一种无参统计模型，利用此模 型就可以表示任意目标的概率密度分布实现跟踪；实际应用环境是复杂多变的，往 往一种e l 标特征无法保证跟踪的有效性，所以就可以将多个目标特征结合起来联合 完成对目标的有效跟踪。 目标跟踪过程中在进行特征的匹配时，直观的方法是在下一帧图像中全图搜索 找到与目标模板最相似的候选目标位置，但这种算法非常耗时而且有时也是没有必 要的，因为目标最有可能出现在其附近的某个领域范围内，所以就需要寻找能够避 免全图匹配的快速跟踪算法。k a l m a n 滤波器【1 1 l 可以被用来预测目标在下一帧可能 出现的位置，目标定位时只需在预测位置的领域进行较少的目标模板和候选目标相 似性检测就可以确定目标在下一帧中的位置；另一类减少搜索范围的算法优化搜索 方向，均值偏移算法和置信区域算法都是利用无参估计 2 9 3 0 1 的方法优化目标模扳和 候选目标的距离的迭代收敛过程达到缩小搜索范围的目的。 1 4 课题研究意义 运动目标检测，是将被检测目标从背景中分离出来，它对于视频图像分析有着 重要的意义。运动目标检测在很多领域都有非常重要的作用，在运动目标跟踪中， 它是运动目标跟踪的基础和前提；在视频编码中，基于内容m p e g - 4 和m p e g 7 视 频编码标准【8 , 9 1 ，目标检测成为其技术的关键之一；此外，运动目标检测在模式识别、 计算机视觉等领域也得到了广泛的应用。 运动目标跟踪是数字视频技术发展中产生的一个重要的研究课题，其结果包含 着目标运动的大量信息，它在基于内容的视频传输、视频检索、医学图像分析、基 于安全要害部门的视频监控等许多领域有着十分重要的研究意义。此外，运动目标 跟踪在军事中的武器制导和控制，在提高武器打击的精度和准确度方面有着重要的 影响。 运动目标的检测与跟踪在技术上由于涉及到计算机图像处理、视频图像处理、 模式识别、以及人工智能等诸多领域，因而具有较强的研究价值和意义。目前，在 长春工业大学硕士学位论文 美国、日本、欧洲已经有大量的目标检测与跟踪的研究工作，并且也出现了大量的 国际会议和新闻组，在国内也出现了一定规模的研究，同时也定期召开一些相关会 议探讨研究成果和发展方向。 l 。5 本文主要研究工作 查找并阅读了大量国内外有关视频目标检测与跟踪的研究资料，深入研究并掌 握了当前最常用的几种目标检测与跟踪算法，系统学习了这些算法的基本原理、应 用领域以及算法本身的优缺点 帧间差分法、背景减法、光流法是运动目标检测最常用的方法，在比较和分析 这三种方法的优缺点的基础上，结合论文要求对背景减法进行了改进。对于视频运 动目标实时处理背景减法和帧间差法应用较广泛，在这两种方法的基础上提出了基 于时空特性的运动目标检测算法。在背景的恢复上采用了统计多帧图像在，( x ，y ) 处 的像素值，求取中值的方法，这种方法对于静态背景下的运动目标检测能够较好的 恢复出背景模型。 背景减法在提取运动目标时能够傲到对运动对象位置、形状的准确提取，但是由 于背景以及各种噪声的影响，分割所得到的对象区域的边缘并不一定能准确地与运 动对象的轮廓拟合，并且对象所包含的细节信息( 如脸部的五官细节等) 丢失或模糊， 不利于后续的识别与跟踪 在背景减法的基础上采用基于彩色梯度的活动轮廓算法( s n a k e ) 提取出准确的对 象轮廓，从而从运动序列中分割出完整的运动目标。 4 长春工业大学硕士学位论文 第二章运动目标检测与跟踪技术基础 2 1 视频捕获 视频图像捕获一般来讲有两种方法，一种是利用视频采集卡所附带的s d k 开发工 具，这种捕获方法的实现是与设备有关的，依赖于视频采集卡和摄像头的类型，不利 于灵活使用。另一种捕获方法是基于v f w ( v i d e of o rw i n d o w s ) 的纯软件采集。v f w 是 m i c r o s o f t 为w i n d o w s 操作系统增设的多媒体视频服务库，m i c r o s o f t 的v i s u a l c + + 从4 0 版本就开始支持v f w ，其中含有m c i a v i ，d r a w d i b ，a v i f i l e 和a v i c a p 等组件， 通过它们之间的协调工作，可以完成视频图像的捕获、播放、编辑、文件管理等功能， 为视频图像处理和分析带来了很大的便利。 2 1 1a v i c a p 简介 a v i c a p 窗口类是、，f w 的一个重要的组成部分，它的主要作用是实现视频的捕获。 a v i c a p 为应用程序提供了一个简单的、基于消息的接1 2 1 ，通过该接口，程序可以访问 视频和波形音频硬件并控制视频流到硬件的捕获。 a v i c a p 支持实时视频流捕获和单帧捕获并提供对视频源的控制。它能直接访问视 频缓冲区，而不需要生成中间文件，实时性很强，效率很高。在进行视频捕获之前需 要创建一个捕获窗，它是所有捕获操作及其设置的基础。使用a v i c a p 生成的捕获窗具 有以下功能： 将音频和视频流捕获到a v i 文件； 动态地连接或断开音频和视频输入设备； 以叠加( o v e r l a y ) 或预览( p r e v i e w ) 模式显示输入的实时视频信号； 指定捕获所用的文件，并可将捕获文件的内容拷贝到另一个文件； 设置捕获速率； 显示控制视频源和视频格式的对话框； 创建、保存和载入对话框； 将图像和调色板拷贝到剪贴板； 。 捕获和保存d i b 格式单帧图像。 与视频捕获相关的常用结构有四个： c a p s t a t u s ：定义了当前窗口的捕获状态，如图像的宽、高等； c a p d r j v e r c a p s ：定义了捕获驱动器的能力，如有无视频叠加能力、有无 控制视频源、视频格式的对话框等； c a p t u r e p a r m s ：包括控制视频捕获过程的各种参数，如捕获帧频、捕获时 间限制、捕获时间的缓存数、捕获终止方式( 指定热键或者鼠标的左右键) 等； 长春工业大学硕士学位论文 v i d e o h d r ：定义了视频数据块的头信息，在编写回调函数时常用到其数据 成员p d a t a ( 指向数据缓存的指针) 和d w b u f f e r l e n g t h ( 数据缓存的大小) 。前三个结 构都有对应的函数来设置和获取结构包含的信息。 2 1 2 用a v i c a p 实现视频捕获 用a v i c a p 窗口类实现实时视频捕获的一般流程见图2 1 设连获的设 繇 置接取能置处 捕视 视力捕 理 频 粲簇 获捕 采 窗 获 集态 口 视 设信模频 刨注 |翼 口 备 备息 式 覆纂 嚣篙 获调 窨曩 参 数 图2 1 ( 1 ) 创建视频捕获窗口 捕获窗口是所有捕获操作及其设置的基础，通过调用函数 c a p c r e a t e c a p t u r e w i n d o w 创建，该函数如果调用成功，则返回捕获窗口的句柄。 ( 2 ) 注册回调函数 回调函数是针对w i n d o w s 中的窗口而设置的，回调过程由系统完成，回调函数的 具体内容则由程序员自己设定。系统中某一回调函数被设定后，在某一特定的条件满 足时，系统自动调用该回调函数。在a v i c a p 窗口类有以下几个主要回调函数： e a p s e t c a l l b a e k o n f r a m e 0 ，用它注册的回调函数在预览的图像之前显示，工作 于p r e v i e w 模式，它允许对捕获图像进行处理后再显示出来。 c a p s e t c a l l b a c k o n e r r o r o ，用它注册的回调函数在有错误出现时被调用。 c a p s e t c a l l b a e k o n v i d e o s t r e a m 0 ，用它注册的回调函数当有视频流的时候调用， 它允许对视频流做相应的处理。 ( 3 ) 获取和设置捕获窗口采集参数 使用宏c a p c a p t u r c g e t s e t u p 可以获取当前捕获参数设置，该宏得到的参数放在 c a p n 爪e p a r m s 结构中，这个结构包含的参数控制视频流捕获过程，如捕获速率、 捕获时使用的缓冲量、捕获如何终止等。可以对c a p t u r e p a r m s 结构中的参数修改， 然后调用宏c a p c a p t u r e s e t s e t u p 进行更新。 ( 4 ) 与视频捕获设备连接 调用宏c a p d r i v e r c o n n e e t ( h w n d ，i l n d e x ) 将捕获窗口和视频采集设备连接起来。h w n d 是捕获窗口句柄，i l n d e x 是视频采集卡的索引号，该索引号允许的范围是0 - 9 。当有多 6 长春工业大学硕士学位论文 个视频设备时，捕获窗口可以根据索引号选择指定的视频设备进行连接。 ( 5 )设置捕获窗口的显示模式 用宏c a p p r e v i e w 将显示模式设置成p r e f i e w 模式，而用宏c a p o v e r l a y 将显示模式 可以设置成o v e r l a y 模式。p r e v i e w 模式占用c p u 资源，视频帧图像由系统调用g d i 函数在捕获窗口中显示；o v e r l a y 模式不占用c p u 资源，显示速度快，同时不影响系 统的其他任务。因为只有部分视频采集卡支持o v e r l a y 模式，所以在激活o v e r l a y 模式 前，应调用宏e a p d r i v e r g e t c a p s 获取视频设备的能力和状态信息。该宏得到的参数放 在c a p d r i v e r c a p s 结构中，该结构中的成员f h a s o v e r l a y 可以判断视频设备是否具 有o v e r l a y 模式。 ( 6 ) 捕获图像到缓存或文件并进行相应处理 如果对采集的视频流不进行保存，可以调用c a p c a p t u r e s e q u e n c e n o f i l e 来采集数 据；如果要将采集的视频流保存到磁盘时，则可调用宏c a p c a p t u r e s e q u e n c e 。在捕获到 视频流数据后，可通过调用回调函数做出相应的处理，把视频图像显示在新的窗口上 或者通过网络协议，传送到远程计算机上。若要捕获单帧图像，可以先调用宏 c a p g r a b f r a m e 获取视频流中的某一帧图像，保存在缓冲区里，再通过宏e a p f i l e s a v e d i b 把缓冲区的图像转化成d i b 位图保存在磁盘上。 ( 7 )终止视频捕获和断开与视频采集设备的连接 终止视频捕获可调用宏c a p c a p t u r e a b o r t 。断开与视频采集设备的连接则需要调用 宏e a p d r i v e r d i s e o r m e c t ，这一步在结束视频捕获程序时是必须的，否则将导致视频驱动 无法释放，其它程序将不能使用捕获设备。 图2 2 7 长春工业大学硕士学位论文 2 2 序列图像差分 2 2 1图像序列 运动目标检测的对象通常是图像序列，图像序列又称为视频序列，动态图像。所谓图 像序列，就是用图像传感器( 如摄像机) 采集的一组随时间变化的图像，它们具有给定的或 假设的相对顺序，并给出相邻两图像获取的时间间隔关系。图像序列一般可表示为： 厂( x ，y ，t o ) ，f ( x ，y ，t o , - - , f ( x , y ，t - 1 ) ) 或 五y ) 厶( 2 1 ) 其中k 为帧序( 图像序列的每一幅，引用电视技术术语也称为帧) ，n 为图像序列 的总帧数。t ，汪0 , 1 ，n - 1 指获取该帧图像的时刻，相邻两图像获取的时间间隔 a t ，= - t l - l ，i = 1 ，2 ，n - 1 。一般情况下时刻f ，在t l 之后，v f ，相等。 2 2 2差分图像 图像运动意味着图像变化。运动目标检测算法中的一个基本依据是图像强度的变 化，可以用图像序列中相邻时间的一对图像的差来表示强度的相对变化，图像差运算 定义为： 以( p ，t i ，t 2 ) = f ( p ，t 2 ) 一f ( p ，t i ) ( 2 2 ) 式中兀是差分图像，p = ( x ，力。式( 2 1 ) 运算只涉及对应像素强度的相减运算，因 此这种算法是相当简单的，并且适合于并行实现。图像差分在某种程度上反映了景物 的较高层次性质或蕴含在图像平面上的传感器运动的变化。如果景物中存在几个相对 独立的运动物体和一个移动的传感器，差分图像是这些运动效应的组合。对差分图像 的分析可得出如下结论： ( 1 )图像差分可以作为对图像函数进行时间求导的一种逼近。一个简单的两点有 限差分是对时间区间，2 一 的中问点处矽( x ，y ) d r 的一种逼近。 ( 2 )差分图像具有边缘图像的性质，这是由于图像的差分算法与图像梯度函数算 子具有类似的性质。象平面强度( 或纹理) 类似的背景里运动时，就不能得到有用的差分 图像信息。 差分图像所携带的信息并不恰好是绝对的图像强度变化，它涉及到变化的类型。 图2 3 给出了一个图像运动的三元图像描述的简单例子。 ( 3 ) 在实际图像中，差分图像与静止边缘图像一样，并不是由理想封闭的轮廓区 域组成，而往往是表示出不完整的变化信息。例如，当一个物体在与其图在 时刻二 值图像f ( p ，) 含有一个强度为l 的方形区域，该区域以一个恒定水平速度v 朝右运 长春工业大学硕士学位论文 动，其背景的强度为零，因此，时刻的图像含有移到右边的区域。该例图像的差分 结果为： 由于在乞一t l 时间间隔，没有覆盖强度为0 的背景，差分结果含有强度为一无的 区域； 由于在f ：一t 。时间间隔右移的部分覆盖了原来强度为o ”的背景形成具有正的区 域； 在两幅图像同时存在物体的区域，差分运算使该区域的强度变为o ”； 其余没有变化的背景区域仍为0 。 f ( p , t 1 ) f ( p ，t 2 )兀( p tt 2 ) 图2 3 差分图像的三元描述 由此可见，二值图像序列的差分图像的强度由三种值构成，并由四个区域组成， 将差分图像分割成上述这些区域，可以估计出运动的方向。 从上述分析可以看出，差分图像反映了前后两帧图像强度的变化，还能简单的估 计运动的方向。但是差分图像也存在如下的局限性：第一，前后两帧的差分图像只能 反映该两帧图像中运动物体的相对位置变化；第二，它也忽略了缓慢运动目标和运动 着的小物体。 2 2 3累积差分图像 前面的差分图像运算中应用了时变图像数据的两幅连续时间样本( 或帧) 。重复使用 差分方法，计算出的输出图像表示了在感兴趣的时间间隔上的累积运动历程，而且图 像变化信息遍及整个差分结果图像。假设在t l 、t ：、t 。时刻存在图像的时域样本，累 积差分图像定义为： 力( p ，t 2 ) = 力( p ，t l ，t 2 )( 2 3 ) t 。时刻的累积差分图像 9 长春工业大学硕士学位论文 厶( p ，t 。) = 厶( p ，t 。一，t 。) 一矗( p ，一1 ) ( 珂3 ) ( 2 4 ) 式( 2 3 ) 的递归过程使二携带了整个时间区间的运动信息。累积差分图像也可用绝 对值表示。累积差分输出图像的动态范围随t 增加而变小。 2 3 图像变化检测 变化检测( c h a n g ed e t e c t i o n ) 是检测、分析和分离某一对象或系统在运行过程中所发 生的各种变化的一种技术。变化检测有着十分广泛的应用，包括目标跟踪、入侵监视 系统与车辆监视系统、帧间数据压缩和医学图像数据的解释等。由于运算简单，图像 差分是图像变化检测的常用方法。它只需计算两幅图像中对应像素强度差值的绝对值， 绝对差分图像中像素值大的部分反映了图像具有显著变化的区域。差分图像通常依据 一些预先给定的阈值进行二值化处理以得到一个变化与非变化的分类。二值化阈值的 选择很关键，若选的太小，变化检测输出图像中会带入大量的伪变化；相反，若选的 太大，就会抑制某些显著变化。阈值的适当选择依赖于场景和视觉条件，也就是说， 要得到好的变化检测的输出图像，就应该根据图像的内容自适应地选择二值化处理的 阈值。 一幅图像f ( x ，y ) 可以分解为图像信号s ( x , y ) 和噪声n ( x ，y ) 两部分，而二者在图像 中都有强度和空间两种分布属性，因此变化检测的阈值选择方法可依据它们的组合方 式分成四类( 见表2 1 ) 来讨论p 7 捌。 表2 1 变化检测的阈值选择技术 噪声信号 强度正态模型强度分布 空间p o i s s o n 模型稳定的区域数 2 3 1噪声分布强度的正态模型 建立噪声分布强度模型的目的是对噪声强度的分布进行评估，以便使选取的阈值 能在消除大部分噪声的同时保留表征变动的信号。 在许多情况下，图像中的噪声可假设服从零均值的正态分布n ( 0 ，1 7 2 ) 。但是，有 时更倾向于选择边缘图像而不是强度图像，这是因为边缘图像在照明条件变化的情况 下对变化检测而一言更稳健。 v o o r h e e s 和p o g g i o 指出梯度算子生成的边缘图像中噪声服从瑞利( r a y l e i g h ) 分布： ，2 r ( x ) = 1 xp 孑；x 0 盯 1 0 长春工业大学硕士学位论文 设两幅边缘图像中噪声为独立的随机变量f 和吁，要得出差分图像d 刊f 一i 中噪 声的密度分布，可先考虑对称函数c = f j 7 ，它的概率密度函数正( c ) 等于g 和r l 的密度 函数的卷积，即 z ( c ) = 肛( c 一石) 厶 ) 出 对r a y l e i g h 函数f a x ) = f a x ) = r ( z ) ，我们可得到： ( 2 6 ) f a x ) = 堆盯一号+ z 删旁一碰勃 亿， 8 0 - 2 e 2 0 2 2 2 。 这里鬈 ) 是广义的l a g u e r r e 多项式。因为d 爿c i ，所p a f d ( x ) = 2 l ( x ) ，x - 0 。 图2 4 概率密度函数，。和n ( o ，1 ) 从图2 4 可以看出，正和正态分布很相似，特别是在靠近尾部处。而我们主要关 心分布函数在靠近尾部处的走向，因为我们希望以此为依据去除绝大部分噪声，所以 可合理地把厶近似为一个正态分布n ( o ，盯2 ) 。 但是，分布的方差盯2 仍然未知，需要从图像数据中估计出来。由于差分图像还包 含了相当成分的运动信号，以孤立点的形式出现，所以对噪声方差的稳健估计是必要 的。r o s i n 使用最小中值平方( l e a s tm e d i a no fs q u a r e s ：l m e d s ) 的方法估计出 国= l m e d s 0 3 3 7 2 4 ，使孤立点的影响最小，如根据正态分布的3 盯准则选取阈值，可 望使噪声点误判为运动点的出错率小于千分之三。 2 3 2图像信号的强度模型 即使对噪声可以建模分析，变动区域的强度和差分图像的强度仍然未知，需要从 原始图像中得出。但根据单个像素的灰度变动值进行分析，量化“显著变动”并非易事。 长春工业大学硕士学位论文 于是，j a i n 和n a g e l 及h s u 等提出了窗口的方法，把每一个像素的窗e 1 内的所有像素 的灰度值累加到该像素上，然后比较两窗口的差别。e g h b a l i 则将非参数化的 k o l m o g o r o v - s m i m o v 检验应用于卫星成像的变化检测。该方法对图像的缩放和补偿保 持不变，所以各个窗口可以规范处理为零均值和单位标准差。r o s i n 则改用c r a m e r - v o n m i s e s 检验，结果有了改进。但这些方法的问题都是对噪声和窗口的大小敏感，为解决 问题带来了很大的不便。 2 3 3噪声空间分布的p o b s o n 模型 差分图像中大多数点属于图像相减后残留的噪声点，设立模型并非是要检测出空 间上随机分布的噪声，而是希望避免噪声再出现在阈值处理过的图像中。白噪声的空 间分布是随机的，对其空间数据随机性的分析有众多测度作为手段。通常假设数据的 空间分布服从p o i s s o n 分布，于是其均值等于方差。此时，给出一个阈值就可把差分图 像中大于该阈值的象素集合分离出来，以计算其相对方差= s 2 工。尽管一对窗口大 小和点密度敏感，只要x 充分大，仍能胜任工作。 2 3 4图像信号的空间分布模型 变化区域的位置、大小和个数一般是未知的。如果阈值被设置在噪声级水平上， 则其微小改变都会引起区域数的实质性改变；反之，如果阐值在很大范围取值时，区 域数都能保持相对稳定，则可认为这一取值范围中的阈值对于变化检测都是合适的。 因此，可用区域数指示阈值设置的合理与否。r o s i n 和e 1 1 i s 进而提出以局部可数的、 易于操作的区域欧拉数来代替区域数。这是因为在阈值很小的时候，会有很多由噪声 引起的区域( r ) 和孔( 岣，随着阈值的增大，区域和孔的数目减少，这时欧拉数( e = r - h ) 趋于稳定。 2 4 形态学图像滤波 为了解决阈值分割后的差分图像可能会存在一些目标空洞和少量的孤立噪声问 题，使用了数学形态学图像处理。形态学一般指生物学中研究动物和植物结构的一个 分支，后来人们用数学形态学表示以形态为基出对图像进行分析的数学工具。数学形 态学的基本思想是用具有一定形态的结构元素取度量和提取图像中的对应形状以达到 对图像分析和识别的目的。该技术一般以二值图像为处理对象，但也可以用在某些灰 度图像的应用中。 基本的形态学运算是腐蚀和膨胀【2 _ 7 】，腐蚀( e r o s i o n ) 是消除目标图像中的无用点( 或 孤立噪声点) 的一个过程，其结果使得剩下的目标比处理前减少了二一些像素。一般意 义的腐蚀定义是： x 用b 来腐蚀记为x o b 。定义为： 长春工业大学硕士学位论文 e = x 。口= p ，力i 西x ) ( 2 8 ) 腐蚀过程可以描述如下：b 平移( x ，) ，) 后仍在集合j 中的结构元素参考点的集合。 换句话说，用口来腐蚀x 得到的集合b 完全包括在集合x 中时b 的参考点位置的集合。 膨胀( d i l a t i o n ) 是腐蚀运算的对偶运算( 逆运算) ，它是将与目标接触的所有点合并 到该目标的过程，过程的结果是使目标的面积增加了相应数量的像素。膨胀在填补分 割后目标的空洞很有用。x 用b 来膨胀记为x o 曰定义是： d = x o b = 似y ) i 【吃，n x 】x ) ( 2 9 ) 膨胀过程可以描述如下：用b 来膨胀z 得到的集合b 的位移与集合x 至少有一个 非零元素相交时结构元素口的参考点位置的集合。 对图像进行腐蚀运算的作用是消除物体边界点。腐蚀可以把小于结构元素的物体 去掉。另外，如果两个物体之间有细小的连通，那么选择适当的结构元素，通过腐蚀 运算就可以把两个物体分开。 辫警，羼 筚匿鞠 黔攀鞫 留。斓。岁 。 篇 7 一嵇霉 麟：叠嵩撼蕊算示镌 先腐蚀后膨胀的过程成为开运算( o p e n n i n g ) 。它具有消除细小目标、在纤细点处分 离目标和平滑大的边界，有不明显改变其面积的作用。开运算的定义为： x 。b = ( x 0 口) 0 b f 2 1 0 ) 先膨胀后腐蚀的过程称为闭运算( c l o s i n g ) 。它具有填充目标内部细小空洞、连接邻 近目标，在不明显改变面积的情况下平滑其边界的作用，闭运算的定义为： x , b = ( x o b ) o b ( 2 1 1 ) 长春工业大学硕士学位论文 开运算和闭运算也具有对偶性。开运算和闭运算都可以除去比结构元素小的特定 图像细节，同时保证不产生全局的几何失真。开运算可以把结构元素小的突刺滤掉， 切断细长搭接而起到分离作用。闭运算可以把比结构元素小自或孔填上，搭接短 的间断而起到连通作用。 雷冒3凌瑟瑟鬣霪。鬣纛蘧蜇 毒辑m 媾镪鞣绥嚣 瓣黧舞辍藏塘鳞一 墨? 屠 翻2 8 溺运算示铡 通常情况下，对差分图像使用阈值分割二值化时，所得到的二值化图像中目标区 域的边界往往不是平滑的，目标区域具有一定的因错判而产生的空洞，背景区域上有 一些因错判而产生的粒状噪声。连续的开和闭运算可以显著的改善这种情况，得到期 望的效果，但这里要说明的是，选择合理的膨胀，蚀，或开闭运算组合对处理效果有很 大的影响。 在形态学算子中还有许多变形算子，它们可以完成一些其他的处理，如收缩 ( s h r i n k i n g ) 、细化( t h i n n i n g ) 、骨架( s k e l e t o n i z a t i o n ) 、剪枝( p r t m i n g ) 和粗化( t h i c k e n i n g ) 等。 ， 1 4 长春工业大学硕士学位论文 第三章运动目标检测 运动目标检测是数字图像处理技术的一个主要部分，是各种后续高级处理如目 标识别与跟踪、运动图像编码，基于内容的检索、安全监控等视频分析和处理应用 的关键步骤【l 】。运动目标检测是指从视频流中实时提取目标，一般是确定目标所在 区域和颜色特征等。运动目标检测依据前景目标所处的背景环境，可划分为两类一 静态背景下运动目标检测和动态背景下运动目标检测【2 】，本章结合论文的工作实际 主要研究摄像机不发生运动的静态背景下运动目标检测算法。本章第一节介绍了运 动目标检测算法的基本分类，并对与动目标检测的基本方法给予介绍，最后通过实 验结果给出对比。第二节介绍了几种自适应阈值分割算法和形态学图像滤波的基本 概念和算法。第三节对基于统计模型的背景减算法进行了深入的研究。第四节对背 景减算法在轮廓和细节保留上进行了改进。第五节给出了背景减算法与改进算法的 实验结果对比。 3 1 运动目标检测的基本方法 运动目标检测效果的好坏直接关系到运动目标跟踪，而且也关系到整个系统的 优劣和实用性。一个好的运动目标检测算法，应该能适应于所监视的各种环境，通 常一个优秀的运动目标检测算法应具有一下的特征： 不依赖于摄像头的安装位置； 在各种天气条件下应是鲁棒性的； 对环境光线的变化应是鲁棒性的； 能够处理杂乱无章的大面积区域的各种运动，以及视场内目标的叠加； 能适应场景中个别物体运动的干扰，如数目的摇动，水面的波动； 人们总是希望能有一个适用于监视各种各样环境，能够满足各种要求以及普遍 适用的一个运动目标检测算法，但是，实际应用中要达到这样的要求是十分困难的。 因为，实际应用中不但要考虑到算法要尽量适用于多种环境，而且还要在算法的复 杂度、可靠性、稳定性以及实时性等诸多方面折中考虑。 通常情况下，运动目标检测的算法可以按照被监视场景是室内还是室外分为室 内监测算法和室外监测算法，也可以按照算法具体使用的方法分为连续帧间差分法、 背景减法和光流法。具体来讲，一个室内监视算法相比于室外监视算法，它所处