（通信与信息系统专业论文）视频图像中运动目标检测与跟踪的算法研究.pdf

视频图像中运动目标检测与跟踪的算法研究 摘要 视频图像中运动目标的检测与跟踪是计算机视觉的主要研究方向之一，由于 其融合了图像处理、模式识别、自动控制、人工智能等许多领域的先进技术，在 许多方面有着广泛的应用。 本文主要在静止背景下对运动目标的检测和跟踪算法做了深入的研究。 在运动目标检测方面，首先介绍了传统的目标检测算法，分析了其优点和不 足。对基于背景高斯模型的目标检测算法进行了比较详细的分析和论述，然后在 此基础上提出了一种将三帧差法跟高斯背景建模相融合的一种方法，经实验证 明，该算法可以有效的改进高斯建模的不足，具有很好的鲁棒性。 在运动目标跟踪方面，首先介绍了运动目标跟踪方法的分类及几种常用的跟 踪方法。重点研究了基于卡尔曼滤波的跟踪方法和c a m s h i f t 跟踪方法。基于卡 尔曼的跟踪是利用目标的运动信息进行跟踪，而c a m s h i f t 算法是利用目标本身 的颜色特征实现跟踪。虽然c a m s h i f t 算法具有收敛速度快的优点，但是当目标 被严重遮挡是会丢失目标，造成跟踪丢失。在此，本文将卡尔曼滤波和c a m s h i f t 算法结合起来，改善了原有算法在运动过程中被遮挡而造成的目标丢失现象，并 通过实验验证了本算法的可行性。 关键词：目标检测；目标跟踪；卡尔曼滤波；c a m s h i f t 算法 r e s e a r c ho nt e c h n o l o g yo fm o v i n gt a r g e td e t e c t i o n a n dt r a c k i n go nv i d e oi m a g e a b s t r a c t m o t i o nt a r g e td e t e c t i o na n dt r a c k i n gi so n eo ft h em o s ti m p o r t a n ts u b j e c t si n c o m p u t e rv i s i o n ，w h i c hc o m b i n e sa d v a n c e dt e c h n o l o g i e si ni m a g ep r o c e s s i n g , p a t t e r n r e c o g n i t i o n ，a u t o m a t i cc o n t r o l ，a r t i f i c i a li n t e l l i g e n c e ，a n do t h e rr e l a t i v ef i e l d s i th a s b r o a d l ya p p l i e di nm a n ya s p e c t s s ot h i ss u b j e c t r e s e a r c hh a si m p o r t a n tt h e o r e t i c a l s i g n i f i c a n c ea n dp r a c t i c a lv a l u e f o r mt h es t a t i cb a c k g r o u n d ，t h i sp a p e rm a d ev a l u ee x p l o r a t i o na n di m p r o v e m e n t o i lm o v i n gt a r g e td e t e c t i o na l g o r i t h ma n d t r a c k i n ga l g o r i t h m i nt h em o v i n gt a r g e td e t e c t i o na s p e e t ，f i r s t l y , c u r r e n tt h e o r i e so ft a r g e td i c t i o n w e r es u m m a r i z e d ，a n da n a l y z e dt h e i rs t r e n g t h sa n dw e a k n e s s t h e n , t h eo b j e c t s d e t e c t i o nm e t h o d sb a s e do ng a u s s i a nm o d e la r ea n a l y z e da n dd i s c u s s e di nd e t a i l ，a n d an e w a l g o r i t h mi sp r o p o s e d n ee x p e r i m e n t sr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o d c a l lo b t a i nam o r eo b j e c t sd e t e c t i o nr e s u l t i n t h em o v i n g t a r g e tt r a c k i n ga s p e c t , t h i sp a p e r c o n c l u d e st h er e l a t i v e t e c h n o l o g i e s ，i n t r o d u c e st e m p o r a ld i f f e r e n c e ，a n da n a l y z e dt h ea d v a n t a g e sa n d d i s a d v a n t a g e so ft h ee v e r ym e t h o d t h ei m p o r t a n ts t u d i e st h et r a c k i n gm e t h o db a s e d o nk a l m a nm o t i o ne s t i m a t i o na n dc a m s h i rt r a c k i n gm e t h o d t h et r a c k i n gm e t h o d b a s e d - o nk a l m a nm o t i o ne s t i m a t i o nu s e st h em o t i o ni n f o r m a t i o nf o rt r a c k i n g ；n e c a m s h i f lt r a c k i n gm e t h o du s e st h ec o l o ri m a g ei n s t e a do fg r a yi m a g e a l t h o u g ht h e c o n v e r g e n c eo fc a m s h i f tt r a c k i n gm e t h o di sf a s t e r ，i ft h ec o l o ro fm o v i n go b j e c ti s s i m i l a rt ob a c k g r o u n d ，o ro b j e c t sw i l lb eas e r i o u sl o s so ft h eo b j e c tb l o c k ，t h eo b j e c t s i z ec h a n g e sa l s om a yr e s u l ti nl o s st r a c k i n g t h ep a p e rp r e s e n t e da l li m p r o v e d c a m s h i f la l g o r i t h m ，c o m b i n e dt h ek a l m a nf i l t e r i n g t h ee x p e r i m e n t a lr e s u l t ss h o w t h a tt h ei m p r o v e da l g o r i t h mt oi m p r o v et h em o v i n go b j e c tt r a c k i n ga l g o r i t h m r o b u s t n e s s k e y w o r d ：t a r g e td e t e c t i o n ；t a r g e tt r a c k i n g ； k a l m a nf i l t e r ；c a m s h i r a l g o r i t h m l i 视频图像中运动目标检测与跟踪的算法研究 1 绪论 1 1 选题背景和研究意义 在人类感知信息的科学研究当中，科学家发现视觉的信息大约占了6 0 ，而通 过其它方式接收的信息大约只占到4 0 。一般来说，在这些所接收到的视觉信息中， 动态的信息是人们最感兴趣的。因此如何获取和处理视觉信息中的动态信息就成了 人们非常感兴趣的研究课题。 随着计算机的出现，人们可以通过数字设备获取环境图像，使得计算机替代了 。人类的大脑，实现了对视觉信息处理的全过程。但是计算机的致命缺陷就是对外部 世界的感知能力与人类视觉相比相差太远，这成为开拓计算机运用的瓶颈，也与其 强大的运算能力形成了强烈的反差。计算机视觉这门科学产生的原因就是为了把人 从繁重的视觉劳动中解放出来，使计算机系统具有模拟人类通过视觉接受外界信息， 并具有识别和理解周围环境的感知能力，用计算机来代替或协助人类感知模式。 计算机视觉是一个跨学科的研究领域，现在的研究发展十分迅速，并且其研究 领域相当新颖。计算机视觉的研究目标是使计算机具有通过图像认知周围环境信息 的能力，这里的图像指动态图像，和静止图像相比，运动图像包括了更多的信息。 这种能力不仅使计算机能感知环境中物体的几何信息( 包括它的形状、位置、姿态、 运动等) ，而且能对它们进行描述、存储、识别和理解。它的研究内容主要包含对视 觉图像中运动目标进行检测，然后对感兴趣的目标进行跟踪，以及对一些运动目标 的行为进行理解和描述n 1 。视频图像中运动目标的检测与跟踪做为计算机视觉的两 个重要的基础内容，一直都是国内外众多研究人员的研究方向。 运动目标检测是工作的第一步，主要工作是实时地从视频场景中检测到运动目 标，并且准确地把目标提取出来。检测结果将直接影响到后续跟踪及一系列工作的 进行。运动目标跟踪是在运动目标检测的基础上，确定同一个运动目标在不同图像 序列中位置的过程。运动目标检测与跟踪广泛的应用的各个行业，主要有以下几个 方面：在交通上用于监视场景和交通管理，行人或运输工具的违章行为监督；在军 事上用于监控军事基地，监控国境线等方面；在医学上用于生物组织运动分析等方 面；尤其在场景监控等安全防范领域，运动目标检测与跟踪技术得到了广泛应用。 视频图像中运动目标检测与跟踪的算法研究 基于自动检测的视频监控系统，与原来完全依靠人眼来进行监控的系统相比，很大程 度上减轻了监控人员的工作强度，随之减少的是漏报的问题。视频监控系统在交通 控制系统、工业生产部门、社区和金融的安全防范系统中得到了广泛的应用。因此， 运动目标检测与跟踪的研究具有非常重要的意义。 1 2 国内外研究现状及难点问题 目前，国内外的许多高校和研究机构都致力于计算机视频监控的研究与应用。 在国外，1 9 9 5 年，y z c h e n m 。将无参估计理论应用到目标跟踪领域，提出基于 m e a n s h i f f 算法的目标跟踪算法。2 0 0 1 年，g - i j c o n gj a n g 瞄。等人提出用自适应颜色模 型进行目标跟踪，同年yb a r - s h a l o mx r l ia n dt k i r u b a r a j a n h l 等提出基于运动估 计的跟踪算法。2 0 0 7 年，r v e n k a t e s hb a b t 5 】等提出基于运动估计与颜色模型相结合 的跟踪算法。 相对与国外来说，国内对于运动目标检测与跟踪的研究起步比较较晚，不过随 着信息技术的飞速发展和国家的高度重视，国内的很多研究机构和院校都开展了与 之相关的研究。中国科学院北京自动化研究所下属的模式识别国家重点实验室视觉 监控研究组处于领先地位。他们针对系统中运动目标检测与跟踪等关键性问题，进 行了深入的研究和探讨，并取得了一系列的研究成果嘲。中国科学院计算机所的先 进入机通信技术联合实验室研制了汽车牌照自动识别系统和人脸检测识别系统。西 安交通大学的人机所口1 对自适应巡航控制中的车辆跟踪的研究采用光流法和帧差法 两种算法。微软亚洲研究所和上海交通大学联合实验室研发的实时自动人脸识别系 统可以在不同光照视角和表情下提供自动实时，高精度的人脸检测，跟踪，定位和 识别咖。青藏铁路2 0 0 7 年1 0 月全面竣工验收，它是全国第一条采用最为先进的视 频监控及智能分析技术的高原铁路嘲。 1 2 1 运动目标检测现状 运动目标检测，就是把图像中感兴趣的运动目标从背景图像中提取出来，从而 区分背景和目标n 0 1 。由于背景图像的动态变化，使得运动目标检测成为一项相当困 难的工作。目前运动目标的检测和提取运用比较多的主要有背景相减法，帧差法和 2 视频图像中运动目标检测与跟踪的算法研究 光流法n 。 背景相减法是最常用的运动目标提取方法。其原理首先是获取背景图像，再把 当前图像和背景图像相减，从得到的差值图像中提取出运动目标。背景相减法可以 得到运动物体更为完整的信息，但是此种方法对噪声和光线的变化比较敏感，需要 对背景作不断更新。并且在大多数情况下，背景图像的获得比较困难。因此如何从 视频序列中提取背景图像是亟待解决的问题。 帧差法的基本原理是在连续的图像序列的两个或三个相邻帧间，将相应的像素 的灰度值相减，将得到的灰度值与设定的阈值相比较来提取图像中的运动区域。它 的突出优点是实现简单，运算速度快，大多数情况下检测效果良好。缺点是一般情 况下得到运动目标的信息不是很完整，需要较多的后期处理来完善。 光流法采用了运动目标随时间变化的光流特性。光流是指图像灰度模式的运动 速度。光流中不仅包括了被观察物体的运动信息，还包括了有关物体的结构信息光 流场的不连续性，因此可用来将图像分割成对应于不同运动物体的区域。该方法的 优点是能准确地检测出独立的运动目标。其缺点是抗噪性能较差且计算方法相当复 杂。 以上是常用的目标检测方法，基于此还有很多改进的方法。一种是将背景相减 法和帧差法相结合n 剖，融合了两种方法的优点，取得了较理想的效果。但是这种方 法的缺点是目标相关点保留较少以及目标轮廓检测不完整。背景差分法的一个重要 前提是预先知道背景，方法中除了直接获取之外，还有统计平均法d 引。它是通过对 连续的图像序列进行统计平均来获得背景图像的一种方法。为了更好的得到背景， r t c o l i n 等提出了建立单高斯模型，g r i m s o n 等提出了自适应混合高斯模型来获取 更精确的背景用来描述目标检测n 们。 1 2 2 运动目标跟踪现状 运动目标跟踪，就是检测到运动目标后，提取出其特征和模式，采用一定的预 测和匹配算法，估计运动目标在后续帧中出现的位置。简单的说，就是在序列图像 中为目标定位。目前的视频运动跟踪算法的方法大致可以分为以下四类： 基于区域的跟踪( r e g i o n - b a s e dt r a c k i n g ) 基于区域的跟踪算法基本思想是：首先得到包含目标的模板，该模板通过图像 3 视频图像中运动目标检测与跟踪的算法研究 分割获得或是预先人为确定，模板通常略大于目标的矩形，也可为不规则形状，然 后在序列图像中，运用相关算法跟踪目标，对灰度图像可以采用基于纹理和特征的 相关，对彩色图像还可以利用基于颜色的相关。该算法还可和多种预测算法结合使 用，如线性预测、二次曲线预测、卡尔曼预测等，以用来估计每幅图像中目标的位 置。这种算法的优点在于当目标未被遮挡时，跟踪精度非常高，跟踪非常稳定。但 其缺点首先是费时，当搜索区域较大时情况尤其严重。其次，算法要求目标变形不 大，且不能有太大遮挡，否则相关精度下降会造成目标的丢失。近年来，对基于区 域的跟踪方法关注较多的是如何处理模板变化时的情况，这种变化是由运动目标姿 态变化引起的，如果能正确预测目标的姿态变化，则可实现稳定跟踪。 基于特征的跟踪( f e a t u r e - b a s e dt r a c k i n g ) 基于特征的跟踪算法包括特征的提取和特征的匹配，一般也采用相关算法。与 基于区域的跟踪算法的不同之处在于，后者使用目标整体作为相关时的对象，而前 者使用目标的某个或某些局部特征作为相关时的对象。这种算法的优点在于即使目 标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务，另 外，这种方法与卡尔曼滤波器联合使用，也具有很好的跟踪效果。这种算法的难点 是对某个运动目标，如何确定它的唯一特征集? 这也是一个模式识别问题。若采用 特征过多，系统效率将降低，且容易产生错误。 基于变形模板法的跟踪( d e f o 邢a b l e 二t e m p l a t e b a s e dt r a c k i n g ) 变形模板是纹理或边缘可以按一定限制条件变形的面板或曲线。在视频目标跟 踪过程中，比较常用的变形模板是由k a s s 在1 9 8 7 年提出的主动轮廓模型，又称为 s n a k e 模型。s n a k e 模型非常适合可变形目标的跟踪，如对运动细胞的跟踪，这种模 型与卡尔曼滤波相结合能够更好地进行跟踪。 基于模型的跟踪( m o d e l - b a s e dt r a c k i n g ) 对运动目标进行跟踪时，通常有三种形式的模型，即线图模型、二维轮廓模型 和立体模型。线图模型的方法是将目标的各个部分以直线来近似；二维轮廓模型的 表达方法直接与运动目标在图像中的投影有关，利用投影来建立目标的投影模型； 立体模型利用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节。在实际的 视频跟踪算法中，更多的是采用运动目标的立体模型进行跟踪，尤其对于刚体，如 汽车的跟踪。这种方法的优点是，可以精确地分析目标的三维运动轨迹，即使在运 4 视频图像中运动目标检测与跟踪的算法研究 动目标姿态变化的情况下，也能够可靠地跟踪。但是其缺点在于，运动分析的精度 取决于几何模型的精度，在现实生活中要获得所有运动目标的精确几何模型是非常 困难的。这就限制了基于模型的跟踪算法的使用。同时，基于立体模型的跟踪算法 往往需要大量的运算时间，很难实现实时的运动目标跟踪。 1 2 3 研究难点 尽管运动目标检测与跟踪在研究上已经取得了一定的成果，但仍有很多难点问 题需要高度的关注。主要有以下几个方面： ( 1 ) 目标提取的准确性。在实际情况中，背景图像并不是完全是静态的，容易受 到外界的影响，比如光照条件的改变、有随风飘落的树叶、墙上旋转的电风扇等都 可能是背景发生改变，这时运动的背景有可能被当成目标进行处理。对于干扰的虚 假目标，需要在跟踪之前排除。 ( 2 ) 实时性与准确性的冲突。现实情况下的视频监控要求检测和跟踪的算法需要 具有实时性的特点。但是，由于视频序列数据与字符数值类数据有很大的不同，它 有巨大的数据量。在进行算法设计时，为了提高实时性，需要减少目标的特征和复 杂度：而另一方面为了提高准确度，需要使用多个特征进行综合判断，算法为了计 算某一个特征就需要花费大量的时间。因此造成了目标跟踪同时具有实时性与准确 性的冲突。 ( 3 ) 跟踪过程中的遮挡处理。在目标跟踪目标的过程中，运动目标经常会被场景 中其他物体或者光线阴暗区域遮掩的问题。尤其在多目标的情况下快速准确的跟踪 十分困难。在这种情况下检测目标只有部分是可见的，这就需要跟踪算法具有一定 的鲁棒性，仍然能够通过部分信息找到目标。 1 3 论文的主要研究工作 本文主要对运动检测与跟踪两个方面进行了研究。总结了国内外现有方法，在 此基础上分析其优点和不足，并对其中一些算法上进行了改进，通过实验的方法验 证了算法的有效性。本文具体章节安排如下： 第一章绪论 主要介绍了视频图像中运动目标检测与跟踪的选题背景和研究意义，对当前运 动目标检测与跟踪技术的现状及难点问题进行了相关的阐述。最后概括了本文的主 视频图像中运动目标检测与跟踪的算法研究 要研究工作和章节安排。 第二章图像处理基础知识一 主要介绍了运动目标检测与跟踪需要的图像处理知识，包括灰度图转化，直方 图均衡化，数学形态学处理等，为后续研究提供理论基础。 第三章运动目标检测 首先对传统的运动目标检测方法进行了详细的介绍和深入的研究，指出了各自 的优点和缺陷。并在此基础上提出了一种改进的算法，通过实验验证，该方法确实 有所改进。 第四章运动目标跟踪 研究了运动目标跟踪的常见算法的优点及其不足，重点研究了k a l m a n 滤波和 c 锨翰三f t 算法跟踪，在已有算法的基础上将卡尔曼滤波和均值漂移算法相融合，并 通过实验表明，该方法具有在目标被遮挡的情况下具有很好的鲁棒性。 第五章总结与展望 主要对本文所做的相关工作进行了总结，指出了存在的不足，并对今后的发展 方向和前景作展望。 6 视频图像中运动目标检测与跟踪的算法研究 2 图像处理基础知识 视频图像中运动目标检测与跟踪研究涉及到众多的研究领域，如计算机视觉、 数字图像处理、信息融合、人工智能与模式识别等。本章系统地介绍与本课题研究 有关的运动目标检测的图像基础知识，为后续内容的展开打下了坚实的基础。本章 主要介绍了图像的灰度变换、中值滤波，均值滤波的概念及其验证，并介绍了形态 学的概念及相关运算。 2 1 图像灰度变换 本文所采集到的视频格式为r g b 彩色图像。r g b ( r e d ，g r e e n ，b l u e ) 是最常用 的颜色空间，广泛应用在彩色摄像机、扫描仪和数码照相机等领域。它通过红、绿、 蓝三原色的相加来产生其他的颜色。其配色方程为式( 2 - 1 ) ： c = a r + 6 g - t - c b 反b , c 0 ( 2 1 ) 其中，c 为任意一种颜色，r 、g 、b 分别代表红、绿、蓝三种颜色，而a ，b ，c 则是三原色的权值，因此，r g b 颜色空间是一种加色混色系统，其对应的颜色空间 在视觉上是非均匀的，同时它还是一个与设备相关的、颜色描述不完全直观的颜色 空间。 为了加快处理速度并且提高图像对噪声的敏感度可以将r g b 图像转换为灰度图 像。灰度图像只含亮度信息，不含彩色信息的图像，就如平时看到的黑白照片。灰 度图变现为一个通道，用不同的灰度色阶来表示，通常划分为0 - 2 5 5 ，其中0 最暗 是全黑，2 5 5 最亮是全白。 本文中将r g b 彩色图像转化为灰度图像，转化公式如2 - 2 所示： g r a y ( i ，d = o 3 r ( i ，d 十0 5 9 g ( i ，力十o 1 1 b ( i ，d ( 2 - 2 ) 其中，g r a y ( i ，j ) 为转换后的灰度图像在( f ，j ) 点处的灰度值。 2 2 图像去噪平滑算法 任何一幅原始图像在获取和传输过程中，由于外界环境的干扰必然包含一些干 视频图像中运动目标检测与跟踪的算法研究 扰噪声。主要来源有三个方面：一是光和电的基本特性引起的噪声；二是由于摄像 机采集图像的不稳定性；三为是自然起伏性噪声，有物理量的不连续性或粒子性所 引起。这类噪声又可分成热噪声、散粒噪声等。对于这些干扰信号的抑制称为图像 的噪声抑制n 钉。噪声对图像处理十分重要，它影响着图像处理的输入、采集、处理 的各个环节及输出结果的全过程。一个良好的图像处理系统必须把减少噪声作为主 要的目标。因此消除采集图像的噪声干扰，是视频目标检测和跟踪前的必要步骤。 依据噪声的特征，一般消除噪声的方法为空间域法和频域法两大类。频域法 是将图像变换到某个变化域中，修改变换后的系数，然后再进行反变换得到处理后 的图像，例如小波变化域。这种方法可以得到很好的去噪效果，但是计算复杂度高， 消耗的时间长。由于运动目标检测这样的实时要求较高，本文选取空域法。空域法 一的原理一般是利用缀素灰度值与模板进行卷积运算来实现滤波效果，其中常用有中 值滤波和均值滤波。 2 2 1 中值滤波 中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术 n 刀。在一定条件下，中值滤波对线性滤波器，如最小均方滤波和均值滤波等带来的 图像细节模糊有很好的处理效果，尤其对脉冲干扰和图像扫描噪声的处理效果最为 明显。 ：。 中值滤波的核心运算是将模板中的数据进行排序，这样如果一个亮点( 暗点) 的噪声，就会在排序过程中被排在数据序列的最左侧或最右侧。因此，最终选择的 数据序列中间位置上的值一般不是噪声点的值，由此便可以达到抑制噪声的目的。 其数学描述及实现方法如下： 若五，而，。也为滤波窗口内的元素，用r ( x l ，x 2 ，x d 表示为窗口内元素的中值 滤波结果函数，k 为滤波窗口内的个数，则有： r ( 毛，x 2 ，五) 。m e d ( x z ，而- x k ) ( 2 3 ) 式中m e d ( x i ，工：屯) 表示五，而，吒按大小排序然后去中值计算，即： m e d ( x ) = i f x x ：k k + | 1 2 ) 2 x n u l ；2 ii2 妫奇数 功黝 ( 2 4 ) 视频图像中运动目标检测与跟踪的算法研究 其中x 表示将五，局，- oo o 以按大小排序后的集合。 模板可以是不同的形状，如线状、圆形、十字形、圆环形等。模板大小也可以 依据图像的特征来选取3 * 3 ，5 * 5 等大小。模板尺寸选取过大去噪声效果更加明显， 但是计算复杂，所涉及的像素多而容易把细节忽略。实际情况中应该依据具体需要 选取模板形状和大小。一般对于有缓变的较长轮廓线物体的图像，采用方形模板为 宜。如果图像中点、线、尖角细节较多，不宜采用中值滤波。中值滤波能w 很z 好的抑 制脉冲干扰和椒盐噪声，在图像处理中，常用于用来保护边缘信息，是经典的平滑 噪声的方法。如图2 - 1 为中值滤波后的结果。 ( a )原图像 ( c ) 3 * 3 中值滤波后 2 2 2 均值滤波 ( b ) 添加椒盐噪声后 ( d ) 5 * 5 中值滤波后 图2 - 1中值滤波 所谓均值滤波法就是用均值代替原图像中的各个像素值，是典型的线性滤波算 法。即对待处理的当前像素点，选择一个模板，该模板由其近邻的若干像素组成， 求模板中所有像素的均值，再把该均值赋予当前像素点，作为处理后图像存该点上 的灰度值。这是一种简单易实现的方法。设一幅m m 的图像g ( x ，y ) ，用均值滤波后 9 视频图像中运动目标检测与跟踪的算法研究 的图像为f ( x ，y ) ，则有： f ( x , y ) = 专，若删) ( 2 - 5 ) 其中x ，y = 0 ，1 ，2 ，m - 1 ，n 是去心邻域内像素的总数。所谓的去心邻域是指邻域 中除( x ，y ) 以外的像素集合。常用的邻域为5 邻域和7 邻域。 ( a ) 原图像( b ) 添加高斯噪声 ( c ) 3 * 3 均值滤波( d ) 5 * 5 均值滤波 图2 2 均值滤波 均值滤波的主要优点是算法简单，使用灵活，计算速度快。从实验结果看出均 值滤波，对高斯噪声有很好的抑制作用，但其代价会造成图像一定程度的模糊，特 别是细节和边缘处。邻域愈大，去噪能力增强的同时，模糊程度也越严重。 2 3 图像增强算法 在获取图像的过程中，由于多种因素的影响，会导致图像质量多少有所退化。 图像增强技术为最基本的图像处理技术，主要目的在于：1 ) 采用一系列技术改善图 l o 视频图像中运动目标检测与跟踪的算法研究 像的视觉效果，提高图像的清晰度；2 ) 将图像转换成一种更适合人或机器进行分析 处理的形式。它不是以图像保真度为原则，而是通过处理，突出图像的有用信息， 扩大图像间不同物体特征的差别，为图像的信息提取及其他分析奠定良好的基础。 图像增强的技术分为两大类，即空域增强和频域增强。空域增强是在空间中直 接对像素进行处理。频域增强是在图像的变换域上处理，费时较长，不符合实时处 理的要求，因此本节只分析空域增强法。常用的空域增强方法主要有灰度变换法和 直方图均衡化，这两种方法都是通过一定变换来实现对比度的增强。 2 3 1 灰度变换 灰度变换可使图像动态范围增大，图像对比度扩展，图像变得清晰，特征明显， 是图像增强的重要手段之一。可将其划分为线性和非线性两种方法，本文只讨论线 性变换。线性变换的原理如下： 设原图像f ( x ，y ) 中，大部分像素的灰度级在一个比较小的范围内，这一灰度范 围为 a ，b ，经过线性灰度变换后，可以将灰度范围 a ，b 扩张到一个较大的范围 c ，d ，其中g 亿j ，) 为灰度变换后的图像，两者的变换公式如下： g ( 毛y ) = c ，f ( x ，j ，) d 篙叭五多) 叫+ c 口轵训) 6 ( 2 _ 6 ) d ，f c x ，y ) b j 对于离散图像来说，尽管变换前后的像素个数不变，但是不同像素之间的灰度 差变大，图像质量优于变化前。但是这种两端截取式的变换时小于灰度级a 和大于 灰度级b 的像素分别强行变为c 和d ，会造成一部分图像信息的丢失。 视频图像中运动目标检测与跟踪的算法研究 g ( x ，y ) d c abf ( x ，y ) 图2 - 3 线性灰度变换 将图像灰度区间分成两端或多段分别作线性变换称为分段线性变换。分段线性 变换可以根据需要，拉伸感兴趣的灰度范围，相对抑制不感兴趣的灰度范围，三段 灰度变换公式如下： g ( x ，y ) = c f ( x ，y ) ，0 f ( x ，y ) 口 口 警【m ，y ) 一口 + c ，口( 训) 6 ( 2 7 ) d 一口 霉 ( x ，力一纠+ d ，6 厂( x ，y ) 肌 图中对灰度范围 a ，b 进行了灰度扩展，而对灰度范围 0 ，a 和 b ，m 进行了压 缩。通过调整折线拐点的位置和分段直线的斜率，可以对任意灰度范围进行扩展或 压缩。 1 2 视频图像中运动目标检测与跟踪的算法研究 g ( x ，y ) n d c 2 3 2 直方图均衡化 abmf ( x ，y ) 图2 4 分段线性灰度变换 直方图均衡化是以累积分布函数变换法为基础的直方图修正法，它是将一幅已 知灰度概率分布的图像，变换成具有均匀分布的新图像，从而达到增强图像的效果。 在连续情况下，设厂( 0 r 1 ) 是变换前的归一化灰度值；p r ( r ) 是非均匀概率 密度函数，t ( r ) 是变换函数，j = r ( ，) 是变换后的灰度值，将其归一化为0 s l ， 见( j ) 为均匀概率密度函数。依据概率知识可得： 只( s ) ：b ( ，) 拿 ( 2 8 ) 而归一化后的只( s ) = 1 ，所以式( 2 8 ) 可变换为： d s = 饵= p , ( r ) d r ( 2 9 ) 再将式( 2 9 ) 两边积分可得： s = 丁( ，) = f p ，o ) d r ( 2 1 0 ) 0 对于离散化的数字图像，设一幅图像的像素总数为n ，有l 个灰度级，有k 个 灰度级么出现的频数用厅。表示，则离散化的变换函数为： 视频图像中运动目标检测与跟踪的算法研究 d k - - t c 咿扣俨妻鲁 防 对采集到的视频图像采用直方图均衡化的方法进行处理，实验结果如下图所示： 图2 - 5 直方图均衡化前的图像及直方图 图2 - 6 直方图均衡化后的图像及直方图 通过上图对比可以得出以下结论：原始图像在经过直方图均衡化后变的清晰了 很多。从直方图来看，处理后的图像直方图灰度级均匀分布在0 - 2 5 5 之间，动态范 围扩大了，像素点在每个灰度级上都有分布。经过图像均衡化后，灰度图增加了对 比度，使图像中包含的信息清晰化，右图明显比左图亮。同时有用的信息并没有丢 失，为后期处理提供了便利。 2 4 形态学处理 数学形态学是- - i 7 建立在严格数学理论上的学科，其基本思想和方法对图像处 理的理论和技术产生了重大的影响。它是一门综合了多学科知识的交叉科学，具有 严密的逻辑推理和严谨的数学演绎，其基本理论和方法在医学图像处理、机器视觉、 工业检测等诸多领域都取得了非常成功的应用，可以用来解决抑制噪声、特征提取、 1 4 视频图像中运动目标检测与跟踪的算法研究 图像分割、形状识别等图像处理问题n 吼。 数学形态学诞生于1 9 6 4 年，是由法国的g m a t h e r t o n 和j s e r r a 在是集合代数 基础上建立起来的。它用集合论方法定量描述几何结构的科学。1 9 8 5 年后，它逐渐 成为分析图像集合特征的工具。由于数学形态学具数学基础比较完备，使得形态学 在系统设计、图像分析和处理、形态滤波器的特性分析等方面有了很大的应用，尤 其突出的是实现了形态学分析和处理算法的并行，这在一定程度上提高了图像分析 和处理的速度。近年来，图像分析和处理中形态学的研究和应用得到了较快的发展 【1 9 】 o 数学形态学一般以二值图像为处理图像，它的的基本思想是用具有一定形态的 结构元素去量度和提取图像中的对应形状，来达到对图像分析和识别的目的。基础 运算主要有：腐蚀和膨胀，开运算和闭运算都是这两种算法的组合。 先介绍下基本集合名词定义： ( 1 ) 补集：a 的补集，记为么。，定义为：a 。= 扛l x 仨a ) ( 2 ) 平移：a 相对于工平移，记为似) ；定义为：o ) 工= 抄iy = a + 毛a a ) ( 3 ) 映像：a 的映像，记为a ，定义为：a = xl 工= 一口，a a ) 2 4 1 膨胀与腐蚀 1 ) 腐蚀运算是一种最基本的形态学运算。可以用来消除边界点，消除小且无意 义的目标物，使边界向内部收缩的过程呦1 。如果两目标物之间有细小的联通，可以 选取足够大的结构元素，将细小的联通腐蚀掉。 腐蚀算子为0 ，a 用b 腐蚀记做a o b ，定义为： a b = 缸i 反彳) ( 2 - 1 2 ) 其中a 为输入图片，b 为结构元素。a o b 表示将b 平移x 后仍将包含在a 内 的所有点x 组成的集合。换句话说，用b 腐蚀a 得到的集合时b 完全包含在a 中 时b 的原点位置的集合。 1 5 视频图像中运动目标检测与跟踪的算法研究 豳 月。廖 ： 图2 - 7 腐蚀运算实例 2 ) 膨胀可以看做腐蚀的对偶运算，是在二值图像中“加长”或“变粗的操作。 它的基本思想是将目标区域接触的背景点合并到该目标物中，使目标边界向外部扩 张。膨胀可以用来填补目标区域中存在的某些空洞，以及消除包含在目标区域中的 小颗粒噪声。膨胀可定义如下： 彳o b = 缸ib 厂、a a ) ( 2 - 1 3 ) 其中b 为结构元素。彳o b 表示b 相对于他自身关于原点的影像在进行平移与a 相 交不为空，所有满足上述条件的x 组成的集合。 麓 2 4 2 开运算与闭运算 国 8 图2 - 8 膨胀运算实例 a 毋雳 虽然腐蚀处理可以将粘连的目标物进行分离，膨胀处理可以将断开的目标物进 行连接，但同时存在一个问题就是经过腐蚀处理后，目标物的面积小于原有的面积， 而经过膨胀处理之后，目标物的面积大于原有面积，开闭运算就是为了解决这个问 题而被提出来的。 1 6 视频图像中运动目标检测与跟踪的算法研究 1 ) 开运算 使用同一结构元素对图像先腐蚀再进行膨胀的运算为开运算。在结构元素b 下的 开运算定义为： 彳o b = ( , 4 0 b ) 0 b ( 2 1 4 ) 开运算具有消除细小目标，在纤细点处理目标和平滑大的边界又不明显改变其 面积的作用。与腐蚀操作相比，具有可以基本保持目标原有大小不变的优点。 40 ：， 图2 - 9 开运算实例 2 )闭运算 使用同一个结构元素对图像先膨胀再进行腐蚀的运算成为闭运算。在结构元素 b 下的的闭运算定义如下： a o b = ( a ( d b ) o b ( 2 1 5 ) 闭运算常用来填充目标内的细小空洞，连接断开的邻近目标，平滑边界同时并 不明显改变其面积。 ， 圈 月口_ 翻 黝囝雳 图2 - 1 0 闭运算实例 1 7 视频图像中运动目标检测与跟踪的算法研究 2 5 本章小结 本章主要对论文将要用到的数字图像处理技术进行了研究。由于从视频图像中 抽取的原始图像存在多种噪声，因此需要对图像进行去噪以及改善图像质量，以保 证后续工作的顺利进行。本章主要简单介绍了图像预处理过程中用到的数字图像处 理基础知识。包括如何将彩色图像进行灰度变换，对灰度图像进行去噪处理，如何 加强图像质量，最后对数学形态学中的基本运算：膨胀，腐蚀，开运算，闭运算的 原理进行了介绍。 1 8 视频图像中运动目标检测与跟踪的算法研究 3 运动目标检测 运动目标检测的目的是将感兴趣的运动目标从背景图像中提取出来，是整个目 标检测与跟踪系统的基础，也是对视频作进一步的处理的基础。快速、完整、准确 的分割出运动目标图像可以大大提高后续跟踪识别理解行为的准确性。但是由于背 景图像的动态变化，比如噪声、阴影、光照等影响，在实际系统中进行稳定可靠地 运动目标检测是一项非常具有挑战性的任务。 对于运动目标检测的研究，目前主要有两大类：一类是动态背景环境下的目标 检测，在这种情况下，摄像头随着运动目标移动，始终保持目标在图像中心附近； 另一类是静态背景环境下的目标检测，此时摄像头相对处于静止的状态幢u 。在现实 情况下，视频监控系统中大部分采用固定摄像头的方式来对视野内的情况进行监控， 所以本文主要研究的是第二类情况，即静态背景的情况。 3 1 运动目标检测常用算法 3 1 1 帧差法 帧差法是最常用的运动的目标检测方法，它利用视频图像中连续两帧或几帧的 图像的差分来进行目标的检测和提取乜幻。该方法突出的优点是很容易实现，且运算 速度较快，环境整体光照变化不敏感，可以适用于实时性要求较高的环境。但在实 际应用中，帧差法很难获得目标所在区域的精确描述。帧差法的基本原理如下图所 示： 图3 - 1 帧差法基本原理 1 9 视频图像中运动目标检测与跟踪的算法研究 假设第k 帧和k - 1 帧的图像分别为l ( x ，y ) 和l f k 一。( x ，力，则它们的差分图像为： d 七= i ( z ，y ) 一 一l ( x ，少) l ( 3 1 ) 然后对得到的差分图像见进行二值化，当差分图像中的某一像素的差大于给定 的阈值时，则认为该像素是前景图像，否则，则是背景图像。 蹦v ，= ：，紫，之： 2 ， 其中t 为阈值，当在( x ，y ) 点处的差分值大于t ，则认为此点为运动区域，而 取值为零的点认为是两帧图像中没有发生运动的区域。 3 1 2 背景相减法 背景相减法也是一种常用的运动目标检测方法，是一种特殊的帧差法。其基本 原理是将当前帧与己存储的目标背景相减得到差分图像，若差分图像中的像素值小 于某一阂值，则判断此像素点属于背景区域，否则属于运动目标区域嘲。其原理图 如下图所示： 图3 2 背景相减法原理图 设当前帧图像为五( x ，y ) ，背景帧为反( 五y ) ，则差分图像为： 么( x ，y ) ： 五( x ，y ) 一反( 工，y ) f ( 3 3 ) 然后对得到的差分图像按照公式( 3 - 4 ) 进行二值化处理，当差分图像中的某一像 素大于或等于给定的阈值时，则认为该像素是前景像素点。反之，则认为是背景像 素点。 视频图像中运动目标检测与跟踪的算法研究 r 小川= ：，叠尝皇之： ( 3 圳 与帧问差分法相比，背景相减法的复杂度不高，能够比较完全的提供特征数据， 较为完整的取出运动目标，位置精确，速度快。该方法的重点在于背景图像的获取 与更新，背景图像建立的好坏直接影响到后期的检测效果。但是在现实世界中，场 景中的背景很复杂，由于光照的变化，背景的轻微抖动等因素的影响，背景是一个 渐变的过程。因此要得到好的检测效果需要一个合适的背景建立方法得到可靠的背 景，同时应建立背景图像的更新机制，来增加系统的自适应性。 3 1 。3 光流法 光流的概念最早是由g i b s o n 于1 9 5 0 年提出的乜耵，具体来说光流可看成带有灰 度的像素点在图像平面上的运动而产生的瞬时速度。光流法的基本原理是通过给图 像中的每个像素点赋予一个速度矢量，从而形成图像运动场。在运动的某一特定时 刻，通过投影关系，可以使图像上的点与三维物体上的点一一对应。根据各个像素 点的速度矢量特征，可以对图像进行动态分析啮1 。如果在图像中没有运动目标，光 流矢量在整个图像区域是连续变化的，但当物体和背景图像存在相对运动时，运动 物体所形成的速度矢量必然和邻域背景速度矢量不同，就可以检测出运动物体的位 置。 ： 光流法的优点在于不需要预先知道场景的任何信息就可以检测出运动对象。其 原因在于在光流不仅携带了运动目标的大量运动信息，而且携带了有关物体三维结 构的丰富信息。对于静止背景和运动背景两种环境有很好的适应性，也可很好的适 用于摄像机运动的情况。但是光流法的计算复杂度较高，迭代时间也较长，运算时 间开销很大，实时性与实用性都较差，因此很难满足实时运动目标检测的要求。 3 2 基于高斯背景模型的运动目标检测 上一节主要介绍了运动目标检测的几种常用算法，并分析了各种方法的优缺点。 本文所研究的视频图像是在摄像头固定的情况下拍摄的，即静态背景下的目标检测。 在摄像机固定的情况下，背景大致上是不变化的。但是由于光照，树的摇晃，摄像 头的抖动等的影响，使背景发生较为缓慢的变化。因此，背景的估计可以使用背景 2 l 视频图像中运动目标检测与跟踪的算法研究 建模的方法来实现。通过对背景建模，然后利用背景差分法来实现给定图像目标的 提取。 3 2 1 单高斯模型 基于高斯分布的背景模型最早是由n f r i e d m a n 等人提出的汹1 ，该模型分为单高 斯分布的背景模型和混合高斯分布的背景模型。单高斯模型适用于背景静止且光照 变化不大的情况，在这种情况下，基本静止的像素点的灰度值满足高斯分布，此时 可以为场景中的每个像