（信号与信息处理专业论文）基于高斯混合模型的运动目标检测.pdf

基于高斯混合模型的运动目标检测 摘要 随着视频网络等多媒体的传播，视频图像以其生动、直观等特点深受人们的关注。 在视频序列中，将变化的部分从背景中分离出来，这种技术就是运动目标检测。运动 目标检测技术主要进行运动像素区域的分离，对于后续目标的分类、识别和高层次的 行为分析和入侵检测等后续工作起到重要的铺垫作用。 尽管基于视频的运动目标检测方法是图像处理技术的基础，但是如何能高效、准 确的检测出运动目标成为研究运动目标检测的一个热点问题。运动目标检测分为两个 层面：摄像机静止情况下的运动目标检测方法和摄像机运动情况下的运动目标检测方 法。在摄像机静止情况下，传统的方法虽然能够检测出运动目标，但是由于受阴影、 光照、背景噪卢等因素的影响，会造成检测的运动目标范围过大，前景内部存在空洞 等现象。在摄像机运动情况下，如何能够快速有效地估计出摄像机的运动分量然后将 其进行补偿，成为了摄像机运动情况下的运动目标检测的关键。 针对以上问题，在摄像机静止情况下，本文采用一种将高斯混合和s u s a n 边缘 检测算子相结合的方法对运动目标进行检测。该方法通过高斯混合模型背景减法提取 出前景目标，经过腐蚀、膨胀等形态学处理，提取出运动目标的大致轮廓；同时将此 帧图像经过s u s a n 边缘检测处理。这两种方法采用“同时并行”的方式，之后将二 者所得到的结果进行逻辑“与”运算，提取出轮廓边缘更为精确的运动目标。针对摄 像机运动情况，本文采用改进的菱形快速块匹配搜索法对视频图像进行运动估计，将 计算出的运动分量经过运动补偿方法去掉摄像机的运动分量，即从“动”化为“静”， 然后再采用静止背景下的运动目标检测方法对视频图像进行运动目标检测。 经实验证明，在摄像机静止下，本文所采用的方法相对于传统的基于高斯混合模 型的运动目标检测方法不仅可以有效的检测出运动目标，而且还能可有效克服阴影、 光线及噪声所造成的影响。在摄像机运动情况下，本文所采用的方法可以有效地提高 对摄像机运动分量估计的精度，并对运动目标进行准确检测。 关键字：高斯混合模型；背景减法；s u s a n 边缘检测；运动目标检测 哈尔滨工程大学硕十学位论文 基于高斯混合模型的运动目标检测 a bs t r a c t a st h es p r e a do ft h em u l t i m e d i a v i d e oi m a g e sh a v eb e e na f f e c t e db yt h ea t t e n t i o no f p e o p l e t h em o v i n gt a r g e td e t e c t i o ne x t r a c t e dp r o s p e c t sc h a n g ea r e af r o mt h eb a c k g r o u n d i m a g e t h ed e t e c tt e c h n o l o g yi sb a s e do nm o v i n gr e g i o nc o r r e s p o n d i n gp i x e l s ，s ot h e e f f e c t i v ee x t r a c tm o v i n gr e g i o nf o r t a r g e tc l a s s i f i c a t i o n ，t a r g e tt r a c k i n g a n db e h a v i o r u n d e r s t a n d i n ga n ds oo nw o r ki so f v i t a ls i g n i f i c a n c e t h em e t h o do fm o v i n gv i d e ot a r g e td e t e c t i o ni st h ef o u n d a t i o no fp i c t u r ep r o c e s s i n g t e c h n o l o g y ，b u th o wt od e t e c tt h em o v i n gt a r g e t se f f i c i e n t l ya n da c c u r a t e l yi sa h o ti s s u e m o v i n gt a r g e t sd e t e c t i o nc a nb ed i v i d e di n t ot w ol e v e l s ：m o v i n gt a r g e td e t e c t i o nm e t h o d si n s t a t i cb a c k g r o u n da n dm o v i n go b j e c td e t e c t i o nm e t h o d si nt h em o v e m e n tb a c k g r o u n d i n s t a t i cb a c k g r o u n d ，t h o u g ht h et r a d i t i o n a lm e t h o dc a nd e t e c tt h em o v i n gt a r g e t s ，b e c a u s eo f t h el i g h t ，t h es h a d o w ，b a c k g r o u n dn o i s ec a u s e st h er a n g eo fd e t e c t e dm o v i n gt a r g e ti st o o b i ga n dt h ei n t e r n a lc a v i t y i nm o v e m e n tb a c k g r o u n d ，h o wc o u l d b ee f f e c t i v e l ye s t i m a t et h e c a m e r am o v e m e n tc o m p o n e n ta n dc o m p e n s a t et h ec a m e r am o v e m e n ts i t u a t i o n ，t h a ti st h e k e yp o i n to ft a r g e td e t e c t i o n a c c o r d i n gt ot h ep r o b l e m s ，f o rt h es t a t i cb a c k g r o u n d ，t h ep a p e rp r e s e n t s am o v i n g o b je c td e t e c t i o nm e t h o dc o m b i n es u s a ne d g ed e t e c t i o no p e r a t o r sa n dm i x t u r eg a u s s i a n m o d e lb a c k g r o u n ds u b t r a c t i o n t h i sm e t h o du s e st h eg a u s s i a nm i x t u r em o d e lb a c k g r o u n d s u b t r a c t i o ne x t r a c tp r o s p e c tg o a l ，t h e nb ym o r p h o l o g yp r o c e s s i n gr o u g he x t r a c tt h eo u t l i n e o fm o v i n gt a r g e t ；a tt h es a m et i m e ，t ot h i sf r a m ei m a g ea f t e rs u s a ne d g ed e t e c t i o n p r o c e s s i n g t h et w o m e t h o d sa d o p t ”p a r a l l e l ”w a y ，t h e nt h er e s u l t sa f t e r ”a n d ”，e x t r a c tt h e m o v e m e n to fm o r ea c c u r a t et a r g e t f o rt h em o v i n gb a c k g r o u n d ，t h ep a p e rp r e s e n t st d sf a s t b l o c km a t c h i n gs e a r c hm e t h o dt oe s t i m a t et h ev i d e oi m a g e ，a f t e re s t i m a t et h ec o m p o n e n t ， b ym o t i o nc o m p e n s a t i o n m e t h o d sr e m o v et h ec a m e r am o v e m e n tc o m p o n e n t ，t h a ti s t r a n s f o r mf r o m ”m o v e ”i n t o ”s t a t i c ”，t h e nu s et h et a r g e td e t e c t i o nm e t h o d so fv i d e oi m a g e s i nt h es t a t i cb a c k g r o u n dt od e t e c tt h em o v i n go b j e c t p r o v e db yt h ee x p e r i m e n t ，a c c o r d i n gt ot h es t a t i cb a c k g r o u n d ，t h i sp a p e rp r e s e n t st h e r e s e a r c hm e t h o d sc o m p a r e dw i t ht r a d i t i o n a lm e t h o dc a nn o to n l ye f f e c t i v e l yd e t e c tm o v i n g t a r g e t s ，b u ta l s oc a ne f f e c t i v e l yo v e r c o m et h ee f f e c t so fs h a d o w ，l i g h ta n dn o i s e ；f o rt h e 哈尔滨工程大学硕士学位论文 m o v i n gb a c k g r o u n d ，t h i sp a p e rp r e s e n t sm e t h o dc a ne f f e c t i v e l yi m p r o v et h ee s t i m a t i o no f t h ec a m e r am o v e m e n ta n da c c u r a t e l yd e t e c tt h em o v i n gt a r g e t k e y w o r d s ：g a u s s i a nm i x t u r em o d e l ；b a c k g r o u n ds u b t r a c t i o n ；s u s a ne d g ed e t e c t i o n ； m o v e m e n tt a r g e td e t e c t i o n 第l 章绪论 第1 章绪论 1 1 运动目标检测概述 1 1 1 运动目标检测概念 基于视频序列的运动目标检测，就是将视频图像中相对应的运动部分及其所携带的 运动信息从背景中分离出来，从而为进一步获取感兴趣的部分例如后续处理的目标的分 类、识别、行为分析和入侵检测等提供了依据，是模式识别技术和计算机视觉技术领域 中的重要部分。现如今运动目标检测技术被广泛应用于视频监控、交通检测、卫星导航 等各个领域。在实际应用的工程项目中，如何能快速有效的将运动目标检测出来成为了 运动目标检测技术的关键。 1 1 2 课题研究意义和背景 人类获取外部信息最主要的方式之一就是视觉。在大千世界，所有的物质都是相对 静止与绝对运动的统一体。人类既能看到运动的物体，也能看到相对静止的物体。在数 字技术飞速发展的今天，视频图像由于其包含大量丰富、生动的信息，所以深受大众的 欢迎，成为了传递信启、的重要载体。由于人类的视觉可以直观的对视频图像进行运动 目标的检测、分析与提取，但是随着数字化技术的飞速发展，人类的视觉不能满足对当 今信息科技快速发展的需求。如何能够取代人类的视觉并且能够满足快速高效地对视频 图像进行分析与理解，机器视觉成为了当今研究的热点之一。基于视频的运动目标检测 技术是指将图像中变化的部分从背景中分离出来。在图像处理技术中，运动目标检测技 术为目标的分类、识别、行为分析和入侵检测等提供了依据，是模式识别技术和计算机 视觉技术领域中的重要部分| 2 1 。因此，快速、准确地检测运动目标成为计算机视觉领域 和图像处理技术研究的重点。 运动目标检测的应用领域十分广泛，下面从几个方面简单介绍： 在军事领域，高科技形态下的军事战争急需快速、便捷的信息以供军事的防护。如 何能快速、准确的定位所要袭击的目标并对其进行识别是现代战争中最急需解决的问 题。 在视频监控领域，随着网络的普及和多媒体技术的发展，图像处理与分析、机器视 觉越来越受到广泛重视。传统的与相比传统的模拟监控系统，数字监控系统更受到大众 哈尔滨工程大学硕士学位论文 的追捧。因此，如何高效地、智能化地实现对监控目标的检测、跟踪、识别是视频监控 系统迫切解决的重点。 在交通监管领域，不仅包括陆地交通，而且还包括海面交通和空中交通。其中应用 最广泛的就是应用在公路及铁路交通运输和路面检查方面。运动目标检测对路面上车辆 的安全检测、流量控制等方面起到了至关重要的作用。 综上所述，运动目标检测和跟踪被应用的范围十分广泛，例如军事方面的侦察、机 器人的视觉系统、交通方面的检测与监管、医学方面的超声检测和气象方面的气象云团 检测等等，研究运动目标检测技术有着重要的现实意义和应用价值p 1 。 1 2 国内外研究现状 运动目标检测根据目标与摄像机的关系主要分为摄像机静止和摄像机在运动情况 下的运动目标检测。摄像机静止情况下的运动目标检测是指在摄像机不动的情况下，将 运动的前景从不变的背景中检测出来。摄像机运动情况下的运动目标检测是指摄像机在 拍摄过程中发生了移动( 如平动、旋转或多自由度运动) ，被监控目标在摄像机所能观察 的范围内发生移动，此时产生目标和相机相对位移运动m 1 。 运动目标检测是模式识别和数字图像处理领域中的一个研究的重要部分，众多学者 都将传统方法进行不断的改进，但是针对摄像头处于静止的情况下，运动目标检测的方 法主要有三种：帧间差分法陋培3 、光流法p 。13 1 、背景减法”6 1 。帧间差分法具有良好的环境 适应性，但不能完全提取出运动目标。光流法计算量较大，需要特殊的硬件支持，因此 很难满足实时性要求。背景减法能够提取出较为完整的运动目标，但易受到外界环境的 影响。 帧间差分法，因为计算量相对少，计算快速的特点被广泛使用，同时也被学者不断 的改进。十九世纪九十年代，卡内基梅隆大学( c 锄e 西em e l l o nu 1 1 i v e r s i t y ) 、麻省理工学 院( m a s s a c h u s e t t s1 1 1 s t i t u t eo ft e c h n o l o g y ) 等几所高校联合参与了基于视频的实验演示系 统v s a m 系统【1 7 1 8 1 ，该系统利用三帧时域差分法实现运动目标的检测，对战场和普 通民用场景的视频监控。文献 1 9 针对k i m 的缺点，采用将连续三帧的差分图像和背景 差分图像直接相乘得到灰度图像，然后对该灰度图像进行自适应最大方差阈值分割， 再基于灰度加权图像模板匹配法实现目标的检测。 光流法因其计算量大，不适于实时处理。但是由于光流法既可以检测静止背景下的 运动目标又可以处理运动背景下的运动目标，并且对目标检测比较准确，因此不少的学 者也对此进行了研究与改进。1 9 8 1 年h o m 与s c h u n c k 首次提出将光流法应用到实际的 第l 苹绪论 工程技术中。文献 2 0 在传统的光流场计算方法的基础上，提出了基于帧间差分法的快速 光流算法。 背景减法中，当前应用最普遍，效果最好的就是高斯混合模型背景减法和核密度估 计背景减法，其中由于高斯混合模型背景减法较核密度估计方法计算速度快，因此被广 泛应用到实际的工程应用中。但是由于高斯混合模型背景减法的检测效果易受到阴影、 光线的影响从而使检测效果变差，因此不少学者对其进行改进。n a m 锄o t o 和a f u i i 提出了一种将帧差法和高斯混合背景差分法相结合的方法，取得了较好的效果，但还存 在一些不理想的地方，例如目标轮廓检测存在缺失、缺少与目标相关的点【2 1 1 。文献f 2 2 1 对背景减法中的基于高斯混合分布模型的自适应背景消除方法进行了改进，只使用亮度 信息将高斯分布模型按权值、方差排序；使用单目深度信息来确定背景，动态调整采样 频度等。文献 2 3 将将背景重构和前景消融时间控制机制整合到传统自适应混合高斯背 景模型中，以提高运动分割的质量。文献 2 4 】提出了一种结合背景减法和时空熵的运动标 检测新方法。算法首先利用改进y 一方法构建背景图像，然后用当前帧图像和背景图像 做差，得到差分图像。通过计算差分图像的时空熵，可以有效地检测出目标。 摄像机运动情况下的运动目标检测由于摄像机存在运动，因此需要将摄像机运动的 部分去除，然后才能进行运动目标检测，因此算法比较复杂。摄像机运动情况下的运动 目标检测一般需要运动估计和运动补偿之后，再运用静止背景下的运动目标检测方法。 其中运动估计是至关重要的部分，它关系着整个运动补偿效果的好坏，即去除摄像机运 动分量效果的好坏。运动估计方法按照不同的分类方法主要有基于参数模型法和基于块 的方法，其中基于块的方法因其计算速度快而被广泛应用。虽然动态背景下的运动目标 检测方法计算比较复杂，但是在很多情况下是需要对动态背景下的运动目标进行检测 的，因此动态背景下的运动目标检测方法有广泛的应用前景及研究价值。 文献 2 5 中，作者采用一种基于3 步搜索法的快速块匹配的背景运动补偿差分方 法将此算法和对称差分法结合，从而实现了一种动摄像机的运动目标检测方法。文献 2 6 作者采用固定模式搜索和空间相关搜索两种方法相结合的快速块匹配运动估计算 法，可以快速有效地对摄像机运动的分量进行预测。文献 2 7 提出了一种块内降采样的 搜索算法该算法利用图像的局部相似性特征，对搜索块的内部像素采用交叉采样方式做 块匹配的运算以降低算法复杂度文献 2 8 提出了一种快速的三步搜索块匹配搜索法，这 种法在三步搜索法的第一步中加入了4 个点，对于运动较大的序列，这种方法的搜索性 能比三步搜索法有所提高。文献 2 9 本文提出了一种将遗传算法( g a ) 和钻石搜索( d s ) 相结合的多模式快速运动估计方法( m m s 算法) 。该方法首先判断图像序列的时空预 哈尔滨工程大学硕士学位论文 测矢量，采用自适应选择搜索模式，针对平缓运动类型使用快速的d s 搜索模式，针对 剧烈运动类型使用g a d s 联合搜索模式。与现有的算法相比，m m s 有效地解决了在 大运动矢量情况下编码器性能下降的问题，但是计算时间较长。 1 3 论文研究内容 如前所述，运动目标检测技术是数字图像处理的一个重要研究热点和重点。本文主 要对静止背景下的运动目标检测技术和动态背景下的运动目标检测方面进行分析和研 究。具体的研究内容总结如下： 1 ) 在本课题中，针对静止背景下的运动目标检测，研究并分析当前比较流行的运 动目标检测方法的优缺点。针对其不足，本文尝试将图像处理中的边缘检测方 法引入到运动目标检测中，实现一种能有效解决目标边缘轮廓提取不准确的运 动目标检测方法。 2 ) 分析并多方面比较当前主要几种边缘检测算子，探索合适的边缘检测算子和静 止背景下的运动目标检测方法相结合，提高运动目标检测的效果。 3 ) 本文的另一个研究部分为摄像机运动情况下的运动目标检测，主要考虑将摄像 机运动的分量快速有效地去除然后对其进行运动目标检测。 1 4 论文结构安排 本论文的结构安排如下： 第一章，介绍运动目标检测的概念、课题研究背景和意义、研究内容等； 第二章，介绍当今常用的运动目标检测方法，分析比较各自的优缺点； 第三章，分析并总结几种边缘检测算子，对比分析各种边缘检测算子。找出一种性 能较好的边缘检测算子； 第四章，尝试将边缘检测算子和静止背景下的运动目标检测方法结合，详细说明两 种方法相结合的实验步骤并给出整个系统的结构框架，通过实验对比该方法与传统目标 检测方法的检测效果； 第五章，考虑摄像机运动情况下的运动目标检测方法。估计出摄像机运动分量并将 其运动分量进行补偿是整个计算过程的重点，本文详细介绍了几种运动估计的常用方 法，并针对当前比较流行的菱形搜索法进行改进； 最后总结本文在研究运动目标检测方法方面所作的研究工作，并对今后的工作提出 展望与建议。 第2 章运动目标检测的方法 第2 章运动目标检测的方法 在计算机视觉系统中，运动目标检测是个非常重要的问题，该方法被应用的范围 十分广泛，涉及视频监控、交通监管、气候检测、医学检查等各个方面。摄像机处于静 止情况下的运动目标检测算法( 也可以称为静止背景下的运动目标检测算法) 经过多年 的研究，每种算法已经趋于成熟。当前，静止背景下对运动目标检测的常用的方法主要 有：光流法、帧间差分法、背景减法。其中，光流法是基于运动的检测方法，帧间差分 法和背景减法是基于像素灰度来计算的。 2 1 光流法 2 1 1 光流法基本原理 光流法就是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素 位置的运动”。光流法最早由h o m 和s c h u n c k 于1 9 8 1 年提出，这种方法是将速 度场与图像的灰度联系起来，通过计算出光流场来模拟运动场p 。光流法一般由相机 和被检测目标二者发生相对位移而产生。在被监控的视角范围内如果存在前景运动目 标，那么由于前景运动目标的速度和方向与背景速度场的大小和方向不同，从而检测出 运动目标。目前，光流法的应用十分广泛，几乎遍及所有监控、检测系统p 1 1 3 2 1 。 2 1 2 光流法的算法概述 光流法是将速度场与图像的灰度联系起来的，它的原理口3 】是，在图像序列中，由于 每个像素点都是具有运动的大小和方向的矢量，因此这些像素点构成了一个运动矢量 场。若图像中不存在目标的运动时，那么整个光流场是一个连续变化的；若图像中有运 动的目标，那么由于目标的运动速度和背景点的速度不同，从而发生相对运动，从而检 测出运动目标。 光流场的具体推导过程为：假设某图像在时刻，位置为( x ，少) 时的灰度值为 厂( 五少，f ) 。在f + 厶f 时刻，相应的位置为( x + 缸，y + 缈) ，厂( x + 缸，y + 缈，f + 出) 为此时的 灰度值。假设两时刻的图像灰度值不变，即： ( x ，y ，f ) = 厂( x + 叙，y + 少，r + ，) ( 2 - 1 ) 将等式右侧在( x ，y ，r ) 点用泰勒级数展开： 哈尔滨工程大学硕士学位论文 m 川：m 川+ 掣缸+ 掣缈+ 掣出+ p ( 2 2 ) 令“( x ，y ，) = 缸出，v ( x ，y ，) = 每出，经简化并忽略高阶项得： 掣“( x ，y ，) + 掣v ( z ，y ，f ) + 掣：o ( 2 3 ) 以上就是光流场的基本约束方程。之后，h o m 和s c h u n c k 针对光流场的基本约束方 程进行了修改，假设同一物体的光流在整个图像上是连续变化的，令六= 妒( x ，y ，) 苏， 兀= 可( x ，y ，) 砂，z = 秒( z ，少，f ) a ，则光流误差为 疋= jj ( 六甜+ v + z ) 2 出砂 ( 2 - 4 ) 由于沪 l 则其速度分量平方和积分为 刮( 州瓤削笥p 陋5 ， h o m 和s c h u n c k 要求这两个等式都要尽可能小，于是将光流场v ) 的计算归结为求如下 变分问题的解 f ， ( 篆“+ 雾v + 篆 2 + 九 ( 罢) 2 + ( 多) 2 + ( 塞) 2 + ( 考) 2 卜方= m i n c 2 卸 其中九为一参数，它决定了上述两种误差( 一种足偏差基本等式的误差，一种是偏离 光滑性要求的误差西) 直接的相对权重，九越大平滑度越高，估计的精度越高。 在离散的情况下，光流的平滑量可由点( 五y ) 和它旁边的4 个邻域点的光流值差分 ，】 s ，) = 斗 ( “( f ，歹) 一“o l ，j ) ) 2 + ( “( f + 1 ，歹) 一扰( f ，) ) 2 + ( “( i ，+ 1 ) 一“( i ，) ) 2 + ( “o ，) 一甜( f ，一1 ) ) 2 + ( v u ，) 一v o 一1 ，) ) 2 + ( v ( f 十l ，) 一v ( f ，歹) ) 2 + ( v ( f ，+ 1 ) 一v ( i ，) ) 2 + ( v ( j ，) 一v ( f ，一1 ) ) 2 ( 2 - 7 ) 虽然h o m 等人提出了全局平滑约束条件，但是却没有把运动物体的边缘光流不平 滑的缺点考虑进去，所以该方法对于边界点的计算效果不太理想。之后，l u c a s 口4 1 等人考 虑将局部平滑约束条件引入，即在任意足够小的邻域空间，这些邻域像素点的光流可以 用一个像素点的光流来近似估计，另一约束条件由加权最小二乘推导出。o t t e 口5 1 等人则 第2 章运动目标检测的方法 在l u c a s 所提出的观点基础上，又假定光流在局部空问和实际轴上是成线性变化的，进 一步地推导出了局部约束条件。 由于光流法具有不需要预先知道场景的任何信息就能检测出运动目标及运动信息。 光流法不仅能应用于静止背景下的运动目标检测，而且还能应用于运动背景下的运动目 标检测，具有良好的环境适应性。但是，该方法也存在其缺点： 1 、计算复杂，需要大量计算时间。 光流法的特点是需进行迭代运算，而且如果需要对计算的精度要求较高，那么其代 价就是需要大量的计算时间。因此该方法比较耗时，一般不满足工程应用的实时性要求。 如果需要使用光流法来对运动目标进行检测，则需要特定的硬件设备支持，否则很难满 足运动目标检测实时性要求。 2 、虚警率高。 当检测的图像受到噪声的干扰时，或者前景运动目标与背景图像的颜色近似时，则 这时若仅仅从图像的亮度来考虑则会导致虚警率较高。 3 、对噪声的抵抗性较差。 虽然光流法计算比较复杂，容易受到噪声的影响，对硬件的要求比较高，不合适实 时的对视频进行监控。但是针对其缺点，部分学者对其缺点进行了改进，相信以后光流 法能够得到更好的应用。 4 、孔径问题。 当三维物体的运动投影到二维图像的亮点变化，本身由于部分信息的丢失而使光流 法存在孔径问题，从而导致通过光流约束方程是计算不出图像平面某一点处的图像速度 流。 针对光流法存在以上这些缺点，国内外很多的学者对此进行了研究与改进。其中， 例如b r a i l l o n 在针孔模型上建立光流模型，这种方法不需要全部计算出每一个像素点处 的光流场，只需要一部分像素点处的光流场即可，因此大大节省了计算时间；或者在对 光流计算时引入了多尺度分析，提高了计算的效率。昌猛口5 1 等人在h o m s c h u n c k 算 法的递归方程的基础上添加了一个惯性因子，在保证性能不降低的同时，又能保证 收敛时间缩短了1 2 1 3 ，这极大的提高了光流法的计算效率。熊静怡p q 等人采用加 长的相位相关方法( e p c t ) 对光流法进行改进，该方法是一种更细致的方法，可以 精确到亚像素精度，并且可以对大规模的运动进行估算，并且该方法还能够有效地 抑制随机噪声对光流估计所造成的干扰。 哈尔滨工程人学硕士学位论文 2 2 帧间差分法 2 2 1 帧间差分法原理 帧间差分法p ”，通过逐个像素比较直接求出相邻帧之间的绝对差，从而检测出运动 目标。l i p t o n 口8 1 等人利用帧间差分法检测运动目标，因为这种方法简单快速，之后被广 泛的应用于运动目标的检测及后续的跟踪、识别等过程中。 2 2 2 帧间差分法的算法概述 帧问差分法利用了光线在视频图像相邻几帧中基本不变的性质，如果有运动目标发 生移动，则经过帧间差分后像素点不为零的就说明该像素点发生了移动，确定出运动区 域后，再通过阈值判断各像素点是背景点还是像素点，进而提取出运动目标。它的基本 运算原理框图如f ： 图2 1 帧i 司差分法运算原理框图 上图中，六( f ，) 和以+ 。( f ，) 分别表示第k 帧和第斛1 帧输入图像，d ( 动是经过差分 得到的差分图像，坂( f ，) 是差分图像经过阈值二值化后提取出来的大致运动区域。 其中，经差分得到的差分图像d ( 曲为： d ( 足) = i 以+ 。( f ，) 一六( f 驯 ( 2 - 8 ) 具体的差分算法如下： i 六+ 。( 1 ，1 ) 一五( 1 ，1 ) 五+ ，( 1 ，2 ) 一以( 1 ，胛) l d ( 尼) = i ； ： ( 2 - 9 ) i 五+ 。( 玎，1 ) 一厶( n ，1 ) + 。( 玎，n ) 一六( n ，n ) i 计算d ( 幻后，设定阈值来确定像素点是前景点或是背景点，从而将前景的运动区域 嵋( f ，) 提出。 m 如f ) ：1 ，b ( 7 ，胆丁( 2 - 1 0 ) 蜊t d 2 j ：；，菇 ； 丁 ( 2 。1o ) 提取出运动区域后，往往存在噪声的影响，还需要对其进行后处理，例如腐蚀、膨 胀等进而提取出运动目标。 第2 章运动目标检测的方法 2 2 3 帧间差分法的应用及分析 在实际应用过程中，由于帧间差分法计算简单、速度快、对场景变化具有非常好的 适应性等优点，往往被应用于视频监控系统的运动目标检测、跟踪以及识别的过程中p 9 1 。 图2 1 为帧间差分法对某一室外视频图像序列进行运动目标检测的实验。 ( a ) 某视频第三帧( b ) 某视频第四帧( c ) 帧间差分结果 图2 2 利用帧间差分法对图像进行运动目标检测 通过上图2 2 的实验我们可以看出，帧间差分法对光线具有很好的适应性，能够很 好地将运动的人给检测出来，但是由于检测的是视频的第三帧和第四帧，人在这两帧中 运动的距离很小，因此将两帧相减时会将这两帧中共同包含的部分剪掉，因此在图2 2 ( c ) 中出现了“空洞 。 尽管帧间差分法对外界环境和对光线具有很好的适应性，计算简单，能够满足视频 监控的实时性。但是，帧间差分法也存在其不足m 1 ： 1 ) 前后两帧间，如果目标运动幅度不是很大，则存在大部分的区域重叠，从而导 致检测出来的运动目标存在“空洞”现象。 2 ) 当运动目标的幅度较大时，则会导致检测出来的运动目标的区域包含两帧中的 共同信息，致使检测出来的运动目标的区域比实际的目标区域要大。 3 ) 帧间差分法对噪声比较敏感，抗噪声能力较差。 针对以上不足，很多学者都对此提出了改进，如三帧差分法、帧间差分法和背景减 法相结合的方式对运动目标进行检测。三帧差分法是连续提取三帧图像来两两计算的差 分结果相“与”从而提取出运动目标，该方法可以克服帧间差分法对运动目标的区域检 测过大；而通过研究者对帧间差分法和背景减法性能的研究，发现这两种方法相结合可 以起到互补的作用，于是通过实验发现帧间差分法和背景减法相结合既可以解决背景减 法对光线、天气变化敏感这一不足，又可以解决帧间差分法在提取目标时存在“空洞” 哈尔滨工程大学硕士学位论文 现象。因此现在很多的学者都采用将帧间差分法和背景减法相结合的方式对运动目标进 行检测。 2 3 背景减法 2 3 1 背景减法基本原理 背景减法，是当前摄像机静止情况下对运动目标进行检测方法中最常用的一种，就 是将当前帧图像与背景做差分，从而得到运动目标。背景减法实现简单、能够检测出运 动目标的完整区域，因此背景减法受到了广泛的关注，也被广泛的应用于运动目标的检 测及后续的跟踪、识别等过程中。 2 3 2 背景减法的算法概述 背景减法技术最关键的部分就是找到一个不包含前景目标的图像作为背景，然后再 将含有前景目标的图像与背景图像做差分来检测运动目标的大致区域，然后通过阈值的 判断来获取运动目标。它的基本运算原理框图如下： 图2 3 背景减法运算原理框图 上图中，五( f ，) 和反( f ，) 分别表示第k 帧输入图像和背景图像，d ( 助是经过差分得 到的差分图像，坂( f ，) 是差分图像经过阈值二值化后提取出来的大致运动区域。 其背景减法的原理公式如下： 哦( f ，) = l 六( f ，) 一反( f ，刮 ( 2 1 1 ) 其中，五( ，) 表示包含前景运动目标的前景图像，嘎( f ，) 表示不包含前景运动目标 的背景图像，q ( f ，) 表示前景图像和背景图像差分后的含有运动目标大致运动区域的 目标图像。为了精确的提取出运动目标，需要经过阂值丁的判断，来提取运动目标 m k ( j ，n ： 蚴= ；搿曷 陪切 为了精确的提取出运动目标，往往还需经过形态学后期处理( 腐蚀、膨胀、空洞填 充等) ，将多余的部分去掉或者进行断点的链接等，从而提取出精确的运动目标。 第2 章运动目标检测的方法 2 3 3 背景减法的应用及分析 背景减法实现简单、速度快，能够满足视频监控系统实时性的要求，但是怎样求得 一幅“好”的背景图像就成为背景减法中的关键部分。在实际情况下，如果有阴影、摇 摆的树枝、水的波纹等影响，那么会导致检测结果不准确。对此，不少学者进行了大量 的研究，解决的方法就是需要加入背景图像的更新机制，常用的对图像进行背景更新的 方法有d 习d 7 “4 1 4 2 1 ：统计平均法、w 4 模型、核密度估计、单高斯模型、高斯混合模型等方 法。 ( 一) 统计平均法 统计平均法，就是统计一段时间内多幅图像中同一位置点的像素均值作为背景图像 中该点的像素值。该方法公式描述如下： 1 壤= 寺( 以+ 五一】+ 以- 2 + 五_ 3 + + 以+ 】) ( 2 1 3 ) v 通过对公式的分析，系数决定了整个背景图像质量的好坏，选取过小，会使背 景图像不准确；选取过大，则导致背景图像丢失一些重要的数据。 ( a ) 某视频第3 帧( b ) 前景提取 图2 4 利用统计平均法进行前景提取 以上实验，采用的是- 8 0 ，阈值产5 0 ，而得到的背景图像。在这个实验中，我们 可发现，由于前景运动目标停留的时间很长，所以所得到的背景图像含有前景运动目标 的信息，从而导致检测到的运动目标包含了大量前景信息，从而使运动目标检测区域过 大。因此，应该选用前景运动目标停留时间比较短暂的图像来统计背景图像。 ( 二) w 4 模型 1 9 9 8 年，h a r i t a o g l u 等人提出将w 4 模型m 彤1 应用于运动目标的检测当中，该方法将 模型中的每个像素点的值由事先存入l 帧中最大灰度值拗x ( f ，j ) 、最小灰度值 哈尔滨j 二程大学硕士学位论文 此( f ，) 和最大邻问差分值d 勉饼( f ，) ( d 俐y ( i ，) 是相邻两帧间像素灰度差异最大 值) 这三个值来描述。当输入下一帧图像时，将当前图像f 时刻的像素值墨( f ，j ) 与上述 三个值做对比，若能满足下式 i 工( f ，j ) 一尬( f ，驯 d 尬( f ，j )( 2 - 1 4 ) 或者， l 五( j ，) 一脱呲( f ，删 d m 似，) ( 2 1 5 ) 则判定像素点z ( z ，) 为背景点，否则为前景点。 ( 三) 核密度估计 核密度估计的原理：在一随机分布中，假设有一个数在这随机分布中出现的次数较 多，则这个数的概率密度比较大，同时也可以认为和这个数比较接近的一些数的概率密 度也比较大，相反则认为其余数的概率密度较小。因此利用核密度非参数化估计最近n 帧图像中某一像素亮度值的概率密度1 。 它的定义是这样的：设弼坦局为单元变量x 独立同分布的一个样本，则在f 时 刻像素值一的概率可用核密度估计来计算， 1v p ( 薯) = 寺k ( 一) ( 2 - 1 6 ) 1 j = l 其中为当前被估计的像素值，k 是核函数，如果选择的核估计函数是高斯分布函 数，则核密度估计函数可表示为： p ( 誓) = 专喜i 三元了孑是_ 矿一l 2 ( 一厂1 ( 一 ( 2 - t 7 ) 兵中，表不核宽，为样本值。1 段设图像中各颜色通道之间是互不影响的，则各 颜色通道具有各自的核函数宽度，例如g ，表示第个颜色通道的核函数宽度的大小，则 密度函数可写为： 州班韵寿川2 擎 p 核函数的宽度公式由下式求： 一赤 ( 2 _ 1 9 ) g = 乍f 2 一1 9 l o 6 8 2 、。 第2 章运动目标检测的方法 上式中，如果待检测的图像质量较好，则会出现许多像素的对应的仃= 0 ，因此为了 简便计算，常规定仃的最小值为1 。 最后估计完像素点的亮度值后，再通过阈值判定该像素的估计值是前景还是背景， 从 ( a ) 栗视频第4 8 帧( b ) 丽景提取 图2 5 利用核密度估计法进行前景提取 上述实验是在样本值- 5 0 ，阈值产o 0 4 的情况下进行的。通过实验可以看出，核 密度估计可以有效提取出运动目标，但需要较大的样本来才能对运动目标进行准确的检 测，并且计算量较大，计算时间较长，很难满足实时性。而采用小的样本进行目标检测 时，检测的精确度就会较低。 ( 四) 单高斯模型 自然界中，针对某一固定的场景，在没有前景运动目标并且也不存在光线的影响的 情况下，场景中的每个像素的灰度值从时间轴上来看是一个服从高斯分布的曲线。 基于这种思想，1 9 9 7 年w r e n m l 利用单高斯模型对每个像素建立单高斯分布模型且 每一个点的高斯分布相互间是互不影响的。即随时间的变化，某一像素点在该时间段内 的取值的集合，即： 五，x 2 ，置) = j ( x ，少，f ) 1 1 i f ) ( 2 2 0 ) 在时间轴的整个空间分布上，这些点集是服从高斯分布的， 1 一! 三二型 尸( x ，) = 軎p 2 一 ( 2 2 1 ) 2 刀仃 因此，可通过高斯分布来对每个像素点进行背景建模，处理的步骤如下： 哈尔滨工程大学硕士学位论文 1 ) 将背景模型进行初始化，随机采用第一帧图像中任意点的像素值作为初始化均 值，方差盯设一个较大的值。 2 ) 图像更新：假设序列图像已经完成了第f 帧图像的训练，此时背景模型的均值 为肛( x ，y ) ，方差为q ( x ，y ) 。第f + 1 帧中( 五少) 处的像素灰度值为+ ，( x ，y ) ， 若满足下式， i “( x ，y ) 一，( x ，y ) l 七仃，( x ，y ) ( 2 - 2 2 ) 则认为( 五y ) 是背景像素，否则为前景像素，其中七取2 5 。若( 五y ) 为背景 像素，则需要对背景模型进行更新， j 鸬+ 1 ( x ，y ) = ( 1 一) “+ 夕“x ，y ) r ，琊、 i d 二，( x ，y ) = ( 1 一) 辞( x ，y ) + ( + 。( x ，y ) 一“) 。( + 。( z ，y ) 一鸬) 、 其中，学习率用来表示图像的更新。如果( 五少) 为前景像素，则需要表达式 ( 2 2 4 ) 进行更新： 以+ 1 ( x ，少) 2 ( x ，y )( 2 2 4 ) 【q “ ，少) = 盯( x ，y ) 、 此表达式表示保持这些前景像素的背景模型参数不变。 3 ) 重复第二步的操作，对每一帧新来的图像序列进行背景模型的更新，从而得到 实际的背景。 ( a ) 某视频第5 0 帧( b ) 前景提取 图2 6 利用单高斯模型进行前景提取 上述实验是在初始化均值：第一帧内随机任意像素点的亮度值，初始化协方差仃： 1 0 ，阈值丁：0 2 5 ，均值( 或方差) 学习更新率：0 0 5 的情况下进行的。通过实验可 以看出，单高斯背景模型是利用单一的高斯分布对背景进行描述，因此针对背景较稳定 的场合才适宜采用这种方法。在上图2 3 中，由于光线比较强烈，由此造成采用自适应 第2 章运动目标检测的方法 的单高斯模型不能够很好的描述其背景；同时由于运动的目标的裤子与背景颜色相近， 导致检测不出来运动目标的下半部分。因此在大多数应用场合，运动目标检测的背景场 景时常存在略微的变化，例如在自然场景中时常能见晃动的树叶，随风飘动的旗帜等等， 因此单高斯模型很难描述这些场景的变动。 ( 五) 高斯混合模型 视频图像中，在摄像机静止的情况下，我们假设背景像素点的特征在一段时间内的 变化不大，则可认为在这一段时间内背景像素点服从高斯分布。但由于存在树叶的晃动、 水波等干扰，背景像素点呈现出双峰或者多峰的现象，因此必须采用多个高斯分布来描 述背景像素点的特征。例如，在某种情况下，由于树叶的摇晃，导致在不同时刻同一像 素点有时出现的是天空，有时出现的是树叶，而且这一像素点是描述背景的像素点，因 此采用单高斯模型不能完整地描述背景变化，此时需要多个高斯模型对背景进行建模。 高斯混合模型【4 7 舢1 ( m i x t u r eg a u s s i a nm o d e l ，g m m ) 对图像中每个像素点，用k 个( k 一般取3 5 ) 高