（计算机应用技术专业论文）基于dm642的运动目标检测算法的研究.pdf

山东理工大学学位论文 中文摘要 摘要 序列图像中的运动目标的检测是计算机视觉和数字图像处理领域研究的主 要内容之一，在智能视觉监控系统、工业检测以及视频图像分析等领域中都有 应用。本课题的研究目的就是在d m 6 4 2 技术基础之上，实现一种嵌入式的运动 目标检测系统，完成系统的算法设计以及算法在硬件平台上的实现。 本文首先介绍了运动目标检测的一些常用算法，并对各种算法进行了比较， 指出它们各自的优缺点，并在此基础上利用视觉信息的时间和空间相关性，提 出了一种基于边缘检测的背景差分法来实现运动目标的检测，它算法简单，计 算量小，不但可以得到完整的运动目标的边缘信息，而且不会受到外界因素变 化的干扰，如光线的变化和背景的改变。然后将此算法与图像滤波、图像增强、 边缘细化和离散点去除等技术相结合，实现了运动目标检测的算法设计。图像 滤波的作用是减轻图像中的噪声干扰，图像增强的作用为加强图像中的边缘信 息，图像滤波和图像增强也被称为图像预处理技术，它们为后续的图像处理工 作提供优质的图像数据，以便提高运动目标检测的算法的执行效率。边缘细化 和离散点去除被称为图像后处理技术，通过它们可以得到更准确的边缘信息和 更好的图像显示效果。接着将设计完成的运动目标检测的算法在以d m 6 4 2 为核 心的硬件平台上予以实现，这包括编写b 0 0 t l o a d e r 程序，利用d d k 开发视频驱 动程序，设计基于d s p b i o s 的主程序结构，进程的分配以及进程的同步。最 后通过使用内联函数、循环展开等优化方法对程序进行优化以加快系统的运行 速度。 关键词：运动目标检测，图像差分，边缘检测，d m 6 4 2 ，程序优化 a b s t r a c t d e t e c t i o nm o v i n go b j e c t si ns e r i a li m a g e si st h em o s t l yr e s e a r c h f i e l di n c o m p u t e rv i s i o na n dd i g i t a l i m a g ep r o c e s s i n g t h es u b j e c tf o c u s e so nt h ea l g o r i t l u i l d e s i g na n dh a r d w a r ei m p l e m e n to fa ne m b e d d e dd i g i t a lv i d e om o n i t o r i n gs y s t e m b a s e do nd m 6 4 2t e c h n i q u e i nt h i sp a p e rs o m ec o m m o na p p r o a c h e si nt h ef i e l do fd e t e c t i n gm o v i n go b j e c t sa r e i n t r o d u c e d b ya n a l y z i n gm ea d v a n t a g e s a n dw e a k n e s s e so fe a c hm e t h o d ，o u r a l g o r i t h mo fb a c k 至r o u n dd i 彘r e n c eb a s i se d g ed e t e c t i n gi s ( 1 e s i g n e db a s e do nt h e v i s u a l i n f o n n a t i o no ft i m ea j l ds p a c er e l a t i o n s h i p s t h eb e n e f i t so f t h i sa l g o r i t l u l la r e s i m p l e ，s m a l l 锄o u n to fc a l c u l a t i o n ，n o to n l yc a ng e tc o m p l e t ei n f o r m a t i o no nt h e v e r g eo fm o v i n gt a r g e t s ，b u tw i l ln o tb es u b j e c tt oi 1 1 t e r f e r e n c ef 而m e x t e m a lf a c t o r s c h a n g e ，s u c ha st h el i g h t i n gc h a n g e sa n dc h a n g e si nt h eb a c k g r o u n d a c c o r d i n g t o t h ea l g o r i t h ms y s t e ms o r w a r ei sd e s i g n e dm a ti n c l u d ei m a g ef i l t e r i n g ，i m a g e e 1 1 1 1 a n c e m e n t ，t a r g e td e t e c t i o n ，a n ds e v e r a lo t h e rm o d u l e s i m a g en l t e r i n gr o l ei st o r e d u c et h en o i s ei n t e r f e r e n c ei nt h ei m a g e ，i m a g ee n h a n c e n l e l l to ft h er o l et o s t r e n 啦e nt h ei m a g e o ft h e e d g ei n f o m a t i o n ， i m a g ef i l t e r i n g a n di m a g e e 1 1 l l a n c e m e n ti sa l s ok n o w na st h ei m a g ep r e - p r o c e s s i n gt e c h n o l o g y ，f o rt h e i r f o l l o w u po fi m a g ep r o c e s s i n gt op r o v i d eh i 曲一q u a l i t ) ，i m a g e d a t ai no r d e rt o i m p r o v ed e t e c t i o no fm o v i n gt a r g e t si nt h ei m p l e m e n t a t i o no fe m c i e n ta l g o r i t l l i i l s e d g er e f i n e m e n ta n dd i s c r e t ep o i n t sr e m o v a lk n o w n a st h ei m a g ea r e rp r o c e s s i n g t e c h n o l o g y ，t h e yc a ng e tm r o u 曲m o r ea c c u r a t ea n d b e t t e r i n f 0 h i l a t i o no nt h ee d g e o f t h ei m a g ed i s p l a y t h e nt h i sd e t e c t i 。n a l g 。r i t h mi sa ( m i e v e do nt h eh a r d w a r e p l a t f o r mo fd m 6 4 2a sc o r e ，i n c l u d i n gt h ep r e p a r a t i o no fb o o t l o a d e rp r o c e d u r e s ， u s i n go fd d kd e v e l o p m e n to fv i d e od r i v e r s ，t h ed e s i g n o ft h em a i np r o 掣锄 s t m c t u r eb a s e do nd s p b 1 0 s ，p r o c e s sa n dm ed i s t r i b u t i o no ft h ep r o c e s s s i m u l t a j l e o u s l y f i n a l l y ，t h r o u g hu s i n go ft h em e m o d ，s u c ha s i n t r i n s i c s ，c y c l e e x p a n s i o na n ds oo n ，t oo p t i m i z et h eo p e r a t i n gs y s t e mi no r d e rt os p e e du p t 王l ep 嵋e k e yw o r d s ： m o t i o no b j e c t i o nd e t e c t i o n 、i m a g ed i f r e r e n c e 、e d g ed e t e c t i o n 、 d m 6 4 2p r o 骶a m m eo p t i m i z a t i o n i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得山东理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：臧之私 时间：w 孑年石月i p 日 关于论文使用授权的说明 本人完全了解山东理工大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件和磁盘，允许论文被查阅和借阅；学校可以用不同方 式在不同媒体上发表、传播学位论文的全部或部分内容，可以采用影印、缩印 或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名：癍岩松 帆硼年石肌日 别雌氢辄帅：嘶钼佃日 山东理t 大学学位论文第一章绪论 第一章绪论 1 1 课题研究背景及意义 人类观察和认识世界依靠视觉、触觉、听觉和嗅觉等感觉器官，其中视 觉是获取信息最主要的途径，人类感知到的外界信息中，8 0 以上的信息是通 过视觉得到的。由于通过视觉可以同时获得颜色、形状、姿态等多方面的信 息，所以让计算机具有视觉是人类多年以来的梦想。伴随着人类对视觉机理 的认识和计算机技术的快速发展，人们越来越多地利用计算机来获取与处理 视觉( 图像) 信息，由此产生了计算机视觉【2 1 。 计算机视觉是指计算机控制传感设备对客观景物进行采集，利用计算机 对景物的视觉信息进行压缩、处理分析、存储等操作，从而实现人类生物视 觉( 包括眼睛和大脑) 所具备的功能。计算机视觉是一项综合技术，其中包括 数字图像处理技术、人工智能、模式识别、控制技术、光学成像技术、传感 器技术等。计算机视觉( c o m p u t e rv i s i o n ) 在最近三十年内有了突飞猛进的 发展，其应用范围遍及工业、农业、军事、国防等多个领域，取得了很大的 成绩4 1 。 但从发展的观点看问题，计算机视觉技术本身还在发展，还有许多理论、 算法尚需完善，计算机视觉理论仍然存在许多困难有待解决。这些困难严重 阻碍着计算机视觉技术从理论研究迈向实用化的进程，作为计算机视觉基础 之一的“图像序列中运动目标检测”就是其中一个困难而又富有挑战性的课题。 运动目标检测的主要目的是在图像序列中分割出具有意义的运动目标实体。 通过运动目标检测及定位可以得到图像序列中的运动信息，提取序列图像中的 运动目标并对目标进行初步定位，简化了后续的运动目标跟踪、识别分析的难 度，它对于视频图像分析有着重要的意义。运动目标检测技术在许多领域有 着广泛的应用，在运输上，用于交通管理与场景监视运输工具或行人的违章 行为监督等方面；在医学上，用于生物组织运动分析等方面；在场景监控等 安全防范领域，基于运动目标检测的视频监控系统与原来完全依靠人眼来进 行监控的系统相比，大大减轻了监控人员的工作强度，减少了漏报问题。因 此，对运动目标检测技术的研究是一项既有理论意义又有实用价值的课题。 山东理工大学学位论文第一章绪论 1 2 目前的研究状况 目前，一般机器视觉信息处理平台主要有3 种【5 1 【6 】，( 1 ) 基于通用p c 微机： 主要是软件实现图像处理，它数据处理速度快，能够提供中等的图像处理能力， 但是要占用c p u 过多的资源，并且体积大、重量重、功耗高。( 2 ) 基于可 编程f p g a ：方法比较复杂，实现难度大。( 3 ) 基于d s p 芯片：不但有较好的 图像处理能力和较快的处理速度，而且体积小、功耗底，设计简便、灵活，非 常适用于实时图像处理系统。 在算法方面，运动目标检测及定位是计算机视觉中十分重要的一个热门 研究领域，近年来出现了许多新的算法。但可以归结为以下四大类：基于光流 场分析的算法、基于人工神经网络的算法、基于统计、学习的算法和基于图 像差分的算法。 基于光流场的算法【7 】【8 】【9 1 。通过计算图像的光流场，再结合目标的运动特 征进行目标检测。所谓光流是指图像中的模式的运动速度，它是一种二维( 2 d ) 瞬时速度场。光流法检测运动目标的基本原理是：给图像中的每一个象素点赋 予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图 像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根 据各个象素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有 运动目标，则光流矢量在整个图像区域是连续变化的，当物体和图像背景存 在相对运动时，运动物体所形成的速度矢量必然和邻域背景速度矢量小同， 从而检测出运动物体的位置。这种方法计算量大、易受噪声影响，不利于实 时处理。 基于人工神经网络的算法f l o 】【i l 】i 他l 。近十年来，基于人工神经网络的目标 检测方法得到了极大的发展，这种方法首先将每帧图像分成一系列图像块， 经过预处理后将这些图像块投影到一个线性滤波器组，得到不同的图像模式， 然后把这些不同的图像模式根据预先计算得到的聚类原形进行分类，最后用 训练得到的神经网络分类器来判断图像模式是否包含目标。该方法对对尺度、 旋转变形的目标有很好的适应性。但是由于神经网络本身的计算复杂性，这 种方法目前也不太适合实时应用。 基于统计、学习的算法【”】。通常来说该类算法检测到的运动目标比较准确， 因为采用统计、学习的方法，所以抗干扰能力较强。但由于运动的复杂性以 及不同性，致使基于统计、学习的算法很难采用一种统一的概率分配模型来 描述不同的运动。且象素或象素组要采用学习的方法遍历图像所有位置，故 造成训练样本大，计算复杂，计算量大，一般而言不适于实时处理。 2 山东理工大学学位论文 第一章绪论 基于图像差分的算法【1 4 】。它的基本原理是将两帧图像对应象素点的灰度 值相减，理想情况下，物体的运动必然造成两帧图像在运动区域上的灰度值不 同，相减后便可得到运动目标在图像中的位置，实现运动目标的检测。图像差分 算法主要有两种方法，背景差分法和帧间差分法。背景差分法，即用当前图像 差分背景图像；帧问差分法，即在序列图像中的两帧图像之间进行差分，常见的 是相邻两帧图像之间的差分，也可以是相邻三帧图像或者更多。差分图像算法 具有算法简单、计算量小、运算速度快等诸多优点。因此，它被广泛用于实 时运动检测系统。 1 3 本文的研究思想和主要工作 本文以计算机视觉为背景，利用视觉信息在时间和空间上的相关性，对 运动目标检测算法进行了研究，并将它在d m 6 4 2 为核心的图像处理系统上予 以实现。 计算机视觉中【6 1 ，图像处理算法的特点是处理的数据量大，计算复杂，具 有大量的乘法运算，而且实时性要求较高。d s p 技术的发展为计算机视觉算法 的硬件实现提供了简单可行的方案，它具有运算速度快，有专门的硬件乘法器， 可实现单周期乘法与累加的运算等特点。与基于p c 机和f p g a 的方法相比，使 用d s p 技术不但方法简单、灵活，具有更好的实时性，而且可以有效地降低成 本，更适合用于实时性要求较高的系统。d m 6 4 2 是t i 公司推出的专门用于处 理视频图像和语音的微处理器，具有速度快，并行处理能力强等特点，非常适合 于图像实时地处理。所以本文采用了基于d m 6 4 2 的图像处理系统来实现运动 目标的检测。 本文采用图像差分法来检测运动目标。与其它算法相比，虽然图像差分 法并不是检测效果最好的，但它的优点是算法简单，计算量小，适用于实时 性要求较高的图像处理系统。此外，因为硬件平台是以d m 6 4 2 为核心的实时 图像处理系统，图像处理能力不及p c 微机那么强大，运行复杂度高的算法时 会影响系统的实时性，所以采用相对简单的图像差分法，它计算量小，执行 速度快，适用于实时图像处理系统，它也易于在硬件平台上实现，算法移植 比较简单。 山东理工大学学位论文第二章图像差分算法的讨论 第二章图像差分算法的讨论 图像差分法算法简单，运算量小，执行速度快，适用于实时图像处理系统，因 此采用图像差分法算法作为核心算法来实现运动目标检测及定位，图像差分法又可 分为背景差分法和帧间差分法，它们互有优缺点，现在分别进行讨论。 2 1 背景差分法 背景差分法通过当前图像与背景图像相减就能很好的检测出运动目标。下面分别 介绍背景差分法的原理和背景更新方法。 2 1 1 背景差分法的原理 背景差分法【1 5 】【1 6 】首先选取背景中的一幅或几幅图像的平均值作为背景图像，然后 利用当前图像和背景图像的差分结果来检测运动区域，即将当前图像与背景图像的对 应象素点的灰度值相减，若差值大于某一阈值t ，则判定此象素点在运动目标上。用 公式表达如下： d ；( x ，y ) = i 以( x ，y ) 一6 ( x ，j ，) i ( 2 1 ) 必 力= 怒黼 q 2 ， 上式中：五( z ，y ) 为当前图像，6 ( x ，y ) 为背景图像，坂( x ，y ) 为检测结果，k 表示 帧数，t 为阈值。 在背景差分中，背景图像选取的准确与否，直接关系到最终检测结果的准确性。 在理想情况下，即背景图像是完全静止，没有噪声的，而且具有运动目标的当前图像 除了运动目标区域的象素值发生变化，其余属于背景部分的象素值保持不变，所以通 过判断两幅图像对应点的象素差值的大小可以判断是否出现运动目标。 2 1 2 背景更新 背景差分法的优势是建立在稳定的背景图像基础上的，但要获取用这种理想背景 图像，在实际应用中是不实际的。在现实生活中很难找到一成不变的背景图像，绝大 部分的背景图像都会存在长时间的、细微的变化。细微变化是指变化的幅度很小，使 人们很难分辨出此时刻的背景图像与上一时刻的背景图像存在什么不同之处，而长时 间的变化则指变化每时每刻都在发生，例如一天中阳光的变化，短时间内人们根本感 4 山东理工大学学位论文第二章图像差分算法的讨论 觉不到阳光的强弱变化，但是阳光是在不停变化的，正午阳光的强度和傍晚的会有明 显的差异。当背景图像发生这种长时间的细微变化时，如果一直使用最初的背景图像， 那么随着时问的增长，累积误差就会越来越大，最终造成使用的背景图像与实际背景 图像的较大偏差。因此，背景差分方法中的一个重要问题就是背景更新，好的背景图 像更新方法将大大提高背景差分法的效率。下面我们介绍两种主要的背景更新方法 【l 刀。 方法1 ：基于i i r 滤波的背景图像更新 i i r ( i n f i n i t ei m p u l s er e s p o n s e ) 滤波器是一种基于运动检测的滤波方法，一般 应用于运动自适应滤波，因此我们可以考虑采用类似于i i r 滤波器的方法来实现背景 更新。可以用如下计算公式表示背景： 最= 呶+ f ，l 一矽壤。 ( 2 3 ) 式中反为更新后背景图像，统一。为原背景图像，f 。为当前图像，口 o l 】为更 新系数。当口较小时，该方法可以缓慢地更新背景图像，而当口较大时，则能够较快 的更新背景图像。在极值情况下，口= o 时，该方法变成简单的背景差分法，相当于不 更新背景图像，口= l 时，该方法变成帧间差分法，即通过连续两帧图像的比较来检测 运动目标，此方法在下一节介绍。由公式( 2 3 ) 可以看出，基于i i r 滤波的背景图像 更新法在场景中出现运动目标时，会在一定程度上将运动目标的图像叠加到背景图像 上，这对以后的运动目标检测来说非常不利。因此，有人就提出区别对待运动中的目 标象素与背景象素。当某一象素被判定为目标象素时，则不用该象素的值对背景图像 进行更新，反之则利用该象素的值对背景进行更新。 方法2 ：基于象素分析的背景图像更新 在使用方法1 对背景图像进行更新时，如果不分析新到的象素类别，也即背景象 素或前景( 目标) 象素，则在一定程度上会将目标图像叠加到背景图像上，为解决这个 问题，文献( 1 7 ) 提出一种分析象素类型的背景更新方法。公式如下： b 胛= t 麓；( 1 一口线小奋 ( 2 4 ) 其中，式中吃为更新后背景图像，色一。为原背景图像，e 为当前图像， 口 01 】 为更新系数。该方法在更新背景图像时，将背景图像分为两部分静态背景图像和运动 目标图像。对于出现运动目标的图像区域不进行更新，仍使用上一次建立的背景图像， 而对于静态背景则以速率口进行更新。 5 山东理工大学学位论文第二章图像差分算法的讨论 2 1 3 背景差分法中存在的问题 背景差分法方法简单，速度快，准确性高，而且能够得到完整的运动目标信息， 但它的一个缺点是背景图像的变化会影响检测结果的准确性，为此人们提出背景更新 的概念。当背景发生长时间的细微变化时，背景更新法可以有效的克服这种变化带来 的干扰，但当背景图像突然发生较大的变化时，背景更新法就不那么有效了。例如背 景物体的突然的明显移动，光线的突然变亮或变暗，示意图如下： 背景图像 当首图像中 背景物体发生穗；动 差分圈量 图2 1 + 背景物体突然移动时的检测结果 由图2 1 可见，背景差分法检测到了两个运动目标，其中一个是真正的运动目标， 。另一个则是背景物体移动走后显露出的背景区域，它实际应该属于背景图像，而不是 运动目标。在这种情况下，从公式( 2 1 ) 和( 2 2 ) 中可看出，无论是使用哪种背景 更新法，背景的更新都是有一定速度的，从背景的改变到背景图像更新的完成是有一 定的时问延迟的，当背景物体突然移动时，背景图像总是不可能马上完成更新，所以 在物体运动的丌始阶段会出现类似上图的检测错误。另外使用基于象素分析的背景更 新法，那么当光线突然发生变化( 如丌灯或关灯) 时，该方法会把整个图像都当作运 动目标，而更本不进行背景更新。 为了减弱因光线变化引起的干扰，在文献 1 8 】中使用了光照敏感系数来抑制光线 的干扰。该方法虽然较好的抑制了光线干扰，但同时会使算法对大的运动目标的检测 能力下降。 另外，背景差分法中阈值t 的选取是一个比较麻烦的问题，阈值t 的大小对检测 结果起着重要影响，如果t 值过大，会使一些有轻微运动的目标被忽略，如果t 值过 小，就会检测出过多的运动目标。为了有效的确定阈值，人们提出多种阈值处理技术， 包括全局闽值，自适应阈值，最佳阈值等等，但现在普遍采用根据经验来选取阈值的 方法。 6 山东理t 大学学位论文第二章图像差分算法的讨论 背景差分法的优点是算法简单，根据实际情况确定阂值处理后，所得结果直接反 映了运动目标的位置、大小、形状等信息，能够得到比较精确的运动目标信息，适用 于背景己知的情况，其关键是如何获得场景的静态背景图像。它的缺点是容易受到干 扰，例如光线发生变化，或是背景中物体的突然移动都会直接影响到最终的检测结果。 2 2 帧间差分法 帧间差分、法【1 9 】【2 0 】主要是利用图像序列的时间连续性原理来检测运动目标的。若 图像中没有运动目标，则连续帧图像变化较小；反之运动目标会引起相邻帧图像内 运动目标区域的显著差异。帧间差分法首先将连续两帧图像中的对应象素点的象素 值相减，得到一个差值，再将这个差值与预先设定好的阈值相比较，如果差值大于 阈值，则认为对应位置处有运动目标。它的数学表达式与背景差分法相似，只是在 背景差分中，差分的是当前图像和背景图像；而在帧间差分中，是将当前图像与前 一帧图像相差分。 与背景差分法相比，帧间差分法同样具有运算量小，速度快的优点，而且因为 它并不使用背景图像，所以该方法不必考虑背景图像变化的干扰问题。实际上，帧 间差分法检测的是相对运动，它只对运动目标感兴趣，又因为进行差分的两幅图像 的时间问隔很短，所以图像的差分结果受光线变化影响小。 遗憾的是这种方法也常常会引起不良的后果：一是它不能完全提取出运动目标所 有相关的特征象素点，除非运动物体本身具有较复杂的纹理特征，否则两帧间物体重 叠部分不会被检测出来，帧问差分后运动目标内部容易产生空洞现象。二是检测出的 物体的位置不精确，其外接矩形在运动方向上被拉伸。由于目标的运动前一帧图像中 被遮挡的一部分背景在当前图像中将显露出来，从而使这部分背景也被当作运动目标 区域，因此检测出的目标比真实的运动目标大。实际上检测到的是运动目标与背景发 生相对运动的区域，包括运动目标和显露区域，图2 2 为帧间差分法检测效果示意图。 同时这种方法所检测到的运动区域的大小与目标的运动速度有关，目标运动速度越 快，检测出的区域就比实际的区域越大，而当目标运动很缓慢时，往往检测到的区域很 小，甚至无法检测到目标的运动。在实际应用中，希望提取的目标尽量接近目标的真实 形状，或者是说，提取出的目标应该是完整的，同时也应该尽量少的包括背景图像。 7 山东理工大学学位论文第二章图像差分算法的讨论 第k 帧 篱k 十l 吱 差分结果 图2 2 帧间差分效果图 为了提取更精确的运动目标，文献【2 1 】提出基于三帧的图像差分法。算法流程图 如图2 3 所示： 图2 3 三帧图像差分法流程图 该算法分为2 步： ( 1 ) 设以一。( x ，y ) ，以( x ，y ) ， + 。( z ，y ) 为连续三帧图像，通过常规帧间差分法得 到两个差分图像d 1 ，d 2 ，公式为： 批 i 爱。：麓：爿三 眩5 ) d 2 = 1 2 僦篙三 晓6 ， ( 2 ) 将两帧差分图像d l ，d 2 进行相与运算，得到差分图像d ，该图像实际上是运动 物体在中间帧中的三帧交叉部分。 d = d 1 d2 ( 2 7 ) 8 山东理工大学学位论文 第一二章图像差分算法的讨论 图2 4 三帧图像差分效果图 如图2 4 所示，三帧差分法可以准确的提取出运动目标，避免了两帧差分中检测 到的运动区域过大的问题，可以有效的抑制背景图像的显露区域。但是当运动目标移 动比较缓慢时，连续两帧图像中就会出现运动目标的重叠，这时三帧差分法就不能提 取到完整的运动目标了【：到。 第玉- l 囊 差分圈像d i 第x 十l 帧 差分圈t 越 图2 5 重叠情况下三帧差分法效果图 从图2 5 可以看出，在运动方向的两端运动目标被忽略了，可以想象到运动目标 的速度越慢，连续图像中运动目标的重叠部分越多，被忽略的运动目标越大，结果越 不精确。在极端情况下，可能根本检测不到运动目标。 帧间差分法的另一个缺点是容易造成被检测的运动目标的丢失。因为它的检测结 果是基于连续两帧图像的差分，当运动目标出现短暂停留时，连续两帧图像不存在偏 9 山东理工人学学位论文第一二章图像差分算法的讨论 差，所以此时就检测不到运动目标了。只有当运动目标不停运动，任何连续两帧图像 都存在明显差异时，帧间差分法力能较好地检测到运动目标。可见，帧间差分法比较 适合于检测不停运动的目标，对于检测做不连续运动的目标就不那么适用了。 2 3 新算法的提出 背景差分法和帧间差分法各有不足之处，因此我使用了一种基于边缘检测的背景 差分法。该算法基于背景差分法，所以它可以精确地提取运动目标，不会像帧间差分 法那样出现检测到的运动目标过大、过小和空洞等现象。基于边缘检测的背景差分法 还克服了常规背景差分法易受到光线变化影响的缺点，同时当背景中的物体突然移动 时，该算法也能准确地检测到这个运动目标。 2 3 。1 边缘检测的基本理论 图像边缘对图像识别和计算机分析十分有用f 2 3 】，边缘能勾画出目标物体，使观察 者一目了然；边缘蕴含了丰富的内在信息( 如方向、阶跃性质、形状等) ，是图像识 别中重要的图像特征之一。从本质上说，图像边缘是图像局部像素值变化最显著的部 分，是图像不连续性的反映，它标志着一个区域的终结和另一个区域的开始。边缘检 测的目的就是准确地识别图像中各个物体中的边缘。 边缘具有方向和幅度两个特征，沿边缘走向f 2 4 】，象素值变化比较平缓而垂直与边 缘走向象素值变化比较剧烈。这种变化可能呈现阶跃状，也可能呈现线条状。阶跃边 缘两侧的象素值是由大到小或者由小变大，线条边缘处于象素值由小到大再到小或者 是由大到小再到大的变化转折点处。在现实中，阶跃边缘和线条边缘比较少见，更常 见的是斜坡型边缘和屋顶型边缘。 l o 山东理工大学学位论文第_ 二章图像差分算法的讨论 ， m 阶勉缘 广一 i ， j 、 斜蚴当t - i l i i 斜姐勉绅卜昀导数 i i 斜坡边缘二阶导数 线冬- 边当欲 屋顶边j 象 i i i 屋磁约卜阶导数 屋顶边缘二阶导数 图2 6斜坡边缘和屋顶边缘一阶和二阶导数变化规律 如图2 6 所示，斜坡边缘上象素值的一阶导数较大而二阶导数值为零；屋顶边缘 一阶导数为零，二阶导数最小，所以通常通过求导来检测图像边缘。在数字图像中象 素值的变化可用梯度来表示，因此边沿的检测很大程度上来说就是求梯度。 对于一幅图像f ( x ，y ) ，它的梯度可表示为： g y ) 】_ 篆雾】r ( 2 8 ) 向量g ( x ，y ) 的方向就是函数f ( x ，y ) 增大时的最大变化率方向，梯度的幅值由下式给 g ( w ) = 厢 在实际应用中，通常用绝对值来近似梯度幅值： g ( x ，少) | _ i qi + f q ( 2 9 ) ( 2 1 0 ) 山东理t 大学学位论文第二章图像差分算法的讨论 对于数字图像用微分运算不便，故一般采用差分形式，最简单的梯度幅值表达式 为： q = 厂【f ，+ 1 卜厂 f ，刀 ( 2 1 1 ) g 。= 厂【f ，】一厂【f + 1 ，】 ( 2 1 2 ) g ( x ，j ，) i - l 【f ，+ l 】一厂 f ，】l + i 厂【f 卜门f + l ，】i ( 2 1 3 ) 2 3 2 基于边缘检测的背景差分法 基于边缘检测的背景差分法流程图如下： 边 边 图2 7 基于边缘检测的背景差分法流程图 基于边缘检测的背景差分法并不是直接将背景图像与当前图像相减，而是先对它 们分别进行边缘检测后再相减得到差分图像，最终根据差分图像结果来提取运动目 标。它的操作步骤为： ( 1 ) 设背景图像为b ( x ，y ) ，当前帧图像为胀，y ) ，分别对它们进行边缘检测，得到图像 b ( x ，y ) 和f ( x ，y ) ，在这两幅图像中，物体边缘上象素值为1 ，其余地方的象素值为o 。 ( 2 ) 将背景图像与当前帧图像相减，得差分图d ( x ，y ) = f ( x ，”一b ( x ，y ) 。 ( 3 ) 分析差分图像： ( i ) d ( x ，y ) = 1 ，即f ( x ，y ) b ( x ，y ) = 1 o = 1 。这表示在这个象素点上，当前图像帧中有 物体边缘，而背景图像中没有物体边缘。显然这表明出现了运动目标，且该象素点就 在运动目标的边缘上。 ( i i ) d ( x ，y ) = 1 ，这是由于当前图像中该象素点不是物体边缘，而背景图像中该 点却是物体边缘，即f ( x ，y ) b ( x ，y ) = 0 - l = 1 。这也说明出现了运动目标，只是这个象素 点虽位于运动目标上，但并不在运动目标的边缘上，而且该运动目标遮挡住了背景图 像中某个物体的边缘。 ( i i i ) d ( x ，y ) = 0 。有两种可能导致这一结果，一种是f ( x ，y ) - b ( x ，y ) = 1 一l = 0 ，这说明 1 2 山东理工大学学位论文第二章图像差分算法的讨论 当前帧图像和背景图像中改点都为物体的边缘，即背景中的物体并没有移动或受到遮 挡，所以该象素点应在背景图像上，它不是运动目标上的象素点。另一种情况是 f ( x ，y ) 一b ( x ，y ) = 0 - 0 = o ，这表明在该象素点上，当前图像和背景图象都不是物体边缘。 综合以上三种情况，当且仅当d ( x ，y ) = 1 时，基于边缘检测的背景差分法才会检测 到运动目标的边缘，在其它情况下，无论是否有运动目标都不会检测到运动目标的边 缘。数学公式如下： f 1 ， 检测到运动目标边缘 d ( x ，y ) = ( z1 4 ) l 其它，没有检测到运动目标边缘 由图2 8 可以看出，基于边缘检测的背景差分法可以准确、完整的提取到运动目 标，而且它还可以克服光线变化带来的干扰，这是因为在两帧图像差分前，它们都进 行了边缘检测的缘故。通常情况下，物体与物体、物体与背景之间的象素值是不同的， 边缘检测正是利用这一特点计算图像中各个相邻象素点的差值，如果这个差值过大， 那么就认为该点为边缘象素点。如果光线发生变化，那么它会引起图像中所有象素点 的象素值的变大或变小，且这个变化值应是相同或差异不大的。而边缘检测计算的是 象素点的相对差值，当光线变化时，这个差值并不会发生改变，所以不会影响边缘的 检测。也就是说边缘检测法将光线的变化给屏蔽掉了，所以基于边缘检测的背景差分 法的最终差分结果可以不受光线变化的影响。 背景圈象 当首图象 边沿检测后的背景圈象 边沿检湖舌的当莆圈象 图2 8 基于边缘检测的背景差分法效果图 基于边缘检测的背景差分法的另一个优点是，当背景图像中的物体突然移动时， 山东理工大学学位论文第二章图像差分算法的讨论 该算法仍能将准确地检测到这个运动目标，有如下两种情况： ( 1 ) 当移动的背景物体并没有遮挡其它背景物体时，检测结果示意图如下： 在当酋图t 中 臂：景中的物体发生移动 图2 9 无遮挡物体情况下的检测效果图 由上图可知，进行差分时，在运动目标的原处得到的差分结果为d ( x ，y ) = f ( x ，y ) - b ( x ，y ) = o l = 一1 ，表示该位置并没有检测到运动目标的边缘，所以可以抑制背 景图像变化造成的干扰，准确地提取出运动目标。 ( 2 ) 当移动的背景物体遮挡其它背景物体时，检测结果示意图如下： 臂景图象 在当莆图像中 背景中的物体发生移动 边沿检测后的背景图象 边沿检测后的当首图象 图2 1 0 无遮挡物体情况下的检测效果图 在原背景运动目标边缘处的差分结果与上一种情况相同，表示该位置并没有检测 1 4 山东理t 大学学位论文第二章图像差分算法的讨论 到运动目标的边缘，在显漏出的背景物体边缘处的差分结果为d ( x ，y ) = f ( x ，y ) 一b ( x ，y ) = 1 0 = 1 ，表示检测到运动目标的边缘。可见在此种情况下，基于边缘检 测的背景差分法不但可以排除背景物体运动的干扰，还可以检测到显漏出的物体边 缘。 基于边缘检测的背景差分法还有效的避免了选取阈值t 的麻烦。在2 1 节提到在常 规背景差分法中，阈值t 过大或过小都会直接影响到最终检测结果的准确程度。为此 人们提出多种选取阈值的方法，但到目前为止，还没有一种方法能适应于所有的情况， 只能根据具体情况选取适当的阈值确定方法，使检测结果尽可能的准确。在基于边缘 检测的背景差分法中，运动目标边缘的判定是根据差分结果d ( x ，y ) ，它只有1 、o 、1 三 种情况，当等于l 时表示检测到物体边缘，否则表示为检测到，可见这种方法并没有 使用到阈值技术。 基于边缘检测的背景差分法是以背景差分法为基础，再结合边缘检测法的一种运 动目标检测算法。它的特点是计算量小，执行速度快，可以准确并完整的提取到运动 目标，在光线变化的情况下，检测结果依然准确。 1 5 山东理工大学学位论文第三章运动目标检测算法的设计 第三章运动目标检测算法的设计 运动目标检测算法以基于边缘检测的背景差分法为核心算法，包括背景图象 的建立，噪声去除，边缘细化等多个部份。运动目标检测只靠一个好的核心算是 得不到精确的检测结果的，系统中其它的组成部分对最终的检测结果也起着重要 的影响。可见，要使算法能快速、准确地检测到运动目标，必须使各个部分有机 的结合起来，使它们相互配合协调工作。 3 1 算法流程图 图3 1运动目标检测系统流程图 步骤1 ：使用高斯模型建立背景图像。 步骤2 ：采集实时图像。 步骤3 ：图像预处理，包括图像去噪和图像增强，为运动目标检测提供优质 的图像信号。 步骤4 ：使用基于边缘检测的背景差分法检测运动目标。 步骤5 ：后续处理，包括边缘细化和离散点去处，使检测结果更加准确、清 晰。 步骤6 ：背景图像更新。 1 6 山东理工大学学位论文第三章运动目标检测算法的设计 3 2 背景图象的建立 在背景差分法中【2 6 】，背景图像提取的准确与否，直接关系到最终检测结 果的准确性。目前国内外很多人都致力于背景图像的研究，也提出了很多的算 法，其中最简的算法是在场景没有运动目标的情况下使用时间平均法。此方法将 一定时间段中的图像序列采样，对每一个象素点，把这一段时间中的所有图像取 平均值，那么这个平均值就会接近背景图像，并且采样图像越多平均值越接近背 景图像，然后以这个平均值作为背景。同时，求平均值的方法还可以抑制噪声。 算法如下： ( 1 ) 在没有运动目标的情况下，采集n 帧背景图像f 礅，y ，t ) ；t = 1 ，2 ，n ； ( 2 ) 对这n 帧图像求平均值，得到背景 ( x ，y ，d 6 ( x ，y ) = 型i 一 ( 3 1 ) v 但是在实际应用中有时很难找到没有运动目标的静态背景，如对高速公路和 城市交通的监控，不可能中断交通来提取背景图象，所以需要有一种方法能够在 场景存在运动目标的情况下获取背景图像。论文中采用基于高斯统计模型的方法 来建立背景图像，它可以在场景中存在运动目标的情况下提取出背景图像。此方 法基于这样的假设，在背景图像提取阶段，场景区域中的运动目标不可能长时间 的停留在某一位置。 对图像序列中某一象素点的象素值进行一段时间的统计观测，可以发现在一 段时间内，象素值主要集中在很小的一个区域中，只有在运动目标通过该点时， 它的象素值才发生大的变化。因此，可以用这个象素值比较集中的区域内的平均 值作为该点的背景值。 通常图像序列中，每个象素点的象素值是符合高斯分布的，因此可以计算： 以( x ，j ，) ：堕以一l ( x ，j ，) + 土以( z ，y ) ( 3 2 ) nn ( z ( x ，y ) 一以( x ，y ) ) 2 ( x ，y ) = 旦- 一 ( 3 3 ) ，z l ( x ，少) 和盯2 ( x ，少) 分别表示前n 帧图像在( x ，y ) 点的均值和均方差。因此， 建立一个背景图像： 1 7 山东理t 大学学位论文第三币运动目标检测算法的设计 7 ( x ，y ，f ) 6 ( x ，y ) = 旦1 r 一 ( 3 4 ) 其中，厂( x ，y ，r ) 满足l 厂( x ，y ，f ) 一心( x ，y ) l 吒( x ，j ，) 。 3 3 背景图像的更新 基于边缘检测的背景差分法虽然可以克服光线变化的干扰，但当背景物体缓 慢移动时，经过一段时间的累积，背景图像就会发生明显的变化，因此长时间的 使用同一帧背景图像会造成检测结果的偏差，所以在基于边缘检测的背景差分法 中也引入了背景图像更新算法。 对于基于i i r 滤波的背景更新方法，通过2 1 2 节中公式( 2 3 ) 可以看出当前 图像的内容会按照比率口逐渐地融入到背景图像中。如果被检测的运动目标的运 动规律是移动一段距离后作较长时间的停留，然后再移动的话，那么基于i i r 滤 波的背景更新法就会在该运动目标静止时，把它纳入到背景图像中，并不把它当 作运动目标，而把它看成背景图像的一部分，当运动目标再次移动时才又把它看 成运动目标。所以在这种情况下就会出现运动目标的丢失，当运动目标作“移动 静止移动”运动时，系统就有可能在运动目标静止时检测不到运动目标。 本系统中采用的是基于象素分析的背景图像更新，该方法在更新背景图像 时，把背景图像和运动目标区分开，对于出现运动目标的背景图像区域不进行背 景图像更新，因此也就不会把运动目标融入到背景图像中。虽然基于象素分析的 背景图像更新法的缺点是在光线突变时，它并不会实时更新背景图像，但基于边 缘检测的背景差分法可以有效的克服光线的变化，所以本系统采用了基于象素分 析的背景图像更新法。 3 4 图像预处理技术 摄像机等视频输入设备在摄入视频图像的同时会产生热噪声，环境也会产生 噪声，加上传输系统的噪声，这些噪声对视频检测有严重的危害。此外，周围环 境等外界因素的影响可能造成视频图像的模糊、淡化等不利于进一步处理的变 化，为了不将这些干扰带到后面的核心算法中以致影响最终的处理效果，有必要 在输入图像后先对其进行预处理，减少或滤除各种噪声和随机干扰，增强有用信 1 8 山东理1 二大学学位论文第三章运动目标检测算法的设计 息，提高后续处理的有效性和可靠性。 图像预处理是针对性很强的技术，根据不同应用、不同要求需要采用不同的 处理方法。预处理做得好可以减少后面核心算法中的工作量，相反如果缺少必要 的预处理过程，则会对后面系统的结果产生较大的不利影响，有可能造成工作量 的增大和效率的降低。现有的图像预处理方法主要有两类：一类是空域中的处理， 即在图像空间中对图像进行各种处理：另一类是把空间与图像经过变换，如傅立