（机械电子工程专业论文）基于dsp的运动目标自动检测跟踪系统的研究.pdf

搁要 本文主要研究了基于d s p 的运动目标自动检测跟踪系统，包括硬件平台的构 建和运动检测跟踪算法软件的设计。 通过对监控系统现状的调研并针对其不足，本课题研究了一个基于d s p 的自 动检测跟踪系统，采用t i 公司的t m s 3 2 0 c 6 4 1 6 作为主处理芯片，完成了硬件 平台的设计并给出了调试结果。运动检测跟踪通常具有很强的任务依赖性，往往 是针对不同的应用选用相应的算法。本文首先分析比较了目标跟踪领域常用的 些算法的优缺点，根据本文所处理的视频图像的特点以及系统实时性的要求，确 定了图像差分和改进的光流场估计算法作为提取运动目标及其运动速度和方向 的核心算法；采用c 语言完成了灰度转换、图像差分、中值滤波、光流估计、 形心确定、高速球控制等软件模块的程序设计，调试出程序执行时间并做了实时 性分析；通过坐标标定，系统解决了坐标系转换问题，并根据摄像机的控制协议 以运动目标的形心位置为基准控制摄像机跟踪目标。 从实验数据与结果看，本文研究的跟踪系统在一定条件下能够准确、及时地 检测跟踪目标，达到了预期效果。 关键词：目标检测与跟踪；差分图像；光流场估计；d s p ；高速球 a b s t r a c t 7 i h et h e s i si sf o c u s e do nt h es t u d yo ft h es y s t e mo fm o v i n go b j e c td e t e c t i o na n d t r a c k i n gb a s e do nd s p , i n c l u d i n gt h ed e s i g no ft h ei l a r d w a r ep l a t f o r ma n dt h e a l g o r i t h ms o f t w a r em o d u l ef o rm o v i n go b j e c td e t e c t i n ga n dy a c k i n g a g a i n s tt h el i m i t a t i o nf o u n di nt h ei n v e s t i g a t i o nf o rt l l e c u r r e n ts t a t u so ft h e s u r v e i l l a n c ea n dc o n t r o ls y s t e m ，an e ws y s t e mo fm o v i n go b j e c td e t e c t i o na n d t r a c k i n gb a s e do nd s pi s s t u d i e d t h i sp a d e ra d o p t st h et m $ 3 2 0 c 6 4 1 6d s p p r o d u c e db yt ic o m p a n ya st h ep r i m a r yc o n t r o lc h i pt od e s i g nah a r d w a r ep l a t f o r m a n dt h ed e b u g g i n gr e s u l ta r eg a i n e d t h em o v i n gd e t e c t i o na n dt r a c k i n ga r e t a s k d e p e n d e n t a c c o r d i n gt od i f f e r e n ta p p l i c a t i o n ，t h ec o r r e s p o n d i n ga l g o r i t h mw i l l b es e l e c t e d i nt h et h e s i s ，t h ea d v a n t a g ea n ds h o r t c o m i n go fs o m ea l g o r i t h m sa r e a n a l y z e da n dc o m p a r e df i r s t l y ，a n da c c o r d i n gt ot h ec h a r a c t e r i s t i co fv i d e oi m a g e sa n d t h er e q u i r e m e n t so fr e a l - t i m ef o rt h es y s t e m ，t h em e t h o do ft h eo p t i c a lf l o wf i e l d e s t i m a t i o nb a s e do i lg r a d sc o m b i n e dw i t hi m a g ed i f f e r e n c ei se s t a b l i s h e da st h e p i v o t a la l g o r i t h m m o s ts o f t w a r em o d u l ep r o g r a m sa r ec o m p i l e dw i t ht h el a n g u a g ec ， a n dt h ee x e c u t i o nt i m eo ft h ep r o g r a mi sd e b u g g e da n dt h er e a l t i m ep e r f o r m a n c e c o m p a r e d a sw e l l t h es y s t e mr e s o l v e st h e p r o b l e mo ft h ec o n v e r s i o no ft h e c o o r d i n a t e st h r o u g hd e m a r c a t i n gt h ec o o r d i n a t e s 。t h ed o m ec a m e r ai sc o n t r o l l e d a c c o r d i n gt ot h ec o n t r o lp r o t o c o lo fi tt ot r a c kt h ec e n t r o i do f t h em o v i n go b j e c t ， s e e i n gf r o mt h ee x p e r i m e n tr e s u l ta n dd a t at h r o u g h o u tt h ep a p e r , t h em o v i n g o b j e c tc a nb ee x a c t l ya n dt i m e l yd e t e c t e da n dt r a c k e db yt h es y s t e mu n d e rt h e s p e c i f i e dc a s ea n di tc a na t t a i nt ot h ee x p e c t e de f f e c tb a s i c a l l y k e yw o r d s ：o b j e c td e t e c t i o na n dt r a c k i n g ；d i f f e r e n c i n gi m a g e s ；o p t i c a lf l o wf i e l d e s t i m a t i o n ；d s p ；d o m ec a m e r a 学位论文独仓性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同事 对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 如不实，本人负全部责任。 论文作者( 签名) ：鲤垄： ! 兰：2 0 0 6 年3 月2 3 日 ， 学位论文使用授权说明 河海大学、中国科学技术信息研究所( 含万方数据库) 、国家图书 馆、中国学术期刊( 光盘版) 电子杂志社有权保留本人所送交学位论文 的复印件或电子文档，可以采用影印、缩印或其他复制手段保存论文。 本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论 文外，允许论文被查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河海大学研究生院办理。 论文作者( 签名) ： l 生朱 i 量 2 0 0 6 年3 月2 3 曰 第一章绪论 1 1 引言 第一章绪论 大干世界运动的物体随处可见，很多时候需要对它们进行识别和跟踪。运动 目标识别跟踪是在二维图像处理技术基础上发展起来的，它是图像处理和计算机 视觉领域中的一个非常活跃的分支，它的基本任务是利用运动物体的投影图像序 列来分析物体的运动情况，包括运动参数估计和驱动摄像机云台跟踪目标实现反 馈控制。运动目标识别跟踪在许多领域有着广泛的应用【1j 。在军事上，有空载下 视系统如星载系统对低空及地面目标的监视和低空或地面系统对空的多目标检 测与跟踪等；在民用上，常与报警系统协力完成入侵目标的检测与跟踪。 运动目标自动识别跟踪系统在科学技术研究和工程应用上有着十分诱人的 前景，世界各地的研究人员一直在不懈地努力，涌现了许多算法，归纳起来主要 有以下几种：差分图像法、光流法、m e a ns h i f t 分割法、k m m a n 滤波跟踪等【2 】。 但是这些方法各有优缺点，适用于不同的运动模式与跟踪要求。运动目标的识别 跟踪技术是通过对摄像机获取的动态序列图像进行分析，数据量通常都很庞大， 现有的识别跟踪算法在一般处理器上实现起来处理速度明显不足，实时性很差， 离实用化还有相当的距离。如果采用专用的芯片组实现，虽然实时性得到了保证， 但系统的灵活度会大大降低，不利于以后功能升级。 近年来，出现了一些可视化的监控系统，可以满足人们“眼见为实”的要求， 但这种监控系统较多地集中在基于p c 机的图像监控，它要求监控人员不停地监 视屏幕，获得视频信息，通过人为的理解和判断，才能得到相应的结论，做出相 应的决策。而让监控人员长期盱着众多的电视监视器成了一项非常繁重的任务， 特别在一些监控点较多的情况下，监控人员几乎无法做到完整全面的监控。因此， 人们对监控系统的智能化要求越来越迫切。 随着计算机和信息技术的飞速发展，数字信号处理技术得到了迅速发展。自 从上世3 2 7 0 年代第一片数字信号处理( d i g i t a is i g n a lp r o c e s s o ld s p ) 芯片问世以 来，d s p 以数字器件特有的稳定性、可重复性、可大规模集成，特别是可编程性 高和易于实现自适应处理等特点，给数字信号处理的发展带来了巨大机遇，并使 信号处理手段更灵活，功能更复杂，其应用领域也拓展到所有领域。随着半导体 制造工艺的发展和计算机体系结构等方面的改进，d s p 芯片的功能越来越强大， 使信号处理系统的研究重点放在了软件算法上，特别是在图像实时处理领域能够 实时处理的信号带宽已经有了长足的进展。如今，4 8 亿次( 4 8 0 0 m i p s ) d s p 数 字信号处理器的出现，使动态图像的处理已经成为可能，绝大部分应用也由最初 的非实时应用转向高速实时应用【3 i 。再加上各种可编程器件特别是现场可编程器 坷海大学t 学碗十论丘 摹于d s pr r , j 运动目标自动捡蜘4 踔踪系统们研究 件，如f p g a 、c p l d 技术只益完善并大量推广应用，大大改善了硬件电路集成度， 从而提高了检测跟踪系统的整体性能。 基于p c 的视频监控系统终端功能较强，便于现场操作，但价格高昂，稳定性 不好，视频前端视频信号的采集、压缩、通讯较为复杂，可靠性不高，p c 机t 需专人管理，这种方式极不理想。应用咀d s p 为核心微处理器对动态视频图像序 列进行处理- 结合其他硬件构成对入侵的运动目标实现自动t ； 别跟踪系统，不仅 具有设备体积小、应用灵活简便的优点，且不用担心需要何种兼容的操作系统和 无故死机的一系列问题，受到广泛关注。因此，外发基于d s p 的运动目标自动识 别跟踪系统具有很大的现实意义和应用价值。 本课题在充分研究了有关识别跟踪算法的基础上提出了套完整的运动目 标自动检测跟踪的解决方案，借助数字信号处理技术所提供的强大功能，以t i 公司高速度高性能的d s p 芯片t m s 3 2 0 c 6 4 1 6 作为核心元件建立了一个运动目标 自动识别跟踪系统。 1 2 国内外自动跟踪系统的研究动态 基于摄像机拍摄的视频图像处理的运动目标自动跟踪系统，人致经历了三个 发展阶段。在九十年代初以前，主要是以模拟设备为主的闭路电视监控系统，称 为第一代模拟监控系统。此类监控系统曾经被应用在众多领域，如今在许多地方 依然在使用。但是因其成本昂贵、费时费力等原因，正逐渐被淘汰。九十年代中 期，随着计算机处理能力的提高和视频技术的发展，人们利用计算机的高速数据 处理能力进行视频的采集和处理，利用显示器的高分辨率实现网像的多画面显 示，从而人大提高了图像质量，这种基于p c 机的多媒体主控台系统称为第二代 数字化本地视频监控系统。九十年代末，随着网络带宽、计算机处理能力和存储 容量的快速提高，以及各种实用视频处理技术的出现，视频监控步入了全数字化 的网络时代，称为第三代远程视频监控系统。第三代视频监控系统以网络为依托， 以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像分析为特色， 引发了视频监控行业的技术革命，受到了学术界、产业界和使用部门的高度重视。 国外对自动跟踪系统的研究起步早，资金投入犬，技术先进。1 9 9 6 年至1 9 9 9 年问，美国国防高级研究计划局( d a r p a ) 资助卡内基梅隆大学、戴维s a r n o f f 研究中心、南加州大学等著名大学和公司合作，联合研制了视频监视和视频监控 系统v s a m 4 1 ，用于实现未来战争中人力监控费用昂贵、非常危险或者人力无法 实现等场合的监控。利用v s a m 可以实现对髓控地区进行全方位的昼夜监控、 识别异常对象的类型、分析与预测人的活动，根据运动对象行为的危害性进行自 动提示和报警、支持多种通信线路连接，将检测到的异常情况 三l 文字形式传送到 系统总控制台、使用地理信息和三维建模技术提供可视化图形操作界面、1 i 需要 经常性的人工操作机载航空摄像机，自动对准地面监视目标实现对重要目标的长 经常性的人工操作机载航空摄像机，自动对准地面监视目标实现对重要目标的长 第一章绪论 时间监视等功能1 5 j 。因此，v s a m 不但能进行一般性的军事安全监控，如军事基 地、军械弹药库和边海防线的监控；而且能够进行局部战争战场的实时监控，如 敌方军力部署及调动情况等。 在国内，目前已有很多公司推出了自己研发的视频监控系统，如大连东锐软 件有限公司推出一套三维运动检测分析系统东方新锐d v m c 一8 8 0 l ，该系统通过 红外线高感度c c d 专用摄像机3 1 2 台摄取图像来实时捕捉人动物机械等的三维 运动，进行各种运动分析，也可作为传感器使用；北京凯瑞德图像技术有限责任 公司开发了动态图像检测设备，不仅能在生产线上进行实时动态检测，同时在体 育运动中也有着广泛的应用；安徽三联科技股份有限公司推出的三联城市道路交 通监控系统，采用国际一流的c c t v 监控设备和自行研制开发的网络视频管理软 件，实现对城市路口交通状况的实时监控违章抓拍和网络化视频传输及控制。但 这些系统在精度、实时性等方面还存在着缺陷，灵活性也不高。 1 3 本文主要研究工作及结构安排 本课题以数字信号处理器d s p 为硬件基础，充分研究了识别跟踪的相关算法， 设计了一个智能化的视频监控系统，可以应用于很多民用的监控场合。论文主要 内容包括以下几个部分： 1 运动目标检测跟踪算法理论的分析 论文的第二章着重分析了几种常用算法内容及其优缺点，以此提供本文所采 用算法的理论基础。系统的鲁棒性和实时性是本论文很重要的两个性能指标，在 分析现有成熟算法的基础上，我们采用了差分法和光流法相结合的办法，同肘实 现程序的时候对光流法适当的作了一些改进，以争取进一步提高系统的实时性。 2 硬件平台构建 本文第三章所做的首要工作就是在考虑芯片的主频速度、存储器容量、总线 速度、接口扩展能力等指标的基础上进行选型。n 公司新推出的高性能数字处理 芯片t m s 3 2 0 c 6 4 1 6 各项性能指标均表现非常优秀，本文选用此款芯片作为运行 检测跟踪算法的核心器件。 在确立核一i i , 器件的基础上，本文选用北京闻亭公司开发的d a m 6 4 1 6 p ( 其核心 器件是t i 公司生产的t m s 3 2 0 c 6 4 1 6 ) 图像处理平台作为基础来设计硬件的整体方 案，包括视频图像获取设备的选取、硬件仿真器的确定、各部件的硬件连接等。 为了方便系统的软件开发本章还着重分析了d a m 6 4 1 6 p 图像处理平台的各主要 模块的工作原理，并对整个硬件系统使用了一个v i d e 0 2 v g a 应用程序来进行调 试。 3 软件开发 系统的软件开发本文放在了第四章里来论述，这一章也是本文的重点。综合 考虑开发周期和代码效率后，本文采用c 和汇编语言混合编程的方法进行软件设 河海大学工学顾十论文 基于d s p 的运动h 标自动榆测跟踪系统的研究 计。本章首先介绍了软件的开发环境c c s ( c o d ec o m p o s e rs t u d i o ) 整体特点以及 c c s 内所集成的开发工具，充分了解这些开发工具有助于提高程序设计效率和代 码的优化。利用c c s 提供的开发工具本文编写了灰度转换、中值滤波、差分法、 光流法等算法的软件程序，给出了各程序的流程图或者是部分代码。 4 摄像机控制 前面各章节的工作是为了本章对摄像机的控制做准备。由检测跟踪算法得到 的运动速度和方向必须转换为摄像机的旋转速度等级，才能按照既定的协议向摄 像机发送命令，控制摄像机。本文在第五章里着重论述了运动速度的转换、控制 协议的解释、控制命令的组合及发送、各个坐标系之间的转换及摄像机的标定、 形心的计算等并给出了跟踪结果和分析。 5 结论和展望 论文第六章首先对本文前面所做的工作进行了总结，指出遇到的实际问题， 并针对这些问题对今后课题的进一步深入进行了展望。 第二章运动检测跟踪算法的理论基础 第二章运动检测跟踪算法的理论基础 由于现在的检测跟踪算法都是面向特定应用环境的，所以不存在一个算法能 适用所有场合的情况，也就是说每个算法都有其一定的适用范围。同类环境下工 作的各种检测跟踪算法都有其特有的优点和缺点。目前还没有一个公认的标准来 衡量算法的好坏。比较并明确每个算法的特点和它们的适用环境，对于在实际应 用中选择合适的方法并对其作出改进是十分必要的。在实际应用中选择算法时， 需要考虑的有算法成立的假设条件( 反映算法的局限性) 、算法的计算量和算法 在处理时间等方面的表现。作这样的比较，能够为在特定应用环境下选择合适算 法提供直接的选择依据。本章主要分析了现有的几种运动检测和跟踪算法，在此 基础上根据我们具体的应用环境、性能指标的要求设计并改进算法，形成一套行 之有效的解决方案，并加以验证。 2 1 图像预处理 在实际应用场合，摄像机拍摄到的物体运动图像由于受光照变化、摄像机抖 动等因素的影响，不可避免地含有噪声成分。为了提高处理结果的精确度，在进 行分析识别之前，首先应对图像进行预处理，本文的预处理主要是进行滤波。 图像滤波可以基于空域和频域上的滤波。在空域滤波中，根据图像的构成特 点可以分为线性滤波和非线性滤波两大类，在每一类中又可以根据处理效果的不 同，进一步细分为锐化( s h a r p e n i n g ) 滤波和平滑( s m o o t h i n g ) 滤波两种。在具 体实现上，线性空域滤波系统主要依靠转移函数、脉冲函数或是点扩散函数完成 对邻域的滤波；而非线性空域系统则多是直接对邻域进行处理。在频域中，图像 滤波处理的过程大都是在变换域中完成，其中从空间域向变换域的转换处理需要 借助二维离散快速傅立叶变换来进行，在变换域中所进行的包括频域滤波在内的 众多处理方法的设计原理，在很大程度上都要依赖于卷积理论。 图像中目标的内部往往变化比较缓和，对应于频率谱的低频部分；而图像中 存在的噪声和目标的边缘由于在很小的区域范围内灰度发生了急剧的变化，在频 谱中对应高段频谱。因此在设计平滑滤波器时需要采用低通滤波，可以在对大目 标进行提取时消除小细节和背景噪声的干扰，并将目标区域尽可能的融为一个整 体。而在设计锐化滤波器时为突出边缘，就需要采用高通滤波处理办法。 根据本文所要处理的图像和所要识别的目标的特点，采用了非线性滤波法中 的中值滤波。中值滤波的基本思想是用象素点邻域灰度值的中值来代替该象素点 的灰度值，对于奇数个元素，中值是指按大小排序后中间的数值；对于偶数个元 素，中值是指排序后中间两个元素灰度值的平均值1 2 j 。中值滤波这种方法由于不 依赖于邻域内那些与典型值差别很大的值，因而能在去除噪声脉冲、椒盐噪声的 河海大学工学硕士论文 基于d s p 的运动日标自动捡测跟踪系统的研究 同时又能保留图像边缘细节。中值滤波一般采用一个含有奇数个点的滑动窗口， 具体方法为首先确定一个奇数象素的窗e lw ，窗口内各象素按灰度大小排队后， 用其中间位置的灰度值代替原图像对应象素点的灰度值，八x ，y ) 成为增强图像 g ( x ，y ) ，即： g ( x ，y ) = m e d i a n f ( x k ，y 一，) ，( 尼，) w ( 2 1 ) 为选定窗口大小。 本文在对图像进行滤波时正是考虑了图像中多为尖峰状干扰，中值滤波能去 除点状尖峰干扰而边缘不会变坏，若用低通滤波虽能去除噪声但陡峭的边缘将被 模糊。对于一维情况，中值滤波器不影响阶跃函数和斜坡函数，并可以有效地消 除单、双脉冲，使三角函数的顶端变平；对于二维情况，中值滤波的窗口形状和 尺寸对滤波器效果影响很大。使用二维中值滤波最值得注意的是要保持图像中有 效的细线状物体，如果图像中的线、尖角细节较多，则不宜采用中值滤波。 1 滤波窗口 窗口大小常选3 5 ，5 x 7 ，7 7 ，且常用十字状窗口。窗口选定后把窗口内 各像元按灰度大小排队。以一维窗口为例，设罩住的五个像元其灰度按位置 顺序为2 ，5 ，1 ，8 ，9 ，按大小排队顺序为1 ，2 ，5 ，8 ，9 ，此序列的中间位置为 5 ，代替原窗口的中间值l 。 2 滤波的性质 1 ) 非线性：两序列f ( r ) ，g ( r ) ， r e e d 沙( r ) + g ( ，) m e a l f ( r ) + m e d g ( r ) ( 2 2 ) 2 ) 对尖峰性干扰效果好，保持边缘的陡度又去掉干扰，对高斯分布噪声效果差； 3 ) 对噪声延续小于w 2 的噪声抑制效果好。 除了中值滤波外，文献【2 】中还介绍了其他的滤波方法，如数学形态学滤波。 形态学滤波就是使用其最基本的形态学运算子腐蚀、膨胀、开和闭来进行组合来 进行图像形状和结构分析及处理，主要包括了特征抽取、边界检测、图像滤波、 图像增强和恢复等工作，因不是本文的研究重点，这里不再赘述。 2 2 运动目标检测算法分析 2 2 1 差分法 这种方法是在运动目标检测中使用得最多的类算法【6 州。它的基本原理就是 将前后两帧图像对应像素点的灰度值相减，在环境亮度变化不大的情况下，如果 对应像素灰度相差很小，可以认为此处景物是静止的；如果图像区域某处的灰度 变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记下来，利 第二章运动检测跟踪算法的理论基础 用这些标记的像素区域，就可以求出运动目标在图像中的位置。 取相邻两帧图像、，。，并假设两帧之问配准得很好。图像上某个象素点 ( f ，) 在r 时刻的灰度值为f ( i ，) ，在t + i 时刻的灰度值为厂( ，+ i ) ，b ( i , j ) 为 差分图像，则有： 删) = 臀l 八 d 一嚣d p n ( 2 3 ) 可见差分结果b ( i ，j ) 是一个二值图像，值2 5 5 表示该象素在不同时刻的灰度梯 度发生了很大的变化，值0 表示该象素的灰度没有发生变化或者变化很小。t 1 是 阈值，该值的选取非常重要，决定了选取的目标区域的准确度和灵敏度。本文在 实验过程中反复试验，选取n 为2 0 比较合适。可参看第四章里的计算结果。 上述方法有个前提，即获取图像的摄像机必须是静止的，否则采用式( 2 3 ) 便 得不到正确的结果。针对这种情况，有人提出了基于补偿差分的运动目标检测方 法，先对由摄像机运动引起的背景移动进行补偿，然后再进行差分运算，有两种 方法可以用来消除背景相对运动造成的影响i lo 】：一种是通过闭环系统的自反馈对 得到的镜头运动参数进行补偿；另一种是对背景中特征较明显的区域进行匹配， 在得到背景的偏移量后再进行补偿。相比较而言，第二种方法完全不依赖于跟踪 系统的回路参数，而且当背景中有明显结构特征时可以取得更好的背景补偿效 果，配准精度较高。文献【1 1 】中将两帧图像之间的背景运动用仿射变换来表示， 并用最小中值法( l e a s t m e d i a n o f s q u a r e s ) 来求解变换参数，取得了比较理想的补 偿效果。 由于目标大小、背景亮度的差别，对差分图像的分割方法也不尽相同；另外， 当目标有阴影干扰时也要进行特殊处理，文献 1 2 1 对此进行了详细的讨论。为了 提高差分图像法的性能，有人在此基础上提出了累积图像差分法i 埽日对称图像差 分法 1 射。这两种方法都可以在提高检测概率的同时降低虚报概率，效果相差不大。 2 2 2 自适应阈值分割 自适应阂值分割是对图像按照坐标分块，对每一块分别选取一阈值进行分 割，这种与坐标相关的阈值称为动态阈值方法，也称为自适应阈值方法。这类算 法的时间和空间复杂度比较大，但是抗噪声能力比较强，对采用全局阈值不容易 分割的图像有较好的效果。 比较简单的自适应阈值选取方法则是对每个象素确定以它为中心的一个邻 域窗口，计算窗口象素灰度值的最大值和最小值，然后取它们的均值作为阈值。 若选取的窗口为当前象素的8 邻域窗口，当然实际的窗口可以不选取8 邻域窗口， 可以选择更大一些的窗口。但是，一般来说，同一种运算窗e 1 越大，需要处理的 数据越多，复杂度也越高，时间开销也越大。 河海大学工学硕士论文基于d s p 的运动目标自动检测h 踪系统的研究 如图2 1 所示，令表示当前象素，z ，扛l ，8 为z o 的8 邻域象素，令m a x v a l u e 表示8 邻域象素的最大灰度值，m i n v a l u e 表示8 邻域象素的最小灰度值，则阈值 可以设定为： r ：m a x v a l u e _ + r a i n v a l u e( 2 4 )、， 也可以采用均值设定阈值： 8 z 。 丁= 牛( 2 5 ) 8 r 7 z iz 2 乇 z t三0z 5 气 z 7z 8 图2 18 邻域示意图 其中z i , i = 1 ，8 是瓦的8 邻域象素。 对图像分块后的每个子块可咀采用直方图分析，如果每个子块内有目标和背 景，则直方图呈现双峰。如果块内只有目标或背景，则直方图没有双峰，可根据 邻域各块分割得到的参数插值进行分割。 由于自适应阈值分割需要通过对图像象素点的8 邻域灰度值进行排序，因此 在确定分割阈值所耗用的时间和空间都很巨大，影响了系统的实时性；但该方法 较差分法的抗干扰性及分割精度高。 2 2 3 模块匹配法 模块匹配算法的基本思想【2 】1 1 5 1 【1 6 1 1 17 1 是通过对图像序列中的相邻两帧图像间 的子块的匹配来进行运动估值。块匹配算法中，图像被分割为子块，予块中的所 有像素的运动矢量被认为是相同的，由于复杂的运动可以被近似地分解为一组平 移运动之和，所以块匹配算法采用的运动模型是假定图像中的运动物体由做平移 运动的刚体组成，且一般有一个附加条件，那就是假设图像场景中没有大的遮挡 物，这样，采用块匹配算法就比较简单快速，同时也保证了较高的精度。图2 2 表示了块匹配法的基本思想： 第一章运动榆测心踪算法的理论是础 厂_ 二 l 一 陌 第k 帧第k + 1 帧 图2 2块匹配法示意图 对于帧k ( 当前帧) 中的某个像素( f ) 的位移可以通过考虑个中心定位在 ( f ，) 处的n i n 2 块，同时按同样大小搜索帧女+ 1 来找出的最佳匹配块的位罱。 从计算的因素考虑，搜索通常限制在( n 1 + 2 m 1 ) x n 2 + 2 m 2 的范围内，称之为 搜索窗口。运动检测中应用块匹配法算法需要以进行以下几个方面的选择： 1 选择匹配法则 常用的一般匹配方法有最大互相关函数，最小均方差函数( m s e ) 、最小平均 绝对差值函数( m a d ) 、最大匹配像素统计( m p co 式( 2 6 ) - - ( 2 1 2 ) 分别表示了几 种法则的计算方法： m s e ( 缸，妙) 2 i 1 磊。, y ) e w 7 ( x ，儿) 一7 ( x + g x , y + 缈，。+ 1 ) 】2 ( 2 6 ) 通过卜i 式的极小化可以估计出位移矢量f = ( 2 i x ，a y ) 即 a x ，a y 。= a r gr a i nm s e ( z b c ，缈)( 2 7 ) 最小平均绝对值函数定义如下： 删d ( 缸，妙) 2 磊1 ，, y ) c w l 7 ( x ，y ，2 ) 一7 + 血，y + 妙，2 + 1 ) i ( 2 8 ) 而位移矢量r 的估计值为 缸，却】。= a r gm i nm a d ( a x ，6 y )( 2 9 ) 最大匹配象素数量准则应先按照下式对窗1 2 1 内的匹配象素和非匹配象素进行分 类： r k 肚= 锯是 烘d 。拙岣囊“川纠 ( 2 1 0 ) p 是预先设定的闽值，如此m p c 定义式为 m p c ( a x ，a y ) = ( x + a x ，y + a y ) ( 2 1 1 ) 则位移矢量r 的估汁值为 河海大学t 学硼l 沦史 晕十d s p 的运动日标自动榆测趴踪系统的研究 血，妙】。= a r g r a i n m p c ( 缸，缈)( 2 1 2 ) ( a x ：d 2 选择搜索方法 由于搜索的是匹配块，匹配并不与实际的投影运动有好的相关性。在忽略遮 挡的前提下，运动报警检测的运动方向检测，采用块匹配来计算像素的运动矢量 也是合理的，由于采用过于快速的搜索算法可能会产生较大的误差，所以在算法 的选择上要在速度和精度这两个方面进行折衷。实际一般选择3 步搜索方法，搜 索范围要比视频压缩的采用的搜索范围大，以保证获得足够精确的结果。如果 m a d 或者m s e 过大，应认为没有搜索到相应的匹配块。 3 选择块的大小 块大小的选定和实际监控场景及监控目的有关，基本上块的大小满足下列要 求：每一个块几乎都只具有单一运动或者没有运动。块不能过小，否则会出现匹 配建立在包含相同灰度等级模式的块上的情况，以保证可以搜索到正确的块。 2 2 4m e a ns h i f t 分割法 m e a ns h i f t 是i 捆f u k u n a g a 和h o s t e t l e r 在1 9 7 5 年提出来的【l ”。作为一种非参数化 的多模型分割方法，m e a ns h i f t 在特征降维方面的优良性能在近几年受到广泛关 注，并被应用在图像分割和目标跟踪上【2 0 】川。由f m e a ns h i f t 分割能够较好的 保持数据边缘，因此在二维时空域中使用m e a ns h i f t 得到的视频目标时空分割结 果具有更高的可靠性。m e a ns h i f t 算法基本的计算模块采用的是传统的模式识别 程序，通过分析图像的特征空削和聚类的方法来达到分割的目的。根据特征进行 模式分类是指将一组目标根据测得的特征值将它们划分到各类中的技术。利用特 征空间聚类的方法进行图像分割是将图像空间中的元素用对应的特征空间点表 示，通过将特征空间的点聚集成团，然后再将它们映射回原图像空间以得到分割 的结果。在用特征进行分类中，将象素看作待分类的目标点，则分类就是分割。 如果已经知道各类性质的概率分布密度，各类本身的概率，就可以根据最小化期 望分类误差的准则进行分类，这就是我们通常所说的参数化方法，也叫监督性学 习分类。但是实际图像分割中经常预先并不知道确切的类别数，并且密度的参数 形式并不是已知的，那么在处理这种情况时就要使用非参数化的分类方法也即是 非监督性学习方法，而m e a ns h i f t 算法就是这样一种非参数化的多模型分割方法。 它是直接估计特征空间概率密度函数的局部极大值来获得未知类别的密度模式， 并确定这个模式的位置然后使之聚类到和这个模式有关的类别当中去。m e a n s h i f t 算法的基本思想的数学描述语言如下： 设s 是n 维e u c l i d e a n 空间x 中的一个有限集合，用k 来表示z 空间中五球体 的一个特征函数，则表达式为： 第二章运动检测跟踪算法的理论基础 赫 亿哟 其中x 爿，那么在向量x 点处的样本均值是： k ( ，一x ) s 州砧。萝而 ( 2 1 4 ) 焉 在f u k u n a g a j b h o s t e t l e r 的论文中把r e ( x ) 一x 的差叫做m e a ns h i f t 。而m e a ns h i f t 算法就是数据点到样本均值的重复移动，并且在算法的每一次迭代过程中，对于 所有的s s ，s 卜m ( s ) 是同时的。并且模糊聚类算法包括最大熵聚类算法以及常 用的k 均值聚类算法都是m e a n s h i f t 算法的一个有限的特例。m e a ns h i f t 算法作为 一种聚类分析方法，由于其密度估计器的剃度是递增的，而其收敛点即为密度梯 度的局部极大值点，这个局部极大值即对应特征空间中的一个模式。 m e a ns h i f t 算法对概率密度函数的估计是采用p a r z e n 窗函数法，即核密度估计 器。在d 维空间r 。中，给定n 个数据点工；i = i ，竹，点膏的多变量核密度估计 器的计算式血f l ( 2 ，1 5 ) 式，这个估计量可以由核k ( x ) 和一个对称正定的d d 宽度的 矩阵h 来表示。 m ) 2 音善k ”( x1 ) ( 2 - 1 5 ) 其中 k ( 对：f 日f 嘿k ( h 必砷 ( 2 1 6 ) 且具有d 个变量的核k ( x ) 是一个满足以下条件的边界函数： l 世( 触 l i m 。忙i i i k ( x ) = o ( 2 1 7 ) l 斌 冲= 。l x x 足( x ) a x = c x l ( 2 1 8 ) b 斌 冲2 0l 。x 。足 2 。 ( 2 1 8 ) 其中c 。是一个常量。从图像分割的目的出发，多变量核k ( x ) 采用的是放射 状对称核k 3 ( 功= a k , d k ，( 恻，k ，( x ) 是一个对称的单变量核，并且k ( x ) 满足下 式： k ( 苴) = c ；。 1 1 2 ) ( 2 1 9 ) 其中唧。是一个使盖( 对等于1 的归一化正常量。 带宽矩阵h 一般是选择对角阵h = d i a g h f ，砖j ，或者是与单位矩阵 h = h 2 j 成比例。h = h 2 川青况下一个明显的优点是只要带宽参数h 0 ，然而， 从式化1 6 ) n - 丁以看出，首先要确定用于特征空间的欧几里德矩阵的有效性。只用 一个宽度参数h ，核密度估计式( 2 1 5 ) 就变成如下典型的表示式： 河海大学t 学硕i 二论文 基于d s p 的运动目标自动检测艇踪系统的研究 夕( 加嘉乏k ( 早) ( 2 2 0 ) 将( 2 1 9 ) 式代入上式就可以得到一个通用的用核符号表示的核密度估计式： 五，小) = 毒t ( 1 芋) ( 2 z ， 对有基本密度函数f ( x ) 的个特征空间，m e a ns h i f t 算法分析的第一步是找 到这个密度的模式，然后对这个模式进行相关聚类。此模式应该在梯度v 厂( x ) = 0 的零点当中，而m e a ns h i f t 程序是不用估计密度直接对密度的梯度进行估计就能 定位这些零点的一个好的方法。 2 2 5 其它检测法 在运动检测中还有一些其它的方法，如利用基于卡尔曼滤波的自适应背景模 型以适应天气和光照的时间变化【2 2 j 2 3 1 ，利用自适应的混合高斯背景模型( 即对每 个像素利用混合高斯分布建模) ，并且利用在线估计来更新模型，从而可靠处理 光照变化、背景混乱运动的干扰等影响2 4 1 ；v s a m 开发了一种自适应背景减除与 三帧差分相结合的混合算法【2 5 】，它能够快速有效地从背景中检测出运动目标等 等。 2 2 6 算法的比较 从算法原理来看，差分图像法的突出特点是实现简单、运算速度快，在大多 数情况下检测效果较好，其最有效的应用是对图像进行全局的粗略处理，以便将 解释的注意力引向场景中出现活动的区域。但是这种方法是以图像背景固定不变 为前提的，如果图像背景运动，这种方法就无能为力了。另外检测和分割精度较 低，且当目标灰度不均匀时有可能无法准确检测出全部目标。需要特别指出的是， 隧着现代数据采集技术的飞速发展，视频图像采样的时间间隔越来越小，这使得 差分法对场景整体变化不敏感的优点更为显著，同时也使目标容易部分漏检的缺 点更加突出。m e a ns h i f t ：算法利用均值的特性可以快速的收敛于局部最优点上， 检测出密度的模式进行聚类分割，因此对目标形变等不敏感，但是一般要结合其 他分割算法( 如自适应分割法) 以进一步提取出目标，算法非常复杂，对实时性要 求很高的跟踪系统来说不是理想的选择。本文从提高系统实时性考虑，选择差分 法作为系统对目标的初步检测，并使用尺度滤波器对因背景上小物体的运动产生 的噪声进行虑波；考虑到差分法的局限性，系统在具体实现时是基于摄像机静止 的情况下获取了图像序列，这对实际跟踪系统是可行的，但为了跟踪目标本系统 必须不断调整摄像机，使得运动目标始终位于视野内。算法的软件设计和处理结 果将在第四章里给出。 第二章运动检测跟踪算法的理论基础 2 3 运动目标跟踪算法分析 在过去几年中，已经提出了多种不同的目标跟踪算法。这些方法主要可以分 为两类： 1 ) 基于运动的方法：主要依据一种健壮的方法，把一段时间内具有运动一致性 的点归为类，如光流法和特征点法f 1 1 1 2 1 1 2 6 】【2 ”。 2 ) 基于模型的方法：主要依据高层的语义表示和知识描述，计算量较大，如模 板匹配法【2 8 1 1 2 9 l 、图像分割法1 2 】f 3 0 1 和活动轮廓法 3 1 1 1 3 2 l 。 23 1 波门跟踪算法 波门跟踪需设计一个波门，波门的尺寸略大于目标图像，并使波门紧紧套住 目标图像，使目标不受波门外的背景和噪声干扰的影响。跟踪波门可分为固定式 和自适应式两种。前者在跟踪目标的过程中，波门的大小始终不变。后者则是在 跟踪目标的过程中，波门随目标的大小而变。当目标由远到近变大时。或由于目 标飞行姿态的变化导致投影形状的大小变化时，都要求跟踪波门也随之变化。波 门跟踪算法可分为矩心跟踪算法、边缘跟踪算法、双边缘跟踪算法和区域平衡跟 踪算法等3 3 1 1 3 ”。 1 基于分割的矩心跟踪算法 基于自适应分割的算法是以自适应阀值分割图像预处理为基础确定目标中 心位翟( 或亮度中心) 的算法。首先计算波门内图像的自适应分割阈值t ，然后用 阈值t 对目标图像进行分割处理，将原来的灰度图像变成二值图像。矩心跟踪算 法计算简单，精度较高，但易受目标的剧烈运动或目标被遮挡的影响。目标的剧 烈运动往往会使目标从波门中快速移出，造成目标丢失。当目标接近另一物体时， 两者的特征往往都进入波门，迫使亮度中心偏移到两物体之间的某点上，即所谓 的瞄准点漂移。 2 边缘跟踪算法 边缘跟踪算法是一种简便的算法。边缘是图像最基本的特征，是图像中灰度 发生急剧变化区域的边界。可以用梯度算子、s o b c l 算予、拉普拉斯算子等来检 测目标图像的边缘。通过计算过零点，就可以找出图像的边界。这样可以选定目 标边界的上、下、左、右等边界点中的一个作为跟踪点，使波门套住其中的某一 个，以抑制目标或背景的其余部分。边缘跟踪算法的缺点是易受干扰，跟踪精度 相对较低。 3 双边缘跟踪算法 双边缘跟踪算法是边缘跟踪算法的一种改进算法，即目标位置为两个边缘的 河海大学丁学硕士论文 基于d s p 的运动目标自动榆测跟踪系统的研究 中心，该算法跟踪精度较高，适合于跟踪比较对称的目标或点目标。 4 波门内目标面积平衡法 以跟踪波门的中心线为基准，可将目标分成四个象限或两对象限，然后求每 对象限内目标图像的面积。如果目标处在波门中心线，则波门中心线上下和左右 两侧的目标图像的面积相等，否则不平衡。不平衡时产生的误差信号用来调整波 门的位置。这种平衡与不平衡的交替过程直至目标充满跟踪窗对结束。为使被分 图像的面积达到平衡，波门不断地调整中心线的位置，这样常引起算法的不稳定， 使精度和时间响应指标变差。 2 3 2 光流法 光流计算技术最早是g i b s o n 于1 9 5 0 年提出的【3 ”。所谓光流是空间运动物体被 观测面上的像素点运动产生的瞬时速度场，它是一种二维瞬时速度场，其中二维 速度矢量是可见的三维速度矢量在成像平面上的投影。一般情况下，光源由相机 运动、场景中目标运动、或两者的运动产生。当场景中有独立的运动目标时，通 过光流分析可以确定运动目标的数目、运动速度、目标距离和目标的表面结构。 光流研究已经在环境建模、目标检