（计算机应用技术专业论文）遮挡情况下目标跟踪算法的研究.pdf

硕十学何论文 摘要 目标跟踪是计算机视觉的一个重要分支，融合了图像处理、模式识别、人工 智能、自动控制以及计算机应用技术等相关领域的先进技术和研究成果。实现目 标跟踪的关键在于完整地分割目标，合理、快速地提取特征和准确地识别目标， 同时要考虑算法实现的时间，保证实时性。在复杂环境下对目标进行跟踪是非常 困难的，仅仅依靠一种或少数几种识别手段很难准确地进行目标识别，必须尽可 能利用多个目标属性、多种方法，进行目标综合识别和跟踪。 复杂场景中遮挡目标的跟踪一直是目标跟踪领域的困难问题。本文主要针对 跟踪过程中的遮挡难题进行研究，详细论述了m e a n s h i f t 、k a l m a n 滤波、粒子滤 波、交互式多模型等算法，在分析算法对遮挡处理的优缺点的基础上，对其进行 综合有效地改进。论文的主要工作有： ( 1 ) 提出了一种结合均值漂移和粒子滤波的跟踪算法：利用改进的均值漂移 算法跟踪目标，根据目标搜索公式确定遮挡因子，判断遮挡程度；当目标被严重 遮挡时，采用m e a n s h i f t 筛选出权重粒子，建立更新模板，持续、稳健地跟踪目 标。算法实时性强，克服了粒子滤波器的退化现象并有效缩短了计算时间，解决 了跟踪过程中目标的部分遮挡和全遮挡问题。 ( 2 ) 提出了一种改进的基于k a l m a n 滤波和粒子滤波的交互式多模型跟踪算 法：利用卡尔曼滤波匹配系统线性部分，粒子滤波匹配非线性部分，根据匹配深 度来判断目标受遮挡的程度，采用迭代的多级粒子滤波方法进行重采样，并结合 卡尔曼滤波更新模型概率，解决跟踪过程中的严重遮挡问题。改进算法提高了模 型滤波速度和目标状态的估计精度，缩短了计算时间。 关键词：目标跟踪；遮挡；m e a n s h i f t ；k a j m a n 滤波；粒子滤波；交互式多模 型；多目标跟踪 遮挡情况下日标跟踪算法的研究 a b s t r a c t o b j e c tt r a c k i n gi sa ni m p o r t a n tb r a n c ho fc o m p u t e rv i s i o n ，w h i c hc o m b i n e s a d v a n c e dt e c h n o l o g i e sa n dr e s e a r c ha c h i e v e m e n t si ni m a g ep r o c e s s i n g ， p a t t e r n r e c o g n i t i o n ，a r t i f i c i a li n t e l l i g e n c e ，a u t o m a t i cc o n t r o l ，c o m p u t e ra p p l i c a t i o na n do t h e r r e l a t i v ef i e l d s i ti n c l u d es e g m e n tt a r g e t ，p i c k - u pc h a r a c t e ra n dr e c o g n i z eo b j e c t s i n p r a c t i c a la p p l i c a t i o n ， t h e o p e r a t i n gt i m e o ft r a c k i n ga l g o r i t h mm u s tb ea l s o c o n s i d e r e d o b j e c t t r a c k i n g i nac o m p l e xe n v i r o n m e n ti s v e r yd i m c u l t o n l y d e p e n d i n go no n eo rav e r yf e wi d e n t i f ym e a n si s d i f f i c u l tt or e c o g n i z eo b j e c t s a c c u r a t e l y ，s oi tn e e dt om a k ef u uu s eo fm u l t i p l eo b je c t sp r o p e r t ya n ds e v e r a lm e a n s t ot r a c k t h i st h e s i sm a i n l ya i m st o a n a l y z ea n ds o l v eo c c l u s i o np r o b l e mi no b j e c t t r a c k i n g 1 t d e t a i l e d l y d i s c u s s e st h eo c c l u s i o n h a n d l i n g m e t h o d si ns e v e r a l a l g o r i t h m ss u c ha sm e a ns h i f t ，k a l m a nn l t e r i n g ，p a r t i c l e 行l t e r i n g ，i n t e r a c t i n gm u l t i p l e m o d e le t c ，a n dm a k e se n b c t i v ei m p r o v e m e n t t h ef o l l o w i n gi sd o n ei nt h i st h e s i s ： f i r s t l y ，a ni m p r o v e da l g o r i t h mi sp r o p o s e db yc o m b i n i n gt h ea d v a n t a g e so ft h e m e a ns h if tp a r t i c l en l t e ri nt h i sp a p e r g e n e r a l l y ，t h ei m p r o v e dm e a n - s h i f ta l g o r i t h m i su s e dt ot r a c ko b j e c t s ；t h e nt h ef a c t o ri sg i v e nt oj u d g et h ed e g r e eo fo c c l u s i o n sb y t h es e a r c h i n gf b r m u l a w h e nt h es e r i o u so c c l u s i o ne x i s t s ，t h ew e i g h t e dp a r t i c l e sa r e s e l e c t e db yt h em e a n - s h i f tt oe s t a b l i s ht h eu p d a t et e m p l a t e t h ea l g o r i t h mc a nt f a c k t h eo b j e c t sc o n t i n u a l l ya n ds t e a d i l ya f t e ro c c l u s i o n e x p e r i m e n t a lr e s u l t ss h o wt h a t t h er e a l t i m ea l g o r i t h mt r a c k so b j e c t ss a t i s f a c t o r i l y i ts o l v e sp a r t i a lo c c l u s i o na n d f u l lo c c l u s i o n s ot h e d e g e n e r a c yp r o b l e m i s e f n c i e n t l y o v e r c o m ea n dt h e c o m p u t a t i o n a lc o s ti sd e c r e a s e d s e c o n d l y ，a ni m p r o v e da l g o r i t h mb a s e do nk a l m a nn l t e ra n dp a r t i c l en l t e ri s p r o p o s e d ，i nw h i c hk a l m a n 行l t e ri su s e dt om a t c ht h el i n e a rp a r to ft h es y s t e ma n d p a r t i c l ef i l t e r i su s e dt om a t c ht h en o n - l i n e a rp a r to ft h es y s t e m ，t h ed e g r e eo f i l 硕十学何论文 o c c l u s i o ni sd e t e r m i n e da c c o r d i n gt ot h em a t c he x t e n tw h e nt h es e r i o u so c c l u s i o n e x i s t s ， t h ei t e r a t i v em u l t i s t a g ep a n i c l ef i l t e ri se x p l o i t e df o r r e - s a m p l i n g ， t h e n c o m b i n e dw i t hk a l m a nf i l t e r i n gt ou p d a t et h em o d e lp r o b a b i l i t yw h i c hc a nt r a c kt h e o b j e c t sc o n t i n u a l l ya n ds t e a d i l y e x p e r i m e n t a lr e s u l t s s h o wt h a tt h ep r o p o s e d a l g o r i t h mm e e t st h er e a l - t i m er e q u i r e m e n t ，i m p r o v e st h es p e e do ft h em o d e ln l t e r a n dt h ee s t i m a t e da c c u r a c yo ft h eo b je c ts t a t e ，a n dr e d u c e st h ec o m p u t i n gt i m e e f f b c t i v e l y i ta l s os o l v e st h eo c c l u s i o np r o b l e mi nt h ep r o c e s so ft r a c k i n g k e y w o r d s ：o b j e c tt r a c k i n g ；o c c l u s i o n ；m e a n s h i f t ；k a l m a nf i l t e r ；p a r t i c l ef i l t e r ； i n t e r a c t i n gm u l t i p l em o d e l ；m u l t i p l et a r g e tt r a c k i n g l i i 遮挡情况下目标跟踪算法的研究 插图索引 图1 1 目标跟踪系统构成示意图2 图1 2 目标自动跟踪系统实现过程3 图2 1 目标跟踪过程中的遮挡分析图1 1 图3 1 特征匹配跟踪算法流程图1 9 图3 2 核密度估计的原理说明图2 6 图3 3 常用核函数示意图2 7 图3 4 跟踪算法流程图3 0 图4 1 粒子滤波示意图3 7 图4 2i m s p f 算法流程框图3 9 图4 3 遮挡情况下i m s p f 算法跟踪效果图4 1 图5 1i m m 算法原理图4 3 图5 2i i m m k p f 对p e t s 2 0 0 0 视频库的跟踪效果图一4 7 图5 3 遮挡情况下i i m m k p f 跟踪效果图4 7 l v 硕十学位论文 表索引 表3 1 三种运动检测方法的比较1 8 表4 1 各种滤波算法的适用范围3 8 表4 2p f 、m s 和i m s p f 算法的性能比较4 1 表5 1i i m m k p f 、i m m k f 、i m m p f 算法计算效率比较4 7 v 兰州理工大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果 由本人承担。 作者签名： 却灞 日期：湖尸年月，。日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学 校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容 编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。同时授权中国科学技术信息研究所将本学位论文收录到中 国学位论文全文数据库，并通过网络向社会公众提供信息服务。 作者签名：剀汤 刷醛r 、 7r 日期：加夕年白。日 日期：夕矿哆年多月f 。日 硕七学位论文 1 1 研究背景与意义 第1 章绪论 目标跟踪( o b j e c tt r a c k i n g ) 的基本概念是在2 0 世纪5 0 年代形成，然而直到 7 0 年代初期，由于雷达、声纳、导航、航空和交通管制等航天领域的应用需要， 目标跟踪理论才真正引起人们的注意。据统计，在人类感官接受的各种信息中约 有8 0 来自视觉。视频、图像是对客观事物形象、生动的描述，是直观而具体 的信息表达形式，是人类最重要的信息载体，也是目标跟踪理论研究的主要对象。 因此，对目标进行准确、有效的识别和跟踪便成为一项重要的任务。 目标跟踪是计算机视觉领域非常活跃的一个课题，融合了图像处理、模式识 别、人工智能、自动控制以及计算机应用技术等相关领域的先进技术和研究成果。 有着非常广泛的应用和实用价值，例如视频会议、军事制导、工业产品检测、医 疗诊断、交通监视、实时监控、安全防卫、虚拟现实等等。许多重要的国际期刊 ( a r t i n c i a li n t e l l i g e n c ei ne n g i n e e r i n g ： i e e et r a n s a c t i o n so np a t t e r na n a l y s i sa n d m a c h i n ei n t e l l i g e n c e ；p a t t e r nr e c o g n i t i o n ；i e e et r a n s a c t i o n so ni m a g ep r o c e s s i n g ； p a t t e r nr e c o g n i t i o nl e t t e r s ；i e e et r a n s a c t i o n so nc i r c u i t sa n ds y s t e m sf o rv i d e o t e c h n o l o g y ； i e e et r a n s a c t i o n so nv e h i c u l a r1 陀c h n o l o g y ；i n t e r n a t i o n a lj o u r n a lo f c o m p u t e rv i s i o n ；c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ；i m a g ea n dv i s i o n c o m p u t i n g ；s i g n a lp r o c e s s i n g ；m a c h i n ev i s i o na n da p p l i c a t i o n ；r e a l - t i m ei m a g i n g ； e t c ) 发表了大量的关于目标检测与跟踪的论文。目标跟踪所涉及的问题是控制、 指挥、通讯和情报学科发展的前沿问题，是当今国际上研究的热门方向。 实现目标跟踪的关键在于完整地分割目标、合理地提取特征和准确地识别目 标，同时要考虑算法实现的时间，保证实时性。由于目标所处场景的复杂性，以 及目标本身可能发生的姿态变换、缺损、模糊和遮挡，使得目标跟踪技术是一个 复杂的过程。尤其是在实际目标跟踪过程中，会遇到各种各样的情况，如光照改 变、背景扰动、遮挡、目标姿态变化等，其中如何有效地处理遮挡、特别是严重 的遮挡，一直是目标跟踪过程中的一个难点。遮挡的发生会直接影响跟踪算法继 续稳定地跟踪，还可能导致跟踪目标不准确甚至丢失目标。研究抗遮挡的目标跟 踪算法具有重要的理论和实际意义。 遮捎情况卜口枥i f 艮踪算法的研究 1 2 目标跟踪研究内容 1 2 1 目标跟踪概述 目标跟踪问题是当前计算机视觉领域中的热点问题。所谓目标跟踪【2 】，就是 对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参 数，如位置、速度、加速度等，以及运动轨迹，从而进行进一步处理与分析，实 现对运动目标的行为理解，以完成更高一级的任务。利用目标跟踪技术，可以大 量减少工作人员，提高工作效率，极大的提高集成系统的性能，有着广泛的应用 前景和重要的应用价值。 目标跟踪就是在事先不了解目标运动信息的条件下，通过来自信息源的数据 实时估计出目标的运动状态，从而实现对目标的跟踪。因此，它是一个典型的不 确定性问题。跟踪的不确定性主要来源于目标模型的不确定性、观测的不确定性 及多个目标和密集杂回波环境造成量测数据模糊和不确定。目标跟踪算法的好坏 直接影响着目标跟踪的准确性和稳定性。研究一种鲁棒性好、精确、高性能的目 标跟踪方法依然是该研究领域所面临的一个巨大挑战。作为一个有着广泛应用背 景的研究领域，目标跟踪吸引了大批专家级的研究学者参与，他们利用计算机视 觉技术能检测出监视区域目标的变化，并能标注重要事件和描述人的行为。许多 国外研究机构也将其列为重要研究方向。尽管在这个领域已经提出并研究了多种 跟踪算法，但真正能实际运作的寥寥可数，大多还处在实验研究阶段。图1 1 是 一个简单的目标跟踪系统构成示意图。它包括视频采集处理、目标检测及分类、 目标跟踪、目标描述及行为理解等几个主要功能模块。 图1 1 目标跟踪系统构成示意图 设计一种能完全替代监控人员、自动对监视场景中运动目标( 诸如人，汽车) 进行实时、持续的主动监视的高智能化监控系统就显得非常迫切。这种高智能化 2 硕十学付论文 监控系统一般要求具有运动检测、目标跟踪等自主功能。利用现有计算机强大的 计算能力以及图像处理与分析、计算机视觉等多学科知识，完全有可能设计出这 种无人值守下的高智能化监控系统。自动目标识别系统( 简称a t r 系统) 的基本 功能是对目标进行探测、分类和识别，它能有效地代替人进行目标检测和目标识 别，因而具有广泛的应用前景。图1 2 是目标自动跟踪系统示意图。 图1 2 目标自动跟踪系统实现过程图 1 2 2 目标跟踪研究热点 近年来很多学者在目标跟踪领域进行了大量的研究，其主要的研究热点包括 以下几个方面： ( 1 ) 图像序列的预处理和特征提取。图像预处理的方法很多，比如降低噪声 的算法有邻域平均、中值滤波、改进中值滤波、最大中值滤波、高斯平滑滤波、 频域滤波、小波变换和利用模糊理论降噪等算法；数字视频判读是通过对实时记 录下的数字图像序列进行处理，获取高精度的目标运动参数。而如何针对不同的 背景特性和目标特性，选择最适合的图像预处理算法，是提高判读能力的关键。 特征提取的目的是获取一组“少而精 的分类特征，即获取特征数目少且分类错 误概率小的特征向量。常常分三步进行：特征形成、特征选择和特征提取。 ( 2 ) 运动检测。运动检测的目的是从序列图像中将变化区域从背景图像中提 取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理非常重 要，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背 景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成 为一项相当困难的工作。 ( 3 ) 目标分类。目标分类的目的是从检测到的运动区域中将对应于目标的运 动区域提取出来。不同的运动区域可能对应于不同的运动目标，比如交通道路上 监控摄像机所捕捉的序列图像中可能包含行人、车辆及其它诸如飞鸟、流云、摇 动的树枝等运动物体，为了便于进一步对目标进行跟踪和行为分析，运动目标的 正确分类是完全必要的。 ( 4 ) 跟踪方法。先检测后跟踪，先跟踪后检测，边检测边跟踪。现有 的目标跟踪算法大多数基于目标的特征或者运动信息，虽然能够完成对目标的跟 3 遄挡情况卜h 朽：f 艮跞弹法旧例冗 踪，但是需要处理的数据量大、运算复杂，很难达到实时跟踪的要求。目标跟踪 算法有很多，分类也各不相同。大体上，视频序列的目标跟踪算法可分为基于运 动检测的跟踪算法、基于特征匹配的跟踪算法、基于模型匹配的跟踪算法和数据 关联算法等。 ( 5 ) 行为理解及分析。指的是在目标检测与跟踪的基础上，对目标的运动模 式进行分析和识别，并用自然语言等加以描述。行为理解可以简单地认为是时变 数据的分类问题，就是通过将测试序列与预先标定的代表典型行为的参考序列进 行匹配，以判断目标的运动行为。行为理解的核心问题是如何从学习样本中获取 参考行为序列，并且该参考行为序列能够处理在相似的运动模式类别中时间和空 间的轻微特征变化。 相对来说，运动目标检测、目标分类、目标跟踪属于视觉中的低级和中级处 理部分，而目标的行为理解与描述属于视觉中的高级处理部分。目标检测，分类 和跟踪是视觉分析中研究较多的三个问题，也是研究的重点和热点。 1 3 目标跟踪研究现状 目标跟踪问题最早可以追溯到第二次世界大战前夕，即1 9 3 7 年世界上出现 第一部跟踪雷达站s c r 2 8 的时候。之后，运动目标的检测与跟踪技术在军民两 大方面发挥的重要作用，激发了国内外广大科研工作者及相关商家的极大兴趣。 国外对目标跟踪的理论研究及应用研究起步较早，早在5 0 年代初期，g a c 公司就为美国海军开发研制了自动地形识别跟踪系统( a t r a n ) 。进入7 0 年代以 来，随着相关理论与技术的不断发展，自适应跟踪、智能跟踪的思想方法相继提 出目标跟踪技术无论从理论研究、还是从应用研究上都取得了巨大的进展。1 9 8 0 年，由美国国防预研局( d a r p a ) 和联合军种委员会( j s g & c c ) 联合发起并成立了 自动目标识别工作组( a t r w g ) 【3 1 。它主要负责图像数据的标准化，为自动目标识 别跟踪制定统一的规格，每年定期举行三次会议。 美国在7 0 年代末、8 0 年代初，已经在军队中配备了第一代成像跟踪系统。 这种跟踪系统采用的算法是简单的相关或对比度( 亮度中心) 跟踪。这个时期制作 的硬件常常是粗大的、专用的，并且功耗大。而且这一代跟踪系统的目标锁定是 由操作员参与实现的，并常因非目标像素进入窗口引起目标丢失。另外，这一代 跟踪系统最大的限制是假设被跟踪目标只有一个。在1 9 9 6 19 9 9 年间，美国国防 高级研究项目署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 资助卡内基梅隆大 学，戴维s a r n o f f 研究中心等著名大学和公司，联合研制了智能场景监视与监 控系统v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) 4 1 ，目标是开发用于战场及普 通民用场景进行监控的自动视频理解技术，实时视觉监控系统不仅能够定位人和 分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人 4 硕十学位论文 是否携带物体等简单行为。英国的雷丁大学开展了对车辆和行人的跟踪及其交互 作用识别的相关研究。这一新技术，主要通过分析反常行为来识别嫌疑犯，并可 快速发出警报。麻省理工学院多媒体实验室利用特征点和头部统计模型，在单目 视觉的条件下，采用扩展的卡尔曼滤波器的方法实时跟踪人体头部姿态。 自9 1 1 事件以后，如何对国家重要安全部门和敏感的公共场合进行全天候、 自动、实时的监控，已成为世界各国高度重视的一个全球性问题。在这样的背景 下，目标跟踪技术得到了广泛的应用。美国的a r d a 机构在2 0 0 3 年开始主持一 项高级研究计划v a c e ( v i d e oa n a l y s i sa n dc o n t e n te x t r a c t i o n ) ，旨在通过目标的 检测、识别和跟踪以达到检测、识别和理解目标的行为【5 1 。i b m 与m i c r o s o f t 等 公司也正逐步将基于视觉的手势识别接口应用于商业领域。 我国对目标跟踪技术的研究起步较晚，但是近年来，随着图像处理技术、计 算机技术、特别是大规模集成电路技术( v l s i ) ，超大规模集成电路技术( h v l s i ) 以及各种传感器技术( 如红外、雷达、激光、毫米波、微波等) 等的迅速发展，再 加上国际上的影响、国内政府的支持，为目标跟踪技术的研究创造了优越的环境、 提供了必要的理论基础和技术条件。国内学者19 8 6 年开始对目标跟踪立项研究 1 6 j ，文献【7 】对跟踪算法和理论进行了较为系统而全面的论述。近年来，一些专家、 学者通过各种手段，如模式识别、人工智能、图像信息、图像融合等对智能图像 跟踪技术的研究进行了尝试。 目前，一些高等院校、科研院所都已经开展了此项研究工作。如西安交通大 学图像处理与识别研究所、华中理工大学图像识别与人工智能研究所等在运动目 标检测上做了大量的工作；清华大学图形图像研究所、中科院自动化所模式识别 国家重点实验室及上海交大图像处理与模式识别研究所主要针对视频运动跟踪 中的轮廓跟踪算法进行了研究；北京航空航天大学机器人实验室开发的面向生物 的微操作机器人的视觉系统。但是国内的研究主要停留在理论方面，还没有出现 比较大型的并应用于实际的成型系统。 国内于2 0 0 2 年5 月召开了第一届全国智能视觉监控学术会议，对图像序列 分析、背景图像获取与维护、目标定位、检测、识别和跟踪、高层语义理解、特 殊事件检测与运动的语义解释等内容进行了多方面探讨。模式识别国家重点实验 室在马颂德、谭铁牛等研究员领导下在目标检测和跟踪方面已经进行了多年的研 究，并且取得了一定的成果。其中，谭铁牛研究员所指导的视觉监控研究组总结 了英国雷丁大学v i e w s 的车辆交通监控原型系统的研究经验，在理论研究的基 础上，自行设计了一个拥有完全自主版权的交通监控原型系统v s t a r ( v i s u a l s u r v e i l l a n c es t a r ) 。中国科学院计算所研究的“数字化三维人体运动的计算机仿 真与分析技术、“基于视频分析技术 和“三维人体运动仿真技术的定量辅助分 析系统。这些科研成果在雅典奥运会上得到了实际的应用，并取得了巨大的成 5 遮挡情况卜口栩：f 艮踪算法的缈f 究 功。浙江大学人工智能研究所采用单目视觉对人体没有被遮挡部位的动作进行跟 踪，但无法准确估计被遮挡部位的位置，手工干预较多。此外，在视觉跟踪技术 中，还可以利用图像序列中感兴趣目标的相似性实现对目标的识别与跟踪，这一 技术能够被利用来进行图像检索和图像查询【弘9 1 。目前开展这方面研究机构主要 有中国科学院计算所及自动化所、清华大学、上海交通大学、北京航空航天大学、 浙江大学、西安交通大学等。因此，开展目标跟踪具有广泛的应用前景。 由于目标所处场景的复杂性，以及目标本身可能发生的姿态变换、缺损、模 糊和遮挡，使得目标跟踪技术是一个复杂的过程，因此，许多学者对目标的表示 和跟踪方案进行了深入的研究。为了解决遮挡问题，国内外学者提出了许多有效 的方法，主要有：文献【1 0 用广义的h o u 曲变换解决遮挡问题，以目标的角点作 为特征点，在遮挡过程中以剩余的特征点表决目标的位置。d i n e s h j 提出了用角 点以及角点的空间关系来描述物体，即每次同时考察三个角点的空间关系，这是 对目标的一种局部描述，可用于部分遮挡物体的识别。文献【l2 】以匹配误差判定 子模板是否被遮挡，然后用灰度相关匹配继续跟踪目标。文献 1 3 】用基于最大后 验概率原则以子模板的相关匹配来度量该模板属于哪个目标，解决多目标相互遮 挡的问题。k n u m m i a r o 【1 4 】应用粒子滤波方法对目标进行跟踪，有效地解决了目 标的部分遮挡问题。 1 4 跟踪过程中的困难问题 目标检测跟踪的基础就是对动态序列图像的运动分析，关键是目标检测跟踪 的准确性和智能化程度。但是众多的因素导致图像灰度和内容会产生变化，例如 物体本身随着运动变大或变小、摄像机与物体产生相对运动、场景环境的变化等， 从而使跟踪的过程变得比较复杂。许多学者在目标跟踪和多目标跟踪领域投入了 大量的时间和精力，致力于在理论研究上取得重大突破。但是有诸多困扰跟踪效 果的因素，其主要难点包括： ( 1 ) 初始化：初始化就是在跟踪的起始处发现我们要跟踪的目标。完整的目 标跟踪系统一般包含两个步骤：目标检测和目标跟踪，而我们一般讨论某个跟踪 算法主要讨论目标的跟踪，目标检测作为另外一个图像问题也有很多人在研究。 很多研究者采用人机交互的方式，对被跟踪目标进行初始化：用鼠标选择图像中 感兴趣的目标完成目标检测和识别功能，这样，主要的精力放在跟踪算法的研究 中。但是目标初始化的精确度直接影响到跟踪结果的精度。 ( 2 ) 复杂的背景：实际的目标跟踪系统，其背景各种各样，条纹状背景会造 成基于边缘特征的跟踪算法的失效；背景中的物体具有与人脸相近的颜色，对于 基于颜色特征的人脸跟踪而言，也是最不愿碰到的情况。 ( 3 ) 光照的变化：在实验室成功运行的跟踪系统，一旦安装到室外场景中， 6 硕十学位论文 就不可避免地遇到光照的变化问题。同一目标在不同光线亮度条件下具有显著的 差异，虽然我们可以采用不同的颜色系统来减轻光照变化对算法的影响，但是光 照的变化仍然是困扰目标跟踪的一个重要问题。光线亮度变化的影响是很多室外 跟踪系统中阻碍性能提升的瓶颈因素之一。 ( 4 ) 目标的尺度伸缩变化和形变：在跟踪过程中目标的平移或者旋转运动， 引起与摄像机的距离和视角发生变化，会造成目标图像的尺度伸缩变化和形变， 这些变化会造成目标图像表达的非线性变化，从而导致跟踪的失效。 ( 5 ) 目标复杂的运动模式：跟踪算法主要采用滤波预测算法，在运动目标可 能出现的区域内进行局部搜索，当目标具有复杂的运动模式时，如目标的运动速 度或者方向突然发生改变，运动目标不在预测的搜索区域中时，会造成简单滤波 预测算法失效，进而造成目标丢失。 ( 6 ) 遮挡问题：被跟踪的目标在运动中被非目标的物体( 运动或静止的) 部 分遮挡或全部遮挡，或者被跟踪的多个目标互相遮挡。遮挡是造成目标的图像表 达突然变化的重要原因之一，并且这种变化具有突然性和不连续性，从而容易导 致跟踪算法的失效。因此，它是目标跟踪算法必须解决的问题，针对各种算法， 人们提出不同的改进措施。从前面的论述中，我们可以知道，提高算法的鲁棒性 就是提高算法对复杂的背景、光照变化和遮挡情况有很好的抑制效果。这也是本 论文主要研究的问题。 1 5 本文的主要工作 近年来，已有若干学者对目标跟踪算法进行了广泛的研究，取得了较好的研 究成果。本文主要针对遮挡目标的跟踪算法进行分析研究。主要工作有以下两个 方面： ( 1 ) 针对粒子滤波算法在处理遮挡问题时的缺点，提出了一种结合均值漂移 和粒子滤波的跟踪算法：利用改进的均值漂移算法跟踪目标，当目标被严重遮挡 时，采用m e a n s h i f t 筛选出权重粒子，建立更新模板，持续、稳健地跟踪目标。 算法实时性强，克服了粒子滤波器的退化现象并有效缩短了计算时间，解决了跟 踪过程中目标的部分遮挡和全遮挡问题。 ( 2 ) 提出了一种改进的基于卡尔曼滤波和粒子滤波的交互式多模型跟踪算 法：利用卡尔曼滤波匹配系统线性部分，粒子滤波匹配非线性部分，根据匹配深 度来判断目标受遮挡的程度，当目标被严重遮挡时，采用迭代的多级粒子滤波方 法进行重采样，并结合卡尔曼滤波更新模型概率。改进算法提高了模型滤波速度 和目标状态的估计精度，缩短了计算时间，解决了跟踪过程中的遮挡问题。 7 遮捎情况卜h 辛，j ：拦艮踪卵法的研究 1 6 本文的内容安排 第1 章主要介绍了目标跟踪技术的国内外研究现状、背景及意义，以及多目 标跟踪技术的研究进展和应用前景，阐述了目标跟踪中的困难问题，最后介绍本 文的主要研究内容。 第2 章主要分析了遮挡过程及其分类。针对遮挡的特点，介绍了遮挡的处理 方式。最后介绍了阴影检测与去除方面的内容。 第3 章整理归纳了现有的各种典型的目标跟踪算法。介绍了抗遮挡的目标跟 踪算法及其发展方向。最后介绍了m e a n s h i f t 算法理论，利用目标的颜色特征提 高算法的抗遮挡能力。 第4 章在分析目标特征提取和模型预测的基础上，将改进m e a n s h i f t 的粒子 滤波算法应用到遮挡目标的跟踪当中。 第5 章提出了一种改进的交互式多模型方法。针对传统交互式多模型算法实 行正则滤波的单一化缺点，利用两种滤波器共同匹配目标状态，目标严重遮挡时 采用迭代的多级粒子滤波方法进行跟踪。算法利用不同的模型匹配不同的滤波 器，相比一种滤波器，提高了跟踪的精度。 第6 章是对前面工作的总结，并分析了工作中的不足之处，指出下一步工作 改进的目标，并展望今后的重点研究方向。 8 硕十学位论文 2 1 引言 第2 章遮挡问题分析 遮挡是多目标运动分析中存在的显著问题，它是影响跟踪性能的主要因素之 一，也是目标跟踪、行为分析等研究热点面临的一大挑战。多目标在运动的过程 中，彼此之间的靠近、接触都可能在图像平面产生完全或部分的遮挡，尤其是在 室内场景中，目标与背景，以及目标相互之间的遮挡更为严重。对于智能监控系 统而言，目标遮挡问题会带来以下影响：首先，运动目标提取的准确性、可靠性 下降。由于目标和静止背景以及目标之间的相互遮挡，使得目标的可见程度大大 降低，造成目标提取不完整甚至完全检测不到。其次，系统跟踪性能的下降。跟 踪性能的下降一方面是由于目标提取结果的不理想，另一方面则是由于目标被遮 挡或几个目标合并时，无法获取单个目标独立的准确特征，致使无法保持单个目 标遮挡期的稳定跟踪。 从分类的观点看，大多数处理遮挡的问题都视为是分割问题。在现有的跟踪 算法中，有些算法对遮挡进行了特别的处理。不过大多数算法要么不考虑遮挡， 要么用部分遮挡下的结果来证明算法本身的鲁棒性。算法的鲁棒性当然也可以看 作是某种层次上的遮挡处理，但是仅有这个层次的处理还是不够的。当遮挡不是 很严重的时候，某些算法确实能够得到较好的结果，但是一个跟踪算法要达到实 用性，必须面对真实世界中各种各样复杂情况的考验。就遮挡而言，可能出现的 情况就干变万化，遮挡的程度也不一而足。所以除了提高算法本身的鲁棒性，设 计专门的遮挡处理策略也必不可少。唯有如此，才有可能在出现严重、复杂的遮 挡情况下还能稳定地跟踪目标。将不同方法进行结合以相互补充是本文解决遮挡 问题的主要思路。 2 2 遮挡的分类 在图像识别和检测方面，物体可能被树、房屋和车辆的影子遮挡，这都给目 标识别和定位带来很大的困难。由于噪声和遮挡的存在，目标还可能出现跟踪丢 失。按照遮挡物体时空相对位置变化可分为：运动目标被场景中的静止物体所遮 挡；多运动目标之间的相互遮挡( 互遮挡) ；目标由于自身旋转变形等原因造成 的自身遮挡( 自遮挡) 【1 5 】。按照运动场景中遮挡程度划分：部分遮挡( p a n i a l o c c l u s i o n ) 或者叫局部遮挡( 1 0 c a lo c c l u s i o n ) ，全遮挡( f u l lo c c l u s i o n ) 或者叫 严重遮挡( s e r i o u so c c l u s i o n ) 。 9 遮捎情况卜目枥：跟踪算法的明究 部分遮挡和全遮挡是目标跟踪过程中的一个重要问题。遮挡发生时，我们应 该在预测区域内利用目标检测算法搜索目标。根据先验知识将前景像素分割成若 干类，然后分别跟踪。因此，跟踪系统应该能够实时地检测到遮挡的发生，并且 在遮挡结束后恢复对被遮挡目标的跟踪。这样要求跟踪算法应该具备以下能力： ( 1 ) 正常状态下对目标进行稳定跟踪能力。 ( 2 ) 目标被遮挡的判断能力。 ( 3 ) 目标运动轨迹预测能力。 ( 4 ) 遮挡过后，重新识别并跟踪目标的能力。 2 3 遮挡的研究 遮挡表现为目标信息的逐渐丢失，而跟踪算法的关键就是搜索到足够多的目 标信息，继而判定目标所在。目标被遮挡的过程一般可分为两个阶段：一是目标 进入遮挡过程，这期间目标信息丢失越来越严重，二是目标出离遮挡过程，也即 目标渐渐离开遮挡，这期间目标信息逐渐得到恢复。所以遮挡给目标跟踪的可靠 性带来很大困难，可能导致跟踪的不稳定甚至丢失目标。能否克服遮挡问题，关 键是应该看遮挡结束后正确的跟踪是否能得到了恢复，例如所跟踪目标被另外的 一个特征相似的物体所遮挡，遮挡过程中可能并没有丢失目标，但是目标离开遮 挡后，跟踪可能转移到了遮挡物上，这时发生目标丢失。一个鲁棒的跟踪算法应 该能准确的判定遮挡的发生，并且在遮挡期间利用目标剩余的信息继续跟踪目 标，即使在目标被完全遮挡情况下也不至于丢失目标。 其次，遮挡时，目标只有部分是可见的，而且这个过程一般是不可训练的， 简单依赖于背景减除进行运动分割的技术此时将不再可靠，为了减少遮挡或深度 所带来的歧义性问题，必须开发更好的模型来处理遮挡时特征与目标各部分之间 的准确对应问题。另外，一般系统很难完成何时停止和重新开始目标的跟踪，即 遮挡前后的跟踪初始化缺少自举方法。因此，除了采用一些预测方法之外，对于 解决遮挡问题最有实际意义的潜在方法应该是基于多摄像机的跟踪系统。 2 3 1 遮挡过程分析 一般来说，对于遮挡问题，可以将它分解为如下几个方面来一一解决。整个 遮挡处理过程可以用下图来简单地表示： l o 硕+ 学位论文 图2 1 目标跟踪过程中的遮挡分析图 第一，判断遮挡的发生。这一步是处理遮挡的关键，只有准确的判断遮挡的 发生，才能启动相应的处理方法来克服遮挡。在正常跟踪时，一般我们会利用一 定的匹配准则在一定区域内进行搜索，利用匹配结果一一模板图像与跟踪区域的 相似度来判断当前图像帧中的目标位置。当发生遮挡时，该相似度会下降，利用 匹配准则本身的这个度量值就可以用于判断是否发生遮挡。但是，该方法并不能 够检测出所有的遮挡情况。比如，当遮挡区域的灰度值与目标本身的灰度值较接 近时，那么基于灰度的相关匹配就不能够及时地检测到遮挡。但是，我们注意到， 即使遮挡区域的灰度值与目标区域接近，但是它们的纹理特征和形状一般是存在 较大差别的。所以结合目标的几何特征，如轮廓、面积、形心等信息，就可以及 时地检测出遮挡了。当然这些检测方法不是孤立存在的，它要和一定的跟踪策略、 匹配准则结合起来。 第二，遮挡过程中持续稳定的跟踪。当遮挡刚刚开始、范围还不大时，目标 部分可见，跟踪系统要求能够对目标继续稳定地跟踪。这就对跟踪算法的鲁棒性 提出要求。当前，对于提高跟踪算法的鲁棒性有了较深入的研究，特别是一些算 法本身就具有良好的鲁棒性。 第三，轨迹预测。无论算法本身是多么鲁棒，当发生大范围遮挡甚至全部遮 挡时，目标根本不可见，就再也不能依赖鲁棒的跟踪算法了，这时需要新的策略。 估计目标的运动轨迹，预测目标在当前帧图像中所处的位置以及目标可能再次在 图像中出现的区域，并做好准备，在该区域附近搜索等候它的重新出现。当然可 以在全局图像中进行搜索，但是这样做不仅耗时而且也没有必要，因为一般来说， 目标会按照一定的轨迹运动，在图像中只可能在一定的区域内重新出现，所以如 果我们能够对目标的运动轨迹有较准确的预测，那么在它将要出现的区域等候， 就可谓事半功倍了。运动目标轨迹预测的方法也有很多，基于k a l m a n 滤波器和 粒子滤波器的轨迹预测方法使用广泛、性能良好，是很好的预测模型。 第四，判断遮挡的退出。当目标慢慢退出遮挡状态时，跟踪算法需要能够及 遮挡情况卜口卡，j ：f 艮踪并法的硎究 时地检测到，再次捕获目标，继续跟踪目标。利用准确的轨迹预测，在目标将要 出现的区域内进行搜索，等候目标的再次出现，并检测该目标是否是跟踪算法需 要的目标，并且恢复正常的跟踪。 2 3 2 遮挡处理方法 遮挡目标的跟踪直是计算机视觉研究中的困难问题。近年来，针对该问题 的研究主要分为两类【1 6 】：( 1 ) 不对遮挡中的目标进行分割，而是将遮挡的目标作 为一个整体进行跟踪，当目