（计算机应用技术专业论文）分布式智能监控系统的设计与实现.pdf

分布式智能监控系统的设计与实现 摘要 智能视频监控是计算机视觉领域一个新兴的应用方向和备受关注的前沿课 题，其研究内容涉及计算机视觉、模式识别、人工智能、通信网络等多个学科。 智能视频监控的目的是利用计算机视觉和视频分析的方法对摄像机拍录的图像 序列进行自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此基础 上分析和判断目标的行为，实现对图像内容的理解并指导和规划人类的活动。 目前视频监控系统已经被广泛的应用于道路交通、银行、商场，机场、地 铁等公共场所。但现有的视频监控系统通常只是录制视频图像，用来当作事后 证据，没有充分发挥实时主动的监控作用。而智能视频监控系统可以有效增强 监控能力、降低不安全隐患，同时节省人力物力资源。但是智能视频监控在理 论和应用上都面临着很多难题，国内外大批学者投身于该领域的研究和探索， 并且取得了大量的成果。本文在这些成果的基础上设计并开发了一个分布式智 能监控系统，该系统具备下述特点和创新点： 目前的背景建模算法仅仅考察图像中的像素点，缺乏对物体结构信息的把 握，所以在应用过程中存在着较大的局限性。本文在此基础上结合边缘检测信 息做了后续的处理，从而更好的提取完整的前景区域。 在实际的应用中，如何定义目标物以及何时对目标物进行跟踪是两个重要 的问题，本文通过形态学和连通性分析等操作把获取的前景区域分类成若个 b l o b ，每个b l o b 对应一个目标物；本文还为每个b l o b 维护了一个跟踪列表来 确保传递给系统跟踪模块的b l o b 是稳定的，可信的目标物。 本文使用基于m e a ns r 的非刚体实时跟踪算法和基于粒子过滤器的跟踪 算法来实现对目标的跟踪，并以颜色空间上的统计分布作为上述跟踪算法中对 目标物的特征描述，这样的设计和实现可以较好的处理部分遮挡、旋转、环境 杂乱等问题，可以在较低的计算复杂度下取得较好的跟踪效果。 本文还提出了基于多智能体的分布式协同智能监控系统的概念。在开放、 动态的多监控节点环境下，基于多智能体的分布式协同智能监控系统对各智能 体的目标、资源的使用进行协调，提高了单个智能体以及多个智能体所形成的 系统的整体监控性能，增强了智能体及智能体系统在分布式、全覆盖监控环境 下对目标物进行全程有效跟踪的能力。 关键字：背景建模，f l 标检测，目标跟踪，分布式监控系统，多智能体 中图分类号：t p 3 9 1 4 分布式智能监控系统的设计与实现 a b s t r a c t s m a r tv i d e os u r v e i l l a n c es y s t e mi so n eo ft h en e wa r i s i n ga p p l i c a t i o nf i e l d si n c o m p u t e rv i s i o n i ts p a n sm a n ys u b j e c t si n c l u d i n gc o m p u t e rv i s i o n , p a t t e r n r e c o g n i t i o n a r t i f i c i a li n t e l l i g e n c e ，n e t w o r kc o m m u n i c a t i o ne t c w i t ht h ea b i l i t yt o a u t o m a t i c a l l ya n a l y z es e q u e n c ei m a g eb yt h em e t h o d so f c o m p u t e rv i s i o na n dv i d e o a n a l y s i s ，s m a r tv i d e os u r v e i l l a n c es y s t e mc a nd e t e c t 1 0 c a l i z e ，r e c o g n i z e ，a n dt r a c k m o v i n go b j e c t si nas p e c i a le n v i r o n m e n t f u r t h e r m o r e ，i tc a na l s oa n a l y z ea n dj u d g e t h eb e h a v i o ro fo b j e c t s t h ea i mo fs m a r tv i d e os u r v e i l l a n c es y s t e mi st oi n t e r p r e t a c t i v i t yi nr e a lt i m ea n dp r e s e n tac l e a rp i e t u r eo f t h ea c t i v i t yt ot h eh u m a n k i n d s u r v e i l l a n c ec a m e r a sh a v ea l r e a d yb e e nw i d e l ya p p l i e di nm e a s u r i n g 锄cf l o w , p e e c a n c ym o m t o f i n g a n dt h es u r v e i l l a n c ef o r b a n k , s h o p p i n g ，a g r o d r o m e ， u n d e r g r o u n d , e r e b u tc u r r e n t l y , a l lt h ev i d e oi n f o r m a t i o ni so n l yu s e d ”a f t e rt h e f a c t ”a saf o r e n s i ct o o l ，t h u sl o s i n gi t s # m a r yb e n e f i ta sa na c t i v e ，r e a l t i m e m e d i u m h o w e v e r , s m a r tv i d e os u r v e i l l a n c es y s t e mw i l ll a r g e l ya l l l a l l c eq u a l i t ya n d e c o n o m i z ei n v e s t m e n ti nt h es 锄et i m e b u tt h e r ea f es t i l lm a n yp r o b l e m si nb o t h t h e o r yr e s e a r c ha n da p p l i c a t i o n so fs m a r tv i d e os u r v e i l l a n c e l a r g en u m b e r so f r e s e a r c h e r sd e v o t e dt h e m s e l v e si n t h i sa r e aa n dh a v ea l r e a d ya c h i e v e dm a n y p r o g r e s s e s t h ed i s s e r t a t i o ns t u d i e dt h ek e yt e c h n o l o g i e so fs m a r tv i d e os u r v e i l l a n c e b a s e do nt h ec u r r e n tc o n c l u s i o n s ，d e s i g n e da n dd e v e l o p e do n ed i s t r i b u t e ds m a r t v i d e os u r v e i l l a n c es y s t e m t h em a i nc h a r a c t e r i s t i c sa n dc o n t r i b u t i o n so ft h e d i s s e r t a t i o nc a nb es u m m a r i z e da sf o i l o w s ： c u r r e n t l y , a l lt h eb a c k g r o u n dm o d e l i n ga l g o r i t h m sc l a s s i f yf o r e g r o u n d f r o m b a c k g r o u n db a s e do np i x e l sb u tn o tt h es t r u c t u r ei n f o r m a t i o no fa l lo b j e c t , w h i c h l e a d st of r a g m e n t i z e df o r e g r o u n do ri n t r o d u c e st o om u c hr e d u n d a n tf o r e g r o u n d t h e d i s s e r t a t i o nm a k e sf u l lu s eo ft h ee d g ei n f o r m a t i o nt op o s t p r o c e s st h ef o r e g r o u n d m a s kp r o d u c e db yt h eb a c k g r o u n dm o d e l i n ga l g o r i t h m sa n dm o r ec o m p l e t ea n d e x a c tr e s u l t sa r co b s e r v e d h o wt od e f i n ea no b j e c ta n dw h e nt ot r a c ka no b j e c ta r et w oi m p o r t a n ta n d p r a c t i c a lp r o b l e m s m o r p h o l o g ya n dc o n n e c t e dc o m p o n e n ta n a l y s i sa r eb o t hu t i l i z e d t os e g m e n tt h ef o r e g r o u n di n t os e v e r a lb l o b s ，e a c hc o r r e s p o n d i n gt oa l lo b j e c t a w i c kl i s ti sa l s om a i n t a i n e df o re a c hb l o bt oe n s u r et h a tt h eb l o b ss e n tt ot h et r a c k i n g m o d u l ea r es t a b l ea n db e i i e v a b l e 分布式智能监控系统的设计与实现 b o t hm c a ns h i f la n dp a r t i c l ef i l t e ra 佗i m p l e m e n t e di nt h ed i s s e r t a t i o nf o rt h e t r a c k i n gp u r p o s e c o l o rd i s t r i b u t i o ni sa p p l i e dt od e f i n et h et a r g e tm o d e la si t i s r o b u s tt op a r t i a lo c c l u s i o n ，i sr o t a t i o na n ds c a l ei n v a r i a n ta n dc o m p u t a t i o n a l l y e 伍c i e n t t h em u l t i a g e n tt e c h n i q u ei s a p p l i e d i n t os m a r tv i d e os u r v e i l l a n c ef i e l dt o d e v e l o pm u l t i a g e n tb a s e dd i s t r i b u t e ds y s t e m i na no p e na n dd y n a m i cd i s t r i b u t e d s u r v e i l l a n c ee n v i r o n m e n t , m u l t i a g e n t b a s e dd i s t r i b u t e ds u r v e i l l a n c e s y s t e m c o o r d i n a t e sb o t ht h ea i m sa n dt h eu s a g eo fr e s o u r c e sf o re a c ha g e n t ak i n do f s y s t e mb a s a ls t r u c t u r ea n dr e a l i z a t i o nm e t h o d sa 托p r o p o s e da n dm u l t i a g e n tb a s e d v i s u a ls u r v e i l l a n c es y s t e mm o d e la n do r g a n i z i n gp r o c e s sa l ea l s os t u d i e d t h e c o l l a b o r a t i o nb f j t w e g ns u r v e i l l a n c ea g e n t sh e l p st ot r a c ka no b j e c ti nal o n gt e r ma n d l a r g ea r e ae f f e c t i v e l y k e yw o r d s ：b a c k g r o u n dm o d e l i n g ，o b j e c td e t e c t i n g , o b j e c tt r a c k i n g , d i s t r i b u t e d s u r v e i l l a n c es y s t e m , m u l t i - a g e n t s u b j e c tc l a s s i f i c a t i o n ：t p 3 9 1 4 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除 了特别加以标注和致谢的地方外，不包含其他人或其他机构已经发表或撰写过 的研究成果。其他同志对本研究的启发和所做的贡献均已在论文中做了明确的 声明并表示了谢意。 作者签名：缝攀盘，日期：塑翌z 丝：型7 论文使用授权声明 本人完全了解复旦大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分 内容，可以采用影印、缩印或其他复制手段保存论文。保密的论文在解密后遵 守此规定。 作者签名：施泶如导师签旌雄日期：0 卯7 占r 分布式智能监控系统的设计与实现 引言 第一章引言 随着计算机视觉技术的快速发展及相关实用算法的完善，智能监控系统的 研究与开发已经成为当前计算机应用领域的热点，它与传统意义上的监控系统 的区别在于其智能性。智能监控系统用摄像机代替人眼，用计算机替代人的识 别、理解系统，使用有效的图像处理算法来分析由摄像机生成的大量图像序列， 对被监控场景中的目标进行定位、跟踪和识别，协助相关工作人员完成监视或 控制任务，从而减轻其负担。 目标检测与跟踪是智能监控系统的核心功能之一，也是近年来计算机视觉 领域备受关注的前沿研究方向。从图像序列中检测运动区域、对目标的运动进 行识别和跟踪是一项十分重要且极具挑战性的工作。此外，目标检测与跟踪在 智能人机接口、动画制作、虚拟现实等领域也有着广泛的应用。 目标检测的目的是从图像序列中将目标物体所占区域从背景图像中提取出 来。该阶段的结果质量将对后续的跟踪和行为理解等产生重要影响，然而，背 景图像的动态变化，如天气、光照、影子及混乱干扰等影响，给目标检测带来 了相当的困难。目前常用的目标检测算法包括：背景减除【l 】、时域差分【2 】、光 流法【3 】以及基于目标物特征的统计识别【4 】等。 背景减除算法最为常用，但以固定摄像机为前提条件；时域差分算法允许 摄像机自身发生运动，但是无法单独使用该方法来得到完整的前景信息；光流 算法在摄像机与背景之间存在运动的前提下可以检测出运动物体，但是计算过 程需要多步迭代，抗干扰能力较弱；基于目标特征的统计识别算法也不对摄像 机的运动作任何假设，但是计算时间复杂度很高，易受背景中噪杂物的干扰。 目标跟踪的任务是在连续帧之间创建位置、速度、色彩、纹理、形状等图 像特征的匹配关系【5 ，6 】。按跟踪对象来分，可以分为跟踪目标的运动部分和跟 踪目标的运动整体；按摄像机的数量来分，可分为单摄像机跟踪和多摄像机跟 踪；按跟踪方式来分，可分为基于模型的跟踪【7 1 4 】、基于区域的跟踪【l ，2 】、 基于活动轮廓的跟踪【1 5 ，】6 】和基于特征的跟踪【1 7 】等。 基于模型的目标跟踪算法凭借其丰富的目标物体运动信息有效的解决了扰 乱和遮挡等问题，从而成为计算机视觉研究中的热点，但通常目标物体的模型 维数较高，难以对模型和图像观测特征在高维空间进行最优匹配，从而成为计 算机视觉研究中的难点；基于区域的目标跟踪算法无法得到目标的姿态细节， 但在跟踪的实时性和抗干扰能力方面则表现尤佳；基于活动轮廓的跟踪算法可 以随着目标的移动而自动的、连续的更新目标的轮廓线信息，有效地捕捉到目 分布式智能监控系统的设计与实现 引言 标的姿态特征，但是其计算时间复杂度较高，在目标的运动剧烈或不可测的情 况下会很容易导致跟踪失败；基于特征的跟踪算法面临一个比较尴尬的处境： 特征点越简单，越容易抽取但越难跟踪，而高层次的特征点容易跟踪却难以抽 取，所以实用性较低。 虽然近年来已经有大量的文献提出了各类目标检测、跟踪方面的算法，但 是在构建整合了目标检测与跟踪功能的实时智能监控系统领域的研究工作要少 得多。实时智能监控系统的任务是当它检测到工作人员所关心的事件时能够自 动的向相关人员发出警示，从而避免或抑制可能的或正在发生的突发事件或灾 难情况等。而只有当系统能够精确的、可靠的定位并跟踪目标，系统才能正确 的检测并理解目标的行为，从而确保系统发出的警示信息是可信的。一个优秀 的目标检测与跟踪子系统应该能够为相同的目标物体赋予相同的标识，实现对 目标的长程、可靠的跟踪，为后续的运动分析、行为分析提供充足依据。所以 智能监控系统的核心是目标检测与跟踪子系统，而设计并实现目标检测与跟踪 子系统的核心任务是如何选取并整合目前已有的目标检测和跟踪算法，使之满 足系统实际运作的需要。 在选取并整合目标检测与跟踪算法来构造目标检测与跟踪子系统的过程中 需要理解并解决下述困难： 1 ) 目标之间存在着相互遮挡； 2 ) 目标的色彩、纹理等特征可能和背景之间的对比度比较低； 3 ) 图像质量和光照条件可能会比较差并随着时间会发生变化； 4 ) 目标可能会在场景中跨越多个摄像机的监控区域； 5 ) 系统必须实时、鲁棒的运作。 本文的研究工作是设计并实现一个分布式智能监控系统，其核心功能是目 标检测与跟踪，目的在于解决上述困难并为由上海市科学技术委员会资助的科 研项目“全口网络智能化安防系统技术研究及应用实现”提供一个实用的智能 引擎。该系统具备下述基本特征： 1 ) 该系统可以作为科委项目的一个子系统来运作，也可以作为一个独立的 目标检测与跟踪系统来运作； 2 ) 该系统借助分布式的网络架构实现对较大区域的实时监控； 3 ) 每个监控节点由一个摄像机和一台计算机组成，监控节点之间可以沟通 检测与跟踪信息，所以物理上的多个监控节点在逻辑上只是一个监控点； 4 ) 每个监控节点对目标的检测与跟踪功能都是由三个相互协作的检测与跟 踪模块合作完成并输出统一的跟踪结果。这三个模块分别是：背景建模模块， 目标检测模块，目标跟踪模块。模块之间的相互协作在克服单个模块功能局限 2 分布式智能监控系统的设计与实现 引言 性的同时达到了较高水准的鲁棒性。 5 ) 在开放、动态的多监控节点环境下，基于多智能体的协同智能监控系统 对各智能体的目标、资源的使用进行协调，提高了单个智能体以及多个智能体 所形成的系统的整体监控性能，增强了智能体及智能体系统解决全覆盖监控环 境下对目标物体进行全程有效跟踪的能力。 本文共分为八个章节。第二章介绍本文的研究背景，包括对基本概念、术 语、相关研究工作、与文本关联的项目、本文技术路线等的介绍：第三、四、 五、六章是本文的核心部分，详细分析了本文分布式智能监控系统的设计和实 现过程；第七章给出了系统的定性、定量及与其他已有系统的比较分析；最后 一章则对全文进行了总结，提出了本文存在的不足之处及将来的工作方向。 3 分布式智能监控系统的设计与实现研究背景 第二章研究背景 本章主要介绍目标检测与跟踪的基本概念、相关算法、已有的各类智能监控 系统、“全口网络智能化安防系统技术研究及应用实现”项目以及本文所述工作 的技术路线分析。 2 1 基本概念和术语 本文使用了大量的计算机视觉领域的术语，其中一部分术语要么没有一个通 用的定义要么被人们以不同的方式理解并使用着。这里给出若干相关术语及本文 对这些术语的解释。 1 ) b l o b 是指图像中具有一定特征的像素的连通区域。一个b l o b 中包含的像 素和该b l o b 之外的像素必须满足局部可区分的条件。所谓b l o b 分析是指对图像 中相同像素的连通区域进行分析。 2 ) 区域( r e g i o n ) 是指包含一个或多个b l o b 的某一图像区域的最小外接矩 形所包含的区域。 3 ) 运动检测( m o t i o nd e t e c t i o n ) 是指检测图像视频中的运动区域。本文所 述系统使用静止的摄像机，为了检测图像中运动的目标，运动检测模块需要维护 一个背景信息的模型，即被监控场景在没有前景物体时的外在表现。对于视频流 中的当前帧，任何不属于该背景模型的像素都被分类为“运动区域”。结果就是 一幅二值运动图像，其中的每个像素要么属于。运动区域”，要么属于。静止区 域”。 4 ) 参数化模型( p a r a m e t e r i z e dm o d e l ) 是指一个表达模型的函数厂以及一 个参数空间p ，其中函数，可以把参数空间中的某参数p p 映射到某个数据表 达d ，即d = 八p ) 。参数空间p 的维数又称模型，的维数。通过调整模型参数， 可以把一个模型拟合到一组给定的图像度量值上。目标的参数化模型可以直接或 间接的描述图像中目标的表现特征，并可以有效区分图像中的运动物体是否为目 标物体。 5 ) 模型复杂度( m o d e lc o m p l e x i t y ) 在建模目标的时候，一个很重要的问 题就是所采用模型的复杂度。比如，人体作为一个复杂的连杆机制，是由大量的 关节及骨骼结构组成，任意一个关节发生平移或旋转都有可能导致图像中人的外 4 分布式智能监控系统的设计与实现 研究背景 在表现发生巨大变化，而且这些外在表现还受摄像机观察视角以及各种遮挡的严 重影响。目标的简单模型易于实现并可应用于实时系统，但是当目标的姿态或摄 像机视角发生改变的时候，这类算法无法应对目标外在表现的变化。而且这类模 型也无法很好的处理存在遮挡的情况。 更加复杂的模型有能力应付上述变化，即更通用、更强大，但也带来了计算 时间复杂度过于高昂的代价。除了难以实现之外，复杂模型算法在计算上巨额的 时间开销使得它们无法适用于实时系统的开发。而且模型参数空间的维数过高带 来了视觉不定性( v i s u a la m b i g u i t i e s ) 等问题。例如，如果算法对目标的某个身 体部件进行了建模，那么当该身体部件被遮挡后就出现模型未定义的情况。在很 多不利于系统判断的场景中，复杂模型更有可能会失效，比如物体缺失了某些标 记物，目标倾斜、折叠或倒了下来，光照发生变化，背景发生运动等等。这些问 题导致选取一个合适的目标建模方法成为系统设计过程中极其重要的一个环节。 在上述的有利因素和不利因素之间如何做一个折中是由系统应用决定的，如应用 对速度的要求或应用对输出结果精确度的要求等。 尽管用于检测和跟踪目的的各种目标建模算法在复杂度上有着巨大的差异， 但还是可以把它们粗略的划分为下述三大类： 5 1 ) 基于区域或b l o b 跟踪的方法，这类方法有时还会利用颜色、纹理或其 他局部图像特征辅助建模过程。这类方法又称“无模型”方法，实际上计算机程 序隐式的定义了一个模型用于跟踪过程； 5 2 ) 基于目标二维表观的方法，这里的二维表示模型将表达目标在二维图像 中的外在表现； 5 3 ) 基于目标三维关节配置的方法，即需要建立目标在三维空间中的模型。 用于检测和跟踪目的的目标模型越是复杂，系统在处理某些特定场合时的能 力就越优秀( 当然算法必须对这些特定场合进行专门的训练) 。然而随着模型复 杂度的提高，算法运行的时间开销也随之提升。由于图像只能给出二维的度量信 息，想从图像中恢复人的三维信息以用于三维建模本身就是病态的，解决该问题 的一种方法是使用多台摄像机，比如立体摄像系统，该系统可以从效果上模拟对 人的三维度量。其他的方法使用迭代算法求解目标从三维空间n - - 维图像空间的 最佳投影，但这类方法导致高度的非线性并造成无法完全求解或计算代价过于高 昂。尽管可以采用专门的视频处理硬件来计算从三维空间到二维空间的投影，非 线性及复杂的优化问题还是不可避免的存在着，所以目前尚无此类加速跟踪器。 出于执行效率及鲁棒性的考虑，本文设计并实现的系统采用第一类建模方 法。 分布式智能监控系统的设计与实现研究背景 2 2 相关研究工作介绍 2 2 1 算法介绍 目标检测的基本任务是从图像序列中检测出算法关注的目标，简化图像处理 过程，得到所需的目标信息，从而能够识别与跟踪目标。目前常用的目标检测算 法有背景建模法、时域差分法、光流法以及基于目标特征的统计识别法。 1 ) 背景建模法 好的背景建模算法应该能够解决背景模型的有效提取、背景的扰动、外界光 线的变化、阴影的影响、背景的更新等实际应用中普遍存在的问题。 最简单的建模方法是保存一幅没有运动对象时场景的静止图像，该方法在很 多场合下都无法使用，比如户外场景中光照条件会随着时问发生变化、树木在风 中会发生摇曳等。较常用的背景建模方法是对视频中的前月( 刀 0 ) 帧图像进 行时间域上的逐像素中值滤波。更复杂的方法为图像中的每个像素建立模型来克 服外在干扰，m r r 的s t a u f f e r 和c 开i l n s o n 等人提出了多模型统计运动检测算法 ( m u l t i m o d e ls t a t i s t i c a lm o t i o i ld e t e c t o r ) ，该算法对每个像素都使用3 至5 个高斯 分布函数进行建模 1 8 ，1 9 】；马里兰大学( u n i v e r s i t yo fm a r y l a n d ) 的e i g a m m a l 等人提出了非参数统计模型算法( n o n p a r a m e t r i cs t a t i s t i c a lm e t h o d ) 2 0 1 。这些算 法的缺点在于其计算时间复杂度相对较高，但仍可应用于实时系统中。r o w e 和 b l a k e 等人把耗时的背景建模过程放在一个离线的训练阶段来完成，想借此提高 算法的实时性能，但是使用该算法的系统无法处理背景或光照条件变化而带来的 问题 2 1 】。 2 ) 时域差分法 时域差分法是运动目标检测中用的比较多的一类算法，基本思想是在图像序 列的相邻帧间采用基于像素值的时域差分并阀值化后提取图像中的运动前景。但 由于目标尺寸不一，背景亮度有别，对差分图像设定阀值的方法不尽相同；而且 目标易受阴影干扰，这也需要专门处理【2 2 】。 为了提高时域差分法的性能，j a i n r 和n a g e l h 等人改进原算法并提出了累 积图像差分法和对称图像差分法【2 3 】，这两种方法都能在提高检测率的基础上降 低误报率。但是在人体等目标的某些区域灰度值变化较为平坦时，时域差分法会 使二值图中产生中空现象，当目标与摄像机的相对运动很大时，连续两帧的运动 目标的相交部分会很小，甚至为空集，比如快速运动中的目标肢体末端，这就对 运动目标的精确定位带来了很大的困难；而且一旦物体停止运动，时域差分法就 无法检测到前景目标。鉴于此。单独使用时域差分法无法得到完整的前景信息。 6 分布式智能监控系统的设计与实现研究背景 3 ) 光流法 光流法是视觉运动分析的一类重要方法，可以确定被观察目标的运动情况， 而且携带着有关目标的三维结构等丰富信息。通常，光流由摄像机的运动、目标 的运动、两者的相对运动产生。计算光流的方法可大致上分为以下四类。 3 1 ) 基于特征匹配的光流法：该类方法对目标的主要特征进行连续的定位和 跟踪，对于较大目标的运动或亮度变化较大的情况具备一定的鲁棒性。但是由于 多数目标物的特征数较少，得到的光流通常很稀疏。此外，对图像进行特征提取 并对特征进行精确匹配都需要高昂的计算时间开销； 3 2 ) 基于区域匹配的光流法：该类方法首先定位相似区域，然后计算相似区 域的位移并得到光流。然而该类算法得到的光流还是相当稀疏； 3 3 ) 基于频率的光流法：该类方法采用速度可调的滤波组输出频率、相位等 信息。优点在于能得到高精度的初始光流估计值，缺点在于计算复杂，也难以进 行可靠性分析； 3 4 ) 基于梯度的光流法：该类方法使用图像序列的时空微分计算二维的光流。 优点在于计算简单、可以得到较好的实验结果，缺点在于参数需要人工选取，难 以确定可靠性评价因子、预处理对结果影响大。 光流法的优点是在摄像机相对背景发生运动的条件下也能检测出运动目标； 但是来自多光源、噪声、阴影、透明度和遮挡等的干扰使得该类算法无法十分精 确、可靠的估计出光流场的分布；此外，大多光流法的计算时间复杂度高，没有 专用硬件的支持是难以实现实时检测的 2 4 , 2 5 。 4 ) 基于目标特征的统计识别法 基于目标特征的统计识别法首先提取目标的特征描述，借助统计工具对这些 特征进行分析或建模，检测过程就是在图像中计算特征并进行统计意义上的匹配 过程。这类方法有： 4 1 ) 基于主动轮廓线模型的方法：k a s s 和w i t ! d n 等人提出了称为s n a k e 的 主动轮廓线模型，即用参数表示轮廓线并定义轮廓线的能量函数。作为能量最小 化的样条，s n a k e 通过内力约束其形状、通过外力引导其行为，使轮廓线不断趋 向算法关注的图像特征。主动轮廓线模型在实现运动目标检测的同时又能实现目 标边界的跟踪。 4 2 ) 基于小波的方法：m a l l a t 和o w a n g 等人应用小波检测噪声中的物体边 缘【2 7 】，并使用自适应最大似然概率方法检测多光谱图像中的弱目标。对图像进 行小波分解可以得到多个尺度上由光谱、方向和尺寸等参数构成的向量，并可以 借助该向量进行目标检测，也可以把反映方向和空间频率的小波与g a b o r 系数组 合来检测目标。 7 分布式智能监控系统的设计与实现研究背景 目标跟踪就是在连续图像帧之间建立位置、速度、色彩、纹理、形状等图像 特征的匹配关系。目标跟踪算法根据其所关注图像特征的不同大致可以分为以下 四类。 1 ) 基于模型的跟踪： 不同的目标有不同的模型，以行人为例。行人的人体模型基本上有以下三类： 线状模型( s t i c kf i g u r e ) 、二维板状模型( c o n t o u r ) 和三维体状模型( v o l u m e t r i c m o d e l s ) 。 1 1 ) 基于线状模型的行人跟踪算法把行人的运动看作是骨骼关节的运动，即 以直线代表行人的四肢和躯体、以点代表各关节点，通过带约束的关节点三维空 间坐标构造行人的姿态状态空间，以统计的方法计算得到行人在不同姿态下的参 数数据及各相邻姿态之间的转移概率等先验信息，通过计算行人在不同姿态下的 投影和图像观察值之间的相似程度估计行人所处的当前姿态等信息，并使用 h n i s 等方法预测该行人在下一帧中可能的姿态，从而实现对行人的跟踪。 1 2 ) 基于二维板状模型的行人跟踪算法把行人的身体各部间，如头、上臂、 前臂、手、躯干、大腿、小腿、脚等，用若干四边形来建模，代表相邻部件的四 边形通过一个铰链联系在一起，每块四边形可以按照人体运动约束进行旋转甚至 形变，利用帧间的平滑约束和四边形间的铰链约束求解相关光流方程，进行运动 估计从而实现跟踪过程。 1 3 ) 基于三维体状模型的行人跟踪算法利用摄像机和场景的几何学知识，把 人的三维模型投影到平面图像空间中，依据图像中的位置变化来进行跟踪。 g e n n e r y 早在1 9 8 2 年就提出了基于三维体状模型的跟踪算法【2 8 】；j u n g 对圆柱体 进行三维建模后跟踪其旋转运动【2 9 】；n i c k e l s 对机器人的机械手进行三维建模后 跟踪其运动情况来辅助机械手臂的操控【3 0 】；由z h u 等人提出的v i s a t r a m 系 统【3 l 】和由n a g e l h - h 3 2 ，3 3 等人提出的x t r a c k 系统采用简化的三维模型建模 被跟踪物体，从二维图像中推断出运动人体的三维形状，从而估计和跟踪运动人 体的运动；z h a o 等人使用三维椭圆球体建模室外复杂场景中的多个人体，采用 d d m c m c ( d a t a - d r i v e nm a r k o vc h a i nm o n t ec a r l o ) 算法框架计算后验概率，较 好的解决了扰乱和遮挡等问题0 2 ，1 3 。基于三维体状模型的行人跟踪算法的显著 优点是有关模型的三维先验知识可以在环境物比较噪杂、遮挡比较严重的情况下 获得较为鲁棒的跟踪结果，但是其巨大的计算时间复杂度使之无法适用于实时系 统中。 2 ) 基于区域的跟踪： 基于区域的目标跟踪算法一般不需要考虑目标的精确模型和细节，不需要对 模型进行初始化。这类方法对检测到的前景区域进行面积、几何结构等方面的约 8 分布式智能监控系统的设计与实现研究背景 束，并对跟踪区域加线框来跟踪。在用该方法对目标进行跟踪时，可以对目标的 轮廓与颜色等信息进行分析，为目标构造一种表达，有新的符合该表达的区域出 现则表示跟踪到一个新的目标，对应区域的消失则意味着该目标的消失。借助卡 尔曼滤波器还可以在有遮挡的情况下对运动目标进行运动预测和跟踪。近年来， 在基于区域的目标跟踪中，基于统计学习理论的方法备受重视，这种方法把检测 和跟踪融为一体，如a v i d , a n 提出的支持向量跟踪算法( s u p p o r t v e c t o r t r a c k i n g ) 将支持向量机与基于光流场的跟踪器结合起来，在目标邻域内搜索具有最大支持 向量机得分的区域进行跟踪 3 4 ，3 5 。w i l l i a m s 等人使用相关向量机( r e l e v a n c e v e c t o rm a c h i n e r v m ) 方法学习目标与运动间的回归函数进行跟踪，该算法的计 算时间复杂度较低但跟踪精度相对较高的 3 6 ，3 7 。目前，这类基于统计学习理论 的方法只能用来跟踪单个运动目标。 3 ) 基于主动轮廓的跟踪： 基于主动轮廓的目标跟踪算法使用封闭或分段的曲线轮廓表示运动目标，该 轮廓能够随着目标物体的运动而自由移动并在一定的统计约束下连续更新。 k a s s 等人提出的s n a k e 主动轮廓算法是基于边缘信息跟踪的一种常用算法 3 8 1 ，该算法所利用的目标边缘特征具有与运动方式无关、与目标物形状无关等 特点。作为一种有效的分割和跟踪工具，s n a k e 模型已经被广泛用于目标检测和 跟踪任务q ， 3 9 - 4 1 1 。在该算法的计算过程中，表达运动目标轮廓的曲线在内部力、 外部力和约束力的共同作用下，主动的向着运动目标的图像轮廓附近逼近，当曲 线能量最小化时即是获取目标精确轮廓之时。这类方法充分利用运动目标的全局 轮廓信息，且不需要预先记存任何关于该目标的先验知识。但是传统的s n a k e 模 型存在着以下缺点：初始生成的轮廓线必须足够靠近运动目标的图像边缘，否则 会收敛到错误的状态；模型曲线很难进入运动目标的深凹部分。为了改进传统的 s n a k e 方法，c o h e n 等人提出了主动轮廓线的气球模型【4 2 】、距离势能模型【4 3 】 和g v f 2 s n a k e ( g r a d i e n tv e c t o rf l o ws n a k e ) 模型【4 4 】等。这些改进算法引入一个外 部力，扩大了初始轮廓的捕获区域，有效降低了对轮廓线初始化的敏感性。m e n e t 等人提出了b s n a k e ，使用b 样条表示运动目标的轮廓曲线，这样的表达在结构 上更紧凑，在效果上更有效 4 5 1 。 主动轮廓算法可以进一步分为参数化主动轮廓和短程线主动轮廓两类。 3 1 ) 参数化主动轮廓用参数表达运动曲线。该类轮廓线方法需要额外附加外 界控制条件或其他先验知识才能处理轮廓曲线在拓扑结构上的变化。 3 2 ) 短程线主动轮廓的运动方程不包含与曲线几何结构无关的参数，并在高 维空间使用l e v e ls e t 算法表达曲线。该类轮廓线方法不需要额外附加外界控制 条件就能自动处理曲线在运动过程中的拓扑结构变化，所以短程线主动轮廓模型 9 分布式智能监控系统的设计与实现研究背景 可以有效跟踪多个非刚体目标物的运动。 轮廓表达有减少计算复杂度的优点，即使在有部分遮挡的情况下也能连续的 进行跟踪，不过轮廓的初始化仍然较为困难。 4 ) 基于特征的跟踪： 基于特征的目标跟踪算法通过特征提取和特征匹配两个阶段把图像特征从 一幅图像对应到另一幅图像。其假设前提是：不管是刚体还是非刚体，由于图像 序列的采样时间间隔很短，序列的相邻两帧图像中同一运动目标的个体特征在运 动形式上具有平滑性，从而可以使用特征点【4 6 】、直线【4 7 】或曲线【4 8 】等个体特征 来跟踪运动中的目标。这类算法的优点在于：使用简洁的符号模型表达平滑的运 动方式，计算过程相当简单；由于算法假设特征符号的运动是相对独立的，所以 不管运动的是刚体还是非刚体，在运动分析过程中不用关心目标物体的几何形 状；由于目前已有特征提取算法的稳定性，跟踪过程中的特征符号容易较精确的 实现匹配。在特征选取上必须满足抗噪声、具有鲜明的对比度及大小合适等特点。 而且为了建立精确的帧间特征符号匹配，通常会定义一个明确的或自适应的约束 条件来减小无用的匹配区域以有效提高匹配效率。 但是基于特征的目标跟踪算法也有诸多缺点；选取的特征符号越简单，特征 提取的过程越容易但越难以跟踪，而高层次的特征符号难以提取却较容易跟踪： 在改变特征参数和三维运动目标运动参数时，有相当多参数是非线性的，所以特 征符号跟踪过程中恢复出来的三维运动参数抗噪声能力很弱；物体的某些特征因 为被遮挡而无法有效识别，此时基于特征的目标跟踪算法必须解决目标跟踪过程 中运动初始化的难题，但相关难题的解决却以极大提高算法复杂性为前提的。基 于上述考虑，在实际的应用开发中需要根据系统的要求在复杂度和效率之间选取 一个折衷方案。 2 2 2 系统介绍 1 ) v s a m 系统 自1 9 9 6 年起，美国国防高级研究计划局( d a r p a ) 资助卡内基梅隆大学、戴 维s a r n o f f 研究中心等几家著名研究机构联合研制视频监视与监控系统 v s a m ( v i d e os u r v e i l l a n c ea n dm o n i t o r i n g ) 。v s a m 的目标是为未来城市和战场 监控应用开发的一种自动视频理解技术，用于实现未来战争中人力监控费用昂 贵、非常危险或者人力无法实现等场合下的监控。该系统目前仍处于试用阶段， 其主要功能有： ( 1 ) 具有先进的视频分析处理器，不但能检测和识别异常对象的类型，还 能分析与预测人的活动，根据运动对象行为的危害性进行自动提示和报警。 1 0 分布式智能监控系统的设计与实现研究背景 ( 2 ) 使用地理信息和三维建模技术提供可视化图形操作界面。当视频分析 处理器报告了运动对象、对象类别及位置之后，操作员不仅可以使用虚拟的对象 ( 人、汽车、坦克等) 在地理信息界面上进行标记，而且还能在辅助窗口观察对象 的真实活动情况。 ( 3 ) 机载航空摄像机不需要经常性的人工操纵就能自动对准地面监视目标， 实现对重要目标的长时间监视；自动协调多个图像传感器无缝接入，实现整个战 场场景的监视。 v s a m 不但能进行一般性的军事安全监控，如军事基地、军械弹药库和边界 线、海防线的监控；还能进行局部战争战场的实时监控，如敌方军力部署及调动 情况等。 2 ) l e e d sp e o p l et r a c k e r ( l p t ) 系统 l p t 系统是由l e e d s 大学的a d a mb a u m b e r g 等人开发的一个行人跟踪系统， 其实现细节和主要成果反映在a d a m 的博士论文中。该系统在检测行人时采用人 体的二维形状模型来进行验证，跟踪算法也是基于行人行走过程中轮廓的活动形 状模型。模型数据是在训练阶段通过学习视频中截取的行人姿态图像而自动得 到，模型的生成过程中使用主部件分析( p r i n c i p a lc o m p o n e n t a n a l y s i