（计算机软件与理论专业论文）基于彩色视频图像的运动人体检测技术研究.pdf

两华大学硕士学位论文 基于彩色视频图像的运动人体检测技术研究 计算机软件与理论 研究生吴天爱指导教师黄襄念 人体运动的视觉分析是计算机视觉研究领域的重要课题之一，也是近年 来备受研究者关注的前沿方向。人体运动视觉分析的主要目的，是从一组包 含人的图像序列中检测、识别、跟踪人体，并对其行为进行理解和描述。其 中，运动检测和运动跟踪等属于底层视觉问题，而行为的理解和描述等属于 高层视觉问题。这些研究成果具有广泛的应用前景，如虚拟现实、智能监控、 人机交互等。本文针对人体运动视觉分析中的人体运动检测问题进行了算法 研究。对静止背景下固定摄像头视频序列中的运动人体进行一系列的研究， 包括运动人体的检测，背景模型获取和更新、阴影的检测和消除。 运动检测是计算机视觉、目标识别与跟踪、安全监控等视频应用的基础。 背景减除方法是运动检测的重要方法，对光照变化和阴影都比较敏感。本论 文设计了一种基于r g b 彩色差值模型，结合背景减除法和对称帧差分法检测 运动人体的算法，实验结果标明该算法能有效地检测运动人体。 在运动检测过程中，随着时间和环境的变化，背景图像也在跟着变化， 背景的变化使得背景部分很可能被误分为前景运动物体。因此，有必要建立 合适的背景模型，来适应外界环境的变化。本论文首先采用单高斯模型建立 初始背景模型，然后提出了一种改进的线性迭代的背景模型更新方法，并给 出了实验结果。 物体运动常伴有阴影，阴影的存在影响运动物体检测的正确性和准确性。 阴影与运动物体有两个相同的重要视觉特征：首先，阴影点与背景明显不同， 很容易被检测为前景：其次，阴影与投下阴影的物体具有相同运动。这两个 两华大学硕士学位论文 特征使阴影的检测和消除具有相当挑战性。本文介绍了在r g b 颜色空间和 h s v 颜色空间中检测阴影的算法。比较两种色彩空间阴影检测算法的基础上， 提出一种改进的阴影检测算法，结合两种色彩空间进行阴影检测，在阴影的 检测精度和实时性方面有所改善。 关键词：运动检测，对称差分，背景模型，背景减除，阴影消除 西华大学硕士学位论文 r e s e a r c ho nm o v i n gh u m a nd e t e c t i o nb a s e d o nc o l o r v i d e oi m a g e c o m p u t e rs o f t w a r ea n dt h e o r y m d c a n d i d a t ew ut i a n a i s u p e r v i s o rh u a n gx i a n g n i a n v i s u a la n a l y s i so fh u m a nm o t i o ni so n eo ft h em o s ti m p o r t a n tr e s e a r c ht o p i c si n t h ed o m a i no fc o m p u t e rv i s i o n i ti sa l s oa na c t i v ef i l e dw h i c hh a si n t e r e s t e dm a n y r e s e a r c h e r si nr e c e n ty e a r s h u m a nm o t i o na n a l y s i sa i m sa ta t t e m p t i n gt od e t e c t ， i d e n t i f ya n dt r a c kh u m a nb o d i e sf r o mi m a g es e q u e n c e s ，a n dm o r eg e n e r a l l y ，t o u n d e r s t a n da n dd e s c r i b et h e i rb e h a v i o r s m o t i o nd e t e c t i o na n dt r a c k i n gb e l o n gt o t h el o w l e v e lv i s i o np r o b l e m s ，a n db e h a v i o ru n d e r s t a n d i n ga n dd e s c r i p t i o nb e l o n g t ot h e h i g h - l e v e l v i s i o n p r o b l e m s r e s e a r c h i n t h i sd o m a i ni n v o l v e sw i d e a p p l i c a t i o n ，i n c l u d i n g v i r t u e r e a l i t y , s e c u r i t ys u r v e i l l a n c e ，h u m a n c o m p u t e r i n t e r f a c e ，e t c i nt h i st h e s i s ，w ef o c u so ns o m ep r o b l e m sa b o u tt h em o t i o nh u m a n i ns t i l lb a c k g r o u n d ，w i t hs t e a dc a m e r a t h er e s e a r c h i n c l u d e sm o v i n gh u m a n d e t e c t i n g ，b a c k g r o u n do b t a i n i n ga n du p d a t i n g ，s h a d o wd e t e c t i o na n dr e m o v i n g f i r s t l y , m o t i o nd e t e c t i o ni st h eb a s i co fv i d e oa p p l i c a t i o n ss u c ha sc o m p u t e r v i s i o n ，o b j e c tr e c o g n i t i o na n dt r a c k i n g ，s u r v e i l l a n c es e c u r i t ye t c b a c k g r o u n d s u b t r a c t i o ni sa ni m p o r t a n ta p p r o a c ho fm o t i o nd e t e c t i o n ，b u ti ti ss e n s i t i v et o i l l u m i n a t i o na n ds h a d o w an o v e lm o t i o nd e t e c t i o na l g o r i t h mw h i c he m p l o y s b a c k g r o u n ds u b t r a c t i o n a n d s y m m e t r i c a ld i f f e r e n c i n gb a s e do nr g bc o l o r d i f f e r e n c em o d e li sp r e s e n t e di nt h i st h e s i s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h e d e t e c t i o na l g o r i t h mc a nd e t e c tm o v i n go b j e c t se f f e c t i v e l ya n dc o r r e c t l y s e c o n d l y , b a c k g r o u n di m a g eu s u a l l yc h a n g e s a st i m e g o e sb y a n dt h e i i i e n v i r o i l m e n tc h a n g e s w h i c hm a k e s s o m ep 硪so ft h eb a c k g r 0 蚰d 做n e d a s m o v i n gf o r e g r o u i l d 。b j e c t t l l e r e f o r e ，i t i sr l e c e s s a r yt om o d e l b k g r o u n d t o a d a ，p t t h ec 孟g e s 。fb a c k g r o u n d i nt h i st h e s i s ，也es i n g l e g a u s s i a j lm 。d e l i n 鼍a st h e i n i t i a l i z a _ ：j 。nb a c k g r o u n d m 。d e lc 。i n b i n e dw i t h a ni m p r 0 v e d l i n e a r 出e m 咖 b a c k 酊o u n du p d a t i n gm e t h o d i sp r o p o s e d t h ee x p e r i m e m 船鲫恼撒掣_ e n t h i r d l y , m o t i o ni su s u a l l ya l o n gw i t h t h eo c c u r r e n c eo fs h a d o w ，w h l c h1 n l p a c t s t h ec o 玎c c t i l e s sa j l da c c u r a c ：y 。f m o t i o nd e t e c t i o n f u 劬e 彻o r e ，也盯e 盯e 一( ：s 锄e i m p 。咖tv i s u a lc h a r a c t e r sb e t 、e e n as h a d 。wa i l d i t sc o m s p m g0 b j e c t s h a d o wi so b v i 。u s l yd i 仃e r e n t 舶mt h eb a c k g r o u n d ，s o 8 5 i l yd 竺咖d 硒 f o r e g r o u n d ；s h a d o wa n d i t sc 。f r e s p 。n d i n go b j e c th a v es 锄em o v e m e 北。i ：h e s ? ! 。 f e a 忑e sm a l 【es h a d 。wd e t e c t i o na n dr e i n 0 v a lv e d r c h a l l e n g e a b l e t h ea l g o n t 。1 1 s i 1 1r g ba 1 1 dh s vc 。1 0 rs p a c e a r ei n l l r o d u c e d i i lt h i sp a p e r b y c o m p a r i n g ，t h e a l g 。r i t h m si nt h e 似。c 。l o rs p a c e s ，。n ei m p r o v e da l g o r i t h m t 0d e t e c tm ? ? h a d 三w i ：b 。t h 似oc 。l o rs p a c e si sp r o p o s e di nt h i st h e s i s b yu s i n g t h i s 以g o m h 皿m e a c c u r a c ya n dt h et i m ep e r f o r m a n c e a r eg r e a t l yi m p r 。v e d k e yw o r d s ：m 。t i o nd e t e c t i 。n ，s y m m e t r i c a l d i 行e 佗n c e b a c k 伊o u n ds u b t r a c t i o n ，s h a d o wr e m o v a l i v b a c k g r o u n dm o d e l ， 西华大学硕士学位论文 8 声明 本人声明所呈交的学位论文是本人在导师的指导下进行的研究工作及取 得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得西华大学或其他教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确地说明并表示谢意。 本学位论文成果是本人在西华大学读书期间在导师指导下取得的，论文成 果归西华大学所有，特此声明。 作者签名善磲年s 月日 6 3 厂月j ，日 西华大学硕士学位论文 1 概述 1 1 课题研究背景和意义 视频图像是对客观事物形象、生动的描述，是直观而具体的信息表达形式， 是人类最重要的信息载体。特别是在今天的信息社会，随着网络、通信和微电 子技术的快速发展和人民物质生活水平的提高，以图像为基础的视频以其直 观、方便和内容丰富等特点，日益受到人们的青睐。然而在很多应用领域，人 们通过视觉获得信息的同时，也要付出艰辛的劳动，我们需要有一种科学技术， 可以代替人的这种劳动，把人从繁重的视觉劳动中解放出来。因此用计算机模 拟人眼进行各种繁累的视觉活动就成为一种迫切的需要。计算机视觉是研究利 用计算机实现类似人类视觉系统理解客观世界的新兴学科n 1 。它研究的主要内 容是，怎样利用各种成像系统代替视觉器官作为信号输入手段，由计算机来代 替大脑完成对信息的处理和解释。计算机视觉的最终研究目标，就是使计算机 能像人那样通过视觉观察和理解世界。计算机视觉研究的挑战是要为计算机和 机器人开发具有与人类水平相当的视觉能力。计算机视觉和专家系统、自然语 言理解一起，已成为人工智能领域最活跃的三大领域，同时，计算机视觉把图 像处理、模式识别、人工智能、数学、认知科学、机器学习、计算机图形学等 各方面的研究成果融会进来。在这种环境下，有关计算机视觉的各种研究和应 用如雨后春笋般发展起来。其中对视频序列图像中的运动目标进行分析，近年 来一直是研究的热点。 视频图像指动态图像( m o v i n gi m a g e ) ，可以认为是随时间变化的静态图 像序列( s t i l l f r a m ei m a g e p i c t u r es e q u e n c e ) 。在静态图像中，信息密度随空间 分布，且相对于时间为常量；而动态图像的空间信息密度特征随时间分布。基 于视频图像的人体运动分析，是一个跨学科的具有挑战性的研究课题，其研究 核心是从单个或多个视频序列中检测、跟踪人体，获取人体运动数据，并在此 基础上描述和理解人体运动或重建人体的三维运动，进而实现计算机的智能监 控、人体运动的细节分析、虚拟现实、视频检索等应用。而在整个应用系统中， 对视频序列中的运动人体检测是人体运动分析的重要组成部分，其目的是从视 频图像中将运动人体从背景图像中检测出来。运动人体的有效检测对于目标分 两华大学硕士学位论文 类、人体跟踪和行为理解等后处理非常重要，因为后处理过程往往仅考虑运动 区域。它广泛应用于智能视觉监控、智能人机接口、人体运动细节分析和虚拟 现实等领域心3 4 “1 。 ( 1 ) 智能视觉监控 传统的视觉监控系统是由一个或多个摄像机及与之相连的一套电视监视 器组成的，它主要用于对安全敏感地点的监控( 例如停车场、车站、银行、海 关、超市、码头、军事禁区等) 。需要人员连续监视屏幕，这种工作不但非常 枯燥，而且随着监控区域的日渐广阔，要想对这些场景进行2 4 小时监控就需 要增多人手，并且人长期监视屏幕很容易疲劳，因而可能造成漏警。所以传统 的视觉监控系统不但浪费大量的人力而且有时监控效果并不好，而智能视觉监 控系统能够2 4 小时实时监控，并能自动分析摄像头捕捉的视频信息，可以自 动地滤除大量多余信息只对与安全相关的信息进行处理，一旦发现异常现象立 即报警，这样监视人员就可以对突发事件及时进行处理，同时也减少了雇佣大 量监视人员所需要的物力和财力。 ( 2 ) 智能人机接口 智能人机接口，可自动地对人的动作进行捕获和识别( 比如对人的手语进 行翻译并调用相应的功能) ，响应人的指令。可以代替传统的输入和控制设备 完成人机交互。由于它是非接触性视觉控制接口，所以它的应用领域极其广泛， 可用于残疾人使用的某些设备为残疾人带来方便、游戏控制或用于高噪音环境 等情况。 ( 3 ) 人体运动的细节分析 分割图像中的人体部分，在图像序列中跟踪并分析感兴趣的运动细节，比 如分析人体的运动机制用以辅助运动员的训练或舞蹈训练，或对人的步态进行 分析用以辅助进行人的身份识别哺1 。也可以用于体育舞蹈动作的分析，体育比 赛的自动裁判，以及临床矫形术的研究等。 ( 4 ) 虚拟现实 当前由于带宽限制，视频信号由于数据量很大，很难在i n t e m e t 上进行实 时的播放。人体的运动分析可以把一个场景的前景区域从背景区域中分割出 来，如果用于视频会议，可以首先把背景区域传到接收点，以后只传输前景区 2 西华大学硕士学位论文 域及状态信息，这样可以大大减少数据的传输量，使实时的视频会议更加顺畅 可靠，类似的应用可用于基于物体的视频压缩。虚拟现实的意义就是跟踪现实 世界人的姿态，从而创建一个虚拟的场景，实现人与这个虚拟世界的交互，该 领域方面的应用涉及视频游戏、虚拟摄影棚、角色动画、远程会议等等。 近几年来，随着运动分析的硬件的发展( 包括视频获取设备如摄像头、图 像采集卡、处理器和计算机等) ，基于视频信息的分析迅速渗透到人民生活的 各个方面。巨大的商业价值和应用价值使越来越多的公司和学术机构致力于这 种技术的研究。 1 9 9 7 年美国国防高级研究项目署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t s a g e n c y ) 设立了以卡内基梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首、麻省 理工学院( m a s s a c h u s e t t si n s t i t u t eo f t e c h n o l o g y ) 等高校参与的视觉监控重大 项目v s a m n 3 ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要研究用于战场及普通 民用场景进行监控的自动视频理解技术。从2 0 0 0 年开始，美国国防下属的国 防高级研究项目局资助h i d ( h u m a ni d e n t i f i c a t i o na tad i s t a n c e ) 计划，其任务 是开发多模式的、大范围的视觉检测技术，以实现远距离情况下人的检测、分 类和识别，增强国防、民用等场合免受恐怖袭击的自动保护能力。美国还有多 所大学也参与了这个项目的研究，包括卡耐基梅隆大学、马里兰大学、麻省理 工大学等。m a r t l a n d 大学的实时视觉监控系统。能够定位人和分割出人的 身体部分，还可以实现人的跟踪，并可以判断人是否携带物体等简单行为。英 国的雷丁大学( u n i v e r s i t yo f r e a d i n g ) 已开展了对车辆和行人的跟踪及其交互 作用识别的相关研究阳1 ；i b m 与m i c r o s o f t 等公司也正逐步将基于视觉的手势 识别接口应用于商业领域中。当前，国际上一些权威期刊如i j c v ( i n t e m a t i o n a l j o u m a lo fc o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、 p a m i ( i e e et r a n s o np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i v c ( i m a g e a n dv i s i o nc o m p u t i n g ) 和重要的学术会议如i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo n c o m p u t e rv i s i o n ) 、c v p r ( i e e ec o m p u t e rs o c i e t yc o n f e r e n c eo nc o m p u t e r v i s i o na n dp a a e r nr e c o g n i t i o n ) 、e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e r v i s i o n ) 、i w v s ( i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a ls u r v e i l l a n c e ) 等已将人 体的运动分析研究作为主要研究领域之一。 西华大学硕士学位论文 在国内，中国科学院、浙江大学人工智能研究所在目标跟踪，人的手势识 别，步态识别等方面有一定的成就n 仉1 1 1 2 l 。 在各种基于视频信息分析的系统中，用计算机实现人体运动的视觉分析， 来提高整个系统的智能化，其中运动人体的检测是最基础的核心技术之一，它 是后续的人体跟踪以及各种高级处理，如目标分类、事件检测、行为识别、视 频图像的压缩编码和语义索引等高层次的视频处理和应用理解的基础，也是视 觉监控技术自动化和实时应用的关键。由于其广泛的应用前景和潜在的经济价 值，因而开展本课题的研究有着重要的理论和应用意义。 1 2 国内外研究现状 世界是变化的，运动图像为我们提供了比单一图像更丰富的信息。图像处 理从静止图像转移到图像序列上，通过对多帧图像分析，可获得从单一图像中 不可能得到的信息。只有在图像序列上我们才有可能认识和分析动态过程。运 动图像分析的基本任务是从图像序列中检测出运动信息，识别与跟踪运动目 标。因此，视频图像中的运动目标分析是视频研究的一个重点，其中，视频图 像中的运动目标检测是视频研究的一个重要方面。以下是从视频序列中检测出 运动目标的国内外研究现状。 1 2 1 运动目标检测 运动目标检测的目的是从序列图像中将运动区域从背景图像中检测提取 出来。运动区域的有效检测对于目标分类、跟踪和行为理解等后期处理非常重 要，因为后期处理过程仅仅考虑图像中对应于运动区域的像素。运动目标检测 是运动目标的分类与跟踪的基础，该阶段处理结果的质量直接影响到以后处理 的效果，所以运动人体的检测在人体运动分析中的作用非常重要，同时运动跟 踪的结果也可以为运动目标检测和分类提供信息，因此三者之间具有非常紧密 的关系。然而，由于背景图像的动态变化，如天气、光照、运动物体的影子及 混乱干扰等的影响，使得运动目标检测成为一项相当困难的问题。在进行运动 目标检测时，通常有以下三种方法：帧间差分法、背景减除法和光流计算法。 ( 1 ) 帧间差分法 4 西华大学硕士学位论文 帧间差分法n 3 1 引，也称为时域差分法，是运动目标检测方法中最为简单快 速的方法。帧间差分法是在视频图像中用连续的两个视频帧图像采用基于像素 的时间差分，然后通过闽值化来提取出视频图像中的运动目标。例如，l i p t o n 等【1 3 】利用两帧差分方法从视频序列中检测出运动目标，来进一步的对目标进 行分类和跟踪。帧间差分法的一个改进方法是利用三帧差分代替两帧差分，如 v s a m 7 】开发了一种采用三帧差分的算法，它能够快速有效地从背景中检测出 运动目标。帧间差分法对于动态环境具有较强的自适应性，但该方法一般不能 完全提取出所有相关的特征像素点，而且在运动实体内部容易产生空洞，不能 完整地检测出运动目标。 ( 2 ) 背景减除法( 背景模型法) 背景减除法( 模型法) 口乳1 6 1 7 3 是运动目标检测方法中目前最常用的一种方 法，它是利用当前图像与背景图像相差分并阈值化来检测出运动目标的一种技 术。背景减除方法是一种特殊的帧差分法。使用背景减除方法以固定摄像机为 前提条件，对于背景图像序列，一般假设背景服从高斯分布，背景噪声为白噪 声，利用初始不含前景的连续n 帧图像构造初始的背景模型，然后根据一定 的刷新速度更新背景模型，使它能够适应缓慢的光照变化，这种背景模型比较 符合自然的情况，可以适应缓慢的背景变化，有着很强的适用性。但它不能处 理突然的光照变化( 如闪电) 和背景扰动，对于物体带有影子的图像不能精确 的分割出前景物体，为以后的处理带来不便。并且对于运动目标和背景灰度接 近时( 对比度低) ，难以选择合适域值来有效提取轮廓。由于现今大部分的视 觉监控系统是利用背景模型进行前景检测的，所以目前许多研究人员部致力于 研究各种背景模型的性能，来尽量减少场景动态变化对准确分割的影响。例如 h a r i t a o g l u 等【1 7 】利用最小、最大强度值和最大时间差值为场景中的每个像素进 行统计建模，并且进行周期性的背景更新；m c k e n n a 等【l6 】利用像素色彩和梯 度信息相结合方法建立自适应背景模型，以此来解决影子对真实运动目标检测 的影响；k a r m a n n 与b r a n d t 1 8 】、k i l g e r 1 9 】采用基于卡尔曼滤波( k a l m a 刀f i l t e r i n g ) 的方法建立自适应背景模型，以此适应场景中天气和光照的时间变化；s t a u f f e r 与g r i m s o n 1 5 】采取对视频图像中的每个像素进行混合高斯分类建模，来构建自 适应的混合高斯背景模型，并且利用在线估计来更新模型，从而有效地解决了 两华大学硕士学位论文 因光照变化、背景混乱运动的干扰等所产生的影响。 3 ) 光流计算法 基于光流计算方法乜玑2 的运动目标检测，是利用运动目标随时间变化在图 像中表现为速度场的特性，根据一定的约束条件估算出运动所对应的光流，它 的优点是在摄像机与背景间存在着运动的前提下也能检测出运动目标。然而， 光流计算法需要多次的迭代运算，所以时间消耗比较大，而且抗干扰能力比较 差，难以满足实时性的要求等原因，一般只在有特殊硬件支持的情况下才使用。 所以很少采用光流法进行运动目标检测。 1 3 本论文的主要工作和内容安排 运动目标检测与跟踪技术是基于视频序列的计算机视觉技术的基础和关 键。运动目标检测结果的完整性和准确性直接关系到很多后续处理( 如目标跟 踪、目标分类识别、行为分析等) 的效果，尤其是复杂背景下的运动目标检测， 更是具有相当的难度和实用性。在不同的环境下，场景有不同的特点，事实上 并不存在完全适用于任何场景下的运动目标检测方法。对于不同的应用，根据 该应用的特点可以找出相对适合的运动目标检测方法。本论文在总结和分析国 内外相关研究工作的基础上，针对背景相对简单、固定单摄像头的情况，主要 研究了如何从视频序列图像中检测出运动目标，并对其进行了相应的分析和处 理，具体包括运动目标的检测、背景模型的获取和更新以及阴影的检测消除。 所有处理过程流程图见图1 1 所示。本论文处理的运动目标为行人。 论文共分五章，内容上安排如下： 第一章概述，阐述课题的研究背景、意义以及该领域的发展现状。 第二章运动目标检测，分析介绍运动目标检测的方法。 第三章背景模型获取和更新，分析介绍背景模型获取和更新方法。 第四章阴影检测与消除，分析介绍关于阴影检测消除方面的知识。 第五章总结和展望，全面总结本文研究成果以及存在的不足，指出后续 研究工作的方向以及该领域研究的发展趋势。 6 两华大学硕士学位论文 1 4 本论文的系统流程图 f i g1 1f l o wc h a r to f s y s t e m 图1 1 系统流程图 7 西华大学硕士学位论文 2 运动目标检测 2 1 引言 视频图像中的运动目标检测就是当场景中有新目标进入或者场景中有目 标移动时，通过运动检测算法把运动目标从背景图像中分离出来。运动目标检 测是计算机视觉信息提取中的一个重要问题，也是更高层次视频分析如基于对 象的视频编码、目标跟踪、运动分析的基础。快速、完整、准确地分割出运动 目标图像可以大大提高后续跟踪、识别和行为理解的准确性。因此检测结果的 准确度就成了决定性因素，与此同时，由于运动目标检测处于视频运动分析的 最底层，广泛的应用场合使运动目标检测算法需要应付各种复杂的情况，很难 有一种算法能够适合所有的应用场合，所以对运动目标检测方法的研究一直是 国内外研究的重点。 一个理想的运动目标检测算法，应该能适用于各种环境。通常一个好的运 动目标检测算法应具有以下的特征： ( 1 ) 不依赖于摄像头的安装位置； ( 2 ) 在各种天气条件下是鲁棒的； ( 3 ) 对环境光线的变化是鲁棒的； ( 4 ) 能适应场景中个别物体运动的干扰，如树叶的摇晃、水面的波动等； ( 5 ) 算法的鲁棒性、准确性、速度是运动目标检测的基本要求。算法的鲁 棒性对于自动控制系统如监控应用很重要；算法的准确性对于控制应用很重 要；算法的处理速度对于实时高速的控制系统而言非常重要。 ( 6 ) 能满足硬件实现的要求。 同时，一个理想的运动目标检测算法与背景的维持有着密切的关系，一个 好的背景维持算法应该能够避免以下几个问题n 5 2 刭： ( 1 ) 时间性问题：系统对亮度随时间缓慢的变化应该是鲁棒的； ( 2 ) “影子”的问题：在一个背景中从静止开始移动的目标，当其移动后， 移开的地方不应该作为前景目标的一部分，即不应该在前景中留下目标初始位 置的“影子”； ( 3 ) 初始化问题：在一些监视场景中，没有运动目标的“纯背景图像是 西华大学硕士学位论文 不可得到的； ( 4 ) 部分背景扰动的问题：出现如树枝晃动、水纹波动、显示屏闪烁等问 题时，系统对背景的扰动应该是鲁棒的； ( 5 ) 遮掩问题：一个前景的像素不应被背景模型所替代； ( 6 ) 前景孔洞问题：当一个色彩均匀的目标运动时，其内部的像素不被检 测到： ( 7 ) 目标丢失问题：一个运动目标长期停止在场景中，而成为背景图像的 一部分： ( 8 ) 阴影问题：目标的阴影也会成为前景目标的一部分。 当然人们总是希望得到一个完美的运动目标检测算法，使算法能适用于各 种环境，但在实际应用中要解决这些问题是十分困难的，因为在实际应用中要 考虑到算法要能尽量适应于多种环境。除非有专门的硬件支持，否则研究者不 得不在算法的复杂度、可靠性，以及实时性等方面做折衷考虑。目前大多数运 动目标检测算法或多或少是针对解决某一具体问题而提出的，这样也就带来了 对视频序列中运动目标检测算法的分类。 一般而言，视频目标检测算法可以按照视频所处场景是室内还是室外进行 分类，可分为室内检测算法与室外检测算法。对于一个室内检测环境而言，环 境条件变化较小，其检测内容主要是人以及场景中的物品，如被遗留在场景中 的物品或者是从场景中移动走的物品等等。 根据视频图像中摄像头和场景之间是否存在运动将目标的运动划分为四 种模式3 ： ( 1 ) 摄影头静止一目标静止，这实际上就是静态场景，对其处理方法就 是静态图像中的处理方法，在访问控制( a c c e s sc o n t r 0 1 ) 场合如人脸识别、 虹膜识别中有广泛应用。 ( 2 ) 摄影头静止一目标运动，这是一类非常重要的动态场景，对其处理 一般包括运动目标检测、分类、跟踪与行为理解，主要用于预警、监视、目标 跟踪等场合。 ( 3 ) 摄影头运动一目标静止，这主要用于机器人视觉导航、电子地图的 自动生成以及三维场景理解等。 9 西华大学硕士学位论文 ( 4 ) 摄影头运动一目标运动，这是运动目标检测时遇到的最复杂的一种 情况，但也是最普通的情况，如装在卫星或飞机上的监控系统。目前关于这方 面的研究还比较少，理论还没有成熟。 综合上述分类方法，视频目标检测算法可分为在室内静止背景、室外静止 背景、室内运动背景、室外运运背景下检测四种。 有的还根据摄像头数量分为单个摄像头和多个摄像头下的运动目标检测。 本论文主要针对在单个摄像头下并且摄像头静止一目标运动的室内环境 条件下，如何将运动人体检测出来进行了系列算法研究。 目前，对于静态背景下运动目标检测，存在问题如下： ( 1 ) 背景随时间变化，同一物体受光照的影响，静止物体的像素值也会发 生变化。如室外的太阳光，室内的灯光以及天气阴晴等都会影响到检测的精度。 ( 2 ) 在室外场景中，背景中包含动态目标干扰，如晃动的树枝，飞虫等。 这会导致场景中像素值不断变化，造成运动目标误检测。 ( 3 ) 当视场中有多个运动目标运动时，目标之间会发生相互遮挡，无法检 测到独立的运动目标。如道路上行人之间的遮挡，行人与车辆之间相互遮挡等。 ( 4 ) 摄像头的即使是轻微的晃动也会使得静态场景变化影响到检测结果。 2 2 运动目标检测基本算法 目前检测运动目标的算法究其原理主要可以分为三类：光流计算法、帧间 差分法、背景减除法：但是每个算法多是针对某一特定的场合提出的，各有特 点，并且各种算法仍有许多值得改进的地方，如有的算法在精确地检测方面， 有的算法在计算复杂量等方面仍需要改进。 2 2 1 光流计算法 光流计算法最初是由h o m 和s c h u n c k 2 4 于1 9 8 1 年提出的，它是一种以灰 度梯度基本不变或亮度恒定的约束假设为基础的目标检测的有效方法。 所谓光流是指图像中灰度模式运动的速度，它是景物中可见点的三维速度 矢量在成像平面上的投影，它表示了景物表面点在图像中位置的瞬时变化。一 般情况下，可以认为光流与运动场没有太大n 另t j t l l ，因此可以根据图像运动来 1 0 西华大学硕士学位论文 估计相对运动。基于光流计算方法的运动检测采用了运动目标随时问变化的光 流特性，把光流计算得到的运动量作为一个重要的识别特征来判断运动目标。 光流计算的优点在于光流不仅携带了运动目标的运动信息，而且还携带了 有关景物三维结构的丰富信息，它能够检测独立运动的对象，不需要预先知道 场景的任何信息，并且能够适用于静止背景和运动背景两种环境，可用于摄像 机运动的情况，有较好的适应性。 但是当目标与背景图像的对比度太小，或图像存在噪音时，单纯的从图像 灰度强度出发来探测目标的光流方法将会导致很高的虚警率。另外，这种方法 的计算复杂耗时，除非有特殊的硬件支持，很难实现实时运动目标的检测，因 而导致光流计算法的实用性比较差。 2 2 2 帧间差分法 帧间差分法是最为常用的运动目标检测方法之一，在背景静止的情况下尤 为如此。由于差分往往是在相邻两帧或三帧间进行的，因此称为帧间差分法。 其基本思想是通过两帧或三帧之间的差分，利用视频图像相邻帧的强相关性进 行变化检测，进而确定运动目标。此方法的最大特点是速度快，适用于实时性 要求较高的应用环境，且对环境整体光照变化不敏感。 2 2 2 1 基本原理 帧间差分法主要是利用视频图像中连续的两帧或更多帧图像的差异来进 行目标检测。一个最基本的帧间差分法的基本过程如图2 1 所示： 图2 1 帧问差分法流程图 ( 1 ) 计算差分图像q ，利用式2 1 或式2 2 的任一种方法，在第k 帧图像以 与第k - 1 帧图像以一。之间计算，得到差分图像q 。 正差分： 西华大学硕士学位论文 驰川= p _ o 负差分： 驰川= p 川w ) i 全差分： d k ( x ，y ) = i l ( x ，y ) 一疋一，( 石，y ) i 要譬舅二怂拦0 亿，五( z ，y ) 一厂。一。( x ，y ) 、 w h e n 五( 工，y ) 一“j c ，y ) 刘 ) w h e n 五( x ，y ) - f t 一1 ( x ，y ) 0 、7 ( 2 3 ) ( 2 ) 帧差分后图像取使用式2 4 二值化得到瓦。色中包含了连续两帧图像 之间场景的变化，这种变化由很多种因素构成( 目标的移动、光照、阴影、噪 音等) ，可以认为移动目标的变化是明显的，给定一个阈值，当差分图像中某 一像素的差值大于给定的阈值时，则认为该像素为前景像素，反之认为是背景 像素： 聊：1 f o r e g r o 绷d 砌册d k ( x , 咖乃船h o l d i n g ( 2 4 ) 瓦q 户如b a c k g r o “咒dw h 绷d k ( x , y ) 砌t h r e s h o 腩l d i 馏n g 汜6 ， 2 2 3 2 优缺点 本节将结合实验介绍利用以上背景减除法的理论进行运动目标检测的优 缺点。 利用背景减除法进行运动目标检测的主要优点是： ( 1 ) 原理和算法设计简单； ( 2 ) 根据实际情况确定阈值进行处理后，所得的结果直接反映了运动目标 的位置、大小、形状等信息，能够得到比较精确的运动目标信息； ( 3 ) 需要得到当前环境的背景估计图像； ( 4 ) 与帧间差分法比较，由于背景相对固定，减少了对运动目标的影响， 可以检测出比较完整的目标图像，如图2 5 所示，将2 5 a ) 背景图像与2 5 图b ) 当前帧图像利用背景减除法得到图2 5 c ) 背景减除结果图像。 其主要缺点是： ( 1 ) 容易受光线、天气等外界条件变化的影响； ( 2 ) 由于背景减除法需要得到当前环境的背景估计图像，那么在一些复杂 场景下可能难以获得背景图像，比如在运动频繁( 如大型商场) 的场合。 f i g2 5a ) b a c k g r o u n di m a g e 图2 5a ) 背景图像 f i g2 5b ) c u r r e n ti m a g e 图2 5b ) 当前帧图像 西华大学硕士学位论文 扩 r ? ：一一c 一、n 1 一rd 一 l ，| c k + + ： n 一一o 。，_ _ 1一。 一 图2 5c ) 背景减除结果 2 3 数学形态学及应用 经过以上处理过程后，由于背景图像细微变化、噪声影响无法完全避免， 或者运动目标区域中有与背景图像像素值接近的点，因此得到的二值图像中的 前景区域不一定都是完整的真正的运动对象，需要对得到的结果进行处理，要 能得到较为完整的运动目标区域，就要进一步去除噪声点。本文采用数学形态 学的方法对二值图像去噪并填补运动目标内部空洞。 形态学一般是指生物学中研究动物和植物结构的一个分支。人们后来用数 学形态学( 也称图像代数) 表示以形态为基础对图像进行分析的数学工具。数 学形态学是一种应用于图像处理和模式识别领域的新方法，数学形态学的语言 是集合论。数学形态学中的集合表示图像中的不同对象。例如，在二值图像中， 所有黑色像素的集合是图像完整的形态学描述。数学形态学的基本思想是用具 有一定形态的结构元素去度量和提取图像中的对应形状，分析、识别图像，它 的应用可以简化图像数据，保持图像基本形状特性，并除去不相干的结构，即 输入是图像，而输出是从这些图像中提取出来的属性。以下介绍数学形态学的 基本方法【26 | 。 数学形态学的基本运算有四个：腐蚀、膨胀、开操作和闭操作。它们可应 用于二值图像和灰度图像中。基于这些基本运算还可推导和组合成各种数学形 态学实用算法。 基本集合名词定义： ( 1 ) 补集：a 的补集，记为a 。，定义为： a 。= & lx 仨么) ( 2 7 ) 1 6 丙华大学硕士学位论文 ( 2 ) 位移：么用石= ( x 1 工：) 位移，记为( 彳) ，定义为： ( 彳) ，= i vy = a + x ，口萑彳) ( 2 8 ) ( 3 ) 映像：a 的映像( 也叫映射) ，记为彳，定义为： a = 石i j x = 一口，a a ( 2 9 ) 由于本论文中是针对二值图像采用数学形态学方法，下面介绍二值图像形 态学基本运算。 二值形态学中的运算对象是集合，一般设彳表示图像集合，b 表示结构元 素。数学形态学运算是用b 对彳进行操作。结构元素本身实际上也是一个图像 集合。对于每个结构元素，指定一个原点，表示结构元素参与形态学运算的参 考点。 1 、膨胀 膨胀的运算符是o ，输入图像彳被结构元素b 膨胀，标记为a0b ，0 为 膨胀算子，f 2 j 为空集，定义为： a b = ! ：x ，y i ( ( 1 3 ) ( 。，y ) oa ) o j ( 2 1 0 ) 该式表明，膨胀的过程是b 首先作关于原点的映射，然后平移( x ，y ) 。a 被 b 的膨胀是b 被所有( 工，y ) 平衡后与彳至少有一个非零公共元素。根据这个解 释，上式也可以重写如下： a b = ! ：x ，y ) | ( 饵) ( x ，”na ) ea j ( 2 11 ) 膨胀运算在数学形态学中的作用是把图像周围的背景点合并到物体中。如 果两个物体之间距离比较近，那么膨胀运算可能会使这两个物体连通在一起。 膨胀对填补图像分割后物体中的空洞很有用。 2 、腐蚀 腐蚀运算符为0 ，输入图像彳被结构元素艿腐蚀，标记为a o b ，定义为： a o b = x ，y ) i ( b ) ( ，a j ( 2 1 2 ) 也就是说，彳被结构元素b 腐蚀的结果为所有使b 被( x ，y ) 平移后包含于 彳的点的集合。 腐蚀在形态学运算中的作用是消除物体边界点。腐蚀可以把小于结构元素 的物体去除，选取不同大小的结构元素，就可以去掉不同大小的物体。如果两 个物体之间有细小的连通，那么当结构元素足够大时，通过腐蚀运算可以将两 西华大学硕士学位论文 个物体分开。 膨胀和腐蚀运算的一些性质对设计形态学算法进行图像处理和分析是非 常有用的，如：交换性、结合性、递增性