（信号与信息处理专业论文）复杂环境下运动人体分割算法的研究.pdf

中文摘要 摘要 运动目标分割在图像处理，计算机视觉等领域有广泛的应用，其中运动人体目 标分割是各种利用计算机对人的行为识别与理解等处理的基础。人体目标分割的 准确性直接影响到后续任务的完成，具有十分重要的意义。其应用已经渗透到社 会的各个方面，如视频监控、虚拟现实、视频会议等方面。尽管目前很多学者对 运动人体图像序列的分割做了大量的研究工作，但到目前为止，还没有一种通用 的方法对复杂环境下的人体目标进行有效的分割，大部分算法都是针对具体的情 况完成的。 本文选用了两种方法进行运动目标提取工作，当存在背景作为先验知识时选用 背景消减法。当不存在先验背景时采用改进的帧差法，提出基于局部色度空间一 致性的运动目标提取；之后本文利用改进的帧差法生成背景图像：在差帧图像二 值化时引用自动阈值选取的方法，并提出区域外接多边形方法确定运动目标的区 域，提高了生成背景的准确性；本文还结合空间位置信息对基于亮度和色度的阴 影检测进行改进，实现运动人体图像中的阴影去除；最后提出一种自适应的方法 对相互遮挡的人体进行分割：在此过程中本文采用k a l m a n 滤波，基于色度的人脸 肤色提取和利用最小均方误差函数来进行块匹配等方法，完成了自适应的遮挡运 动人体的分割。 本文的算法基本上完成了复杂背景下运动人体目标的分割工作，主要解决了运 动目标提取，光线等变化引起背景突变下的背景重构，实时背景更新，阴影去除， 遮挡运动人体的分割等方面的问题。 关键词：背景更新；阴影去除；遮挡人体分割 英文摘要 r e s e a r c ho nm o v i n gp e o p l es e g m e n t a t i o ni nt h ec o m p l e xs i t u a t i o n a b s t r a c t s e g m e n t a t i o no fm o v i n gt a r g e t si sa p p l i e dw i d e l yi ni m a g ep r o c e s s i n g , c o m p u t e r v i s i o na n ds oo n a n dt h es e g m e n t a t i o no fm o v i n gp e o p l ei st h em a i nb a s eo f r e c o g n i z i n ga n du n d e r s t a n d i n gp e o p l e sb e h a v i o r sb ym a k i n gu s eo fc o m p u t e r s t h e a c c u r a c yo fs e g m e n t a t i o nw h i c hw o u l dd i r e c t l yi n f l u e n c eo nt h ef o l l o w i n gp r o c e s si s v e r ym e a n i n g f u l s e g m e n t a t i o no fm o v i n gp e o p l eh a sb e e na p p l i e di n t om a n yf i e l d s ， s u c ha sv i d e os u r v e i l l a n c e ，v i r t u a lr e a l i t y , v i d e oc o n f e r e n c e , e t c r e s e a r c h e r sd i dm u c h r e s e a r c ho ns e g m e n t a t i o no fm o v i n gp e o p l e b u tm o s to ft h ea l g o r i t h m sa r el i m i t e di n p a r t i c u l a rs i t u a t i o n s ，t h e r ei sn o tau n i v e r s a lm e t h o dt h a tc o u l db eu s e dt os e g m e n tt h e m o v i n gp e o p l ef r o mt h ec o m p l e xs u r r o u n d i n g se f f i c i e n t l y i nt h i sp a p e r , t w om e t h o d sa r eu s e dt oe x t r a c tt h em o v i n gt a r g e t f i r s t ，w h e nt h e b a c k g r o u n di sa l r e a d yk n o w n ，t h em e t h o do fb a c k g r o u n ds u b t r a c t i o nw i l lb eu s e d ， o t h e r w i s e , t h ef r a m ed i f f e r e n c em e t h o dw i l lb eu s e d a ni m p r o v e df r a m ed i f f e r e n c e m e t h o di sp r o p o s e d b a s e do nl o c a lc h r o m ac o h e r e n c y ，an e w e x t r a c t i n gm e t h o do f m o v i n gt a r g e t si sp r e s e n t e d o t h e r w i s e ，t h eb a c k g r o u n di se s t a b l i s h e db ya ni m p r o v e d f r a m ed i f f e r e n c em e t h o d ：c o m p a r e dt ot r a d i t i o n a lf r a m ed i f f e r e n c em e t h o d , t h ec h a n g e d e t e c t i o nm a s k ( c d m ) i so b t a i n e db ya d o p t i n ga u t ot h r e s h o l d , a n dt h em o v i n gt a r g e t r e g i o ni sc o n f i r m e db ym a k i n gu s eo ft h ee x t e r n a lp o l y g o no fc d m t h ep r o p o s e d m e t h o di nt h i sp a p e ri m p r o v e st h ea c c u r a c yo ft h ee s t a b l i s h e db a c k g r o u n d i no r d e rt o r e m o v et h es h a d o wo ft h em o v i n g t a r g e t ，t h ep a p e rc o m b i n e st h ei n f o r m a t i o no fs p a c e p o s i t i o nt oi m p r o v et h es h a d o wd e t e c t i o nb a s e do ni n t e n s i t ya n dc h r o m a i nt h ee n d ，a n a d a p t i v em e t h o di sp r e s e n t e dt os e g m e n tt h eo c c l u d e dp e o p l e ：b ym a k i n gu s eo f f o r e c a s t i n gb a s e do nt h ek a l m a nf i l t e r ，t h ee x t r a c t i o no ff a c es k i nc o l o rb a s e do n c h r o m aa n dh e a dr e g i o nm a t c h i n gb a s e do nt h el e a s tm e a n s q u a r ee r r o r ( m s e ) f u n c t i o n ， t h eo c c l u d e dp e o p l ec a nb es e g m e n t e d a d a p t i v e l y t h ea l g o r i t h m sp r o p o s e di nt h i sp a p e rc a j ，s e g m e n tt h em o v i n gp e o p l ef r o mt h e c o m p l e xs i t u a t i o n si np r i n c i p l e ，i tm a i n l yr e s o l v et h es e g m e n t a t i o no ft h em o v i n gt a r g e t ， b a c k g r o u n dr e g e n e r a t i o ni nt h ec o n d i t i o no fa b r u p t l yc h a n g ei ni l l u m i n a t i o na n ds oo n ， 英文摘要 r e a l t i m eb a c k g r o u n du p d a t i n g , s h a d o wr e m o v a l ，a n ds e g m e n t a t i o no ft h eo c c l u d e d m o v i n gp e o p l e k e yw o r d s ：b a c k g r o u n du p d a t i n g ；s h a d o wr e m o v a l ；o c c l u d e dp e o p l es e g m e n t a t i o n 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成硕士学位论文：复盘萱显工运麴厶链筮割篡鎏曲婴塞：。除论文中已 经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均己在文中以 明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经公开发 表或未公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名：年 月日 学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连海事大学研究生学位论文提交、 版权使用管理办法”，同意大连海事大学保留并向国家有关部门或机构送交学位 论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将 本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或 扫描等复制手段保存和汇编学位论文。 论文作者签名： 导师签名：一，娶g a 歹 日期：年月 、 复杂环境下运动人体分割算法的研究 第1 章绪论 1 。1 运动人体分割的意义 遮动人体分割楚从序列圈像中将运动入体区域分割滋来。运动区域的有效分裁 是人体运动序列图像研究的基础，对于人体跟踪和行为瑕解等后期处理起到至关 重要豹终矮。嚣翦，运动人体篷标分割已缀广泛痤用予襁频鼗控、虚拟瑷实、视 频会议，入体行为识剐与理解等方面中。 在视频监控中利用运动人体目标的分割技术将运动人体目标自动分割出来，从 嚣大犬提舞了监控系统的性戆。势且在实现了运动人体瓣掾分囊| 兹基皴上热入对 运动人体目标的识菇和跟踪算法，解决了运渤人体目标的自动识男g 和服踪的问题。 进步增强了监撩系统的智能化，实现了在滗人看守的情况下对重要场景的监控。 谗多电魅游戏巾，采矮运动入髂銎标分割技术对现实逡麓入体避毒亍分割，剥用 分割豳的图像分析入的形体、运动和行为等特性，从而设计出逼真动灏效果。视 频会议的视频压缩过程中间样采用了运动人体目标的分割技术。如在视频压缩中 采震m p e g - 4 标壤：| 錾含有运动人镩j 亭列图像串熬每一鞍强缘分解戒入侮基标弱背 景。对分割出的运动人体目标隧域进行编碣，实现压缩功能。同时运渤人体目标 分割结合模式识别和计算机视徽等学科的内容，可以用求对运动人体行为进行识 裂、毽鳃彝分摄，这在如今社会逸存缀多蹙髂戆痤爰。强薅弯运动，舞蹈铡练 等过程中在分割的运动人体图像中进一步找到感兴趣的必常部位，对逡动过程迸 行分析，从而提高运动性能。利用分割的避动人体图像分析人的运动特点在医疗 搽魏审氇骞一定戆敷弱。 国际电予电气工程师协会( i e e e ) 每年召开的国际计算机视觉大会( i n t e r n a t i o n a l c o n f e r e n c eo i lc o m p u t e rv i s i o n ) j ：，都把运动人体目标的棱测与跟踪当作一个重要 豹磷究课题；羁孵运动入钵嚣豁静分蘩技零终为运囊久体瓣标豹硷测与跟踪基殖， 在会议上也进行了深入的分析和研究。运动人体目标的分割作为运动分割的主要 组成部分，以及其在社会各个领域中的广泛成用，使得锫国研究机构对其都具有 浓浮瓣兴趣。 第1 章绪论 。2 运动人体分剡的囊； 究瑗状 近年来，针对运动人体目标分害4 研究的学者很多，分割方法大都是以运动目标 分割的方法为基础进行扩展。如今国内外对于运动嗣标分割技术的研究取得了许 多残栗，各潮学者疆篷了许多蓊豹技术及方法痉廷予运动秘标豹分割，这些方法 很多都适合成用于运动人体耳标分割。通过阅读大爨的文献得到一般的运动人体 目标分割方法主要鼹运用运动目标分割方法中以下的几个方面： ( 1 ) 较差法( f r a m ed i f f e r e n c e ) ：穗图像窿列孛鹃连续两辐图像溺将对应静像 素灰发值相减并且加以阙俊化来分割图像中的运动区域i l 。其中文献f 3 】认为帧阅 差分符合两个零均德的拉普拉斯分布的混合，并应用最大似然法估计分布参数， 分割爨背景籀运动对象。蠢予妻穰逶逡两蔽麓检溺交纯区域酶方法对噪声眈较敏 感，因此，文献1 4 ) 采用形态运动关联算予柬趣按剥用帧差检测运动区域。网时根撂 序列图像的运动程艘，采用多帧处理来获取运动对象，该算法具有一定的抗噪能 力。 ( 笏光流法( o p t i c a lf l o w ) ；光流法利用运动鹭标在图像序列阀随时闽露变化 的特性，通过计算帧问像素的位移来分割人的运动区域i s , 6 l 。文献1 5 j 利用榆测物体 的运动特征煮，通邋计算“方向一致往巍流”进行运动梭溺。文献獬稻霜先流的方 法，从运动遽度上区分不网垦标与鸳景。然藤，光溅计算方法存在计算爨大，反 应速度慢，抗噪性能差等不足。 ( 3 ) 背景淆减法( b a c k g r o u n ds u b t r a c t i o n ) ：背祭消减法是目前最常两的运动 曩振提取方法，它楚利用囊翦墅豫与骛爨萋像的差分寒检测运动嚣域l l 。文麸魄 等利用像素颜色和梯度信息相结合的自适应背景模型来去除影子和不可靠颜色对 于分割的影响。文献刚采用基于卡尔曼滤波器( k a i m a i lf i l t e r i n g ) 的自适应模型以适 成天气积光照夔时翘豹变饯。不少学者瞧把绫转学方法应用在鹜爨更毅过程中， 文献【1 0 l 提出了一种在实时跟踪过程中的自适应背景混合模型的方法。这种方法为 每一个像素建立一个混合离斯模挺，并且用在线估计对它谶行更新。文献 n i 同样 建立了统诗模型，瀵遂最小强度、最大强度帮在专眭l 练麓褒 樊| | 裂懿连续顿之阕熬最 大强度差分值，来描述每一个像索。 复杂环境下运动人体分割算法的研究 还有很多其他的方法应用到运动人体目标分割中，例如：文献【1 2 1 采用g a b o r 和m a l l a t 小波变换进行运动人体目标分割；文献【1 3 1 利用区域生长法进行运动人体 目标分割等。虽然对运动人体目标分割技术人们提出了很多的算法，但是由于运 动人体序列图像本身内容复杂，运动人体目标的序列图像又各有特点，运动人体 目标分割方法还没有一个统一的分类标准，大多数的算法都是针对各自的情况， 每种算法都各有利弊。目前的多人体目标提取以及跟踪技术停留在简单环境下的 实验阶段，而对复杂环境下多运动人体分割正是实时跟踪技术研究中最重要的研 究热点之一。 1 3 本人主要工作 ( 1 ) 运动目标提取：在对运动目标提取的几种常用的提取方法进行分析与比较 基础上，提出基于局部色度空间一致性的运动目标提取方法，使得在采用帧差法 提取运动目标时，能够得到更精确的结果。算法采用自适应的运动目标提取策略， 当存在先验背景时采用背景消减法提取运动目标，当背景突变或者新的背景没有 生成之前采用帧差法提取运动目标。 ( 2 ) 背景生成：对几种常用的背景生成方法进行分析与比较，选用基于帧差的 背景图像生成方法实现背景生成。在差分过程中为了更准确地提取运动目标及减 少噪声的影响，本文采用一种自动阙值选取方法，同时改进了背景区域的确定方 法，提出一种区域外接多边形方法去除运动目标区域，使得恢复出的背景图像更 加准确。 0 ) 阴影去除：针对运动序列图像，本文总结了目前几种常用的去除阴影的方 法。综合各个方法的优点，本文提出了一种改进的基于亮度和色度的阴影检测方 法。该方法融合了空间位置信息，避免了单独利用亮度和色度提取阴影时将人体 部分区域误认为是阴影区域的弊端，实现运动序列图像中阴影的去除。 ( 4 ) 相互遮挡人体分割：为了分割出运动区域中含有的多个相互遮挡的运动人 体目标，本文提出了一种自适应的相互遮挡人体的分割方法。利用k a l m a n 滤波， 基于色度的人脸肤色提取和最小均方误差函数进行块匹配等方法确定相互遮挡人 第1 章绪论 体的空间位置，判断在不同遮挡情况下，采用不同的分割方法实现相互遮挡的人 体目标的分割。该方法自适应的将人体遮挡情况分类后进行分割，能够较好的将 遮挡在一起的多个运动目标人体分割开，实现了多遮挡人体目标分割。 复杂环境下运动人体分割算法的研究 第2 章运动目标提取 从分割的角度来看，运动目标检测与提取被认为是视频对象的空间域分割， 具体是指把运动序列图像中独立运动的区域逐帧检测并分离出来【1 4 1 。本章首先介 绍了几种常用的运动目标提取方法，在借鉴各类方法优缺点后采用自适应的运动 目标提取方法。当存在先验背景时采用背景消减法提取运动目标图像，当背景突 变或者新的背景没有生成之前采用帧差法提取运动目标，并且在背景消减法中提 出一种基于局部色度空间一致性的方法提取更精确的运动目标。 2 1 常用的运动目标提取方法 n ) 帧差法 面向变化检测的帧差法【】是最为常用的运动目标检测和提取方法之一，在背 景静止的情况下尤为如此。由于差分往往是在相邻帧间进行，因此又称为瞬时差 分法【1 5 】。其思想是通过帧间差分，利用运动序列图像相邻帧的强相关性进行变化 检测，进而通过对变化图像的滤波确定运动目标。一个最基本的帧差法的实现过 程如下图： 匡怔 图2 1 帧差法流程图 f i g 2 1t h ef l o wc h a r to ff r a m ed i f f e r e n c e 首先，利用公式( 2 1 ) 计算第k 帧图像与第缸i 帧图像之间的差别，得到差 分后的图像砬。然后对图像q 进行二值化，当差分图像中像素值大于某一给定的 第2 章运动目标提取 阈值时，则该像素为运动目标像素，即该像素可能为运动目标上的一点，反之则 是背景像素。 p 。o ，y ) - i 五 ，y ) 一无一。0 ，y ) i( 2 1 ) f 0 背景 i f n ，_ ) ，) 阈值 冠 ，) ，) 一( 2 2 ) 1 1运动目标让b ，) ) 2 阈值 此方法的最大特点是速度快，适用于实时性要求较高的应用环境，且对环境 整体光照变化不敏感。但是这种方法可能会漏掉部分运动目标信息；而且由于提 取的是两帧中的变化区域，所以提取的变化区域中含有非运动目标区域信息，这 些都会影响到运动目标提取的准确性。如果要提取较精确的运动目标，需附加后 续处理。 ( 2 ) 光流法 光流场【5 6 1 6 1 7 1 ( o p t i c a lf l o wf i e l d1 是灰度模式引起的表观运动，是对真实运动 场( 场景、镜头和目标等的三维运动在二维图像平面的投影) 的近似估计。f ( x , y , o 表 示时间灰度分布，假设沿运动轨迹上的灰度保持不变，可以得到 d f ( _ x , y , o ：0( 2 3 ) 8 f ( x 。, y , t ) v x o ，y ，f ) + 翌；丛丝以o ，y ，f ) + o f ( x , y , t ) ：0 ( 2 4 ) d xd ，d t ( v f ( x 删y ) ，- 力) + 鼍半= 0 ( 2 5 ) i，f ) ，v o ，) ，f ) ) + 兰专掣2 ( 2 5 其中心，表示x ，) ，方向上的速度分量。 光流法的计算很大程度上依赖于时空偏导估算的准确性，因此除上述的约束 方程外，还需要引入适当的平滑约束。在这方面，很多研究者提出了各自的解决 方法。 在光流场中，背景往往对应运动的主体，运动目标则是和主体运动不一致的 像素集合。因此，可以对光流场做低通滤波或聚类分析得到背景运动场估计。然 后进行运动补偿，并在补偿后的运动序列图像中采用静止背景下运动目标检测和 复杂环境下运动人体分割算法的研究 分割算法进行计算( 通常这种补偿在图像二维灰度分割后的子区域上进行) ；或者直 接对运动场做高通滤波来检测目标。这两种方法及其组合是当前多数运动背景目 标检测算法的基本思路。光流法能较好的处理背景运动的情况，但对噪声比较敏 感，精度较低，难以得到运动目标的精确边界，而且计算的复杂度较高。 ( 3 ) 背景消减法 背景消减法【7 - 9 1 是目前运动检测中最常用的一种方法，它是利用当前图像与背 景图像的差分来检测出运动区域的一种方法。 首先利用公式( 2 6 ) 计算背景图像夸。与当前帧图像 的差，然后依据公式( 2 7 ) 对差分图像b 进行二值化和形态学滤波处理，并对所得结果r 进行区域连通性分 析，当某一连通区域的面积大于某一给定阈值，则成为检测目标，并认为该区域 就是目标区域范围。 q ，y ) i i ，_ ) ，) 一。 ，) ，) i ( 2 6 ) 其中，a ( x ，y ) ，魄一。 ，y ) 分别为当前帧图像和背景图像；b y ) 为当前图像 与背景图像差分得到的图像。 f o 背景i fb ，y ) 乙 ( 2 1 2 ) d ： ，y ) - i 五 ，y ) 一无+ ， ，y ) p 乙( 2 1 3 ) p ，_ ) 一面 ，y ) i d 2 0 ，) ，)( 2 1 4 ) 其中乙是帧差时二值化过程的门限阈值；哦o ，y ) ，d 2 0 ，y ) 是利用传统帧差 法得到的相邻三帧中前两帧和后两帧的帧差二值图像；砬 ，y ) 为最终得到的三帧 差二值图像。利用三帧差法提取运动目标增加了提取出的运动目标区域的面积， 使得提取的运动目标的形态等都发生了变化。为了更为精确地提取运动目标，本 文提出用色度一致性的方法进行运动目标提取。 2 2 2 2 运动目标提取 ( 1 ) 局部色度一致性的概念：用局部色度一致性的方法提取颜色图像，是根据 图像中在某个局部小范围内存在相似颜色的特征。描述颜色相似程度的指标是色 差。色差通常用两个点颜色的距离来表示，通常用加权的欧氏距离来表征颜色数 据间的接近程度。如在r g b 色空间的n 僻，g ，b ) 和x 2 ( r ，g ，曰) 加权欧氏距离为： d ( x l , x 2 ) 一( q ( 足一r ) 2 + ( q g 2 ) 2 + 鸭( 且一易) 2 ) ；( 2 1 5 ) 其中，q ，鸭为加权系数。选取种子区域，人为设定阈值玩，将待测 区域与种子区域进行比较，判断其是否与种子区域的颜色相近。从而实现了运动 目标的进一步提取。 ( 2 ) 具体做法 复杂环境下运动人体分割算法的研究 假设i m g b w 为三帧差的二值图像，此时的二值图像区域中含有较多背景信息， 暂时称为运动目标候选区域。首先要利用提取的运动目标候选区域图像找到背景 区域色度的种子点 s e e d i n g - i m g b w o s q u a r e 一砌g b w( 2 1 6 ) 其中，s q u a r e 为3 3 的方块，o 是形态学处理1 1 8 l 中的膨胀运算。腐蚀和膨胀 是最基本的形态学运算。如此一来就在运动目标候选区域周围得到种子点，利用 种子点进行区域色度的比较，搜索出与种子点色度一致的区域。搜索方式如下： 图2 4 改进的目标提取流程图 f i g 2 4t h ef l o wc h a r to ft h ep r o p o s e de x h a l i n gm o v i n gt a r g e t 第一次循环时人为设定计数器s u b n u m 值大于5 ；每次返回时都对s u b n u m 进行判断是否大于5 ，成立则将s u b n u m 设置为0 进入步骤，否则跳出循环； 循环取出每一个种子点判断其8 邻域中是否含有运动目标区域点像素，如 第2 章运动目标提取 果存在，执行步骤，否则选取下一种子点，再比较，直至取完所有种子点： 判断种子点与运动目标区域点在r g b 空间下的欧氏距离是否小于门限值， 成立，此点为背景区域，进行标记，计数器s u b n u m 加1 ，将此背景点归入种子点， 并从运动目标区域点中去除。返回步骤。 利用如上的搜索，可以得到较为精确的运动目标区域。 ( a ) 某帧图像 ( b ) 此帧与其前后两帧的三帧差图像 ( c ) 运动目标区域 ( d ) 种子点 ( e ) 精确的运动目标 图2 5 精确的运动目标提取 f i g 2 5e x t r a c t i n gm o v i n gt a r g e t 2 2 3 背景消减法 虽然基于局部色度一致性的运动目标提取方法可以很好的提取运动目标信 息，但是计算量大，而且在利用局部色度一致性搜索过程中不能将运动人体内部 含有的背景区域去除，同时还有可能丢失部分运动人体信息。而背景消减法可以 很好的提取运动目标使得信息不会损失。不过它需要存在先验的背景信息，并对 背景实时更新。关于背景的建立和更新将在下一章中具体说明。 以下是利用背景消减法得到的实验结果： 复杂环境下运动人体分割算法的研究 ( a ) 背景图像凹第8 组实验图像第3 9 帧( c ) 第8 组实验图像第5 3 帧 ( e ) 第3 9 帧运动目标提取第5 3 帧运动目标提取 ( 曲第3 9 帧运动目标图像( 1 1 ) 第5 3 帧运动目标图像 图2 6 背景消减法 f i g 2 6b a c k g r o u n ds u b t r a c t i o n 2 3 总结 本章主要对图像序列中运动目标进行提取，介绍了当前常用的几种方法，并 进行归纳总结。最终利用自适应的运动目标提取方法，当存在先验背景时采用背 景消减法提取运动目标图像，当背景突变或者新的背景没有生成以前采用帧差法 提取运动目标。在利用帧差法提取运动目标过程中本文提出了基于局部色度一致 性的方法实现运动目标提取。这种方法改进了帧差法提取运动目标不够精确甚至 第2 章运动目标提取 造成提取出的运动目标发生严重形变等弊端。使用局部色度一致性搜索的方式得 到比较精确的运动目标区域，但此方法耗时长，也会因为运动目标与背景相似在 局部色度一致性搜索时造成搜索到运动目标内部的现象。为了更为准确的提取运 动目标，在存在背景时，本文采用背景消减法实现运动目标的提取。这种方法不 但可以提取精确的运动目标，而且运行时间短，是运动目标提取的比较好的方法。 下一章将针对光线变化等原因引起背景突变时背景生成做详细介绍。 复杂环境下运动人体分割算法的研究 第3 章初始背景生成与背景实时更新 上一章论述过背景消减法在背景模型准确的情况下对运动目标提取具有良好 的实时性和准确性等优点。但当光线突变等原因引起背景大幅度变化时，使得原 始背景失效，需要重新生成新的背景。同时由于光线的缓慢变化等的影响还要对 背景图像进行实时背景更新。本章首先介绍几种常用的背景生成方法，通过分析， 本文最终选用帧差法背景图像提取来生成新背景，并对原始帧差法加以改进，在 利用三帧差法提取运动目标过程中提出了一种区域外接多边形方法提取运动目标 区域，提高背景生成的准确性。同时选用单模式的高斯模型对背景进行实时更新。 3 1 背景图像生成的方法 ( 1 ) 基于均值背景图像生成： 这是背景生成的最简单的方法【埘。因为在视频序列中，某个像素对时间采样， 背景出现的次数一般比运动目标多。因此，将一定的时间段中的运动序列图像采 样，然后将这一段时间中所有图像帧取平均，那么这个平均值会接近背景。背景 出现的次数比运动目标越多，则这个平均值就越接近背景。就以这个平均值作为 这个像素的背景值。同时，求取平均值还可以在一定程度上抑制噪声。具体算法 如下： 在某时间段采样得到n 个图像帧f ，f * l 2 3 对每一个像素点) ，) ，背景： 盹y ) _ 薹掣( 3 a ) 设图像的总像素数为m ，对每一个像素都要遍历个图像帧，因此这个算法 的时间复杂度是d 似_ 朋这种方法得到的背景准确率很低，常常参杂运动目标信 息，一般很少采用。 ( 2 ) 改进的基于均值背景图像生成： 对于某个像素点，其对时间的采样点在r g b 颜色空间中会以背景点为中心点 聚集在一起，而运动目标点会离中心点比较远【埘。可以认为，像素颜色矢量的一 第3 章初始背景生成与背景实时更新 个分量离中心点的距离超过这个分量标准差的点不大可能是背景，即使是背景， 也叠加了比较大的噪声。标准差计算公式为 厂了一n 鼬。、击著i 置c - x o c 1 2 ( 3 2 ) c = ，品b 表示矢量的红、绿、蓝三种颜色分量；x o 是样本的平均值。因此， 可以对基于均值的颜色图像背景生成算法做改进：在求平均值之后求标准差，然 后把与均值大于标准差的采样点去除，最后再求余下点的平均值，把此值作为背 景值。改进的算法如下： 在某时间段采样得到n 个图像帧f ，it 1 , 2 3 对每一个像素点y ) ： a ) 矧背景配加耋掣 ( 3 3 ) 厂了1 一 b ) 求标准差s c o ，) ，) 。j 万与蓍i e r 。，y ) 一v o r ，y ) 1 2 ，c 2 g ，b ( 3 4 ) 曲求集合 f ，y ) i v c i f r o ，y ) 一只r o ，y ) i s s r ，y ) ，c - r , g ，b ；i 一1 , 2 ，3 j 町( 3 5 ) 中所有元素的平均值，这个值就是所求背景口gy ) 。 设图像的总像素数为m ，则对每一个像素都要遍历3 次个图像帧，即求中 心点一次，求标准差一次，最后再求均值一次，因此这个算法的时间复杂度是 o ( 3 m n ) = o ( m n ) ，比原来的单纯求平均值的算法费时。而且，此方法同样会掺杂 运动目标信息。 ( 3 ) 基于中值滤波背景图像生成； 中值滤波器能有效去除图像的噪声【1 9 1 。它的一般算法为遍历图像每一个当前像 素，将它3 3 邻域窗1 2 1 内所有像素的灰度值进行排序，选取排在中间的像素灰度 值作为当前像素的灰度值。因为噪声点的灰度与非噪声点差别比较大，而且对于 相对平滑的图像具有空间局部性。也就是说，对于没有被噪声污染的图像，里面 每一个像素和它邻接像素灰度值的差别不大。我们将这个像素和它的邻接像素排 复杂环境下运动人体分割算法的研究 序，噪声点将被排到两边，排在中间的像素就是没被噪声污染的像素，把它作为 滤波结果。这就是中值滤波器能有效去除图像噪声的原因。 中值滤波是对单幅图像在空间采样点上的滤波，不能直接用于背景生成。对 于背景生成，我们需要将此算法扩展。视频中某个像素对时间采样，背景出现的 次数一般比运动目标多，可以认为前景是“噪声”，这样就可以对一个像素在时 间上采样得到的样本进行中值滤波( 对它们排序，噪声将排在两边，即前景排在 两边，排在中部的是背景，取排在中间的像素作为背景。) 具体算法如下： 在某时间段采样得到n 个图像帧e ；f - l 2 3 对每一个像素点( x ，y ) ： a ) 将颜色像素矢量曩o ，_ ) ，) 转换成灰度g l o ，y ) ； b ) 将集合 g l ，y ) ；f - l 2 , 3 ，中的元素排序； c ) 设排在中间的是q ，y ) ，则像素矢量f a x ，) ，) 作为滤波结果。 对栉个元素排序的时间复杂度是o ( n l o g n ) 或者o ( n 2 ) ，取决于算法，其不是线 性的，随着n 的增大迅速增大。设图像的像素数是m ，对每个像素都要对采样的 个样本进行排序，因此该算法的时间复杂度是o ( m n l o g n ) 或者d ( 删2 ) ，是比较 耗时的算法。 ( 4 ) 基于帧差的背景图像生成： 在一个像素的所有随时间采样的样本中，在求均值之前，如果能去除不大可能 是背景的样本，那么求出来的平均值会更加接近背景。因此同一个像素在有一定 时间间隔的两帧中如果差别不大，则它很可能是背景。运动目标点在这段时间中 必然运动变化了。如果这个像素在这两图像帧中差别很大，则至少在一帧中这个 像素不是背景，在这两帧中将此区域去除其余的则认为是背景区域。每帧提取的 背景区域求平均值得到最后的背景图像 3 1 。具体算法如下： 在某时间段采样得到个图像帧e ；f - l 2 3 对每一个像素点g 力： a ) 设定矩阵彳= 口( 空矩阵) ； 第3 章初始背景生成与背景实时更新 b ) 对每一个图像对只0 ，y ) 和f + ，：o ，y ) 如果 0 只0 ，y ) 一只+ n 2 0 ，y ) 忙艺 ( 3 6 ) 则将f a x ，y ) 和只+ n 1 2 ，y ) 加入矩阵爿，其中乃是阈值。 c ) 计算集合a 中所有元素的均值作为像素点g ) ，) 的背景值。 3 2 改进的基于帧差背景生成方法 基于帧差的背景生成是将运动目标区域去除，对非运动目标区域求取平均值， 如果运动目标去除得完整，得到的背景图像就会相对精确而不含有运动目标信息。 本文针对帧差法提取运动目标时可能会出现空洞，严重的会产生缺口的弊端，首 先在帧差图像二值化时引用一种自动阈值选取的方法，之后在选用三帧差法的基 础上提出了一种区域外接多边形方法进行运动区域提取。 3 2 1 自适应阈值选取 在差分图像后，如果选用固定的阂值进行二值化往往通用性很差，针对不同 的图像序列，很难找到一个比较合适的阈值，使得对每个图像序列做帧差后都能 比较精确的提取运动目标对像。本文选用自适应阈值的方式加以解决i 驯。”。如式 ( 3 7 ) 所示，假设图像的直方图曲线雕) 可以通过k 个概率密度函数之和来拟合， 其中a 表示一特定模式的先验概率，所和4 ，分别表示该模式的平均偏差和标准 差，该混合概率密度的参数可以通过使实际频率曲线和模型密度函数之间的均方 差最小求出这些参数。 耶) 2 砉一x p 半) 但是因为参数求解采用的分解求解法通常很困难。这里采用一种近似的方法 来估计朋印的参数，其具体实现的步骤如下：不断改变r 阻2 5 4 】的值，利用下 式计算混合概率密度模型参数： 模式i 平均偏差 善圩( n ， 蚝( r ) ；号一 磊h o ( 3 8 ) 复杂环境下运动人体分割算法的研究 模式1 标准差 模式1 的先验概率 同理求得模式2 的参数： 模式2 平均偏差 模式2 标准差 模式2 的先验概率 t 2 善( 删一“) d 1 ( t ) 一型f 一 磊h ( 3 9 ) 罗日( j ) _ p l 仃) - 卜 荟日 日( n ， 1 1 2 口) - 气 一 ( 3 1 1 ) 善日( f ) 2 5 5 2 日( j ) ( ，一“) 6 2 口) 一上l 面广一 ( 3 1 2 ) 荟日( ) z 日( ，) p 1 ( t ) 。篆一 ( 3 1 3 ) 荟h o ) 之后使用公式( 3 1 4 ) 求得在此参数下最小的错分概率e ，对所有的不同的值 r 找到使得错分概率最小的r 值，从而就可以找出关于两类问题的最佳阈值。 聊一砌噬i 扣卜譬，+ 薹酬一学 第3 章初始背景生成与背景实时更新 ( a ) 第i 帧图像( b ) 第i + l 帧图像 ( c ) 第i + 2 帧图像 ( d ) 三帧差的自动阈值提取 图3 1 自适应阈值提取图像 f i g 3 1a u t ot h r e s h o l ds e l e c t i o n 3 2 2 形态学处理 提取出的二值图像中含有很多孤立噪声点，局部还存在空洞，可以使用形态 学原理f 1 8 2 2 l 加以处理。形态学处理跟卷积比较相似，输出图像的某个像素值由输 入图像的对应像素及其邻域像素依据结构元素决定。腐蚀和膨胀是最基本的形态 学运算，腐蚀具有收缩图像的作用，膨胀具有扩大图像的作用。 3 2 2 1 腐蚀 把结构元素b 平移a 后得到玩，若历包含于五我们记下这个a 点，所有满 足上述条件的a 点组成的集合称做z 被口腐蚀( e r o s i o n ) 的结果。用公式表示为： e ( 矽= x 洒( 3 1 5 ) oo oo oooo o o oo o oo ooooooo x 3 2 2 2 膨胀 oo oo o oo b 螂 xeb 图3 2 腐蚀的示意图 f i g 3 2e r o s i o n 膨胀( d i l o n ) 可以看作是腐蚀的对偶运算，其定义是：把结构元素b 平移4 后得到玩， b a 击中石，我们记下这个4 点。所有满足上述条件的a 点组成的集 合称做x 被b 膨胀的结果。用公式表示为： x d = xo b 图3 3 膨胀运算 f i g , 3 3d i l a t i o n 2 1 x 国8 ( 3 1 6 ) o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o d o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o o 0 o o o o o o 寺 o o o oo o o o o o o o o o o o o 0 ooo寺o o o o o o o o o o o o 啪 。w o o o r t o 0 b o o o o o o o o o o o o o o o o o o o o o o o o 0 o o o o o o o o o o o o o o o o 0 o o o o 第3 章初始背景生成与背景实时更新 开运算和闭运算是基于腐蚀和膨胀运算基础上定义的另外两种形态学操作。 先膨胀再腐蚀称为闭运算，先腐蚀再膨胀称为开运算。 开运算：x o b = ( x o 口) o b f 3 1 7 ) 闭运算：x b = ( x o 曰) o b o 1 8 ) 3 2 3 区域外接多边形 当运动目标的颜色在某个较大的区域内相似，则运动目标暂时不运动或缓慢 运动便可能造成三帧差后的运动目标提取不完全，使得某些运动目标区域被误认 为是背景区域，如图3 4 中( d ) 所示： ( a ) 第i 帧图像 ( b ) 第i + 1 帧图像 ( c ) 第i + 2 帧图像( d ) 形态学处理的三帧差图像 图3 4 三帧差的不完全提取 f i g 3 4i n c o m p l e t ee x t r a c t i o n 可见，图3 4 中( d ) 由于运动目标左下方变化比较小，使得帧差后部分运动目标 区域被误判为背景区域，这种情况下利用帧差法生成的背景图像会产生误差。本 复杂环境下运动人体分割算法的研究 文为了准确的生成初始背景图像，要求运动目标必须全部被提取出来。目前有些 学者选用外接矩形的方法来减少这种弊端。这种方法确实可以将运动目标全部提 取出来，但这种方法可能会由于提取面积过大而对背景生成的实时性造成很大影 响。本文既要将运动人体全部提取出来，又要尽量少地增加提取区域面积，于是 提出利用运动区域外接多边形代替运动目标区域的方法。这种方法虽然也扩大了 运动目标的区域，但相对于外接矩形来说提取出的运动目标区域范围缩小了很多。 就提取运动目标的完整性而言利用外接多边形