（通信与信息系统专业论文）视频对象分割与跟踪技术研究.pdf

申请上海交通大学博士学位论文 视频对象分割与跟踪技术研究 视频对象分割与跟踪技术研究 摘要 随着视频信号的获取、传输和存储等方面技术的快速发展，视频数据的数量 出现级数增长。针对大量出现的视频信号，迫切需要一种有效地表示和检索可视 化视频信息的方法，以便在计算机系统中运用这种方法，为用户提供快速和准确 的视频服务。正是因为这种迫切的需求，引发了目前基于内容的视频分析的研究 热潮。在基于内容的视频分析中，视频对象分割和跟踪技术是其中两项非常重要 且具备挑战性的研究方向。 视频对象分割和视频对象跟踪是一对紧密联系的研究课题。在对象跟踪算法 中，所需跟踪的对象一般都是视频对象分割所提取的对象，所以视频对象跟踪技 术实现效果的好坏一定程度上取决于对象分割算法的准确性；同时，在某些跟踪 处理方法中，视频对象跟踪相当于把视频序列帧分割成跟踪和非跟踪区域，并且 在实现方法上采用图像分割领域中的算法。由此可见，视频对象分割是视频对象 跟踪的基础，同时视频对象跟踪又是视频对象分割的种技术延拓。 在视频对象分割方面，论文的研究工作主要包括： 1 ) 在某些应用场合，由于视频序列具有背景静止的特点，所以利用背景估 计的方法可以有效地实现运动对象的提取。本文在研究了多种背景建模方法的基 础上，提出了一种g i b b s 分布的m a r k o v 随机场模型，并采用简化的模拟退火方法 快速实现背景提取。由于m a r k o v 随机场模型模拟了相邻图像帧像素之间的时间 和空间信息关系，所以这种背景提取算法能很好地适应场景中灯光的全局变化和 背景中对象的快速移动。 2 ) 许多场合无法确认视频序列中背景是否静止，所以通常采用关键帧的图 像分割来实现对象提取。在图像分割算法中，分水岭和s n a k e 是两个常用的算法 模型。分水岭算法具有算法简单，实现快速等优点，但是它存在过分割问题。为 此，提出了一种利用区域和边界的综合信息，对分水岭算法处理后的区域进行区 申请上海交通大学博士学位论文 视频对象分割与跟踪技术研究 域聚合的过分割解决方法。相对于分水岭算法而言，s n a k e 算法具有分割效果好， 适应场合广等特点，但是存在弱边界和运算复杂度高等缺点。为此，引入g v f 场， 扩大边界力的作用范围，同时综合区域信息，有效地解决7 s n a k e 模型的弱边界 问题；并运用多精细度l e v e ls e t 方法提高算法的运算速度。 在视频对象跟踪方面，论文的研究工作主要包括： 1 ) 针对经典s n a k e 跟踪算法中能量函数采用均值、方差或运动矢量等局部特 征的局限性，提出一种基于直方图的s n a k e 视频跟踪算法。这种算法是基于相邻 帧中对象在直方图信息上的一致性前提条件下，采用l e v e ls e t 曲线演化算法来 实现的。与基于局部特性的经典s n a k e 跟踪算法的对比实验表明，这种算法在实 际跟踪效果方面有很好的改善。 2 ) 当对象移动幅度大时，s n a k e 算法中的曲线迭代过程易陷入局部最优，为 此，提出一种运动补偿预处理的解决方法。此方法预先估计对象的运动信息，然 后对s n a k e 曲线的初始轮廓位置进行运动补偿，最后进行s n a k e 跟踪。实验表明， 这种方法不仅跟踪效果好，而且还有效地减少s n a k e 曲线演化的迭代次数。 3 ) 在视频对象跟踪中，时间序列中的背景和前景关系常常是一个被忽视的特 征，为此，提出一种基于时域统计特征的s n a k e 跟踪算法，以模型更新得到的前 景背景二值分割掩膜作为区域特征，将跟踪问题抽象为一个水平集( l e v e ls e t ) 偏微分方程的数值求解问题，并运用窄带l e v e ls e t 方法快速实现对象跟踪。实 验表明，这种算法可以对视频序列中的指定运动对象进行快速精确的跟踪。 4 ) 由于视频对象跟踪可以看成是图像分割的一种拓展，为此，引入图像分割 算法中的隐m a r k o v 随机场模型，提出了一种通过多目标模糊规划求取m a r k o v 标记场的最优估计来实现区域的跟踪的算法。此算法把区域视觉和运动信息有效 地整合成一个模糊区域特征量；并引入双随机矢量的先验模型，使得离散的 m a r k o v 标记场成为连续的m a r k o v 标记场，从而利用现有成熟的最速牛顿下降法 来实现g l a r k o v 标记场的快速收敛。最终的实验结果表明，这种算法比基于边界 信息的跟踪算法具有更好的鲁棒性，且能很好地排除遮挡因素的影响。 关键词：视频对象分割，视频对象跟踪，图像分割，分水岭算法，s n a k e 模型， m a r k o v 随机场。 申请上海交通大学博士学位论文 视频对象分割与跟踪技术研究 t h er e s e a r c ho nv i d e oo b j e c t s e g m e n a t a t i o na n dv i d e oo b j e c t t r a c n g a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h et e c h n o l o g yi nt h ef i e l do fv i d e oc a p t u r e ，v i d e o c o m p r e s s i o n ，v i d e ot r a n s m i s s i o n ，v i d e os t o r a g e ，t h en u m b e r o fv i d e od a t ai n c r e a s e si n p r o g r e s s i o n f a c i n gl a r g en u m b e ro fv i d e od a t a , w eu r g e n t l yn e e dam e t h o dt o e f f e c t i v e l yd e n o t ea n ds e a r c ht h i s a b u n d a n tv i d e od a t a , w h i c hi su s e di nc o m p u t e r s y s t e mt op r o v i d ev i d e os e r v i c e sf o ru s e rf a s ta n da c c u r a t e l y t h i su r g e n tr e q u i r e m e n t r e s u l t si nt h eu p s u r g eo fr e s e a r c hi nt h ec o n t e n t b a s e dv i d e oa n a l y s i s t h e r ea r et w o i m p o r t a n ta n dc h a l l e n g i n gr e s e a r c ht o p i c sa m o n gt h ec o n t e n t - b a s e dv i d e oa n a l y s i s - - - - - - - - - - v i d e oo b j e c ts e g m e n t a t i o na n dt r a c k i n gt e c h n o l o g y v i d e oo b j e c ts e g m e n t a t i o na n do b j e c tt r a c k i n gt e c h n o l o g ya r ea s s o c i a t e dc l o s e l y r e s e a r c ht a s k i nt h ea l g o r i t h mo fo b j e c tt r a c k i n g ，t h et r a c k i n go b j e c t sa l er e t r i e v e d 丘o mv i d e oo b j e c ts e g m e n t a t i o n , s ot h ei m p l e m e n t a t i o ne f f e c to fv i d e oo b j e c tt r a c k i n g t e c h n o l o g yd e p e n d so nt h ea c c u r a t e n e s so fv i d e oo b j e c ts e g m e n t a t i o na l g o r i t h mi n s o m ee x t e n t a tt h es a m et i m e ，i ns o m et r a c k i n ga l g o r i t h r n ，t h ev i d e oo b j e c tt r a c k i n g i sc o n s i d e r e da sam e t h o dt os e g m e n tt h ev i d e o 舾m ei n t ot h et r a c k i n gr e g i o na n d n o n - t r a c k i n gr e g i o nb yu s i n gt h ei m a g es e g m e n t a t i o nm e t h o d t h u sv i d e oo b j e c t s e g m e n t a t i o ni st h eb a s i so fv i d e oo b j e c tt r a c k i n g ，a tt h es a m et i m e ，w h i c hi s t h e t e c h n o l o g i ce x t e n s i o no fv i d e oo b j e c ts e g m e n t a t i o n 1 1 1t h ea s p e c to fv i d e oo b j e c ts e g m e n t a t i o n , o u rr e s e a r c hw o r kc a nb ec l a s s i f i e d a sf o l l o w e d ： 1 ) i ns o m ea p p l i e ds i t u a t i o n s ，s i n c et h eb a c k g r o u n di ss t i l l ，t h em o v i n go b j e c t e x t r a c t i o nc a nb ee f f e c t i v e l yi m p l e m e n t e db yu s i n gt h eb a c k g r o u n de s t i m a t i o nm e t h o d 1 1 1 申诸上海交通大学博士学位论文 视频对象分割与跟踪技术研究 b a s e do ns e v e r a lb a c k g r o u n de s t i m a t i o nm e t h o d s ，g i b b sd i s t r i b u t i o n s m a r k o v r a n d o mf i e l d ( g d m r f ) m o d e li sa p p l i e dt ot h eb a c k g r o u n dm o d e l i n g ，a n dt h e nt h e s i m p l es i m u l a t e da n n e a l i n ga l g o r i t h mi sd e v e l o p e dt oe x t r a c tt h eb a c k g r o u n df r o m v i d e os e q u e n c e s t b j sm o d e li s r e a l l ye f f e c t i v ei nr e c o v e r i n gf r o ms i t u a t i o n so f s u d d e ng l o b a li l l u m i n a t i o nc h a n g e so ft h eb a c k g r o u n d ，a n dc a l lp e r f e c t l ya d a p tt h e o b j e c tm o v i n gi nt h eb a c k g r o u n d 2 ) i ns o m ea p p l i e ds i t u a t i o n s ，i tc a l l t b ec o n f i r m e dt h a tb a c k g r o u n do fv i d e o s e q u e n c ei ss t i l l ，s ot h eg e n e r a lm e t h o d i st os e g m e n tt h eo b j e c tf r o mt h ek e yf r a m eo f v i d e os e q u e n c e sb yu s i n gt h ei m a g es e g m e n t a t i o na l g o r i t h m i ni m a g es e g m e n t a t i o n , t h e r ea r et w og e n e r a lm e t h o d s ：w a t e r s h e da n ds n a k e w a t e r s h e da l g o r i t h mh a st h e m e r i to fs i m p l e n e s sa n dr a p i di m p l e m e n t a t i o n , b u ts u f f e r sf r o mo v e r - s e g m e n t a t i o n p r o b l e m ，s ot h i sp a p e rp r e s e n t sa ne f f i c i e n tm e t h o d t or e s o l v et h i sp r o b l e m ，w h i c hi s i m p l e m e n t e db ym e r g i n gt h er e g i o n sa c c o r d i n g t ot h ei n f o r m a t i o nb e t w e e nt h er e g i o n a n db o u n d a r ya r e rw a t e r s h e da l g o r i t h m s n a k ea l g o r i t h mh a st h em e r i to fg o o d s e g m e n t a t i o nr e s u l t a n dm o r e i m p l e m e n t a t i o no c c a s i o n s h o w e v e ri th a ss o m e s h o r t c o m i n g so fw e a ke d g ea n dh i g hc o m p u t a t i o n ，s ot h i sp a p e ri n t r o d u c e sag a u s s i a n v e c t o rf i e l d ( g v f ) s n a k em o d e l ，w h i c hc o m b i n e st h es n a k em o d e lw i t hg v ft 0 e f f i c i e n t l ys o l v et h ew e a ke d g ep r o b l e m ，a n db ei m p l e m e n t e db ym u l t i - s c a l el e v e ls e t m e t h o dt oi m p r o v et h es p e e do fc o m p u t a t i o n ， i nt h ea s p e c to ft h eo b j e c tt r a c k i n gr e s e a r c h ，o u rr e s e a r c hw o r k sa r el i s t e db e l o w ： 1 ) t oo v e r c o m et h el i m i t a t i o no fp a s ts n a k ev i d e ot r a c k i n ga l g o r i t h m sb a s e do n t h el o c a lc h a r a c t e r s ，s u c ha sm e a n ，d e v i a t i o no rm o t i o nv e c t o r , t h i sp a p e rp r e s e n t sa v i d e ot r a c k i n ga l g o r i t h mb a s e do ns n a k em o d e lu s i n go b j e c t sh i s t o g r a mi n f o r m a t i o n ， w h i c hi sd e s i g n e do nt h eb a s i so ft h eo b j e c t sh i s t o g r a mc o n s i s t e n c yb e t w e e nt h e c o n s e c u t i v ei m a g ef l a m e s ，a n df i n a l l yi m p l e m e n t e db yu s eo ft h el e v e ls e tm e t h o d t h ec o n t r a s t i v ee x p e r i m e n tb e t w e e nt h i sa l g o r i t h ma n dt h o s eb a s e do nt h el o c a l c h a r a c t e r sr e v e a l st h a tt h i sa l g o r i t h mp e r f o r m sb e t t e rt h a nt h o s e 2 ) i fas o m e w h a tf a s tm o v i n go b j e c te x i s t si ns u c c e s s i v ei m a g e s ，s n a k e sn o d e sm a y f a l li n t ot h el o c a lm i r i m ai nt h e i rm o t i o nt ot h en e wp o s i t i o n so ft h et a r g e to b j e c ti n n e x ti m a g e t 1 1 i sp a p e rp r e s e n t sam e t h o db a s e do nt h em o t i o nc o m p e n s a t i o nt o o v e r c o m et h i sp r o b l e m f i r s t ，t h em o t i o ni n f o r m a t i o no fo b j e c tw i l lb ea n a l y z e d s e c o n d ，t h es n a k e sn o d e sp o s i t i o nw i l lb em a d ec o m p e n s a t i o na c c o r d i n gt o t h i s m o t i o ni n f o r m a t i o n 。f i n a l ，t h eo b j e c tw i l l b et r a c k e db ys n a k em o d e l 1 1 1 ef i n a l e x p e r i m e n t sp r o v et h a tt h i sm e t h o dp e r f o r m sag o o dt r a c k i n gr e s u l ta n dc a i lg r e a t l y i v 申请上海交通大学博士学位论文视频对象分割与跟踪技术研究 d e c r e a s et h en u m b e ro ft h es n a k e sc o n t o u re v o l v e m e n t 3 ) t h i sp a p e rp r e s e n t sat e m p o r a ls t a t i s t i c a lt r a c k i n ga l g o r i t h mt h a te x t r a c t st h e r e g i o n b a s e df e a t u r e sv i aa d a p t i v eb a c k g r o u n dm i x t u r em o d e l o u rc o n t r i b u t i o ni st o d e f i n ean e wt r a c k i n gc r i t e r i o nc o m b i n i n gg e o m e t r i c a la n dm o t i o n a lf e a t u r e so ft h e r e g i o n 。t h er e s u l t i n ga l g o r i t h mi se x p r e s s e di n t h e f o r mo fal e v e ls e t p a r t i a l d i f f e r e n t i a le q u a t i o n t of u r t h e ri m p r o v et h ec o m p u t a t i o n a le f f i c i e n c y ，t h i sp a p e r i n t r o d u c e st h en a r r o w b a n dm e t h o di n t oo u rt r a c k i n gs c h e m e f i n a l l y ，v e r yp r o m i s i n g e x p e r i m e n t a lr e s u l t sa r ep r o v i d e dt oi l l u s t r a t et h ee f f i c i e n c ya n da c c u r a c yo fo u r m e t h o d 4 ) b e c a u s et h eo b j e c tt r a c k i n gc a nb ec o n s i d e r e da sa l le x t e n s i o no fi m a g e s e g m e n t a t i o n ，t h i sp a p e ri n t r o d u c e st h eh m m f o ft h ei m a g es e g m e n t a t i o na l g o r i t h m i n t ot h eo b j e c tt r a c k i n g t h es e g m e n t a t i o ni sv i e w e dt ob eam a r k o vl a b e l i n gp r o c e s s w i t ht h ed e f i n i t i o no ff u z z yf e a t u r eo fr e g i o n ( f f r ) a n db yu s i n gad o u b l ys t o c h a s t i c p r i o rm o d e l ，t h eo p t i m a le s t i m a t o rf o rt h el a b e lf i e l di s f o u n dw i t h i nau n i f i e d m u l t i - o b j e c t i v ef u z z yc o e f f i c i e n tp r o g r a m m i n gf r a m e w o r k i nt h i sf r a m e w o r k ，a h i d d e nm e a s u r ev e c t o rf i e l di s f i r s t l ye s t i m a t e db ym a x i m i z i n gad i f f e r e n t i a b l e f u n c t i o n ，f o l l o w e db yt h ee s t i m a t i o no ft h el a b e lf i e l dv i aas i m p l ec o m p a r i n go ft h e c o m p o n e n t so f t h eo p t i m i z e dv e c t o r s t h ec o n t i n u i t yo ft h eo b j e c t i v ef u n c t i o nl e a d st o am u c hf a s t e ra n dm o r ea c c u r a t ei m p l e m e n t a t i o no fo u ra l g o r i t h m n a r r o wb a n d a p p r o a c hi si n t r o d u c e dt of - u l t h e ra l l e v i a t et h ec o m p u t a t i o n a lc o m p l e x i t y t h ef i n a l e x p e r i m e n t sr e v e a l t h a tt h i sm e t h o dp e r f o r m sm o r er o b u s t n e s st h a nt h et a c k i n g m e t h o db a s e do ne d g ei n f o r m a t i o n ，a n de f f i c i e n t l ye l i m i n a t et h eo c c l u s i o n se f f e c t k e yw o r d s ：v i d e oo b j e c t s e g m e n t a t i o n ，v i d e oo b j e c tt r a c k i n g ，i m a g e s e g m e n t a t i o n ，w a t e r s h e da l g o r i t h m ，s n a k em o d e l ，m a r k o vr a n d o mf i e l d 一v 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：凶礼年 日期：? ，年? 月弘日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密酣在三年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“) 学位论文作者签名：翻礼争 指导教师签名： 日期：知功，年月砷日 落乏彳 申请上海交通大学博士学位论文 视频对象分割与跟踪技术研究 1 1 本文的研究背景 第一章绪论 近二十年来，随着神经生理学、信息处理、模式识别、人工智能等学科的快速发展，计 算机视觉已经进入到一个飞速发展阶段。至今，学者提出了许多解决计算机视觉的理论和方 法。其中一些理论已在视频信号的获取、操作、传输和存储方面等方面得到很好地应用，然 而，如何更有效地表示和检索可视化的视频信息，仍然是一个技术难点。正由于此，基于内 容的视频分析已成为最近的一个研究热点，并且吸引着不同领域的研究工作者 h u a n 9 0 0 ， n a p 0 0 ，d e n 0 3 ，g r a n 0 4 ，c h a r 0 4 。 基于内容的视频分析主要包括视频镜头分割 p a t 9 6 ，t a n 0 0 ，y e 0 9 5 ，r u i 0 0 、视频对象 分割 z h o n 9 0 0 ，h u a n 9 9 8 ，g e v 0 4 、视频对象跟踪 s c h o n 9 9 ，s e 9 9 9 ，v a l 0 4 ，g e v 0 4 和视频 语义理解 b a b u 0 4 ，j a i m 0 3 ，b r a n d 9 6 ，s h i h 0 3 等方面的内容。图1 1 给出了一个基于内容 的视频分析系统的主要处理流程。 视频解析 图1 1 基于内容的视频分析系统的主要处理过程 f i 9 1 1t h em a i np r o c e s so ft h ec o n t e n t b a s e dv i d e o 。a n a l y s i s 在图1 1 中，视频分块主要是把视频内容分割成一系列的镜头。视频特征化则是把每个 镜头又根据摄像机和运动对象的运动特性进一步分割成视频子镜头，并提取其特征。视频分 割对这些子镜头完成镜头数据中的视频对象的分割，以便在后继视频中完成视频对象跟踪。 特征提取主要是提取镜头、子镜头和视频对象中的特征，以便于索引与浏览。通过分析这种 可视化特征的相似性，镜头将根据场景改变检测、场景归类和检索的不同的要求，智能化的 重新组织。最后，用户就可以通过很便利的方式来查询和浏览视频内容。 申请上海交通大学博士学位论文 视频对象分割与跟踪技术研究 从图1 1 可以看出，视频对象分割是基于内容的视频分析中一个极其重要的步骤，可以 说，视频对象获取是支持基于内容功能中不可缺少的一个部分，而这部分工作正是通过视频 对象分割来实现的，并且视频对象分割在基于内容或面向对象的视频应用场合发挥了重要作 用。具体有： 1 独立的视频对象能实现基于视频内容的操作和检索，用于数字图书馆，基于内容存 储和检索的多媒体系统。 2 分割出的视频对象不仅能单独进行压缩编码，还能有效提高视频编码效率，用于数 字电视，低比特率下的移动多媒体通信等。 3 在现有的视频监控系统中，能够大大提高视频监控系统的智能化程度，实现实时智 能多媒体监控。 4 在未来的网络应用中，实现交互多媒体服务，如交互式家庭购物和娱乐教育等应用。 目前，视频对象分割仍然是一个极具挑战性的课题，也是计算机视觉中最困难的问题之 一。一方面这是由图像分割的局限性决定的。提取语义对象的过程是一个特征提取与分割过 程。图像的分割本身就是计算机视觉和图像处理中很难解决的一个不确定性病态问题。虽然 人们已经进行了几十年的研究，至今尚无统一的理论和评判标准，现有的分割算法大都是针 对具体问题。另外，缺乏一种明确的适合视频对象分割算法的语义表达和语义均匀性的标准。 要获得对视频对象的分割，首先要求对视频对象的属性有一个明确的规定，即组成它的区域 满足某种均匀一致性，比如通过它的纹理信息、运动信息、形状信息、甚至是模型和高层语 义信息划分。但是这些信息，如局部的统计的形状参数和运动参数等，需要利用分割的结果 来精确获取，这样就陷入了一个循环之中。而且在自然图像和视频分割中，物体没有一个固 定的形状和结构信息，灰度信息不足以对图像进行分割，需要高层次上各种物体的物理及概 念层次的语义知识。而目前还很难明确地表达一种适合于分割算法的语义概念，也还没有哪 种通用算法能够进行精确可靠的自动分割。 和视频对象分割技术一样，视频对象跟踪技术也是基于内容的视频处理中关键技术之 一。这主要因为下面两方面的原因：一方面，视频序列中连续两帧之间不会发生剧烈变化， 这种信息冗余对于对象跟踪极为有用，但要完全利用图像序列中的冗余信息仍然是一个富有 挑战性的任务。另一方面，视频对象跟踪和视频分割技术一样，具有极为广阔的市场应用前 景。目前视频对象跟踪算法主要集中以下两点： 1 鲁棒的跟踪技术：实际环境中，视觉信息非常丰富，并且会由于光照变化、干扰和 场景的变化等原因而含有噪声或者由于遮挡而变得不完整。鲁棒的跟踪技术必须能够适应这 些复杂情况，并能够从偶尔的跟踪失败中恢复出来。 2 实时的跟踪技术；通常情况下，跟踪必须实时进行，而视频分析中必然涉及到大量 数据。因此跟踪算法的计算效率要求也很重要。 本研究课题集中于高效的视频对象分割算法研究的同时，把相应的对象分割算法进行延 2 。 申请上海交通大学博士学位论文视频对象分割与跟踪技术研究 伸，并应用于鲁棒的视频对象跟踪技术中。这样研究的目的也在于：视频对象跟踪和视频对 象分割是视频处理技术中一对紧密联系的研究课题。由于对象跟踪算法中对应的对象是视频 对象分割所提取的对象，所以视频对象跟踪效果的好坏一定程度上是由视频对象分割效果决 定的，在这点上，视频对象分割是视频对象跟踪的基础。同时，在某些跟踪处理方法中，视 频对象跟踪算法相当于把视频序列分割成跟踪和非跟踪区域以完成跟踪处理，在这点上，视 频对象跟踪又是视频对象分割算法的一种延拓。 1 2 视频对象分割和对象跟踪研究现状 1 2 i 视频对象分割方法概述 视频对象分割指的是将视频图像序列分成具有不同运动特征或属性的区域。目前，视频 对象分割的方法有多种，在这里，将已有的对象分割方法分成以下几类：时空联合分割法、 基于光流估算的光流法、基于变化区域检测的时空法、利用数学形态学的方法，基于s n a k e 模型的分割方法和基于m a r k o v 随机场的分割算法。 基于光流法的分割 基于光流法的分割是视频对象分割的早期算法，它主要通过研究场景中的光流场信息， 从这些光流信息中近似计算不能直接得到的运动场，然后根据运动场的运动特征，进行视频 分割。光流法是用于估算运动场的一个较普遍的方法，但是由于存在孔径问题和遮挡问题 【t e k 9 8 ，光流法估算二维运动场的解是不确定的，所以需要使用附加的假设模型来模拟二 维运动场的结构。可用的模型主要有参数模型和非参数模型2 种。 参数模型是描述曲面的三维运动在图像平面上的正交或透视投影。采用基于参数模型的 光流法进行分割的基本算法思想是：假设有x 个相互独立的运动物体，每一个光流量矢量 对应于单个的三维刚体运动的投影。那么，每一个不同的运动可以通过一系列映射参数来正 确描述。使用参数模型的分割算法典型的有参考文献 a d i v 8 5 ，w a n 9 9 4 ，h o t t e r 8 8 ，m u s 8 9 ， d i e h l 9 1 。相对于非参数模型，参数模型受噪声的影响较小，因为参数是由多个像素结合在 一起估算出来的。但参数模型的缺点是只适用于刚体运动。 典型的用于运动分割的非参数模型主要有块运动模型和贝叶斯法。块运动模型主要应用 在低码率视频编码应用中。基于平移的块运动模型的运动估算虽然简单，但当处理帧之间的 块旋转和变形时，其效果不好。贝叶斯法是在给定光流数据的条件下，搜索分割标记的最大 后验概率( m a p ) ，它是检测当前的分割符合被观察的光流数据的程度和当前分割与我们的 期望值一致程度的方法。贝叶斯法利用随机平滑度约束条件通常采取g i b b s 随机场的方法来 估算位移场。m u r r a y 和b u x t o n m u r 8 7 首先提出了m a p 分割法，用分段的二次流场模拟光 流数据，用g i b b s 分布模拟分割场，通过模拟退火搜寻使后验概率最大的标记。 3 - 申请上海交通大学博士学位论文 视频对象分割与跟踪技术研究 基于变化区域检测的时空法 基于变化区域检测的时空法是通过检测图像帧之间的变化区域与不变区域，以将运动物 体与静止背景进行分割的。基于变化区域检测的时空法是在基于时空图像亮度和梯度信息的 独立运动区域中考虑图像分割的。为了降低噪声的干扰，通常都利用相邻两帧检测变化区域。 分割过程有使用参数模型和不使用参数模型的方法 1 ) 不使用参数模型的分割算法 不使用参数模型的算法主要是考虑像素的统计特征，文献 i v i e c h 9 8 b ，y e c h 9 8 ，k i m 9 7 的 分割算法分以下3 个步骤实现： a ) 首先比较相邻两帧图像的变化得到初始的变化检测模板，由于物体运动导致亮度变 化的像素都在模板中标记出来。为了保证视频对象的分割在时间上的稳定性，不至于由于视 频对象或其中的一部分在某一时刻停止运动时，导致视频对象全部或部分丢失，采用一个变 化检测模板的存储器，根据视频序列自动地选择存储器的时间深度。这样，只要某个像素在 这之前的工个变化检测模板中至少出现一次，那么它就被标记为亮度改变的像素。 b ) 由于亮度改变的像素包括那些由于物体运动而显现出来背景区域像素，因此将交化 检测模板减去这部分未覆盖背景区域就可以得到物体模板。为了得到未覆盖背景区域，需要 计算变化区域的运动向量，如果运动向量的起止点都在当前的变化检测模板内，则该像素被 视为视频对象，否则被视为背景。 c ) 最后根据当前帧的边缘图像调整物体模板完成分割算法。 文献 b o u t 9 3 中则进一步考虑了空间分割的结果，将依据时间分割得到的区域和依据形 态学算法的空间分割得到的区域进行比较，如果空间分割区域大部分位于时间分割区域内， 则整个空间分割区域可看成前景，否则看成背景。 2 ) 使用参数模型的方法 在h o t t e r 和t h o m a s h o t t e r s 8 提出的分层结构的自顶向下法中使用了参数模型，由于对 不同的运动物体计算出不同的运动参数，因此，可以将各个运动物体进行分割。 a ) 首先通过变化检测将当前帧划分变化区域与不变区域，每一个空间连通的变化区域 被对应于一个物体。 b ) 对每一个物体从时空亮度梯度直接估算出不同的参数模型，用最小二次方判定法将 参数模型从一帧到下一帧拟合到变化区域上去。 c ) 如果经过运动补偿后的预测误差过大，就把这个区域进一步分割成小区域进行层次 处理，直到所有变化区域都得到精确的补偿。 文献 m u s 8 9 ，d i e h l 9 1 的方法与文献 h o t t e r 8 8 相似，不同的是文献 h o t t e r 8 8 使用 6 参数仿射模型；文献 m u s 8 9 使用8 参数模型；而文献 d i e h l 9 1 建议使用二次变换，因为 它对于许多真实的图像提供了较好的近似。 基于变化区域检测的时空法不需要光流场的估算和任何特征点的对应。所以算法复杂度 4 - 申请上海交通大学博士学位论文 视频对象分割与跟踪技术研究 比较低，实现也较简单，但这种算法依赖于时空图像亮度梯度，分割精度易受观测噪声影响 ( 因为图像亮度梯度对于观测噪声非常敏感) ，且局限于背景静止的应用场合。 时空联合分割 时空联合分割算法 k o m p 0 0 主要是利用场景中时间和空间上信息来分割出运动对象。通 常时空联合分割算法分成两大类：从顶到底方法和从底到顶方法。 从顶到底方法【b u r t 9 1 h o e t 8 8 主要特点就是简单，并且运算复杂度低。这种方法主要 是引入一种人工层次化的方法，从场景中相继提取关键运动特性的处理方法。从这些关键的 运动特性中，从项到底的提取运动区域。 从底到顶的方法 g o u t 9 3 n o s 9 8 主要是采用区域增长的方法。在开始阶段得到一系列的 初始区域，从这些初始区域出发，聚合其中具有相同运动特性的相邻块。这种相邻块的聚合 准则是基于时空相似度。这种方法不同于从顶到底的方法，它可以用相同的方式来提取出不 同的运动对象，而从顶到底的方式却要相继提取出运动对象。m o s c h e n i m o s 9 8 提出一种从 底到顶的时空联合分割算法。这个算法首先把场景分裂成大小相同小块。然后定义小块区域 时空联合的相似度，定义如下： s i m ( a ，b ) = z 心一九z 佃( m a x s 魑) 其中0 无1 ，是区域a 和区域b 的时间相似度，乳b 是区域a 和区域b 的空间相 似度。m a x 是关于区域a 和其相邻块的空间一致性度量。最后利用带权重的方向图理论进 行区域聚合。并把两个准则( 强准则和弱准则) 应用到图聚合技术中。每个准则都应用迭代 过程中，图在每次迭代过程后要进行更新。当计算的相似度小于预先设定的阈值，或者在当 前迭代过程中没有块聚合的发生时，强准则将停止使用，改用弱准则。 由于时空联合分割算法主要是利用视频图像帧时间和空间之间的相互特征来分割对象， 所以有许多其它的分割算法借鉴时空联合分割算法中的时间空间的特征提取方法，并把这些 时间和空间上的特征和其分割算法进行整合，从而更有效地完成视频对象的分割。 数学形