（信号与信息处理专业论文）基于视差分析的立体视频对象分割.pdf

上海大学硕士学位论文 基于视差分析的立体视频对象分割 摘要 随着通信和信息处理技术的发展，大量数字化的视频服务需求不断涌现，如： 数字电视、远程会议、视频电话和交互式多媒体等。这些伴随着大数据量的应用 和服务需要更先进的数字信号处理技术，以进行更高效的传输和存储。视频对象 分割就是其中一种技术。 现有的基于时域和基于时空的视频对象分割技术，还不能对语义对象进行精 确分割。而在立体视频序列中，可以获得接近于语义对象定义的深度( 视差) 信 息，十分适合用来分割视频对象。 本文在对各种视差估计方法研究的基础上，提出一种基于边缘信息的二级立 体匹配方法，根据对象边缘特征在匹配过程中选择适当尺寸的匹配窗口，并对匹 配搜索过程进行优化。此外，针对视差估计过程中的遮挡问题，本文提出一种基 于运动信息的遮挡补偿法，利用相邻帧之间对象运动与遮挡的关系对遮挡区域的 视差进行补偿，最终得到较精确的视差场。该视差场是进行视频对象分割的重要 中间信息。 通过视差场分割，可大致获得视频对象，但由于视差场分割结果一般在对象 边界处不够精确，需要依靠时空分割结果进行修正。本文提出的变化检测算法在 检测过程中根据己获得的视差场分割结果，在相邻帧中把对应于各个视差分割对 象的区域单独进行运动变化检测。然后，再融合边缘检测对视差场分割结果进行 修正。实验结果表明，上述算法得到较精确的视频对象。 关键词：对象分割，视差估计，遮挡，变化检测，边缘检测。 ! 塑查兰翌主竺竺堡塞 苎主塑鲞坌堑竺皇竺型塑翌塞坌型 a b s t r a c t w i t ha d v a n c e si nc o m m u n i c a t i o na n di n f o r m a t i o np r o c e s s i n gt e c h n o l o g i e s ，al o t o fd i g i t a la p p l i c a t i o n sa n ds e r v i c e sa r ee m e r g i n gs u c ha s ：d i g i t a lt v , t e l e c o n f e r e n c e ， v i d e o p h o n ea n di n t e r a c t i v em u l t i m e d i a t h e s ed i v e r s i f i e da p p l i c a t i o n sa n ds e r v i c e s w i t hal a r g ea m o u n to fd a t ad e m a n dm o r ea d v a n c e d d i g i t a ls i g n a lp r o c e s s i n g t e c h n o l o g i e sf o re f f i c i e n tt r a n s m i s s i o na n ds t o r e ，v i d e oo b j e c ts e g m e n t a t i o ni so n eo f t h e s et e c h n o l o g i e s t h ee x i s t i n ga l g o r i t h m so fm o t i o n b a s e da n ds p a t i o t e m p o r a ls e g m e n t a t i o nc a n n o ts e g m e n ts e m a n t i co b j e c t sw e l l i ns t e r e o s c o p i cv i d e os e q u e n c e s ，i ti sc a p a b l et o g e td e p t h d i s p a r i t yi n f o r m a t i o nw h i c hi sc l o s et ot h ed e f i n i t i o no fs e m a n t i co b j e c t s t h u s ，i ti sab e t t e rw a yt os e g m e n tv i d e oo b j e c t sb a s e do nt h ea n a l y s i so fd i s p a r i t y r e s e a r c ho nt h ee x i s t i n gm e t h o d s ，at w o - s t e pd i s p a r i t ye s t i m a t i o nm e t h o db a s e d o nt h ee d g en m c t u r ei sp r o p o s e d i nt h ep r o c e s s ，o u ra l g o r i t h mc h o o s e st h es u i t a b l e s i z eo fm a t c hw i n d o wa c c o r d i n gt ot h ee d g ec h a r a c t e r i s t i co fo b j e c t sa n do p t i m i z e s t h es e a r c hr o u t eo fm a t c h o t h e r w i s e ，a no c c l u s i o nc o m p e n s a t i o nm e t h o db a s e do n m o t i o ni n f o r m a t i o nb e t w e e na d j a c e n tf l a m e si sp r e s e n t e d w i t ht h e s es t e p s ，p r e c i s e d i s p a r i t ym a p c r e a t e sa tl a s t ，w h i c hi sh e l p f u li n f o r m a t i o nt oo b j e c ts e g m e n t a t i o n a p p r o x i m a t ev i d e oo b j e c t sa r eo b t a i n e df r o mt h es e g m e n t a t i o no f d i s p a r i t ym a p t h er e s u l ti sn o ta c c u r a t ee n o u g ha tt h eb o u n d a r i e so fo b j e c t ss ot h a ti tn e e d st ob e m o d i f i e db yt h er e s u l to fs p a t i o t e m p o r a ls e g m e n t a t i o nw h i c hs e g m e n t so b j e c t sw e l la t b o u n d a r i e s t h i sp a p e rp r o p o s e sad e t e c ta l g o r i t h mo fm o t i o n - c h a n g e dr e g i o n s ，w h i c h r e f e r st ot h es e g m e n t a t i o no fd i s p a r i t ym a p t h e n ，m o t i o no b j e o t sa n de d g ef e a t u r e s a r ef u s e dt om o d i f yt h eb o u n d a r i e so fd i s p a r i t ys e g m e n t a t i o n ，e x p e r i m e n t si n d i c a t e t h ea l g o r i t h ms e g m e n t sv i d e oo b j e c t sp r e c i s e l y k e yw o r d s ：o b j e c ts e g m e n t a t i o n ，d i s p a r i t ye s t i m a t i o n ，o c c l u s i o n ，m o t i o nr e g i o n d e t e c t i o n ，e d g ed e t e c t i o n i i 原创性声明 本人声明：所呈交的论文是本人在导师指导下进 行的研究工作。除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已发表或撰写过的研究成果。 参与同一工作的其他同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论 文的规定，即：学校有权保留论文及送交论文复印 件，允许论文被查阅和借阅；学校可以公布论文的 全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名： 监垄 导师签名：纽 日期：丝三：三：三 上海大学硕士学位论文 基于视差分析的立体视频对象分割 第一章绪论 1 1 图像及视频分割研究目的和发展概况 1 1 _ 1 图像分割 在对图像的研究和应用中，人们往往只对图像中的某些部分感兴趣，这些部 分就称之为目标或者前景，其他部分称之为背景。目标一般对应于图像中具有某 种独特性质的区域。为了辨识和分析目标，就需要将有关区域分离提取出来，只 有在此基础上才能够对目标作进一步的处理，如特征提取、识别等等。图像分割 就是指把图像分成各具特性的区域并提取出感兴趣的目标的技术和过程。这里的 特性可以是灰度、颜色、纹理等，目标可以对应于单个区域，也可以对应于多个 区域。 图像分割是由图像处理到图像分析的关键步骤 1 ，也是一种基本的计算机 视觉技术。这是由于通过图像分割、目标分离、特征提取、参数测量等技术可以 将原始图像转化为更抽象更紧凑的形式，使得更高层的图像分析和理解成为可 能。因此图像分割多年来一直得到人们的高度重视，至今己经提出了大量的各种 类型的算法，但迄今为止尚无通用的自身理论。 1 1 2 视频分割 视频是一串连续的图像序列，视频中的每一帧( 某一时刻的采样) 即可视为 一幅图像。因此，视频实际上是图像在时间维的扩展，但并不是简单的扩展，这 是因为视频序列中相邻帧之间存在着大量的时间冗余，即相关性很强。从上述的 图像和视频的关系可以看出，视频分割也必然与图像分割存在着一些联系。图像 分割常被称为“低级”分割，它主要依赖于像素级的低级特征，如灰度、颜色和 纹理的一致性。相比而言，视频对象分割的研究较少，但要复杂得多。视频对象 包含着运动信息，存在着非刚体物体形变、遮挡区和显露区等问题。在视频对象 分割算法中，除了充分利用当前帧的空间信息进行图像分割外，一般还要利用视 频序列前、后相邻帧之间存在的时间域信息。 上海大学硕士学位论文 基于视差分析的立体视频对象分割 视频分割出的对象必须是具有语义意义的实体，而语义一致性往往依赖于具 体的应用 2 。单视点视频主要利用同一性准则( 颜色或运动等) 来进行对象分 割，目前还不能很好的识别语义对象，因为语义对象通常包括由不同颜色和运动 属性组成的区域。然而在立体或多视点视频分析系统中，却能将更多的物理特征 信息( 视差或深度信息等) 用于分割语义对象。因此，对立体视觉技术的研究越 来越受到重视。 1 2 立体视觉及其研究概况 1 2 1 立体视觉 立体视觉是基于各种深度线索而形成的，如：线性透视、面积透视、重叠、 阴影、双眼的调节和会聚等。对于一般的用单摄像机拍摄到的单视图像视频， 人们可以通过透视、阴影、遮挡、明暗等因素来获得三维感觉，但这些三维因素 并不能还原出真实的三维世界。由人的视觉系统特性 3 可知，最有效的深度线 索是双眼视差。 立体视觉是通过多幅图像( 一般两幅) 获取物体三维几何信息的。人的双眼 通过从各自稍有不同的位置观看景物，得到深度感觉，从而获得真实的三维感觉。 立体电影之所以有逼真的深度感，也是仿照了立体视觉原理。在立体电影拍摄中， 用两个摄像机( 模仿人的双眼) 同时拍摄，而在放映时，将两个摄像机拍摄的图 像同时投影到屏幕上，并利用偏振光的原理，使人的双眼分别看到左右摄像机拍 摄的图像，从而使人获得真实三维景物的立体感。 两台空间位置相对固定的摄像机对同一个景物从两个不同角度拍摄时，其视 野中会产生一定的重叠，从而在一定的空间范围形成了一个三维空间，即所说的 立体视觉区域 4 。在立体视觉区域中的任意一点，只要不存在遮挡，就可以找 到该点在两幅图像中的对应关系。由于两台摄像机拍摄角度不同，产生的两幅二 维图像也会稍有不同。两幅稍有差别( 称为视差) 的图像就相当于人通过左眼和 右眼分别观察得到的，从而在大脑中产生三维的感觉，过程如下：投影到两眼视 网膜上的稍有差异的二维图像，由大脑中的视觉皮层通过对三维世界立体视觉的 先验知识将图像对融合，从二维图像重建三维深度来感知立体视觉。 t 海大学硕士学位论文 基于视差分析的立体视频对象分割 因此对视觉的研究和应用从根本上说应该是三维的，而现有的大多数图像采 集装置所获取的图像本身是二维的，但是其中包含了三维物体的空间信息。要从 二维图像中恢复三维空间信息，关键是要获得景物中各点距观察者的距离，即深 度信息，而立体视觉主要研究如何从多幅二维图像中获取场景中的深度信息，是 解决这个问题的一种重要方法。 1 2 2 立体视觉技术发展概况及前景 关于立体视觉技术的研究已有几十年的历史，上世纪9 0 年代以前开发了一 些立体视觉系统，成功地应用于三维宽屏幕电影等领域，但这些系统往往需佩戴 特制眼镜进行观看，限制了其推广应用和发展。近几年发展的自动立体显示技术 突破了立体眼镜的限制，促进了对立体视觉技术的研究与发展。 目前；立体视觉在医疗卫生、军事科学、航空测绘、地质探测、大气预报、 天体观测和无损探伤等领域具有广泛的应用 5 ，尤其在摄像测量与遥感方面， 立体视觉技术已成为航测的一个基本手段。 立体视觉作为一个多学科交叉领域，吸引着大批包括视觉生理、心理、数学 以及计算机科学等多种学科的研究人员运用不同的技术手段对之进行深入的研 究，并且在三维可视化、三维影院、立体可视通信、高清晰度立体电视 6 以及 虚拟现实等众多领域有着广阔的应用前景。 1 3 论文选题依据 本文的选题主要基于下述两方面的考虑： 1 ) 立体视觉系统在分析和理解图像时都需要立体匹配，而目前这一技术还 不完善，没有一个可靠通用的匹配方法。尤其在具有灰度失真、几何失真( 透视、 旋转、缩放等失真) 和噪声的情况下的立体匹配是十分困难的。而且现实世界中 物体间的互相遮挡，物体本身各部分间的遮挡更增加了立体匹配的难度。本文针 对立体匹配目前存在的一些尚未很好解决的问题开展研究和探索，为今后的深入 研究积累经验、储备必要的知识。 2 ) 在视频对象分割算法中，对象是语义层的概念，长久以来，对象的精确 分割始终是一个难题。对于现有的分割算法，其通用性和鲁棒性在很大程度上受 t 海火学硕士学位论文 基于视差分析的立体视频对象分割 限于单视序列的可用信息量，主要通过其当前帧内信息、邻近帧间的强相关性等 对视频对象进行检测、分割和识别。而在立体视频序列中，可以获取单视序列所 不具备的深度信息。由于整个目标对象通常是位于同一深度层面的，深度信息接 近于语义对象的定义。因此，对于在立体视频序列的深度( 视差) 信息基础上的 对象分割算法的研究有相当的理论价值。 1 4 论文主要工作 本论文的研究得到了上海市自然科学基金项目三维视频中任意形状视频对 象的自动提取研究( 编号：0 4 z r l 4 0 5 6 ) 和上海市教委发展基金项目基于对象 的三维视频分割与虚拟视生成技术研究( 编号：0 4 a b 5 6 ) 的资助。论文主要工 作如下： 1 ) 提出一种基于边缘信息的二级立体匹配法：在立体匹配过程中根据对象 边缘结构特性选择适当尺寸的匹配窗口，在对象内部和对象边缘处都得到较精确 的匹配结果。在匹配搜索过程中，根据视差特性设定适当的搜索顺序，提高了匹 配效率。 2 ) 针对视差估计过程中的遮挡问题，提出一种基于运动信息的遮挡补偿法， 利用相邻帧之间对象运动与遮挡的关系对遮挡区域的视差进行补偿。 3 ) 提出一种变化检测算法：根据己获得的视差场分割结果，在相邻帧中把 对应于各个视差分割对象的区域单独进行运动变化检测，针对各自区域的局部特 征选取适当的闽值。 4 ) 综合视差分割和时空分割各自优点，提出一种立体视频对象分割混合算 法：首先进行视差估计，然后分割视差场，分割结果接近于语义对象，再作形态 学处理，得到视频对象边界的大致范围，在此范围中寻找时空分割得到的对象边 缘结构，最后连接间断的边缘结构得到最终的视频对象边界。 1 5 论文结构 论文共分六章，具体的结构安排如下： 第一章主要关于图像及视频分割的研究目的和发展概况、立体视觉的介绍和 4 上海大学硕士学位论文基于视差分析的立体视频对象分割 研究现状、本论文的选题依据和主要工作； 第二章分析双目摄像系统的原理和视差特性； 第三章对现有立体匹配方法进行综述，在此基础之上提出一种基于边缘信息 的二级立体匹配法，并对匹配搜索过程优化，此外提出一种基于运动信息的遮挡 补偿法； 第四章介绍静态图像分割技术、视频分割技术和数学形态学图像处理等第五 章涉及的对象分割理论基础； 第五章详细阐述了本文提出的综合视差分割和时空分割各自优点的立体视 频对象分割混合算法； 第六章总结本论文的研究工作，并对进一步的研究工作进行展望。 上海大学硕士学位论文 基于_ l ! i l 差分析的立体视频对象分割 第二章立体成像原理及视差分析 2 1 双目摄像系统及视差 立体成像方式主要由光源、景物和摄像机三者的相互位置和运动情况所决 定，包括双目成像方式和多目成像方式。通过两台相隔一定距离的摄像机同时对 三维场景取像，就是双目成像。双目成像是最简单的模拟人双眼感知三维景物的 成像方式。 所谓视差是指立体成像系统中，三维场景的一个点在不同图像中投影点的位 置的差异，包括各摄像机的摄像角度、相对运动及场景中对象的运动所产生的差 异，视差对立体视觉的形成起着至关重要的作用。 图2 1 是一个双目摄像系统的简单模型。图中两个摄像镜头中心间的连线称 为摄像系统的基线& 厂为焦距，三维场景物理点矿与两个镜头中心确定的平 面称为外极平面( e p i p o l a rp l a n e ) ，外极平面与左右图像平面的两条交线称为共轭 外极线( c o n j u g a t ee p i p o l a rl i n e ) 。也就是说，三维场景物理点在两个图像平面上 的投影位于一对共轭外极线上，这是视差匹配的一条重要依据。如果两个摄像机 的光轴平行，则两条共轭外极线相互平行。 镜 左图像 图2 1 双目摄像系统模型 外极线 上海大学硕士学位论文 基于视差分析的立体视频对象分割 设三维坐标系统的原点位于基线口的中心，像平面坐标系的原点位于图像的 中心。以( 咒ez ) 表示三维场景中一个物理点矿的三维坐标，该点在左右图像中 投影成两个相应的像点 ，砌和0 ，”) 。很显然，这两个像点是一对同名点，它们 之间的位置差矢量d = ( x t - x r ，y t m ) 就是这两个像点之间的视差。双目摄像系统 可以根据两个同名点的坐标( x t ，如和，儿) 确定三维场景物理点的坐标墨y ， 西，下一节将详细进行分析。 2 2 平行双目摄像系统的原理分析 图2 2 中，基线c f , 和外极线三卜厶两两相互平行，构成了平行双目摄像 系统，图示为平行双目摄像系统的俯视图。肖轴为水平方向，和基线重合；z 轴 为摄像机和物体的距离轴；垂直方向的y 轴没画出。图2 2 中两条粗黑线表示左 右成像平面，0 ，和研是成像平面的中心；p t 和p r 是三维空间p 点在左右成像平 面上的成像点“，和蜥相对于平面中心的位移，其中p ，为正值、p ，为负值；摄像 机的焦距为 基线c j g 的长度为压。 z i n x , y , z ) z a 一o ；n ：i r ! ： ! o rh 。 l ；u -。 “ f t 飞+ ， u ：o ：g ： 一l 图2 2 平行双目摄像系统的原理分析 x c ，o t u ，n i g c p 、c ，0 ，g g l k c r c p 都是相似三角形，由几何知识可得式 2 1 、式2 2 ： 皇兰 ( 式2 1 ) z 上海大学硕士学位论文 基于视差分析的立体视频对象分割 二_ 生：生 f z ( 式2 2 ) 在式2 1 和式2 2 中消去x ，可得式2 3 ： e 一只：2 h f( 式2 3 ) z 定义p 点在左右成像平面的投影点离各自平面中心的位移之差为视差d ，即 d ：只一p ：型 2 3 视差特性分析 ( 式2 4 ) 2 3 1 视差与深度的关系 式2 4 把物体与像平面的距离z ( 即三维世界中的深度) 及视差d ( 像坐标 “，与坼的差) 直接联系了起来，因此视差的大小与深度相关，包含了三维场景物 体的空间信息 7 ，所以可以用视差来表示相对深度。不问的三维场景物体，由 于其在三维坐标系z 轴的值( 深度) 各不相同，产生不同的视差值。由式2 4 可知，视差和物体与摄像机之间的距离z 成反比，离摄像机越远的物体视差越小， 而离摄像机越近的物体视差越大。对于处于同一目标对象上的点，由于它们与摄 像机之间的距离相近，所以其视差也相近，具有连续性；但在对象边界处，由于 不同对象离摄像机的距离不同，所以视差也不同，具有间断性。以上分析说明， 在立体摄像测量中，同名点视差的测量是关键的，根据视差信息，可由像平面坐 标推知其对应的三维空间点的坐标。 2 3 2 视差与遮挡 由于双目摄像系统的几何结构，即使我们假定满足平行光轴的条件，也会出 现三维空间物体的一部分仅在图像对的一个图像中出现的情况，这种现象称为 “遮挡”。 如图2 3 所示，由于物体b 的遮挡，物体a 中的部分区域c 只能在0 ，对应 的成像面中成像，而不能在0 ，对应的成像面中成像。遮挡区域的检测是一个难 点问题，而且由于缺少信息，遮挡区域的视差难以确定，因此遮挡会使视差估计 的过程复杂化。 8 上海大学硕士学位论文 基于视差分析的立体视频对豫分割 图2 3 遮挡 2 3 3 视差与基线大小的关系 由式2 4 可知，两个摄像机问的基线大小和视差的大小成正比 8 。因此， 如果基线小，则图像对之间的差异小：而基线大使得图像对之间的差异大，导致 两幅图像中的公共区域减少，容易出现较多遮挡，给视差估计带来困难。 2 4 本章小结 本章主要内容包括： 1 ) 介绍双目摄像系统及视差的涵义 2 ) 平行双目摄像系统的原理分析，通过公式推导得出视差与深度之间的反 比关系，此关系也是把视差信息用于对象分割的理论依据； 3 ) 分析了视差与遮挡、视差与基线大小的关系，为第三章的立体视差估计 奠定基础。 上海大学硕二b 学位论文 挂于视差分折的立体视频对象分割 3 1 引言 第三章立体视差估计 立体视差估计是指将同一空间景物在不同视点投影图像中的投影点对应起 来，并由此得到相应视差场的过程。立体视差估计，又称立体匹配，是立体视觉 技术中的核心问题，也是立体图像视频编码、对象分割及中间视合成的关键步 骤。 如图3 1 所示，在立体图像对中选一幅作为参考图像，则另一幅为目标图像， 一个简单的视差估计过程为：从目标图像中选出一点( 三维场景中物体表面上某 一点的投影点) ，然后从参考图像中找出其对应点，两个同名点之间的位置矢量 差就是视差矢量。 ( a ) 左图像( b ) 右图像 _ f 圳鼍i 1 7 “一。 测度 ，? 不 。 p 一_ 4 。一、i ”：景佳匹配点 ( c ) 沿外极线进行匹配搜索 图3 1 视差估计过程 上海大学硕士学位论文 基于视差分析的立体视频对象分割 立体匹配是立体视觉中最关键也是最困难的步骤。当三维空间景物被投影成 二维图像时，不同视点下得到的投影图像会有所不同，而且场景中的诸多变化因 素，如光照条件、噪声干扰、景物几何形状、表面物理特性以及摄像机特性等， 都被综合成单一的图像灰度值。因此，要准确地对包含了如此多不利因素的图像 进行无歧义的匹配，显然是十分困难的。 对于任何一种立体匹配方法，其有效性依赖于3 个问题的解决，即： 1 ) 匹配基元：选择适当的图像特征作为匹配基元，如点、块、直线等： 2 ) 匹配准则：寻找特征的本质属性，将物理世界中的某些固有特性表示为 匹配所必须遵循的若干规则，使匹配结果能真实反映景物的本来面目； 3 ) 匹配算法：利用适当的数学方法设计能正确匹配所选基元的稳定算法。 立体匹配的研究都是围绕这三个方面展开的，虽然经过多年的研究，已经有 了很大的发展，但是至今仍未得到完善的解决，例如：如何选择合理的匹配特征， 以克服匹配准确性与恢复视差全面性间的矛盾；如何选择有效的匹配准则和算法 结构，以解决存在严重灰度失真、几何畸变( 透视、旋转、缩放等) 、噪声干扰、 特殊结构( 平坦区域、相似结构重复等) 及遮挡景物的匹配问题；如何建立更有 效的图像表达形式和立体视觉模型，以更充分地反映景物的本质属性，为匹配提 供更多的约束信息，降低立体匹配的难度；如何降低实现的复杂程度和计算量等 方面都需要进行更深入的探索和研究。 本章首先介绍了立体视差估计过程中的约束条件，采用这些约束条件可以在 提高匹配准确度的同时降低匹配复杂度；然后对有代表性的立体匹配方法加以综 述，分析指出各种方法的优点及问题；在此基础之上，本文提出一种视差估计方 法并对匹配搜索过程优化：针对视差估计过程中的遮挡问题，提出一种有效的遮 挡补偿方法。对比现有方法，本文提出的方法在实验中得到了效果更好的视差图。 在本文第五章的视频对象分割研究中需要对视差场进行分割，而本章中提出的方 法为此提供了准确可靠的视差图。 3 2 视差估计过程中的基本约束 如前所述，立体匹配是立体视觉分析中最困难的部分，其求解过程可归结为 上海大学硕士学位论文 基于视差分析的立体视频对象分割 病态求逆的问题，不能保证有唯一的、稳定的解，而且光照条件、噪声、重复纹 理、遮挡等因素都会带来误匹配、重复匹配等问题，使得一幅图像中的某一特征 基元，在另一幅图像中可能会有几个对应的匹配基元。许多病态问题都要依靠自 然的约束条件，才能获得较准确的解答，以下几种约束条件是针对立体匹配而提 出的，遵循这些约束条件进行匹配，可以减少匹配搜索范围并得到更准确的匹配 结果，最终获得更精确的视差图。 1 ) 外极线约束 如图3 2 所示，对于左图像中任意给定的一点p ，它位于对应的空间点p 与左摄像机光心口的连线上。这条连线和右摄像机的光心口一起组成一个平面 ( 外极平面) ，这个平面与右图像平面相交于一条直线厶，这条直线就是左图像 中的点p f 在右图像中对应的外极线。 p q 图3 2 外极线约束 容易看出，位于直线o x p 上的任意点( 例如| p 点) 在左图像上的投影点都 为p ，而p 在右图像中的投影点定位于p t 在右图像中对应的外极线，r 上。也 就是说，对于任意一点p ，我们只需在它对应的外极线厶上搜索其同名点，这就 是外极线约束 9 i o ，是立体视觉中最基本的约束。 外极线约束将二维搜索简化为一维搜索，大大缩小搜索同名点的范围，显著 提高了立体匹配的效率。对于平行摄像系统，两幅图像中对应的外极线是平行的， 对应的同名点的搜索区域被限制到一条水平线上，即只需进行水平方向的搜索。 在理想的双目立体视觉模型中，外极线与图像扫描行重合。本章研究的立体视差 估计方法，都是针对理想视觉模型获取或经校正后的立体图像对，即其外极线与 图像扫描行重合。 l 海大学硕士学位论文 基于视差分析的立体视频对象分割 2 ) 相似性约束 相似性是指立体图像对中的同名点及其邻域有相似的亮度和其它特征属性， 这一约束的具体含义随所选用的特征及其属性的不同而有所不同。例如采用边缘 检测的过零点作为特征，则达到匹配的两个过零点应有两个属性是相同的：一是 边缘的极性，即它是由正到负还是由负到正的突变；另一个是在该边缘点处边缘 的方向。 3 ) 唯一性约束 在一般情况下，由于空阔物体上的一个点仅投影到每个图像中的一个点上， 使得一幅图像中的每个点只能对应于另一副图像中的一个点，所以图像中的每个 点也只能被赋予唯一的视差值。这个约束使得匹配成为一一映射，而非多对一的 映射。 4 ) 顺序约束 在立体图像对中，对应像素点或图像特征在图像中的相对次序应保持一致， 其视差也是有序的，只有遮挡区域是例外。顺序约束包括水平顺序约束和垂直顺 序约束，只是方向不同，原理完全一致。 水平顺序约束的基本原理如图3 3 所示，在立体图像对中，三条直线的水平 顺序并不因为不同的摄像角度而发生改变。在实际的匹配处理中，正确的匹配直 线对为( z f ，f ，) 、沏j ，m r ) 、( n ，n r ) ，而匹配直线对( f ，f ，) 、，n r ) 、( 竹f ，埘，) 由于违背了 水平顺序约束，所以被剔除。 左图像右图像 图3 3 顺序约束 顺序约束为减少立体匹配中存在的歧义提供了有力的判决条件，在立体匹配 过程中得到广泛应用。 上海大学硕士学位论文 基于视差分析韵立体视频对象分割 5 ) 平滑性约束 由于物体表面一般是平滑的，因而它们的视差一般也是平滑的，只是在物体 边界的深度间断处例外。 实际匹配过程中的情况要复杂得多，可以结合使用以上约束条件，还可以根 据具体情况给出其它约束条件来解决立体匹配问题。 3 3 立体匹配方法综述 立体视差估计一直是研究及应用立体视觉的关键性问题，因此针对此问题已 经提出了许多方法。根据采用的匹配基元的不同，视差估计方法 1 1 主要归纳为 两种类型：基于灰度和基于特征的方法。 3 3 1 基于灰度的匹配法 基于灰度的匹配法是把一幅图像中某一点的灰度邻域作为匹配基元，在另一 幅图像中搜索具有相同( 或相似) 灰度值分布的对应点邻域，从而实现两幅图像的 匹配并得到各个点的视差 1 2 1 3 1 4 。在搜索过程中，通常是以相关函数作为 两个搜索领域的相似性测度。 基于灰度相关的匹配法在平坦而纹理丰富的区域可以达到较高的匹配精度， 由于直接对图像像素进行匹配，因此匹配结果不受特征检测精度和密度的影响， 可得到密集的视差场 1 5 。尽管人们对基于灰度的匹配法进行了大量研究并提出 很多改进措施，目前仍存在以下不足： 1 ) 过分依赖于图像灰度统计特性。由于直接利用图像的像素灰度值进行匹 配，使得匹配效果对于景物表面结构、成像以及光强和对比度的变化等比较敏感。 如果景物表面缺乏足够的纹理细节，由于信息量小，容易出现误匹配： 2 ) 当左、右两幅图像中存在重复结构的纹理特征或相关像素邻域内存在深 度间断、遮挡现象时，常常会引起匹配的混淆； 3 ) 由于基于灰度的匹配法需要对搜索区域内的每一位置进行穷举匹配，而 且在每一位置上要进行逐点的运算，因此该方法的运算量较大。虽然采用外极线 约束条件以及由粗到细的匹配层次结构等可以在一定程度上减少匹配的运算量， t 海大学硕士学位论文基于视差分析的立体视频对象分割 复杂性仍然很高。 3 3 2 基于特征的匹配法 与基于灰度的匹配法不同，基于特征的匹配法 1 6 1 7 1 8 不是直接利用图 像灰度，而是通过能表示景物自身特性的特征来实现匹配。由于特征更多地强调 空间景物的结构信息，因此基于特征的匹配法可以较好的解决歧义性问题，且对 光线、对比度变化等不敏感。基于特征的匹配法通常包括两个步骤：特征提取和 特征匹配。 特征提取主要是利用特征提取算子提取图像特征，这些特征通常都是图像中 灰度变化明显的点、线、面或是图像的结构关系。特征提取是整个基于特征匹配 方法的基础，提取特征的多寡、特征定位精度的好坏、特征信息可信度的高低等 都会直接影响到后面的匹配结果。通常特征提取的对象有两类，一类为点特征， 如零交叉点、边缘点、角点等 1 9 ；另一类为图像的结构特征，如直线段 2 0 、 灰度段、二次曲线 2 1 2 2 等。 特征匹配是在左右图像对的特征之间寻找对应关系，通常这种关系是一一对 应的。特征匹配的方法有很多种，既可以直接利用特征点邻域的灰度信息，也可 以利用特征提取时获得的特征信息，如特征的强度、方向、特征间的相互关系等 等。常见的特征匹配方法有相关法、松弛法、动态规划法以及多分辨率法等，其 中，多分辨率法可以与其他方法结合使用，减少计算时间。 基于特征的匹配法的优点在于： 1 ) 由于图像特征相对于图像灰度而言，属于较高级的图像结构信息，包含 信息量多、鲁棒性强，受噪声及光线、对比度变化等影响较小，具有较好的匹配 准确度； 2 ) 由于边缘特征往往出现在视差间断区域，因此基于特征的匹配法能较好 地处理立体匹配中的视差不连续问题： 3 ) 计算量小，速度快。这是因为它只对特征进行搜索匹配，丽不是图像中 的所有像素点，因此在匹配过程中算法的空间复杂度和时间复杂度都较小。 基于特征的匹配法也存在以下不足： 上海大学硕士学位论文 基于视差分析的立体视频对象分割 1 ) 特征在图像中的稀疏性决定基于特征的匹配法只能得到稀疏的视差场， 视差场的疏密程度取决于特征量的多少。如果要获得密集的视差场，必须通过插 值来实现，而插值本身又是一个复杂的病态过程； 2 ) 特征的提取和定位结果直接影响匹配效果，如果特征提取效果不好会很 大程度上制约匹配精度的提高。 在本文第五章的立体视频对象分割研究中需要对视差图进行分割，要求密集 的视差图，因此下面重点讨论并研究基于灰度的匹配法。 3 3 3 几种基于灰度的匹配法分析 3 3 3 1 固定尺寸块匹配法 如图3 4 所示，固定尺寸块匹配法的基本原理是：以立体图像对中的一幅作 为参考图像( 如右图像) ，另一幅作为目标图像( 如左图像五) ，把目标图像分 割成尺寸大小相等的块，设定一个搜索步长，根据某一匹配准则，对目标图像中 的每个块在参考图像中搜索其最佳匹配块，一般以匹配误差最小的块作为最佳匹 配块，参考图像中最佳匹配块相对于目标图像中目标块的位置偏移就是视差矢 量。 ( a ) 左图像五 ( b ) 右图像厶( c ) 视差图 图3 4 固定尺寸块匹配法 两个常用的误差匹配准则是平均绝对误差( 捌d ) 和均方误差( m s e ) 。假设 右图像为参考图像，左图像为目标图像，左图像被分割成具有mx n 像素尺寸的 目标块，则m a d 和m s e 的定义为： 心。= 志薹弘( 删，旷伽地) i ( 越) 上海大学硕士学位论文 基于视差分析的立体视频对象分割 m s e 2 面l _ 善善( m 问一，+ “，n + v ) ) ( 式3 2 ) 1m 2 以上2 式中甜，v 表示水平和垂直方向的视差。 块的尺寸选择是固定尺寸块匹配法的关键问题之一。为实现可靠的匹配，要 求块的尺寸足够大，从而可以包含足够的灰度信息，但如果尺寸过大则视差图容 易模糊，精度不高，而且当匹配块中存在视差突变( 深度间断) 时，易产生误匹 配；为避免由于匹配块内存在视差突变而造成的误匹配，要求块足够小，但如果 尺寸过小，视差图的生成容易受噪声干扰，不易产生平滑、精确的视差场。权衡 各种因素，一般块的尺寸选取为8 8 像素较为适宜。 3 3 3 2 可变尺寸分块匹配法 针对上述固定尺寸块匹配法的缺点，人们提出了可变尺寸分块匹配法 2 3 ， 其基本原理如图3 5 所示： 、 蔓尊薯鬻 懑j 鋈 馘 。美l | 鬻 _ 。 薯 i 誊豢薯誊 眵| | | 。_ 翰l 酋 鳓 i j 秘童毒。| 薹i ：辘、 i 怒， 确l 理连 。0 。奠 ? 。浮蠹善 罄繇 侮” ? i 每当誊蒜：= 。_ 。： _ 叠。岛 i懑臻 薹囊警= =、l 嘛 1 = 曩誊? 。“秘翰卜酾、 ( b ) 分块效果 ( a ) 可变尺寸块 ( c ) 视差图 图3 5 可变尺寸分块匹配法 | 二海大学硕士学位论文 基于视差分析的立体视频对象分割 先把目标图像划分为较大尺寸的块，匹配搜索到参考图像中对应的最佳匹配 块，如果检测出其匹配误差较大( 例如对应块之间的m a d 或m s e 超过某个闽 值) ，则判定当前目标块的匹配结果是不可靠的，把它划分为更小尺寸的子块， 再分别对每个子块在参考图像中进行匹配搜索，如此依次进行下去，直至匹配块 的匹配误差满足要求或者分块次数达到设定的上限。相对于固定尺寸块匹配法不 能同时在视差平滑区和视差突变区达到较好匹配效果，可变尺寸分块匹配法的匹 配结果更准确。 3 3 3 3 基于边缘信息的分块匹配法 在可变尺寸分块匹配法的基础上，文献 2 4 2 5 2 6 提出了基于边缘信息的 分块匹配法，其基本原理如图3 6 所示：由于图像中的对象边界通常也是深度间 断处，因此图像中的边缘处可能存在视差突变，如果判定当前目标块的匹配结果 不可靠，则在对当前目标块进行分块的过程中检测块中包含的边缘结构，尽可能 在边缘处进行分块，这样可以减少由于目标块内存在视差突变( 深度间断) 而导 致的误匹配。 墨“ 糍_爱瓤童 翟。端蔓一b 螽。叠一2 ；鹣请赫媸 | 一。 冀。 ， 。鬻! i强麟| 。i | 弩。- 1 _ ；_嚣 置蹩， 黼_ 篱一 嚣i t毒埘 _ ，| 。盼0 鼯 ” 甓i r 一 一。0 一卜叠1 臻0 蛳 嘞 f卜啦 l 1 i 日呱 ( a ) 根据边缘信息进行分块 ( b ) 分块效果 ( c ) 视差图 图3 6 基于边缘信息的分块匹配法 上海大学硕士学位论文基于视差分析的立体视额对象分割 上述的几种基于灰度的匹配法，在参考图像中搜索到最佳匹配块后，将目标 块中的所有象素点都设为同一视差矢量，如图3 4 ( c ) 、图3 5 ( c ) 和图3 6 ( c ) 所 示，对于以分割为目的的视差图来说，这显然是不够精确的。因此，本文提出的 视差估计方法对目标图像进行逐像素匹配，在匹配窗口的选取上借鉴了上述方 法。 3 3 4 多分辨率匹配法 视差估计过程中，在原图像对之间直接进行匹配往往计算量很大，为此有人 提出了层次化的匹配方法 2 7 2 8 2 9 ，即将原图像分为不同分辨率层进行多层 次处理。图像对之间的匹配可先从低分辨率的层次开始，逐渐扩展到高分辨率的 层次，这样可以减少匹配时的运算量，提高匹配速度，因此多分辨率匹配法在立 体视觉处理中得到广泛应用 3 0 3 1 。 文献 3 2 3 3 中提出并发展了两级模板匹配，其基本原理是将匹配过程分为 两级进行：第一级为粗匹配，剔除那些明显不可能是匹配点的点：然后在第二级 的精匹配中使用剩下的图像点进行匹配。文献 3 4 先进行立体图像的粗匹配，然 后根据粗匹配得到的视差图信息和邻域的灰度变化信息决定最优的窗c i 大小，进 而作较高精度的匹配，如此动态更新视差图，直至收敛。文献 3 5 在对图像中的 对象边缘轮廓进行立体匹配的过程中采用二级匹配算法，其基本原理是：对边缘 轮廓上每个边缘点进行立体匹配时，先采用尺寸较大的匹配窗口，在参考图像中 搜索得到初始匹配点，然后将初始匹配点所在位置作为起始搜索位置，采用尺寸 较小的匹配窗口进行二次匹配，最后搜索得到较准确的匹配点。 3 4 基于边缘信息的二级匹配法 本文提出的基于边缘信息的二级匹配法，结合了基于边缘信息的分块匹配法 和二级匹配法各自的特点。 3 4 1 算法描述 算法框图如图3 7 所示，先进行初级立体匹配，由目标图像的边缘检测结果 判断目标点是否属于边缘或边缘附近的点：如果是，则减小匹配窗口；如果否， 则增大匹配窗口，再以参考图像中初级匹配点的位置为起始位置进行二级匹配搜 上海大学硕士学位论文基于视差分析的立体视频对象分割 索，得到最终匹配结果。 图3 7 基于边缘信息的二级匹配法框图 本算法中有两点需要注意： 1 ) 算法中用到了第五章对象分割过程中提供的图像边缘结构信息，而对象 分割过程中也需要对视差图进行分割，因此，视差估计和对象分割两部分是结合 进行的。 2 ) 通常由初级视差估计得到的初级匹配点已接近于最终匹配点的位置，所 以二级视差估计中设定的搜索范围相对于初级视差估计的搜索范围要小很多，实 验中设为初级视差估计匹配搜索范围的l 4 就可以取得较好效果。 3 4 2 匹配搜索过程优化 效果最好的匹配搜索方法是对于搜索步长内的所有候选点进行匹配搜索， 但运算量很大。本文主要通过合理减少匹配窗口的运算量及根据视差特性设定适 当的搜索路径来提高匹配速度。 在搜索匹配点的过程中，如果当前候选点的匹配窗口中已完成计算的像素 点的累计绝对误差和( s a d ) 或误差平方和( s s e ) 已经大于之前候选点获得 的最小s a d 或s s e ，则不必再对匹配窗口中余下的像素点进行计算，即遗弃此 候选点。这样，只有匹配点及其附近候选点才需要对匹配窗口中的多数像素点进 上海大学硕士学位论文 基于视差分析的立体视频对象分割 行计算，对于大多数非匹配点而言，只需计算匹配窗口中的少量像素点，如此就 可以大大减少运算量。而且，如果在匹配搜索过程中可以尽快访问到匹配块，就 能进一步提高匹配速度。 如上所述，应该根据视差特性设定适当的搜索路径以期能尽快访问到匹配 点。由第二章对视差与深度关系的分析可知：两者成反比，也就是说背景的视差 值要比前景对象的视差值小。通常，对于大多数图像尤其是小视差图像而言，图 像中的大部分像素点属于背景，即视差值较小的像素点占多数。因此，匹配搜索 顺序若是从目标点在参考图像中的对应位置开始，由视差较小处向视差较大处搜 索，在多数情况下可以尽快访问到匹配点。 在平行双目摄像系统中，右图像可近似看作是左图像中各个像素点