（信息与通信工程专业论文）基于阵列摄像机的深度图获取算法研究.pdf

浙江大学硕士学位论文 摘要 随着信息科学与计算机技术的发展，三维信息获取技术已成为工业检测、生 物医学、虚拟现实等领域的关键技术，在机械加工、影视特技制作、高级游戏、 文物保护、服装设计、三维通讯、航天遥测、军事侦察等领域有广阔的应用前景。 在上述领域中，人们对三维获取技术的要求也越来越高。而目前主要采用的多目 立体视觉技术、结构光技术、d f mo rs f m ( d e p t hf r o mm o t i o no rs t r u c t i o nf r o m m o t i o n ) ，d f f 和t o f ( t i m eo f f l i g h t ) 等三维获取技术，都有各自的优点和缺点， 但至今还没有一种技术能很好地满足实时性、高精度、高分辨率和低成本等要求。 t o f 技术是近几年来迅速发展起来的三维获取技术，其优点是精度高、实时和廉 价；缺点是距离较大时会产生深度数据的不确定性，空间分辨率还较低。多目立 体视觉是一种应用很广，并已被深入研究的三维获取技术，其主要缺点是立体匹 配计算量大、容易产生误匹配，对于阵列摄像机系统，其实现代价非常昂贵。 本论文主要研究基于阵列摄像机的深度图获取算法，用到的摄像机阵列包含 一个t o f 摄像机和多个可见光摄像机。算法的主要思想是根据t o f 摄像机提供 的低分辨率深度图，来得到每个可见光摄像机视点上的高分辨率深度图。在每个 可见光摄像机视野下的深度图求取过程中只用到了该可见光摄像机本身的灰度 图或者彩色图和3 d 摄像机的低分辨率深度图以及强度图。 首先，本文提出一种新的t o f 摄像机和可见光摄像机之间的标定方法，该 标定方法同时用到了t o f 摄像机视野下的强度图和深度图。实验证明本论文中 新的标定方法在用于t o f 摄像机和普通摄像机之间的标定的时候较传统的摄像 机标定方法有着更高的精度。 然后，本论文根据具体的应用场合的不同提出了一些不同的基于阵列摄像机 的深度图获取算法。第一，针对室内简单场景，本文提出了基于误差平方最小化 能量函数的实时深度信息获取算法。第二，本文提出了针对室内复杂场景的深度 图获取算法，该算法用到了一种新的融合了颜色信息和深度信息的能量函数，该 能量函数能够保证在对深度值进行迭代修正的时候尽量的拿到正确的数据，实验 证明该算法在复杂场景下有着不错的效果。第三，对上述的复杂场景下算法进行 了改进，引入了t o f 深度值的不确定性描述和标定参数本身的不确定性描述，并 在迭代修正过程中采用了自适应的邻域计算方法。实验证明本论文中算法能够在 i v 浙江大学硕士学位论文 各自的应用场合下成功的生成摄像机阵列中各个可见光摄像机视野下高质量的 高分辨率深度图。 最后，对本论文中的深度信息获取算法进行了总结，并提出了未来的研究方 向。 关键字：深度信息获取，摄像机阵列，t o f 摄像机，摄像机标定，马尔科夫 随机场，立体视觉中的不确定性描述 v 浙江大学硕士学位论文 a b s t r a c t w i t ht h e d e v e l o p m e n t o fi n f o r m a t i o ns c i e n c ea n dc o m p u t e r t e c h n o l o g y ， t h r e e - d i m e n s i o n a li n f o r m a t i o na c q u i s i t i o nh a sb e c o m et h ek e yt e c h n o l o g yi nt h ea r e a s o fi n d u s t r i a l i n s p e c t i o n , b i o m e d i c i n e ，v i r t u a lr e a l i t y , e t c ，a n dt h r e e d i m e n s i o n a l i n f o r m a t i o na c q u i s i t i o nt e c h n o l o g yh a saw i d ea p p l i c a t i o np r o s p e c ti nm a c h i n i n g ，f i l m s p e c i a l e f f e c t s p r o d u c t i o n ，a d v a n c e dg a m i n g ，c o n s e r v a t i o n ，c o s t u m ed e s i g n ， t h r e e - d i m e n s i o n a lc o m m u n i c a t i o n ，a e r o s p a c er e m o t es e n s i n g ，m i l i t a r yr e c o n n a i s s a n c e ， a n ds oo n i nt h e s ef i e l d s ，p e o p l e sr e q u i r e m e n t so nt h r e e d i m e n s i o n a li n f o r m a t i o n a c q u i s i t i o nt e c h n o l o g y a r e i n c r e a s i n g l yh i g h t h r e e d i m e n s i o n a l i n f o r m a t i o n a c q u i s i t i o nt e c h n o l o g i e sc u r r e n t l yu s e d ，s u c ha sm u l t i - h e a ds t e r e ov i s i o nt e c h n o l o g y ， s t r u c t u r e d l i g h tt e c h n i q u e ，d f mo rs f m ( d e p t hf r o mm o t i o n o rs t r u c t i o nf r o m m o t i o n ) 、d f fa n dt o f ( t i m eo ff l i g h t ) ，h a v et h e i ro v e na d v a n t a g e sa n dd i s a d v a n t a g e s ， a n dn os i n g l et e c h n o l o g yc a ns a t i s f yr e q u i r e m e n t so fr e a l - t i m e ，h i g ha c c u r a c y ，h i 幽 r e s o l u t i o na n dl o wc o s t t o ft e c h n o l o g yi sd e v e l o p e dr a p i d l yi nr e c e n ty e a r s ，i t s a d v a n t a g e sa r eh i g ha c c u r a c y , r e a l - t i m e ，a n dl o w c o s t , t h ed i s a d v a n t a g ei st h a tl o n g d i s t a n c ew i l lc a u s el a r g eu n c e r t a i n t yi nt h ed e p t hd a t a , a n ds p a t i a lr e s o l u t i o ni ss t i l l r e l a t i v e l yl o w m u l t i - s t e r e ov i s i o nh a sb e e nd e e p l ys t u d i e da n dw i d e l yu s e d i t sm a i n d r a w b a c k sa r el a r g ea m o u n to fs t e r e om a t c h i n gc a l c u l a t i o n s ；e a s i l yl e a dt of a l s e m a t c h e s ；a n df o rt h ec a m e r aa r r a ys y s t e m ，i t si m p l e m e n t a t i o nc o s ti sv e r ye x p e n s i v e t h i sp a p e rm a i n l ys t u d i e so nt h ed e p t hm a pe s t i m a t i o na l g o r i t h m sb a s e do nc a m e r a a r r a y c a m e r aa r r a yu s e di nt h i sp a p e rc o n s i s t so fo n et o f c a m e r aa n ds e v e r a lv i s u a l c a m e r a s a l g o r i t h m sp r o p o s e di nt h i sp a p e rs e e k st og e n e r a t eh i g hr e s o l u t i o nd e p t h i m a g eu n d e rt h ev i e wo fe a c hv i s u a lc a m e r a ，i nt h i sp r o c e s so n l ye a c hv i s u a li t s e l fa n d t o fc a m e r aa r eu s e d p a s s i v es t e r e oi sn o tu s e di no u rm e t h o d s f i r s t l y , an e wc a l i b r a t i o nm e t h o db e t w e e nv i s u a lc a m e r aa n dt i m e o f - f l i g h tc a m e r a i sp r o p o s e d ，i nw h i c ht h ei n t e n s i t yi m a g ea n dd e p t hi m a g eo ft o fc a m e r aa r eb o t h u s e d i nt h ee x p e r i m e n t a lr e s u l t ，w ec a nf i n dt h a to u rn e wm e t h o dw o r k sb e t t e rt h a n t h et r a d i t i o n a lc a l i b r a t i o nm e t h o dw h e ni ti su s e di nt h ec a l i b r a t i o nb e t w e e nt o f c a m e r aa n dv i s u a lc a m e r a v i 浙江大学硕士学位论文 t h e n ，f o rd i f f e r e n ta p p l i c a t i o n s ，an u m b e ro fd e p t hm a pe s t i m a t i o na l g o r i t h m s b a s e do nc a m e r aa r r a ya r ep r o p o s e di nt h i sp a p e r f i r s t ，f o ri n d o o rs i m p l es c e n e ，w e p r o p o s e dar e a l t i m ed e p t hm a pe s t i m a t i o na l g o r i t h mf o rv i s u a lc a m e r a t h eo p t i m a l d e p t hv a l u ei sc a l c u l a t e db ym i n i m i z i n gt h es q u a r e de r r o r s e c o n d ，an e wd e p t hm a p e s t i m a t i o na l g o r i t h m sb a s e do nc a m e r aa r r a yf o r t h ei n d o o rc o m p l e xs c e n ei s p r o p o s e d i nt h i sa l g o r i t h m ，t h en e we n e r g yf u n c t i o nf u s e st w od i f f e r e n tk i n d so f d a t a ： t h ed e p t hd a t aa n dt h ec o l o rd a t a ，a n dm a k e ss u r et h a tt h ep r o p e rd a t aa r ea l w a y s c h o s e nw h e nw ea r ee s t i m a t i n gt h e d e p t hd a t ao ft h ep i x e l s i nt h er e f i n e m e n t p r o c e d u r e t h i r d ，t h ed e p t hm a pe s t i m a t i o na l g o r i t h mi na p p l i c a t i o no fi n d o o r c o m p l e xs c e n ei si m p r o v e db yi n t r o d u c i n gt h eu n c e r t a i n t yo ft o fd e p t hv a l u ea n d c a l i b r a t i o np a r a m e t e r s ，a n da d o p t i n gt h ea d a p t i v en e i g h b o r h o o dc a l c u l a t i n gm e t h o d e x p e r i m e n t a lr e s u l t so fa l la l g o r i t h m ss h o wt h a tt h eh i g hr e s o l u t i o nd e p t hm a p su n d e r t h ev i e wo fv i s u a lc a m e r a sa r es u c c e s s f u l l yg e n e r a t e da n do fh i g hq u a l i t y f i n a l l y , w eg i v et h es u m m a r yo ft h ea l g o r i t h m si nt h i sp a p e ra n dt h ef u t u r er e s e a r c h d i r e c t i o n s k e y w o r d s ：d e p t hm a pe s t i m a t i o n ，c a m e r aa r r a y ，t i m e - o f - f l i g h tc a m e r a ，s t e r e o c a l i b r a t i o n ，m r f , u n c e r t a i n t yd e s c r i p t i o ni ns t e r e ov i s i o n v 浙江大学硕士学位论文 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得澎姿盘堂或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者躲黑岳签字嗍加，o 年；月7 日 学位论文版权使用授权书 本学位论文作者完全了解逝鎏盘堂有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝鋈盘堂可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保 存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：野岳 导师签名： 签字吼加。年宝月7 日 h 干激 j 签字日期9 l p年弓月舯 浙江大学硕士学位论文 致谢 研究生阶段的学习即将结束，在这短暂的两年半时间里，系里的老师和同学 们给予我很多的指导和关心，让我受益匪浅，在此我想向他们表示衷心的感谢。 首先感谢我的导师于慧敏教授。于老师在算法研究方面具有渊博的专业知 识、敏锐的洞察力和丰富的实践经验，在他的指导下我的算法理论水平有了很大 的提高。另外他对待教学和科研工作一丝不苟、精益求精，在学业上也给了我很 多指导和帮助，使我在学习工作中具有了的端正、严谨的态度。 其次，我要感谢实验室的周颖、郭超、王楠、陈飞、姚劲草等同学，他们在 平时的学习和讨论过程中给了我很多建议。另外还有褚金锦、潘丰俏、王诗言、 祁仲昂、金永波、杨辉、杨刚、王一叶等同学，感谢他们在我研究生学习工作中 给我的帮助，感谢我的室友吴祖成、李源深和瞿小峰，在我遇到困难时他们给予 我很多的支持和鼓励。 最后，我要感谢我的父母、亲人以及其他关心我的长辈，一直以来他们都给 予我最大的理解、信任和支持，他们是我坚强的后盾。 谨以此文献给我敬爱的父母、老师以及亲爱的朋友们! 吴嘉 2 0 1 0 年1 月于求是园 i i i 浙江大学硕士学位论文 第一章绪论 1 1 本论文的应用背景与研究目的 长久以来，人类眼睛所获得的周围世界的信息是立体的。因此，人们很自然 的希望能有一种实时的媒体播放技术，它能够提供给人们就像用自己的双眼来观 看物体那样的立体感受。然而传统的图像、视频等媒体播放技术提供给我们的都 是平面的信息，无法满足人们的日益增长的需求。近几年提出的立体电视技术 ( 3 d t v ) 和自由视点电视技术( f r e ev i e w p o i n tt v ) 成为满足人们需求的最有 前途的研究方向。同时，随着航天航空、建筑设计和城市规划等相关领域的不断 发展，虚拟现实( v i r t u a lr e a l i t y ) 作为实现这一目标的关键技术也成为一个十分 热门的研究领域。 立体电视技术、自由视点电视技术以及虚拟现实等前沿技术的核心和关键点 都是深度信息的获取，而深度信息的获取本身就是一个很有挑战性的问题。传统 的立体匹配的方法虽然在理论上是完美的，但是在实际应用中存在着很多问题： 基于图像颜色的立体匹配技术很难找到准确的匹配点，对于颜色单一、无纹理的 区域无能为力；利用了空间结构信息的立体匹配技术虽然能够准确的找到匹配 点，但是这种方法的复杂度很高，并且往往需要人工干预，这也就限制了这种方 法的应用范围。另一方面，传统的深度信息获取传感器在获取深度信息时是逐点 扫描的，速度慢，很难满足实时的要求，并且只能应用于静态的场景。 可见，深度信息获取仍然是计算机视觉领域的一个十分热门的研究方向，还 有很多的问题需要解决。本文针对上述问题，对基于阵列摄像机的深度信息获取 算法进行了研究，并有一些成果分别应用于室内的简单场景( 可以满足实时的要 求) 和复杂场景。 1 2目前的深度信息获取算法和国内外研究现状 近几年，国内外的许多研究机构和学者在这方面做了大量的研究，提出了许 多技术和方法，归纳下来有以下几种： 1 ) 针对动态场景的单目立体视觉技术 因为只有一个普通摄像机来获取图像，类似于视差之类的信息无法获得，所 以该类算法只能应用于动态场景，可以在运动的图像序列中提取深度信息。该算 浙江大学硕士学位论文 法用到了三维实际空间中的运动和图像上二维平面运动间的投影关系，通过光流 约束( o p t i c a lf l o wc o n s t r a i n t ) 来估计三维空间中的运动参数，进而来计算出深 度信息 1 1 1 2 1 。 具体的讲：考虑三维空间中一个刚体的运动，其运动参数可以用平移运动向 量于= ( ，乞，屯) 和旋转运动向量历= ( 劬，吐，伤) 来表示，用( x ，y ) 来表示三维空间运 动物体上任意一点( x ，y ，z ) 在图像平面上的投影点坐标，那么该坐标的每个分量 可以表示为： x x 2 。 z 】， y = i 么 其中为摄像机的焦距。若用向量( 甜，v ) 来表示点( x ，y ) 在像平面上的运动速度， 可以得到其和空间运动参数向量于= ( ，t 2 ，岛) 和历= ( 劬，c 0 2 ，皑) 之间的投影关系： 由公式( 1 2 ) 可以看出，我们考虑的是剐体运动所以投影关系式和运动参数之 间是线性关系，但是和深度值之间的关系是非线性的。 同时考虑图像序列l ( x ，y ，f ) ，认为该图像序列中的运动向量( “，v ) 满足光流约 束，其表达式为： l “+ ，。1 l ，+ = 0( 1 3 ) 其中l ，l 和分别表示图像在x 方向、y 方向和时间轴，方向上的梯度。 将上述这些定义和水平集方法进行结合，定义一个以光流约束为主体的能量 函数，对各个变量进行初始化。然后，假设深度值不变，利用最小二乘法来最小 化能量函数来估计运动向量；再假设运动向量不变，利用梯度下降法来修正深度 值，反复进行这样的操作直到得到准确的深度值为止。这样，往往在获得运动场 景深度信息的同时也可以获得场景中物体的轮廓信息。a m a rm i t i c h 和h i c h a m q q y x 一 + 吐 哆 孚孚 幼 扔 型厂型厂 也 ， 厂 u u 一z一z 浙江大学硕士学位论文 s e k k a t i 等人在这方面进行深入的研究b 4 5 1 。该方法的优点是实验设备简单， 缺点是时间复杂度高；由于深度值的准确与否在很大程度上取决于运动估计的精 度，所以难以求得精确的深度值。 2 ) 静态场景的双目立体视觉技术 双目立体视觉技术是基于视差的，根据由两个摄像机和物体构成的空间三角 形关系来进行深度信息计算。由于摄像机之间的位置关系已知，便可以获得两个 摄像机公共视野下的物体的三维信息。 假设左右两个摄像机同时能够观测到空间物体上的同一特征点p ，并且这两 个摄像机的图像是在同一平面上的，则该特征点p 在左右摄像机图像上的投影点 分别为= ( 嘞，y ) 和，= ( x r l e , l n ，y ) ，它们具有相同的纵坐标，由此可以计算出 尸点的视差：d i s p a r i t y = 一斫一x 嘲，那么该点对应的深度值可由下式计算出： 辟厂 乙2 蒜 ( 1 4 ) 其中b 为两摄像机间的基线距离，厂为摄像机的焦距酌1 。 基于上述原理，立体匹配的方法通常有：基于图像灰度( 或区域) 的匹配、 基于图像特征的匹配或者多种方法相结合的匹配。相应的匹配准则也有很多，例 如最大相关性准则、最小均方差准则等；同样搜索最佳匹配点的方法也有很多。 在利用置信度传播( b e l i e fp r o p a g a t i o n ) 方法计算左右摄像机视角下深度图的算 法中，q i n g x i o n gy a n g ，l i a n gw a n g 等人先利用颜色相关性来计算初始的视差图， 然后通过定义一个包含数据项和平滑项的能量函数，结合b p 方法来迭代修正平 坦区域和遮挡区域的视差值来求得高质量的深度图7 1 ；j i a ns u n ，n a n n i n gz h e n g 等人将立体匹配问题转换为一个由多个马尔科夫随机场耦合成的马尔科夫网络 求解问题，然后利用贝叶斯置信传播算法来解决这个问题8 1 ；i n t a en a ，j u n g h u n c h o i ，h o n gj e o n g 利用高效的b p 算法来实现实时的立体匹配方法，该方法在 全局最优匹配方法中引入了基于颜色差值的匹配代价，来有效的防止误匹配的发 生，从而提高了算法的效率9 1 。那些利用图割( g r a p hc u t ) 来计算视差图的算法 将立体匹配问题转化为图像分割问题，首先对图像中视差的变化范围进行量化， 然后，利用图割算法找到视察变化范围内每个量化视差等级对应的图像中像素 浙大学颤士学位论文 点，这个过程结束后也兢相当于求出了图像中每个像素点的视差值在具体利用 图割思想时，将每个像素点看作图中的一个结点结点问的权值取为一个和视差 估计值之羞相关的值，然后在相邻视差量化等级上实现最小代价分割，该最小代 价分割问题往往采用最大流方法( m a x f l o w m e t h o d ) 来解决”o 川啪m 1 1 4 1 w e ix i o n g h i ns h u nc h u n g 等人提出了一个能够有效解决遮挡问题的立体匹配 算法，并利用期望最大化( e m ) 方法来进行参数的求取具体的实现是将图像 中每一点的颜色值看成是背景颜色和前景颜色的加权和，该加权系数称之为透明 系数，并且韧始化给每一点两个不同的祝差值：背景视差和前景祝差这样做虽 然引入了很多的未知参数，例如：背景颤色、前景颜色、透明系数等，但是这些 参数都可以利用e m 算法来进行有效的估计；实验证明该算法的效果很不错，缺 点就是计算的复杂度很高“1 1 6 1 n i c o l e a t z p a d i n p a t e r k a u f f a n d o l i v e rs c h r e e r 利用块匹配来得到粗糙的视差图，然后再利用像素匹配来进行修正的混合递归匹 配的方法“7 1 等 3 ) 基于阵列摄像机的深度提取技术 由于传统的双目立体视觉系统中存在着遮挡和在颤色单一区域难以耩确匹 配的问题，我们需要更多的摄像机提供给我们更多的信息量，特别在动志场景中， 摄像机阵列的优点就十分明显目前在立体电视方面基于摄像机阵列的方法得到 了广泛的应用图i1 描述的就是一个自由视点电视系统中的摄像机阵列这种 方_ ；圭可以生成摄像机阵列中任意视点上的深度信息，包括任意两摄像机问的视 点，这从很大程度上给乡祝点合成，三维立体显示提供了方便与此同时基于摄 像机阵列的方法也面临着很多的挑战例如：大量摄像机之间颜色校正和标定的 问题，以及应用于动态场景时，所有摄像机之间的同步f g 题“”9 m 0 1 1 2 1 1 1 圉l if t v 中的图像获取系统 浙江大学硕士学位论文 在多摄像机系统中，扫平面( p l a n e s w e e p i n g ) 的方法2 2 1 因其原理简单、实 现方便得到了广泛的应用，其原理可以参见下图： 一object 三 ； 彳j 冬 一5 s p a r s ec a m e r aa r r a y 图1 2 扫平面算法的原理图n 0 1 所谓扫平面的方法顾名思义就是将实际场景中的深度值进行量化得到一个个离 散平面，从中找到和实际物体表面最接近的深度平面，并将该深度平面的深度值 作为该物体表面点的深度值。显而易见，在最佳匹配深度平面上时，物体表面的 投影点在各个摄像机像平面上的对应点之间的颜色值的方差应该最小，因此将方 差作为最佳深度平面的判别标准( 当然也可以用其他的判别标准) 。如图1 2 所 示，儡至氐为离散化后的深度平面，q 为将第i 个深度平面的深度值作为实际 物体深度值时，在各个摄像机像平面上得到的投影点颜色值的方差值，那么针对 某个摄像机图像中的一点，该点深度值的计算公式为： d = d , r g m i n ( 正) ( 1 5 ) 另外，当摄像机阵列中包括3 d 摄像机时，与其相关的算法也有很多，该研 究方向和本文的研究方向一致，会在第二章中详细介绍。 1 3 本论文的研究工作和章节安排 气 浙江大学硕士学位论文 本论文主要进行基于摄像机阵列的深度信息获取算法研究，所用到的摄像机 阵列中包含一个t i m e - o f - f l i g h t ( t o f ) 摄像机( 一种3 d 摄像机) ，本文提出了 室内简单环境下实时深度提取算法和复杂场景下的深度提取算法，其主要做法是 根据t o f 摄像机视野下的低分辨率、粗糙的深度图来求得摄像机阵列中各个高 分辨率摄像机视野下的高分辨率、精细的深度图。值得注意的是：这些算法在求 取可见光摄像机视野下深度图的时候只用到了该可见光摄像机本身的图像数据 和t o f 摄像机的图像数据，本论文的所有算法均没有采用立体匹配的方法。本 论文中的算法已发表了相应的论文和进行了专利的申请。 本文的主要内容安排如下： 在第二章中，首先对本论文中算法研究用到两个不同的实验平台进行了介 绍，并着重介绍了近几年来较为流行的t o f 摄像机。然后，对最近国内外基于 t o f 摄像机的主流算法进行了介绍，并总结了这些算法的优缺点。 第三章详细和系统的介绍了室内简单场景下的基于摄像机阵列的可见光摄 像机视野下的实时深度提取算法。对t o f 摄像机和普通可见光摄像机之间的标 定、t o f 深度图到普通摄像机视野下的投影图的获取以及如何定义能量函数来 对投影图进行修正来得到高质量的高分辨率深度图等内容都进行了仔细阐述。最 后，对实验结果进行了分析。 与第三章相对应，室内复杂环境下的深度信息提取算法在第四章中进行了介 绍。针对复杂场景的需要，该算法中定义了一种新的融合了可见光摄像机颜色信 息和t o f 深度信息的能量函数来进行高分辨率深度图的修正，同时在将t o f 深 度图向可见光摄像机视野下进行投影的时候进行了遮挡的判断。结果证明在复杂 场景下，该算法较第三章中的实时算法有着更好的表现。 第五章中介绍的算法也是针对复杂场景，它是第四章中算法的优化算法。该 算法在能量函数的设计时考虑到了t o f 深度图中深度值本身的不确定性以及标 定过程中优化标定参数时引入的不确定性。并通过投影关系结合这两种不确定 性，给出了高分辨率摄像机视野下初始深度值的不确定性，或者说给出了迭代修 正的过程中每次迭代得到的深度值的参考值的不确定性。另外，该算法还将能量 函数的作用邻域改为了自适应的，邻域的大小根据其距颜色边缘的距离来决定， 这样一来可以保证对当前点的深度值进行修正时尽可能的拿到正确的数据。最后 浙江大学硕士学位论文 给出了复杂场景下的实验结果和分析。 第六章是对上述几章算法的总结，并且针对上述算法中的缺点提出了未来工 作的方向。 1 4 本论文方法的创新点 本论文中算法的创新点有以下几个方面：第一，提出了一种t o f 摄像机和 普通摄像机之间的标定方法；第二，在算法中在运用能量函数进行修正时进行了 可靠性检测，每次修正只对那些处于边缘的不可靠点进行修正，提高了实时性的 要求；第三，在复杂场景的算法中，提出了一种新的投影策略来得到更好的初始 深度图，并且考虑到了处理过程中的各种不确定性，给出了新的能量函数形式。 浙江大学研士学位论文 第二章基于t o f 摄像机的深度信息获取算法介绍 2 1实验平台介绍 本论文中的算法实验平台由一台p c 机和一个摄像机阵列组成，摄像机阵列 包含一个3 d 摄像机和六个可见光摄像机由于该算法受国家8 6 3 项目支持，项 目周期相对较长在硬件方面有一个更新过程根据计算机型号和摄像机型号的 不同，奉论文中的算= ；圭用到了两套不同的实验平台 图2 1 早期摄像机阵列 第三章和第四章所涉及的算法研究在如图21 所示的摄像机阵列上进行：图 2 1 中所示的摄像机阵列中的可见光摄像机均为松下产的c c d 摄像机，该摄像为 模拟摄像机，它可以提供分辨率为7 6 8 5 7 6 的彩色围或者灰度田摄像机阵列中 的3 d 摄像机为t i m e - o f o f f j g h t 摄像机，其型号为：s r 3 0 0 0 “”，它可以实时的提 供分辨率为1 7 6 + 1 4 4 的深度图( r a n g e i m a g e ) 和灰度图( i n t e n s i t y i m a g e ) 后续的研究工作中为了满足动态场景的图像采集要求，需要实现摄像机阵列 中所有摄像机的同步所以摄像机阵列中的3 d 摄像机更新为：s r 4 0 0 0 1 2 3 1 + 其 分辨事和早期摄慷机阵列中的s r 3 0 0 0 摄像机相同，但s r 4 0 0 0 可以提供外同步 信号，便于我们实现同步同时c c d 摄像机更新为s c o u t 摄像机，该摄像机为 数字摄像机，我们在应用时采用的分辨率为3 2 0 2 4 0 和6 4 0 4 8 0 两种模式第五 章中的算法就是在更新后的摄像机阵列上进行的，更新后的摄像机阵列图见田 2 2 为了后续讨论的方便，对本论文中出现的图像名称作如下规定： c c d 彩色图和c c d 灰度图：分别代表摄像机阵列中任意一个c c d 摄 新江太学颂学位论立 像机视野下的彩色圉和灰度图。 t o f 深度囝和t o f 强度圉：分别代表t o f 摄像机得到的深度图和灰度 图 高分辨率深度图：代表本论文中算法所要生成的c c d 摄像机视野下的 深度图； 投影深度圈：代表将t o f 深度圉直接投影到c c d 摄像机视野下的原始 深度图 初始深度图：代表对投影深度图进行后处理后满足后续处理对初始值要 求的c c d 视野下的深度圉。 田2 2 昱新后摄像机阵列 2 2 t i m e - o f - f l i g h t 摄像机介绍 从第一章绪论中的介绍我们已经知道，较早的3 d 深度信息获取传感器在工 作时是在场景中进行遥点扫描的，这致使其工作速度较慢并且只能应用与静态场 景。也正是这些缺点，它在出现后的一段时问内并没有引起人们的重视。近年来， 随着传感器技术的发展，3 d 深度信患获取传感器有了很大的发展，它们采用极 其快速的快门，对场景中的所有点进行一次性扫描，啻| f 如：激光扫描传感墨和 t i m e o f - f l i g h t 技术，这也使得这类传感墨在近几年得到了广泛的应用。 t o f 摄像机因为其价格优势目前十分热门，其种类有：c a n e s t a 2 4 1 浙江大学硕士学位论文 s w i s s r a n g e r 眨3 1 和3 d v1 2 5 1 我们的实验平台采用的是s w i s s r a n g e r 传感器。下 面对其原理进行简单的介绍：在s r 3 0 0 0 摄像机中除了一个c c d c m o s 传感器 以外还含有一个调幅波发射源，其对场景中每一点发射调幅波并同时检测反射回 来的调幅波，根据原始波形和反射波形之间的差异来确定深度信息和灰度信息。 具体的讲，其深度图是根据原始波形和反射波形之间的相移来确定的，而其强度 图是根据反射波较原始波的幅度衰减得到的。根据其原理可以预见，t o f 深度 图的质量和具体的场景空间结构、场景中物体的反射率和颜色值等因素有关。在 实际应用中它具有速度快，在平坦的区精度高的优点。但是t o f 摄像机也存在 着一些缺点，例如其拍摄距离较近，在边缘的区域深度图其深度值的误差很大， 得到的深度图分辨率低，无法精确标定等n 6 2 力1 2 8 1 1 2 9 1 。 2 3 常用的基于t o f 摄像机的深度获取算法 传统立体匹配的方法在纹理丰富的区域有着很好的精度，而在颜色单一平坦 的区域上效果很差。与之相反的是t o f 摄像机在平坦区域有着很高的精度，而 在边缘的部分效果不理想。这两种技术之间的互补性便是基于t o f 摄像机的深 度获取算法的出发点。另外，即使不和立体匹配相融合，根据一些合理的假设和 约束，也可以得到不同视点上的理想的高分辨率深度图。 目前主流的方法和上述的出发点一样，主要分为两类：和立体匹配相结合的 方法和不使用立体匹配通过修正来得到高分辨率深度图的方法( s u p e rr e s o l u t i o n m e t h o d ) 。 和立体匹配相结合的算法也有不同的做法，s i g u r j 6 n 心n jg u 6 m u n d s s o n ， h e n r i ka a n a e s 和r a s m u sl a r s e nb 0 1 将t o f 摄像机得到的深度图转换为视差图， 并投影到左右两个可见光摄像机视野下来得到各自的视差初值，再用立体匹配的 算法来修正这些视差得到最终的结果，这样做可以大幅减少误匹配的概率，提高 立体匹配算法的性能；而j i e j i ez h u ，l i a n gw a n g 3 等分别先获得立体匹配的深 度图结果和t o f 的深度图结果，然后根据这两个深度图各自不同的特征来对它 们进行融合，以取得好于任意其中一个深度图的最终结果。其余的这类型的算法 还有很多，具体的实现方式也不尽相同，由于本论文中主要关注基于t o f 摄像 机的不和立体匹配算法相融合的那类算法，这里不再赘述。 使用一个可见光摄像机和一个t o f 摄像机来获得高分辨率深度图的算法近 1 0 浙江大学硕士学位论文 年来研究很多，也提出了很多的方法。这些方法往往基于一些先验知识和合理的 假设，例如：场景中物体是分段光滑的、深度不连续的地方往往也是颜色不连续 的地方等。j a m e sd i e b e l 和s e b a s t i a nt h r u n 3 2 1 通过定义一个基于马尔科夫随机场 ( m r f ) 的能量函数来修正t o f 摄像机得到的深度信息来得到高分辨率的深度 图，其缺点是完整求解该能量函数有很多困难，复杂度很高。q i n g x i o n gy a n g ， r u i g a n gy a n gb 3 1 等将双边滤波b 4 1 引入了深度的修正，应用了颜色越相近、距离 约接近的像素点其深度值也越接近的假设。利用双边滤波将一个简单的均方误差 函数作用与图像中的每一点，来得到最终的深度图。这种方法的优点是速度快， 实现简单，但是对于复杂的场景会失效。 无论在上述的哪一类算法中，如何将t o f 的深度图投影到其它摄像机视野 下都是一个关键的问题。在上述的那些文献中针对这一问题有着两种不同的处理 方法，第一种方法是将t o f 摄像机当作普通摄像机处理，直接利用平板摄像机 标定方法对摄像机阵列进行标定；第二种方法是将t o f 摄像机和摄像机阵列中 的一个可见光摄像机靠的很近，这样可以通过共面变换( h o m o g r a p h ) 将其投影 到该可见光摄像机视野下，由于可见光摄像机之间有着很高的标定精度，所以再 将该可见光摄像机视野下的投影图再投影到其它可见光摄像机视野下。但是这些 处理方法要么有着较大的误差要么对摄像机间的位置关系有着要求，需要进一步 的改进。 浙江大学硕士学位论文 第三章室内简单场景下基于阵列摄像机的深度图获取算法 3 1 算法概述 随着立体电视技术近几年的迅猛发展，在深度信息的实时获取方面也取得了 很多的成就。更好性能的处理器和更高效率的算法都使深度获取系统速度有了很 大的提升。本章提出了针对室内简单场景的基于阵列摄像机的深度图实时获取算 法。 本章中的算法通过摄像机阵列中t o f 摄像机的深度图来实时的获得摄像机 阵列中每个可见光摄像机视点上的高分辨率深度图，这样的应用有着广泛的市 场，算法的原理框图见图3 1 首先，要对摄像机阵列中的每个可见光摄像机和 t o f 摄像机进行标定，来获得各个摄像机坐标间的位置关系。由于立体匹配的 方法本算法中没有采用，所以可见光摄像机之间不需要进行标定，本算法中采用 的t o f 摄像机和可见光摄像机之间的标定方法为我们改进后的新方法。在得到 各个可见光摄像机和t o f 摄像机之间的投影关系后，将t o f 深度图投影到各个 可见光摄像机视野下来得到投影深度图。最后，结合各个投影深度图对应的c c d 彩色图( 或者灰度图) 对各个投影深度图进行迭代修正来得到最终的高分辨率深 度图。在每次的修正过程中要在各个投影深度图中进行不可靠点检测，每次只对 那些不可靠点进行处理，而不是对所有的像素点都进行处理。后续的介绍中会说 明这样处理不但有助于提升最终深度图的效果，而且很好的提高了算法的效率。 另外，迭代的终止条件是高分辨率深度图不再产生明显变化。 图3 1 实时算法原理框图 本章算法在进行处理时像素点之间是独立的，可以采用并行处理器加速实 现，例如g p u 等，可以取得很高的实现效率。 1 2 浙江大学硕l ：学位论文 3 2 t o f 摄像机和可见光摄像机之问的标定 t o f 摄像机和可见光摄像机之闻的标定问题是所有基于t o f 摄像机深度信 息获取算法的关键问题如果能精确的标定，那么t o f 摄像机获得的深度信息 就能发挥其最大的作用，反之如果标定的精度较低，以致投影到可见光摄像机视 野下时偏离实际像素点，那么t o f 摄像机的作用就会大大降低，甚至在摄像机 阵列中失去存在的赫要。 传统摄像机标定法的原理这里不再进行介绍，具体可以见参考文献。这些方 法应用于普通可见光摄像机之间时，可以达到很高的精度，最富盛名的张正友平 板摄像机标定法 3 5 1 1 3 6j 但是当其用于t o f 摄像机和可见光摄像机之问的标定 时糟度却会明显下降这是田为t o f 摄像机本身有很多缺点，其强度圉的分辨 率只有1 7 6 1 4 4 ，并且存在很多噪声，在利用标定板对其进行标定时很难精确的 检测到角点并且t o f 摄像机本身和小孔成像模型有着较大的差距，无论是深 度图还是强度图都存在这一定程度上的畸变1 3 7 1 固3 2 中的人和桌子的边缘都 明显倾聋 。但是上述的这些t o f