（信号与信息处理专业论文）多视图三维重构算法与软件实现.pdf

安徽大学硕士学位论文 多视图三维重构算法与软件实现 摘要 由多视图重构三维景物是计算机视觉中的是一个难点问题，近十年来，严谨 的多视图几何理论的出现使得该问题又成为计算机视觉中的一个热点问题。三维 重构的用途很广，可以应用在模式识别，机器人导航，军事等行业。同时在最近 几年兴起的计算机虚拟现实，基于图像的建模与绘制( i b m r ) ，数字博物馆等技 术中都有广泛的应用。在未来几年中它仍然是计算机视觉的重要研究方向之一。 本文在多视图几何理论的基础上对三维重构进行了系统的研究，从摄像机成 像模型入手，首先研究了图像匹配和摄像机标定问题，利用匹配和标定结果通过 三角形法获取待重构物体的三维结构，然后利用计算机图形学的知识进行贴纹理 显示，最终形成了逼真的三维显示效果。在与华东光电技术研究所的合作项目的 研究中，本文作者在v c + + 环境下，利用o p e n c v 、i p l 和o p e n g l 设计开发 了一套三维重构软件。 针对三维重构中关键步骤，本文的主要研究内容及成果如下： 1 研究了图像匹配问题。图像匹配是计算机视觉、运动估计、模式识别等领域 里的关键技术，也是实现三维重构的第一步。其目标是在存在几何失真、 测量误差及光照等噪声下寻找两个或多个点集的最佳匹配。在图像匹配常 用的一些基本约束基础上，本文提出了一种基于多分辨率和对极几何的匹 配算法。 2 对摄像机标定问题进行了研究。摄像机标定是从二维图像获取三维欧氏空间 信息的关键和必要步骤。本文从实用的角度优化了采用标定参照物直接标 定摄像机内参数的算法，并在v c + + 平台下结合i p l 和o p e n c v 设计并实现 了一套标定系统，实验证明，该系统精度高，速度快。另外，本文还研究 了通过求解k r u p p a 方程实现摄像机自标定的算法，并利用三维重构实验验 证了该算法的可靠性。 3 在以上研究的基础上，设计并开发了一套完整的三维重构软件。软件的技术 思想是在多视图几何的理论下完成的，在v i s u a lc + 十平台下，借助于 o p e n c v 、i p l 和o p e n g l 的帮助，涵盖了摄像机标定、图像点匹配、计算 安徽大学硕士学位论文 多视图三维重构算法与软件实现 三维点和立体显示四个步骤。而且此软件还可以作为单个功能来使用，拥 有两视图的标定摄像机、图像匹配、显示三维结构三个功能，因此用户范 围更加广泛。由于是在v c + + 平台下开发的，所以系统具有更好的可用性、 可移植性和可扩展性。最后通过真实实验验证了该软件的有效性，并对其 精度进行了分析。 关键词：三维重构、图像匹配、摄像机标定、基本矩阵、对极几何 安徽大学硕士学位论文多视图三维重构算法与软件实现 a b s t r a c t 3 dr e c o n s t r u c t i o nf r o mm u l t i v i e w si so n eo ft h ed i f f i c u l tp r o b l e m si nc o m p u t e r v i s i o n d u r i n gt h el a s td e c a d e ，i th a sb e c o m eo n eo ft h em o s tp o p u l a rt o p i c sb e c a u s e o ft h ea p p e a r a n c eo fm u l t i p l ev i e wg e o m e t r yt h e o r y 3 dr e c o n s t r u c t i o ni sw i d e l y a p p l i e di np a t t e r nr e c o g n i t i o n ，r o b o tn a v i g a t i o n ，m i l i t a r ya f f a i r sa n ds oo n m o r e o v e r , i th a sa l s ob e e nw e l la p p l i e di nt h en e w l ya r i s i n gf i e l d s ，s u c ha sv i r t u a lr e a l i t y , i m a g e - b a s e dm o d e l i n ga n dr e n d e r i n g ，d i g i tm u s e u m s t i l l ，i tw i l lb eo n eo ft h em o s t i m p o r t a n tr e s e a r c hf i e l d si nt h ef u t u r e t h i st h e s i sp r e s e n t sas y s t e m a t i cr e s e a r c ho n3 dr e c o n s t r u c t i o nb a s e do nm u l t i p l e v i e wg e o m e t r yt h e o r y s t a r t i n gf r o mc a m e r am o d e l ，o nt h eb a s i so ft h er e s e a r c hi n i m a g em a t c h i n ga n dc a m e r ac a l i b r a t i o n ，t h es t r u c t u r eo ft h eo b j e c tc a i lb ec o m p u t e d u s i n gt r i a n g l em e t h o d t h e nt h ev i v i d3 dr e s u l tc a nb ed i s p l a y e dw i t ht h eh e l po f c o m p u t e rg r a p h i cm e t h o d i nt h ec o o p e r a t i o nw i t h e a s tc h i n ap h o t o e l e c t r i c i t y i n s t i t u t e ，w i t ht h ea i do fo p e n c v ，i p l ，o p e n g l ，3 dr e c o n s t r u c t i o ns o f t w a r ew a s d e s i g n e db yu s i n gv c + + s o m ek e yp r o b l e m si n3 dr e c o n s t r u c t i o na r ea d d r e s s e di nt h i st h e s i s t h em a i n r e s e a r c hw o r k sa n da c h i e v e m e n t sa r eo u t l i n e da sf o l l o w s 1 i m a g em a t c h i n gi ss t u d i e da tf i r s t i m a g em a t c h i n gi sac r u c i a lt e c h n i q u ei n c o m p u t e rv i s i o n ，m o t i o ne s t i m a t i o na n dp a a e mr e c o g n i t i o ne t c ，a n di ti sa l s ot h e f i r s ts t e pt oi m p l e m e n t3 dr e c o n s t r u c t i o n i ta i m st of i n dt h eb e s tm a t c h e sb e t w e e n t w oo rm o r ep o i n ts e t sw h e nt h e r ea r eg e o m e t r i cd i s t o r t i o n s ，p o i n tm e a s u r e m e n t e r r o r sa n dc o n t a m i n a t i o np r e s e n t o nt h eb a s i so fs o m ec l a s s i c a lc o n s t r a i n t si n i m a g em a t c h i n g ，a ni m a g em a t c h i n ga l g o r i t h m b a s e do nm u l t i r e s o l u t i o na n d e p i p o l a rc o n s t r a i n ti sp r e s e n t e di nt h i st h e s i s 2 t h ea p p r o a c ht oc a m e r ac a l i b r a t i o ni si n v e s t i g a t e d c a m e r ac a l i b r a t i o ni sa n e s s e n t i a ls t e pt oo b t a i nt h ei n f o r m a t i o no f3 de u c l i d e a ns t r u c t u r ef o r m2 di m a g e s i nt h ef i e l do fc o m p u t e rv i s i o n t h et e c h n i q u eo fd i r e c tc a l i b r a t i o nf o ri n t r i n s i c i l l 安徽大学硕士学位论文 多视图三维重构算法与软件实现 p a r a m e t e ro fc a m e r ab yt h eu s eo fr e f e r e n c eo b j e c ti sa d d r e s s e da n da p p l i e di na c a l i b r a t i o ns y s t e mt h a ti si m p l e m e n t e du n d e rv c + + w i t ht h ea i do fi p la n d o p e n c v t h er e s u l t st h a ti tc a nw o r ka c c u r a t e l ya n dq u i c k l ya r es h o w nb yt h e e x p e r i m e n t s i na d d i t i o n ，ac a m e r as e l f - c a l i b r a t i o nt e c h n i q u eb a s e do nk r u p p a e q u a t i o ni sp r o p o s e d t h e n ，t h ec o n c l u s i o no fi t sv a l i d i t yb y3 dr e c o n s t r u c t i o n e x p e r i m e n tw a se d u c e db y t h ea u t h o r 3 d e p e n d i n go nt h er e s e a r c h e sm e n t i o n e da b o v e ，t h ec o m p l e t e3 dr e c o n s t r u c t i o n s o f t w a r ei sp r e s e n t e d t h i ss o f t w a r e ，w h i c hi n c l u d e sf o u rp r o c e s s e s ：c a m e r a c a l i b r a t i o n ，i m a g em a t c h i n g ，c o m p u t a t i o no f3 dp o i n t s a n ds t e r e od i s p l a y ，i s c o m p l e t e du n d e rv c + + w i t ht h ea i do ft h et h e o r yo fm u l t i p l ev i e wg e o m e t r y , o p e n c v , i p la n do p e n g l i nt h i sw a y ，t h e3 dr e c o n s t r u c t i o nr e s u l t sc a nb e a c h i e v e de a s i l yo n c et w oi m a g e so ft h eo b j e c ta n dt h ec a l i b r a t i o ni m a g eo ft h e c a m e r aa r ec a p t u r e d f u r t h e r m o r e ，t h i ss o f t w a r ec a na l s ob eu s e di n d e p e n d e n t l y f o rc a m e r ac a l i b r a t i o n ，i m a g em a t c h i n ga n ds t e r e od i s p l a ya sas i n g l ef u n c t i o n t h e r e f o r e ，i tc a r lb ea p p l i e dt om o r eu s e r so fw i d e rr a n g e s i n c ei t i se x p l o r e d u n d e rv c + + t h i ss o f t w a r eh a sah i g h e ru s a b i l i t y , e x p l o i t a b i l i t ya n de x p a n s i b i l i t y a tl a s t ，i t sv a l i d i t ya n dp r e c i s i o na r ep r o v e da n da n a l y z e dt h r o u g hr e a l e x p e r i m e n t s k e y w o r d s ：3 dr e c o n s t r u c t i o n ，i m a g em a t c h i n g ，c a m e r ac a l i b r a t i o n ，f u n d a m e n t a l m a t r i x ，e p i p o l a rg e o m e t r y 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获碍枣瓣其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名 彩矽 签字日期：五彤6 年占月p 日 学位论文版权使用授权书 本学位论文作者完全了解窿铩k 大豁关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权睦锘l ；2 j 睁以将学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者鲐狄侈 签字1 1 1 期：劲口6 年岁月驴日 学位论文作者毕业去向： 工作单位： 通讯地址： 导师签名 签字日期： 加6 年k - 月，d 日 电话 邮编 安徽大学硕士学位论文第一章绪论 第一章绪论 1 1 引言 让计算机和机器人具有视觉，是人类多年来的梦想。虽然到目前我们还不能 让计算机也具有像生物那样高效、灵活的视觉，但这种希望正在逐步实现。视觉 是人类获取信息强有力而又最有效的手段，人类是通过眼睛与大脑来获取、处理 和理解视觉信息的。视觉，不仅指对光信号的感受，还包括了对视觉信息的获取、 传输、处理、存储与理解的全过程。信号处理科学与计算机技术出现以后，人们 试图用摄像机获取景物图像并转换成数字信号，用计算机实现对视觉信息处理的 全过程，从而逐渐形成了- - 1 7 新兴的学科，即计算机视觉( c o m p u t e rv i s i o n ) 马 2 0 0 3 。 计算机视觉的研究目的就是要赋予计算机以人类的视觉认知功能，使计算机 具有通过二维图像认知三维世界的能力。这种能力不仅使机器感知三维环境中物 体的几何信息，还包括它的形状、位置、姿态、运动等，并且能对它们进行描述、 存储、识别和理解。计算机视觉过程是成像过程的逆过程。它的研究内容涉及到 图像处理与图像理解、模式识别、计算机图形学以及生物物理学等。计算机视觉 的应用领域非常广泛，己应用于遥感图像分析、文字识别、医学图像处理、多媒 体技术、图像数据库、工业检测与军事等多方面。 纵观计算机视觉发展的这2 0 多年，出现了两个具有里程碑意义的大事件： 第一个是m i t 的d m a r t 在八十年代初提出了计算视觉理论 d m a r r - 1 9 8 8 ，使计 算机视觉成为一门独立的科学。该视觉理论框架是m a n 从信息处理的角度，综 合了图像处理、心理物理学、神经生理学及临床精神病学等的研究成果提出的第 一个较为完善的理论框架。第二个是9 0 年代提出了摄像机自标定和分层重建的 思想，这使得计算机视觉走出了低谷。在这一阶段发展起来的所谓几何计算机视 觉，它把复杂的数学( 尤其是射影几何等) 引入到计算机视觉的研究中，形成了 所谓的“多视图几何” h a r t l e y 一2 0 0 0 ，韦2 0 0 2 。 目前国内外主要从事计算机视觉的理论和算法及其应用的研究小组有法国 的b i l lt r i g g s 和o l i v i e rf a u g e r a s 、美国的m a r cp o l l e f e y s 和j o h no l i e n s i s 、英国的 安徽大学硕士学位论文 多视图三维重构算法与软件实现 a n d r e wz i s s e r m a n 、澳大利亚的r i c h a r dh a r t l e y 以及以色列的a m i d _ o ns h a s h u a 等。 近年来，国内一些科研院所对此也进行了深入的研究，如中国科学院自动化研究 所、微软亚洲研究院、清华大学、浙江大学等都取得了不错的进展。 1 2 研究背景及主要内容 重构问题是个逆问题，也是计算机视觉中的一个核心问题。三维重构是指 由一幅或多幅图像获取空间物体的三维结构。但是从图像序列获得场景重物体的 三维模型是一项非常复杂的任务。因为场景几何和摄像机几何都不清楚，而图像 又丢失了深度信息，可用的信息有限。一般的处理是在重构中作简单的假设：场 景为刚性的、摄像机为针孔模型等等。在针孔摄像机下获得数字图像，进而实现 三维重构主要包含一些几个方面的内容：图像匹配；摄像机的标定；三维重构的 实现。这也是当前关于计算机视觉研究的几个热点问题。 1 2 1 图像匹配 计算机视觉的目的是由一个场景得两幅( 或多幅) 图像来重建三维几何结构， 其主要问题是图像匹配，即需求同一空间景物在不同视点下投影图像像素间一一 对应关类似于搜索：根据一个相似性测度，在一定的约束条件下，在右图像上找 一个像素，使它和左图像给定的像素最相似。由于图像中可能存在周期性重复特 征、噪声、遮挡、光学畸变和投影畸变等因素的影响，对应点在两幅图像中可能 看上去有差别，对一幅图像中的某个点，在另一副图像中可能存在几个候选的匹 配点，通常必须应用一些额外的信息或约束条件来得到正确的匹配点，比如：对 极线约束、唯一性约束、相似度约束等等。 在进行对应点匹配时，通常使用一些约束来降低其固有的不确定性，如 z h a n g 等 z h a n g - 1 9 9 5 利用了对极线约束，y a n g 等 y a n g - 1 9 9 9 则利用了仿射不变 量，周骥等 周2 0 0 2 利用场景深度的局部连续性作为约束。近年来，也出现了很 多新的匹配算法。k o l m o g o r o v k o l m o g o r o v 一2 0 0 1 ，2 0 0 4 利用图割理论进行匹配； s u n s u n 一2 0 0 2 1 使用了逐步求精方法依次使用了快速交叉相关、三角分区和 3 d 最大表面技术；t r i g g s t r i g g s 一2 0 0 1 引入了“联合特征分布( j o i n tf e a t u r e d i s t r i b u t e s ) ”，利用统计技术给出了对应点的匹配方法；l u o 等 l u o 2 0 0 2 姘0 安徽大学硕士学位论文第一章绪论 用了e m 算法实现了图像的匹配：s u n 等 s u n - 2 0 0 3 将立体匹配问题公式化为一 个m a r k o v 网络问题，然后利用贝叶斯置信传播( b a y e s i a nb e l i e f p r o p a g a t i o n ) 进 行了求解：f i t z g i b b o n 等 f i t z g i b b o n 一2 0 0 3 利用l e v e n b e r g m a r q u a r d t 迭代算法给 出了一个点集匹配的鲁棒估计方法。d u f o u r n a u d 等 d u f o u m a u d 2 0 0 4 1 研究了不同 分辨率图像的匹配问题。最近，m l h u i l l i e r ，y a o 等人 m l h u i l l i e r - 2 0 0 1 ，2 0 0 2 ，2 0 0 3 ，y a o - 2 0 0 4 ，2 0 0 5 矛u 用m a t c h i n gp r o p a g m i o n 算法实现 了q u a s i d e n s em a t c h i n g 。 1 2 2 摄像机标定 摄像机标定是计算机视觉领域中从二维图像获取三维欧氏结构信息必不可 少的关键一步，因为在摄像机未标定情形下，无法得到三维结构的欧氏信息，从 而只能实现射影重构。标定结果的精度也会直接影响重构的质量。摄像机标定的 方法 s t r u m 一2 0 0 4 已经有很多，孟晓桥等 孟晓桥一2 0 0 3 1 总结了近期关于摄像机标 定的方法。根据标定方式的不同，可以归结为以下三种：基于标定物的方法、基 于主动视觉系统的标定方法和自标定方法。每种方法都各有其特点，并分别适用 于不同的场合。选取何种标定方法，需要根据特定的任务，采用不同的选择，以 满足实际应用的需要。 i 2 2 1 基于标定物的方法 基于标定物的方法是指用一个结构已知、精度很高的标定物作为空间参照 物，通过空间点和图像点之间的对应关系来建立摄像机内参数的约束，然后通过 优化算法来求取这些参数。这种方法的典型代表有d l t ( d i r e c tl i n e a r t r a n s f o r m a t i o n ) 方法 a b d e l a z i z 一1 9 7 1 、t s a i 的方法 t s a i 一1 9 8 6 ，1 9 8 9 及z h a n g 的 方法 z h a n g 一1 9 9 9 。此方法的优点在于可以获得较高的精度，当应用场合所要求 的度量精度很高且摄像机内参数不经常变化时，此标定方法应为首选。 1 2 2 2 基于主动视觉系统的标定方法 基于主动视觉系统的定标方法 j i a n g 一1 9 9 8 ，李一2 0 0 0 ，吴- 2 0 0 1 ，是指通过控制 摄像机的运动获取多幅图像来标定摄像机内参数。与自标定方法一样，基于主动 视觉系统的自定标方法也是一种仅利用图像之间对应关系进行标定的方法，不需 安徽大学硕士学位论文多视图三维重构算法与软件实现 要高精度的标定物。这种自定标方法的主要优点是由于在标定过程中知道了一些 摄像机的运动信息，所以一般来说，摄像机的内参数可以线性求解，计算简单、 鲁棒性好。但是基于主动视觉的自标定方法需要精准的控制平台，其昂贵的价格 和笨重的体积限制了该方法的适用范围。 1 2 2 3 自标定方法 自标定方法不需要标定物也不需要对摄像机运动作严格限制，仅仅依靠多视 图对应点之间的关系直接进行标定。摄像机自标定 h a r t l e y - 2 0 0 0 ，d a v i d 一2 0 0 3 ，j e a n 一2 0 0 6 是9 0 年代以来在计算机视觉领域中兴起的 最重要的研究方向之一。由于自标定方法是根据未标定场景图像之间的对应关系 来求解，所以标定过程灵活、方便，应用前景广泛。但是，自标定方法最大的不 足是鲁棒性较差 h a r t l e y 一1 9 9 9 。这主要是由于自标定方法不论以何种形式出现， 大多是基于绝对二次曲线( t h ea b s o l u t ec o n i c ) 或者绝对二次曲面( t h ea b s o l u t e q u a d r i c ) 的方法，需要直接或者间接地求解k r u p p a 方程。自标定方法可以应用 于度量精度要求不太高的场合，如虚拟现实、三维动画、基于图像的建模与绘制 ( i b m r ) 等新兴领域，在这些场合，主要考虑的是视觉效果而不是度量精度， 这也是自标定方法为什么近年来会受到人们如此重视的主要原因。 1 2 3 三维重构 在计算机视觉领域中，由多幅图像恢复摄像机运动参数和空间物体三维几何 形状的问题称为多视图三维重构。三维重构是计算机视觉领域中一个至关重要的 经典问题，也是用计算机模拟人眼视觉功能所需要完成的最后一步，即恢复物体 的三维信息，属于m a r t 计算理论框架中的中级视觉部分。三维重构是通过二维 图像中的基元图来恢复三维空间，也就是要研究三维空间点、线、面的三维坐标 与二维图像中对应点、线、面的二维坐标间的关系，实现定量分析物体的大小和 空间物体的相互位置关系。 目前，三维重构算法有很多，t o m a s i 和k a n a d e 等人 t o m a s i 一1 9 9 2 1 在假定摄 像机为正交投影模型的前提下，利用仿射分解( a f f i n ef a c t o r i z a t i o n ) 的方法同时 解出了三维结构和摄像机运动。d e b e v o c 、t a y l o r 、m a l i k 等 d e b e v e c 一1 9 9 6 1 设计 了著名的建筑物重构系统f a c a d e ，该系统要求首先得到建筑物的粗略几何模型和 安徽大学硕士学位论文第一章绪论 摄像机运动参数，然后将该模型反投影到图像上与实际图像作比较，通过减小反 投影误差最终计算出建筑物的精确三维结构。b o u g n o u x 等人 b o u g n o u x 1 9 9 8 仓u 建了一个提升型( e n h a n c e d ) 三维建模系统。沈向洋等人 s h u m 1 9 9 8 提出的人 机交互式重构系统可以从一组全景图( p a n o r a m i cm o s a i c ) 中恢复出三维结构。 f a u g e m s 等 f a u g e r a s - 1 9 9 8 利用分层重构、自标定等经典方法从图像序列中重构 出建筑物。p o l l e f e y s 等 p o l l e f e y s - 1 9 9 9 将自标定和分层重构成功的应用到了考 古学、文物保护等领域，并取得了良好的效果。m a x i m el h u i l l i e r 等 m l h u i l l i e r - 2 0 0 2 提出了基于图像序列的三维重构方法。a d r i a nh i l t o n 等 a d r i a n h i l t o n 2 0 0 4 提出了针对人体进行重构的算法，并得到了很好的结果。y i c h e nw e i 等 y w e i 2 0 0 5 通过手持摄像机拍摄多幅图像成功恢复出了头发的几何结构。 m a x i m e l h u i l l i e r 和l o n g q u a n 利用q u a s i d e n s e 方法从未标定的图像中获取物体 的三维模型 m l h u i l l i e r 一2 0 0 5 。 三维重构的用途很广，可以应用在机器人导航，视觉监控，建筑制造等行业。 同时在最近几年兴起的计算机虚拟现实，基于图像的建模与绘制( i b m r ) ，三维 动画等技术中都有广泛的应用。 1 3 论文的主要研究内容及组织结构 本文是在多视图几何的基础上，利用图像信息，从摄像机成像模型入手，对 三维重构以及其中的关键技术进行了研究。首先对于图像匹配问题进行了研究， 在经典的匹配算法的基础上，提出了一种新的算法，该算法在精度和速度上都有 所改善。然后，分别从传统的标定方法和自标定方法两个方面对三维重构中的标 定问题进行了研究。最后，在前两步工作的基础上，设计并开发了一套三维重构 软件。 本论文的各章节主要内容如下： 第一章围绕本论文的研究内容，介绍了计算机视觉领域中相关研究的历史、 现状以及所取得的成果。尤其介绍了其中的热点问题三维重构 及其算法中关键步骤：图像匹配和摄像机标定问题，并对论文的研 究内容和组织结构进行了说明。 第二章介绍了多视图几何理论基础。本章简单扼要的介绍了后续章节中所 安徽大学硕士学位论文多视图三维重构算法与软件实现 用到的摄像机成像中的若干重要空间关系。 第三章关于图像匹配的算法及实用性研究。 第四章 关于摄像机标定的算法及实用性研究。 第五章基于两视图的三维重构软件的设计与实现。 第六章对本论文的工作进行总结，并对今后的工作进行了展望。 安徽大学硕士学位论文第二章多视图几何理论基础 第二章多视图几何理论基础 摄像机是3 d 世界( 物体空间) 和2 d 图像之间的一种映射，它模拟人眼成 像几何把三维场景投影到二维图像上。由于在射影空间中，3 d 空间点与2 d 图像 点都可以用齐次坐标来表示，所以对于最具体、最简单的摄像机模型一针孔摄像 机模型来说，射影几何是描述它的自然数学框架。借助射影几何、齐次坐标以及 矩阵等代数工具，我们可以描述三维空间到二维图像的成像原理、两幅图像之间 的几何关系、空间中的特殊对象( 例如平面等) 的投影性质以及由图像重构三维 空间物体形状的计算等。本章将对后续章节所用到的一些若干重要的空间关系作 简要的介绍。 2 1 摄像机模型 2 1 1 摄像机成像几何 摄像机成像过程是将3 d 世界点投影到2 d 图像平面上。本文主要讨论的摄像 机是针孔摄像机，其投影是一个中心投影。 首先考虑简单的情形：以摄像机坐标系作为参考的世界坐标系，即投影中心 位于世界坐标系的原点，平面z = 厂为图像平面或聚焦平面。在针孔摄像机模型 下，空间坐标为x = ，y ，z ) 7 的点被映射到图像平面上的点是连接点x 与投影中 心的直线与图像平面的交点，如图2 - 1 所示。根据相似三角形原理，易得像点坐 标( x ，_ y ) 7 满足 x y = ：f 厂x y z z ( 2 1 ) 上述投影中心称为摄像机中心，也称光心，摄像机中心到图像平面的交点称为主 点，过摄像机中心平行于图像平面的平面称为摄像机的主平面。 安徽大学硕士学位论文 多视图三维重构算法与软件实现 x 图2 1 针孔摄像机几何。c 是摄像机中心，p 是主点。 若世界点x 用4 维齐次矢量，y ，z ，1 ) 7 表示，图像点用3 维齐次矢量x = ( x ，y ，1 ) 1 表示，则( 2 1 ) 式可以用矩阵形式表示为 i = ( 2 2 ) f 厂0 、 其中p 2 【厂1o o j 为摄像机矩阵。 在( 2 2 ) 式中假定图像平面的坐标原点在主点上，实际情况往往并非如此， 若主点坐标为( 以，仇) 7 ，则有 即 f x = f x l z + p ， 【y = f y z + p ， ( 2 3 ) ( 2 4 ) 如果投影图像在被离散化采样时，x 方向和y 方向的缩放因子不一致，并且 x 方向也不能保证与y 方向垂直，那么，实际的效果为 叭到 l 厂 至燮奎堂堡主堂垡堡塞 箜三主童塑堕丛堡堡笙茎型 | = 六乃s? p x | x y z 1 其中工，工分别是x 和y 方向上的缩放因子，s 为畸变因子。 ( 2 5 ) 如果摄像机中心在世界坐标系中的坐标是雹( 非齐次坐标) ，摄像机相对于 世界坐标系的旋转为r ，则( 2 5 ) 式变为 x y z 】 ( 2 6 ) x = k r ( i i 一已) x = k ( r i t ) x = p x ， ( 2 7 ) 其中t = 一r 已，p = k ( r i t ) 。 因此，一般针孔摄像机模型的投影矩阵为一个3 x 4 矩阵。因为k 只与摄像 机的自身结构有关，而与摄像机的运动姿态和位置无关，因此称之为摄像机内参 ( i n t e r n a lp a r a m e t e r s ) 。r ，t 分别为摄像机相对于世界坐标系的旋转和平移，并 被称为摄像机的外参数。由于p = k ( r f t ) 给出的摄像机是有限射影摄像机，即 摄像机的中心在有限处。 2 1 2 摄像机矩阵 由上节的分析可知，射影摄像机按方程x = p x 将世界点x 映射到图像点x 。 下面我们介绍摄像机矩阵p 的几何意义，即它与诸如摄像机中心一类的几何元素 的关系。 摄像机中心 摄像机中心的齐次坐标是摄像机矩阵p 的右零矢量，这可以由 p c = k r ( i l 一已) f 彳 = 。直接得到。记p 的行为p n ，f ：1 ，3 ，它在几何上解释 o c r ， 一r o 、ii卜 0 o ， 以乃， 为化 o 简可 疋 戈 仳 、 拭 = 6 式l 刊 ，。l 、， b 乃 s ，hlllll = k记 安徽大学硕士学位论文 多视图三维重构算法与软件实现 为特殊的世界平面。 主平面主平面是过摄像机中心并平行于图像平面的平面，它由被影像到图像上 无穷远直线的点集x 组成，即p x = ( x ，y ，0 ) 1 ，因此一个点在摄像机主平面上的 充要条件是p ”x = 0 ，即p 3 是摄像机主平面的矢量表示。 轴平面在平面p 1 上的点集x 满足p i t x = 0 ，因此，被影像到图像p x = ( 0 ，y ，z ) 7 处，即图像y 轴上的点。由p c = 0 得p ”c = 0 ，因而c 也在平面p 1 上，因此平面 p 1 是由摄像机中心和图像中的直线x = 0 来定义的平面。类似地，平面p 2 是由摄 像机中心和图像中的直线y = 0 来定义的平面。如图2 2 所示 图2 - 2主平面和其中一张轴平面。摄像机矩阵的第3 行是其 主平面的矢量表示，而另两行分别对应两个轴平面。 主点主轴是过摄像机中心c 并且垂直于主平面p 3 的直线，主轴与图像平面的 交点为主点。主点可以看成是主轴上任一点的像，特别地，可以看成是主轴方向 上的无穷远点的像。摄像机主平面为p 3 ，因此主轴上无穷远点的坐标为 ( 岛。，a ：，p 3 ，o ) 1 ，因此主点的坐标为p x 。= m m ”，其中m 为p 的前3 列，1 1 1 3 7 是 m 的第三行。 列矢量记p 的列为p ，i = 1 ，4 ，那么p l , p 2 ，p ，分别是世界坐标系x ，y 和z 轴 ( v a n i s h i n g p o i n t s ，即其轴方向的图像点) 。例如z 轴的方向d = ( o ，o ，1 ，o ) 7 被映射到p ，= p d 。列p 。是世界原点的图像，因为p 。= p ( o ，0 ，0 ，1 ) 。 安徽大学硕士学位论文 第二章多视图几何理论基础 2 2 对极几何和基本矩阵 对极几何是两幅图像之间的内在的射影几何，它独立于景物结构，只依赖于 摄像机内参数和相对姿态。基本矩阵( f u n d a m e n t a lm a t r i x ) 则集中了这个内在几何 的精华，它是一个秩为2 的3 3 矩阵。 2 2 1 对极几何 本质上，两幅图像之间的对极几何是图像平面与以基线( 基线是连接两摄像 机中心的直线) 为轴的平面柬的交的几何。 如图2 3 所示，设3 维空间点x 在两幅图像中成的像分别为x ，x ，则空间点 x 和其像点x ，x 以及摄像机中心c 共面，这种包含基线的平面称为对极平面 ( e p i p o l a rp l a n e ) ，它由基线和空i n q 点所确定，并且是一个单参数簇。所有的对 极平面都包含基线，因此它们与图像平面的交点必是基线与像平面的交点，该交 点称为对极点( e p i p o l e ，通常记为e ，g ) ，它事实上是另一个摄像机中心在该图像 中的像，也是基线( 平移) 方向的消影点。 图2 - 3对极几何。两摄像机由其中心c 和c 以及它们的图像平面表示。 摄像机中心、3 维空间点x 和它的图像点x ，x 都处在一张公共的 对极平面上，x 在另一幅图像上的对应点x 在对应的对极线l 上。 图像点x 反向投影成3 维空间的一条直线l ，它由第一个摄像机中心c 和x 确定，这条射线在第二幅图像中被影像成一条直线l ，投影到x 的3 维空间点x 必 然在直线l 上，因此x 在第二幅图像上的像点x 必然在直线l 上，这条直线称为 安徽大学硕士学位论文多视图三维重构算法与软件实现 点x 在第二幅图像上的对极线( e p i p o l a r l i n e ) ，它是由图像点x 和基线所确定的对 极平面与图像的交线。 因为对极平面与图像都交于对极点，所以所有的对极线 都交于对极点。一张对极平面与左或右像平面交于对极线，并定义了对极线之间 的对应。 当摄像机作平行于图像平面的平移以及以垂直于图像平面的直线为旋转轴 进行旋转时，基线与图像平面的交点位于无穷远，因此对极点是无穷远点，而对 极线是平行线，如图2 4 所示 e 在无穷远 ff ， 彭7谚7 e 在无穷远 图2 - 4 平移运动的对极几何。对于平移运动，基线与图像平面交于 无穷远点，因此，对极点是无穷远点，而对极线是平行线。 2 2 2 基本矩阵 基本矩阵( 通常记为f ) 是对极几何的代数表示。由上面的讨论我们知道： 给定对图像，对于一幅图像上的点x ，在另一幅图像中存在一条对应的对极线 l 。在第二幅图像上，与点x 匹配的点x 必然在对极线l 上。因此，存在一个从 一幅图像上的点到另一幅图像上与之对应的对极线之间的映射x _ l7 。 图2 - 5点的对应。一幅图像中的点x 通过平面芤转移到另一幅图 像上的点x 7 必在l 上，因此x 和对极点e7 确定了对极线l 。 基本矩阵是对极几何的代数表示。在上述讨论对于一幅图像上的每点x ，在另一 安徽大学硕士学位论文第二章多视图几何理论基础 幅图像中存在一条对应的对极线1 。在第二幅图像上，任何与该点x 匹配的点x 必然在对极线l ，上。极线是通过点x 和第一个摄像机中心c 的射线在第二幅图像 上的投射。因此，存在一个从一幅图像上的点到另一幅图像上它的对应极线的映 射，这个映射即称为基本矩阵的矩阵f 表示的从点到直线的射影映射： l = f x( 2 8 ) 因为x 的匹配点x 在对极线l 上，故有 x “i f x = 0( 2 9 ) 2 2 2 1 基本矩阵的主要性质 1 _ 对两幅图像中任何一对对应点x x ，基本矩阵都满足x “f x = 0 。 2 基本矩阵f 是秩为2 ，自由度为7 的3 x 3 齐次矩阵。 3 对极线：i = f x 是对应于x 的对极线，i = f 7 x 是对应于x 的对极线。 4 对极点：两幅图像上的对极点e ，e 分别是基本矩阵f 的右、左零矢量，即 f e = 0 ，f 7 e = 0( 2 1 0 ) 2 2 2 2r a n s a c 法计算基本矩阵 该方法利用r a n s a c 作为搜索引擎自动计算两幅图像之间的对极几何。算 法的输入仅仅是一对图像，不需要其他的先验信息，其输出是由估计得到的基本 矩阵和一组兴趣的对应点。具体算法如下： ( 1 ) 兴趣点：在每幅图像中计算兴趣点； ( 2 ) 假设对应：用兴趣点的灰度邻域的相近和相似计算它们的匹配集； ( 3 ) r a n s a c 鲁棒估计：重复次采样， a 选择7 组对应构成的一个随机样本并按7 点法来计算基本矩阵f ，其结 果将得到一个或多个实解， b 对每组假设对应计算距离d ， c 计算与f 一致的内点数，它等于d ， 打开一 图像”，弹出一个选图像的对话框； ( 2 ) 分别点击两个“浏览”按钮，选择需要进行处理的两幅图像 ( 3 ) 选择“匹配一 角点检测”，检测出角点； ( 4 ) 选择“匹配一 初始匹配”，给出一个初始的匹配结果； ( 5 ) 选择“匹配一 r a n s a c ”，求基本矩阵； 安徽大学硕士学位论文多视图三维重构算法与软件实现 ( 6 ) 选择“匹配一 引导匹配”，对初始匹配进行迭代优化； ( 7 ) 选择“匹配一 匹配修正”，手工删除误匹配点； ( 8 ) 选择“文件一 保存一 匹配点( 左) ”，将左