（信号与信息处理专业论文）未定标图象之是的几何关系及其在计算机视觉中的应用.pdf

摘要 从维削象精确地获取景物的_ 二维信息是计锋机视觉研究的首要任务，也是 娥点之一。以往侧重丁任定枷i 系统r 研究：维信息的获取，但静态定标过科复杂 向l 不斤1 史。本文筲先研究朱定标序列图敦问的儿何关系，确定两幅陶琢之间的 对板儿何约束关系，然后将这，o i 儿何关系麻川r 摄像机的白定标完成物体对幽 缘中物体的二维投影重建、= 维欧氏重建以及物体的二维建模等。f 论文所作的i 作包括： 由已知匹配点估计对极几何关系 估计两幅幽象问对极儿何芙系通常是指估计基础矩阵。本文对计算基础矩阵 的各类算法在理论和实验两个方面进行r 详细的分析平比较，在此基础上引进r 种新的求解基础矩阵的线性算法，该线性算法避免了没有经过处理的输入数据 对汁算过程的影响，具有接近”怍线性算法的精度，同时义避免了迭代运算。 基于几何约束的摄像机自定标 通过研究透视投影模型f 每个内部参数在二维重建中的作_ l j ，本文得剑j ，一 个简化的摄像机内部参数模型。根据这个模型，本文仅朋同一物体在两个不同视 点的两幅未定标图象，升基于梯度准则得出单摄像机的内、外部参数值，然后利 川这些参数值实现了物体在欧氏几何意义f 的三维重建。该方法不需其它附加设 备，可以实时在线进行，应用非常广泛。 基于几何方法的物体的三维重建 基于未定标图象间几何关系的物体投影重建是本文的一个研究重点，物体的 射影三维重建与摄像机的内、外参数无关，是目前计算机视觉中三维重建的主要 实现手段。本文研究了三种投影重建的方法。 虚拟平面三维重建是本文提出的一种新的获取三维信息的方法，该方法用基 r 虚拟平面的重投影方法求出对极点和光心的坐标并采用投影线交叉定位方法 得出了空间点的射影坐标。 基础矩阵三维重建是一种显式的投影重建方法，根据高精度的基础矩阵，就 能实现射影几何意义下的三维重建。 取代数三维重建是一种降式的投影重建方法，该方法从基础矩阵和图旁匹配 ，1 t f - 阿披汁锋物体的空问射影币变鼍。 山j ：坐标基或校准点的选扦对物体的- 维重建精度具有重要影响，本文捉山 r种利_ l f i 儿何约束关系选抒坐标荩或技准点m 加以修止的有效方法，该方法町 以人人减少二维重建的误筹。 基于几何约束的图象匹配及三维建模 本文利用几何约束关系，根据最人似然原理得剑一种图象优化匹配的算法， j f ：根据前面二维重建的结果，获得场景的：维儿f u 结构，在此基础上生成在虚拟 现实中的物体模型。该方法不需要主动光源或对摄像机定标，1 r 常简捷方便，是 极j l 前途的研究方法o 、】 g e o m e t r i cr e l a t i o n so fu n c a l i b r a t e d i m a g e sa n dt h e i ra p p l i c a t i o n si n c o m p u t e rv i s l 0 n a b s t r a c t d e r i v i n ga c c u r a t e3 d i n f o r m a t i o no f as c e n ei sa ne s s e n t i a la n di m p o r t a n tt a s ki n c o m p u t e rv i s i o n ，a n d i sa l s oo n eo ft h em o s td i f f i c u l tp r o b l e m s p r e v i o u s l y i ti s u s u a l l yi m p l e m e n t e du n d e rc a l i b r a t e dc a m e r as y s t e m ，b u tt h ec l a s s i c a lp r o c e d u r ei s c o m p l i c a t e da n du n c o n v e n i e n t i nt h i st h e s i sw ee m b a r ko ne s t i m a t i o no fo n eo ft h e g e o m e t r i cc o n t r a i n t so fi m a g e s 一e p i p o l a rc o n t r a i n to ft w ou n c a l i b r a t e di m a g e s ，a n d a p p l y t h e mt os e l f - c a l i b r a t i o no fa c a m e r a ，p r o j e c t i v er e c o n s t r u c t i o n ，e u c l i d e a n r e c o n s t r u c t i o na n dm o d e lb u i l d i n g ，w ed e a lw i t ht h ef o l l o w i n gw o r k ： e s t i m a t et h ee p i p o l a rg e o m e t r yf r o mi m a g em a t c h e s e s t i m a t i o no ft h e e p i p o l a rg e o m e t r yu s u a l l y m e a n s c o m p u t a t i o n o ft h e f u n d a m e n t a lm a t r i x i nt h i st h e s i st h ea l g o r i t h m sf o rc o m p u t i n gm a t r i xa r ea n a l y z e d a n d c o m p a r e d i nd e t a i lb o t h b ye x p e r i m e n t s a n dt h e o r ya tf i r s t an e wl i n e a r a l g o r i t h mi sa d o p t e dw h i c ha v o i d st h ee f f e c to fo r i g i n a li n p u td a t au p o ne s t i m a t i n g p r o c e d u r e t h ea l g o r i t h mh a st h eh i g hp r e c i s i o na p p r o a c h i n gt on o n l i n e a rc r i t e r i o n w h i l ew i t h o u tt h ei t e r a t i o np r o c e d u r e s e l f - c a l i b r a t i o no fac a m e r ab a s e do ng e o m e t r i cc o n t r a i n t as i m p l i f i e dc a m e r ai n t r i n s i cm o d e li so b t a i n e db ya n a l y z i n gt h ei n f l u e n c eo f e a c hi n t r i n s i c p a r a m e t e ru p o n3 dr e c o n s t r u c t i o n a c c o r d i n gt o t h i s m o d e l ，t h e t e c h n i q u eo fs e l f - c a l i b r a t i o no fac a m e r ai sd e v e l o p e db a s e do ng r a d i e n tc r i t e r i o nb y u s i n gt w ou n c a l i b r a t e db u tp a r a m e t e r - f i x e di m a g e so b t a i n e df r o mt w ov i e w p o i n t s a n dm a k i n gu s eo ft h e s ei n t r i n s i ca n de x t r i n s i cp a r a m e t e r se u c l l d e a nr e c o n s t r u c t i o n o ft h eo b j e c ti sp e r f o r m e du pt oas c a l e t h ea l g o r i t h mn e e dn o ta f f i l i a t ed e v i c ea n d c a nb ef u l f i l l e di nr e a lt i m e ，s oi th a sv e r ye x t e n s i v ea p p l i c a t i o n s 3 dr e c o n s t r u c t i o nb a s e do ng e o m e t r i cc o n s t r a i n t s p r o j e c t i v er e c o n s t r u c t i o nb a s e do ng e o m e t r i cc o n s t r a i n t so fu n c a l i b r a t e di m a g e s iso n eo ft h es u b s t a n t i a l c h a p t e r o ft h i st h e s ispr o i e c t i v er e c o n s t r u c t i o n is i n d e p e n d e n to f t h ei n t r i n s i ca n de x t r i n s i cp a r a m e t e r sa n di st h em a i np a t ho f d e r i v i n g 3 di n f o r m a t i o ni nu n c a l i b r a t e dc a m e r a s i nt h i st h e s i st h r e e t y p e s o fp r o j e c t i v e r e c o n s t r u c t i o na r ei n v e s t i g a t e d an e wm e t h o di s p r o p o s e dt o d e r i v e3 di n f o r m a t i o nb a s e do nu s eo ft h ev ir t u a l p l a n ei nt h es p a c e ，t h a tt h eo p t i c a lc e n t e r sa n de p i p o l e sa r ef ir s te s t i m a t e db yd o u b l e p r o j e c t i o nb a s e do nt h ev i r t u a lp l a n e ，a n dt h e3 dp o i n ti s o b t a i n e db yi n t e r s e c t i o g p a ir so fc a m e r ar a y s p r o j e c t i v er e c o n s t r u c t i o nb a s e do nt h ef u n d a m e n t a lm a t r i xj sa ne x p l i c i to d et h a t as e tp r o j e c t i v em a t r i c e sc a nb ed e r i v e d ，a n dp r o j e c t i v ec o o r d i n a t e so ft h ep o i n t sc a n b ec o r n p u t e d p r o j e c t i v e r e c o n s t r u c t i o nb a s e do nd o u b l e a l g e b r a i sa n i m p l i c i t o r et h a t p r o j e c t i v e i n v a r i a n t so ft h e c o n f i g u r a t i o n c a nb e g e n e r a l i z e d a sf u n c t i o n so ft h e c o o r d i n a t e so fi m a g ep i x e l sa n df u n d a m e n t a lm a t r i x b e c a u s eo fc h o i c eo fp r o j e c t i v eb a s i so rr e f e r e n c ep o i n t si ss u b s t a n t i a lt o3 d r e c o n s t r u c t i o n ，a ne f f i c i e n tp r o c e d u r ei sp r o p o s e dt oh o wt oc h o o s et h ep o i n t sa n d p o l i s hu pt h ec o o r d i n a t e sb yu s eo f t h ee p i p o l a rc o n t r a i n t ，i no r d e rt om i n i m i z ee r r o r s o fr e c o n s t r u c t i o n i m a g em a t c h i n ga n dm o d e lb u i l d i n gb a s e do ng e e m e t r i cc o n s t r a i n t s t h el a s to ft h i st h e s i st h em a x i m u ml i k e l i h o o de s t i m a t i o na r e u s e dt om a t c h i m a g e s p o i n tf e a t u r e s b a s e do n g e o m e t r i cc o n t r a i n t s w i t h t h er e s u l t so f3 d r e c o n s t r u c t i o n ，t h eg e o m e t r i cs t r u c t u r eo ft h es c e n ei sr e c o v e r e da n dav i r t u a lr e a l i t y m o d e liso b t a i n e d a si tn e e dn o ta c t i v ei l l u m i n a n to rc a l i b r a t et h ec a m e r a ，a n d i s v e r yc o n v e n i e n tt oc o m p l e m e n t ，s oi th o l d sg r e a tp r o m i s ei n3 d m o d e l l i n g ：坚塑奎翌叁兰堕! ：兰垡堡兰 一坠! l 第一章绪论 1 1 计算机视觉理论的研究与发展 视觉是人类获取信息、认识世界的最重要的途径。人们通过视觉获得外部环 境的信息，通过人脑的加i 。处理，来规划雨i 指导自身的智能活动。据统计，人类 感知外界信息的8 0 是通过视觉系统，以幽象的形式得剑的 j i n g1 9 8 7 】。冈此人 们希望机器视觉能象智能生物那样从场景的幽象中理解该场景及其中的物体，住 某种程度和某种环境f ，可以替代人类的作。计算机视觉就【y u a n l9 8 9 1 9 9 2 ；t a n g l9 9 3 ：m as d 1 9 9 8 ；w ul d 1 9 9 3 ；w uj k 19 9 3 ；y a n gl9 9 4 】是在这 样的背景f 随着计算机的问世而发展起米的一j 学科。目前，这f j 融合了图象处 理、模式识别、计算机技术以及生理心理学等研究成果的学科已经成为了信息科 学雨人l ：智能领域内一个活跃的和富有成果的部分，其研究成果广泛应川r 教 育、医疗、军事、工业生产等各个领域，极人地促进了这些领域自动化水平的提 高。 然而计算机视觉的发展并不是一帆风顺的，从1 9 6 4 年r o s e n f e l d 创建第一个 计算机视觉实验室，关于人类视觉问题的定量研究已有三十多年，直到19 8 2 年 m a r r 的观点随着其名著f m a r r ，1 9 8 2 为人们所接受以后，计算机视觉才真正发展 成为独立的研究理论。 m a r r 理论认为视觉系统应分为三个层次，即计算理论层次、表达与算法层 次和硬件实现层次，如图1 1 ，为m a r r 所提出的视觉计算理论模型。视觉信息 处理必须在若干不同的层次上加以理解，各个层次基本上是独立的。在视觉计算 理论层次，视觉系统可分为白下而上的三个阶段，即视觉信息从摄初的图象数据 刮最终的三维表达经历了三个阶段的处理： 1 ) 构造所谓“要素图”或“基元图”，基元图由二维图象中的边缘点、直线段、 顶点等基本几何元素或特征组成。 2 ) 对环境进行2 5 维图描述，即部分的、不完整的描述，这一阶段存在许多并 行的相对独立的模块，如立体视觉、运动视觉等。 3 ) 对2 5 维描述进行处理得到物体的完整三维描述，并以此识别三维物体。 ! ! 生窒丝查兰堡! 兰些堡兰 一一垫二! l 信息处理系统 图1 1m a r r 计算视觉理论 m a r r 开创性的视觉计算理论决定了其后十儿年计算机视觉发展的主流方 向。从图1 1 可见，三维重建是m a r r 理论为计算机视觉提山的具体目标，然而 多年米没有一个通用计算机视觉系统出现等事实，一度让人们对该领域的发展前 景悲观起来f p a v l i d s ，1 9 9 2 ；j a i n1 9 9 1 1 ，19 9 1 年剑19 9 4 年的短短四年问，若名杂 忠c v g i p ：i u 杂志组织了两次大的讨论，讨论中一些学者从计算机视觉、神经生 理学、认知学甚至哲学等各个领域就m a r t 理论的合理性进行了很多争论，争论 的问题主要包括： 1 ) 视觉过程可以看成是成像过程的逆过程，然而从畸变的、带噪声的二维图象 中提取三维场景信息是极度不适定的和不稳定的。这是m a r r 理论走向实j ；j 的一 个主要障碍。 2 ) m a r r 的视觉系统层次结构是自下而上的、模块化的、单向的数据驱动型结构， 而t s o t s o s 【1 9 9 4 】从现代神经生理学说明人的视觉系统上下各层次之间、各功能 模块之间存在更为复杂的相互作用，独立的功能模块是不存在的， g r o s s b e r g 【1 9 8 7 也认为，m a r r 模型的所谓25 维其实并不存在。 3 ) 关于视觉的主动感知问题，以a l o i m o n o s 1 9 9 l ，1 9 9 4 】为代表的目的主义学派 ( 主动视觉、定性视觉) 认为视觉不是处于一种被动的无知状态之中，而是按照一 定的目的去控制图象数据的获得。视觉是识别过程，是联想、解释和选择，与重 建无关。 国内的模式识别与人工智能杂志也在9 2 年组织了国内一些知名学者对这些 争论作了系统的评论和探讨f l i1 9 9 2 ；b i a n1 9 9 2 ；w u1 9 9 2 ；x u a n1 9 9 2 ；p e n 19 9 2 】，这几场争论都深层次触及了计算机视觉的根本问题，在对m a r r 理论争论 的过程中，人们逐渐认识到谈论通用的计算视觉系统为时尚早，而目前为某一目 ! ! 塑窒望叁堂塑! ：堂些丝兰 兰兰 的专川的视觉系统j j ! | j 是最有可能投入实h 的视觉系统。 主动视觉 b a j c s y1 9 8 8 19 9 2 ；h u a n gyl9 9 6 就是在这样的背景r 产生的， a 1 0 i m o n o s f l9 9 1 ，19 9 4 】更进一步提出了定性的、有目的主动视觉，并形成了所谓 的目的主义学派。所谓土动视觉就是指视觉系统主动地获取视觉信息，即在摄取 吲象时不断调整镜头参数、镜头方位( 朝向) 以及镜头与目标的相对位置，并通过 反馈信息控制整个图象获取过程，实际上就是模拟人类的视觉活动。 为某一目的的专用主动视觉系统在国内的研究也己取得了一定进展，北方交 通人学信息科学研究所袁保宗教授领导f 仿照瑞典k t h 主动视觉头制作了一个 1 有13 个自由度的主动视觉系统平台n j t u 头眼系统 z h a n gz h 19 9 5 ；z h a n gz h j9 9 6 a ；z h a n gz hl9 9 6 b ；h u a n gy h 1 9 9 6 ；h u a n gy 1 9 9 6 】，主要研究目标跟踪和 运动分析，如图1 2 所示。另外中科院自动化研究所国家模式识别开放实验室马 颂德研究员的领导卜，基于研制的9 个自由度自主午式的主动视觉系统研究了零 视差跟踪和目标姿态获取问题；清华大学计算机系徐光佑教授领导的研究小组基 r 具有6 - f - 自由度的机器人手臂构成主动视觉的“眼一手”系统研究c a d 模型r 的目标识别等。 图1 2n j t u 主动视觉系统的前视图 1 2 本文的主要研究背景 视觉是一个由获取的视觉信息理解景物的信息处理过程，计算机视觉的任务 则是使计算机能够根据图象，建立对客观景物具体而有意义的描述，从而“理解” 环境。“理解”的含义就是识别、重建三维物体或场景，其中识别是指对物体或 场景进行分类，重建包括得出物体或场景的物理参数，如表面灰度、反射、深度、 方向、边界、光线等，不过通常用得最多的是物体或场景中点、直线等元素的空 j ! 塑奎塑叁堂堕! ：兰竺堡苎 一竺二二生 问坐枷、。 景物的三维描述一卣是计镡机视觉的研究重点。二维信息，对n r 物体形状的 分析，物体的定位、定向与识别，景物的分析与理解都是极其重要的。闪此，从 计算机视觉产生之日起，景物的二维信息获取就成j , j 二维计算机视觉研究的核心 问题之一。二维信息获取的技术手段多种多样【y u a n1 9 8 91 9 9 2 ；y a n gj y 19 8 8 1 ，按获取方式分为主动式和被动式两人类础。主动式 n i t z a n1 9 7 7 ；j a r v i s 19 8 3 a1 9 8 3 b ；l ix 19 9 0 1 是利用特殊的受控光源照射被测景物，然后根据二角测 增原理得到三维信息：被动式 l ij ，c i9 8 7l9 8 8 b ；f a n1 9 9 2 是在臼然光条件r ， 采用已经定标的立体视觉系统，或通过已经定标的摄像机与物体之间的相对运动 得到序列图象，根据图象匹配对及已知的摄像机视觉模型，计算出景物的三维信 息。其中对应点的匹配问题 l i1 9 8 8 a ；y a n gja1 9 9 1 ；a i l9 9 0 ；m a c i n t o s h1 9 8 8 】 姓一个关键问题，过去的匹配方法侧重丁r 域的灰度相关计算，现代的方法侧重 r 特征的匹配，能获得特征点的稀疏的二维信息。被动式三维信息获取不需要特 殊的设备，与人类的视觉习惯比较接近。 在被动式的视觉系统中，三维信息的恢复与视觉系统的定标精度、特征匹配 的正确性有着直接的关系。这样的视觉系统中存在着一个基本问题，就是当在主 动视觉系统中或自然环境下，摄像机的位置及光学参数都需要随着任务的变化而 改变时，定标参数会发生变化，从而给物体的二维重建以至识别带来困难。由丁： 摄像机的定标需要特殊的装置，在自然环境下放置一个定标场显然是不现实的， 况且定标是一个复杂的过程。摄像机定标能得出关于物体的精确的三维信息，井 得到有关摄像机系统的内外部参数的人量的信息，而我们常常并不需要物体的精 确的位置信息，也不需要有关摄像机的内部信息，因而自然想到采用其它的更加 方便简捷的解决办法。 解决这个问题的方法主要有两种：对物体进行投影三维重建和对摄像机系统 进行自定标。 理想的摄像机成像模型是一个透视投影变换模型，由该模型得到的同一物体 的不同图象中，存在着能反映原三维物体闭有几何特性的一些恒定的量，这些恒 定的量就是透视投影不变量，多个透视变换合成个射影变换，因而可以用射影 儿何的知识来研究透视投影不变量。 对于没有非线性畸变的理想透视投影模型，射影几何是1 f 常强有力的数学r 具。射影几何【a l i a s1 9 8 4 ；m e i1 9 8 3 】是对应于射影变换群下的非欧儿何，研究的 对象是射影几何不变量 m u n d y1 9 9 2 。射影不变量是表述物体几何结构的，它不 随摄像机内部参数和视点位置的变化而变化，与世界坐标系的选择无关，这些重 要性质对于物体的投影重建和目标识别有着十分重要的意义。 4 一 ! ! 生窒望叁兰盟! ：兰竺丝兰生二j l 射影儿何不变量最初破j 【 j 来研究针对平面物体上的点、商线和二次曲线等元 素的识别 f o r s y t h1 9 9 1 】，这是冈为对 。平面物体，物体所在的三维空间和幽象 所在的二维平面之间满足射影变换关系。m u n d y 在他的并作【m u n d y l9 9 2 】中最 早将射影儿何引入计算机视觉领域，特别是八十年代末九十年代初朱定标图象间 对极几何约束关系f f a u g e r a s1 9 9 2 ；h a r t l e y1 9 9 2 a ；m o h r 19 9 0 】的提出，使人们能 够开始研究从两幅以至多幅剀象得到空间射影不变龉。对极儿何关系的含义是： 从两个视点得到的同一物体的的任意两幅图象中，匹配点的相对位置受到两个图 象平面的空间儿何关系约束，这种约束关系就是对极儿何关系，而基础矩阵就是 这种儿何约束关系的代数表达形式。在两幅未定标图象中，对极儿何关系是所能 得到的唯一信息它是解决从两个视点得到的两幅未定标图象问题的关键，从两 幅以至多幅未定标图象中能得到空间射影儿何不变量，_ 于f ：且能实现物体在射影儿 何意义f 的二维重建【f a u g e r a s19 9 2 ；h a r t l e y1 9 9 2 a 19 9 4 b 1 。 欧氏几何描述了点集在单位止交变换与平移变换f 的儿f o l 不变域，任意两点 间的距离对欧氏变换保持不变，冈此欧氏儿何适合描述计算机视觉中刚体的形状 平运动。对f 物体的三维重建来说，人们要直观地观察物体的形状、位置，并识 别物体，必须实现物体的欧氏三维重建。实现欧氏二维重建有丽种方法：假设已 完成射影几何意义下的三维重建，则需选择至少5 个控制点，若己知这些点的欧 氏坐标及射影坐标，可实现两个坐标系之间的转换；或直接采州摄像机的白定标 技术，对物体进行欧氏三维重建。 白定标理论是近年来在摄像机定标方面的一个重要发展。摄像机的自定标方 法只_ _ i j 到图象之间的匹配，得到摄像机的内、外部参数和物体的运动和结构其 优点在于不依赖于特殊装置和环境并且可以在线进行。由于白定标问题的先验条 件太少，要恢复视觉系统的内外参数，不可避免地比传统方法复杂得多，数值稳 定性也差，为简化计算，常常采用简化的摄像机模型。对于未定标图象，由于两 幅和多幅图象之间的几何约束关系是能获得的唯一信息，因此如果不存在其它先 验条件，大部分自定标方法都必须使用这个关系。 两幅未定标图象之间的几何约束关系，称为对极几何约束关系，代数上可州 有7 个参数的3 3 的基础矩阵表示；若是三幅未定标图象，则称为三线性关系， 代数上表现为1 8 个参数的三线性关系式。几何约束关系自从提出之日起，很快 成了计算机视觉领域的一个新的充满希望的研究热点，并在很短的时间里，在计 算机视觉中产生了大量的应用，并得到较为鲁棒和可靠的结果，其中包括： 用同一场景的两幅图象进行投影三维重建l - l a r t l e y1 9 9 2 a1 9 9 2 b ；s h a s h u a 19 9 31 9 9 41 9 9 6 ；q u a n1 9 9 5 ：m o h r1 9 9 3 1 提取射影不变量 s h a s h u a1 9 9 3 ；g r o s1 9 9 3 ：h a r t l e y1 9 9 4 b 1 ! ! 变銮丝叁兰堕! 兰丝堡苎 垫_ = 旦 幽象特祉点之间的匹配 f a u g e r a s19 9 3 ；z h a n g z y 19 9 7 ；f i t z g i b b o n i9 9 8 a 从两幅图象中得剑一个新视点的幽象【r o t h w e l l 19 9 5 a ；w a n gw i 9 9 8 】 盘体图象匹配及3 d 建模【f i t z g i b b o n19 9 8 a ，19 9 8 b 】 运动摄像机的自定标【m a y b a n k19 9 2 ：l u o n g1 9 9 2 l9 9 7 】 1 3 论文的主要内容及结构安排 本文是作者三年来在导师袁保宗教授的指导r 在计算机视觉领域里的学习 和研究成果的一个阶段性的总结。该项研究属于国家白然科学基金项目“多功能 感知机”的一部分，而研究的目标是使计算机具有通过任意二维序列未定标幽象 获取三维环境信息，从而达剑重建及认知外界景物的能力。以往的三维信息获取 侧重】研究定标系统下物体的二维重建、建模共至识别，由于静态定标方法的复 杂性年i j 吏州不便，因此本文以研究序列朱定标图象之间的几何关系为线索，其中 主要是两幅图象之间的对极儿何约束关系，以及将这些儿伺关系应州丁| 摄像机系 统的自定标、物体的投影三维重建、欧氏三维重建和二维建模等。本文所作的l 作包括以f 几个主要方面： 1 ) 从匹配点中恢复对极几何关系 估计两幅图象间对极几何关系就是估计基础矩阵。本文对计算基础矩阵的各 类算法在理论和实验两个方面进行了详细的分析和比较，并引进一种新的算法， 其中将所有空间点和图象点的坐标均用射影坐标米表示，在此基础上推导出求解 基础矩阵的基本方程，并用线性子空间方法解出对极点及对极变换，以此作为初 始值，用最小距离准则得到较高精度的基础矩阵。该方法与已有的算法相比，提 高了精度，且具有良好的抗噪声性能。 2 ) 基于几何约束的摄像机自定标的研究 通过研究透视投影模型下每个内部参数在三维重建中的作用，证明了象主点 的位置偏差对三维重建结果的影响不大，从而可以假设象主点位于图象中心来简 化计算。本文采用经典的k r u p p a 方程计算内部参数的初始值，并基于最小方差 的准则得山内部参数的优化值。最后运用自定标的结果对物体进行欧氏三维重 建，取得了较好的效果。 3 ) 基于几何方法的物体的三维重建 基于未定标图象之间几何关系的物体投影重建是本文的另一研究重点，本文 研究了三种类型的投影重建方法。 基于虚拟平面的物体的三维重建，通过定义虚拟平面，并证明对虚拟平面上 任一点，选定虚拟平面上射影坐标系的适当的单位点，可使虚拟平面上点的射影 ! ! 塑窒翌叁堂鲨! 兰丝堡兰 兰! 二生 坐标，其住空阃射影坐标系的坐标值相等，j 且j , j 经过该点的空间直线的方向欠 垃。然后采h j 精确的非线性方法得剑两幅剀蒙荚r 该虚拟平面的转移矩阵，并川 基i ：虚拟平面的重投影方法求出对极点利光心的坐标，壤后_ l j 投影线交义定4 口方 法得出了空间点的射影坐标。 基r 基础矩阵的三维重建方法是一种显式的投影重建方法。该方法首先要求 山高精度的基础矩阵，然后利_ i j 基础矩阵确定一对投影矩阵，根据图象匹配点就 能实现射影几何意义下的三维重建。如果已知5 个以上校准点的欧氏坐标，就能 实现在欧氏儿何意义f 的三维重建。校准点的位置和数量对欧氏重建有重要影 响，当f t - 有6 个校准点时可人幅度减少误筹，另外本文还给出了选择校准点的步 骡。 基丁舣代数的三维重建方法是一种隐式的投影重建方法。该方法不需要计算 摄像机的投影矩阵，而是计算物体的空间射影不变琏。同样作为坐标基的5 个点 的选择对欧氏重建有重要影响，选择坐标基的步骤与选择校准点的步骤一样。 4 ) 基r 几何约束的图象匹配及二维建模 两幅或多幅图象之间的儿何约束关系与图象特征点的匹配两者之间存在着 一种互为冈果关系。当已知图象特征匹配点时，可以计算出对极几何关系或三线 性关系；而当已知对极几何关系或三线性关系时，就可以修正匹配特征点的坐 标。利用这一特性，本文以几何约束关系作为约束条件，同时计算基础矩阵和匹 配点坐标。 本文根据三维重建的步骤，得出目标所有特征点在射影儿何意义下的三维重 建，并假设己知某些控制点的欧氏坐标，根据这些控制点计算出所有特征点的欧 氏坐标，从而恢复目标的三维结构，并用v r m l 语言显示3 d 模型。 本文内容的结构安排如下： 第一章介绍本文的研究背景和研究内容。 第二章介绍本文所涉及的有关概念和符号约定，其中包括射影几何和对极儿何 的一些基本知识以及摄像机的投影模型等。 第三章综述前人的研究成果。 第四章介绍两幅图象间的对极几何关系，以及计算基础矩阵的线性算法和非线 性算法，并引进一种新的算法即线性子空间算法。 第五章利用图象间的几何约束关系进行摄象机的自定标，并根据自定标结果实 现物体的欧氏三维重建。 第六章讨论了物体的三维重建方法，其中包括基于虚拟平面的方法、基千基础 矩阵的方法和基于双代数的方法。 ! ! 生茎堡叁堂壁! 兰些笙兰一 篓：霪： 兰考磊簟篡萎喜霎篡：。篆凳孝羹耄娄芸篡嘉罢霍篙票菱警羹，今后 结嫩语对本文的【7 作进i r 总结，概括了其士要贡献丰仔任刖个疋捉。“ 的研究方向。 一8 北玎交通 = 学博i ：学位论义鹕一帝 第二章有关的理论基础知识 计算机视觉所涉及的数学知识较多，如矩阵论c h e n l9 9 7 ；z h a n gx d i9 9 7 】、儿何学【a l i a s19 8 4 ；m e i1 9 8 3 ；n a ni9 7 8 、最优化方法f z h a n gg c 1 9 8 9 、 随机过程等，本章主要介绍些与论文有灭的数学知识利符号约定，其中包括射 影儿何的有关知识、摄像机的成像模型、两幅图象间的对极几何芙系等，以及包 括本文中所要_ 【 j 到的数学符号约定等，这些数学知识、数学符号和基本概念是本 文理论推导和实际应用的根本依据和基础。 2 1 符号约定 侄本文中，所有空间点均采h j 人写字母表示，所有二维幽象点均川小写字母 表示，如点m 表示空间点m 在图象上的投影，f 面列出本文中用到的部分数学 符号的含义： 天：透视变换 兀：射影变换 d ：坐标原点 e ，e ：两幅匹配图象上的对极点 c ，c ：两摄像机的光心 ( 口，b ) ：经过点口，b 的直线 = ( 一，m ) ，l m = ( p ，聊) ：两图象平面上的对极线 【x 。：若三维矢量z = ( _ ，x ：，b ) 7 ，则 x 】。 | ：矢量x 的模 兰：在相差一个常数因子的意义上相等，如矢量( 1 , 2 ，3 ) 兰( 2 , 4 ，6 ) a ：摄像机的内部参数矩阵 r ：3 3 旋转矩阵 f ：3 1 移动向量 d ：3 4 或4 4 矩阵，不同三维坐标系之闻的转换矩阵 h ：二维或三维映射矩阵或转换矩阵 一9 、 啊o o _ o 屯吖 ，l 些生窒望叁兰竖! ：兰些堡苎曼l 二旦 f ：特t 止矩阵 f ：基础矩阵 ，：单位矩阵 2 2 射影几何的一些基础知识 计算机视觉中常用剑儿何方面的知识，包括欧氏儿何、仿射儿何、射影儿何 ! i 微分儿何，其中射影儿何在计算机视觉中应_ l | 最广泛。射影儿何是关丁射影变 换群的1 | 欧儿何，比起欧氏儿何来，许多雉以解答的问题都可以在射影儿何里轻 而易举地得剑答案，有关射影几何的知识可参考文献【a l i a s ，1 9 8 4 ；m e i ，1 9 8 3 。 2 2 1 一维和二维射影变换的几何表示 如图2 1 所示，从点o 出发的四条射线与直线，和f ，分别交于a ，b ，c ，d ，与 a ，b ，c ，d ，则两组点列之间存在透视变换，记为 f l ( 爿，b ，c ，d ，) 天，2 ( 爿，b ，c ，d ，) ( 22 i ) 同样，两组点列a ，b ，c ，d ，与a ”，b ”，c ”，d ”，之间存在透视变换，记为 ，2 ( 一，b ，c ，d ，) 天1 3 ( 4 ”，b ”，c ”，d ”，) ( 222 ) 则点列a ，b ，c ，d ，与a ”，b ”，c ”，d ”，之间存在射影变换，记为 “a ，b ，c ，d ，) 天1 3 ( ，b ”，c ”，d ”，) ( 2 2 3 ) 由此可见，射影变换是一系列透视变换的组合，透视变换一定是射影变换，但射 影变换不一定是透视变换。 图2 1 一维射影变换 与一维射影变换类似，同样可以定义二维或更高维的射影变换。射影变换有 个晟重要的性质，即射影变换保持点列的交比不变，如图2 1 有 ! ! 查窒堡叁兰堕! ：兰! ! 堡苎 一 塾墨 a ca da c a d a 。c ”a ”d ” b cb db c b d b ”c ”b ”d ” 射影变换还保持线束的交比和平面求的交比不变，如图2 2 l l 。u = 粼粼 ( 2 24 ) r 2 25 1 其中( ，) 表示肖线l i , ，之间的夹角，同样假设闺2 2 足平面束的横截面 ( 石，丌，) 表示平面2 i t i z ，之间的夹角! j ! , j l q - 月，刀 ，厅：，万，z 。) = 言：蹦等辎= 月( ，厶，j ，厶) = 月( 爿，占，c ，功c 。s ， 图2 2 线束之间的射影变换 2 2 2 射影变换的代数表示 代数中的射影变换是指一个由n + 1 维可逆矩阵确定的r ”维空间到自身的线 性变换。设x ，y 为变换前后空间两点的齐次坐标，则存在可逆矩阵，使得 = h x( 2 2 7 ) 其中“为标量。 可以证明，式( 2 2 7 ) 保持直线上的交比不变，两者互为充分必要条件，由了二 射影变换矩阵h 是可逆的，对于二维射影变换来说，4 个点对可以唯一确定可 逆矩阵h 。 2 2 3 欧氏坐标系与射影坐标系的变换 根据射影几何中射影变换保持交比不变的性质，可定义射影坐标系：直线， 上的维射影坐标系由原点o 、单位点e 、与无穷远点，定义，任意一点的坐标 可由该点与点o 、e 、i 的交比得到。平面上的二维射影坐标系由两个交比得到， 因而需要4 个点o 、e 、l 、i y 来定义二维射影坐标系，其中任意三点不共线。 如果射影坐标系全部采用齐次坐标，j | ! 一维射影坐标系中有坐标点o ( 1 ，o ) 、 坐塑窒堡叁! ! i ! 竺! ：兰竺堡兰 一一竺二三旦 i ( 0 1 、孙单位点( 1 ，1 ) ，_ 二维射影坐标系中有坐标点o ( 1 ，0 ，0 ) 、，( 0 , 0 ，1 ) 、 ，( 0 , 0 ，1 ) 年| j 单位点e ( 1 ，1 ，1 ) 。同样可定义二维射影坐标系。 通常的欧氏坐标系与射影坐标系之间存在坐标变换芙系，以二维平面坐标变 换为例，设杠：欧氏坐标系r 存在4 点， 它们的齐次坐标为 = ( 一，y ，1 ) ，i = 1 ，一，4 ，其中任意二点不共线。将该4 点作为射影坐标系的 柑i 准坐标基，其中m 】，m 2 ，3 作为坐标点p 】= ( 1 , 0 ，o ) 7 ，e 2 = ( 0 , i ，o ) 7 ，e = ( 0 , 0 ，1 ) 。，4 作为单 ：7 _ 点e 。= ( 1 ，1 ，1 ) 7 。变换矩阵为凰。，冈而有 e = 。风。3 m 。 ( 2 28 ) 解式r 2 2 8 ) ，得 f x l a4 2 3 玛。32 iy i a 4 2 3 l 。：， f x ，x ，x t 丫 这里摊= l y ， y y i l 11 1 x 3 a 1 2 4 1 尝4 j r 2 2 9 1 同样对y - 二维欧氏坐标系选抒5 个空间点，兵中任意4 点不共向，它俐的并玖 欧氏坐标为 聊，= ( 一，y ，z ，1 ) 7 ，i = l ，5 ，将该5 点影射为二维射影坐标系的标 准坐标基e 】= ( 1 ，0 ，0 ，o ) 7 ，e 2 = ( o ，1 ，0 ，o ) 7 ，e 3 = ( o ，0 ，1 ，0 ) 7 ，e 4 = ( 0 ，0 ，0 ，1 ) 7 ，e 5 = ( 1 ，l ，1 ，1 ) 7 ， 得到射影变换： e ，= ，。4 卅j ( 2 2 1 0 ) 同样可得 f x l 5 2