（模式识别与智能系统专业论文）基于图像的测量及三维重建研究.pdf

摘要 本论文主要以结构化场景的图像为对象，围绕单视测量、摄像机标定以及三 维重建等方面的实际问题，进行了比较深入的研究。主要内容包括： 1 提出了通过单幅图像进行平面测量的三种新方法并比较了这些方法的测量 精度。第一种方法直接利用直线的对应关系来计算空间平面与图像间的单应矩阵； 第二种方法先利用两个相互垂直方向上的消隐点构造一个仿射变换矩阵，然后通 过场景中的参考距离获得欧氏度量信息；第三种方法是利用射影变换保持交比不 变的性质来计算空间距离与图像线段长度间的变换关系。此外，还给出了从单幅 图像测量点到直线的距离、直线问的夹角、平面图形的面积等的方法。 2 提出了两种由参考平面单应矩阵和垂直方向消隐点恢复摄像机投影矩阵的 方法，并在此基础上提出了三种恢复场景欧氏度量信息的新方法。一是参考平面 上物体高度的测量方法：二是垂直于参考平面的平面内几何信息的度量方法；三 是任意平面内几何信息的度量方法。此外，还首次提出了由单幅图像测量某些规 则物体的体积和表面积，以及恢复场景中其它几何参数的方法。 3 。证明了当场景中存在长度相等或比值已知的直线段时，可以提供新的关于 摄像机内参数的约束，并从消隐点和圆环点的角度对此进行了深入分析。提出了 一种求解摄像机外部参数和投影矩阵的简便方法，并由此恢复出场景的三维几何 结构，同时给出了一个完整场景的三维重建结果。 4 提出了一种由矩形图像线性求解摄像机内外参数的方法。该方法不需要知 道矩形的几何信息，也不涉及图像匹配问题。另外，还提出了在相差一个比例因 子意义下，恢复矩形欧氏度量的线性方法。 5 提出并证明了下述命题：一是在变参数摄像机模型下，如果没有任何可以 利用的场景信息，则无法通过两幅纯平移图像进行仿射重建；二是如果场景中含 有一张平面和一对平行直线，或者场景中含有两张平行平面，则从两个平移视点 下的图像可以线性地对场景进行仿射重建。 6 提出了一种利用场景中的几何约束关系，通过两幅图像对结构化场景进行 重建的方法。该方法的主要特点在于：一是通过一种r a n s a c 机制从二维图像直 接检测场景中的主平面；二是提出了一种简单的、由单应矩阵引导的直线匹配方 法，并结合点和直线的匹配来优化单应矩阵；三是在畸变因子为零的情况下，提 出了由两幅图像标定两个变参数摄像机的方法；四是本方法可以重建出在任何一 幅图像中可见的物体表面，而非仅仅重建出两幅图像的重叠部分。 关键词：单视测量、摄像机标定、三维重建、结构化场景、仿射重建、单应矩阵 a b s t r a c t t h e s t u d y i sf o c u s e do n s i n g l e v i e wm e t r o l o g y , c a m e r ac a l i b r a t i o na n d3 d r e c o n s t r u c t i o no fs t r u c t u r e ds c e n e s t h em a i nw o r ki ss u m m a r i z e da sf o l l o w s ： 1 c h a p t e r2i sf o c u s e do np l a n em e t r o l o g yu s i n g as i n g l ea n c a l i b r a t e di m a g e ，a n d t h r e en o v e lm e t h o d sa r ep r o p o s e d t h ef i r s to n eu s e sl i n ec o r r e s p o n d e n c e sd i r e c t l yt o c o m p u t eh o m o g r a p h yb e t w e e nt h es p a c ep l a n ea n di t si m a g es o a st oi n c r e a s et h e c o m p u t a t i o n a la c c u r a c y t h es e c o n do n ei sb a s e do nt w oo r t h o g o n a lv a n i s h i n gp o i n t s ， w h i c hf i r s tm a p st h ei m a g ep o i n t st oa na f f i n es p a c ev i aat r a n s f o r m a t i o nc o n s t r u c t e d f r o mt h ev a n i s h i n gp o i n t s ，a n dt h e nc o m p u t e st h em e t r i cd i s t a n c ea c c o r d i n gt ot h e r e l a t i o n s h i pb e t w e e n t h ea f f i n es p a c ea n dt h ee u c l i d e a ns p a c e t h et h i r do n ei sb a s e do n t h ei n v a r i a n c eo fc r o s sr a t i o st or e t r i e v et h el e n g t h so fs p a c es e g m e n t s i na d d i t i o n ，a b r i e f d e s c r i f i t i o no nh o w t or e t r i e v eo t h e rg e o m e t r i c a le n t i t i e so nt h es p a c ep l a n e ，s u c h a sd i s t a n c ef r o map o i n tt oal i n e ，a n g l ef o r m e d b y t w ol i n e s ，a r e ao f p l a n a ro b j e c t s ，e t c i sa l s op r e s e n t e di nt h ec h a p t e r 2 c h a p t e r3i sf o c u s e do ns i n g l ev i e wm e t r o l o g yo f3 ds c e n e s a tf i r s t ，t w on e w m e t h o d sf o rt h ed e t e r m i n a t i o no fc a m e r ap r o j e c t i o nm a t r i xt h r o u g ht h ek n o w l e d g eo f t h eh o m o g r a p h yo fas p a c er e f e r e n c ep l a n ea n di t sv e r t i c a lv a n i s h i n g p o i n t a r ep r e s e n t e d t h e n ，t h r e en o v e la p p r o a c h e st og e o m e t r i ci n f o r m a t i o nr e t r i e v a lo ft h es c e n ed i r e c t l y f r o mt h er e c o v e r e dp r o j e c t i o nm a t r i xa r ep r o p o s e d t h ef i r s to n ei st om e a s u r et h e h e i g h to f a no b j e c to n 恤er e f e r e n c ep l a n e t h es e c o n do n ei st ot a k em e a s u r e m e n to na v e r t i c a lp l a n e t h et h i r do n ei st ot a k em e a s u r e m e n to i la n a r b i t r a r yp l a n e w i t h r e s p e c tt o t h er e f e r e n c ep l a n e i na d d i t i o n ，t h ea p p r o a c h e st oc o m p u t i n gt h ev o l u m ea n ds u r f a c e a r e ao fs o m ec e r t a i nr e g u l a ra n ds y m m e t r i c o b j e c t s o nt h er e f e r e n c e p l a n ea n dt o r e t r i e v i n g o t h e rg e o m e t r i c a le n t i t i e sa r ea l s op r e s e n t e di nt h ec h a p t e r 3 c h a p t e r4i sm a i n l yf o c u s e do nt h ep r o b l e mo fc a m e r ac a l i b r a t i o na n d3 d r e c o n s t r u c t i o nf r o mas i n g l ev i e wo fs t r u c t u r e ds c e n e i ti s p r o v e dt h a tt w ol i n e s e g m e n t sw i t he q u a ll e n g t ho rk n o w nl e n g t hr a t i o i nt h es c e n ec a np r o v i d ean e w i n d e p e n d e n tc o n s t r a i n tt ot h ei m a g eo ft h ea b s o l u t ec o n i c t h ec o n s 仃a i n ti s f i l r t h e r s t u d i e db o t hi nt e r m so ft h ev a n i s h i n gp o i n t sa n dt h ei m a g e so fc i r c u l a rp o i n t s ，a n dt h e c a m e r ac a l lb ec a l i b r a t e du n d e rt h ew i d e l ya c c e p t e da s s u m p t i o no fz e r o s k e w t h i s c h a p t e ra l s op r e s e n t sas i m p l em e t h o df o rt h er e c o v e r yo fc a m e r ae x t r i n s i cp a r a m e t e r s a n dp r o j e c t i o nm a t r i xw i t hr e s p e c tt oa g i v e nw o r l dc o o r d i n a t es y s t e m t h u s ，as c e n e s t r u c t u r ec a nb er e c o n s t r u c t e d b yc o m b i n i n gp l a n a rp a t c h e s ar e c o n s t m c t i o nr e s u l to fa w h o l e b u i l d i n gs i t ei sp r e s e n t e di nt h ee n do f t h i sc h a p t e r 4 i nc h a p t e r5 ，al i n e a ra p p r o a c hi s p r o p o s e dt od e t e r m i n et h ec a m e r a si n t r i n s i c a n de x t r i n s i cp a r a m e t e r s t h em e t h o di sb a s e do nt h ec i r c u l a rp o i n t sd e r i v e df r o m t h e i m a g e so f t w ou n p a r a l l e lc o p l a n a r r e c t a n g l e si ns p a c e ，a n dt h en e c e s s a r ya n ds u f f i c i e n t c o n d i t i o no ft h ec o n s t r a i n t s y s t e mf o rau n i q u es o l u t i o ni sa l s op r o v i d e d t h em a i n a d v a n t a g e o ft h e p r o p o s e dm e t h o di s t h a tn e i t h e rt h em e t r i ci n f o r m a t i o no ft h e r e c t a n g l e s n o rt h e c o r r e s p o n d e n c e sb e t w e e ni m a g e sa r er e q u i r e d as i m p l el i n e a r a p p r o a c ht or e t r i e v i n gt h em e t r i ci n f o r m a t i o no ft h er e c t a n g l e su pt oas c a l ei sa l s o p r e s e n t e d i nt h ec h a p t e r 5 c h a p t e r6i s f o c u s e do nt h ea f f i n er e c o n s t r u c t i o nf r o mt w op u r et r a n s l a t i o n i m a g e s t h ef o l l o w i n gr e s u l t sa r eo b t a i n e d ( 1 ) c o n t r a r yt ot h ec l a i mi nt h el i t e r a t u r e t h a tt h ea f f i n er e c o n s t r u c t i o ni s p o s s i b l ef r o mt w oi m a g e sc a p t u r e db yat r a n s l a t i n g c a m e r aw i t hu n k n o w na n d v a r y m gp a r a m e t e r s ，i ti sp r o v e dt h a ts u c har e c o n s t r u c t i o ni s i nf a c ti m p o s s i b l e ( 2 ) i fap a i ro f p a r a l l e lp l a n e so ro n ep l a n ea n dap a i ro f p a r a l l e l l i n e sa r ep r e s e n ti nt h es c e n e ，t h ea f t m er e c o n s t r u c t i o nc a nb ed o n e l i n e a r l yf r o mt w o i m a g e st a k e nb y a t r a n s l a t i n gc a m e r aw i 也v a r y i n gi n t r i n s i cp a r a m e t e r s 6 c h a p t e r7i sf o c u s e do nap r a c t i c a lm e t h o df o rr e c o n s t r u c t i o no fs t r u c t u r e d s c e n e sf r o mt w ou n c a l i b r a t e di m a g e s t h em a i nc h a r a c t e r i s t i c sa r ef o u r - f o l d ：( 1 ) t h e m e t h o di sb a s e do na ni n i t i a le s t i m a t i o no fp r i n c i p a l h o m o g r a p h i e sf r o m2 dp o i n t m a t c h e s ( 2 ) as i m p l eh o m o g r a p h y g u i d e dm e t h o df o rl i n e c o r r e s p o n d e n c e sb e t w e e n t w ov l e w si sp r o p o s e d ，a n dt h e h o m o g r a p h y i sr e f i n e db y i n c o r p o r a t i n gt h em a t c h e so f b o t hp o i n t sa n dl i n e s ( 3 ) t h ec a m e r a sw i t ha l lt h ef o u ri n t r i n s i cp a r a m e t e r sv a r y i n g b e t w e e nt h et w ov i e w sa r ec a l i b r a t e du n d e rt h e a s s u m p t i o no fz e r o s k ew ( 4 ) t h e p r o p o s e dm e t l l o dm a yr e c o n s t r u c tm o r ev i s i b l es u r f a c e so nt h ed e t e c t e dp l a n e st h a n t r a d i t i o n a lm e t h o d s ，w h i c hc a n o n l yr e c o n s t r u c tt h eo v e r l a p p i n gp a r to f t h et w ov i e w s k e y w o r d s ：s i n g l ev i e wm e t r o l o g y ；c a m e r ac a l i b r a t i o n ；3 dr e c o n s t r u c t i o n ；s t r u c t u r e d s c e n e s ；a f f i n er e c o n s t r u c t i o n ；h o m o g r a p h y 独创性声明 本人声明所成交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人 已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确地说明并表示了谢意。 签名： 毛堑! 1日期：兰! 壁垒! 旦竺旦 关于论文使用授权的说明 本人完全了解中国科学院自动化研究所有关保留、使用学位论文的规定，即 中国科学院自动化研究所有权保留送交论文的复印件，允许论文被查阅和借阅 可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 签名：垂垫丝导师签名：芝丝兰釜如期：兰丝垒挚! 固堡固 第一章绪论 第一章绪论 “k i s i o ni st h e p r o c e s so f d i s c o v e r i n g f r o mi m a g e sw h a t 诂p r e s e n t i nt h ew o r l d a n dw h e r eit捃”david m a i r 人类通过视觉识别文字、图片和周围的环境；利用听觉识别与理解语言。 视觉与听觉是人类智能的重要组成部分。从信息处理的角度搞清它们的机理， 研究它们的计算理论及算法，从而使计算机具有人类的视觉和听觉等能力，是 我们在基础研究与应用研究中面临的重大挑战之一j 。 计算机视觉的研究目标是使计算机能够像人那样通过视觉和图像认识和理 解世界，具有自主适应周围环境的能力。这种能力将使计算机能够感知环境中 物体的几何信息，并对其进行描述、识别和理解。计算机视觉的发展得益于计 算机科学、信号处理、应用数学、神经生理学和认知科学等多种学科的研究和 发展。作为一门综合性的交叉学科，计算机视觉已经引起了来自许多学科研究 者的广泛兴趣，成为科学领域中一个富有挑战性的研究领域。一些国家，如美 国把计算机视觉的研究列为对经济和科学有广泛影响的科学和工程中的重大基 本问题之一。正如n e g t 2 所说：“计算机视觉的挑战是要为计算机和机器人开发 具有与人类水平相当的视觉能力。机器视觉需要图象信号、纹理和颜色建模、 几何处理和推理，以及物体建模。一个有能力的视觉系统应该把所有这些处理 都紧密地集成在一起”。 人类对计算机视觉的研究起源于上个世纪6 0 年代【3 】，但直到8 0 年代m a r r 4 】 的视觉计算理论才首次提出关于视觉的系统理论。m a r r 的视觉计算理论立足于 计算机科学，系统地概括了心理物理学、神经生理学、临床神经病理学等方面 已取得的所有重要成果，是迄今为止最系统的视觉理论，对计算机视觉的研究 起了巨大的推动作用，但还远未解决人类视觉的理论问题。经过不断的改进和 发展，从事计算机视觉的研究者们已发展起一套计算理论和算法，从而能用计 算机对视觉信息( 图像) 进行分析与处理。 基于图像的测最及三维重建研究 1 1 选题意义及研究动机 计算机视觉作为一门独立的学科正在受到广泛的重视，并已应用于遥感图 像分析、文字识别、医学图像处理、多媒体技术、图像数据库、工业检测和军 事等许多领域。我们相信，随着跨学科基础研究的不断深入和计算机性能的迅 速提高，计算机视觉必将得到更广泛的应用。 m a r r 视觉计算理论的最终目标是从二维图像恢复三维物体可见表面的几何 结构，即三维重建。自m a t t 视觉理论框架建立以后，三维重建技术得到了长足 的发展，9 5 年、9 7 年、9 9 年连续三届的m a 玎奖得主都是从事三维重建方面的研 究工作。由多幅图像重建物体的三维结构主要包括三个步骤，即图像匹配、摄 像机标定和三维结构计算。目前，三维重建本身已经建立起一套完整的算法体 系，但是许多算法和系统的鲁棒性不强，且多是只对某一类场景有效陋j 1 6 j 。 测量在许多领域中是必不可少的，比如交通事故、刑事犯罪现场，建筑物、 施工现场等，都需要进行大量的测量工作。传统的测量方法主要有两种【7 j ：一是 采用手t n 量。但这种方法十分耗时，也容易因测量人员的主观因素产生较大 的测量误差：二是采用超声、激光、结构光等主动测量装置。但主动测量设备 所得到的测量结果可能会受一些意外反射和交叉干扰的严重影响，此外，这种 设备只能测量一些实在物体，而不能用于测量仅在图像中出现的物体，如古建 筑物的历史图像。近年来，随着计算机视觉和摄影测量学的发展和应用，借助 计算机视觉方法对场景进行测量已引起许多学者的关注和兴趣【7 】【2 l 】【3 0 】【5 7 】【5 8 1 。这 种方法具有许多优点：( 1 ) 测量过程方便，测量结果客观；( 2 ) 所需要的硬件设 备简单，成本低廉；( 3 ) 所获取的数字化信息可以重复使用，而不需要再回到原 来的实际场景。 基于计算机视觉的测量方法主要有两类。其中最为典型的是通过同一场景 的两幅或多幅图像利用立体视觉的方法重建出被测场景的三维结构【7 】【1 3 】【5 1 ，从而 测量出三维空间中任何两点之间的距离。这种方法的测量精度取决于摄像机的 标定精度和图像匹配点的定位精度，而摄像机的精确标定和图像匹配点的精确 定位都是计算机视觉领域的经典难题，有时很小的参数误差都会对最后测量的 结果产生很大的影响【7 l 。因此，基于多幅图像的方法在实际应用中有很多困难。 2 第一章绪论 第二类是近年发展起来的基于单幅图像的测量方法，这种方法与基于立体 视觉的方法相比，其主要优点在于避免了视觉领域的图像匹配问题，而且不需 要已知摄像机的内外参数，使整个测量过程更方便、结果更精确和鲁棒。因此， 基于单幅图像的测量是计算机辅助测量领域的一个发展方向。 我们日常所接触到的物体和场景多为一些人造的结构化场景，如建筑物、 公路、房间等。这类场景一般都由一些平面、平行线以及其它一些规则的几何 图形组成【”。本文主要研究如何通过计算机视觉方法，利用场景中的几何约束， 由单幅或多幅结构化场景的图像进行测量和重建。研究这类物体和场景的测量 及三维重建不仅具有重要的理论意义，而且具有广泛的应用价值，如城市规划、 房地产、计算机游戏等。在某些隋况下，如已经消失的古迹、遭到破坏的建筑 物等，我们只能通过其照片或图片进行测量和重建。 1 2 国内外研究现状 1 2 1 与三维重建相关的工作 文献中基于结构化场景的三维重建方法可以概括分为两大类【8 】，即基于模型 ( “m o d e l b a s e d ”o r “c a d b a s e d ”) 的方法 9 和基于几何约束( “c o n s t r a i n t - b a s e d ) 的方法。前者是利用一个物体模型与图像特征相拟合1 1 l 】【1 2 】，而后者依赖于几 何特性( 如共面性等) 进行重建1 3 【1 4 【1 5 】【16 1 。此外，还有一些两者相结合的方 法 1 7 【18 1 。 1 2 1 1 基于模型的重建方法 矩形、平行四边形、圆、棱柱等是人造结构化场景中的常见几何形状，许 多物体就是由这些基本形状组合而成的。基于模型方法的基本思想就是重建出 与图像数据相匹配的基本形状并将其组合起来。般是由用户指定一种【1 9 1 或 几种【2 0 1 模型及其在图像中的大致位置，然后用图像数据去拟合这些模型。 基于模型方法的特点在于每个几何形状可以由几个简单的参数精确描述， 对于多个几何形状只需给出其相互关系既可得到整个物体模型。但这种方法要 求重建的物体可以分解为一些简单的、而且模型已知的几何形状。对于一些较 基于图像的测量及三维重建研究 为复杂的物体，有时是无法分解的，同时，这种方法需要通过很多的人机交互 才能完成。 1 2 1 2 基于几何约束的重建方法 基于几何约束的方法依赖于场景中的某些几何特征，如共面性、平行性、 己知的夹角等。其中，许多方法既可以基于单幅图像 7 】 b 】 2 1 1 又可以基于多幅图 像 2 2 】【2 3 】 2 4 1 。基于多幅图像的方法通常是由一般的重建方法导出的，而基于单幅 图像的方法一股是直接利用场景中已知的几何特征。几乎所有基于几何约束的 方法都利用已知的平面信息2 2 】【2 4 l 2 5 】 7 】，在某些情况下，平面是唯一可以利用 的几何特征瞄1 ，有些方法尝试利用更一般的多项式约束 2 6 i 。下面我们首先分析 一下基于多幅图像的方法是如何利用这些几何约束的。 基于多视约束的方法与一般的重建方法有很多相似之处f 2 6 】f 2 7 】，它们都以多 幅图像间二维点的匹配作为输入，但前者在输入的数据中同时包含重建场景中 的某些几何特征。因此，基于约束的方法要在计算过程中引入这些几何约束。 s z e l i s k i 和t o 2 4 提出许多利用平面信息的特殊方法，如减少重建所需的图像数量 以及估计摄像机姿态的优化方法等。该文同时报导了“仅已知平面信息并不能显 著地降低重建误差”。s p a r r 2 8 也是利用多幅图像并提出一种引入共面性和平行性 的迭代重建方法。b o u f a m a 2 2 1 等提出在已知三个相互垂直平面的情况下，将重建 问题转化为一个优化问题。 对于单幅图像的情况，不存在图像问的匹配问题，因此无法用通常的三角 化( t r i a n g u l a t i o n ) 和视差( p a r a l l a x ) 的方法来计算点的深度，面必须利用场景 中的其它线索进行重建。已知场景中平面间的关系可以减少三维重建的不确定 性，但仅由单幅图像往往无法唯一地得到物体的三维结构 2 9 1 。已知平面间的平 行关系可以在相差一个仿射变换的意义下获得物体的三维结构，若再已知平面 间的夹角，则可以在欧氏空间中得到物体的重建。因此，与基于多幅图像的方 法不同，在单视情况下，一般需要用户事先给定某些平行和角度信息 2 4 1 1 2 8 1 。 在所有基于单幅图像的重建方法中，最常见的一种情况就是已知三个相互 正交的平面【2 2 1 1 2 0 2 3 】【1 6 】，这样我们就可以用规范化形式( c a n o n i c a lf o r m ) 来表示 这些平面的法向量，如：【1 ，0 ，o 7 ，【o ，1 ，o ，【o ，0 ，1 r ，并计算出它们在摄像机坐标 4 第一章绪论 系下的坐标 7 ”】。这通常是由这些平面法向的消隐点( v a n i s h i n g p o i n t s ) 或平面 的消隐线( v a n i s h i n g l i n e ) 来计算的。这些方法一般是先重建出空间的每个平面， 然后将这些平面组合起来构成整个物体的三维模型。 许多基于几何约束的方法所存在的一个问题是：所得到的重建结果是否能 严格满足用户所给定的几何约束。在某些重建算法中，几何约束的引入可以确 保重建结果一定满足给定的约束 2 5 】【7 】。一些重建方法本身并不能保证这一条件， 例如，某些基于单视的方法【1 6 1 1 卅需要求解一个过约束方程组得到一个最小二 乘意义下的解，重建的结果不必完全满足所有给定的约束。另外一种情况就是 所有约束是分别加入重建算法中的【2 8 】 2 4 1 ，特别是在多视情况下【2 3 】，一个新约束 的引入很可能要破坏前面引入的约束，目前很少有文献谈及此类问题。 1 2 2 与单视测量相关的工作 基于单幅未标定图像的测量方法，目前国内外的研究报告并不多。从己发 表的文献来看，其研究方法主要可以概括为以下几种：c r i m i n i s i 1 【30 】提出一种平 面测量方法并分析了测量结果的不确定性。该方法假定在场景平面中已知4 或4 个以上控制点，并以此来计算空间平面与像平面间的单应矩阵( h o m o g r a p h y ) ，然 后通过该单应矩阵测量平面场景内的距离。这种方法的测量精度与控制点的选 取精度、位置和数量直接相关。但在实际应用中，有时控制点很难选取，无法 保证控制点的测量精度。我们在文【1 2 】中进一步发展了这种方法，借助场景中两 组相互垂直的平行线段，通过代数和几何两种方法来测量平面场景中的度量信 息，并恢复出单应矩阵。文【7 口”假定场景中含有一张参考平面和不与参考平面平 行的一个参考方向，并且已知参考平面的消隐线和参考方向的消隐点，然后从 单幅图像测量与参考平砸平行的平面间的距离、这些平面上区域面积的比值、 线段长度之比以及摄像机的位置。文 3 3 提出借助场景中物体的边界信息计算出 三个垂直方向的消隐点，并以此对摄像机进行弱定标，然后测量三个垂直面上 的几何信息。这些方法的测量精度均取决于对消隐线和消隐点的计算精度。文 5 0 5 1 3 4 也提出了一些利用场景中物体的边缘、共面性、平行性、垂直性等信息 从单幅图像恢复场景的度量并对物体进行部分重建的方法。 基于图像的测量及三维重建研究 1 2 3 与摄像机标定相关的工作 确定摄像机内( 外) 参数，即摄像机标定是由图像进行三维重建不可或缺 的步骤。一般来说，摄像机标定方法大致可以归结为三类：传统的摄像机标定 方法、基于主动视觉的标定方法以及摄像机自标定方法。 传统的摄像机标定方法是利用精密加工的标定块的图像来求解摄像机内参 数，传统标定方法有两类：一是基于摄影测量学技术的方法。f a i g 3 5 提出的标定 方法中考虑了摄像机成像过程中的各种因素，该方法的精度较高，但是计算量 非常大；二是直接线性变换( d l t ) 方法。由a z i z 和k a r a r a 2 2 】于1 9 7 1 年所提出的 d l t 方法的最大贡献在于：给出了仅通过求解线性方程组便可得出摄像机模型参 数的可行途径。与基于摄影测量学的方法相比，直接线性变换方法更符合计算 机视觉中各种实际应用的要求以及通常所采用的c c d 摄像机的特点。另外，随 着摄像机加工技术的改进，目前的摄像机的畸变因子一般很小，所以，d l t 方法 是一种非常有用的方法。 基于主动视觉的摄像机标定方法最初是结合机器人导航而产生的一种标定 方法，它是通过控制摄像机作某种特殊运动，从运动前后图像之间的关系来获 取摄像机参数【3 ”。该方法不需要精密的标定块，通常可以线性求解且标定精度 较高，但必须在能够精确控制的平台上才能完成标定过程。 摄像机自标定技术是由f a u g e r a s 3 9 1 ，m a y b a n k 3 8 ：和h a r t l e y 6 s 】等首先提出的。 所谓摄像机自标定，是指仅通过摄像机运动所获取的图像序列来标定内参数， 而不需要知道场景中物体自身的信息。这也是自标定方法较前两类标定方法更 灵活并成为计算机视觉领域一个研究热点的原因 7 1 - 7 7 。多数自标定方法都是利 用绝对二次曲线( t h ea b s o l u t ec o n i c ) 或其对偶绝对二次曲面( t h ea b s o l u t eq u a d r i c ) 的像仅与摄像机的内参数有关而与摄像机运动无关的性质来标定的。摄像机自 标定使得在场景和运动参数未知的一般情形下标定摄像机成为可能。f a u g e r a s 3 明 等从射影几何的角度出发证明了每两幅图象间存在着两个形如k r u p p a 方程的二 次约束，通过直接求解k r u p p a 方程组可以解出内参数。鉴于直接求解k r u p p a 方 程的困难，研究者们又提出了分层逐步标定的思想，即先对图象序列做射影重 建，在此基础上再进行仿射标定和欧氏标定。分层逐步标定的方法以h a r t l e y 【4 0 】 6 第一章绪论 的q r 分解法、t r i g g s 的绝对二次曲面法和p o l l e f e y s 4 2 1 的模约束法等为代表。 针对在实际应用中摄像机内参数会实时改变的情形，研究者们进一步提出了可 变内参数下摄像机自标定的概念。h e y d e n ，a s t r s m ，p o l l e f e y s l 4 3 】 删等从理论上证 明：在至少有一个内参数不变或已知的前提下，可变内参数的自标定是完全可 能的，p o l l e f e y s l 4 4 l 等还给出了一种实用的可变内参数下的摄像机自标定方法。 如果对场景的几何信息与摄像机的运动信息一无所知的话，所有的自标定 算法都是非线性的，从而需要非常复杂的计算，而且标定结果是非常不鲁棒的。 张正友 7 8 提出了一种较为简单灵活的标定方法，这种方法是用一个具有精确定 位的点阵模板代替传统定标块，然后拍摄三幅以上不同方位的模板图像，通过 模板数据和图像数据计算出图像与模板间的单应矩阵，最后利用单应矩阵来线 性求解摄像机内参数。该方法的不足之处是需要绘制精确定位的点阵模扳。对 此，m e n g 7 9 1 等提出一种用圆和通过圆一i i , 的若干条直线所构成的平面模板来代替 精确定位的点阵模板，然后利用圆环点图像来确定摄像机的内参数，但该方法 在模板制作过程中也需要对圆一i i , 进行精确定位。 此外，还有一类基于单幅图像的标定方法【4 5 1 【4 6 l 【4 7 1 。t s a i e 4 5 1 提出在已知主点 坐标的情况下，由一幅平面标定模板的图像求解摄像机焦距及其外部参数，这 是一种比较流行的标定方法。c a p r i l e 和t 0 r r e 【4 6 也提出一种由单幅图像标定摄像 机内、外参数的方法，该方法利用三个垂直方向的消隐点并假定摄像机畸变因 子( s k e w ) 为零且具有单位纵横比( a s p e c tr a t i o ) 。h a r t l e y 5 提出了如何利用非直 角以及多于3 个消隐点的情况下标定摄像机。k a n a t a n i 4 8 1 给出了摄像机焦距对消 隐点的敏感性分析。 1 3 本文的主要内容及结构 本文主要研究通过单幅或多幅结构化场景的图像标定摄像机，对场景进行 测量以及重建场景的三维模型的理论与方法。全文的主要内容及结构如下： 1 第二章主要研究由单幅未标定图像测量平面场景内的几何信息。本章提 出了三种新的方法。第一种是基于直线对应的测量方法；第二种是基于消隐点 的方法；第三种是基于交比不变性的方法。此外，本章还给出了从单幅图像测 7 基于图像的测量及三维重建研究 量夹角和面积等的方法，并通过大量实验比较了各种方法的测量精度。 2 第三章主要研究通过单幅未标定图像恢复三维场景的度量信息。本章首 先提出了两种由平面单应矩阵和垂直消隐点恢复摄像机投影矩阵的方法。其次， 提出了测量参考平面上物体的高度、垂直平面内的几何信息以及任意空间平面 内几何信息的方法。此外，本章还首次提出了由单幅图像测量某些规则物体的 体积和表面积的方法。 3 第四章主要研究如何通过单幅结构化场景的图像标定摄像机并重建场景 的三维模型。本章提出并证明了当场景中存在长度相等或比值已知的直线段时， 可以提供新的关于摄像机参数的约束方程，并对此进行了深入分析。本章同时 给出了一种求解投影矩阵的简便方法，并由此恢复出场景的三维结构。 4 第五章主要研究基于圆环点的摄像机标定。提出了一种由矩形图像求解 摄像机内参数并确定摄像机方位的方法。该方法不需要知道矩形的任何几何信 息，也不涉及图像匹配问题，而且所有计算均是线性的。此外，本章还给出了 恢复矩形欧氏度量的线性方法。 5 第六章主要研究从两个平移视点的图像进行仿射重建所需要的条件。从 数学上证明了：( 1 ) 、在变参数摄像机模型下，仅由两幅纯平移图像无法进行仿 射重建；( 2 ) 、如果场景中含有一张平面和一对平行直线，或两张平行平面，则 从两幅纯平移图像可以线性地进行仿射重建。 6 第七章主要研究由两幅结构化场景的图像进行三维重建的方法。所提出 的方法利用r a n s a c 原理直接从二维图像检测场景中的主平面。在此基础上， 本章提出了一种由单应矩阵引导的直线匹配方法，并结合点和直线的匹配来优 化单应矩阵。在畸变因子为零的情况下，提出了由两幅图像标定两个四参数摄 像机的方法。本章方法可以较好地重建出结构化物体的可见表面。 。8 第二章基于单幅未标定图像的平面测量 2 1 引言 第二章基于单幅未标定图像的平面测量 在第一章中，我们介绍了单视测量方法的应用领域及其发展概况。从中可 以看出单视测量的一类主要应用范围就是对平面场景内信息的度量，本章以此 为背景，提出了三种平面测量的新方法并与目前较为流行的基于控制点的测量 方法进行了实验比较。全章结构如下：第二节给出了关于单应矩阵、消隐点和 交比的一些基本概念及其性质；第三节详细描述了三种平面测量的新方法；第 四节给出了求解其它几何参数的方法：第五节通过大量的仿真和真实图像实验 验证了所提出算法的正确性并比较了各种方法的性能；第六节给出了本章的一 些基本结论。 本章及以后章节中所使用的符号作如下规定：空间点、图像点的坐标列向 量用小写黑体字母表示( 如：x ) ，相应的齐次坐标用黑体字母哥= x 7 ，w 】7 表示， 一般取w = 1 ，( x ) 表示向量x 的第i 个元素；矩阵用大写黑体字母表示( 如：p ) ， 只表示矩阵的第i 列向量，只，表示矩阵p 的第( f ，j ) 个元素；标量用小写字母表 示( 如：s ，a ) ；“z ”表示在相差一个常数因子意义下的相等。 2 2 基础知识 为便于下文讨论，本节将简要描述一些关于单应矩阵( h o m o g r a p h y ) 、消隐 点( v a n i s h i n gp o i n t ) 和交比( c r o s sr a t i o ) 的基础知识，同时给出基于控制点的 测量方法的基本原理。 2 2 1 平面间的单应矩阵 在透视投影模型下，空间一个三维点量通过一个3x 4 的投影矩阵p 投影到二 维图像平面上的点扁，该变换可由下式表示： 9 基于图像的测量及三维重建研究 5 而= p i = a ，p ：，见，p 4 1 i c( 2 1 ) 其中，扁= 0 ，v ，”，量= ( 丑，y ，z ，形) 7 分别为图像点和空间点的齐次坐标形式，s 为 一非零比例因子。对于共面的空间点，不失一般性，我们可以设z = 0 ，则上式 变为： z 】， 0 w= 掣i 藏h , h t l 蛳h l 3 i x hh h c22w ， = k ，。】