（信息与通信工程专业论文）摄像机标定技术研究.pdf

国防科学技术人学研究生院学位论文 摘要 摄像机标定是计算机视觉中第一步，目前已经成为计算机视觉研究中的热点。如粜要 利用摄耿的二维图像精确地进行三维重建，或是用束做精密测量以及空间运动分柝，就必 须准确标定摄像机。 本文对摄像机标定技术进行了全面地研究和总结。一方而在经典的箍于杯定物的标定 算法的基础上，本文提出了一种基于一维线体的标定算法。这种算法不仅是对牡j ：标定物 的经典标定方法的补充，也解决了分布式摄像机系统进行标定的实际问题。另一方面又立 足自标定理论，针对一些实际应用场合，进行改进，提出了对于固定焦距的自柄；定舒法 l | 在运动参数已知下的自标定算法。仿真和试验的结果证明了这些自标定算法大大提高了i - 1 标定方法的稳定性和实用性。全文的组织如下： 第一章阐述了摄像机标定的主要内容，以及本文所作的主要工作。 第二章首先建立了摄像机成像模型，这是整个摄像机标定的基础。在此基7 i l t lj - ，全面 研究总结了基于标定物的经典标定方法。 第三章提出基于一维标定物的标定方法，并详细地给出了摄像机的配置，证 州了浚方 法的合理性。 第四章总结了摄像机的自标定方法，对每种方法的理论背景和计算步骤进行了洋细的 研究。 第五章提出两种针对不同应用背景的改进自标定算法。 第六章对本文的工作进行了总结，并对以后的研究进行展望。 关键词：摄像机标定自标定基本矩阵三维重建 第1 页 国防科学技术火学研究生院学位论文 a b s t r a c t c a m e r ac a l i b r a t i o ni st h e f i r s ts t e po f c o m p u t e rv i s i o na n do n eo f t h em o s ta c t i v er c s e j a r ( 。， f i e l d sn o w d a y s w i t ha na c c u r a t ec a l i b r a t e dc a m e r aw ec a n c a r r y o u tt h r e e d i m e n s i o n r e c o n s t r u c t i o n m o t i o na n a l y s sa n d p r e c i s em e a s u r e m e n t i nt h i sp a p e r , w e 套r s ti n t r o d u c et h er e l a t i v ek n o w l e d g ea n dt e c h n i q u ea b o u tt h et h e o r yo f c a m e r ac a l i b r a t i o n c o m p a r e dw i t ht h ec l a s s i cc a m e r ac a l i b r a t i o nb yc a l i b r a t e do b j e c t s ，w e p r e s e n t 口n e wa l g o r i t h mu s i n go n ed i m e n s i o no b j e c t ，w h i c hm a k e st h em e t h o do f c a l i b r a t i o n b a s e do nc a l i b r a t e do b j e c tm o r ep e r f e c ta n dh a v es o l v e dp r o b l e m si nd i s t r i b u t e dc a m e r as y s t e m i nt h ec a s eo f s e g - c a l i b r a t i o n ，w em o d i f yt h ea l g o r i t h m t om e e tt h er e q u i r e m e n to fc e r t a i n a p p l i c a t i o n s t h e ya r es e i f - c a l i b r a t i o na l g o r i t h m i nc a s eo fi n v a r i a n tf o c a ll e n g t h ，a n dn e w a l g o r i t h mw i t hp r o v i d e d m o t i o np a r a m e t e r s t h er e s u l t so f s i m u l a t i o na n d e x p e r i m e n tp r o v e d t h a ta l la l g o r i t h m sa r er o b u s ta n da p p l i c a b l e t h ew h o l ep a p e rc a nb ed i v i d e di n t o t h e f o l l o w i n g ： i nt h e f i r s tc h a p t e r , w eg i v et h em a i nc o n t e n to f c a m e r ac a l i b r a t i o na n di n t r o d u c et h ek e y m e t h o d p r e s e n t e d i nt h i s p a p e r i nt h es e c o n dc h a p t e r , an e w f l e x i b l et e c h n i q u eo f c a m e r ac a l i b r a t i o ni sd e v e l o p e du s i n g o n e d i m e n s i o no b j e c t s ，i nw h i c ht h ec o n f i g u r a t i o no f c a m e r ai sp r o p o s e d 加d e t a i l i nt h et h i r dc h a p t e r , w ep r e s e n tar e v i e wa n dc l a s s i f i c a t i o no fc a m e r as e l f - c a l i b r a t i o n t e c h n i q u e sd e v e l o p e d i nr e c e n t y e a r s 4 f l e ri n t r o d u c i n gt h eb a c k g r o u n do f a l lm e t h o d s i nd e t a i l w e p r o p o s e t h ec o m m e n to nt h o s ec a l i b r a t i o nt e c h n i q u e s i nt h ef o u r t h c h a p t e r ，t w on o v e lj p 矿c a l i b r a t i o na l g o r i t h m a r ep r o p o s e da c c o r d i n gt o c e r t a i na p p l i c a t i o ne n v i r e n m e n t f i n a l l yt h e p r e v i o u sw o r k i ss u m m e r i z e d ，a n d t h e p r o s p e c to f c a m e r ac a l i b r a t i o ni sl a i do u t i nt h i sc h a p t e r k e y w o r d s ： c a m e r ao a i i b r a t i o n ，s o i l - c a l i b r a t i o n ，f u n d a m e n t a im a t r i x ， t h ，- e b - d i m e n s i o nr e c o n s t r u o t i o n 第1 1 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究3 - 作及取得 的研究成果。尽我所知，除了文中特别加阱标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一i i l z 作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：孟丕i 整趋整塞型圣盈堡 学位论文作者签名： f 塾! ! ：垄日期：易一。，年1 1 月日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可n , t 将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书) 学位论文题目：搀! 堑垒查至垦丝兰至i 兰 学位论文作者签名 哧小扛 作者指制雠：地 日期：z p j 年1 1 月1 7 日 日期：抄p ) 年1 1 月7 日 国防科学技术大学研究生院学伉论文 第1 i f 页 国防科学技术人学研究生院学佗论文 第一章绪论 1 1 摄像机标定的主要内容 三维计算机系统应能从摄像机获取的图像信息出发，t i 算三维环境巾物体的化儿形 状等几何信息，并由此重建三维物体。图像上每一点的亮度反映了空删物体表面某点反射 光的强度，而该点在图像上的位爱与空间物体表面相应点的儿何位置有关。这些位l 1 的州 互关系，由摄像机成像几何模型所决定。该几何模型的参数称为摄像机参数，这些参数必 须由试验与计算来确定，试验与计算的过程称为摄像机标定。由于在摄影测量学方面电存 在着同样的问题，早年在这个方向取得了很多研究成果。对于计算机视觉而言，考虑到摄 像机标定在理论和实践中的重要价值，学术界在最近2 0 年以来进行了广泛的研究，坫j ： 不同的出发点和思路取得了一系列的成果，对于不同的问题背景它们都有其各自的应用价 值。 摄像机标定来源于摄影测量学。摄影测量学中所使用的方法是数学解析方法，在标定 过程中通常要利用数学方法对从图像中所得的数据进行处理。通过数学处理手段，摄像机 标定提供了非测量摄像机与专业摄像机之间的联系。而所谓非测量摄像机是指这样一类摄 像机，其内部参数完全未知，部分未知或者原则上不确定。摄像机内部参数指的是摄像机 成像基本参数，如主点( 图像中心) 、焦距，镜头畸变等参数1 4 ”。 对于计算机视觉研究而言，在利用计算机技术实现对三维景物的描述，识别和理解这 一任务时，c c d 摄像机对物理世界进行三维重建是基本并且关键的一步。总体来晓，j 计 算方法与摄影测量学中所使用的基本相同。但这些问题在计算机视觉中得到了进一步的研 究，这是因为计算机视觉中的问题与摄影测量学的问题相比，有着显著不同的特点： 1 ) 计算机视觉系统中通常使用的是非测量用c c d 摄像机。摄像机参数未知或者 不稳定，并且c c d 摄像机数字化图像分辨率较低，存在量化误差和非线性镜 头畸变等。 2 ) 计算机视觉中所测量的般为近景，为了使系统小巧，两摄像机之i l j 的j 。线k 度不可能很长，从而使得系统计算误差增大。 3 ) 在计算机视觉中，进行三维重建需要大数量的图像点，有时要求实时处理数j _ i ： 并给出结果。 c c d 摄像机的上述特点和应用问题的要求使得在标定技术中对精度乖l 实时性等问题 的研究显得特别重要，同时也导致了研究成果的多样性。对于这些问题，基本的解决力法 有： 1 经典的标定方法在一定的摄像机模型下，基于特定的条件例如形状j t 、jl 二知的 第1 页 国防科学技术大学研究生院学位论文 标定物，经过图像处理的手段，利用系列数学变换和计算方法，求取摄像机模 型的内部参数和外部参数。 2 自标定方法在一些摄像机参数经常变化或是标定物不方便设置的情况f ，这时 需要一种不依赖标定物的方法，这就是自标定。自标定目前已经成为摄像机标定 的研究重点。 1 2 本文的主要工作 本文对摄像机标定技术进行了全面的研究和总结，并在这些理论基础上，针列抓成川 环境，提出了一些新的算法。 本文的主要工作如下： 1 ) 深入研究了基于三维标定物的标定方法。首先对各种摄像机模型进行研究，在此基 础上，阐述了基于三维标定物的各种方法。特别是针对非线性模型，介绍了t s a i 提出了两步标定法。根据实际的计算机视觉应用环境的要求，研究了基于平面的标 定方法。 2 ) 提出了一种新的基于线体( 一维物体) 的标定算法，充实了基于标定参照物的方法。 文中首先给出了标定参照点的配鬣，在理论上证明了这种配置的合理性：进步， 通过仿真和试验充分地验证了算法的可行性和实用性。该方法没有平面或立体参照 物的遮挡问题，对于分布式摄像机系统的标定非常实用。 3 ) 全面研究了自标定算法的理论。在射影几何的基础上研究了双摄像机之间的约束， 以及分层重建的理论；介绍了常用的自标定方法，以及对这些方法的评t n 4 ) 针对不同的应用环境，提出了两种实用的改进的自标定算法。首先详细地分析了各 种方法提出的背景和应用环境。在只需要对固定焦距进行标定的条件下，本文基于 自标定理论对于k r u p p a 方程进行了改进，提出了固定焦距下的自标定算法，列可能 出现奇异解的配置情况进行了全面地分析并给出了相应的证明。并且，通过仿真试 验分析了在退化配置附近进行标定对结果的影响。针对运动参数已知或者足摄像机 的运动可以控制下的自标定，提出利用本质矩阵和基本矩阵之问的关系，简化求解 过程，并在得到解析解的基础上对结果进行了优化。仿真的结果验证了在二f i 同i 姥声 等级下浚方法的稳定性。 文章分为六章内容，具体组织如下： 第一章阐述了摄像机标定的主要内容，以及本文所作的主要工作。 第二章首先建立了摄像机成像模型，这是整个摄像机标定的基础。在此基硎it - ，全 研究总结了基于标定物的经典标定方法。 第2 页 国防科学技术人学研究生院学何论文 第三章提出基于一维标定物的标定方法，并详细地给出了摄像机的配置，证i 到了该力。 法的合理性。 第四章总结了摄像机的自标定方法，对每种方法的理论背景和计算步骤进行了详细的 研究。 第- i 章提出两种针对不同应用背景的改进自标定算法。 第六章对本文的工作进行了总结，并对以后的研究进行展望。 第3 页 国防科学技术人学研究生院学位论文 第二章基于标定物的方法 本章首先介绍各种摄像机成像模型，在各种模型的基础上研究各种经典的基于标定物 的标定方法。最后对本章中所提出的方法进行简要评价。 2 1 摄像机模型 在这一节中，将首先定义图像、摄像机和世界三个坐标系，以便于更好地描述成像模 型。然后，分别介绍小孔成像线性模型和非线性模型| 3 9 l 。 2 1 1 坐标系 如图2 1 所示，在图像上定义直角坐标系u ，v ，每一个像素的坐标“，v j 分刖是浚 像素在数组中的列数与行数。所以，“，v ) 是以像索为单位的图像坐标系的坐标。山于“， v ) 只表示像素位于的列数与行数，并没有用物理量纲表示出该像素的位置，需要再建立以 物理单位表示的图像坐标系。该坐标系以图像内的某一点0 为原点，x 轴与y 轴分刚1 j “， v 轴平行，如图2 1 所示。在本章中除作特殊说明，m ，v j 表示以像素为单位的图像坐标 系的坐标，& ，y j 表示以毫米为单位的图像坐标。在x ，y 坐标系中，原点0 定义在摄像 机光轴与图像平面的交点，该点一般位于图像中心处，但由于摄像机制作的原因，也会有 些偏差。若0 ，在u ，v 坐标系中的坐标为( “。，v 。) ，每一个像素在x 轴与y 轴方向一1 的物理 尺寸为出，咖，则图像中任一个像素在两个坐标系下的坐标有如下关系： o i ( ，0 - ，廿，rf 圈2 1 幽像坐标系 为了以后使用方便，我们用齐次坐标与矩阵的形式将上式表示为 第4 页 ，( o o v + + 三出上咖 l i i l “ v 国防科学技术大学研究生院学位论文 ； = 上。 幽 0 二 d v 00 ( 2 ，2 ) 摄像机成像几何关系可由图2 2 表示，其中0 点称为摄像机的光心，船轴和y c 轴。 与图像的x 轴与y 轴平行，z c 轴为摄像机的光轴，与图像平面垂直。光轴与图像平面的交 点，即为图像坐标系的原点，由点d 与船，妇，z 毒轴组成的直角坐标系称为摄像机世标 系，0 0 ，为摄像机焦距。 我们选择一个基准坐标系来描述摄像机安放在现实世界的位置，并用它拙述1 l f 界环境 中任何物体的位置，该坐标系就称为世界坐标系，它山基准观测原点和x ，z ，轴组成。 摄像机坐标系与世界坐标系之间的关系可用旋转矩阵r 与平移向量r 来描述。因此，空间 中某一点p 在世界坐标系与摄像机坐标系下的齐次坐标如果分别是 ( x ，z w , 1 ) t ，( x 。，y c ，z c ，1 ) 7 ，则有如下关系： x 。 y c z 。 1 ix f rf f 2 l o 1 j i l 1 = m x w z ” l 其中，r 为3 x3 正交单位矩阵，t 为三维平移向量，m 为4 4 矩阵。 ( 2 3 ) 图2 2 摄像机坐标与世界坐标 2 1 2 线性模型( 小孔成像模型) 空m 任意一点p 在图像上的成像位置可用针孔模型近似表示，即任何点pn ：像1 ：的 投影位置p ，为光心o 与p 点的连线o p 与图像平面的交点，这种关系也称为叫i 心投影或 第5 页 _，_j_-j x y 1 1rjiioiir 国防科学技术大学研究生院学位论文 透视投影。比例关系有如下关系式 y = ( 2 4 ) 其中( x ，y ) 为p 点的图像坐标：( x ，z 。) 为空问点p 在摄像机坐标系下的坐标。我们j 齐次坐标与矩阵表示上述透视投影关系： 铜y = o f o 捧 ( 2 5 ) 将( 2 2 ) 与( 2 3 ) 带入上式，我们就得到由世界坐标系表示的p 点坐标与投影点p 点坐 标m ，v ，的关系： oo 10 01 ；1 d x y z 1 爿= e ! i j ： 。= 列 ( 2 6 ) ( 2 7 ) ( 28 ) 实验证明在某些应用中线任模型不能准确地描述成像几何关系，尤其布使j f j 广角镜 头时，在远离图像中心处会有较大的畸变。描述非线性模型通常可用下列公，： x = j + 瓯( ，) 第6 页 段乙盟乙 1 o o ，l 爿 l f 1；，j y 1 r。l 毖 国防科学技术人学研究生院学位论文 y = y + 占。( x ，y ) ( 29 ) 其中( ；，；) 为小孔线性模型计算出来的图像点坐标的理想值：( z ，y ) 是实际的图像点的一妊 习；。 占，占，是非线性畸变值，它与图像点在图像中的位置有关，可用以下公式表达： 驰，力甜似x ：+ y ? m t ( 3 。2 _ y 2 7 + 2 肿，) 心2 ，w 2 7 ( 2 1 0 ) 占。( 工，y ) = k z y ( x 2 + y 2 ) + ( p 2 ( 3 x 2 + 一2 ) + 2 p l ，) + s 2 ( 工2 + y ) 其中占，或占。的第一项称为径向畸变，第二项称为离心畸变( d e e e n t e r i n g ) ，第i 项称为簿 棱镜畸变( t h i n p r i s m ) ，式中的k l , k 2 ，p l ，p 2 ，s i ，s 2 称为非线性畸变参数。 一般情况下，上述非线性模型的第一项径向畸变已能足够描述非线性畸变，t s a i t m 曾指 出，由于在考虑非线性畸变时对摄像机标定需要使用非线性优化算法，引入过多的| = 线性 参数往往不仅不能提高精度，反而引起解的不稳定。但也有研究表明，引入上式中第二项 与第三项在使用广角镜头时能提高模型的精度。 如果只考虑径向畸变，上式可写成： x = x ( 1 + 七1 r 2 ) ( 2 1 1 ) y = y ( 1 + 七2 r 2 ) 该式表明x 方向与y 方向的畸变相对值与径向半径的平方成正比，即在图像边缘处的畸变 较大。 线性模型的参数“。，v o ，口，a ，与非线性畸变参数k tk ：，p 。，p ：，s l ，s ：一起构成了非线性 模型的摄像机内部参数。 2 2 基于三维标定物的标定技术 基于三维标定物的技术采用了摄影测量学中的方法。这种方法最早应用于摄像机标 定，理沦上比较成熟。在这章中所提到的技术都需要一个三维的标定物，摄像机获取标 定物的图像，通过计算得到内外参数。根据参数的计算方法的不同，可分为：利川艇优化 算法的标定方法，利用投影矩阵的方法以及t s a i 两步标定技术1 2 i 。 2 2 1 利用最优化算法的标定技术1 4 4 1 这一类摄像机标定方法的优点是：可咀假设摄像机的光学成像模型非常复杂，包括过 程中各种因素。然而由此带来的问题： 1 摄像机标定的结果取决于摄像机的初始给定值，如果初始值给搿1 i 愉当，很难 第7 页 国防科学技术人学研究生院学位论文 通过优化程序得到正确的标定结果。 2 优化程序非常费时，无法实时地得到标定结果。 1 摄影测量学中的传统方法 文1 5 1 的标定方法是这一类标定技术的典型代表。它考虑了摄像机成像过程，f j 的各种w 素，精心设计了摄像机成像模型。对于每一幅图像，利用了至少1 7 个参数来描述其与三 维物体空间的约束关系，计算量非常大。由于引进的参数比较多，并使月j 了特殊的专业量 测像机( 其所摄取的照片的分辨率比普通的固态成像感光阵列高4 倍以上) ，在图像投射羊l | 三维重建时耿得了很高的精度。 2 直接线性变换方法( d l t ) 直接线性变换方法是a b d e l a z i z 和k a r a r a 首先于1 9 7 1 年提出的| 4 l 。通过求解线性方 程的手段就可以求得摄像机模型的参数，这是直接线性变换方法的吸引力之所在。然而这 种方法完全没有考虑摄像机过程中的非线性畸变问题，为了提高定标精度，非线性最优化 算法仍不可避免。讵如k a r a r a 自己所指出的那样，当我们首先提出直接线性变换方法时， 我们给出了一组基本的线性约束方程，用来表示摄像机坐标系与三维物体空问坐标系之叫 的线性变换关系，没有考虑成像时任何的非线性补偿问题并将相应的参数引入约柬方程。 然而到后来，直接线性变换方法改进扩充到能包括这些非线性因素并使用非线性的手段 求解时，直接线性变换方法这个术语却没有改变。这说明了直接线性变换方法具有两种含 义，一种含义是直接通过求解一组线性方程得到摄像机的有关参数；另一种含义是求解的 过程不排除使用非线性优化算法。 直接线性变换方法是对摄影测量学中的传统方法的一种简化。尽管从得到的直接线性 变换矩阵可以求取摄像机的内部参数和外部参数，但也可以不必这样做。与摄影测量学中 的传统方法相比，这种方法更符合计算机视觉中应用问题的要求和所使用的c c d 摄像机 的特点，成为连接摄影测量学的计算机视觉之间的桥梁。两个领域都可以使厂商接线一p j ：变 换方法对摄像进行标定。直接线性变换方法所使用的模型是： “= 兰! ! 塑羔! ! ! ! 兰! ! 丝! ! ! x w ，2 0 + y 。，2 i + z 。，2 2 + ，2 3 7 v = 兰芝! ! ! ! ! ! ! ! 三! ! ! ! ! ! x ，2 0 + y f 2 l + z w f 2 2 + z 2 3 其中( x 。，y 。，z 。) 是三维物体空间中控制点的坐标，m ，叫是图像上对应于三维控制_ 的 图像点的坐标，“是直接线性变换方法的待定参数。不失般性，我们可以令，：，= 1 。! c f f 果知道f 夥个标准参照物的控制点的坐标( 石。，y 。，z 。) 及其对应的图像上的一担柑i m ， “个参数就可以用线性最, b - 乘算法计算。当不考虑摄像机成像过程镜头的非线悱畸变 第8 页 国防科学技术火学研究生院学位论文 时，直接线性变换方法可以划分为我们下面将要讨论的类定标方法。当考虑非线r 细奇变 时，直接线性变换方法中图像点与三维空间中控制点的对应关系则是： “，+ “，( “，v ，) = 五。j x ：w j i i o i oj+?y；：”ijl：oli+：jz：j蕊02+103 x w f f 2 0 + y “f 2 i + z w ，2 2 + 2 3 v，+vc“r，v，=五2：立wi；2堕0；j；w丛i12li揣wi2 2 2 3“1 ，t l 在这早，( z 。，y 。，z 。) 是标准参照物上的控制点坐标，r ( u 。，v ，) 是标准参照物上控制点 对应的实际图像坐标。这些图像点利用数字图像处理技术获得。( “，v ，) 是校难后的图像点 坐标。“，( “f ，v ，) 和v ，( “。，v ，) 是在图像点( “f ，v ；) 处的镜头畸变校j 下。由此我们可以看出， 在直接线性变换方法中，非线性畸变因素的引入是非常方便的。d a i n i s 和j u b e r t s 在文1 5j 中 给出了利用直接线性变换方法进行摄像机定标的结果，他们的系统是为了准确的测量机器 人的运动轨迹。该系统能够实时地测量出机器人的运动轨迹，但并不要求定标算法对系统 的标定是实时的。 2 2 2 利用透视变换矩阵的摄像机标定方法 从摄影测量学中的传统方法可以看出，刻划三维空间坐标系与二维图像坐标系关系的 方程一般说来是摄像机内部参数和外部参数的非线性方程。如果忽略摄像机镜头的- m 线性 畸变并且把透视变换矩阵中的元素作为未知数，给定一组三维控制点和对应的图像点，就 可以利用线性方法求解透视变换矩阵中的各个元素。 我们假定这里的标定参照物的每一个特征点( 图2 3 物体上的每一个小方块阿顶_ ) 相对于世界坐标系的位置己精确测定，世界坐标系可选为参照物的物体坐标系( 如陶2 3 中的三个棱边正y ，z 轴) 。当我们已知点在图像上的投影位置后，可由式2 6 计算出摄像 机的内外参数。 圈2 3 标定参j i 物 第9 页 国防科学技术大学研究生院学位论文 我们首先介绍有参照物图像求投影矩阵m 算法，将( 2 6 ) 写为 m 1 2m 1 3m 1 4 m 2 2m 2 3m 2 4 3 2m 3 3m 3 4 ( 2 1 2 ) 其中( x m ，z 胛，1 ) 为空问第1 个点的坐标，( “，y ；，1 ) 为第i 个点在图像平面l 二的投影。式 ( 2 1 2 ) 包含三个方程： z “，= 掰1 l “+ m 1 2 r “+ 棚1 3 zw l + m 1 4 z “v f = m 2 1 r 诃+ m 2 2 k + m 2 3 z 讲+ m 2 4 ( 2 1 3 ) z c l = ，玎3 i x 衍+ m 3 2 y 0 + m 3 3 z “+ m 3 4 将式( 2 1 3 ) 中的第一式除第三式，第二是除第三式后，可得到如下两关于m 口的线性方程 “m 1 3 + k m l 2 + z 耐小1 3 - - f m l 4 一“，w m 3 i 一“f 比肌2 2 一“，z 衍m 3 32u i m 3 4 ( 2 1 4 ) x “m 2 3 + k 朋2 2 + z “，”2 3 + m 2 4 一v i “，”3 i y f k m ，2 一y z “m 3 3 = v j m 上式表示，如果标定物上有力个已知点，并已知它们空间坐标( x 胛，z 胛，1 ) ( 卢1 ，n ) 与它们的图像点坐标( “，v ，1 ) ( f _ 1 ，n ) ，则我们有知个关于m 矩阵元素的线性方程， 下面用矩阵形式写出这些方程。 x w ty w lz w i 、0 000 0000 x 盯z w 1 一“l w 一“l l w 一“i z 肘 一v l x 刖一v 1 一v l z w i 一“1 y m 一“i y 0 一“l z 胛 一v i x 盯一h 一v l z 胛 m l l m 1 2 r | 1 3 1 4 i n 2 1 肌2 2 m 2 3 7 1 2 4 卅3 l m 3 2 j 】3 i i ”1 7 1 3 4 v ，f i ，13 4 由上式可见，m 矩阵乘以任意不为零的常数并不影响( x 聊，z 胛，1 ) 与( “j ，v ，1 ) 的关系。凶 此，在式( 2 1 4 ) 中可以指定m ，。= 1 ，从而得到关于m 矩阵其它元素的知个线性方程， 这些未知元素的个数为1 1 个，记1 1 维向量为棚，将式( 2 1 3 ) 简写为： k m = u ( 2 1 5 ) 第l o 页 ! m m 川 。l | l 1；，j 蚝j _ 。l c z o l o o o一 1 o o o o 一 国防科学技术人学研究生院学位论文 其中，髟为式( 2 1 3 ) 左边2 n x i l 矩阵，m 为未知的1 1 维向量；k ，u 为已知向量当2 n 1 1 时，我们可用最小二乘法求出上述线性方程的解为： m = ( k7 k 1 - i k 7 u( 21 6 ) 由所求得到的投影矩阵，我们就可以通过分解得到内外参数il l 。实际上在有! j 心川场合， 我们需要的就是投影矩阵m 。 在这一小结中，我们只是简单介绍了基于三维物体的标定思想。这在实际应用一 ，足远 远不够的。我们在下一节中将介绍对于非线性模型很实用的标定方法。 2 3t s a i 两步标定方法2 1 2 3 1 模型 设( x w ，y w ，z w ) 是三维世界坐标系中某目标点p 的三维坐标，伍，y ，甜是该点存 摄像机坐标系( 定义如图2 4 所示) 中的坐标。摄像机坐标系定义为：中心在0 点( 光学r l ，心) ， z 轴与光轴重合，刁是中心在0 i 点( 光轴z 与图像平面的交点) 且平行于x 、y 轴的图像 坐标系，有效焦距，是图像平面和光心的距离。( x 。，y 。) 是在理想p i n - h o l e 模型下p 点幽 像坐标，( ，y 。) 是由透镜畸变引起的( x 。，y 。) 偏离的实际图像坐标。 y t i l p 。t + h 注意到图像在计算机中的坐标( x ，_ y ) 的单位是像素数，所以需要附加的参数将计算 机图像坐标转换到图像坐标* y 中，从( x w ，y w ，g w ) 到( x ，y ，) 的完整变换可以分为凹 ( 1 ) 三维空间刚体位置变换( 从( x w ，y w ，z w ) 到向，y ，矽) 睁阱 第1 i 页 国防科学技术大学研究生院学位论文 其中，r 为3 x 3 的旋转矩阵，为3 x l 的平移向量。 ( 2 ) p i n h o l e 模型下的理想投影变换 工。：i x z y 。：f 兰 z ( 2i 8 ) ( 3 ) 畸变模型 由于摄影机的光学系统在设计和安装过程中，不可避免地存在各种不同利l 类的畸变 使成像平面内的影像坐标( x 。，y 。) 产生偏差，即： 2 。u + d x ( 2 1 9 ) y d = y 。+ 砂 造成成像坐标偏差的因素有透镜的径向畸变，切向畸变，偏心畸变等。其中，偏心畸变可 以通过用变焦距镜头方法准确估算光心来克服i ，和切向畸变相比，径向畸变为影u 胁工业 机器视觉精度的主要因素i ”。所以，我们主要考虑径向透镜畸变，并用一个二阶多项式近 似： z d2x u ( 1 + w ) ( 2 2 。) y d = _ y 。( 1 + k d ) 其中k 为畸变系数。 ( 4 ) 实际图像平面坐标到计算机图像( 像素) 坐标变换 。，2 。一- - b x x d ( 2 2 1 ) y f 。cy s ，y d 设蔓：p ；。：型则有： j yj y 矿鲁 ( 2 2 2 如。言 心“ 式中( c ，c ，) 为计算机图像的中心坐标，( s 。，q ) 是图像平面单位距离上的像索数，口为尺度 因子a ( c ，c ，) ，s y 需要进行预标定，p 也有待标定。 2 3 2 利用径向排列约束( r a c ) ) 求解摄像机参数 1 基本原理 第12 页 园舫科学技术大学研究生院学位论文 在摄像机标定工作中所需标定的参数总数相当可观，总计外部参数六个，内部参数 个。其中有三个内部参数已经进行预标定，我们采用两步标定法，即第一次先求解外部参 数( 6 个) ，然后再计算内部参数( 3 个) 。在考虑径向约束时，l 二l n ：o ，p 。和向量p 。p 有棚同 的方向，其中o ，中图像的中心，p a ( 硝，y 。) 是图像平面上畸变后的像点。尸伍，y ，习足| l 牛，j ； 点，y ，z j 是p 点在摄像机坐标系中的位置坐标，p 。是( 0 ，0 ，z ) 这点。这样r a c 可表示为： 方向o i p 。= 方向p 。p 设 则有 r a c 约束意味着 移项整理得到 胄= b x = x 。+ r 2 y 。+ z 。+ t ， y = r 4 x 。+ y 。+ 屹z 。+ t 。 z = ，7 工w + y w + r g z 。+ t ： 兰：兰生，量! ! 垒兰! 垒! ! ! ! y y ar 4 x 。+ y 。+ r 6 z 。+ t 。 a b = x d 其中，a = i x 。y d ，y 。y 。，z 。y d ，y d ，一x 。x j ，- y 。x ：，一z 。x ： 是已知的。 肚侈t 警等t 等t 等t 号t 刊t 是待求参凯 ly f yy ， ，yyj ( 2 2 3 ) ( 2 2 4 ) ( 22 5 ) ( 22 6 ) 对每一个目标点p i ，已知其x 。，y 。，z 。，x 。，y a 就可以列 _ 如上的一个方程。m 观地蜕： 选取f ， 刀个合适的空间点就可解出列向量中的7 个分量。但是为了简乖j j i 便，j _ 【f ) ( 和： 不同已知高度的几组共面点来模拟空间三维场，这样的标定模板较易设计，又小失一般性。 求解空间刚体变换的难度之一就是其3 x 3 的旋转阵r 有九个参数，但是其正交性规定了j r 仅有的三个自由度，再加上届，t x ，t y 正好六个独立变量，故上式可唯一确定旋转阵r 和 肛，。 2 标定过程 第13 页 1，j ， ，f ： l = r 1；j 屹匕吩 国防科学技术大学研究生院学位论文 第一步：求解旋转阵r ，平移阵r 的t x ，t y 分量以及图象尺度因子口 ( 1 ) 拍摄几幅具有不同己知高度若干共面特征点的标定体图像，利用图像处理方法确定 若干个特征点的图像坐标，设共n 个点，图像坐标为( 如，) ，净j ，并设这些t i 州应 世界坐标为( z 。，y 。，z 。) 。则 x d i2 一( x 一c x ) i s y ；y = 一( y 一c y ) i s y ( 2 2 7 ) ( 2 ) 对每个点p 可列出一个方程，联立这个方程，得到 a b = x d ( 2 2 8 ) 其中 a f = k “y m ，y 。y d i , z w l y “，y a i , - - x w l x d i ，一y 。工d 。i ，- - z w l x d ij 利用最小二乘法解这个超定方程组，可得到如下变量： a i = r l f l t ，口2 = 4 f l t y ，口3 = r 3 f l t ，口4 = r 4 f l t y ， a 52r 4 t y ，口65 t y ，a 72r 6 l t y ( 3 ) 利用r 的正交性可以算出1 3 ，f ，t ，一屹。 这样，我们已经解出了整个旋转矩阵r 和7 1 中的扛、砂分量以及图象尺度因子口。 第二步：求解有效焦距，t 的t z 分量和透镜畸变系数k 铲厂喜2 南巩2 ，詈2 南 眩z ” 待求变量是f ，k ，f ： 设 ，= 工。+ r z y 。+ z 。+ t ， 可以得到 h y = r x 。+ r s y 。+ r 6 z 。+ t y w = r t x 。+ r s y + r g z ，； = f k 石d f z2 心 ( 23 0 ) y d t ：= y d w 对个特征点，利用最小二乘法对上述两个方程进行联合最优参数估计，就川得厂，t ：。 第1 4 页 国防科学技术大学研究生院学位论文 2 3 3 结论 由上面的内容可以知道，这种方法的精度很高，适用于精密的测量。但是，从试验的 步骤也可以看出，我们对设备的要求很高，不适于简单的标定，而且对检测和数摒测 遗的 精度也有很高的要求。总之，这种方法的精度是以设备的精度和复杂度为代价的。 2 4 基于平面( 二维) 的标定方法 2 4 1 基本投影方程6 1 将2 维的点表示为肼= “? 川7 ，3 维的点表示为：m = 因y ，z 7 。扩展后得向量为： 4 = 其中( “。，v 。) 为主点的坐标。口，为u ，矿轴的比例。 令模板平面的z 坐标为零，其中旋转矩阵可以表示为r = k ，2 _ 】，其中t 为摄像机 悸 嗣 ( 2 3 2 ) 第1 5 页 廿 t = ， 以l 订 椰 rol刘l = 国防科学技术大学研究生院学位论文 又有m = 阱j ，】7 则得到： s t r = h m ，日= 一 r 2 ，】 ( 23 3 ) 其中h 为相应矩阵。 3 对内部参数的约束 给定模板平面和图像，相应性可以估计出来。我们令相应矩阵为：= h ，h ， 小从 上面( 2 3 3 ) 可以得到： 【h ，h 2h 3 】_ 朋【t 】 其中旯为任意的比例因子。利用，r 2 是正交的关系可以得到 h l r a 一ah 2 ( 2 3 4 ) i 爿。a h l = j 彳。a h 2 如果没有这个约束，( 从实际需要或内在隐含的条件中得到) 进步的计算是不可能的。 因为有8 个自由度，6 个内部参数，但我们只能得到2 个约束方程。其中的爿。a 一一l ”j 湿是 描述了一个二次曲线，在下面我们将会给出几何解释。 4 几何解释 我们不难得到在摄像机坐标系中描述的模板平面方程 m x y z w = 0 其中w = o ，表示在无穷远处的平面，否则w = i 山射影几何的知识可以知道这个平面与无穷远处的平面交于一条直线 矩阵的j 下交性可以得到： _ ， 名 是这条直线上的点。这条直线的方程可以写为： 工。= n ： + 。 乞 = 4 _ - 。4 - 6 屹 ( 2 3 5 ) 所以利j f j 旋转 ( 2 3 6 ) 现在，我们计算上面直线和二次曲线的交点。我们定义x 。为一个圆极点，满址j 。r 。，= 0 第1 6 页 国防科学技术大学研究生院学位论文 则可以得到 交点在图像平面上的投影为 ( a t i + 6 _ ) 7 ( n + 6 如) = 0 m m = 爿( 1 i r 2 ) = h l i h 2 很明显，这个是上面所提到的二次曲线上的点，这样可以得到约束： ( 也i h 2 ) 7 a - t a “( l + i h 2 ) = 0 ( 2 3 7 ) 2 4 2 标定参数的求解 在这一节中，我们谈到的是怎样有效地求解标定参数。我们首先将得到解析解，然后 利用基于最大似然的非线性方法进行优化，最后将求解考虑棱镜的畸变的结果。 1 解析解 令： 1 d 2 2 口 v o y u 0 口 a 口 注意到b 是对称的，则有： b l2b 1 3l b 2 2b 2 3l b 2 3b 3 3 j y 口2 口 南+ 嘉口2 卢。卢2 ! q ! ! = ! ! 壁2 一旦 盘2 p卢2 v o y n o 卢 口。口 r ( v o r - u o p ) 旦 ! p8 3 掣每+ ， a 2 口2。口2 b = b a ，b 1 2 ，b 2 2 ，b n ，8 2 3 ，b s j 令儡为日矩阵的第i 列，得到 其中 h i r b h i = v j b v f = h i t h ，”h 1 1 h ，2 + ，2 h ，i ，h f 2 h 2 ，h n h i + f l h j 3 h i 3 h 2 + j 2 t ，_ i 3 hh 一 通过上一节的约束，我们可以将( 2 ，3 9 ) 写为： ( 23 8 ) ( 2 3 9 ) 第1 7 页 口口口 _，l i l a r _ a 1 1 日 国防科学技术人学研究生院学何论文 卜 1 , b = 0 l ( h ，v 2 2 ) j 如果我们有n 副模板平面的图像则可以得到： ( 2 4 0 ) v b = 0( 24 1 ) 矿是2 n 6 矩阵，当n 2 时我们就可以得到b 的唯一解，只要b 得到了，我们就川以得剑 摄像机的内