（精密仪器及机械专业论文）视觉测量系统中的标定技术及其应用研究.pdf

视觉测量系统中的标定技术及其应用研究 摘要 视觉测量技术是机器视觉理论在测量领域的应用，近年来已成为仪器科学 中发展十分迅速的重要领域之一。成像标定及图像分析、处理是视觉测量系统 的关键环节。摄像机标定为视觉图像的两维信息与实际三维物体世界提供了对 应、转换的定量关系。因此，根据国内外研究现状，如何改进及提出新的标定 方法，以便更好的满足视觉测量应用，就是本文研究的重点。同时围绕视觉测 量系统中的摄像机成像及其标定，进行了深入的研究和探讨。归纳起来，论文 主要工作和取得的成果如下： ( 1 ) 对摄像机成像的理论前提和实际过程，进行了详细的介绍。在分析不同 投影模型和成像关系的前提下，选用最实用的透视投影成像模型。同时，对实际 成像过程中各种坐标及转换关系，进行了详细的分析和数学描述。 ( 2 ) 在分析、归纳现有的传统标定方法和自标定方法这两种主流标定方法的 基础上，本文改进一种用于求解摄像机内部参数的基于自标定的标定方法，并 通过试验验证了可行性。 ( 3 ) 根据实际视觉测量标定中的简洁性要求，本文提出一类完全基于平面的 标定方法，其中不仅有专门针对2 d 测量空间的单平面标定法，还有能对整个 3 d 实物空问成像进行标定的双平面标定方法。并对这两种标定方法进行了相应 的试验验证和误差分析。 ( 4 ) 由于镜头设计制造中的误差，导致实际成像过程的非线性畸变，为了更 准确的描述成像过程，本文提出一种基于直线变形的直线校正法，对成像过程 的非线性畸变进行校正，并且从理论上给予证明和实验上进行验证。 ( 5 ) 针对实际科研的需求，设计并完成了一套视觉测量系统，其中由本人编 制的图像处理、成像标定的算法软件系统，经过对多种曲面的构件进行的轮廓 测量试验，证明该系统具有很高的鲁棒性和较高的测量精度。 关键词：视觉测量摄像机标定平面靶标非线性畸变透视投影 r e s e a r c ho nc a l i b r a t i o n t e c h n o l o g y & a p p l i c a t i o n i n v i s i o n i n s p e c t i o ns y s t e m a b s t r a c t v i s i o ni n s p e c t i o ni sa l l a p p l y i n gt e c h n o l o g yo fm a c h i n ev i s i o nt h e o r yi n t h e m e a s u r e m e n tf i e l d ，w h i c hh a sb e c o m eo n eo ft h em o s tr a p i d l yd e v e l o p i n ga r e a si n i n s t r u m e n ts c i e n c e ，r e c e n t l y i m a g i n gc a l i b r a t i o n ，i m a g ea n a l y s i s a n d i m a g e p r o c e s s i n g a r ek e yc o m p o n e n t si nv i s i o ni n s p e c t i o ns y s t e m c a m e r ac a l i b r a t i o n p r o v i d e saq u a n t i t a t i v ed e s c r i p t i o n f o rt h ec o r r e s p o n d i n gt r a n s f o r m a t i o nb e t w e e n2 d i n f o r m a t i o no ft h ev i s i o ni m a g ea n dr e a l3 do b j e c tw o r l d s o ，i nt h i st h e s i s ，i t b e c o m e st h ee m p h a s i sh o wt oi m p r o v eo rp u tf o r w a r dc a l i b r a t i o nm e t h o dt os a t i s f y t h e a p p l i c a t i o no fv i s i o ni n s p e c t i o n ，a c c o r d i n gt o t h e e x i s t i n gr e s e a r c h i n g s t a t e c a m e r ai m a g i n ga n dc a l i b r a t i o ni nv i s i o n i n s p e c t i o n a r es t u d i e di n t h i st h e s i s r e s e a r c h e sa r em a i n l yf o c u s e do nt h ef o l l o w i n g a s p e c t s ： f i r s t l y , i n t r o d u c ed e t a i l e d l y t h e t h e o r ya n d r e a l p r o c e s s i o n o ft h ec a m e r a i m a g i n g a f t e ra n a l y z i n ga l lp r o j e c t i n gm o d e l sa n di m a g i n gr e l a t i o n s ，t h i st h e s i s a d o p t s t h em o s t a p p l i e dp e r s p e c t i v e i m a g i n g m o d e l a tt h es a m e t i m e ，t h e r e a l - i m a g i n gp r o c e s s i o n a n da l lr e l a t i o n sa b o u t t r a n s f o r m i n g c o o r d i n a t e sa r e i n t r o d u c e d s e c o n d l y ，a d v a n c eas e l f - c a l i b r a t i o nm e t h o dt oa c q u i r et h ei n n e rp a r a m e t e r so f t h ec a m e r aw i t he x p e r i m e n t a t i o n ，a f t e ra n a l y z i n ga n ds u m m i n g u pt h em a i nr i v i n g c a l i b r a t i o nm e t h o d s t h i r d l y ，p r o v i d eap l a n ec a l i b r a t i o nm e t h o df o rt h ev i s i o ni n s p e c t i o ns y s t e m ，i n o r d e rt os i m p l i l y i n gt h ec a l i b r a t i n gp r o c e s s i ti n c l u d e st h es i n g l e p l a n ec a l i b r a t i o n m e t h o df o rt h e2 di n s p e c t i n gp l a n e ，a n dt h et w i n - p l a n ec a l i b r a t i o nf o rt h e3 d i n s p e c t i n go b j e c t s o m ee x p e r i m e n t sa b o u tt h o s et w om e t h o d sa r es h o w ni nt h i s p a p e r f o u r t h l y , e x p l a i n t h ee r r o r si nd & mo ft h ec a m e r al e n s w h i c hw i l lc a u s e n o n l i n e rd i s t o r t i o ni n i m a g i n g as t r a i g h t l i n e b a s e dc a l i b r a t i n gm e t h o di sp u t f o r w a r dt or e v i s et h ed i s t o r t i o n ，a n di sa l s op r o v e d b ye x p e r i m e n t s f i f t h l y , av i s i o ni n s p e c t i o ns y s t e mh a sb e e ns e tu p t h ea l g o r i t h m ss o f t w a r e p r o g r a m m e db y a u t h o ri sp r o v e dw i t hr o b u s ta n d p r e c i s i o nb ye x p e r i m e n t s k e y w o r d s ：v i s i o ni n s p e c t i o n ，c a m e r ac a l i b r a t i o n ，p l a n et a r g e t ，n o n l i n e rd i s t o r t i o n ， p e r s p e c t i v ep r o j e c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得金胆兰些盔堂或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签字：签字日期：年月目 学位论文版权使用授权书 本学位论文作者完全了解金b 王些盔堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘允许论文被查阅或借阅。本人授权盒 目b 兰些盔堂可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名： 导师签名： 签字日期：年月日 签字日期：年月日 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话 邮编 致谢 首先我要深深地感谢我的恩师，邓善熙教授。邓老师严谨踏实的学风、严 于律己的风范、宽广的胸襟和渊博的专业知识给了我莫大的感召和动力。 感谢杨永跃老师无私的指导和帮助。在与杨老师愉快的合作过程中，我学 到了科研的拼搏精神和一些科研的方法，使我在学术上有了长足的进步。 感谢我的同学们，兄弟姐妹们。尤其是在线检测研究所的同学们：梁发云、 丁兴号、李兵、邹锋、钟艺、任潇潇、李了了、邹阳，和他们在一起我渡过了 一段快乐的学习时光，在这里谨向他们表示衷心的感谢，并祝他们今后的工作 学习万事如意。 还要感谢中国科技大学的祈睿同学为我提供了一些重要的资料信息，以及 王海明同学的关心支持。 感谢赵前程老师、彭良清老师、聂恒敬教授、吕国强教授等对我的学业的 深切关怀和热情鼓励。感谢仪器仪表学院实验室的所有老师，感谢他们创造了 良好的学习试验环境，为我们的研究工作提供了很多帮助。 父亲和姐姐、姐夫们是我无私的后盾，在我最困难的时候他们总是在我身 后用他们独有的温暖帮助我、鼓励我。在此，我要向他们深深的鞠躬，希望我 能在未来用更多更好的成绩来回报他们。 再一次感谢所有关心我和爱护我的人们，祝他们身体健康、心想事成。 作者：王训四 2 0 0 4 年3 月2 0 日 1 1 引言 第一章绪论 视觉测量又称视觉检测，作为检测，顾名思义就是用机器视觉技术实现 “检”与“测”，其本身是机器视觉技术的一个应用概念。机器视觉【l 】，也称 作计算机视觉【2 1 ，实质是通过图像传感器( c c d 或c m o s ) 实现对三维世界 感知到的二维图像进行研究并提取出三维景物世界的物理过程。作为人类视觉 模拟的目的：一是提供人类视觉的计算模型。二是利用计算机来设计与发展某 种真实的适度的视觉系统，并提供具有良好性能价格比的专用系统。它不仅牵 涉到计算神经科学的基础性研究而且往往涉及到很强的应用性和工程性问题。 作为应用性的一个杰出表现，基于视觉方法的检测技术近年来在非接触无损测 量领域发挥越来越大的作用。视觉检测中的“检”主要是用机器视觉技术来检 查出或识别出我们感兴趣的东西，如集成电路中焊点缺陷识别、印刷套色识 别、汽车牌照识别例等；视觉检测中的“测”则主要是用机器视觉技术来实现 几何量或某种物理量的测量，即是我们通常所说的图像测量。由此可见视觉检 测的内容不仅包含机器视觉中的一般内容，如视觉感知、图像处理、分析和模 式识别等，同时也有测量领域的特殊性，如空间几何尺寸的精确检测和定位 等。视觉检测系统的结构主要是由c c d 摄像机( 模拟或数字式) 、图像采集 卡( 数字式摄像机时可省) ，图像处理软件、计算机及其外设等组成，如图 1 - 1 所示。其工作过程为将被检测物体置于尽可能均匀照明的可控背景前， c c d 和图像采集卡将被检测对象的图像采集到计算机里；计算机里面的图像 处理软件对所得图像进行处理、分析和解释等，进而做出某些决策，最后计算 机通过外设输出检测结果或者直接将结果用于控制工业过程等。根据检测目的 的不同，检测结果可能是检测对象的几何尺寸，也可能是缺陷或字符等识别结 果等。针对不同的检测目的，系统中硬件方面几乎无需改动，而仅需要改变图 像处理软件，可见图像处理软件在整个视觉检测过程中有着极其重要的地位。 图1 - 1 视觉检测系统结构框图 i 图像处理的目的，就是对数字化后的图像信息进行某些运算或处理，以获 得实际被测物的实际三维外形。经过图像前期处理、识别、特征提取后的图像 特征就具备被测物的特性了，但是，由于成像的变形性，摄像机所拍摄的二维 平面图像中，已经无法一一对应出实际三维物体，这时候，就必须建立图像中 像点位置和空间物体表面点位置的相互对应关系。这种相互关系是由摄像系统 成像模型来决定，也就是说，是由广义图像处理中的成像标定环节实现的。 摄像机标定，顾名思义，就是摄像机成像过程的标定。首先利用一定的光 学投影模型将实际的三维场景转换到二维的图像平面。也就是说，拍摄得到的 图像是空间物体通过成像系统在像平面的反映，或是空间物体在像平面上的投 影。成像结果，图像上每一个象素点的灰度反映了空间物体表面某点的反射光 的强度，而该点在图像上的位置则与空间物体表面对应点的几何位置有关。这 些位嚣的相互关系及其描述，是由遵循一定几何投影模型的摄像机的过程标定 参数来实现的。最终，根据标定结果，将成像图像转化为实际物体的三维空间 关系。 由于成像过程量化的必要性，摄像机标定已经成为视觉应用各行业所必须 的一个过程，而且，它的结果精度，直接决定着所要描述物体的精度。本论文 根据标定多年来形成的摄像机标定传统标定法和自标定法各自的优缺点，提出 种综合运用两者技术的平面方法进行物空间的成像标定，为了对畸变较大的 摄像机成像进行标定，这里引入一种基于直线的非线性校正方法，成功的术* 正 镜头的径向畸变。最后，在介绍各种标定方法基础上，将所研究的标定方法成 功运用到实际的测量应用中：研制特殊工况下异形曲面在线检测系统。在这 罩，首先让我们回顾视觉检测和标定技术的发展过程。 1 2 视觉检测的发展过程 视觉检测是一个相当新且发展十分迅速的研究领域，是机器视觉技术在检 测领域的应用，现已成为仪器科学的重要研究领域之一。虽然目前的视觉检测 技术仍未具有人类视觉的威力和智慧，但是由于视觉检测系统可以快速获取大 量信息，而且易于自动处理，也易于与设计信息以及加工控制信息集成，因 此，在现代自动化生产过程中，人们将视觉检测系统广泛地用于工况监视、成 品检验和质量控制等领域。视觉检测系统的特点是能大大提高生产的柔性和自 动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求 的场合，常用视觉检测来替代人工视觉；同时在大批量工业生产过程中，用人 工视觉检查产品质量效率低且精度不高，用视觉检测检测方法可以大大提高生 产效率和生产的自动化程度。而且视觉检测易于实现信息集成，是实现计算机 集成制造的基础技术。 视觉检测近年来已在许多领域得到了广泛的应用【3 j ，如：印刷电路板的视 觉检查、钢板表面的自动探伤、大型工件平行度和垂直度测量、容器容积或杂 质检测、汽车车身检测、纸币印刷质量检测、汽车牌照识别、支票自动识别系 统、印刷套色识别、字符识别、医学图像分析、机械零件的自动识别分类和几 何尺寸测量等。j i l 夕i , ，在许多常规方法难以检测的场合，利用视觉检测系统可 以有效地实现。视觉检测的应用正越来越多地代替人去完成许多工作，这无疑 在很大程度上提高了生产自动化水平和检测系统的智能水平。据统计，人类获 取信息的8 0 以上是通过视觉，因此我们有理由相信，作为人类视觉的延伸， 视觉技术将在现代和未来得到越来越广泛的应用。 1 3 标定技术的发展过程及国内外现状1 3 1 摄像机标定技术早就应用于摄影测量学1 4 引。摄影测量学中所使用的方 法是数学解析分析的方法，在标定过程中通常要利用数学方法对从数字图像中 获得的数据迸行处理。通过数学处理手段，摄像机标定提供了专业测量摄像机 与非量测摄像机的联系。而所谓的非量测摄像机是指这样一类摄像机，其内部 参数完全未知、部分未知或者原则上不稳定。摄像机的内部参数指的是摄像机 成像的基本参数，如主点( 图像中心) 、焦距、径向镜头畸变、偏轴镜头畸变 以及其它系统误差参数。对于计算机视觉研究而言，在利用计算机技术实现对 三维景物的描述、识别和理解这一任务时，c c d 摄像机是对物理世界进行三维 重建的一种基本测量工具，这时摄像机标定被认为是实现三维欧氏空间立体视 觉的基本而又关键的一步。总体来说，其计算方法与摄影测量学中所使用基本 相同1 6 j 。但是这些问题在计算机视觉中得到了进一步研究，这是因为计算机视 觉中的问题与摄影测量学中的问题相比，有着显著不同的特点闭： ( 1 ) 计算机视觉系统中一般采用的是标准镜头，放大倍数不是太大，但是 精度要求比较高。 ( 2 ) 计算机视觉系统中所使用的c c d ( 摄像机) 是普通的非量测摄像 机。摄像机参数未知或者不稳定，从而导致成像过程不稳定，并且c c d 摄像 枧数字化图像分辨率低( 面阵比线阵的还低) ，存在量化误差同时也存在较大 的非线性镜头畸变。 ( 3 ) 计算机视觉中所测量的一般为近景，为了使系统小巧，两摄像机之间 的基线长度不可能很长，从而使得系统计算误差较大。 ( 4 ) 在司算机视觉中，进行三维重建需要大数量的图像点，有时要求实时 地处理数据并给出结果。此外，不同的应用背景也对标定技术提出了不同的要 求。在立体计算机视觉中，如果系统的任务是物体识别，则物体相对于某一个 参考坐标系的绝对定位显得并不特别重要，更重要的是物体特征点间相对位置 的精度。举例来况，在个基于c a d 的物体识别系统中，所研究的物体上的 特征的相对位置必须具有足够高的精度，才能进行有效的匹配和识别。如果系 统的任务是物体的定位，相对于某一个参考坐标系的绝对定位精度就特别重 要。例如，在一个自主车辆导航系统中，自主式移动机器人必须准确地知道其 自身的位置、工作空间中障碍物的位置、以及障碍物的运动情况，才能有效 地、安全地进行导航。 视觉系统的上述特点和应用要求使得对其中标定技术、精度和实时性等问 题的研究具有特别的重要性，同时也导致了研究成果的多样化。摄像机参数总 是相对于某种几何成像模型的，这个模型是对光学成像过程的简化，比如最常 用的透视成像模型【1 j ，它是摄像机标定研究的基本模型。然而很多情况下这种 线性模型不能准确描述摄像机成像的几何关系，如在近距、广角时的情形，因 此还需要考虑线性或非线性的畸变补偿后，才能更合理地看作针孔模型成像过 程。利用校正后的模型进行三维重建才能得到更高的精度。因此成像模型和畸 变补偿成为计算机视觉中摄像机标定研究的重点。上述这些内容构成了传统摄 像机标定研究的主要问题。其基本方法是，在一定的摄像机模型下，基于特定 的实验条件如形状、尺寸已知的标定参照物，经过对其图像进行处理，利用一 系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数，大致有基 于单帧图像的基本方法和基于多帧已知对应关系的立体视觉方法。另一种重要 的应用背景是，在很多情况下，由于存在经常性调整摄像机的要求，而且设置 已知的标定参照物也不现实，这时就需要一种不依赖标定参照物的所谓摄像机 自标定方法，成为目前摄像机标定研究的新方向。总的来看，现有的摄像机标 定技术大体可以归结为两类：传统的摄像机标定方法和摄像机自标定方法。 1 4 论文的结构与主要芮蓉 本论文工作是在安徽省“十五”科技攻关项目“异形曲面在线检测系统” 的资助下进行的。围绕计算机视觉中各种摄像机标定方法进行讨论，深入研究 了摄像机成像过程，并提出了相应的快捷适用的标定方法。论文的结构与主要 论文如下： 第一章为绪论。首先给出视觉检测的定义，指出视觉图像分析和处理在视 觉检测中的关键地位，而且，摄像机标定更是赋予成像意义的关键。论述了视 觉检测的发展状况，并对标定技术的主要发展过程和现阶段国内外现状做了简 单介绍。 第二章为摄像机标定技术的基础理论论述，并对现存的两种主流的标定方 法进行了描述。首先，在论述几种投影模型的基础上，采用针孔透视模型作为 成像基础模型。然后对摄像机( c c d ) 的成像各个步骤进行分类讨论，重点 讨论了各种坐标系的转换，从理论上论述了摄像机成像及其标定的基本原理。 最后，在介绍现今主流的t s a i 式两步标定和直接变换等传统标定方法的基础 上，又将新出现的摄像机自标定方法进行了仔细的描述，同时提出一种求取内 部参数的改进自标定方法。最后对这两类标定方法进行了综合性豹比较。 第三章重点介绍一种实用性强的平面标定方法。此方法的实现是完全基于 平面的，并对视觉的实际应用中所需要的目的不同，提出两种不同的标定方 法，一种是依赖于成像过程的最简单形式：简单的物空间平面对应同样是二维 的图像空间，由此实现了鲁棒性好的对应成像关系由此克服了以往平面成像 标定过程中采用线宽或长度作为标准件比对时的位置难定位性，只需要一次简 单的标定就可以将整个被测平面进行准确的成像标定。另外一种是考虑到实际 三维被测空间戍像的重要性丽发展起来的一种基于双平面( 可用简单的平面平 移实现) 的三维标定方法。经过标定后，就可以在摄像机成像景深范围内的任 一位罱根据所成图像的性质，获得实际被测物体的几何性质。 第四章介绍一种在镜头畸变存在时候，根据它对直线成像的变形性来校正 成像模型的方法。由于实际透镜成像中由环境和各种非理想因素引起成像的非 理想性，理想透视成像模型就很难保证适用性了，这时候就必须考虑透镜的各 种畸变性以及所带来的影响。为了继续使用透视模型，就得在使用该模型前对 畸变量进行修正。由于成像过程中直线物体投影的特殊性，就使用直线在投影 成像后的变形量来计算成像中畸变因子，从而修正透视成像模型。 第五章介绍了标定技术的应用实际视觉测量系统。根据各种技术方法 服务的针对性，利用已有的标定方法和图像处理、识别的技术，完成一套视觉 测量系统异形曲面在线检测系统。在对该系统的各部分组成进行了功能描 述和系统精度分析的基础上。又针对性的介绍了几种曲面的测量实例。 第六章为全文总结。 2 1 引言 第二章摄像机标定原理及发展过程 计算机视觉的主要任务是利用计算机技术实现对三维景物的描述、识别和 理解，摄像机( c c d ) 是对物理世界进行三维重建的一种基本测量工具，c c d 所获取的三维物体的二维图像是以象素为单位的，如何确定物体的三维空间坐 标和二维图像的对应关系是摄像机标定工作所要解决的基本问题。空间物体表 面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的 几何模型决定的。这些几何模型参数就是摄像机参数，参数的获得过程就是摄 像机标定。 在摄像机成像标定的所有参数中包含有内、外部参数，摄像机内部参数指 的是成像的基本参数，如主点( 理论上是图像帧存的中心点，但实际上，由于 摄像机制作的原因，图像实际中心于帧存中心并不重合) 、实际焦距( 与标称焦 距有一定差距) 、尺度因子，径向、切向镜头畸变以及其它系统误差参数；而摄 像机外部参数指的是摄像机相对于外部世界坐标系的方位，主要是一些坐标转 换参数。 摄像机标定主要在以下应用中起着重要作用： 一、从计算机图像坐标中导出实际三维几何信息 由摄像机标定所确定的摄像机模型和参数能够提供一种给蠲基目标点的 图像坐标，确定一条实际目标点必在其上的空间直线的方法，利用两幅这样的图 像，就可由两条直线( 射极线) 的交点确定这一目标点的空间位置。这种极为重 要的信息可以应用于立体测量、机电元件的自动装配、机器人视觉等重要领域。 二、由三维信息导出二维计算机图像坐标 在利用机器视觉的模型驱动的检测和装配应用中，关于物体三维空间位 置、方向的一个假设可以利用摄像机模型和参数转化为对其所成图像的一个假 设，对比该假设图像和实际拍摄的图像即可拒绝或确认对物体及其空间位置的 假设。 本章我们首先介绍一些了解计算机标定技术所必须的一些基本理论知识， 然后介绍几种有代表性的标定技术的原理和方法。 2 2 成像几何模型 2 2 1 光学成像及投影模型 成像几何模型是实际光学成像过程的简化。成像过程中，主要是利用实际 透镜的成像特性，实际透镜主要包含有远摄镜头、广角镜头、标准镜头等等， 各自有不同的成像特征吼其中最简单的透镜成像原理，如图2 1 所示，其中 u 为物距。f 为透镜焦距，v 为像距，三者满足关系： 1l1 f “v 图2 - 1 透镜成像原理图 ( 2 1 ) 由于实际成像所采用的皆为透镜组，因此在实际成像考虑时候只是采用近 似的成像模型，近似方法不同，出现以下的投影模型类。这样。就可以根据不 同实际情况采用不同的投影模型。在透镜成像中，主要存在以下几种投影类型。 ( 1 ) 透视投影模型( 小孔p i n - h o l e 相机模型) 在一般的视觉测量成像条件下，由于u 远大于f 由上式( 2 一1 ) 可得va ，。 此时就可以用针孔模型来非常近似的替代透镜成像模型。这是最常用的模型， 如图( 2 2 ) 所示。其中0 x y z 是固定在摄像机上的直角坐标系，它的z 轴垂 直于成像平面( 即图像平面) ，它的x 轴、y 轴与图像平面上的x 辙，y 轴是平 行的。从原点o 到成像平面的距离f ，一般称为相机的焦距。这时有： x - - 5 * x ，z y = p y ，z 它是非线性的。 r 成删 j 。，羔哆 。纱口。 j l 图2 - 2 透视投影图图2 - 3 正交投影图 ( 2 ) 正交投影模型 7 如图( 2 3 ) 所示，这也可以说是上面投影模型的一种特例，相当于物体在 很远时的情形。 图2 - 4 拟透视投影模型 ( 3 ) 拟透视投影模型( 垂直透视投影模型) 透视投影的一种近似。它由两步组成。第一步是将场景中的点( 或区域) 正交投影到平行于图像平面的一个平面( z = d ) 上：第二步，再将该平面上的 点( 或区域) 透视投影到图像平面( z = f ) 上。 2 2 2 常用坐标系及其关系 视觉( 摄影) 测量中常用的坐标系一般采用右手准测来定义。图2 - 5 表示 了三个不同层次的坐标关系：世界( 被测物) 坐标系、摄像机坐标系和图像坐 标系，其分别定义如下： 图2 - 5 三个不1 司层次的坐标关系 a ) 世界坐标系( x w ，y 。，z w ) 也称作全局坐标系，被测物坐标系。它是由用户任意定义的三维空间坐标系， 通常是将被测物体和摄像机作为一个整体来考虑的坐标系。图2 5 中( x 。，y 。， z 。) 是以摄像机光心为原点，通过平移( 或旋转) 世界坐标系而得到的辅助坐 标系。 b ) 摄像机坐标系( x 。，y 。，z c ) 摄像机坐标系的原点为摄像机光心，z c 轴与摄像机的光轴重合，且取摄影 方向为z 。的正方向。x 。，y c 轴通常与图像物理坐标系x ，y 轴平行，如图2 - 6 所示。 其中像面位于摄像机坐标系的z e = f 的平面内。 图2 5 所示的世界坐标系与摄像机坐标系之间存在三个平移和三个旋转的 自由度因子。 c ) 图像坐标系 在视觉测量中，为了便于像点和对应点空间位置的相互换算，图像坐标系 一般放在正向f 焦距处，如图2 - 6 ( a ) 所示。图像坐标系分为图像象素坐标系 ( u ，v ) 和图像物理坐标系( x ，y ) 两种，其定义分别为： 1 ) 图像像素坐标系( u ，v ) 。图像象索坐标系是以图像左上角为原点， 以像素为坐标单位的直角坐标系。u 、v 分别表示该像素在数字图像中的列数和 行数。 2 ) 图像物理坐标系( x ，y ) 。图像物理坐标系是以光轴与像平面的交点 为原点，以毫米为单位的直角坐标系。其x 、y 轴分别与图像像素坐标系的u 、 v 轴平行。两者关系见图2 - 6 ( b ) 。 2 2 3 成像系统中成像线性关系模型 y u d l ( u o ，v o ) r y 1 x 图2 - 6 物像对应坐标的原理模型 如图2 - 6 ( a ) 所示，只( x ，y ，z ) 为物空间上的被测点p 的坐标，r ( t ，儿，z 。) 为p 在 摄像机坐标空间中所对应的点的坐标( 注：图中所标坐标均假设己换算到世界坐 标系中) 。在图2 - 6 ( b ) 中图像上定义的像素直角坐标系( u ，v ) 与图像直角坐标( x ，y ) 之间的关系。按照实际的对应模型，应考虑图像在数字化过程中的非理想情形。 由于成像平面与实际像素平面的不平行，导致像素平面中轴线方向和像素 尺寸的改变。对像素平面进行投影变换后，对应关系如图2 7 的三维轴测图所 示。在二维成像平面上，像素平面坐标与成像平面坐标( 图像物理坐标) 的关 系如图2 8 所示。 9 幽2 7 像素平面在测量成像平面上的投影关系豳 图2 - 8 图像象紊化过穰中的坐标关系图 考虑由象素平面绕其两坐标轴线旋转而导致的不平行性及所引用的投影变换关 系，在经过投影逆变换后，实际数字化过程关系为：( u ，v 为像素坐标u ，v 中的 点坐标) 。奇半 协：， ”一5 丽r d 言巧朝种s f ( 2 3 ) 舯 q = 工2 磊1 ，q 厂2 工2 万1 ( 2 4 ) 式中：f 为摄像机的焦距，v o 为像素平面中的实际中心点坐标【4 】，以，巩为单 位像素尺寸在经过投影逆变化后对应的数值。0 为投影变换后像素坐标轴线夹 角。 在成像过程中，采用最实用的中心透视成像模型5 1 。见图2 - 9 ：， 一一杪笋一一豸 墨 一疗二二心丝一 ，p 一【e一 1j 虬乃， l1j ， 因此成像关系写成的齐次坐标关系式如下： 料00 蚓 像s ， 在上述几何模型的基础上，进一步建立摄像机坐标系0 i x l y l z l ( 即 0 。x 。，y c ，z c ) ，其中0 i y l 轴线平行于c c d 像面的水平像素行，o l x l 平行于c c d 像面的竖直像素列，0 1 z , 垂直于c c d 像面。如图2 - 3 所示，摄像机坐标系0 1 x l y l z l 可以认为是由世界坐标系o x y z ( o x 。y w z 。) 通过绕y 轴线顺时针旋转0 角度， 绕x 轴线逆时针旋转。角度，绕z 轴线逆对针旋转角度，再加上一定的平移 变换得到。 平面 拶 ， 百 一 图2 - 9 世界坐标系与摄像机坐标系 在从世界坐标系o x y z 到摄像机坐标系0 l x l y l z l 的变换中，我们设r 为旋 转变换矩阵，t 为平移变换矩阵。可以得到国际坐标系o x y z 与摄像机坐标系 件堋盯 协。， hh 在从国际坐标系o x y z 到摄像机坐标系0 1 x l y l z i 的变换中，我们第一步将坐 标系o x y z 绕x 轴逆时针旋转n 角度，使得o z i 与o z 2 重合，得到过渡坐标 i h 罴0 翊 协， 再将坐标系o x 2 y 2 2 2 绕y 轴顺时针旋转0 角度，使得o x l 与o x 3 重合，得到 耋 = ：薹；i 二篓 蒌 c z s ， 最后，将坐标系o x 3 y 3 2 3 绕z 轴逆时针旋转角度，使得o y 合，得到过渡坐标o x 4 y 4 2 4 ，有下列关系式成立： 卧e ：i i ：- 彳s i n o 。封 与o y 4 重 ( 2 9 ) 如果世界坐标系的原点0 在摄像机坐标系0 l x i y l z l 中的坐标为 ( t x , t y , t z ) ，则式z - s 守的乎移变换矩阵r = 蒌 ，可以得到 刚批 ( 2 1 0 ) 结合式2 - 5 式2 8 ，可以解得旋转变换矩阵r 为： c o s ( ) c o s ( o ) c o s ) s i n ( o ) s i n ( a ) 一c o s ( a ) s i n ( o ) ) - s i n ( o n ) s i n ( a ) 一c o s ( c o ) s i n ( o ) c o s ( a ) 1 r = is i n c o s c o s ( c o ) c o s ( 口) + s i n ( m ) s i n ( 8 ) s i n ( a ) s i n ( a ) c o s ( 妫- - c o s ) s i n ( o ) s i n ( c o ) f l s i n 一c o s ( o ) s i n ( a )c o s ( o ) c o s ( 2 1 1 ) 反过来，我们设摄像机坐标系o i x l y i z l 的坐标原点0 在世界坐标系o x y z 中的坐标为：( t x ，t y7 ，t z ) ，则可以得到平移矩阵t 如下： r ， ，1 ， p = lt巧正i ( 2 - 1 2 ) 2 匡 = 月。+ 耋 + r 。 c ：，s ， 依照上述，如果摄像机坐标系o l x i y l z l 的坐标原点0 i 在国际坐标系o x y z 中的坐标为：( t x ，t ，t z ) ，则根据上述的公式推导变换，可以得到旋转矩阵 r 蚓 ( 2 1 5 ) 到此，根据式( 2 6 ) ( 2 - 1 3 ) 就实现了摄像机坐标系和世界坐标系之间 的转换关系。 在实际标定中，摄像机坐标与世界坐标的对应关系式( 2 6 ) ，通常表示成按 旋转r 和平移t 的数学模型齐次式，： r 亍f i ；i ，t 2 c 正，弓，互，7 ，0 3 r = 00o ( 2 1 6 ) ( 2 1 7 ) 正交旋转矩阵r 是光轴相对世界坐标系坐标轴的方向余弦组合，实际只含 有3 个独立变量：旁向倾角，航向倾角，图像旋角。再加上t x 。k t z ，总共6 个参 数决定了摄像机光轴在世界坐标系中空间位置，因此这6 个参数称为摄像机外 部参数。 综合上述结果，可得成像关系的理论模型： r 叮 h 卜 s 以：；邢詈 正 s “o 0 0 v o 0 9 0l0 1 - - - - _ _ - h _ h ，- - - - - - - - 一 h 2 2 4 成像中的非线性畸变 + 瞄廿 k 到巨 ? 0 挑r j y ， z ” l x ” y ， z h ， l ( 2 1 8 ) 在机器视觉的研究和应用中，将三维空间场景通过透视变换成二维图像过程中， 采用的仪器或设备一般为由多片透镜组成的光学镜头和成像器件组成。理论上 遵循小孔成像模型，但是由于实际制造、安装的引起的与理论上的差异，实际 所成的二维图像存在着不同程度的非线性变形，通常把这种非线性变形称之为 几何畸变吲，除了这些几何畸变外，还有成像过程的不稳定，数字化过程中的 采样频率、精度以及前面讨论的c c d 相面精度的影响等等，必须根据不同需 要进行适当考虑。这里只讨论主要的几何畸变。 因为摄像机制造和工艺等原因，如入射光线在通过各个透镜时的折射误差 和c c d 点阵位置误差等，光学系统存在着非线性几何失真，使得目标像点与 理论像点之间存在多种类型的几何畸变【3 1 。其中包括： ( 1 ) 径向畸变( r a d i a ld i s t o r t i o n ) 径向畸变主要是由镜头形状缺陷引起的。是关于摄像机镜头的主光轴对称 的。正向畸变具有枕形畸变，负向畸变是桶形畸变。其数学模型为： j 。= x ( k i r 2 + 七2 ，+ 忌l ，+ ) t ，= y ( k ) r2 + k 2 r 1 + k 3 r + _ ) 。、 l z i y ， 其中r 2 = x 2 + y 2 ，k i ，如，k 3 ，为径向畸变系数。 ( 2 ) 偏心畸变( d e c e n t e r i n g d i s t o r t i o n ) 偏心畸变主要是由光学系统光心与几何中心不一致造成的，即各透镜的光 轴中心不能严格共线。这类畸变既含有径向畸变，又含有切向畸变。切向畸变 的函数模型为： 1 4 肌肿舯 。l i | = 2 p i x y + p 2 ( 7 2 + 2 。2 ) 。( 2 珈) 【占w = p l ( r2 + 2 y 2 ) + 2 p 2 驯+ - 其中，p l ，p 2 ，为切向畸变系数。 ( 3 ) 薄棱镜畸变 薄棱镜畸变是由于镜头设计、制造缺陷和加工安装误差所造成的，如镜头与摄 像机像面有很小的倾角等。这类畸变相当于在光学系统中附加了一个薄棱镜， 不仅会引起径向偏差，而且引起切向误差，其数学模型为： ( 2 2 1 ) p 。2 ；： = ； + 乏：；：；： 。：一：， 其中，( x d ，y d ) 为实际有畸变的成像点，( x ，y ) 为理论成像点。再将这些引入透 2 3 传统的摄像机标定技术的原理和方法 传统摄像机标定方法有基于单帧图像的基本方法和基于多帧已知对应关系 的立体视觉方法。当前对传统摄像机标定技术的研究集中在如何有效合理地确 定非线性畸变校正模型的参数以及如何快速求解成像模型。 传统地摄像机标定方法按其求解地方法可分为如下两类 9 1 ：1 、线性方法； 2 、非线性方法( 包含非线性优化或考虑畸变补偿地两步法) 。下面分别予以介 绍。 2 3 1 直接线性变换( d l t 变换) d l t 变换来源：a z i z 和k a r a r a 于7 0 年代初提出了直接线性变换像机标定 的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关 系，建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线 性方程的求解来实现。 直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影 矩阵的形式： + 2 2 一 扩 s 占 = = r，cl = 只。 x 。 匕 z 。 ( 2 2 3 ) 其中( u ，v , 1 ) 为图像坐标系下的点的齐次坐标，( x 。，y w ，z w ) 为世界坐标系下的 空间点的欧氏坐标，p 为3x 4 阶的透视投影矩阵，s 为未知尺度因子。消去s ， 可以得到方程组： p l i x + p 1 2 匕+ p i3 z ，+ p 1 4 一p 3 i u x 。一p 3 2 u r 一p 3 3 l 乙一p 3 4 = 0 p 2 l x 。+ p 2 2 耳+ p 廿乙+ p h p 3 l u x 一p 3 2 u r 一p 3 3 u z p 3 4 “= 0 ( 2 2 4 ) 因此，当已知n 个空间点和对应的图像上的点时，可以得到一个含有2 * n 个 方程的方程组： a l = 0( 2 。2 5 ) 其中a 为2 * n 1 2 的矩阵，l 为透视投影矩阵元素组成的向量 l = b p 1 2 p 1 3 ，a 4 ，p 2 l ，见2 ，p 2 3 ，p 2 4 ，p 3 l ，p p 3 3 ，岛i r 像机标定的任务就是寻找合适的l ，使得i i a l i i 为最小，即m i n i i a l i i 给出的约束：p 3 4 = l = 一( c 7 c ) 。c 7 b 其中l 为l 的前1 1 个元素组成的向量，c 为a 前1 1 列组成的矩阵，b 为a 第1 2 列组成的向量。 由于约束p 3 4 = 1 不具有旋转和平移的不变性，解将随着世界坐标系的选取不同而 变化，显然，世界坐标系做刚性坐标变换。 p = ，酬0 1 ll 则：赢+ 最+ p 三：1 因此在一般情况下： 岛4 p 3 4 另一个约束 p 3 4 = p 3 】f l + p 3 2 t 2 + p ，3 + p 3 4 具有旋转和平移的不变性 1 6 p ”) 图2 一l op 3 组成分量与各基本向量之间的关系 其中：向量r l ，r 2 ，r 3 是两两垂直的单位向量 又因为：c o s 2 岛+ c o s 2 岛+ c o s 2 岛= 1 就可以用约束求解的方法求得模型中各参数的优化值。 2 3 2r t s a l 的