（机械制造及其自动化专业论文）基于ccd的零件图像识别系统的研究.pdf

摘要 摘要 本文从经济实用的角度出发，设计了一套工业视觉识别系统。工业视觉大 致可分为用于识别、定位和装配三类，本系统属于识另类。是对工业零件进行 分类、识别的自动检查装置。在工业生产中，工业环境和照明条件的确定性使 得快速准确地判别分类出工业零件的想法成为可能，本系统就是在这种想法下 应运而生的。本系统采用图像传感器摄取原始信息，避免了与对象的直接接触 和人工识别，所以更符合工业生产在线识别的要求。而且在编制软件时可根据 工业零件的形状设计简化的步骤，可达到高效快速的目的。本论文就是在研究 机器视觉理论的基础上，讨论了图像获取的方法，对图像获取的硬件作了一些 探讨：并以图像处理和识别理论为指导，以c + + b u i d e r 为平台，进行了图像识 别的软件设计。本文提出了一种基于数字图像轮廓特征的机械零件自动有效识 别的系统。利用工业摄像镜头代替目视作为一个传感器，经过光电转换、图像 采样、图像处理、图像分析识别等一系列的操作，就可以达到机械零件识别的 目的。通过实验验证，显示出该识别算法在识别效率和识别效果上都有令人满 意的效果。 关键词：机器视觉；数字图像处理；机械零件识别；c c d 图像传感器 a b s t r a c t a b s t r a c t f f o mt h e “e wo f 托舳。蝴y 眦dm i i i t y ，k 吐i i sp a p e r ，as 【l i to f 幽t i i c a t i o n 母峪毛e mo f 佃血l 蛐 a iv i s i 锄i sd c s i 印e d ，l n d i i s 缸a l “s i 啪b e 出v i d e d 矗i t ot l f b ed a s s 船：i d 锄t i f i 咖伽 州e n t 砒i 伽锄ds c t 咖g - 印1 1 1 j ss y 蛳肌b c i 锄g st om ec l 雒so f i 蛳i f ；c a t i ，t i l i ss y s 蜘i sas e t o f a i 吐讲陇l t i ci 细i f k 雒i n gd c v i c c s ，w 场d hi su s e dt oc h 龉j 母觚df e c o 】g n i z e 如d l 删咄lp a f t sd u 订n g t h e i 暑eo fi n d i 酬打a lm a n u f a c l 峨m ed 酏锄缸a c yo fm e 讪s a le n “r o 岫咖缸l d i i l 咀l l i n 刮吨c 0 | l d i t i o n s 血a k t i 地i d c a sp o s 鲥b l et 1 1 砒i 玎d l 蚓晒a lp a r t sc 狮b ed j s t 加g 山s h e d 甜l d c i a 跖i 制r 印i d i ya i l da c c u 删七l y t h es y s t 哪i 岫r o d u c c db e l o wi st t 砖r e s 山to ft 王1 si d 既t h i s s ) 噶t e l ng c t s 舐舀n a lj l l 细n a 6 伽b yi 玎1 a g es a l s o f ，w m c ha v o i d s 西f e c tc o n 组c tw i t l lo b j e c t sb c 啦 p r o 。e 路e d 柚dm 锄u a l 幽l 吐面c 8 6 s om i s 野姗咖m 鳅t 量l er e q u i 僧m 饥tt l l 砒证血l s i n a lp a r t s s h o i l l db ei d 酬6 t e d0 l l - l i l l e a tt 1 1 es 锄eb m c ，w i 啪n w 撇i sp i _ o 乎狮m e d 蜘p l eg t c p sc 锄 b ed e s i g r l e da c c o r d i n gt ot h es i l a p eo f 加d l 枷a ip a r t st oa t 劬t h eh i g h - s p e e d 村l dj l i g h - e f f i c i t p p o 辨0 叽t h eb a o f r 器髑r c m n gt h e 廿1 e o r yo f m 牡h 如e 啊s i o n ，t l l e 球巾盱d i l l s s e sm em e l 量1 0 d 砸l dk m d 、帽r 龃l i 2 a t i a 1 ) o u th o wt og a i ni m a g e a tn l e 翩m ct i l l l e ，出ep a p e rm 8 k 韶曲时 s o 行哪d e s i g no fi i n a g er e c o g n 埘o l lw 甜li l s i n gc + + b i i i d 盯l m d 盯t i 砖g l l i d a r l o fi m a g e 舯o c 龆s 证g 瓤d 豫瑚蛐石0 n h lt l i sp 印虬w e 珥舔咖踟a 咖m a t i c 觚d 甜鳅i v ef a m e w o d f 研 m a c h i n e m p l 即噼i d 1 1 蠲c a 妇b j i d t | 1 瞎矗g u mf e a n l so f d i g i t a l n l a g 靠u s i n g 妯出i 鲥a 1 m c ml e 邶缸蛐刚o f m 锄e y e s 船n s o m 8s e f i 船o f 曜曙m t i o l i ，跚尬h 罄曲吁眦l e c 砸c 臼甜i s f 锄，i m a g e 湖p l j l l & i m a g ep | o c 嚣s i m a 鲈删y 逝a n di d e l l “助n g m a c 妇c c 哪币o i 姗t s i 出n t i f i c 砸锄c 锄b c 删i z e d h i sv a i i 出t e l b y c x 肿e n t s ，b y t l l e 麟p 咖蹦峨i ts 咖s t l l 戤曲时 m e t i 埘“se 娲c t i 坩de f i i c i c y k 帮w b r 出：m h 妇m o d e lf n a t c h 抽gv i s i ；d i g i t a li m a g ep i o 瞎昭i n g m a 醴l i n ec c 唧驴a 临 i d c n t i 矗c 撕o | l ；c c di m a g es e n s 凹 学位论文版权使用授权书 本人完全了解北京机械工业学院关于收集、保存、使用学位论文 的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和 电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、 缩印、扫描、数字化或其它手段保存论文；学校有权提供日录检索以 及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向 国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目 的的前提下，学校可以适当复制论文的部分或全部内容用于学术活 动。 学位论文作者签名：候掀，托 硒7 年华月z 日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 年月 日年 月日 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人存导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：倪扳坛 砌7 年4 月2 日 第一章引言 1 1本课题研究的意义 第一章引言 随着工业生产水平的提高和当今社会对产品需求以及产品质量要求的提 高，自动化生产已经称为一个必然的趋势。机械零件的自动识别是随着现代化 工业生产中自动化和智能化技术的不断要求而发展起来的，它在节省时间和劳 动力以及提高效率和准确性方面郡有着十分重要的意义。在自动化流水生产线， 尤其是装配线上，零件的自动识别与分拣是一个关键的环节，实现这一环节的 方法之一是用计算机图像处理的方法。这需要分几步进行，首先把流水线上的 零件用摄像机摄入计算机形成数字图像，再对摄入的图像进行基本处理，分割， 标记，然后进行影像特征分析( 即识别) ，最后给出控制指令。基于数字图像处 理技术的机械零件识别就是通过提取图像特征，分析和识别，判断待测零件的 类别。 1 2图像识别系统发展历史、方向以及国内外研究现状 图像识别是近年来发展起来的一门新型技术科学，是计算机视觉的一个重 要组成部分。它是研究用计算机代替入自动分析和识别所获得的图像，在现代 自动控制技术和第五代计算机中都占有极重要的地位。图像处理与分析涉及到 数学、计算机科学、模式识别、人工智能、信息论、生物医学等多种科学，是 一门多学科交叉应用技术。 视觉是人类从大自然中获取信息的最主要的手段。据统计，在人类获取的 信息中，视觉信息约占6 傩，听觉信息约占2 碱，其他的如味觉、触觉信息等加 起来约占2 0 。由此可见视觉信息对人类的重要性，而图像正是人类获取信息的 主要途径。所谓“图”，就是物体投射或者反射光的分布：“像”是人的视觉系 统接收图的信息面在大脑中形成的印象或认识。前者是客观存在的，而后者是 人的感觉，图像应该是两者的结合。因此，在图像处理中不能仅仅把图像看成 是二维平面上或者三维立体空问中具有明暗或色彩变化的光分布。 视觉是一种复杂的感官，视觉信息中包含有大量的数据，要从中提取特征信 。1 第一章引言 息，需要复杂的算法及耗费大量的运算时间，视觉通常采用c c d 摄像机来实现， 在成像过程中会受到多种因素的影响( 如摄像机的精度、光照强度、传输噪声等) ， 使得视觉信息中不可避免地夹杂有噪声，增加了图像处理的难度；另外目前的摄 像机采样速率不高，并且在传输大量数据的视觉信息时需占用较多的时间：成像 过程的非线性等等：机器人本身又是一个高度非线性、强耦合、时变的复杂的动 力学系统，而且机器人视觉识别系统的研究领域众多，主要有计算机视觉、图像 处理、机器人运动学、机器人动力学、控制理论、实时计算等，且多个学科相互 交叉和融合，所以实现机器人视觉识别系统有相当的难度，是机器人研究领域中 具有挑战性的课题。 1 3图像识别系统的内容和特点 在许多计算机视觉应用中，物体可以用单象素的线条和弧线构成的结构来表 示，如文字、指纹纹线、生物细胞结构、电路或机械图纸等。在这些情况中， 由于物体结构的宽( 厚) 度对识别没有影响，因此结构常用傅立叶描述子来识别， 但傅立叶描述子需要构造封闭边界。经过推广的h o l l l l l 变换可以使用参数矩阵 来检测任意形状的曲线，但由于h o u g l i 变换的参数矩阵所需要的存储空间大小 为参数量化级的参数个数次幂，所以实际上只能用于检测参数很少的曲线。而 矩的计算涉及区域内部和边界的所有象素，因而耗费时间较多。 1 3 ，l基于数字图像处理的形状识别系统 形状识别在机器视赏中占有重要的地位。根据抽象程度和研究方法等的不 同形状识别可分为三个层次：图像处理、图像分析和图像理解。换句话说，形状 识别是既有联系又有区别的图像处理、图像分析及图像理解三者的有机结合扭1 。 图像处理着重强调在图像之间进行的变换。虽然人们常用图像处理泛指各 种图像技术，但比较狭隘的图像处理主要是对图像进行各种加工以改善图像的 视觉效果。并为自动识别打下基础。或对图像进行压缩编码以减少所需存储空a 或传输时问传输通路的要求。 图像分析则主要是对图像中感兴趣的目标进行检测，以获得他们的客观信 息从而建立对图像的描述。如果说图像处理是一个从图像到图像的过程，则图 第一章引言 像分析是一个从图像到数据的过程。这里数据可以是对目标特征测量的结果， 或是基于测量的符号表示。他们描述了图像中目标的特点和性质。 图像理解的重点是在图像分析的基础上进一步研究图像中各目标的性质和 他们之间的相互联系，并得出对图像内容含义的理解以及对原来客观场景的解 释，从而知道和规划行动。如果说图像分析主要是以观察者为中心研究客观丝 界( 主要研究可观察到的事物) ，那么图像理解在一定程度上是以客观世界为中 心，借助知识、经验等来把握整个客观世界( 包括没有直接观察到的事物) 。 高 抽 象 程 度 宸 小 数 据 量 大 国1 1 形状识别的内容 图1 1 是形状识别的内容示意图。底层视觉处理的输入和输出都是图像形式 的数据：中层视觉处理的输入是图像形式的信息，处理的结果是符号形式的描述 高层视觉处理的对象是符号形式的信息，主要的运算是匹配和基于知识的推理。 其用到的方法主要有滤波、增强、锐化、区域分割，边缘提取和跟踪：编码、几 何特性、拓扑特性、边界描述，闵描述；决策理论方法，结构方法，匹配、语义 网络、专家系统等。 1 4图像识别系统存在的问题及未来发展趋势 由于机器人视觉包括许多自成一体的研究领域，如图像处理、计算机视觉、 运动学、动力学、控制理论及实时计算等，所以要考虑的问题比较多。如计算 机视觉与机器人视觉研究的最终目的不同：前者主要研究视觉检验，精度要求 高，速度不是主要问题；而机器人视觉主要研究在视觉引导下机器人对环境的 操作对象 、，0、， 号 标 素 符 目 像 层 层 层 高 中 底 厂，j、l 爵义 第一章引言 作用，对实时性有一定的要求。因此机器人视觉研究存在更多的困难。根据目 前情况，机器人视觉在以下几个方面还有待于进一步加强研究： 1 图像特征参数的选择问题。视觉识别的性能密切依赖于所用的图像特征，特 征的选择不仅要考虑识别的效果，还要考虑控制性能。从控制的观点看。用冗 余特征可抑制噪声的影响，提高视觉识别的性能，但又会给图像处理增加难 度。因此如何选择性能最优的特征，如何处理特征以及如何评价特征，都是需要 进一步研究的问题。 2 结合计算机视觉及图像处理的研究成果。建立机器人视觉系统的专用软件 库。在视觉识别中。需要进行图像采集、图像处理、特征抽取及由二维信息重 构三维信息等，要处理的数据量较大，算法复杂多样。如果有这样的软件平台， 在进行视觉识别任务时，就可以少走弯路。当然更希望生产出性能价格比较高 的相关硬件。 3 加强系统的动态性能研究。目前的研究多集中于根据图像信息确定期望的机 器人运动这一环节上。而对整个视觉识别系统的动态性能缺乏研究。 4 利用智能技术的成果。虽然神经网络在机器人视觉识别中已得到应用，但多 数都是针对具体物体的具体特征，或只进行了仿真实验，还有待于进一步的研 究。考虑到人类看到并拿起某个物体时，事先并没有在数字上准确计算物体的 尺寸和大小，而是通过不断地观察、判断和推理，其中包含学习和模糊推理的 内容，由此可以考虑用模糊神经技术解决机器人视觉识别问题。 5 多传感器融合问题。视觉传感器具有一定的使用范围。如能有效地结合其它 传感器，利用它们之问性能互补的优势，便可以消除不确定性，取值更加可 靠、准确的结果。 1 5本文的主要研究内容及课题来源 图形图像技术是当今比较流行的运用比较广的计算机运用技术之一。图像 识别是从图像中提取目标物并识别目标。图像识别的准确率主要依赖于所选择 的识别算法，由于图像识别的复杂性，到目前为止还没有一种通用的识别方法。 几乎所有的识别算法都是针对具有某些特定特征的图像提出来的。本实验也是 针对具有特定形状和大小的目标验证图像识别算法。视觉识别系统一直是机器 人研究领域的热点课题，它广泛应用在机械零件的自动检测和 识别，生产线的自 4 第一章引言 动监控。运动目标的自动跟踪与识别，自治战车导航，登月舱的自动着陆以及空 间机器人的视觉控制等。本文分别从机械零件标定模型出发，验证机械零件自 动识别系统的有效性和性能。 1 5 1课题的具体内容 在本文中，提出一种新的机械零件自动识别系统利用工业摄像镜头代替目 视把工业摄像镜头作为一个传感器，经过光电转换、采样、图像处理、图像 分析识别等一系列的操作，就可以达到机械零件识别的目的总结了现有的几种 方法，分析了存在的问题，介绍所提出的识别框架，即基于c c d 的机械零件识别 系统，它包括图像采样、图像预处理、特征提取、分类识别四大部分最后将给 出试验结果和研究结论。本课题研究的目的就是利用视觉系统中c c d 摄像机获得 的图像数据，获得待识别零件空间信息( 物体的形状) ，使机械手具有对一些零 件的认知能力，为机械手分拣零件提供依据基于o c d 的识别系统原理框图1 2 所 示： l 计算机 1 i i 嘲像采集母 什 i 摄像头 n i 载物平台 图1 2 系统原理框图 第一章引言 1 5 2课题来源 本课题得到北京市教委基金资助，项目编号为：k m 2 0 0 5 1 1 2 3 2 0 0 5 第二章摄像机标定 第二章摄像机标定 2 1摄像机标定发展及现状 计算机视觉的基本任务之一就是从摄像机捕获的二维图像信息出发来计算 三维空间中物体的几何信息，并由此重建和识别物体。摄像机标定是机器人视觉 中的一个重要问题，通过摄像机的定标重建三维世界目标物体仍然是重要的方 法。摄像机定标在机器视觉中决定： ( 1 )内部参数给出摄像机的光学和几何学特性如焦距，比例因子和镜头畸 变。 ( 2 )外部参数给出摄像机坐标相对于世界坐标系的位置和方向，如旋转和 平移。 在机器人的视觉应用中，目标物位姿信息获取通常需要有一定的精度要求， 机器人视觉系统的性能很大程度上依赖于定标精度。随着计算机性能的快速提 高，低价位c c d 摄像机的大量使用，计算机定标方法也得到了不断的改进，使得 机器人视觉在实际中也得到广泛的运用，主要表现在以下三个方面： 1 用视觉进行产品检验，代替人的目检。包括；形状检验囊检查和测量零件的 几何尺寸。形状和位置；缺陷检验检查零件是否损坏。划伤；齐全检验聚检 查部件上的零件是否齐全。 2 在机器人进行装配、搬运等工作时，用视觉系统对一组需装配的零、部件逐 个进行识别，并确定它在空间的位置和方向，引导机器人的手准确地抓取所 需的零件，并放到指定位置，完成分类、搬运和装配任务。 3 为移动机器人进行导航。利用视觉系统为移动机器人提供它所在环境的外部 信息，使机器人能自主地规划它的行进路线，回避障碍物，安全到达目的地， 并完成指令的工作任务。 2 1 1 摄像机模型 摄像机的投影几何模型可以看作这样一个过程，把三维世界透视投影到一个 球面( 视球) ，然后把球面上影像投射到一个平面丌，理想情况下，平面n 关于光 第二章摄像机标定 轴中心对称。从图像中心点出发到投射平面点的距离r ( 旺) 与光轴夹角a 的关系 有五种模型，每种都有其自己有用的特性。其成像简图如图2 ，l 所示 l bf f 2 1 2 透视模型 图2 1成像简图 透视模型公式为 “a ) = k 眦 ( 2 - 1 ) 理想状况下可以等价为小孔成像。许多最近的算法和判断不同算法的优劣的依 据都是基于这个假设。但是，透视投影只是表示了零件的前半部。要是不在光轴 的附近，物体的形状和密度都会发生畸变。这种模型符合人的视觉感受，理想情 况下。直线投影仍为直线。透视模型在定标方法中被广泛采用，在视角不大的镜 头情况下比较符合实际情况。在视角比较大时，透视模型通过对镜头畸变进行校 正来修正模型。根据镜头光学成像原理，畸变的模型为： 6 “x ，y ) ；k l 】( 冉y 2 ) + o l ( 3 冉y 2 ) + 2p 2 x y ) + s l ( x 2 + y 2 ) 6 y ( x ，y ) = l ( 2 x ( f + y 2 ) 州如( 3 冉y 2 ) + 2 p l 科) + 靴陋y 2 ) ( 2 - 2 ) 式中，5 x ，氐是非线性畸变值，& ，6 v 第一项称为径向畸变，第二项称为离心畸 变，第三项称为薄棱镜畸变，其中b ，k 2 ，p l ，p l ，s l ，眈称为非线性畸变参数。并不 是引入较多的参数就一定能提高模型的精度，如果只考虑径向畸变，可以写成 x 1 + k l r 2 ) y 。“l + k 2 r 2 ) ( 2 3 ) 其中，x7 ，y 为理想无畸变情况下的图像坐标值。 第二章摄像机标定 2 1 3 立体图投影模型 立体图投影模型为 “a ) = k 伽l 缸，2 ) ( 2 4 ) f l c c k 等认为这种投影模型是更好的更广泛适用的模型。它的特征是，球形物体 经过立体图投影后，仍然保持球形。理想的立体图投影模型只有三个自由度( 图 像中心和焦距) ，而且，小物体的形状不会由于其所处视野的位最发生变化。目前， 从这个模型出发的标定方法并不多见。其他投影模型有等距投影、等立体角投 影和s i n e 法则投影等。 2 1 4 标定方法 有很多方法进行标定，根据标定方式的不同，摄像机标定技术大致可归结为 两类方法：传统标定方法和自标定方法。自标定方法不依赖于标定参照物。它利 用获得的多帧图像信息综合分析而得到摄像机的内外参数，这种方法标定过程 复杂。不宜用于实时性要求较高的场合，并且其最大的不足是鲁棒性不足”，主要 用在对精度要求不高的场合，如通讯、虚拟现实等。传统摄像机标定方法是在一 定的摄像机模型下，在一定的实验条件下，利用形状、尺寸已知的标定物，经过对 其图像进行处理，并利用数学变换和计算方法来计算摄像机内外参数，算法虽然 复杂但精度高，能够满足对实时性要求较高的图像伺服系统的需求。对摄像机 标定技术进行详细分类，可以分为以下几类： 1 线性标定 线性方法通过解线性方程获得转换参数。算法速度快但是没考虑摄像杌镜 头的畸变问题一未知数的数日通常比实际自由度要大，由于这种冗余，实际的 中间参数的约束不满，而且最终结果的正确性是显著噪声敏感的。由于比较简单， 直接线性转换( d l t ) 在线性标定方法中是应用最为广泛的。 2 非线性标定 非线性方法使用大量的未知数和大范围的非线性优化。非线性模型越准确， 计算代价越高。这样可以补偿镜头畸变允许采纳更为复杂的映像模型。但是，算 法的迭代本质需要良好的初始估计。并且，如果迭代过程设计不恰当的话，尤其 在高扭曲的条件下，优化过程可能不稳定。这些技术包括：f a i g s 方法、s o b e l 标 定系统、g 椭n e 呵立体视觉标定方法和p a q u e l t e 方法等。 ，q 第二章摄像机标定 3 两步标定 两步标定方法包括用解析解得到多数标定参数和用迭代解获得其他一些参 数。砌i 使用径向校准约束来获得外部参数和焦距的线性解。迭代方案又用来估 计处理径向畸变的相关的三个参数。有效的焦距、平移向量的深度组元。 s i d - a l l m e d 考虑了径向和切向畸变，w e n 提出了一种c c d 立体视觉的非线性 畸变模型，考虑了主要的摄像机畸变来源，如径向、离心和薄棱镜畸变。 也有一些其他的特殊标定技术：m a r t i 璐使用两平面方法，f i s h l e r 和b a l l 嬲提 出了一种几何方法，也有提出不用任何具体模型用人工神经网络和统计方法来 解决问题的。基于透视模型的方法主要有以下几种： 1 t s a i 方法( t s ) 基予切向畸变相对径向畸变可以忽略的假设，t s 方法可以在考虑镜头畸变 的情况下计算摄像头内外部参数。在这种方法中，可以不同的方式安装摄像头， 使用单目非共面点作为计算的依据。 2 f 卸g e r 弱一t o s c a l l i 方法( f t ) 这种方法不考虑镜头畸变，摄像头由四个参数来描述：两个焦距参数，一个 用于考虑不同分辨率的图像平面轴的参数和图像中心。这种模塑无须知道像素 间距，虽然这种方法得到的信息可以转换为相应的t s 方法的参数。 3 m a n i l l s 的两平面方法 这种方法不明确地使用摄像机模型，它用世界坐标系下的视线，定义的视 线从工作场景前后两个平面出发，到图像上某点的连线。给定空间的标定点以及 其图像上的对应点。用插入方法可计算出两张图，插入的方法是：对于每个图 像上的点，在前平面和后平面上定义两个对应的点，来定义视线向量。在这种 方法中，考虑用局部插入，图像用项点和标定格交点一致的三角形标画，然后在 三角形内线性样条插值。 4 p o l l a 矧方法( p l ) 这种方法不考虑镜头畸变，其目标是根据其他摄像机参数独立地算出图像 中心c x ，c y 和焦距f 。 5 c 删l e - 1 _ o “e 方法( c r ) 这种方法考虑了镜头的畸变，它是基于没影点的性质来计算的，如果没影点 和空间三个互相垂直的方向已经给定，那么顶点在没影点的三角形的重心与图 像的中心相对应。内部参数用设计的一个含有三个正交系表面画有平行线正方 1 0 第二章摄像机标定 体计算得到。与三个坐标系相对应的没影点用来计算q ，c v 和焦距f 。 6 张正友方法 这是一种适合应用的一种新的、灵活的方法。这种方法虽然也是使用针孔 模型。但是它的具体标定是在自标定与摄影测量标定之问的一个妥协方法。这种 标定方法既具有较好的鲁棒性，又不需昂贵的精制标定块，推动了计算机视觉从 实验室向实际应用的迈进。该方法假设标定用平面图板在世界坐标系中z o 。 通过线性模型分析计算得出摄像机参数的优化解，然后用基于最大似然法进行非 线性求精。在这个过程中标定出考虑镜头畸变的目标函数，最后求出所需的摄像 机内、外部参数。目前，基于立体图投影模型应用的方法比较少。d 锄i e ie s t e v e 岫o n 等提出的非参数畸变校正的方法使用了这个模型，他们使用一些大小 不等的小黑木球，根据立体图投影的特性，通过图像处理获得图像椭圆，并使用 d e i a u n 研三角划分法，最后获知每个划分三角的理想输出比例，从而完成对图像 的校正。 2 1 5 发展与展望 定标方法从不同的模型出发有不同的方法，适当地根据镜头应用情况采用不 同的模型是提高定标精度，提高算法效率的重要途径。随着广角镜c c d 摄像机 的广泛使用，计算机性能的大幅度提高，广角镜的定标、镜头畸变校正有相当大 的研究价值和使用价值。 张正友方法是近年来应用较为广泛的一种比较成熟的方法。由线性模型入 手的方法来说，这种方法简单、方便、可靠。无须具备计算机视觉和3 d 图形学 知识就可以应用。把三维计算机视觉从实验室推进到实际应用。 张正友方法在进行线性内外参数估计时，由于假定此时模板图像上的直线 经透视投影仍然为直线，进而进行图像处理，获得贬像素精度的点坐标，实际 上引入了误差，所以在广角镜畸变比较大的倩况下，经实验，校正效果偏差比较 大。我们认为，对于广角镜的标定方法，若能先进行畸变校正，然后利用简单线 性模型进行参数估计，求得摄像机内外参数，将可能获得应用更为广泛的摄像 机定标方法。 设计新的比较符合摄像机成像物理模型而又便于分析计算的实用模型是条 另辟蹊径的发展方向。立体图模型由于其自身的特点使得广角镜的定标方法中 第二章摄像机标定 的应用具有相当大的发展潜力，我们设想利用立体图模型 经过适当的图像处理 方法，首先一定程度上纠正镜头畸变和相应参数，而后使用线性模型进行摄像机 定标方法是可行的，尤其在广角镜甚至鱼眼镜头的定标中取得良好的效果。 2 2摄像机标定原理 显示嚣 图22 摄像机透视成像模型 c c d 摄像机成像模型如上图2 2 ，该模型中有四个坐标系：物空间坐标系 c l w x w y 。砘，摄像机坐标系o c ) ( 。y 。z c ，成像平面坐标系o l x l y l 和计算机图像平面 坐标系o u v 。其中摄像机坐标系定义为：中心o c 点与摄像机光学中心重合，= 轴与 光轴重合，y o 轴分别平行于】【w ，y w 轴，o c 0 1 是摄像机有效焦距。成像平面坐 标系o l x l y i ：原点o 定义在摄像机光轴与成像平面的交点，x l y l 轴分别与】【c ，y 。 轴平行。在计算机图像坐标系o u v 中：原点啦于显示器左上角，和a 成像平 面的左上角重合，u ，v 轴分别与x i ，y l 轴平行。空间任意一定p ( x 。，y w ，z w ) 经摄像 机成像后其像面坐标( x l ，y 1 ) 和摄像机坐标( 砘y 。z c ) 的关系为： 第二章摄像机标定 r 为旋转矩阵，t 为平移矢量。设p 的实际成像点为p d ( ) ( d ，y d ) 和理想像点p 1 ( x l ，y 1 ) 之俩的位置关系为， x ，；x 。( 1 + 后，2 ) 伫7 ) l ，。= l ，。( 1 + 七。，2 ) k l r 为镜头径向畸变系数；r ；叉：+ y ：。实际像点p d ( x d ，y d ) 和计算机图像 坐标p ( u ，v ) 的关系为： 芦。4 夕，一一：i ： y 。= d ，b 一1 ，。j ( 1 1 0 ，v o ) 是成像平面的中心在计算机图像坐标系中的坐标，d x ，d y 分别为摄像 机感光面在方向和y 方向上的光敏单元的中心矩：据以上各式有： x 。= d ，( 甜一“。) ( 1 + 后，r2 ) j ，。；，( v 一1 ，。) ( 1 + 后，2 j ，! ! 兰：! ! z ：! 兰= 二! 二；y ( 2 9 ) j ? r ，x ，七r | y 。七re z ，七t ：n l ，! 兰：! z ：! 三：! ：； ， j ? r7 x ，+ ri y r ，z t ：l 假定无论径向畸变如何，向量o l p - 和p p 。方向相同。万_ 歹j 声芦：= o 即： x 。：y ，= x 。：l ，。= x 。：】，。 ( 2 - l o ) 第二章摄像机标定 将( 2 5 ) 式中上下两分式相除。并将( 2 3 ) 式代入： ( 矗l ) 雾+ ( 夕，l ) 雾+ ( z ，y 。) 孝+ ( n ) 一( 兄x 一) 雾一( y ，r 一) 雾一( 厶x 一) 孝2 。 ( 2 - 1 i ) 在( 2 4 ) ( 2 7 ) 二式中，如，u ，v ，是观察值。待定的外部参数是：旋转矩 阵r 和平移矢量t ，内部参数包括：摄像机镜头焦距，径向畸变系数k i ，摄像 机光敏单元中心矩d x ，d y ，以及成像平面的中心坐标( 1 1 0 ，v 0 ) 。 2 3标定实验的设计 2 ，3 1标定原理 摄像机参数标定的方法有很多，已有的方法大体上可以分为三种类型：线性标 定，非线性标定和两步标定。文献【7 】中详细给出了各种标定方法的优缺点。这里 我们采用t s 法( t s a i l 9 8 7 年提出的摄像机参数标定方法) ，该方法基于切向畸变 相对径向畸变可以忽略的假设之上，即只考虑径向畸变，利用径向准约束条件( 式 2 6 ) 。对于靶标上的一系列特征点都可以确定它们的坐标对( k ，y ，儿) 和( u l ， n ，i = 1 ，2 ，。第一步利用最小二乘法原理并结合结合正交矩阵的特点从 ( 2 4 x2 7 ) 可以确定参数r 和k ，第二步再将r 和t 代入( 2 5 ) 中利用迭代方法 就可以求出剩余的参数k l 和 标定时首先采用共面点( 所有的特征点都在一个平面上) 计算旋转矩阵r ， 即z w = o ，( 2 7 ) 式中只有5 个参数。计算得到简化。然后利用非共面点计算其他 参数。文献【8 1 指出了利用共面点计算内参数可能导致标定失败。 2 3 2实验装置 实验是在深圳固高公司提供的机械臂上完成的。采用的摄像机是美国 h o n c y w c l l 公司生产的一款高性能型号为g c - 6 5 5 p 的c c d 摄像机，其像素大小为 7 6 8 x 5 7 6 。图像采集卡是北京微视公司生产的，奶c 视频采集卡。实验时采集 8 b i t b m p 图像。实验装置如图2 3 所示。 第二章摄像机标定 图2 3 实验装置 摄像机安装在机械臂上，镜头垂直靶标平面，摄像机分别和p c 机，采集卡连接。 2 3 3靶标的定标 靶标的形式有多种，有的采用圆形，有的采用方块，本文采用网格为靶标。 靶标是使用一张a 3 的自纸在其上笔划出5 5 的网格线，线条宽度约o 8 m m ，网格 行线和列线严格垂直，且间距都足5 0 蛐。将靶标平展并固定在一张吕板上，然 后将吕板其放在地面上，使其和机械臂底座在同一水平面内。取最中间的行线 条为x 轴，最中间的列线条为y 轴，交点为原点，建立物空间直角坐标系。图2 4 是截取的靶标的原始图像，图中每一个网格交点即为一个标定特征点，实验时 移动铝板使所有的特征点尽可能均匀分布在图像上，我们能够确定每一个特征 点的坐标，如点a ( 5 0 ，- 5 0 ) 。 隧2 4 网格靶标 第二章摄像机标定 2 4标定实验的步骤 2 4 1标定成像平面中心在显示器坐标系中的坐标 该实验使用的摄像机像素是7 6 8 5 7 6 ，可近似取： 1 1 0 _ ( 7 6 8 - 1 ) 2 = 3 8 3 5 v o = 5 7 6 - 1 ) 2 = 2 8 7 5 2 4 2标定摄像机感光面单元中心矩 可近似取显示器在水平和垂直两个方向上的单位像素的宽度值，使用 v v i i l 3 2 s d k 函数：g 硎d e v i c e c a p s ( h d c ，h o r z s i z e 觚r t s i z e ) 得到显示器显示 区域以毫米为单位的宽度和高度，g e t l ) e v i c e c a p s ( i i d c ，a s p e c l x a s p e c t 聊得到显示器水平和垂直两个方向上的像素数。从而可以分别获得显示 器上单位像素的宽度来近似d x 和由值。 2 4 - 3标定外部参数 标定外部参数时采用共面点，令z w 踟，式( 2 7 ) 将变为。 b ，】，。) 争+ ( y ，y 。) 争+ 仃。) 争一b ，x 。) 一( ) ，x 。) = x 。( 2 也) rrirr 上式是线性非齐次方程，取至少六组标定点数据利用最小二乘法计算该线性 方程，设由系数组成的矩阵位a ，在m 甜a b 环境下编程求解a 1 慨 x = p i 胛( a ，y 即可解出r i r 2 l y ，与，r 4 一，r t y 值首先利用r 的正交性求参数t y 值。 令t l = f l 悔，1 2 = 彳2 吩，t 3 两，t y 呵4 ，舻砧，则t y = 士( ( a ( a 2 - 4 b ) 1 尼) 2 b ) ”，其中扩t 1 2 + t 2 2 + “2 + t 5 2 ，b ；( t l t 5 t 2 t 4 ) 2 。判断k 取正负值的方法：先假设b 取正傻，可以计 算出上面五个参数的值，利用标定点分别计算对应点的x 。和弛以及y c 和y d ， 如果它们的符号分别相同，则t v 为正，否则取t v 负值，此时上面计算的其它参 数都取相反数。然后根据r 正交性计算其它参数：设s i 印= 一s g 吣l r 4 + r 2 时， 第二章摄像机标定 则有 圹s 劬，：乒i t 再m 乒万； 胪，。乒万z s 卿，乒了i 则r 值为： 或者 ，9 。，1 ，一，2 ，4 臻铡 ，4r 5j 氇霹l 一，4 一，l ，7r 0 r 9 l ，ir 2 ，4 ，7 厂s ，0 一f i i 埘醪f i i 根据它们分别计算焦距f 值，取e 田时的r 即为所求的值。 2 4 4 标定内部参数fk 1 以及t z 联合( 2 3 ) ，( 2 5 ) 若。，瑞， i 0 ：厂! 丛：二! ! ! z ：! ：髂理可得到： 、+ k ，jr l x 。+ r s y 。+ tz ，啼t x 。七r2 y 。+ t 汁k r z b t x w + r2 ) ，t 3 一x 童：= x 知誉七r 。y j _ ( 尸搿。+ 厂。+ ，) 帐l 一2 4 x w + ，5 少w 钾y ) 一】，以= y 知。+ ，) 将r 分别代人上式，联合以上两式取不共面的至少四组标定点可利用最小二乘 法求线形方程组的解，取f ) o 的一组解，进一步计算k 1 以及k 至此解出了全 部的内外参数值。 第二章摄像机标定 2 5标定实验结论 2 5 1实验结果 利用本文算法得到的实验数据如下表： 表2 1 标定用实验数据 ( 2 ，- 2 )( 1 ，- 2 )( o ，2 )( 1 ，2 )( 2 ，艺) ( 1 1 2 ，4 7 )( 2 3 2 ，4 4 )( 3 5 5 ，4 2 )( 4 7 5 ，4 3 )( 5 9 1 ，4 7 ) ( 1 2 3 ，5 5 )( 2 3 9 ，5 3 )( 3 5 7 ，5 1 )( 4 7 3 ，5 2 )( 5 8 5 ，5 5 ) ( 2 ，1 )( 1 ，1 )( o ，1 )( 1 ，1 )( 2 ，1 ) ( 1 1 0 ，1 6 8 )( 2 3 2 ，1 6 5 )( 3 5 6 ，1 6 3 )( 4 7 8 ，1 6 2 )( 5 9 5 ，1 6 3 ) ( 1 2 2 ，1 7 2 )( 2 3 9 ，1 6 9 )( 3 5 8 ，1 6 7 )( 4 7 5 1 6 8 )( 5 8 9 1 6 8 ) ( - 2 ，o )( 1 ，0 ) ( o 。o ) ( 1 ，0 )( 2 ，o ) ( 1 1 1 ，2 9 1 )( 2 3 3 。2 8 9 )( 3 5 7 ，2 8 7 )( 4 8 0 ，2 8 4 )( 5 9 8 ，2 8 3 ) ( 1 2 3 ，2 9 1 )( 2 4 0 2 8 9 )( 3 5 9 ，2 8 7 )( 4 7 8 ，2 8 5 )( 5 9 l ，2 8 3 ) ( 2 ，1 )( i ，i )( o 1 )( 1 ，1 )( 2 ，1 ) ( 1 1 5 ，4 1 4 )( 2 3 6 。4 1 3 )( 3 s 9 ，4 1 1 )( 4 8 2 ，4 0 7 )( 5 9 9 ，柏3 ) ( 1 2 6 ，4 1 0 )( 2 4 3 。4 0 9 )( 3 6 i ，4 0 6 )( 4 7 9 ，4 0 3 )( ，9 2 ，3 9 9 ) ( - 2 ，2 )( 1 。2 )( o ，2 )( 1 ，2 )( 2 。2 ) ( 1 2 l 。5 3 5 )( z 4 0 ，5 3 4 )( 3 6 2 ，5 3 1 )( 4 8 2 ，5 2 6 )( 5 9 8 ，5 1 9 ) ( 1 3 0 ，5 2 7 )( 2 4 6 ，5 2 5 )( 3 6 4 ，5 2 3 )( 鸫o ，5 1 8 ) ( 5 9 l ，5 1 2 ) i o 9 9 | 8 6 l o 0 吆4 7 旬0 5 2 5 l li 1 9 9 3 7 7i 尺= io 0 0 1 0 40 隽们5 0 0 5 6 9 0l ，r = i 1 1 7 1 2 4i io 0 5 2 5 6 以0 6 6 8 6 0 9 9 6 3 7f l2 0 9 3 7 娩f 2 5 2结果分析 将上述实验结果代人，对每一个测试点分别验证成像公式( 1 ) ，结果如下表： 第二章摄像机标定 表2 2 误差统计表 x l ky i ，y c儿 1 o 9 4 3 1 4 3 2 0 3 0 0 8 2 l08 6 9 9 7 岱1 0 4 t 5 3 6 1 90 8 4 9 0 4 6 0 8 3 8 6 3 1 9 3o 0 = 掩8 2 7 7 0 l1 4 5 4 0 9 2 0 8 1 0 7 2 9 4 7 4 i s 9 5 6 3o8 4 1 8 2 8 4 0 1 9 4 9 4 3 7o8 2 7 3 9 4 8 3 8 3 6 5 7 7 10 0 3 1 0 9 8 9 2 7 7 5 9 8 7 4 3 o 8 4 5 2 1 2 6 7 7 8 0 6 2 7 9o8 2 6 3 6 4 5 8 3 6 8 4 9 5 30 7 8 7 2 “3 2 0 3 4 2 9 2 4o 0 5 7 9 6 8 3 5 7 4 6 3 3 5 4 9 4 o8 2 8 8 7 4 6 7 5 4 6 8 4 60 ，8 2 9 2 1 5 2 2 0 5 1 5 0 6 8o7 6 8 5 9 5 7 1 7 0 6 4 6 8 70 0 6 0 6 1 9 5 0 3 4 5 0 3 8 l 5 n 8 2 7 4 3 0 8 0 5 8 6 0 1 2d 8 6 3 7 0 5 0 9 8 4 9 4 1 5a 8 5 5 2 2 2 9 6 6 1 3 7 5 5 4o0 3 6 2 7 4 2 9 2 6 3 4 0 3 6 0 8 0 3 4 6 4 2 4 8 0 9 6 6 1 3o8 4 4 5 6 5 3 3 3 7 8 17 5 3o 8 3 3 2 5 9 6 2 0 d 4 2 9 9 _ 400 4 0 1 0 8 5 6 8 5 1 4 7 o8 2 0 1 8 0 8 8 8 9 4 4 3 5 1o8 2 0 9 5 3 1 1 9 9 6 1 7 3 2o 7 9 2 5 5 l8 9 3 0 2 0 8 l100 2 8 4 0 1 2 2 6 9 4 0 9 2 1 1 8o8 1 3 7 5 9 5 3 4 9 8 3 9 7 5o 8 2 2 6 8 7 0 7 4 0 4 4 7 5 60 7 7 3 6 5 4 0 0 3 7 9 2 4 9 40 0 4 9 0 3 3 c r 7 0 2 5 2 2 6 2 9 o 8 2 7 1 2 c r 7 8 5 8 0 3 0 1 3o 8 1 7 9 1 9 9