（精密仪器及机械专业论文）视觉传感器结构优化设计与标定技术.pdf

视觉传感器结构优化设计与标定技术 摘要 视觉检测技术是机器视觉理论在检测领域的应用，近年来已成为仪器科学 技术中一个发展十分迅速的领域和重要的研究方向。由于具有大量程、非接触、 测量速度快、系统柔性好、精度适中等特点，视觉检测技术在现代工业生产等 领域中的应用越来越广泛。如何提高视觉检测技术的测量精度、速度及可靠性 是其主要研究内容。视觉传感器是视觉检测系统获取信息的最直接来源，其结 构、精度等对整个检测系统的性能有着直接影响，研究其参数标定是提高测量 精度和系统稳定性的有效途径。因此，视觉传感器结构优化设计与标定技术是 视觉检溺技术中极其重要的研究内容。本论文主要研究内容可概括归纳为以下 几个方面： ( 1 ) 系统论述了视觉传感器中的摄像机理想及畸变透视变换数学模型， 对影响视觉传感器成像质量的镜头畸变作了深入分析，给出了常用的几种视觉 传感器的数学模型。 ( 2 ) 对视觉检测传感器的结构设计进行了系统分析，探讨了视觉传感器 测量精度与结构参数的关系特性，给出了视觉传感器结构参数优化原则，归纳 了视觉传感器结构优化设计的基本步骤。 ( 3 ) 论述了视觉传感器参数与测量系统全局的标定技术。系统总结了视 觉传感器及视觉测量系统的常用标定方法与步骤，着重论述了比较成熟的三种 摄像机参数标定方法，即非线性优化法、赢接线性交换法和径向准直约束标定 法( t s a i 氏两步法) 。对几种常用的标定靶标形式进行了比较，并指出了各自 的优缺点及适用范围。 ( 4 ) 对设计制作的视觉传感器及控制电路部分进行调试，搭建一视觉测 量实验系统，经对其参数标定后，用于物体实餐j 铡量，验证了系统设计，为迸 一步的研究奠定基础。， 关键词t视觉传感器数学模型参数优化标定技术视觉测量系统 o p t i m i z a t i o nd e s i g no fs t r u c t u r a lp a r a m e t e r so fv i s u a l s e n s o r s & c a l i b r a t i o nt e c h n o l o g y a b s t r a c t i nv i r t u eo ft h ea d v a n t a g e so fl a r g em e a s u r i n gr a n g e ，n o n - c o n t a c tm e a s u r e m e n t ， f a s tm e a s u r i n gs p e e d ，f l e x i b i l i t yf o rk i n d so fp r o d u c t sa n dm e d i u mm e a s u r i n g p r e c i s i o n ，v i s u a li n s p e c t i o nt e c h n o l o g yi sg e t t m gm o r ea n dm o r ea p p l i c a t i o n si n m o d e mi n d u s t r yp r o d u c t i o na r e a h o wt oi m p r o v et h ep r e c i s i o n ，s p e e d ，a n d r e l i a b i l i t yo f v i s i o ni n s p e c t i o ns y s t e mi si t si m p o r t a n tr e s e a r c ha s p e c t t h es t r u c t u r a l p a r a m e t e r so fv i s u a ls e n s o r sa n dc a l i b r a t i o nt e c h n o l o g yw i l la f f e c tt h ep e r f o r m a n c e o fa ni n s p e c t i o ns y s t e md i r e e t ly i nt h i st h e s i s ，r e s e a r c h e sa r em a i n l yf o c u s e do nt h e f o l l o w i n ga s p e c t s ： f i r s t l y , t h ep e r f e c tp r o j e c tt r a n s f o r mm o d eo fv i d e oc a m e r a si nv i s u a ls e n s o r si s i n t r o d u c e d t h el e n sd i s t o r t i o n sh a v i n gi n f l u e n c eo nt h eq u a l i t yo fi m a g a sg r a b b e d b ys e n s o ra r es t u d i e da n daf e wm a t hm o d e l so fu s u a l l yu s e dv i s u a ls e n s o r sa r e p r e s e n t e d s e c o n d l y , t h es t r u c t u r ed e s i g no fv i s u a ls e n s o r si sa n a l y z e di nd e t a i l s t h e m e a s u r e m e n ta c c u r a c yo fv i s u a ls e n s o r si nr e l a t i o nt ot h ev a l u e so ft h es e n s o r s t r u c t u r ep a r a m e t e r sa n dt h e i re r r o r si sp m b e d ，t h e nt h ep r i n c i p l ea n dm e t h o do f v i s u a ls e n s o r sd e s i g na r ed e r i v e d 髓谢l y , t h em e t h o da n ds t e po f v i s u a ls e n s o r sc a l i b r a t i o na n dm e 船u r i n gs y s t e m g l o b a lc a l i b r a t i o ni si n t r o d u c e d t h r e ew e l l k n o w nc a l i b r a t i o nm e t h o d so fc c d c a m e r a ，w h i c ha r en o n - l i n e a rm i n i m i z a t i o n ，d i r tl i n e a rt r a n s f o r m a t i o nm e t h o da n d r a d i a l a l i g n m e n tc o n s t r a i n tm e t h o da r es t r e s s e d 1 1 l et a r g e tf o r m sf o rc a m e r a c a l i b r a t i o na n dt h e i rc h a r a e t e r i s t i e sa r ei n t r o d u c e d l a s t l y , a d j u s t i n gt h ev i s u a ls e n s o r sa n dc o n t r o l c i m u i t ss e l f - d e s i g n e d as e to f v i s u a lm e a s u r i n ge x p e r i m e n t a ls y s t e mi se s t a b l i s h e d n ep e r f o r m a n c eo ft h e c a l i b r a t e dd e v i c ei st e s t e da n da n a l y z e db ys e r i e so fe x p e r i m e n t ；m e a n w h i l e ，s o m e f e a s i b l ei m p r o v i n gm e a s u l 七sa r ep u tf o r w a r d k e yw o r d s ：v i s u a ls e n s o r , m a t hm o d e l ，p a r a m e t e ro p t i m i z a t i o n ，c a l i b r a t i o n t e c h n o l o g y , v i s u a lm e a s u r i n gs y s t e m 合肥工业大学 本论文经答辩委员会全体委员审查，确认符合合肥工业大 学硕士学位论文质量要求。 答辩委员会签名： 主席：马寸水名在# 墨狠铲发 甄矽乞锄炒赡嘲 佬瞅，钿钐以荔私旋 翩：珊他夕嘻伸蝣 萄降埂 插图清单 图卜i 视觉检测系统的组成 图2 一i 针孔模型成像原理示意图 图2 - 2 理想透镜成像原理图 图2 - 3 摄像机理想透视变换模型 图2 - 4 径向畸变 图2 - 5 切向畸变 图2 - 6 畸变结果 图2 7 点结构光传感器 图2 - 8 线结构光传感器一 图2 - 9 多线结构光传感器 图2 一l o 双日视觉传感器测量模型 图3 一l 线结构光传感器工作原理 图3 一z 线结构光传感器基本结构 图3 - 3 典型双目视觉传感器结构 图3 4 改进双目视觉传感器结构 图3 - 5 运动式单摄像机双目视觉传感器结构 图3 - 6 本课题研究中的双目视觉传感器结构 图3 7 线结构光传感器数学模型一 图3 - 8 双目视觉传感器数学模型 图3 - 9 传感器结构布局示意图 图3 一l o 测量误差与参数厶芦关系 图3 - 1 i 测量误差与参数口关系 图3 - 1 2 测量误差与参数关系 图3 1 3 误差传递函数 图3 1 4 总体测量误差在视场内的分布 围3 1 5 摄像机光轴和基线夹角的误差分布函数 图4 - l 常用靶标形状及特征控制点 图4 - 2 阈值对直线交点的影响 图4 - 3 阈值对方块顶点的影响 图4 - 4 靶标孔中心透视投影前后的变化 图4 - 5 径向准直约束图解 图4 - 6 经纬仪实现检测系统全局标定 圈5 - i 单目视觉传感器结构 ，3 ，1 ( ) ，1 ( ，1 i 1 3 ，1 3 ，1 3 ，1 6 ，1 7 ，。1 8 ，、，2 0 ，! ；! ，。，2 3 ，2 4 ，。，。：1 4 + ，2 4 ，。，2 5 ，、，；：6 2 8 ，3 3 ，。，。3 3 3 4 ，3 4 3 5 、，：；6 3 7 ，4 1 ，4 2 ，4 ：! ，。4 ：! ，4 7 5 2 ，f ；4 图5 2 般目视觉传感器结构 图5 3 视觉检测系统控制框图 图5 4 多视觉传感器检测系统 图5 - 5 共面平面标定靶标 图5 - 6 测量系统标定示意图 图5 7 靶标处于z 1 位置 圈5 - 8 靶标处于z 5 位置 图5 - 9 测量实例一 图5 一1 0 测量实例二一 图5 一1 1 凛量实例三 图5 - 1 2 测量实例四 跖弱w盯鹃鹋的的册册 表3 - 1 部分仿真计算结果 表3 - 2c c d 像面规格( m m ) 表4 - 1 不同标定靶标的特性比较 表格清单 3 3 3 4 4 3 附表清单 附表1 共面平面标定靶标特征点空间坐标 附表2 靶标处位置z 1 平面时特征点像面坐标 附表3 靶标处位置z 2 平面时特征点像面坐标 附表4 靶标处位置z 3 平面时特征点像面坐标 附表5 靶标处位置z 4 平面时特征点像面坐标 附表6 靶标处位置z 5 平面时特征点像面坐标 附表7 靶标处位置z 6 平面时特征点像面坐标 附表8 测量实例中光条上取点的像面坐标眈斛阱晡踮 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得 金巴王些太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解盒篷玉些太堂有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被 查阅和借阅。本人授权垒墼王些太堂可以将学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位 论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 导师签名 签字日期：年月日 签字日期：年月i ：t 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编： 致谢 本文的研究自始至终受到了导师胡鹏浩副教授和卢荣胜教授的精心指导与 亲切关怀，他们最大限度地提供了良好的学习和科研条件，使我的专业技术水 平和科研能力得到了明显的大的提升。两位导师的严谨治学、精深学术和人格 魅力，堪称良师典范，都将使我终生受益。在此本人对两位导师表示由衷敬意 和终生感谢! 两年多来，费业泰教授对我的学习和科研给予了许多有效的指导和支持， 并在生活及其它方面上给予了关心和帮助，在此特别表示衷心感谢l 感谢仪器仪表学院陈晓怀教授、金施群副教授、刘志健老师、吴晔老师、 苗恩铭老师、刘晨老师、程真英老师等在科研和生活上给予的关心和帮助。 感谢实验室的王会生老师、丁苏红老师、王宏涛高工等其他老师在课题实 验研究上给予的便利与支持。 感谢仪器仪表学院高大军老师在学习和生活上给予的帮助。 感谢已毕业的张勇斌博士以及宫能刚、姜晨等同学，在科研和生活上给予 的启发和帮助。 感谢仪器仪表学院给我提供了这难得的学习机会和非常好的科研条件，感 谢在我在学习和生活上给予过帮助的所有热心人。 最后，特别感谢我的妻子和爱女对我在外求学的理解和支持，感谢我的岳 父母对我生活上的大力帮助，感谢我父母关心和爱护! 我将努力用更好的成绩 来回报他们。 吴彰炭 2 0 0 5 年4 月于台肥工业大学 第一章绪论 1 1 引言 视觉是人类从大自然中获取信息的最主要的手段，据统计，在人类获取的 信息中，视觉信息约占6 0 ，听觉约占2 0 ，其它的味觉信息、触觉信息等加 起来约占2 0 ，“百闻不如一见”正是对视觉在人类实践活动中的重要性及其 感知环境信息高效率的高度概括。让生产实践活动中的机器具有视觉，来代替 人类完成部分劳动，是人类多年来的梦想和追求。随着信号处理理论的日臻完 善和计算机技术的发展，人们开始了让计算机或机器人具有视觉能力的研究， 试图利用摄像机来获取图像并将其转换成数字信号，通过计算机对数字化图像 信息进行处理，得到所需要的有用信息，进行判断并作出相应控制处理，从而 形成了一门新兴学科一一机器视觉 t 5 1 。 机器视觉的研究目标是使机器具有通过二维图像信息认知三维环境信息的 能力，这种能力将不仅使机器能感知三维环境中物体的几何信息，包括它的形 状、位置、姿态、运动等，而且还能对它们进行描述、存储、识别与理解。自 上世纪八十年代以来，计算机工业水平的飞速提高以及人工智能、并行处理和 神经元网络等学科的发展，更加促进了机器视觉系统的实用化和涉足许多复杂 视觉过程的研究，机器视觉技术的发展已经从实验室研究走向了生产实际，目 前机器视觉系统在产品质量检测、机器人视觉引导和三维形貌重构等领域中已 得到广泛地应用【6 叫0 1 。 视觉检测技术是机器视觉技术的一个应用概念，顾名思义就是用机器视觉 系统来实现实际生产中“检”与“测”，因其精度适中，能够实现非接触测量， 特别适合于产品在线质量监控领域，从而受到各国科研的广泛重视。视觉检测 技术强调的是测量精度、速度以及工业现场环境下的可靠性。如何提高视觉测 量系统的实时性与测量精度，并能可靠地用于产品t 0 0 在线实时监控将是视觉 检测技术的主要研究内容。在利用视觉检测技术开发的测量设备中，关键问题 之一是视觉传感器的研制与开发。由于视觉传感器是机器视觉检测系统获取检 测信息的最直接来源，其结构优化对检测系统的性能、测量精度有着直接影响， 其参数标定方法是提高测量精度和系统稳定性的有效途径。 因此，视觉传感器结构优化设计与标定技术是机器视觉检测技术研究中极 其重要的研究内容，也是本论文研究的核心内容。 1 2 视觉检测技术基础1 3 1 1 2 1 机器视觉的理论基础 首先简单解释一下计算机视觉( c o m p u t e rv is i o n ) 和机器视觉( 碡a c h in e v is i o n ) 两个术语。计算机视觉是采用图像处理、模式识别、人工智能技术相 结合的手段，着重于一幅或多幅图像的计算机分析。图像可以由单个或者多个 视觉传感器获取，也可以是单个传感器在不同对刻获取的图像序列，分孝厅是对 目标物体的识别，确定目标物体的位置和姿态，对三维景物进行符号描述和解 释。机器视觉则偏重于计算机视觉技术工程化，能够自动获取和分析特定的图 像，以控制相应行为。具体地说，计算机视觉为机器视觉提供图像和景物分析 的理论和算法基础，机器视觉为计算机视觉的实现提供传感器模型、系统构造 和实现手段。机器视觉系统就是能自动获取一幅或多幅目标物体图像，对所获 取图像的各特征量进行处理、分析和测量，并对测量结果做出定性分析和定量 解释，从而得到有关目标物体的某种认识并做出相应决策的系统。 二十世纪7 0 年代，m a r t 提出了视觉计算理论和三维视觉，关于视觉的系列 论点成了计算机视觉的重要理论依据，论著中将视觉分为自上而下的三个阶段， 即视觉信息从最初的原始数据( 二维图像数据) 到最终对三维环境的表达经历 了三个阶段的处理。第一阶段由二维图像中的边缘点、线、纹理等基本凡何元 素或特征构成要素图或基元图；第二阶段就是重建三维物体在以观察者为中心 的坐标系的三维形状与位置，即2 5 维描述。2 5 维图是以观察者自身的坐标 系来描述物体，且只能观察到物体的一部分，可以说2 5 维描述的物体是不完 整的，必须进一步处理得到物体本身一固定坐标系下完整的三维描述，即为第 三阶段。依据上述理论，机器视觉可以分为低层视觉( 2 d ) 、中层视觉( 2 5 d 和3 d ) 和高层视觉( 直接目的) 三个阶段。 机器视觉是一门新兴边缘学科，它的思想来源于广泛的学科领域，涉及光 学、信号处理和电子学、心理学、数学和统计学、计算机图形学和计算机辅助 设计以及计算机科学的许多分支。因此，将其引入到工业检测中，可以克服目 前工业检测技术所存在的许多缺陷。 1 2 2 视觉检测系统的组成 视觉检测系统一般以计算机为中心，由光源系统、视觉传感器、图像采集 系统以及图像处理系统、控制系统等模块组成。如图卜l 所示。 计算机作为整个视觉测量系统的核心，它不仅要控制整个系统的各个模块 的正常运行，还承担着视觉系统的最后结果的运算和输出。由图像采集系统输 出的数字图像可以直接传送到计算机，由计算机采用软件方式完成所有的图像 处理和其它计算。如果纯软件处理不能够满足视觉测量系统的要求。则需要使 用专用硬件处理系统，比如专用集成芯片( a s i c ) 、数字信号处理器( d s p ) 或 者f p g a 等设计的全硬件处理器，它可以实时高速完成各种低层次的图像处理算 法，减轻计算机的处理负荷，提高整个机器视觉测量系统的速度。 对于三维视觉信息的获取，由于实现算法和条件不同，近年来产生了相应 的诸多方法。例如根据照明方式，即光源的不同可以分为主动视觉法和被动视 2 觉法。前者需要利用特别的光源所提供的结构信息，可以是半导体激光器或者 红外激光器等，它的功能主要是参予形成被分析的物体的图像特征；而后者获 取深度信息是在自然光照条件下完成的，可以是普通照明光源。 整个视觉系统的信息，即视觉系统要处理的原始图像，直接来源于视觉传 感器。传感器可以使用激光扫描器、线阵和面阵c c d 摄像机或t v 摄像机，也可 咀是最新出现的数字摄像机等，其中最常用的是线阵和面阵c c d 摄像机。它们 具有高分辨率和工作速度、高灵敏度、可靠性好、几何畸变小、无图像滞后和 图像漂移等优点，它们在机器视觉的发展和应用中起着至关重要的作用。 图1 1 视觉检铡系统的组成 图像采集系统是由专用视频解码器、图像缓冲器以及控制接口电路等组成。 它可以实时地将视觉传感器获取的模拟视频信号转换为数字图像信号，并将图 像直接传输给计算机进行显示或者处理，或者将数字图像传输给专用图像处理 系统进行视觉信号的实时前端处理。随着专用视频解码芯片和f p g a 的出现，现 在的大多数高速图像采集系统由少数几个芯片就可以完成。图像采集系统与计 算机的接口采用工业标准总线，如i s a 总线、v m e 总线或者p c i 总线等，使图 像采集系统到计算机的实时图像数据传输成为可能。 1 2 3 视觉检涮的发晨与应用 视觉检测是一个相当新且发展十分迅速的研究领域，是机器视觉技术在检 测领域的应用，现已成为仪器科学的重要研究领域之一。虽然目前的视觉检测 技术仍未具有人类视觉的威力和智慧，但是视觉检测系统可以快速获取大量信 息，而且易于自动处理，也易于与设计信息以及加工控制信息集成，能大大提 高生产的柔性和自动化程度。因此，在现代自动化生产过程中，人们将视觉检 测系统广泛地用于工况监视、成品检验和质量控制等领域。在一些不适合于人 工作业的危险工作环境或人工视觉难以满足要求的场合，常用视觉检测来替代 人工视觉：同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且 精度不高，用视觉检测检测方法可以大大提高生产效率和生产的自动化程度。 而且视觉检测易于实现信息集成，是实现计算机集成制造的基础技术。 般意义上讲，视觉检测就是用机器代替人眼来做测量和判断，由于具有 自动化、客观、非接触和商精度等特点，视觉检测极适用于大批量生产过程中 的测量、检查和辨识。近年来视觉检测己在许多领域得到了广泛的应用，具有 代表性有汽车、制药、电子与电气、制造、食品饮料、印刷包装及医学等领域， 如汽车零配件尺寸和自动装配完整性检查、医药胶囊壁厚和外观缺陷检查、电 子装配线的元件自动定位、轴承滚珠数量及破损情况检查、饮料瓶盖的印刷质 量检查、产品包装上的条码和字符识别、钢板表面的自动探伤、机械零件的自 动识别分类和几何尺寸测量、医学图像分析等，此外，在许多常觌方法难以检 测的场合，如微小尺寸的精确快速测量、形状匹配、颜色辨识等，用人眼根本 无法连续稳定地进行，其它物理量传感器也难以解决，而利用视觉检测系统却 可以有效地实现。视觉检测的应用正越来越多地代替人去完成许多工作，这无 疑在很大程度上提高了生产自动化水平和检测系统的智能水平。 国际上视觉检测系统的应用方兴未艾，市场规模庞大，美国c o g n e x 、日 本松下、德国s i e m e n s 等公司都在视觉检测领域有着不同程度地研究和开发。 英国r o v e r 汽车公司8 0 0 系列汽车车身轮廓尺寸精度的1 0 0 在线检测，是机器 视觉系统用于工业检测中的一个较为典型的例子，其测量精度达到0 1 m m 。松 下电工的新视觉产品a 2 1 0 通过试验监测，其触发、采集图像、计算的时间之和 在4 0 m s 之内，完全能够满足在线检测要求。台湾智泰公司的视觉检测产品已在 逆向工程和三维在线检测审得蓟广泛应用，视觉传感器的铡量精度达到了 0 0 l m m 。国外还有很多公司，如瑞士n e w p o r t 公司、英国3 ds c a n n e r s 、美 国m i c h i g a no g 公司，德国g o m 公司等，已利用视觉检测技术开发出自由曲面 三轴、四轴扫描测量机、流动式三坐标测量机等测量设备。在国内，工业视觉 系统尚处于概念导入期，些高校和科研单位在机器视觉检测方面作了不少研 究工作，并将科研成果成功地应用于企业生产中，取得了良好的社会经济效益。 如天津大学开发的视觉检测系统已在轿车自车身三维尺寸在线自动检测及无缝 钢管直线度在线测量中得到应用。 国外有学者估计，将来大多数工业生产现场在线实时检测有6 0 呲a 上将采用 视觉检测技术。基于视觉检测技术，重构三维场景与物体的三维模型，确定物 体在三维空间中的形状、大小、位置和方向，在产品质量检测、机器人定位- 5 导航、逆向工程、工业造型设计、模具制造、文物修复、量体裁衣、人体面形 美容与假肢制作、农作物分类等方面都具有广阔的应用前景。美国在“2 1 世纪 d 光学与光学工程”发展战略研究报告中已明确地把视觉检测技术作为一个重要 的研究发展方向与产业支柱。因此，作为人类视觉的延伸，视觉检测技术将在 现代和未来得到越来越广泛的应用。 1 3 视觉传感器概述 1 3 1 视觉传感器的基本类型 视觉传感器是机器视觉中最基本的组成要素，由于视觉检测对像存在多样 性，使得相应存在多种视觉检测方法，而不同的方法对视觉传感器的要求不同， 如检测速度、检测精度、检测范围和性价比等，从而形成了多种形式的视觉传 感器。根据照明方式和几何结构关系的不同，可以分为被动视觉( p a s s i v e v js i o n ) 传感器和主动视觉( a c t i v ev i s i o n ) 传感器两大类【”】。被动视觉传 感器采用非结构光照明方式，它的光源来自自然环境或者专用照明系统，但光 源的能量和照明方向不受控制，然后根据被测空间在不同像面上的相互匹配关 系，来获得空间点的三维坐标；相反，主动视觉传感器采用了结构光照明技术， 通过结构光在被测物体上的精确定位来获取被测信息。其照明所用的光源多为 激光，因为激光具有方向性好、亮度高、能量集中等优点，它发射的能量和方 向可以方便且严格的控制。下面分别对两类传感器进行介绍： ( 1 ) 被动视觉传感器【| 3 , 1 5 1 被动视觉传感器典型的最基本原理是基于立体视差法。该方法从人的双眼 成像机理出发，通过两台( 或更多台) 相对位置固定的摄像机，完全利用现有 的非结构光照明条件获取同一场景的疆幅( 或多幅) 图像，计算空间点在两幅 图像中的视差( d i s p a r i t y ) ，再由此推导出物体表面的深度信息。在基于立体 视差的视觉传感器中，最困难的部分是视差本身的计算，它要求特征匹配，即 找出左右两幅图像中的对应点，丽这在被测物体上各点反射率没有明显差异， 也没有先验知识和明显标志的条件下是十分困难的。因此，该类传感器主要适 用的场合要求有一定的已知的约束条件，如平行直线、已知距离的线段、建筑 物的直角等，有了一些受限物体后，该类传感器对图像中的简单特征可以进行 精确匹配，速度也较快。 ( 2 ) 主动视觉传感器 主动视觉传感器采用结构光照明方式。通过向待重建三维场景投射特定结 构光，而三维场景表面对结构光场的空间或时间进行调制，那么观察到的光场 中就携带了三维表面的信息，对该光场进行解调，可以得到三维表面数据。由 于这种方法具有较高的测量精度，因此大多数以三维测量为目的的三维传感系 统都采用主动视觉传感方式。基于不同的测量原理，又可以进一步细分为如下 几类形式的主动视觉传感器。 5 1 ) 基于三角原理的主动视觉传感器1 1 6 j 该形式的传感器是利用特殊的光源所提供的几何结构信息帮助提取物体表 面的三维坐标信息。它所需设备仅为光投射器和摄像机，十分简便经济。主动 视觉传感器不仅具有快速、精确、高分辨力、抗干扰性好等优点，而且结构简 单、易于实现。根据不同的结构光方式，可以分为：点结构光、线结构光、多 线结构光、编码结构光传感器。 ( 1 ) 点结构光传感器：多以半导体激光器作为光源，其产生的光束照射到 被测表面，经表面散射( 或反射) 后，用面阵c c d 摄像机接收，光点在c c d 敏 感面上的位置将反映出表面在法线方向上的变化。 ( 2 ) 线结构光传感器：半导体激光器产生的激光经柱面镜交成线结构光， 投射到被测区域形成一激光带，用面阵c c d 摄像机接收散射光，从而获得表面 被照明区域的截面形状或轮廓。由于线结构光传感器一次获得的信息较少( 只 能获得一个光平面内的位置信息) ，人们开发了多线结构光传感器。 ( 3 ) 多线结构光传感器：半导体发射的激光经扩柬后照射到光栅上，便产 生了多条结构光，投射到被测表面上形成多亮带，同样用面阵c c d 摄像机接收， 可获得表面的三维信息。但是该类传感器又遇到了特征点匹配的问题，于是， 人们又提出了编码结构光传感器。 ( 4 ) 编码结构光传感器：该类型结构光传感器主要是为了在简化匹配问题 的基础上得到更多的三维信息，那么就需要设计可区分的不同结构光条( 或光 点) ，并使其遍布整个图案，各光条( 或光点) 之间的关系可通过对激光的某一 特征进行编码来确定，如黑白编码、彩色编码、宽度编码等。该传感器可一次 得到所有光源照射点的三维坐标，此时的匹配问题表现为寻找主动光源所发射 的结构光与结构光图案之间的对应关系。 2 ) 基于相位测量原理的主动视觉传感器e ”i 利用相位干涉仪进行三维测量的方法由b a h l 和l i b u r d y 提出，并获得满意 的结果。物体表面深度信息由投射到物体表面的干涉条纹的相位变化和物体深 度之间的关系获得。m o i r e 条纹技术也属于这种方式。这种形式传感器的优点 是：可以获得很高的测量精度。但是这种方式需要一个高质量的光栅投射器和 稳定的光学平台以防止振动对测最的影响，这使得测量系统的成本相当高。另 外测量过程中的精确定位和相位差的高强度计算( 包括快速傅立叶变换和傅立 叶逆变换) ，使得测量速度不可能很快。因此不适合在线测量。 1 3 2 视觉传感器的选用 在工业生产中，检测对象具有多样性，而对于具体检测对象，不论其大小或 几何形状复杂程度如何，都可归出共同的几何要素一点、线( 直线或菌线) 、面 ( 平面或曲面) 按一定要求构成。由于一般机器视觉检测系统是用三维参数表 6 示被测物的几何特性，即通过完成特征点的三维坐标测量来确定棱边、孔心、 棱角的位置以及褶互位置关系。因此，工业中三维检测对象一般包括圆孔中心、 椭圆孔中心的三坐标检测，棱线交点和棱角位置的检测以及棱线上关键点的检 测。 对于大型复杂零件的视觉检测，多采用多视觉传感器坐标测量系统。由于受 视觉传感器测量范围限制，各传感器只完成被测对象局部特征区域的坐标数据 测量，不同几何特征的测量会对应不同类型的传感器要获得到描述被测对象的 几何特性，还必须把各个传感器的测量数据进行处理，统一到一个测量坐标系 下。 视觉传感器要获取物体表面的三维信息，实现工业检测，必须在一般的u - 维灰度图像中用距离或深度方法求得第三坐标。由于检测对象的多样性，已有 多种不同的测距方法用于视觉传感器中，以获取物体的三维图像( 也称距离图 或深度图) ，并探测距离信息。不同的测距方法决定了传感器的测量范围、测量 精度、测量速度及其成本。因此在实际应用中，要根据三维被测对象的特性 及测量要求来选定视觉传感器类型、设计传感器结构。 1 4 课题的主要目的和内容 本论文工作是在合肥工业大学校基金项目“机器视觉在线检测技术研究” 资助下进行的，同时也是国家自然基金项目“基于单幅二维图像不标定自适应 三维场景重构技术与应用”研究内容的组成部分。论文对机器视觉检测技术 的基础理论作了进一步探讨，通过建立数学模型，研究了各种视觉传感器特性， 对其结构参数进行优化设计；研究了视觉传感器标定技术及由多视觉传感器测 量系统统一标定方法：通过实验研究了视觉测量装置精度和性能的稳定可靠性， 为迸一步的科研工作奠定基础。论文的结构及主要内容如下： 第一章为绪论。对视觉检测技术中的基本内容作了介绍，分析了视觉检测 系统的组成及其在工业生产中的应用状况，并对视觉传感器的分类选用及标定 技术作了概述。 第二章为视觉传感器的数学模型理论论述。从针孔透视理想成像入手，论 述了摄像机的理想及畸变成像模型，并在分析了摄像机成像模型的基础上，着 重建立了工业检测中最常用的几种视觉传感器数学模型。 第三章为视觉传感器的结构参数设计及优化。对第二章中提到的几种常用 视觉检测传感器的结构设计进行了分析，通过研究视觉传感器测量精度与结构 参数的关系特性，给出了视觉传感器结构参数优化原则，从而实现视觉传感器 结构的优化设计。 第四章为视觉传感器参数与测量系统全局的标定技术论述。介绍了视觉传 7 感器及视觉测量系统的常用标定方法与步骤，重点论述了比较成熟的三种摄像 机参数标定方法，即非线性优化法、直接线性变换法和径向准直约束标定法 ( t s a i 氏两步法) 。对几种常用的标定靶标形式进行了分析比较，指出了各自 的优缺点及适用范围。 第五章为视觉测量系统实验。对设计制作的不同类型视觉传感器进行了精 度调试，与控制电路部分连接构建成一视觉测量系统。经对其参数标定后，用 于物体实例测量，验证了系统设计，为进一步的研究奠定基础。 第六章为全文总结。 昱 第二章视觉传感器的数学模型 视觉传感器的数学模型是视觉检测技术的核心内容，所建模型越接近测量 实际且模型能较准确地标定出来，则可获得较高的测量精度。视觉传感器中， c c d 摄像机是重要的组成部分，是视觉系统获取三维信息最直接的来源，传感 器的建模就是建立摄像机像面坐标系与测量参考坐标系之间的关系。根据模型 的参数选择，建模方法主要有以下两种p j ： 1 ) 完全利用投影变换理论，通过无任何物理意义的中间参数，将图像坐标 系与测量参考坐标系联系起来。对该类数学模型的局部标定就是计算中间参数 的过程，且对这些参数无任何约束。只要它们结合在一起能完成正确的三维测 量即可。 2 ) 通过具有明确物理意义的几何结构参数，如光学中心、焦距、位置以及 方向等，建立图像坐标系与测量参考坐标系的关系。这类方法的模型参数一般 分为摄像机内部参数和传感器结构参数两部分。摄像机内部参数指摄像机内部 的几何和光学特性，传感器结构参数指图像坐标系相对于测量参考坐标系的位 置参数。这种模型直观，可根据使用场合及要求达到的精度不同建立不同复杂 程度的数学模型。因此，在视觉检测技术中被广泛使用。 机器视觉检测系统通常是多视觉传感器系统，视觉传感器是其重要的组成 部分，是系统获取检测信息的直接来源。视觉传感器获取信息主要是利用摄像 枫配合不同的几何结构光光源来实现，视觉传感器的数学模型的准确性对系统 的功能、精度和效率有着较大的影响。本章将基于第二种建模方法，从摄像机 的成像模型出发，建立视觉传感器的数学模型。 2 1 摄像机理想成像模型 在机器视觉检测系统中，摄像机是视觉传感器的主要功能元件，被测对象 的位置、形状等几何尺寸是从摄像机获取的图像信息中计算出来的。图像上每 一点的亮度反映了空间物体表面某点散射光的强度信息，面该点在图像上的位 置与空间物体表面相应点的几何位置有关。这些位置的相互关系，由摄像机成 像模型决定。摄像机的几何模型，即3 d 景物到2 d 图像的变换模型般定义为： x = g ( x ) f ) 。定义x o z 平 面内摄像机透视中心对c c d 像面的张角为2 ， 值 图3 7 线结构光传感器数学模型 通过坐标变换，可以由图像坐标值计算得到x = o 截面内p ( x ，y ，z ) 点的坐标 x = 0 y ：一氅y ( 3 一1 )。 f t a n 口+ x ： 墨堡壁 盖 s i n f l ( f t a n f l + z 、 从上式可知： ( 1 ) z 仅与x 有关； ( 2 ) y 与x 有关，且与y 成线性关系，y 空间放大倍数随不同像点而变化； ( 3 ) 物点坐标与像点坐标之间计算是非线性的。 3 2 1 z 坐标测量误蓑分析【2 7 】 3 2 1 2 1 测量误差理论分析 通过对上面的测量数学模型分析可以发现，结构参数l ，p ，f 和像点位餐及 其提取精度都会引起物点坐标的测量误差。因此，可以把坐标计算公式归结为 以下两个函数关系式： j y2 弓( 工，卢，z ，即( 3 - 2 ) 【z = f ( 厶卢，f ，x 。y ) 根据误差分析理论可以得到坐标y 和z 的测量误差为： 冬：厨2 可荪2 焉f 2 爵2 研8 f 驿2 妒厨a f2 可而甭a f f 2 丽o f2 丽2 ( 3 3 ) 上式中，。，口，ar 分别是线结构光传感器结构参数厶卢，f 的标定误差，。，是 像点坐标x ，y 的提取误差。为了便于分析，定义测量综合误差。为y 坐标测量 误差和z 坐标测量误差的均方根。即： r ：。= 踞= ，2 十：2 ( 3 4 ) 从式( 3 - 1 ) 至( 3 4 ) 可以看出，影响被测点综合测量误差的因素可概括为两 方面： ( 1 ) 传感器结构参数厶卢，厂及其标定误差； ( 2 ) 被测点对应的像点坐标及其提取误差。 3 2 1 2 2 测量误差与各因素的关系 首先来分析一下既定系统中各因素与测量误差之间的关系。设光平面上某 物点p ( x ，y ，z ) 对应像平面点s ( x ，y ) ，假设像点坐标提取误差为一定值( 不妨令 * = y = 占) 。利用坐标计算公式( 3 1 ) 求弘z 坐标分别对x ，y 的偏导，则有： 则p 点y 向测量误差为： 如= 叟： l s e c 口 o x ( f t a n f l + z ) 2 塑一墨! 竺壁 o y t a r i f f4 - x 融l f s e c 2 口 越( f t a n f l + x 弋 兰：o y ( 3 5 ) ( 3 6 ) 占：、( y c o s _ f l ：i ) 2 + ( f i 2 + x 2 ) = - s i n 2 ( f l + 一o ) 占( 3 - 7 )f ， 。 ( ，2 + 肖2 ) s i n 2 ( 卢+ 口) “。7 p 点z 向测量误差为： 虹斟o x 如揣( f t a r i p忙而) s i n 省( n - s ) + x ) 2 ( 厂2 + 22 ( 卢+ 口) v 其中0 = a r c s i n _ ：。 厂2 + x 2 p 点的总体测量误差为： ：、丽：望坐! ! ! 壁盟塑嬖型山5 ( 3 9 ) 【- ，。s i n f l + 爿c o s