视觉传感技术

1、第第7章章 视觉传感技术视觉传感技术v7.1 概述概述v7.1.1 生物视觉与机器视觉生物视觉与机器视觉v7.1.2 Marr 计算机视觉理论计算机视觉理论v7.1.3 视觉传感技术的发展视觉传感技术的发展7.1.1 生物视觉与机器视觉生物视觉与机器视觉所谓视觉视觉，直观理解就是通过对环境场景（组成成分、空间关系、质地质感等）成像，一次性得到包含大量场景信息的“图、像”，经过分层次处理，最终达到理解和表达的目的。生物视觉生物视觉功能建立在生物组织、器官的基础上。环境场景通过成像器官（眼睛）成像，视觉神经感受到亮度信号，形成神经脉动，进而传输至中枢神经系统（大脑），上述路径构成视觉通路。生物视觉

2、系统是一个结构复杂、功能强大、高度智能的信息系统。7.1.1 生物视觉与机器视觉生物视觉与机器视觉借助于信息处理理论、电子器件和计算机技术的进步，人们试图用摄像机获取环境场景图像，转化为计算机处理的数字信号，由计算机平台进行视觉信息处理，由此诞生一门新兴学科计算机视觉计算机视觉。7.1.1 生物视觉与机器视觉生物视觉与机器视觉出于工程应用的考虑，在计算机视觉中可以将视觉传感（信息获取）、视觉信息处理、理解和认知等环节分开考虑，一方面简化了类生物视觉系统复杂的相互作用体系结构，同时便于现有计算机平台的实现。将计算机视觉用于工程应用，产生了一门新的学科机器视觉机器视觉。7.1.2 Marr 计算机

3、视觉理论计算机视觉理论20世纪70年代中后期，D.Marr教授从信息处理的角度，综合了当时图像处理、心理物理学、神经生理学及临床精神病学等方面的研究成果，提出了一个较为完善的人工视觉系统架构。Marr的计算视觉理论把视觉过程看作信息处理过程，对该过程的研究分为三个不同的层次：u计算理论层次计算理论层次要回答的是计算目的与策略问题u表达与算法层次表达与算法层次则进一步回答如何实现上述计算理论的问题u 硬件实现层次硬件实现层次是回答如何物理（硬件）上实现上述表示表达和算法的问题7.1.2 Marr 计算机视觉理论计算机视觉理论Marr将视觉过程区分为三个阶段： 图像图像要素图要素图2.5维图维图-

4、三维表示三维表示第一阶段，称为早期视觉，由输入二维图像获得要素图。第二阶段，称为中期视觉，由要素图获取2.5维图。第三阶段，称为后期视觉，由输入图像、要素图和2.5维图获得环境场景的三维表示。缺陷缺陷1）物理成像过程在数学上是一个透视投影过程，深度和被视线遮挡的信息被丢弃了，使得相同场景在不同视角下得到的二维图像是完全不同的；2）二维图像是依靠图像灰度（亮度）来反映视觉信息的，在成像过程中很多无关因素都会和有用信息综合在一起生成二维图像。7.1.3 视觉传感技术的发展视觉传感技术的发展由图像信息恢复三维场景问题由图像信息恢复三维场景问题 Marr的视觉计算理论是通过三维场景映射到的二维图像来研

5、究和感知场景三维物理结构的理论，强调的是识别和理解功能，侧重于基本理论研究；而视觉传感则是从工程应用的角度出发，研究定量提取三维空间内有用信息的理论和方法。精度问题精度问题传统的计算机视觉研究，侧重于定性的三维场景识别和理解，定量的精度分析很少涉及或不涉及；视觉传感测量则是以计算机视觉为理论基础，结合精密测量、测试理论，解决工程应用领域内的测量问题，要求在满足一定的精度前提下，实现被测对象的可靠测量。7.1.3 视觉传感技术的发展视觉传感技术的发展视觉传感应用于测量是多方面的，一个主要的研究领域就是基于视觉传感的几何量测量视觉测量，尤其是3D坐标尺寸测量，在现代工业制造领域内有着广泛的应用背景

6、。视觉像机是视觉测量的基础。视觉像机技术一直在迅速发展，成本不断降低，为高性能视觉测量系统的开发和普及应用奠定了坚实的基础。7.1.3 视觉传感技术的发展视觉传感技术的发展视觉测量的分析方法发生显著变化I.采用多参数的非线性模型和误差补偿措施；II.将精密测量领域内的标定方法、设备和技术引入到计算机视觉中；III.结合近景摄影测量理论和计算机视觉。视觉测量的应用范围不断扩大早期主要用于特定的、有非接触要求的场合；现今可以满足绝大多数工业测量需求。7.2 图像传感器图像传感器v7.2.1 摄像管工作原理摄像管工作原理v7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理v7.2.3 CM

7、OS图像传感器图像传感器v7.2.4 CCD图像传感器图像传感器典型的光电摄像管包含三个基本部分，镶嵌板、集电环和电子枪。当光线照在光电管上，电子被打出，投影在镶嵌板上的图像将变成一幅正电荷的分布图。集电环收集光电管所放出的电子，移出光电发像管电子枪发射电子形成电子束。电子束逐个扫描镶嵌板上的个光电管时，便形成一系列电脉冲。 7.2.1 摄像管工作原理摄像管工作原理7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理电荷耦合器件CCD（Charge Coupled Device）传感器使用一种高感光度的半导体材料制成，能把光信号转变成电荷信号。当CCD表面受到光线照射时，每个感光单位会

8、将电荷反映在组件上；所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。uCCD的突出特点就是以电荷作为信号。uCCD的基本功能是信号电荷的产生、存储、传输和检测(即输出)。7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理当光入射到CCD的光敏面时，便产生了光电荷。CCD在某一时刻所获得的光电荷与前期所产生的光电荷进行累加，称为电荷积分。入射光越强，通过电荷积分所得到的光电荷量越大。基本功能一基本功能一 光电荷的产生光电荷的产生构成CCD的基本单元是MOS结构。如图7-1所示，UG=0时， P型半导体中的空穴(多数载流子)的分布是均匀的；UG Uth时，表面势s变得很高，形

9、成反型层，反型层电荷的存在表明了MOS结构存储电荷的功能。基本功能二基本功能二 电荷的存储电荷的存储7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理如图7-2(a)空势阱的情况。在没有反型层时，势阱的深度和UG成正比例关系。如图7-2(b)，当反型层电荷填充势阱时，表面势收缩，如图7-2(c)所示，反型层电荷浓度继续增加，势阱被填充更多，此时表面不再束缚多余的电子，电子将产生“溢出”现象。7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理通过按一定的时序在电极上施加高低电平，可以实现光电荷在相邻势阱间的转移。如图7-3来示意CCD中势阱中电荷的转移：(a) 初始状态； (

10、b) 电荷由(1)电极向 (2)电极转移； (c) 电荷在(1) (2)电极 下均匀分布；(d) 电荷继续由(1)电 极向(2)电极转移；(e) 电荷完全转移到(2) 电极；(f) 三相转移脉冲转移。基本功能三基本功能三 电荷的转移电荷的转移7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理光电荷的输出是指在光电荷转移通道的末端，将电荷信号转换为电压或电流信号输出，也称为光电荷的检测。CCD电荷的检出方式还有浮置扩散输出、浮置栅放大器输出等。其结构示意如图7-6、图7-7所示。基本功能四基本功能四 光电荷的输出光电荷的输出7.2.3 CCD图像传感器图像传感器CCD图像传感器线阵CC

11、D传感器面阵CCD传感器单沟道线阵CCD双沟道线阵CCD帧转移型面阵CCD电荷耦合器件行间转移型面阵CCD电荷耦合器件帧-行转移型面阵CCD电荷耦合器件7.2.3 CCD图像传感器图像传感器图7-8所示是三相单沟道线阵CCD的结构图。光敏元阵列与转移区-移位寄存器是分开的，移位寄存器被遮挡。这种结构的CCD转移次数多，效率低，只适用于像敏元较少的摄像器件。图7-9为双沟道线阵CCD的结构图。它具有两列移位寄存器A和B，分别位于像敏阵列的两边。当转移栅为高电平时，光积分阵列的信号电荷包同时按箭头所示方向转移到对应的移位寄存器中，然后在驱动脉冲的作用下分别向右转移，最后以视频信号输出。7.2.3

12、CCD图像传感器图像传感器帧转移型面阵CCD电荷耦合器件(FT-CCD)由成像区、存储区和读出寄存器3个基本区域组成，由三相脉冲驱动，又称三相驱动式面阵CCD电荷耦合器件。优点优点： 电极结构简单； 较高的分辨率 和灵敏度。缺点缺点： 尺寸较大； 易形成光“污 染”严重时形成 垂直拖尾现象。7.2.3 CCD图像传感器图像传感器行间转移型面阵CCD电荷耦合器件(IT-CDD)的感光行与垂直位移寄存器相间排列，由转移栅极控制电荷的转移和输出。优点：优点： 结构简单，面积小； 较高的空间频率； 垂直拖尾减轻。缺点：缺点：防止漏光，总的感 光面积减小，灵敏度 降低； 有部分入射光到达 垂直位移寄存器

13、，形 成光污染。7.2.3 CCD图像传感器图像传感器帧-行转移型面阵CCD电荷耦合器件(FIT-CCD)是在行间转移型的基础上加上场存储区而构成的，其结构如图7-17所示。优点优点：垂直转移速度极映，可有效消除光污染，使垂直拖尾消失。缺点：缺点：尺寸较大，材料利用率较低。7.2.4 CMOS图像传感器图像传感器CMOS图像传感器(CIS)由许多光敏单元组成。 根据光敏像元结构的不同，可分为光栅型和光电二极管型。 根据敏感单元内是否具有放大功能，可分为无源像素图像传感器（PPS）和有源像素图像传感器(APS)。7.2.4 CMOS图像传感器图像传感器1、无源像素结构无源像素结构无源像素传感器的

14、像元结构简单，没有信号放大作用，是由一个反向偏置的光敏二极管(MOS管或p-n结二极管)和一个行选择开关管Tx构成。优点：优点：在给定的单元尺寸下，可 设计出最高的填充系数 在给定的设计填充系数下， 单元尺寸可设计得最小 可获得较高的“量子效率” 有利于提高器件的灵敏度不足不足: 存在较大的固有图形噪声 列线不宜过长以减小其分 布参数的影响7.2.4 CMOS图像传感器图像传感器2、有、有源像素结构源像素结构（1）光敏二极管型有源像素结构光敏二极管型有源像素结构光敏二极管型有源像素结构如图7-11，每个像元包括三个晶体管和一个光敏二极管。光敏面没有多晶硅层叠，光敏二极管型APS量子效率较高；难

15、以设计在片相关双取样电路，读出噪声出复位噪声限制，典型值为75100个均方根电子。CMOS光敏二极管型APS适宜于大多数中低性能的应用。7.2.4 CMOS图像传感器图像传感器2、有、有源像素结构源像素结构（2）光栅型有源像素结构光栅型有源像素结构光栅型有源像素传感器结合了CCD和X-Y寻址的优点，其结构如图7-12所示，每个像元采用了五个晶体管。采用0.25um工艺将允许达到5um的像元间距。由于可以设置CDS电路和双取样DDS)电路，其读出噪声小，一般为1020个均方根电子，可接近高档CCD水平，目前已有读出噪声为5个均方根电子的报道。CMOS光栅型APS适用于高性能科学成像和低光照成像。

16、7.2.5 CCD与与CMOS图像传感器比较图像传感器比较与与CCD图像传感器相比，图像传感器相比，CMOS图像传感器具有明图像传感器具有明显的优势。显的优势。uCCD存储的电荷转移和读取电路较为复杂，速度较慢； CMOS信号读取十分简单，能同时处理各单元的图像信息，速度比CCD快得多。uCCD器件的成像点为X-Y纵横矩阵排列且仅能输出模拟电 信号；CMOS器件的集成度高、体积小、重量轻 ，具有高 度系统整合的条件。u从功耗和兼容性来看，CCD功耗大；而CMOS-APS具有功 耗低、兼容性好的特点。uCCD传感器成本高；CMOS传感器成品率高，制造成本低。uCMOS-APS比CCD图像质量高。

17、u高速性是CMOS电路的固有特性。CMOS图像传感器具有 更强的灵活性7.2.5 CCD与与CMOS图像传感器比较图像传感器比较7.3 3D视觉传感技术视觉传感技术v7.3.1 3D视觉传感原理视觉传感原理v7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术v7.3.3 结构光视觉传感器结构光视觉传感器v7.3.4 双目视觉传感器双目视觉传感器v7.3.5 组合视觉测量系统组合视觉测量系统7.3.1 3D视觉传感原理视觉传感原理u3D视觉传感是指采用一个或多个图象传感器（摄像机等）作为传感元件，在特定的结构设计的支持下，综合利用其它辅助信息，实现对被测物体的尺寸及空间位姿的三

18、维非接触测量。u基于三角法的主动和被动视觉测量原理具有抗干扰能力强、效率高、精度合适、组成简洁等优点，非常适合制造现场的在线、非接触测量，是实际应用的主流。7.3.1 3D视觉传感原理视觉传感原理基于三角法的基于三角法的3D视觉测量方法视觉测量方法结构光方法结构光方法通过构造结构光，使得结构光平面和摄像机之间配置成三角测量关系，依靠被测点成像光束和结构光平面的交汇约束，求解3D信息。立体视觉方法立体视觉方法采用两个以上的摄像机在空间构成三角配置，利用被测点在多个摄像机中成像位置的不同（所谓“视差”），由多个摄像机的成像光束在空间交汇，由此得到被测点3D信息。3D视觉测量模型包括三个层次：摄像机

19、成像模型、3D传感器测量模型、3D测量系统模型，与此对应，标定问题也分为三个层次。7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术摄像机模型摄像机模型基于像机成像过程和自基于像机成像过程和自身物理参数的成像模型身物理参数的成像模型基于投影变换关系的基于投影变换关系的模型模型针孔成像模型针孔成像模型直接线性变换模直接线性变换模型型摄影测量模型摄影测量模型7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术针孔成像模型针孔成像模型PQzox y摄像机针孔模型摄像机针孔模型P为物点，Q为像点，像机针孔模型的数学表示： FMTPq 式中，q=（x，y）为像点Q在摄像

20、机像平面上的坐标；p=（xw,，yw，zw）为P在摄像机坐标系中的三维坐标；F 透视变换矩阵；M 旋转矩阵；T 平移矩阵；（7-1）式中， 表示刻度因子；F、M、T三个矩阵，它们与针孔模型中具有相同的含义；V、B两个矩阵是补偿矩阵。7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术直接线性变换模型直接线性变换模型pAq（7-2）DLT模型由下式表述：式中，p，q与（7-1）中相同；A为矩阵，可分解为FMTBVA11（7-3）07.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术摄影测量模型摄影测量模型假设 (xu, yu) 为空间物点P 在像平面上理想像点坐标

21、实际像点位置为 (xd, yd)，则yCyyxCxxyduxdu（7-4）其中，Cx、 Cy为像面中心，x、y为成像综合畸变（修正因子），可采用下列模型：2221362412212122362412)2(22)2(PryyxPkrykrykryyybxbyxPPrxkrxkrxkrxx（7-5）式中：ydxdCyyCxx22yxr7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术直接标定及技术直接标定及技术直接标定模型参数可以通过建立已知空间点（控制点）三维坐标（Xw, Yw, Zw）及其对应成像点的二维像面坐标（xd，yd）之间的对应关系：对于较小视场的成像，可以通过精确的

22、共面或非共面的靶标建立控制点的三维物点和二维特征像点的对应；对于较大视场的成像，可以通过大型CMM 构造较大空间的三维控制点。（b）（c）（a）标定控制点（a）CMM虚拟控制点 （b）共面控制点 （c）非共面控制点7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术以摄影测量模型为例，由成像模型得到：直接标定技术直接标定技术0),(0),(21213212121321zyxyxddwwwyzyxyxddwwwxtttPPbbkkkfCCyxZYXftttPPbbkkkfCCyxZYXf式中：（Xw, Yw, Zw）为控制点空间坐标（已知量）， （xd，yd）为控制点对应象点的象

23、素坐标（已知量）， f、Cx、Cy、k1、k2、k3、b1、b2、P1、P2 为模型 参数（未知量）， 为像机坐标系OXYZ到世界坐 标系OwXwYwZw之间的变换关系，即像机姿态外 参数（未知量），解算上述非线性方程组，可以得到模型参数。zyxttt、7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术自标定技术自标定技术基本思路：在空间简单设置标定控制点，控制点的空间坐标未知，像机在不同的姿态（ ）条件下，获取视场中控制点的图像，处理得到控制点的象面坐标。nznynxnnnttt,nznynxnnnttt,222222,zyxtttxm,ym,zm222222,zyxttt

24、OXYZ光束定向交汇自标定原理光束定向交汇自标定原理7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术自标定技术自标定技术本质：将像机的姿态、控制点的空间坐标以及模型参数均作为未知量，以控制点的成像光束在空间交汇作为已知条件，建立高度非线性的大规模方程组，从中解算像机模型参数，原理上消除了直接标定方法中要求控制点三维坐标已知的局限性。优点：1. 对工作环境要求不高，易于实现2. 标定结果不受控制点坐标精度影响，标定精度高3. 标定过程可以和测量过程有机结合4. 适合大尺寸视觉测量7.3.3 结构光视觉传感器结构光视觉传感器摄像机OXYZ投射器l1lnOXfYfZfFOwXwY

25、wZw结构光传感器测量原理结构光传感器测量原理设摄象机坐标系为OXYZ ，光平面和被测物体相交形成光条l ，记光条上一特征点P 在OXYZ中的坐标为（X，Y，Z），光平面在OXYZ 中的方程已知，特征点P在摄象机象素坐标系中的坐标为（xm，ym），由摄象机数学模型知),(),(zyxfyzyxfxymxm（7-6）又，P点在光平面内0),(zyxfp（7-7）其中，fx，fy是摄象机的模型函数，可以通过精确的摄象机标定过程得到；fp为光平面在OXYZ坐标系中的方程，在标定传感器时精确求得。联立（7-6）（7-7）可解出被测物体上特征点P在坐标系OXYZ 中的三维坐标。测量原理测量原理7.3.3

26、 结构光视觉传感器结构光视觉传感器标定标定OXYZ光平面投射器象平面PwPl结构光传感器标定结构光传感器标定标定借助一个细丝靶标进行，细丝靶标上固定n个（相互近似平行）细直钢丝l1，ln。将细丝靶标固定在传感器的工作空间，取细丝方向和光平面的法向一致。光平面入射到靶标细丝上时产生n个散射亮点Pi（i=1,n），Pi对应像点的象素坐标由计算机处理得到。相应地，Pi的空间三维坐标（xw，yw，zw）可用另外的空间坐标测量设备测量。设Pi在OXwYwZw坐标系中的坐标为（xwi，ywi，zwi），Pi对应像点的象素坐标为（xdi，ydi）。在光平面F内，取P0点为原点，P0 P1为X方向，光平面法线

27、方向为Z方向，由X、Z方向按右手法则，在F上建立坐标系OXfYfZf。由空间坐标转换关系，容易将Pi在OXwYwZw坐标系中的三维坐标转换到坐标系OXfYfZf中，设经转换后Pi在OXfYfZf坐标系中的坐标为（xfi，yfi，zfi），因为Pi在OXfYfZf的xy平面内，所以zfi=0。7.3.3 结构光视觉传感器结构光视觉传感器假设坐标系OXfYfZf到摄像机坐标系OXYZ的旋转矩阵为R，平移矩阵为T，则 11001000000001fififitcicizyxTRffyx （7-8）且 )1)(/ )1)(iydicixixdicikqcyyskqcxx（7-9）22)()(ydixd

28、iicycxq展开（7-8），利用矩阵元素之间的对应关系，得到yfificizfifixfificizfififtyfrxfrytryrxftyfrxfrxtryrx54872187式中：r1, r9为Rt矩阵中的元素；tx ty tz为T矩阵中的元素。R为旋转矩阵，存在正交约束 011875421282522272421rrrrrrrrrrrr由（7- 9）、（7-10），采用一般的非线性方程组解法，可以解出R矩阵中的元素r1, r9，T矩阵中的元素tx ty tz。（7-10）7.3.3 结构光视觉传感器结构光视觉传感器光平面F在摄像机坐标系中的位姿可理解为：经过OXfYfZf坐标系原点，

29、平面法线矢量为OXfYfZf的Z轴方向。令F0=（tx，ty，tz）；n0=（r1，r4，r7）（r2，r5，r8），于是，光平面F在OXYZ坐标系中的点法式平面方程为000FXn（7-11）式中：X=（x，y，z）为光平面F上的点在OXYZ坐标系中的坐标。方程（7-11）表明了光平面在摄像机坐标系中的位姿，是光条结构光传感器的结构参数。7.3.4 双目视觉传感器双目视觉传感器左摄象机坐标系为O1X1Y1Z1 ，右摄象机坐标系为O2X2Y2Z2 ，空间被测点P 在左、右摄象机坐标系中的坐标分别为（x1，y1，z1），（x2，y2，z2），P点在左、右摄象机象素坐标系中的象素坐标分别为（x1m，

30、y1m），（x2m，y2m），由摄象机模型知),(),(1111111111zyxfyzyxfxymxm),(),(2222222222zyxfyzyxfxymxm（7-12）（7-13）测量原理测量原理式中， f1x，f1y 和 f2x，f2y分别为左、右摄象机的模型函数，通过标定摄象机准确得到。设左、右摄象机坐标系O1X1Y1Z1 ，O2X2Y2Z2 之间的关系可表示为TRXX12（7-14）式中 ),(1111zyxX),(2222zyxX R为3X3阶坐标系间旋转变换矩阵； T为3X1阶坐标系间平移变换矩阵；R，T在立体视觉传感器中是已知的，可通过传感器标定严格求出。由（7-12）（7

31、-13）（7-14）解出被测空间点P在左摄象机坐标系O1X1Y1Z1中的三维坐标。P象平面象平面O1X1Y1Z1O2X2Y2Z2双目立体视觉测量原理双目立体视觉测量原理7.3.4 双目视觉传感器双目视觉传感器左摄像机坐标系为OX1Y1Z1，右摄像机坐标系为OX2Y2Z2，靶标坐标系为OXYZ。设OXYZ到OX1Y1Z1的旋转矩阵为R1，平移矩阵为T1，OXYZ到OX2Y2Z2的旋转矩阵为R2，平移矩阵为T2，有111TXRX（7-15）2122TXRX（7-16）式中：X1=（x1，y1，z1）为点在OX1Y1Z1坐标系中的坐标； X2=（x2，y2，z2）为点在OX2Y2Z2坐标系中的坐标；

32、 X=（x，y，z）为点在OXYZ坐标系中的坐标；标定原理标定原理摄象机摄象机O1X1Y1Z1O2X2Y2Z2OXYZ双目特征传感器的标定双目特征传感器的标定由（7-15）（7-16）式得：TRRTXRRX121121211（7-17）即：OX2Y2Z2坐标系到OX1Y1Z1坐标系之间的旋转矩阵，平移矩阵分别为7.3.4 双目视觉传感器双目视觉传感器121RRR（7-18）21211TRRTT（7-19）（7-18）和（7-19）式是双目特征传感器的结构参数，其中R1，R2，T1，T2，矩阵分别为采用同一靶标标定传感器中两个摄像机同时得到的摄像机外部参数。标定原理标定原理以上分析知道：双目特征

33、传感器中两个摄像机的标定，以及摄像机之间关系的结构参数标定可以同时进行，标定工作量可明显减少。O2X2Y2Z2控制点Pi (i=1,n)O1X1Y1Z1光束定向交汇约束标定双摄像机位姿光束定向交汇约束标定双摄像机位姿光束定向交汇约束光束定向交汇约束在双摄像机的重合视场中任意设置控制点（点的空间坐标无需已知）P Pi i，控制点在两个摄像机中的成像光束必定在空间交汇，以此为约束可以精确求解摄像机之间的空间变换关系，。对于较小视场（测量空间）的传感器，也可以采用固定靶标产生控制点。7.3.5 组合视觉测量系统组合视觉测量系统OXYZOiXiYiZi多视觉传感器组成的视觉检测系统多视觉传感器组成的视

34、觉检测系统多个传感器安装在刚性支架上形成统一的视觉检测系统，每个传感器实现对大型被测物体一个局部区域的测量，所有传感器组合实现对物体多个不同区域的测量，从而实现对被测物体的整体测量。系统基准坐标系传感器局部坐标系精密靶标外部坐标测量装置全局标定原理全局标定原理7.3.5 组合视觉测量系统组合视觉测量系统令传感器（测头）坐标系为OsXsYsZs，外部测量坐标系为OoXoYoZo ，靶标坐标系为OTXTYTZT，系统测量坐标系为ObXbYbZb，标定时：首先，测头和外部测量装置同时测量靶标，分别建立测头坐标系OsXsYsZs和靶标坐标系OTXTYTZT，靶标坐标系OTXTYTZT和外部测量坐标系O

35、oXoYoZo之间的关系，此外，用外部测量装置测量系统测量坐标系（基准点位置），建立外部测量坐标系OoXoYoZo和系统坐标系ObXbYbZb之间的关系，经过坐标变换链：可以得到每一个测头坐标系到系统测量坐标系的变换关系，即系统标定。OsXsYsZs OTXTYTZT OoXoYoZo ObXbYbZb7.4 智能视觉传感技术智能视觉传感技术v7.4.1 智能视觉传感器及其结构组智能视觉传感器及其结构组v7.4.2 智能视觉传感器的特点及其发展趋势智能视觉传感器的特点及其发展趋势v7.4.3 几种典型的智能视觉传感器几种典型的智能视觉传感器7.4.1 智能视觉传感器及其结构组成智能视觉传感器及

36、其结构组成 智能视觉传感器智能视觉传感器(Intelligent Vision Sensor)通常也称为智能相机(Smart Camera)，是一种集图像采集、分析处理和信息传输于一体的微小型视觉检测系统，是一种嵌入式视觉传感器。智能视觉传感器智能视觉传感器结构组成结构组成作用作用器件器件图像采集单元图像采集单元将光学影像转换成数字图像，传递给图像处理单元CCD图像传感器、CMOS图像传感器图像处理单元图像处理单元完成图像信息的分析处理工作通用处理器、ASIC、DSP、Media DSP和FPGA图像处理软件图像处理软件图像的预处理、图像特征的提取、针对特定检测任务的分析处理针对具体应用的完整

37、软件、具有图形开发接口的软件包、基本的图像处理算法库智能视觉传感器智能视觉传感器结构组成结构组成作用作用器件器件信息存储单元信息存储单元负责有选择性地将有用的信息存储起来，以用来显示或传输给其它计算机或控制设备小型硬盘或存储卡信息通讯单元信息通讯单元完成智能视觉传感器和其它计算机或计算控制设备之间的图像数据传输和控制信息传递任务以太网接口、IEEE 1394、Camera Link、USB或I/O接口显示单元显示单元负责显示智能视觉传感器的相关信息7.4.2 智能视觉传感器的特点及其发展趋势智能视觉传感器的特点及其发展趋势智能视觉传感器的特点智能视觉传感器的特点基于基于PCPC的视觉系统的特点

38、的视觉系统的特点结构紧凑，尺寸小，易于安装在生产线和各种设备上，便于装卸和移动结构复杂、体积相对庞大，安装难度相对较大，便携性差高度的系统集成大大降低了系统的安装和调试难度，提高了系统的稳定性，系统使用简单方便由于其复杂的结构，安装和调试相对困难得多，需要一定的视觉经验系统配置了功能齐全、性能强大的图像分析处理软件，无需编程，极大的提高了应用系统的开发速度软件一般完全或部分由用户自己开发，难度相对较大，大大减慢了视觉系统的应用开发速度7.4.2 智能视觉传感器的特点及其发展趋势智能视觉传感器的特点及其发展趋势进一步优化系统的体系结构，提高硬件系统的效进一步优化系统的体系结构，提高硬件系统的效率

39、和可靠性率和可靠性开发性能更好、可靠性更高的嵌入式图像处理软开发性能更好、可靠性更高的嵌入式图像处理软件件建立智能视觉传感器相关产品标准建立智能视觉传感器相关产品标准智能视觉传感器的发展趋势智能视觉传感器的发展趋势7.4.3 几种典型的智能视觉传感器几种典型的智能视觉传感器德国德国Feith公司的公司的CanCam智能视觉传感器智能视觉传感器采用Progressive Scan CMOS图像传感器，分辨率为12801024采用Motorola ColdFire 66MHz作为处理器，操作系统为Embedded Linux，具有64Mb的SDRAM和8Mb的Flash支持以太网接口和串口RS23

40、2的数据通讯，支持CAN总线提供SCA Coake图像处理软件，支持用户编程7.4.3 几种典型的智能视觉传感器几种典型的智能视觉传感器德国德国Vision Component公司的公司的VC40XX系列系列智能视觉传感器智能视觉传感器功耗7W采用Progressive Scan CCD图像传感器，分辨率为640480采用T I TM320C64 400MHz作为处理器，操作系统为VCRT，具有32Mb的SDRAM和4Mb的Flash支持以太网接口和串口RS232的数据通讯，可选择VGA视频输出提供VCLIB基础图像处理函数库，支持用户编程7.4.3 几种典型的智能视觉传感器几种典型的智能视觉

41、传感器加拿大加拿大Matrox公司的公司的Iris系列智能视觉传感器系列智能视觉传感器功耗9W采用Progressive Scan CCD图像传感器，分辨率有640480和1024768两种采用Inter ULP Celeron 400MHz作为处理器，操作系统为Windows CE.NET，具有128Mb的SDRAM和64Mb的Flash支持以太网接口和串口RS232的数据通讯提供Mil基础图像处理函数库，支持用户编程7.4.3 几种典型的智能视觉传感器几种典型的智能视觉传感器美国美国Cognex公司的公司的InSight智能视觉传感器智能视觉传感器功耗9W采用1/3“ CCD图像传感器，分

42、辨率640480采用specific Image processor作为处理器，不支持操作系统，具有64Mb的SDRAM和16Mb的Flash支持以太网接口和串口RS232的数据通讯提供INSight Explorer图像处理软件，支持用户编程7.4.3 几种典型的智能视觉传感器几种典型的智能视觉传感器美国美国Cognex公司的公司的InSight智能视觉传感器智能视觉传感器功耗大于5W采用1/3 CCD和1/3 CMOS两种图像传感器，分辨率为640480采用Motorola Power PC/TI DSP作为处理器，不支持操作系统，具有32Mb的SDRAM和16Mb的Flash支持以太网接

43、口和串口RS232的数据通讯提供专门的图像处理工具，支持用户编程7.5 视觉传感应用技术视觉传感应用技术v7.5.1 汽车车身视觉检测系统汽车车身视觉检测系统v7.5.2 钢管直线度、截面尺寸在线视觉测量系统钢管直线度、截面尺寸在线视觉测量系统v7.5.3 三维形貌视觉测量三维形貌视觉测量v7.5.4 光学数码三维坐标测量光学数码三维坐标测量7.5.1 汽车车身视觉检测系统汽车车身视觉检测系统汽车车身视觉检测系统组成原理汽车车身视觉检测系统组成原理汽车车身视觉检测系统的主体是多个视觉传感器，包括机械运送机构、机械定位机构、电气控制设备、计算机等相关组成部分。7.5.1 汽车车身视觉检测系统汽车

44、车身视觉检测系统汽车车身视觉检测系统的优点：l测量效率高l测量工作全部自动完成l车身视觉测量系统的组成灵活基于机器人的柔性视觉测量装置基于机器人的柔性视觉测量装置多传感器车身视觉测量应用系统多传感器车身视觉测量应用系统7.5.2 钢管直线度、截面尺寸在线视觉测量系统钢管直线度、截面尺寸在线视觉测量系统测量原理：测量原理：测量系统由多个结构光传感器组成，传感器上结构光投射器投射的光平面和被测钢管相交，得到钢管截面圆周上的部分圆弧，传感器测量部分圆弧在空间中的位置。系统中每一个传感器实现一个截面上部分圆弧的测量，通过适当的数学方法，由圆弧拟合得到截面尺寸和截面圆心的空间位置，由圆心分布的空间包络，得到直线度参数。7.5.2 钢管直线度、截面尺寸在线视觉测量系统钢管直线度、截面尺寸在线视觉测量