传感技术课件

——第七章视觉传感技术——第七章视觉传感技术本章内容7.1概述7.2图像传感器7.33D视觉传感技术7.4智能视觉传感技术7.5视觉传感应用技术现代传感器技术 <2>本章内容7.1概述现代传感器技术 <2>7.1.1生物视觉与机器视觉视觉：直观理解就是通过对环境场景（组成成分、空间关系、质地质感等）成像，一次性得到包含大量场景信息的“图、像”，经过分层次处理，最终达到理解和表达的目的。通过视觉系统的外周感觉器官（眼）接受外界环境中一定波长范围内的电磁波刺激，经中枢有关部分进行编码加工和分析后获得的主观感觉。现代传感器技术 <3>7.1.1生物视觉与机器视觉视觉：直观理解就是通过对环境场7.1.1生物视觉与机器视觉生物视觉功能建立在生物组织、器官的基础上。环境场景通过成像器官（眼睛）成像，视觉神经感受到亮度信号，形成神经脉动，进而传输至中枢神经系统（大脑），上述路径构成视觉通路。生物视觉系统是一个结构复杂、功能强大、高度智能的信息系统。人的眼可分为感光细胞（视杆细胞和视锥细胞）的视网膜和折光（角膜，房水，晶状体和玻璃体）系统。其适宜刺激是波长为370-740纳米的电磁波(可见光部分)，约150种颜色。现代传感器技术 <4>背侧皮质视覚路(绿色)与腹侧皮质视覚路(紫色)7.1.1生物视觉与机器视觉生物视觉功能建立在生物组织、器7.1.1生物视觉与机器视觉借助于信息处理理论、电子器件和计算机技术的进步，人们试图用摄像机获取环境场景图像，转化为计算机处理的数字信号，由计算机平台进行视觉信息处理，由此诞生一门新兴学科－计算机视觉。现代传感器技术 <5>计算机视觉系统组成包括：过程控制（例如工业机器人和无人驾驶汽车）事件监测（例如图像监测）信息组织（例如图像数据库和图像序列的索引建立）物体与环境建模（例如工业检查，医学图像分析和拓扑建模）交感互动（例如人机互动的输入设备）7.1.1生物视觉与机器视觉借助于信息处理理论、电子器件和7.1.1生物视觉与机器视觉基于工程应用的考虑，在计算机视觉中可以将视觉传感（信息获取）、视觉信息处理、理解和认知等环节分开考虑，一方面简化了类生物视觉系统复杂的相互作用体系结构，同时便于现有计算机平台的实现。将计算机视觉用于工程应用，产生了一门新的学科－机器视觉。将近80%的工业视觉系统主要用在检测方面。现代传感器技术 <6>7.1.1生物视觉与机器视觉基于工程应用的考虑，在计算机视7.1.1生物视觉与机器视觉计算机视觉和机器视觉现代传感器技术 <7>7.1.1生物视觉与机器视觉计算机视觉和机器视觉现代传感器7.1.2Marr计算机视觉理论20世纪70年代中后期，D.Marr教授从信息处理的角度，综合了当时图像处理、心理物理学、神经生理学及临床精神病学等方面的研究成果，提出了一个较为完善的人工视觉系统架构。Marr的计算视觉理论把视觉过程看作信息处理过程，对该过程的研究分为三个不同的层次：计算理论层次——计算理论层次要回答的是计算目的与策略问题表达与算法层次——表达与算法层次则进一步回答如何实现上述计算理论的问题硬件实现层次——硬件实现层次是回答如何物理（硬件）上实现上述表示表达和算法的问题现代传感器技术 <8>7.1.2Marr计算机视觉理论20世纪70年代中后期，7.1.2Marr计算机视觉理论Marr将视觉过程区分为三个阶段：

图像->要素图->2.5维图->三维表示第一阶段，称为早期视觉，由输入二维图像获得要素图。第二阶段，称为中期视觉，由要素图获取2.5维图。第三阶段，称为后期视觉，由输入图像、要素图和2.5维图获得环境场景的三维表示。2.5维图:以三维图数据库为基础，按照一定比例对现实世界或其中一部分的一个或多个方面的三维、抽象的描述。现代传感器技术 <9>7.1.2Marr计算机视觉理论Marr将视觉过程区分为7.1.2Marr计算机视觉理论缺陷1）物理成像过程在数学上是一个透视投影过程，深度和被视线遮挡的信息被丢弃了，使得相同场景在不同视角下得到的二维图像是完全不同的；2）二维图像是依靠图像灰度（亮度）来反映视觉信息的，在成像过程中很多无关因素都会和有用信息综合在一起生成二维图像。现代传感器技术 <10>7.1.2Marr计算机视觉理论缺陷现代传感器技术 <17.1.2Marr计算机视觉理论视觉传感与计算机视觉的区别由图像信息恢复三维场景问题

Marr的视觉计算理论是通过三维场景映射到的二维图像来研究和感知场景三维物理结构的理论，强调的是识别和理解功能，侧重于基本理论研究而视觉传感则是从工程应用的角度出发，研究定量提取三维空间内有用信息的理论和方法精度问题传统的计算机视觉研究，侧重于定性的三维场景识别和理解，定量的精度分析很少涉及或不涉及；视觉传感测量则是以计算机视觉为理论基础，结合精密测量、测试理论，解决工程应用领域内的测量问题，要求在满足一定的精度前提下，实现被测对象的可靠测量。现代传感器技术 <11>7.1.2Marr计算机视觉理论视觉传感与计算机视觉的区7.1.3视觉传感技术的发展视觉传感应用于测量是多方面的，一个主要的研究领域就是基于视觉传感的几何量测量―视觉测量，尤其是3D坐标尺寸测量，在现代工业制造领域内有着广泛的应用背景。视觉像机是视觉测量的基础。将通过镜头投影到传感器的图像传送到能够储存、分析和（或者）显示的机器设备上。现代传感器技术 <12>7.1.3视觉传感技术的发展视觉传感应用于测量是多方面的7.1.3视觉传感技术的发展视觉测量的分析方法的显著变化采用多参数的非线性模型和误差补偿措施；将精密测量领域内的标定方法、设备和技术引入到计算机视觉中；结合近景摄影测量理论和计算机视觉。视觉测量的应用范围不断扩大早期主要用于特定的、有非接触要求的场合；现今可以满足绝大多数工业测量需求。现代传感器技术 <13>7.1.3视觉传感技术的发展视觉测量的分析方法的显著变化本章内容7.1概述7.2图像传感器7.33D视觉传感技术7.4智能视觉传感技术7.5视觉传感应用技术现代传感器技术 <14>本章内容7.1概述现代传感器技术 <14>7.2.1摄像管工作原理典型的光电摄像管包含三个基本部分：镶嵌板集电环电子枪当光线照在光电管上，电子被打出，投影在镶嵌板上的图像将变成一幅正电荷的分布图。集电环收集光电管所放出的电子，移出光电发像管电子枪发射电子形成电子束。电子束逐个扫描镶嵌板上的个光电管时，便形成一系列电脉冲。现代传感器技术 <15>7.2.1摄像管工作原理典型的光电摄像管包含三个基本部7.2.1摄像管工作原理电荷耦合器件CCD（ChargeCoupledDevice）传感器使用一种高感光度的半导体材料制成，能把光信号转变成电荷信号。当CCD表面受到光线照射时，每个感光单位会将电荷反映在组件上。所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。CCD以电荷作为信号。基本功能：信号电荷的产生、存储、传输和检测(即输出)。现代传感器技术 <16>7.2.1摄像管工作原理电荷耦合器件CCD（Charg7.2.2电荷耦合摄像器件工作原理现代传感器技术 <17>当光入射到CCD的光敏面时，便产生了光电荷。CCD在某一时刻所获得的光电荷与前期所产生的光电荷进行累加，称为电荷积分。入射光越强，通过电荷积分所得到的光电荷量越大。基本功能一

光电荷的产生7.2.2电荷耦合摄像器件工作原理现代传感器技术 <17.2.2电荷耦合摄像器件工作原理现代传感器技术 <18>构成CCD的基本单元是MOS结构。如图所示.UG=0时，P型半导体中的空穴(多数载流子)分布是均匀的；UG<Uth时，空穴被排斥，产生耗尽区；UG>Uth时，表面势Φs变得很高，形成反型层，反型层电荷的存在表明了MOS结构存储电荷的功能。基本功能二

电荷的存储7.2.2电荷耦合摄像器件工作原理现代传感器技术 <17.2.2电荷耦合摄像器件工作原理如图(a)空势阱的情况。在没有反型层时，势阱的深度和UG成正比例关系。如图(b)，当反型层电荷填充势阱时，表面势收缩.如图(c)所示，反型层电荷浓度继续增加，势阱被填充更多，此时表面不再束缚多余的电子，电子将产生“溢出”现象。现代传感器技术 <19>7.2.2电荷耦合摄像器件工作原理如图(a)空势阱的情7.2.2电荷耦合摄像器件工作原理如图示意CCD中势阱中电荷的转移：(a)

初始状态；

(b)

电荷由(1)电极向

(2)电极转移；

(c)

电荷在(1)(2)电极均匀分布；(d)

电荷继续由(1)电极向(2)电极转移；(e)

电荷完全转移到(2)电极；(f)

三相转移脉冲转移。现代传感器技术 <20>通过按一定的时序在电极上施加高低电平，可以实现光电荷在相邻势阱间的转移。基本功能三

电荷的转移7.2.2电荷耦合摄像器件工作原理如图示意CCD中势阱7.2.2电荷耦合摄像器件工作原理现代传感器技术 <21>光电荷的输出是指在光电荷转移通道的末端，将电荷信号转换为电压或电流信号输出，也称为光电荷的检测。基本功能四

光电荷的输出CCD电荷的检出方式还有浮置扩散输出、浮置栅放大器输出等。其结构示意如图7-6、图7-7所示。7.2.2电荷耦合摄像器件工作原理现代传感器技术 <27.2.3CCD图像传感器现代传感器技术 <22>CCD图像传感器线阵CCD传感器面阵CCD传感器单沟道线阵CCD双沟道线阵CCD帧转移型面阵CCD电荷耦合器件行间转移型面阵CCD电荷耦合器件帧-行转移型面阵CCD电荷耦合器件7.2.3CCD图像传感器现代传感器技术 <22>CC7.2.3CCD图像传感器图示是三相单沟道线阵CCD的结构图。光敏元阵列与转移区-移位寄存器是分开的，移位寄存器被遮挡。这种结构的CCD转移次数多，效率低，只适用于像敏元较少的摄像器件。图示为双沟道线阵CCD的结构图。它具有两列移位寄存器A和B，分别位于像敏阵列的两边。当转移栅为高电平时，光积分阵列的信号电荷包同时按箭头所示方向转移到对应的移位寄存器中，然后在驱动脉冲的作用下分别向右转移，最后以视频信号输出。现代传感器技术 <23>7.2.3CCD图像传感器图示是三相单沟道线阵CCD的7.2.3CCD图像传感器帧转移型面阵CCD电荷耦合器件(FT-CCD)由成像区、存储区和读出寄存器3个基本区域组成，由三相脉冲驱动，又称三相驱动式面阵CCD电荷耦合器件。现代传感器技术 <24>优点：①电极结构简单；②较高的分辨率和灵敏度。缺点：①尺寸较大；②易形成光“污染”严重时形成垂直拖尾现象。7.2.3CCD图像传感器帧转移型面阵CCD电荷耦合器7.2.3CCD图像传感器行间转移型面阵CCD电荷耦合器件(IT-CDD)的感光行与垂直位移寄存器相间排列，由转移栅极控制电荷的转移和输出。现代传感器技术 <25>优点：

①结构简单，面积小；②较高的空间频率；③垂直拖尾减轻。缺点：①防止漏光，总的感光面积减小，灵敏度降低；②有部分入射光到达垂直位移寄存器，形成光污染。7.2.3CCD图像传感器行间转移型面阵CCD电荷耦合7.2.3CCD图像传感器CCD图像传感器现代传感器技术 <26>7.2.3CCD图像传感器CCD图像传感器现代传感器技7.2.4CMOS图像传感器CMOS图像传感器(CIS)由许多光敏单元组成。根据光敏像元结构的不同，可分为光栅型和光电二极管型。根据敏感单元内是否具有放大功能，可分为无源像素图像传感器（PPS）和有源像素图像传感器(APS)。现代传感器技术 <27>7.2.4CMOS图像传感器CMOS图像传感器(CIS)由7.2.4CMOS图像传感器1、无源像素结构无源像素传感器的像元结构简单，没有信号放大作用，是由一个反向偏置的光敏二极管(MOS管或p-n结二极管)和一个行选择开关管Tx构成。现代传感器技术 <28>优点：①在给定的单元尺寸下，可设计出最高的填充系数②在给定的设计填充系数下，单元尺寸可设计得最小③可获得较高的“量子效率”

有利于提高器件的灵敏度不足:①存在较大的固有图形噪声②列线不宜过长，减小分布参数影响7.2.4CMOS图像传感器1、无源像素结构现代传感器技术7.2.4CMOS图像传感器2、有源像素结构（1）光敏二极管型有源像素结构光敏二极管型有源像素结构如图所示，每个像元包括三个晶体管和一个光敏二极管。光敏面没有多晶硅层叠，光敏二极管型APS量子效率较高；难以设计在片相关双取样电路，读出噪声出复位噪声限制，典型值为75～100个均方根电子。CMOS光敏二极管型APS适宜于大多数中低性能的应用。现代传感器技术 <29>7.2.4CMOS图像传感器2、有源像素结构现代传感器技术7.2.4CMOS图像传感器（2）光栅型有源像素结构光栅型有源像素传感器结合了CCD和X-Y寻址的优点，其结构如图所示，每个像元采用了五个晶体管。采用0.25um工艺将允许达到5um的像元间距。由于可以设置CDS电路和双Δ取样DDS)电路，其读出噪声小，一般为10～20个均方根电子，可接近高档CCD水平，目前已有读出噪声为5个均方根电子的报道CMOS光栅型APS适用于高性能科学成像和低光照成像。现代传感器技术 <30>7.2.4CMOS图像传感器（2）光栅型有源像素结构现代传7.2.4CMOS图像传感器CMOS传感器现代传感器技术 <31>7.2.4CMOS图像传感器CMOS传感器现代传感器技术 7.2.5CCD与CMOS图像传感器比较与CCD图像传感器相比，CMOS图像传感器具有明显的优势。CCD存储的电荷转移和读取电路较为复杂，速度较慢；CMOS信号读取十分简单，能同时处理各单元的图像信息，速度比CCD快得多。CCD器件的成像点为X-Y纵横矩阵排列且仅能输出模拟电信号；CMOS器件的集成度高、体积小、重量轻，具有高度系统整合的条件。从功耗和兼容性来看，CCD功耗大；而CMOS-APS具有功耗低、兼容性好的特点。CCD传感器成本高；CMOS传感器成品率高，制造成本低。CMOS-APS比CCD图像质量高。高速性是CMOS电路的固有特性。CMOS图像传感器具有更强的灵活性.现代传感器技术 <32>7.2.5CCD与CMOS图像传感器比较与CCD图像传7.2.5CCD与CMOS图像传感器比较现代传感器技术 <33>7.2.5CCD与CMOS图像传感器比较现代传感器技术本章内容7.1概述7.2图像传感器7.33D视觉传感技术7.4智能视觉传感技术7.5视觉传感应用技术现代传感器技术 <34>本章内容7.1概述现代传感器技术 <34>7.3.13D视觉传感原理3D视觉传感是指采用一个或多个图象传感器（摄像机等）作为传感元件，在特定的结构设计的支持下，综合利用其它辅助信息，实现对被测物体的尺寸及空间位姿的三维非接触测量。基于三角法的主动和被动视觉测量原理抗干扰能力强效率高精度合适组成简洁适合制造现场的在线、非接触测量，是实际应用的主流。现代传感器技术 <35>7.3.13D视觉传感原理3D视觉传感是指采用一个或多个图7.3.13D视觉传感原理3D视觉测量模型包括三个层次：摄像机成像模型、3D传感器测量模型、3D测量系统模型，与此对应，标定问题也分为三个层次。现代传感器技术 <36>基于三角法的3D视觉测量方法结构光方法通过构造结构光，使得结构光平面和摄像机之间配置成三角测量关系，依靠被测点成像光束和结构光平面的交汇约束，求解3D信息。立体视觉方法采用两个以上的摄像机在空间构成三角配置，利用被测点在多个摄像机中成像位置的不同（所谓“视差”），由多个摄像机的成像光束在空间交汇，由此得到被测点3D信息。7.3.13D视觉传感原理3D视觉测量模型包括三个层次：摄7.3.2摄像机模型及结构参数标定技术现代传感器技术 <37>摄像机模型基于像机成像过程和自身物理参数的成像模型基于投影变换关系的模型针孔成像模型直接线性变换模型摄影测量模型7.3.2摄像机模型及结构参数标定技术现代传感器技术 <7.3.2摄像机模型及结构参数标定技术现代传感器技术 <38>针孔成像模型PQzoxy摄像机针孔模型P为物点，Q为像点，像机针孔模型的数学表示：

式中，q=（x，y）为像点Q在摄像机像平面上的坐标；p=（xw,，yw，zw）为P在摄像机坐标系中的三维坐标；F

—透视变换矩阵；M

—旋转矩阵；T

—平移矩阵；（7-1）7.3.2摄像机模型及结构参数标定技术现代传感器技术 <7.3.2摄像机模型及结构参数标定技术现代传感器技术 <39>式中，表示刻度因子；F、M、T三个矩阵，它们与针孔模型中具有相同的含义；V、B两个矩阵是补偿矩阵。直接线性变换模型（7-2）DLT模型由下式表述：式中，p，q与（7-1）中相同；A为矩阵，可分解为（7-3）7.3.2摄像机模型及结构参数标定技术现代传感器技术 <7.3.2摄像机模型及结构参数标定技术现代传感器技术 <40>摄影测量模型假设(xu,yu)为空间物点P

在像平面上理想像点坐标，实际像点位置为(xd,yd)，则（7-4）其中，Cx、Cy为像面中心，x、y为成像综合畸变（修正因子），可采用下列模型：（7-5）式中：7.3.2摄像机模型及结构参数标定技术现代传感器技术 <7.3.2摄像机模型及结构参数标定技术直接标定及技术通过建立已知空间点（控制点）三维坐标（Xw,Yw,Zw）及其对应成像点的二维像面坐标（xd，yd）之间的对应关系：对于较小视场的成像，可以通过精确的共面或非共面的靶标建立控制点的三维物点和二维特征像点的对应；对于较大视场的成像，可以通过大型CMM

构造较大空间的三维控制点。现代传感器技术 <41>（b）（c）（a）标定控制点（a）CMM虚拟控制点（b）共面控制点（c）非共面控制点7.3.2摄像机模型及结构参数标定技术直接标定及技术现代7.3.2摄像机模型及结构参数标定技术直接标定技术以摄影测量模型为例，由成像模型得到：现代传感器技术 <42>式中：（Xw,Yw,Zw）为控制点空间坐标（已知量）（xd，yd）为控制点对应象点的象素坐标（已知量）f、Cx、Cy、k1、k2、k3、b1、b2、P1、P2

为模型

参数（未知量），

为像机坐标系OXYZ到世界坐

标系OwXwYwZw之间的变换关系，即像机姿态外

参数（未知量），解算上述非线性方程组，可以得到模型参数。7.3.2摄像机模型及结构参数标定技术直接标定技术现代传7.3.2摄像机模型及结构参数标定技术自标定技术基本思路：在空间简单设置标定控制点，控制点的空间坐标未知，像机在不同的姿态（）条件下，获取视场中控制点的图像，处理得到控制点的象面坐标。现代传感器技术 <43>xm,ym,zmOXYZ光束定向交汇自标定原理7.3.2摄像机模型及结构参数标定技术自标定技术现代传感7.3.2摄像机模型及结构参数标定技术自标定技术本质：将像机的姿态、控制点的空间坐标以及模型参数均作为未知量，以控制点的成像光束在空间交汇作为已知条件，建立高度非线性的大规模方程组，从中解算像机模型参数，原理上消除了直接标定方法中要求控制点三维坐标已知的局限性。优点：对工作环境要求不高，易于实现标定结果不受控制点坐标精度影响，标定精度高标定过程可以和测量过程有机结合适合大尺寸视觉测量现代传感器技术 <44>7.3.2摄像机模型及结构参数标定技术自标定技术现代传感7.3.3结构光视觉传感器测量原理设摄象机坐标系为OXYZ

，光平面和被测物体相交形成光条l

，记光条上一特征点P

在OXYZ中的坐标为（X，Y，Z），光平面在OXYZ

中的方程已知，特征点P在摄象机象素坐标系中的坐标为（xm，ym），由摄象机数学模型知现代传感器技术 <45>又，P点在光平面内其中，fx，fy是摄象机的模型函数，可以通过精确的摄象机标定过程得到；fp为光平面在OXYZ坐标系中的方程，在标定传感器时精确求得。联立方程可解出被测物体上特征点P在坐标系OXYZ

中的三维坐标。结构光传感器测量原理7.3.3结构光视觉传感器测量原理现代传感器技术 <47.3.3结构光视觉传感器标定现代传感器技术 <46>标定借助一个细丝靶标进行，细丝靶标上固定n个（相互近似平行）细直钢丝l1，…，ln。将细丝靶标固定在传感器的工作空间，取细丝方向和光平面的法向一致。光平面入射到靶标细丝上时产生n个散射亮点Pi（i=1,…,n），Pi对应像点的象素坐标由计算机处理得到。相应地，Pi的空间三维坐标（xw，yw，zw）可用另外的空间坐标测量设备测量。设Pi在OXwYwZw坐标系中的坐标为（xwi，ywi，zwi），Pi对应像点的象素坐标为（xdi，ydi）。在光平面F内，取P0点为原点，P0P1为X方向，光平面法线方向为Z方向，由X、Z方向按右手法则，在F上建立坐标系OXfYfZf。由空间坐标转换关系，容易将Pi在OXwYwZw坐标系中的三维坐标转换到坐标系OXfYfZf中，设经转换后Pi在OXfYfZf坐标系中的坐标为（xfi，yfi，zfi），因为Pi在OXfYfZf的xy平面内，所以zfi=0。结构光传感器标定7.3.3结构光视觉传感器标定现代传感器技术 <46>7.3.3结构光视觉传感器现代传感器技术 <47>假设坐标系OXfYfZf到摄像机坐标系OXYZ的旋转矩阵为R，平移矩阵为T，则

（7-8）且

（7-9）展开（7-8），利用矩阵元素之间的对应关系，得到式中：r1,…,r9为Rt矩阵中的元素；txtytz为T矩阵中的元素。R为旋转矩阵，存在正交约束由(7-9),(7-10)，采用一般的非线性方程组解法，可以解出R矩阵中的元素r1,…,r9，T矩阵中的元素txtytz。（7-10）7.3.3结构光视觉传感器现代传感器技术 <47>假设7.3.3结构光视觉传感器光平面F在摄像机坐标系中的位姿可理解为：经过OXfYfZf坐标系原点，平面法线矢量为OXfYfZf的Z轴方向。令F0=（tx，ty，tz）；n0=（r1，r4，r7）（r2，r5，r8），于是，光平面F在OXYZ坐标系中的点法式平面方程为式中：X=（x，y，z）为光平面F上的点在OXYZ坐标系中的坐标。该方程表明了光平面在摄像机坐标系中的位姿，是光条结构光传感器的结构参数。现代传感器技术 <48>7.3.3结构光视觉传感器光平面F在摄像机坐标系中的位7.3.4双目视觉传感器测量原理左摄象机坐标系为O1X1Y1Z1

，右摄象机坐标系为O2X2Y2Z2

，空间被测点P

在左、右摄象机坐标系中的坐标分别为（x1，y1，z1），（x2，y2，z2），P点在左、右摄象机象素坐标系中的象素坐标分别为（x1m，y1m），（x2m，y2m），由摄象机模型知现代传感器技术 <49>（7-12）（7-13）式中，f1x，f1y和

f2x，f2y分别为左、右摄象机的模型函数，通过标定摄象机准确得到。双目立体视觉测量原理7.3.4双目视觉传感器测量原理现代传感器技术 <49>7.3.4双目视觉传感器设左、右摄象机坐标系O1X1Y1Z1

，O2X2Y2Z2

之间的关系可表示为式中现代传感器技术 <50>（7-14）R为3X3阶坐标系间旋转变换矩阵；T为3X1阶坐标系间平移变换矩阵；R，T在立体视觉传感器中是已知的，可通过传感器标定严格求出。由（7-12）（7-13）（7-14）解出被测空间点P在左摄象机坐标系O1X1Y1Z1中的三维坐标。7.3.4双目视觉传感器设左、右摄象机坐标系O1X1Y17.3.4双目视觉传感器标定原理左摄像机坐标系为OX1Y1Z1，右摄像机坐标系为OX2Y2Z2，靶标坐标系为OXYZ。设OXYZ到OX1Y1Z1的旋转矩阵为R1，平移矩阵为T1，OXYZ到OX2Y2Z2的旋转矩阵为R2，平移矩阵为T2，有现代传感器技术 <51>（7-15）（7-16）式中：X1=（x1，y1，z1）为点在OX1Y1Z1坐标系中的坐标；X2=（x2，y2，z2）为点在OX2Y2Z2坐标系中的坐标；X=（x，y，z）为点在OXYZ坐标系中的坐标；（7-17）双目特征传感器的标定7.3.4双目视觉传感器标定原理现代传感器技术 <51>7.3.4双目视觉传感器即：OX2Y2Z2坐标系到OX1Y1Z1坐标系之间的旋转矩阵，平移矩阵分别为（7-18）和（7-19）式是双目特征传感器的结构参数，其中R1，R2，T1，T2，矩阵分别为采用同一靶标标定传感器中两个摄像机同时得到的摄像机外部参数。以上分析可知：双目特征传感器中两个摄像机的标定，以及摄像机之间关系的结构参数标定可以同时进行，标定工作量可明显减少。现代传感器技术 <52>（7-18）（7-19）7.3.4双目视觉传感器即：OX2Y2Z2坐标系到OX17.3.4双目视觉传感器光束定向交汇约束在双摄像机的重合视场中任意设置控制点（点的空间坐标无需已知）Pi，控制点在两个摄像机中的成像光束必定在空间交汇，以此为约束可以精确求解摄像机之间的空间变换关系，。对于较小视场（测量空间）的传感器，也可采用固定靶标产生控制点。现代传感器技术 <53>O2X2Y2Z2控制点Pi(i=1,…,n)O1X1Y1Z1光束定向交汇约束标定双摄像机位姿7.3.4双目视觉传感器光束定向交汇约束现代传感器技术7.3.5组合视觉测量系统多个传感器安装在刚性支架上形成统一的视觉检测系统。每个传感器实现对大型被测物体一个局部区域的测量，所有传感器组合实现对物体多个不同区域的测量，从而实现对被测物体的整体测量。现代传感器技术 <54>多视觉传感器组成的视觉检测系统7.3.5组合视觉测量系统多个传感器安装在刚性支架上形7.3.5组合视觉测量系统基于网络的组合视觉测量系统现代传感器技术 <55>7.3.5组合视觉测量系统基于网络的组合视觉测量系统现7.3.5组合视觉测量系统现代传感器技术 <56>令传感器（测头）坐标系为OsXsYsZs，外部测量坐标系为OoXoYoZo

，靶标坐标系为OTXTYTZT，系统测量坐标系为ObXbYbZb，标定时：首先，测头和外部测量装置同时测量靶标，分别建立测头坐标系OsXsYsZs和靶标坐标系OTXTYTZT，靶标坐标系OTXTYTZT和外部测量坐标系OoXoYoZo之间的关系，此外，用外部测量装置测量系统测量坐标系（基准点位置），建立外部测量坐标系OoXoYoZo和系统坐标系ObXbYbZb之间的关系，经过坐标变换链：可以得到每一个测头坐标系到系统测量坐标系的变换关系，即系统标定。OsXsYsZs

－>

OTXTYTZT－>

OoXoYoZo－>

ObXbYbZb全局标定原理7.3.5组合视觉测量系统现代传感器技术 <56>令传本章内容7.1概述7.2图像传感器7.33D视觉传感技术7.4智能视觉传感技术7.5视觉传感应用技术现代传感器技术 <57>本章内容7.1概述现代传感器技术 <57>7.4.1智能视觉传感器及其结构组成

智能视觉传感器(IntelligentVisionSensor)通常也称为智能相机(SmartCamera)，是一种集图像采集、分析处理和信息传输于一体的微小型视觉检测系统，是一种嵌入式视觉传感器。现代传感器技术 <58>OMRONSensopart7.4.1智能视觉传感器及其结构组成智能视觉传感器(7.4.1智能视觉传感器及其结构组成现代传感器技术 <59>智能视觉传感器结构组成作用器件图像采集单元将光学影像转换成数字图像，传递给图像处理单元CCD图像传感器、CMOS图像传感器图像处理单元完成图像信息的分析处理工作通用处理器、ASIC、DSP、MediaDSP和FPGA图像处理软件图像的预处理、图像特征的提取、针对特定检测任务的分析处理针对具体应用的完整软件、具有图形开发接口的软件包、基本的图像处理算法库7.4.1智能视觉传感器及其结构组成现代传感器技术 <7.4.1智能视觉传感器及其结构组成现代传感器技术 <60>智能视觉传感器结构组成作用器件信息存储单元负责有选择性地将有用的信息存储起来，以用来显示或传输给其它计算机或控制设备小型硬盘或存储卡信息通讯单元完成智能视觉传感器和其它计算机或计算控制设备之间的图像数据传输和控制信息传递任务以太网接口、IEEE1394、CameraLink、USB或I/O接口显示单元负责显示智能视觉传感器的相关信息7.4.1智能视觉传感器及其结构组成现代传感器技术 <7.4.2智能视觉传感器的特点及其发展趋势现代传感器技术 <61>智能视觉传感器的特点基于PC的视觉系统的特点结构紧凑，尺寸小，易于安装在生产线和各种设备上，便于装卸和移动结构复杂、体积相对庞大，安装难度相对较大，便携性差高度的系统集成大大降低了系统的安装和调试难度，提高了系统的稳定性，系统使用简单方便由于其复杂的结构，安装和调试相对困难得多，需要一定的视觉经验系统配置了功能齐全、性能强大的图像分析处理软件，无需编程，极大的提高了应用系统的开发速度软件一般完全或部分由用户自己开发，难度相对较大，大大减慢了视觉系统的应用开发速度7.4.2智能视觉传感器的特点及其发展趋势现代传感器技术7.4.2智能视觉传感器的特点及其发展趋势智能视觉传感器的发展趋势进一步优化系统的体系结构，提高硬件系统的效率和可靠性开发性能更好、可靠性更高的嵌入式图像处理软件建立智能视觉传感器相关产品标准现代传感器技术 <62>7.4.2智能视觉传感器的特点及其发展趋势智能视觉传感器7.4.3几种典型的智能视觉传感器现代传感器技术 <63>德国Feith公司的CanCam智能视觉传感器采用ProgressiveScanCMOS图像传感器，分辨率为1280×1024采用MotorolaColdFire66MHz作为处理器，操作系统为EmbeddedLinux，具有64Mb的SDRAM和8Mb的Flash支持以太网接口和串口RS232的数据通讯，支持CAN总线提供SCACoake图像处理软件，支持用户编程7.4.3几种典型的智能视觉传感器现代传感器技术 <637.4.3几种典型的智能视觉传感器现代传感器技术 <64>德国VisionComponent公司的VC40XX系列智能视觉传感器功耗7W采用ProgressiveScanCCD图像传感器，分辨率为640×480采用TITM320C64400MHz作为处理器，操作系统为VCRT，具有32Mb的SDRAM和4Mb的Flash支持以太网接口和串口RS232的数据通讯，可选择VGA视频输出提供VCLIB基础图像处理函数库，支持用户编程7.4.3几种典型的智能视觉传感器现代传感器技术 <647.4.3几种典型的智能视觉传感器现代传感器技术 <65>加拿大Matrox公司的Iris系列智能视觉传感器功耗9W采用ProgressiveScanCCD图像传感器，分辨率有640×480和1024×768两种采用InterULPCeleron400MHz作为处理器，操作系统为WindowsCE.NET，具有128Mb的SDRAM和64Mb的Flash支持以太网接口和串口RS232的数据通讯提供Mil基础图像处理函数库，支持用户编程7.4.3几种典型的智能视觉传感器现代传感器技术 <657.4.3几种典型的智能视觉传感器现代传感器技术 <66>美国Cognex公司的InSight智能视觉传感器功耗9W采用1/3“CCD图像传感器，分辨率640×480采用specificImageprocessor作为处理器，不支持操作系统，具有64Mb的SDRAM和16Mb的Flash支持以太网接口和串口RS232的数据通讯提供INSightExplorer图像处理软件，支持用户编程7.4.3几种典型的智能视觉传感器现代传感器技术 <667.4.3几种典型的智能视觉传感器现代传感器技术 <67>美国Cognex公司的InSight智能视觉传感器功耗大于5W采用1/3"CCD和1/3"CMOS两种图像传感器，分辨率为640×480采用MotorolaPowerPC/TIDSP作为处理器，不支持操作系统，具有32Mb的SDRAM和16Mb的Flash支持以太网接口和串口RS232的数据通讯提供专门的图像处理工具，支持用户编程7.4.3几种典型的智能视觉传感器现代传感器技术 <67本章内容7.1概述7.2图像传感器7.33D视觉传感技术7.4智能视觉传感技术7.5视觉传感应用技术现代传感器技术 <68>本章内容7.1概述现代传感器技术 <68>7.5.1汽车车身视觉检测系统汽车车身视觉检测系统的主体是多个视觉传感器，包括机械运送机构、机械定位机构、电气控制设备、计算机等相关组成部分。现代传感器技术 <69>7.5.1汽车车身视觉检测系统汽车车身视觉检测系统的主体7.5.1汽车车身视觉检测系统汽车车身视觉检测系统的优点：测量效率高测量工作全部自动完成车身视觉测量系统的组成灵活现代传感器技术 <70>基于机器人的柔性视觉测量装置多传感器车身视觉测量应用系统7.5.1汽车车身视觉检测系统汽车车身视觉检测系统的优7.5.2钢管直线度、截面尺寸在线视觉测量系统测量原理：测量系统由多个结构光传感器组成，传感器上结构光投射器投射的光平面和被测钢管相交，得到钢管截面圆周上的部分圆弧，传感器测量部分圆弧在空间中的位置。系统中每一个传感器实现一个截