传感技术课件(8)

1、机电工程学院机电工程学院Faculty of Mechanical & Electrical EngineeringFaculty of Mechanical & Electrical EngineeringL刘刘 韬韬现代传感器技术 第七章视觉传感技术Faculty of Mechanical & Electrical Engineering本章内容本章内容n 7.1 7.1 概述概述n 7.2 7.2 图像传感器图像传感器n 7.3 3D7.3 3D视觉传感视觉传感技术技术n 7.4 7.4 智能智能视觉传感视觉传感技术技术n 7.5 7.5 视觉视觉传感应用技术传感应用技术现代传感器技术

2、现代传感器技术Faculty of Mechanical & Electrical Engineering7.1.1 生物视觉与机器视觉生物视觉与机器视觉n 视觉视觉：直观理解就是通过对环境场景（组成成分、：直观理解就是通过对环境场景（组成成分、空间关系、质地质感等）成像，一次性得到包含大空间关系、质地质感等）成像，一次性得到包含大量场景信息的量场景信息的“图、像图、像”，经过分层次处理，最终，经过分层次处理，最终达到理解和表达的目的。达到理解和表达的目的。n 通过视觉系统的外周感觉器官（眼）接受外界环境通过视觉系统的外周感觉器官（眼）接受外界环境中一定波长范围内的电磁波刺激，经中枢有关部分中

3、一定波长范围内的电磁波刺激，经中枢有关部分进行编码加工和分析后获得的进行编码加工和分析后获得的主观感觉主观感觉。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.1.1 生物视觉与机器视觉生物视觉与机器视觉n 生物视觉生物视觉功能建立在生物组织、器官功能建立在生物组织、器官的基础上。的基础上。环境场景通过成像器官（眼睛）成像环境场景通过成像器官（眼睛）成像，视觉神经感受到亮度信号，形成神，视觉神经感受到亮度信号，形成神经脉动，进而传输至中枢神经系统（经脉动，进而传输至中枢神经系统（大脑），上述路径构成视觉通路。大脑），上

4、述路径构成视觉通路。生物视觉系统是一个结构复杂、功能生物视觉系统是一个结构复杂、功能强大、高度智能的信息系统。强大、高度智能的信息系统。人的眼可分为感光细胞（人的眼可分为感光细胞（视杆细胞和视杆细胞和视锥细胞视锥细胞）的）的视网膜视网膜和和折光折光（角膜，角膜，房水，晶状体和玻璃体房水，晶状体和玻璃体）系统。其适）系统。其适宜刺激是波长为宜刺激是波长为370-740纳米纳米的电磁的电磁波波(可见光部分可见光部分)，约，约150种颜色种颜色。现代传感器技术现代传感器技术背侧皮质视覚路背侧皮质视覚路( (绿绿色色) )与腹侧皮质视覚与腹侧皮质视覚路路( (紫色紫色) )Faculty of Mec

5、hanical & Electrical Engineering7.1.1 生物视觉与机器视觉生物视觉与机器视觉n 借助于信息处理理论、电子器件和计算机技术的进借助于信息处理理论、电子器件和计算机技术的进步，人们试图用摄像机获取环境场景图像，转化为步，人们试图用摄像机获取环境场景图像，转化为计算机处理的数字信号，由计算机平台进行视觉信计算机处理的数字信号，由计算机平台进行视觉信息处理，由此诞生一门新兴学科息处理，由此诞生一门新兴学科计算机视觉计算机视觉。现代传感器技术现代传感器技术n 计算机视觉系统计算机视觉系统组成包括：组成包括： 过程控制过程控制（例如工业机器人（例如工业机器人和无人驾驶汽

6、车）和无人驾驶汽车） 事件监测事件监测（例如图像监测）（例如图像监测） 信息组织信息组织（例如图像数据库（例如图像数据库和图像序列的索引建立）和图像序列的索引建立） 物体与环境建模物体与环境建模（例如工业（例如工业检查，医学图像分析和拓扑检查，医学图像分析和拓扑建模）建模） 交感互动交感互动（例如人机互动的（例如人机互动的输入设备）输入设备）Faculty of Mechanical & Electrical Engineering7.1.1 生物视觉与机器视觉生物视觉与机器视觉n 基于工程应用的考虑，在计算机视觉中可以将视觉基于工程应用的考虑，在计算机视觉中可以将视觉传感（信息获取）、视觉信

7、息处理、理解和认知等传感（信息获取）、视觉信息处理、理解和认知等环节分开考虑，一方面简化了类生物视觉系统复杂环节分开考虑，一方面简化了类生物视觉系统复杂的相互作用体系结构，同时便于现有计算机平台的的相互作用体系结构，同时便于现有计算机平台的实现。将计算机视觉用于工程应用，产生了一门新实现。将计算机视觉用于工程应用，产生了一门新的学科的学科机器视觉机器视觉。n 将近将近80%的工业视觉系统主要用在检测方面。的工业视觉系统主要用在检测方面。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.1.1 生物视觉与机器视觉生物视觉与

8、机器视觉n 计算机视觉和机器视觉计算机视觉和机器视觉现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.1.2 Marr 计算机视觉理论计算机视觉理论n 20世纪世纪70年代中后期，年代中后期，D.Marr教授教授从信息处理的从信息处理的角度，综合了当时图像处理、心理物理学、神经生角度，综合了当时图像处理、心理物理学、神经生理学及临床精神病学等方面的研究成果，提出了一理学及临床精神病学等方面的研究成果，提出了一个较为完善的个较为完善的人工视觉系统架构人工视觉系统架构。n Marr的计算视觉理论把视觉过程看作信息处理过程的计

9、算视觉理论把视觉过程看作信息处理过程，对该过程的研究分为三个不同的层次：，对该过程的研究分为三个不同的层次：计算理论层次计算理论层次计算理论层次要回答的是计算目计算理论层次要回答的是计算目的与策略问题的与策略问题表达与算法层次表达与算法层次表达与算法层次则进一步回答表达与算法层次则进一步回答如何实现上述计算理论的问题如何实现上述计算理论的问题硬件实现层次硬件实现层次硬件实现层次是回答如何物理（硬件实现层次是回答如何物理（硬件）上实现上述表示表达和算法的问题硬件）上实现上述表示表达和算法的问题现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Eng

10、ineering7.1.2 Marr 计算机视觉理论计算机视觉理论n Marr将视觉过程区分为三个阶段：将视觉过程区分为三个阶段： 图像图像-要素图要素图-2.5维图维图-三维表示三维表示 第一阶段，称为第一阶段，称为早期视觉早期视觉，由输入二维图像获得，由输入二维图像获得要素图要素图。 第二阶段，称为第二阶段，称为中期视觉中期视觉，由要素图获取，由要素图获取2.5维图维图。 第三阶段，称为第三阶段，称为后期视觉后期视觉，由输入图像、要素图和，由输入图像、要素图和2.5维图维图获得环境场景的三维表示。获得环境场景的三维表示。n 2.5维图维图:以三维图数据库为基础，按照一定比例对现实世界以三维

11、图数据库为基础，按照一定比例对现实世界或其中一部分的一个或多个方面的三维、抽象的描述。或其中一部分的一个或多个方面的三维、抽象的描述。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.1.2 Marr 计算机视觉理论计算机视觉理论n 缺陷缺陷1）物理成像过程在数学上是一个透视投影过程，深）物理成像过程在数学上是一个透视投影过程，深度和被视线遮挡的信息被丢弃了，使得相同场景在度和被视线遮挡的信息被丢弃了，使得相同场景在不同视角下得到的二维图像是完全不同的；不同视角下得到的二维图像是完全不同的；2）二维图像是依靠图像灰度（亮

12、度）来反映视觉信）二维图像是依靠图像灰度（亮度）来反映视觉信息的，在成像过程中很多无关因素都会和有用信息息的，在成像过程中很多无关因素都会和有用信息综合在一起生成二维图像。综合在一起生成二维图像。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.1.2 Marr 计算机视觉理论计算机视觉理论n 视觉传感与计算机视觉的区别视觉传感与计算机视觉的区别由图像信息由图像信息恢复三维场景问题恢复三维场景问题 Marr的视觉计算理论的视觉计算理论是通过三维场景映射到的二维图像是通过三维场景映射到的二维图像来研究和感知场景三维物理结构

13、的理论，来研究和感知场景三维物理结构的理论，强调的是识别和强调的是识别和理解功能，侧重于基本理论研究理解功能，侧重于基本理论研究 而视觉传感则是从工程应用的角度出发，而视觉传感则是从工程应用的角度出发，研究定量提取三研究定量提取三维空间内有用信息的理论和方法维空间内有用信息的理论和方法n 精度问题精度问题传统的计算机视觉研究，侧重于定性的三维场景识别和理传统的计算机视觉研究，侧重于定性的三维场景识别和理解，定量的精度分析很少涉及或不涉及；视觉传感测量则解，定量的精度分析很少涉及或不涉及；视觉传感测量则是以计算机视觉为理论基础，结合精密测量、测试理论，是以计算机视觉为理论基础，结合精密测量、测试

14、理论，解决工程应用领域内的测量问题，要求在满足一定的精度解决工程应用领域内的测量问题，要求在满足一定的精度前提下，实现被测对象的可靠测量。前提下，实现被测对象的可靠测量。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.1.3 视觉传感技术的发展视觉传感技术的发展n 视觉传感视觉传感应用于测量是多应用于测量是多方面的，一个主要的研究方面的，一个主要的研究领域就是领域就是基于视觉传感的基于视觉传感的几何量测量几何量测量视觉测量视觉测量，尤其是尤其是3D坐标尺寸测量坐标尺寸测量，在现代工业制造领域内，在现代工业制造领域内有着

15、广泛的应用背景。有着广泛的应用背景。n 视觉像机视觉像机是视觉测量的基是视觉测量的基础。将通过镜头投影到传础。将通过镜头投影到传感器的图像传送到能够储感器的图像传送到能够储存、分析和（或者）显示存、分析和（或者）显示的机器设备上。的机器设备上。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.1.3 视觉传感技术的发展视觉传感技术的发展n 视觉测量的视觉测量的分析方法的显著变化分析方法的显著变化采用多参数的非线性模型和误差补偿措施；采用多参数的非线性模型和误差补偿措施；将精密测量领域内的标定方法、设备和技术引入到将精密测

16、量领域内的标定方法、设备和技术引入到计算机视觉中；计算机视觉中；结合近景摄影测量理论和计算机视觉。结合近景摄影测量理论和计算机视觉。n 视觉测量的视觉测量的应用范围不断扩大应用范围不断扩大早期主要用于特定的、有非接触要求的场合；早期主要用于特定的、有非接触要求的场合；现今可以满足绝大多数工业测量需求。现今可以满足绝大多数工业测量需求。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering本章内容本章内容n 7.1 7.1 概述概述n 7.2 7.2 图像传感器图像传感器n 7.3 3D7.3 3D视觉传感视觉传感技术技术n 7.

17、4 7.4 智能智能视觉传感视觉传感技术技术n 7.5 7.5 视觉视觉传感应用技术传感应用技术现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.2.1 摄像管工作原理摄像管工作原理n 典型的典型的光电摄像管光电摄像管包含三个基本部分：包含三个基本部分：镶嵌板镶嵌板集电环集电环电子枪电子枪n 当光线照在光电管上，电子被打出，投影在镶嵌板当光线照在光电管上，电子被打出，投影在镶嵌板上的图像将变成一幅正电荷的分布图。集电环收集上的图像将变成一幅正电荷的分布图。集电环收集光电管所放出的电子，移出光电发像管电子枪发射光电管所放出

18、的电子，移出光电发像管电子枪发射电子形成电子束。电子束逐个扫描镶嵌板上的个光电子形成电子束。电子束逐个扫描镶嵌板上的个光电管时，便形成一系列电脉冲。电管时，便形成一系列电脉冲。 现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.2.1 摄像管工作原理摄像管工作原理n 电荷耦合器件电荷耦合器件CCD（Charge Coupled Device）传感器使用）传感器使用一种高感光度的半导体材料制成一种高感光度的半导体材料制成，能，能把光信号转变成电荷信号把光信号转变成电荷信号。 当当CCD表面受到光线照射时，表面受到光线照射时

19、，每个感光单位会将电荷反映在组每个感光单位会将电荷反映在组件上。件上。 所有的感光单位所产生的信号加所有的感光单位所产生的信号加在一起，就构成了一幅完整的画在一起，就构成了一幅完整的画面。面。 CCD以电荷作为信号以电荷作为信号。 基本功能基本功能：信号电荷的产生、存信号电荷的产生、存储、传输和检测储、传输和检测(即输出即输出)。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理现代传感器技术现代传感器技术 当光入射到当光入射到CCD的光敏面时，便产生了的光敏面时，

20、便产生了光电荷光电荷。 CCD在某一时刻所获得的光电荷与前期所产生的在某一时刻所获得的光电荷与前期所产生的光电荷进行累加，称为光电荷进行累加，称为电荷积分电荷积分。 入射光越强，通过电荷积分所得到的光电荷量越入射光越强，通过电荷积分所得到的光电荷量越大。大。基本功能一基本功能一 光电荷的产生光电荷的产生Faculty of Mechanical & Electrical Engineering7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理现代传感器技术现代传感器技术 构成CCD的基本单元是MOS结构。如图所示. UG=0时，P型半导体中的空穴(多数载流子)分布是均匀的； UG U

21、th时，表面势s变得很高，形成反型层，反型层电荷的存在表明了MOS结构存储电荷的功能。基本功能二基本功能二 电荷的存储电荷的存储Faculty of Mechanical & Electrical Engineering7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理如如图图(a)空势阱空势阱的情况。在的情况。在没有反型层时，没有反型层时，势阱的深势阱的深度和度和UG成正比例关系成正比例关系。如如图图(b)，当，当反型层电荷填反型层电荷填充势阱时，表面势充势阱时，表面势收缩收缩. .如如图图(c)所示，反型层电荷所示，反型层电荷浓度继续增加，势阱被填浓度继续增加，势阱被填充更多，此

22、时表面不再束充更多，此时表面不再束缚多余的电子，缚多余的电子，电子将产电子将产生生“溢出溢出”现象现象。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理n 如图示意如图示意CCD中势阱中势阱中电荷的转移：中电荷的转移： (a) 初始状态；初始状态； (b) 电荷由电荷由(1)电极向电极向 (2)电电极转移；极转移； (c) 电荷在电荷在(1) (2)电极均匀电极均匀分布；分布； (d) 电荷继续由电荷继续由(1)电极向电极向(2)电极转移；电极转移； (e) 电荷

23、完全转移到电荷完全转移到(2)电极；电极； (f) 三相转移脉冲转移。三相转移脉冲转移。现代传感器技术现代传感器技术通过按一定的时序在电极上施加高低电平，可以实现光电荷在通过按一定的时序在电极上施加高低电平，可以实现光电荷在相邻势阱间的转移。相邻势阱间的转移。基本功能三基本功能三 电荷的转移电荷的转移Faculty of Mechanical & Electrical Engineering7.2.2 电荷耦合摄像器件工作原理电荷耦合摄像器件工作原理现代传感器技术现代传感器技术n 光电荷的输出是指在光电荷转光电荷的输出是指在光电荷转移通道的末端，将电荷信号转移通道的末端，将电荷信号转换为电压或

24、电流信号输出，也换为电压或电流信号输出，也称为光电荷的检测。称为光电荷的检测。基本功能四基本功能四 光电荷的输出光电荷的输出n CCD电荷的检出方式还有浮置扩散输出、浮置栅放大器输出电荷的检出方式还有浮置扩散输出、浮置栅放大器输出等。其结构示意如图等。其结构示意如图7-6、图、图7-7所示。所示。Faculty of Mechanical & Electrical Engineering7.2.3 CCD图像传感器图像传感器现代传感器技术现代传感器技术CCD图像传感器线阵CCD传感器面阵CCD传感器单沟道线阵CCD双沟道线阵CCD帧转移型面阵CCD电荷耦合器件行间转移型面阵CCD电荷耦合器件帧

25、-行转移型面阵CCD电荷耦合器件Faculty of Mechanical & Electrical Engineering7.2.3 CCD图像传感器图像传感器n 图示是图示是三相单沟道线阵三相单沟道线阵CCD的结的结构图。构图。光敏元阵列与转移区光敏元阵列与转移区-移移位寄存器是分开的，移位寄存器位寄存器是分开的，移位寄存器被遮挡被遮挡。这种结构的。这种结构的CCD转移次转移次数多，效率低，只适用于像敏元数多，效率低，只适用于像敏元较少的摄像器件。较少的摄像器件。n 图示为图示为双沟道线阵双沟道线阵CCD的结构图的结构图。它。它具有两列移位寄存器具有两列移位寄存器A和和B，分别位于像敏阵列

26、的两边。当，分别位于像敏阵列的两边。当转移栅为高电平时，光积分阵列转移栅为高电平时，光积分阵列的信号电荷包同时按箭头所示方的信号电荷包同时按箭头所示方向转移到对应的移位寄存器中，向转移到对应的移位寄存器中，然后在驱动脉冲的作用下分别向然后在驱动脉冲的作用下分别向右转移，最后以视频信号输出。右转移，最后以视频信号输出。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.2.3 CCD图像传感器图像传感器n 帧转移型面阵帧转移型面阵CCD电荷耦合器件电荷耦合器件(FT-CCD)由由成像成像区、存储区和读出寄存器区、存储区和读出

27、寄存器3个基本区域组成，个基本区域组成，由三由三相脉冲驱动相脉冲驱动，又称三相驱动式面阵，又称三相驱动式面阵CCD电荷耦合电荷耦合器件。器件。现代传感器技术现代传感器技术n 优点：优点： 电极结构简单；电极结构简单； 较高的分辨率和灵敏较高的分辨率和灵敏度。度。n 缺点：缺点： 尺寸较大；尺寸较大； 易形成光易形成光“污染污染”严严重时形成垂直拖尾现象。重时形成垂直拖尾现象。Faculty of Mechanical & Electrical Engineering7.2.3 CCD图像传感器图像传感器n 行间转移型面阵行间转移型面阵CCD电荷耦合器件电荷耦合器件(IT-CDD)的的感光感光行

28、与垂直位移寄存器相间排列行与垂直位移寄存器相间排列，由转移栅极控制电，由转移栅极控制电荷的转移和输出。荷的转移和输出。现代传感器技术现代传感器技术n 优点：优点： 结构简单，面积小；结构简单，面积小； 较高的空间频率；较高的空间频率； 垂直拖尾减轻。垂直拖尾减轻。n 缺点：缺点： 防止漏光，总的感光面积防止漏光，总的感光面积减小，灵敏度降低；减小，灵敏度降低； 有部分入射光到达垂直位有部分入射光到达垂直位移寄存器，形成光污染。移寄存器，形成光污染。Faculty of Mechanical & Electrical Engineering7.2.3 CCD图像传感器图像传感器n CCD图像传感

29、器图像传感器现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.2.4 CMOS图像传感器图像传感器n CMOS图像传感器图像传感器(CIS)由许多光敏单元组成。由许多光敏单元组成。 根据光敏像元结构的不同，可分为根据光敏像元结构的不同，可分为光栅型光栅型和和光电二光电二极管型极管型。 根据敏感单元内是否具有放大功能，可分为根据敏感单元内是否具有放大功能，可分为无源无源像素图像传感器（像素图像传感器（PPS）和和有源有源像素图像传感器像素图像传感器(APS)。现代传感器技术现代传感器技术Faculty of Mechani

30、cal & Electrical Engineering7.2.4 CMOS图像传感器图像传感器n 1、无源像素结构无源像素结构n 无源像素传感器的像元结构简单，没有信号放大作无源像素传感器的像元结构简单，没有信号放大作用，是用，是由一个反向偏置的光敏二极管由一个反向偏置的光敏二极管(MOS管或管或p-n结二极管结二极管)和和一个行选择开关管一个行选择开关管Tx构成构成。现代传感器技术现代传感器技术n 优点：优点： 在给定的单元尺寸下，可设计出最在给定的单元尺寸下，可设计出最高的填充系数高的填充系数 在给定的设计填充系数下，单元尺在给定的设计填充系数下，单元尺寸可设计得最小寸可设计得最小 可获

31、得较高的可获得较高的“量子效率量子效率” 有利于有利于提高器件的灵敏度提高器件的灵敏度n 不足不足: 存在较大的固有图形噪声存在较大的固有图形噪声 列线不宜过长，减小分布参数影响列线不宜过长，减小分布参数影响Faculty of Mechanical & Electrical Engineering7.2.4 CMOS图像传感器图像传感器n 2、有、有源像素结构源像素结构n （1）光敏二极管型有源像素结光敏二极管型有源像素结构构n 光敏二极管型有源像素结构如光敏二极管型有源像素结构如图所示，图所示，每个像元包括三个晶每个像元包括三个晶体管和一个光敏二极管体管和一个光敏二极管。 光敏面没有多晶硅

32、层叠，光敏二极光敏面没有多晶硅层叠，光敏二极管型管型APSAPS量子效率较高；量子效率较高； 难以设计在片相关双取样电路，读难以设计在片相关双取样电路，读出噪声出复位噪声限制，典型值为出噪声出复位噪声限制，典型值为7575100100个均方根电子个均方根电子。n CMOSCMOS光敏二极管型光敏二极管型APSAPS适宜于大适宜于大多数多数中低性能中低性能的应用。的应用。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.2.4 CMOS图像传感器图像传感器n （2）光栅型有源像素结构）光栅型有源像素结构n 光栅型有源像素传

33、感器结合了光栅型有源像素传感器结合了CCD和和X-Y寻址的优点，其结构寻址的优点，其结构如如图所图所示，每个像元采用了五个示，每个像元采用了五个晶体管。采用晶体管。采用0.25um工艺工艺将允许将允许达到达到5um的像元间距。的像元间距。n 由于可以设置由于可以设置CDS电路和双电路和双取取样样DDS) )电路，电路，其读出噪声小其读出噪声小，一般为一般为1020个均方根电子，可个均方根电子，可接近高档接近高档CCD水平，目前已有读水平，目前已有读出噪声为出噪声为5个均方根电子的个均方根电子的报道报道n CMOS光栅型光栅型APS适用于适用于高性能高性能科学成像和低光照成像。科学成像和低光照成

34、像。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.2.4 CMOS图像传感器图像传感器n CMOS传感器传感器现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.2.5 CCD与与CMOS图像传感器比较图像传感器比较n 与与CCD图像传感器相比，图像传感器相比，CMOS图像传感器具有明图像传感器具有明显的优势显的优势。 CCD存储的电荷转移和读取电路较为复杂，速度较慢；存储的电荷转移和读取电路较为复杂，速度较慢；CMOS信号读取十分简单信号读取十

35、分简单，能同时处理各单元的图像信息，能同时处理各单元的图像信息，速度比速度比CCD快得多。快得多。 CCD器件的成像点为器件的成像点为X-Y纵横矩阵排列且仅能输出模拟电信纵横矩阵排列且仅能输出模拟电信号；号；CMOS器件的集成度高、体积小器件的集成度高、体积小、重量轻重量轻 ，具有高度系，具有高度系统整合的条件统整合的条件。 从功耗和兼容性来看，从功耗和兼容性来看，CCD功耗大；而功耗大；而CMOS-APS具有具有功耗功耗低、兼容性好的低、兼容性好的特点。特点。 CCD传感器成本高；传感器成本高；CMOS传感器成品率高，制造成本低传感器成品率高，制造成本低。 CMOS-APS比比CCD图像质量

36、高图像质量高。 高速性是高速性是CMOS电路的固有特性。电路的固有特性。CMOS图像传感器具有更图像传感器具有更强的灵活性强的灵活性.现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.2.5 CCD与与CMOS图像传感器比较图像传感器比较现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering本章内容本章内容n 7.1 7.1 概述概述n 7.2 7.2 图像传感器图像传感器n 7.3 3D7.3 3D视觉传感视觉传感技术技术n 7.4 7.4 智能智能视觉

37、传感视觉传感技术技术n 7.5 7.5 视觉视觉传感应用技术传感应用技术现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.3.1 3D视觉传感原理视觉传感原理n 3D视觉传感视觉传感是指采用一个或多个图象传感器（摄像是指采用一个或多个图象传感器（摄像机等）作为传感元件，在特定的结构设计的支持下机等）作为传感元件，在特定的结构设计的支持下，综合利用其它辅助信息，实现对被测物体的尺寸，综合利用其它辅助信息，实现对被测物体的尺寸及空间位姿的三维非接触测量。及空间位姿的三维非接触测量。n 基于三角法的主动和被动视觉测量原理基于三

38、角法的主动和被动视觉测量原理抗干扰能力强抗干扰能力强效率高效率高精度合适精度合适组成简洁组成简洁适合制造现场的在线、非接触测量，是实际应用的适合制造现场的在线、非接触测量，是实际应用的主流。主流。现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.3.1 3D视觉传感原理视觉传感原理n 3D视觉测量模型视觉测量模型包括三个层次：摄像机成像模型、包括三个层次：摄像机成像模型、3D传感器测量模型、传感器测量模型、3D测量系统模型，与此对应，测量系统模型，与此对应，标定问题也分为三个层次。标定问题也分为三个层次。现代传感器技术现

39、代传感器技术基于三角法的基于三角法的3D视觉测量方法视觉测量方法结构光方法结构光方法通过构造结构光，使得结构光平面和摄像机之间配置成三角测量关系，依靠被测点成像光束和结构光平面的交汇约束，求解3D信息。立体视觉方法立体视觉方法采用两个以上的摄像机在空间构成三角配置，利用被测点在多个摄像机中成像位置的不同（所谓“视差”），由多个摄像机的成像光束在空间交汇，由此得到被测点3D信息。Faculty of Mechanical & Electrical Engineering7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术现代传感器技术现代传感器技术摄像机模型摄像机模型基于像机成像

40、过程和自基于像机成像过程和自身物理参数的成像模型身物理参数的成像模型基于投影变换关系的基于投影变换关系的模型模型针孔成像模型针孔成像模型直接线性变换模直接线性变换模型型摄影测量模型摄影测量模型Faculty of Mechanical & Electrical Engineering7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术现代传感器技术现代传感器技术针孔成像模型针孔成像模型PQzox y摄像机针孔模型摄像机针孔模型P为物点，Q为像点，像机针孔模型的数学表示： FMTPq 式中，q=（x，y）为像点Q在摄像机像平面上的坐标；p=（xw,，yw，zw）为P在摄像机坐标系

41、中的三维坐标；F 透视变换矩阵；M 旋转矩阵；T 平移矩阵；（7-1）Faculty of Mechanical & Electrical Engineering7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术现代传感器技术现代传感器技术式中，式中， 表示刻度因子；表示刻度因子；F、M、T三个矩阵，它们与三个矩阵，它们与针孔模型中具有相同的含义；针孔模型中具有相同的含义；V、B两个矩阵是两个矩阵是补偿矩阵补偿矩阵。直接线性变换模型直接线性变换模型pAq（7-2）DLT模型由下式表述：模型由下式表述：式中，式中，p，q与与（7-1）中相同；中相同；A为矩阵，可分解为为矩阵，可

42、分解为FMTBVA11（7-3）0Faculty of Mechanical & Electrical Engineering7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术现代传感器技术现代传感器技术摄影测量模型摄影测量模型假设 (xu, yu) 为空间物点P 在像平面上理想像点坐标，实际像点位置为 (xd, yd)，则yCyyxCxxyduxdu（7-4）其中，Cx、 Cy为像面中心，x、y为成像综合畸变（修正因子），可采用下列模型：2221362412212122362412)2(22)2(PryyxPkrykrykryyybxbyxPPrxkrxkrxkrxx（7-

43、5）式中：ydxdCyyCxx22yxrFaculty of Mechanical & Electrical Engineering7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术n 直接标定及技术直接标定及技术 通过建立通过建立已知空间点（控制点）三维坐标已知空间点（控制点）三维坐标（Xw, Yw, Zw）及其及其对应成像点对应成像点的二维像面坐标的二维像面坐标（xd，yd）之间的）之间的对应关系对应关系：对于较小视场的成像，可以通过精确的共面或非共面的靶标建立控制点的对于较小视场的成像，可以通过精确的共面或非共面的靶标建立控制点的三维物点和二维特征像点的对应；三维物点和

44、二维特征像点的对应；对于较大视场的成像，可以通过大型对于较大视场的成像，可以通过大型CMM 构造较大空间的三维控制点。构造较大空间的三维控制点。现代传感器技术现代传感器技术（b）（c）（a）标定控制点标定控制点（a a）CMMCMM虚拟控制点虚拟控制点 （b b）共面控制点）共面控制点 （c c）非共面控制点）非共面控制点Faculty of Mechanical & Electrical Engineering7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术n 直接标定技术直接标定技术n 以摄影测量模型为例，由成像模型得到：以摄影测量模型为例，由成像模型得到：现代传感器技

45、术现代传感器技术0),(0),(21213212121321zyxyxddwwwyzyxyxddwwwxtttPPbbkkkfCCyxZYXftttPPbbkkkfCCyxZYXf式中： （Xw, Yw, Zw）为控制点空间坐标（已知量） （xd，yd）为控制点对应象点的象素坐标（已知量） f、Cx、Cy、k1、k2、k3、b1、b2、P1、P2 为模型 参数（未知量）， 为像机坐标系OXYZ到世界坐 标系OwXwYwZw之间的变换关系，即像机姿态外 参数（未知量），解算上述非线性方程组，可以得到模型参数。zyxttt、Faculty of Mechanical & Electrical En

46、gineering7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术n 自标定技术自标定技术n 基本思路：基本思路：在空间简单在空间简单设置标定控制点设置标定控制点，控制点的，控制点的空间坐标未知，空间坐标未知，像机在不同的姿态（像机在不同的姿态（ ）条件下，获取视场中控制点的图像条件下，获取视场中控制点的图像，处理得到控制，处理得到控制点的象面坐标。点的象面坐标。现代传感器技术现代传感器技术nznynxnnnttt,nznynxnnnttt,222222,zyxtttxm,ym,zm222222,zyxtttOXYZ光束定向交汇自标定原理光束定向交汇自标定原理Faculty

47、 of Mechanical & Electrical Engineering7.3.2 摄像机模型及结构参数标定技术摄像机模型及结构参数标定技术n 自标定技术自标定技术n 本质本质：将将像机的姿态、控制点的空间坐标以及模型参数均像机的姿态、控制点的空间坐标以及模型参数均作为未知量，以控制点的成像光束在空间交汇作为作为未知量，以控制点的成像光束在空间交汇作为已知条件已知条件，建立，建立高度非线性的大规模方程组，从中高度非线性的大规模方程组，从中解算像机模型参数解算像机模型参数，原理原理上消除了直接标定方法中上消除了直接标定方法中要求控制点三维坐标已知的局限性要求控制点三维坐标已知的局限性。n

48、优点：优点：对工作环境要求不高，易于实现对工作环境要求不高，易于实现标定结果不受控制点坐标精度影响，标定精度高标定结果不受控制点坐标精度影响，标定精度高标定过程可以和测量过程有机结合标定过程可以和测量过程有机结合适合大尺寸视觉测量适合大尺寸视觉测量现代传感器技术现代传感器技术Faculty of Mechanical & Electrical Engineering7.3.3 结构光视觉传感器结构光视觉传感器n 测量原理测量原理n 设摄象机坐标系为设摄象机坐标系为OXYZ ，光平面和被测物体相交形成光条，光平面和被测物体相交形成光条l ，记光条上一特征点，记光条上一特征点P 在在OXYZ中的坐

49、标为中的坐标为（X，Y，Z），光平面在光平面在OXYZ 中的方程已知，特征点中的方程已知，特征点P在摄象机象素坐标在摄象机象素坐标系中的坐标为（系中的坐标为（xm，ym），由摄象机数学模型知），由摄象机数学模型知现代传感器技术现代传感器技术),(),(zyxfyzyxfxymxm又，P点在光平面内0),(zyxfp其中其中， fx，fy是是摄象机的模型函数摄象机的模型函数，可以，可以通过精确的摄象机标定过程得到通过精确的摄象机标定过程得到； fp为为光平面在光平面在OXYZ坐标系中的方坐标系中的方程程，在标定传感器时精确求得。，在标定传感器时精确求得。 联立方程可联立方程可解出被测物体上特征点

50、解出被测物体上特征点P在坐标系在坐标系OXYZ 中的三维坐标。中的三维坐标。结构光传感器测量原理结构光传感器测量原理Faculty of Mechanical & Electrical Engineering7.3.3 结构光视觉传感器结构光视觉传感器n 标定标定现代传感器技术现代传感器技术标定借助一个细丝靶标进行，细丝靶标上固定n个（相互近似平行）细直钢丝l1，ln。将细丝靶标固定在传感器的工作空间，取细丝方向和光平面的法向一致。光平面入射到靶标细丝上时产生n个散射亮点Pi（i=1,n），Pi对应像点的象素坐标由计算机处理得到。相应地，Pi的空间三维坐标（xw，yw，zw）可用另外的空间坐标

51、测量设备测量。设Pi在OXwYwZw坐标系中的坐标为（xwi，ywi，zwi），Pi对应像点的象素坐标为（xdi，ydi）。在光平面F内，取P0点为原点，P0 P1为X方向，光平面法线方向为Z方向，由X、Z方向按右手法则，在F上建立坐标系OXfYfZf。由空间坐标转换关系，容易将Pi在OXwYwZw坐标系中的三维坐标转换到坐标系OXfYfZf中，设经转换后Pi在OXfYfZf坐标系中的坐标为（xfi，yfi，zfi），因为Pi在OXfYfZf的xy平面内，所以zfi=0。结构光传感器标定结构光传感器标定Faculty of Mechanical & Electrical Engineering

52、7.3.3 结构光视觉传感器结构光视觉传感器现代传感器技术现代传感器技术假设坐标系OXfYfZf到摄像机坐标系OXYZ的旋转矩阵为R，平移矩阵为T，则 11001000000001fififitcicizyxTRffyx （7-8）且 )1)(/ )1)(iydicixixdicikqcyyskqcxx（7-9）22)()(ydixdiicycxq展开（7-8），利用矩阵元素之间的对应关系，得到yfificizfifixfificizfififtyfrxfrytryrxftyfrxfrxtryrx54872187式中：r1, r9为Rt矩阵中的元素；tx ty tz为T矩阵中的元素。R为旋转矩

53、阵，存在正交约束 011875421282522272421rrrrrrrrrrrr由(7- 9),(7-10)，采用一般的非线性方程组解法，可以解出R矩阵中的元素r1, r9，T矩阵中的元素tx ty tz。（7-10）Faculty of Mechanical & Electrical Engineering7.3.3 结构光视觉传感器结构光视觉传感器n 光平面光平面F在摄像机坐标系中的位姿可理解为：经过在摄像机坐标系中的位姿可理解为：经过OXfYfZf坐标系原点，平面法线矢量为坐标系原点，平面法线矢量为OXfYfZf f的的Z轴轴方向。令方向。令F0=（tx，ty，tz）；n0=（r1，

54、r4，r7） （r2，r5，r8），于是，光平面于是，光平面F在在OXYZ坐标系中的点法坐标系中的点法式平面方程为式平面方程为式中式中：X=（x，y，z）为光平面为光平面F上的点在上的点在OXYZ坐坐标系中的坐标。标系中的坐标。n 该该方程方程表明表明了光平面在摄像机坐标系中的位姿了光平面在摄像机坐标系中的位姿，是，是光条结构光传感器的结构参数光条结构光传感器的结构参数。现代传感器技术现代传感器技术000FXnFaculty of Mechanical & Electrical Engineering7.3.4 双目视觉传感器双目视觉传感器n 测量测量原理原理n 左摄象机坐标系为左摄象机坐标系

55、为O1X1Y1Z1 ，右摄象机坐标系为，右摄象机坐标系为O2X2Y2Z2 ，空间被测点空间被测点P 在左、右摄象机坐标系中的坐标分别为在左、右摄象机坐标系中的坐标分别为（x1，y1，z1），（），（x2，y2，z2），），P点在左、右摄象机象素坐标系中的点在左、右摄象机象素坐标系中的象素坐标分别为象素坐标分别为（x1m，y1m），（），（x2m，y2m），），由摄象机模型知由摄象机模型知现代传感器技术现代传感器技术),(),(1111111111zyxfyzyxfxymxm),(),(2222222222zyxfyzyxfxymxm（7-12）（7-13） 式中式中， f1x，f1y 和和 f

56、2x，f2y分别为左、右摄象机的模分别为左、右摄象机的模型函数，通过标定摄象机型函数，通过标定摄象机准确得到。准确得到。双目立体视觉测量原理双目立体视觉测量原理Faculty of Mechanical & Electrical Engineering7.3.4 双目视觉传感器双目视觉传感器n 设左、右摄象机坐标系设左、右摄象机坐标系O1X1Y1Z1 ，O2X2Y2Z2 之间的之间的关系可表示为关系可表示为n 式中式中 现代传感器技术现代传感器技术TRXX12（7-14）),(1111zyxX),(2222zyxX R为为3X3阶坐标系间阶坐标系间旋转变换矩阵旋转变换矩阵；T为为3X1阶坐标系

57、间阶坐标系间平移变换矩阵平移变换矩阵；R，T在立体视觉传感器中是已知的在立体视觉传感器中是已知的，可通过传感器标定严格求出。由，可通过传感器标定严格求出。由（7-12）（）（7-13）（）（7-14）解出被测解出被测空间点空间点P在左摄象机坐标系在左摄象机坐标系O1X1Y1Z1中的三维坐标。中的三维坐标。Faculty of Mechanical & Electrical Engineering7.3.4 双目视觉传感器双目视觉传感器n 标定原理标定原理n 左摄像机坐标系为左摄像机坐标系为OX1Y1Z1，右摄像机坐标系为，右摄像机坐标系为OX2Y2Z2，靶，靶标坐标系为标坐标系为OXYZ。设。

58、设OXYZ到到OX1Y1Z1的旋转矩阵为的旋转矩阵为R1，平，平移矩阵为移矩阵为T1，OXYZ到到OX2Y2Z2的旋转矩阵为的旋转矩阵为R2，平移矩阵为，平移矩阵为T2，有，有现代传感器技术现代传感器技术111TXRX（7-15）2122TXRX（7-16） 式中： X1=（x1，y1，z1）为点在OX1Y1Z1坐标系中的坐标； X2=（x2，y2，z2）为点在OX2Y2Z2坐标系中的坐标； X=（x，y，z）为点在OXYZ坐标系中的坐标；TRRTXRRX121121211（7-17）双目特征传感器的标定双目特征传感器的标定Faculty of Mechanical & Electrical

59、Engineering7.3.4 双目视觉传感器双目视觉传感器n 即：即：OX2Y2Z2坐标系到坐标系到OX1Y1Z1坐标系之间的旋转矩坐标系之间的旋转矩阵，平移矩阵分别为阵，平移矩阵分别为n （7-18）和和（7-19）式是式是双目特征传感器的结构参数双目特征传感器的结构参数，其中，其中R1，R2，T1，T2，矩阵分别为采用同一靶标，矩阵分别为采用同一靶标标定传感器中两个摄像机标定传感器中两个摄像机同时得到的摄像机外部参同时得到的摄像机外部参数数。n 以上以上分析可知：分析可知：n 双目双目特征传感器中两个摄像机的标定，以及摄像机特征传感器中两个摄像机的标定，以及摄像机之间关系的结构参数标定

60、之间关系的结构参数标定可以同时进行，标定工作可以同时进行，标定工作量可明显减少量可明显减少。现代传感器技术现代传感器技术121RRR（7-18）21211TRRTT（7-19）Faculty of Mechanical & Electrical Engineering7.3.4 双目视觉传感器双目视觉传感器n光束定向交汇约束光束定向交汇约束n 在双摄像机的重合视场中任意设置控制点（点的空在双摄像机的重合视场中任意设置控制点（点的空间坐标无需已知）间坐标无需已知）P Pi i，控制点在两个摄像机中的成，控制点在两个摄像机中的成像光束必定在空间交汇，以此为约束可以精确求解像光束必定在空间交汇，以此