项目视觉传感器及其应用

1、项目7 视觉传感器及其应用7.1 光导视觉传感器 7.2 CCD视觉传感器 7.3 CMOS视觉传感器 7.4 人工视觉7.5 视觉传感器应用实例尼康D2X上所使用的CMOS索尼F828采用的“4色CCD”17.1 光导视觉传感器 光导视觉传感器主要用于光导式摄像机，这种摄像机是由接收部分、光电转换部分和扫描部分组成的二维视觉传感器。其光导摄像管是一种利用物质在光的照射下发射电子的外光电效应而制成的真空或充气的光电器件。 光导摄像管兼有光电转换功能和扫描功能，一般有真空光电管和充气光电管两类，或称电子光电管和离子光电管。2光电式摄像机工作原理 光电式摄像机由接收部分、光电转换部分和扫描部分组成

2、二维视觉传感器。 其光导摄像管是一种兼有光电转换功能和扫描功能的真空管。经透镜成像的光信号在摄像管的靶面上作为模拟量而被记忆下来。从阴极发射的电子束依次在靶面(光电转换面)上扫描，将视觉的光信号转换成时间序列的电信号输出。3光导摄像管构成原理 4视觉传感器单个像素的光电变换原理 光电靶面上每一个像素均可看作由电容C、光照时导电性增强的光电基元GL、不照射时也导电的暗电流基元GD等并联的电路。 电子束扫描到该像素时开关S闭合，电容C在瞬间被Er充电，扫描移到邻近像素时，S打开。当S打开时，如有光照在GL上，将产生电荷，它同C上的电荷中和一部分。下次扫描到该点时S再次闭合，已被中和了的C又被充电，

3、充电电流Ic流过RL。电压IcRL同该点受光照射的强度有关，IcRL即为视觉的输出。57.2 CCD视觉传感器哈苏3900万像素数码单反相机6PMT视觉传感器 PMT是最早出现的视觉传感器，从上世纪五十年代发展到现在，技术已经非常成熟，是目前性能最好的传感器。 PMT就像一个圆柱体小灯泡，直径约一寸，长度约二寸；内置多个电极，将进入的光信号转化为电信号，即使很微弱的光线也可准确补捉。 类似小灯泡的传感器“PMT”7 CCD是美国贝尔实验室于1969年发明的，与电脑晶片CMOS技术相似，也可作电脑记忆体及逻辑运作晶片。CCD是一种特殊的半导体材料，由大量独立的感光二极管组成，一般这些感光二极管按

4、照矩阵形式排列(富士公司的Super CCD除外)。 CCD的感光能力比PMT低，但近年来CCD技术有了长足的进步，又由于CCD的体积小、造价低，所以广泛应用于扫描仪、数码相机及数码摄像机中。目前大多数数码相机采用的视觉传感器都是CCD。 CCD视觉传感器87.2.1 CCD电荷耦合器件 CCD电荷耦合器件是按一定规律排列的MOS(金属一氧化物一半导体)电容器组成的阵列，用于实现光电转换、信号储存、转移、输出、处理及用作电子快门等。 CCD特点： 1）体积小重量轻、功耗低、可靠性高、寿命长。 2）空间分辨率高。 3）光电灵敏度高、动态范围大。 4）模拟、数字输出方便；与微机接口方便。9CCD究

5、竟是什么？ CCD传感器又叫电荷耦合器，它是一种特殊的半导体材料，由大量独立的感光二极管组成，一般按照矩阵形式排列，相当于传统相机的胶卷。 10CCD电极的基本构造 11CCD电极的工作原理 在CCD固体传感器的电极中，每一个MOS电容器实际上就是一个光敏元件（像素），假定半导体衬底是N型硅，当光照射到MOS电容器的N型硅衬底上时，会产生电子空穴对(光生电荷)，电子被栅极吸引存储在陷阱中。 入射光强，则光生电荷多，入射光弱，则光生电荷少。无光照的MOS电容器则无光生电荷。这样把光的强弱变成与其成比例的电荷的多少，实现了光电转换。若停止光照，由于陷阱的作用，电荷在一定时间内也不会消失，可实现对光

6、照的记忆。12二维MOS电容器面阵 1311100万像素CCD视觉传感器首款11100万像素CCD视觉传感器14 MOS电容器实质上是一种光敏元件与移位寄存器合而为一的结构，称为光积蓄式结构，这种结构最简单。 但是因光生电荷的积蓄时间比转移时间长得多，所以再生视觉往往产生“拖尾”，视觉容易模糊不清。 另外，直接采用MOS电容器感光虽然有不少优点，但它对蓝光的透过率差，灵敏度低。 现在更多地在CCD视觉传感器上使用的是光敏元件与移位寄存器分离式的结构。 7.2.2 CCD视觉传感器15 P3 P1 P3 P2P3P2P1P3P2 P2 电荷转移的控制方法，非常类似于步进电机的步进控制方式。也有二

7、相、三相等控制方式之分。这里以三相控制方式为例说明控制电荷定向转移的过程。见图： P1 P1 P2 P2 P3 P3 P1 P1 P1 P2 P2 P3 P3P1(a)123t0t1t2t3t(b)t=t0t=t1t=t2t=t30电荷的定向转移16二相驱动视频输出行扫描发生器输出寄存器检波二极管二相驱动感光区沟阻P1 P2P3P1 P2P3P1 P2P3 感光区 存储区析像单元 视频输出输出栅串行读出(a)(b)面阵CCD视觉传感器结构17光栅报时钟二相驱动输出寄存器检波二极管 视频输出垂直转移寄存器感光区二相驱动(c)面阵CCD视觉传感器结构218隔行传送的二维CCD摄像元件19光敏元件与

8、移位寄存器分离式结构 20图5-4线阵CCD内部框图217.2.3 CCD视觉传感器的应用22 (1)组成测试仪器可测量物位、尺寸、工件损伤等； (2)作为光学信息处理装置的输入环节。例如：用于传真技术、光学文字识别技术以及图象识别技术、传真、摄像等方面； (3)作自动流水线装置中的敏感器件。例如：可用于机床、自动售货机、自动搬运车以及自动监视装置等方面； (4)作为机器人的视觉，监控机器人的运行。固态视觉传感器的用途237.3 CMOS 视觉传感器佳能数码单反相机EOS D30采用的CMOS传感器 尼康D2X上所使用的CMOS 24CCD和CMOS的主要区别 制造上的区别： CMOS和CCD

9、同为半导体。但CCD是集成在半导体单晶材料上，而CMOS是集成在被称做金属氧化物的半导体材料上。工作原理的区别： 主要区别是读取视觉数据的方法。CCD从阵列的一个角落开始读取数据。CMOS对每一个像素采用有源像素传感器及晶体管，以实现视觉数据读取。视觉扫描方法的区别： CCD传感器连续扫描，在最后一个数据扫描完成之后才能将信号放大。CMOS传感器的每个像素都有一个将电荷转化为电子信号的放大器。成像方面的区别： CMOS器件产生的视觉质量相比CCD来说要低一些。25 场效应晶体管是利用半导体表面的电场效应进行工作的，也称为表面场效应器件。由于它的栅极处于不导电(绝缘)状态，所以输入电阻很高，最高

10、可达1015。 绝缘栅型场效应晶体管目前应用较多的是以二氧化硅为绝缘层的金属一氧化物-半导体场效应晶体管，简称为MOSFET。 MOSFET有增强型和耗尽型两类，其中每一类又有N沟道和P沟道之分。 NMOS管和PMOS管可以组成共源、共栅、共漏三种组态的单级放大器，也可以组成镜像电流源电路和比例电流源电路。7.3.1 CMOS型光电转换器件26CMOS型放大器27CMOS型光电变换器件28 利用CMOS型光电变换器件可以做成CMOS视觉传感器。 由CMOS衬底直接受光信号照射产生并积蓄光生电荷的方式不大采用。 现在更多地在CMOS视觉传感器上使用的是光敏元件与CMOS型放大器分离式的结构。7.

11、3.2 CMOS视觉传感器29CMOS线型视觉传感器构成30CMOS/CCD视觉传感器的结构差异 无论是CCD还是CMOS，它们都采用感光元件作为影像捕获的基本手段，CCD/CMOS感光元件的核心都是一个感光二极管，该二极管在接受光线照射之后能够产生输出电流，而电流的强度则与光照的强度对应。 但在周边组成上，CCD的感光元件与CMOS的感光元件并不相同，前者的感光元件除了感光二极管之外，包括一个用于控制相邻电荷的存储单元，感光二极管占据了绝大多数面积。 而CMOS感光元件的构成就比较复杂，除处于核心地位的感光二极管之外，它还包括放大器与模数转换电路，每个像点的构成为一个感光二极管和三颗晶体管，

12、而感光二极管占据的面积只是整个元件的一小部分，造成CMOS传感器的开口率远低于CCD。 （开口率：有效感光区域与整个感光元件的面积比值）31CMOS视觉传感器的长处 CMOS视觉传感器易与A/D电路、数字信号处理器DSP电路等集成在一起。 CCD视觉传感器只能单一的锁存到成千上万的采样点上的光线的状态，CMOS则可以完成其它的许多功能，如A/D转换，负载信号处理、白平衡处理及相机控制(白平衡调整就是通过视觉调整，使在各种光线条件下拍的照片色彩与人眼看到的景物色彩一样)。 CMOS视觉传感器耗电小，其耗电量约为CCD视觉传感器的1/3。32 CMOS视觉传感器与CCD视觉传感器一样，可用于自动控

13、制、自动测量、摄影摄像、视觉识别等各个领域。 CMOS针对CCD最主要的优势就是非常省电。 CMOS视觉传感器用于数码相机有助于改善人们心目中数码相机是“电老虎”的不良印象。 7.3.3 CMOS视觉传感器的应用33 7.4 人工视觉 在实现机电系统智能化时，图像识别非常重要，因此，如何实现人眼的部分功能便是关键问题。为此目的，已利用不同形式的视觉传感器研制了从检查作业对象的有无，测量其大致位置的简易型视觉，到具有图像识别功能的高级视觉等各种水平的人工视觉，其中一部分已用于具体实用装置。 人工视觉提供了在信息科学乃至人工智能领域极其有意义的研究课题。347.4.1 人工视觉系统的硬件构成 35

14、7.4.2 物体识别 1物体图像信息的输入 识别物体前需先将物体的有关信息输入到计算机内。被输入的信息主要有明亮度(灰度)信息、颜色信息和距离信息，这些信息都可用视觉传感器(ITV、CCD等)取得。 明亮度信息可借助AD转换器数字化成410比特，形成64X641024X1024像素组成的数字图像。然后将这些数字图像读入计算机。 颜色图像可用彩色摄像机摄入彩色图像，也可简单地用三原色滤光镜，以通过各滤光镜的光量比决定各点的颜色信息。362图像信息的处理技术和方法 输入的图像信息含有噪声，且并非每个像素都具有实际意义。因此，必须消除噪声，将全部像素的集合进行再处理，以构成为线段或区域等有效的像素组

15、合，从所需要的物体图像中去掉不必要的像素，这就是图像的前处理。 用一般的串行计算机处理二维图像，运算时间很长，为了缩短时间，可用专用图像处理器，这种处理器有局部并列型、完全并列型、流水线型、多处理器型等。 373物体图像的识别 首先输入被识别物体的图像模型，并抽出其几何形状特征，然后用视觉传感器输入物体的图像并抽出其几何形状特征，用比较判断程序比较两者的异同。 如果各几何形状特征相同，则该物体就是所需要的物体。 物体的几何形状特征一般是面积、周长、重心、最大直径、最小直径、孔的数量、孔的面积之和等等。这些几何量可根据图像处理所得到的线架图求得。 例如连杆的周长(像素数)如果与预先输入的连杆图像

16、的周长(像素数)相同，即可确认是连杆。若有 两个物体图像的某一几何特征(如周长)，其像素数相同，可对其上孔的数量或其它几何特征进行比较，从而确切识别出各种物体。38 4立体视觉 距离信息是处理三维图像不可缺少的，而距离计测多以三角原理进行处理。立体视觉使用两台视觉传感器，象人类的两眼组成立体视觉。 通过比较两台摄像机摄入的两个图像而找出其对应点，再从两个图像内的位置与两台摄像机几何位置的配置，决定相当于对应点对象物体上一点的距离信息。距离的检测也可使用一台视觉传感器和一台激光发射器，当测知角r、 及距离L时，即可运用三角原理计算出到被测物体上A点的距离。 397.5 视觉传感器应用实例40顾客

17、申请单光源CCD线型视觉传感器放大器自动誊写机纸打印机月票镜头月票自动发售机结构组成 7.5.1 月票自动发售机41景物CCD彩色视觉传感器扫描电路放大器A/D转换器压缩编码电动机磁带存储卡镜头分色镜数字摄像机基本结构 RGB7.5.2 数字摄像机42索尼DVD805E数字摄像机43数字摄像机(DV)的性能 44数码影视制作系统457.5.3 数码相机哈苏3900万像素数码相机千万像素的CMOS数码相机46景物分色镜CCD彩色视觉传感器取景器电路放大器ASIC集成电路A/D转换器CPU存储卡镜头RGB数码相机的基本结构 47数码相机的主要功能 1、镜头功能：把光线会聚到CCD或CMOS视觉传感

18、器上，起到调整焦距的作用。 2、CCD（CMOS）视觉传感器功能：把镜头传来的视觉信号转变为仿真电信号。 3、A/D转换器功能：利用A/D转换器将CCD产生的仿真电信号转换为数字信号，并传输到视觉处理单元。 4、数字信号处理器功能：通过一系列复杂的数学运算法，对数字视觉信号进行优化处理。 5、视觉压缩功能：利用JPEG编码器把得到的视觉转换为静止压缩的视觉(JPEG格式)。 6、总体控制电路功能：主控程序芯片(MCU)协调和控制测光、运算、曝光、闪光控制及拍摄逻辑控制。 7、AE功能和AF功能：在中高级的数码相机中，一般都含有AE功能和AF功能。 8、聚焦功能：数码相机的自动聚焦功能有主动式和被动式两种形式。 48数码相机的工作步骤 1、开机准备； 2、聚焦及测光；3、视觉捕捉； 4、视觉处理； 5、视觉存储； 6、视觉的输出。 49数码相机的成像原理50数码相机的像素和图象分辨率 传统胶卷相机将所拍摄的图象存储在胶卷上，而数码相机则是将所拍摄的图象以像素的形式存储在数码相机的内存或存储卡中。 像素是构成数码图象的最基本元素，它们是数码图象最基本的单位，数以千计的像素就构成了栩栩如生的数码图象。 图象分辨率决定着图象的细节水平和清晰度，像素越多，图象的分辨率就越高。由于构成一张数码图象的像素