视觉检测技术

视觉检测技术

因此，能够模拟生物宏观视觉功能的视觉传感器逐渐得到越来越多的关注。近些年来，随着计算机技术和自动化技术的迅猛发展，计算机视觉理论发展极为迅速，视觉传感器以及视觉检测与控制系统不断在各个领域得到广泛应用，并成为当今科学技术研究领域的—个重要发展方向。第2页,共81页，2024年2月25日，星期天

本章在对视觉检测技术进行全面概括的基础上，重点讲述视觉传感器、数字图像检测与处理的基本理论，并以机器人视觉系统和自动调焦系统为例，说明视觉检测系统在实际中的应用。

第3页,共81页，2024年2月25日，星期天

6.1视觉检测技术概述

6.1.1视觉检测及特点

视觉检测的基本任务就是要实现物体几何尺寸的精确检测或对物体完成精确定位。视觉检测技术就是利用图像检测器件(如CCD摄像器件)采集图像，并用计算机模拟人眼的视觉功能，从图像或图像序列中提取信息，对客观世界的三维景物和物体进行形态和运动识别。视觉检测的目的之一就是要寻找人类视觉规律，而开发出从图像输入到自然景物分析的图像理解系统。视觉检测具有非接触、动态响应快、量程大、可直接与计算机联接等优点，视觉检测所能检测的对象十分广泛，可以说对对象是不加选择的。第4页,共81页，2024年2月25日，星期天6.1.2视觉检测系统的组成

视觉检测系统的构成如图所示。狭义的视觉传感器可以只包括摄像器件，广义的视觉传感器除了镜头和摄像器件外，还可以包括光源、图像存储体和微处理器等部分集成在一起的数字器件。第5页,共81页，2024年2月25日，星期天一、光源1.光源的选择

用于视觉检测的光源应满足以下几点要求：（1）照度要适中（2）亮度要均匀（3）亮度要稳定（4）不应产生阴影（5）照度可调

2.光源的照明方式光源的照明一般有以下几种方式：

(1)漫反射照明方式、(2)透射照明方式、(3)结构光照明方式、(4)定向照明方式，如图6.1所示。第6页,共81页，2024年2月25日，星期天第7页,共81页，2024年2月25日，星期天二、镜头

1.镜头的作用（1）成像功能（2）聚焦功能（3）变焦功能

2.镜头的技术指标

(1)焦距(2)光圈(3)安装方式

3.镜头的种类

按照焦距大小可以分为广角镜头、标准镜头、长焦距镜头；按变焦方式可以分为固定焦距镜头、手动变焦距镜头、电动变焦距镜头；按光圈方式可以分为固定光圈镜头、手动变光圈镜头、自动变光圈镜头；按安装方式可以分为普通安装镜头、隐蔽安装镜头。第8页,共81页，2024年2月25日，星期天三、图像存储体图像存储体可以分为外置式和内置式两种。外置式图像存储体为独立单元，它一般单独供电，功能较为全面，可以适用于微机系统、笔记本电脑、微处理器和可编程控制器等，成本也较高。

内置式图像存储体一般为卡式结构，称为图像卡，可以直接插入计算机扩展槽内，使用方便、成本低，并可以充分利用计算机的软硬件资源。第9页,共81页，2024年2月25日，星期天6.1.3计算机视觉

一、计算机视觉：用计算机来模拟人的视觉机理获取和处理信息的能力。

二、计算机视觉要达到的目的：

1.根据一幅或多幅二维投影图像计算出观察点到目标物体的距离。

2.根据一幅或多幅二维投影图像计算出目标物体的运动参数。

3.根据一幅或多幅二维投影图像计算出目标物体的表面物理性质。第10页,共81页，2024年2月25日，星期天4.根据多幅二维投影图像恢复出更大空间区域的投影图像。计算机视觉要达到的最终目的是实现利用计算机对于三维景物世界的理解，即实现人的视觉系统的某些功能。计算机视觉研究的本质问题就是利用二维投影图像来重构三维物体的可视部分。第11页,共81页，2024年2月25日，星期天

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼，对目标进行识别、跟踪和测量的机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。三、实现计算机视觉的途径

1.仿生学方法2.工程方法摄像器件称为视觉传感器。它的作用相当于人眼的视网膜。摄像器件的主要作用是将镜头所成的像转变为数字或模拟电信号输出。它是视觉检测的核心部件。第12页,共81页，2024年2月25日，星期天6.2视觉传感器

6.2.1CCD的基本工作原理

CCD（电荷耦合元件）有两种基本类型：一是电荷包存储在半导体与绝缘体之间的界面，并沿界面传输，这类器件称为表面沟道

CCD(SCCD)；二是电荷包存储在离半导体表面一定深度的体内，并在半导体内沿一定方向传输，这类器件称为体沟道或埋沟道器件(BCCD)。

第13页,共81页，2024年2月25日，星期天基于CCD光电耦合器件的输入设备：数字摄像机、数字相机、平板扫描仪、指纹机等。CCD光电耦合器件的发展促进了各种视频装置的普及和微型化，应用遍及航天、遥感、天文、通讯、工业、农业、军用等各个领域。第14页,共81页，2024年2月25日，星期天一、CCD光敏元件工作原理

CCD基本结构图

第15页,共81页，2024年2月25日，星期天

电荷藕合器件图像传感器CCD（ChargeCoupledDevice），它使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成数字信号，数字信号经过压缩以后由相机内部的闪速存储器或内置硬盘卡保存，因而可以轻而易举地把数据传输给计算机，并借助于计算机的处理手段，根据需要和想像来修改图像。

CCD由许多感光单位组成，通常以百万像素为单位。当CCD表面受到光线照射时，每个感光单位会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。第16页,共81页，2024年2月25日，星期天CCD和传统底片相比，CCD更接近于人眼对视觉的工作方式。只不过，人眼的视网膜是由负责光强度感应的杆细胞和色彩感应的锥细胞，分工合作组成视觉感应。CCD经过长达42年（1969贝尔）的发展，大致的形状和运作方式都已经定型。CCD的组成主要是由一个类似马赛克的网格、聚光镜片以及垫于最底下的电子线路矩阵所组成。目前有能力生产CCD的公司分别为：SONY、Philips、Kodak、Matsushita、Fuji和Sharp，大半是日本厂商。第17页,共81页，2024年2月25日，星期天CCD是以电荷作为信号，而不同于其他大多数器件是以电流或者电压为信号，其基本功能是信号电荷的产生、存储、传输和检测。当光入射到CCD的光敏面时．CCD首先完成光电转换．即产生与入射光辐射量成线性关系的光电荷。CCD的工作原理是被摄物体反射光线到CCD器件上．CCD根据光的强弱积聚相应的电荷．产生与光电荷量成正比的弱电压信号，经过滤波、放大处理，通过驱动电路输出一个能表示敏感物体光强弱的电信号或标准的视频信号。第18页,共81页，2024年2月25日，星期天2024/5/1光敏元件阵列CCD图像传感器

光电转换光学图像

电信号图像

¦¦光强空间

电荷空间分布分布电荷耦合器件CCD电荷转移器件：CTDCTD：ChargeTransferDevice电信号图像的读取与输出CCD：ChargeCoupledDevice类似：移位寄存器的移位功能二、如何获取图像信息？第19页,共81页，2024年2月25日，星期天2024/5/11、光敏元件阵列——获取光像信息半导体的光电效应光生电子-空穴对——普朗克常数——入射光频率——禁带宽度第20页,共81页，2024年2月25日，星期天光积分光电荷数量

光照强度、光积分时间光敏元件阵列的结构像素1像素2像素3像素4像素5光生电子光像信息电荷空间分布第21页,共81页，2024年2月25日，星期天势阱：加偏压后在金属电极下形成的深耗尽区2、电荷存储：

输入二极管S

输出二极管D耗尽区：电极加正偏压后形成的无空穴的区域耗尽区

——势阱内存储少子电荷包电荷包：少子填充势阱少子（电子）被吸引到最高正偏压电极下电荷包第22页,共81页，2024年2月25日，星期天2024/5/1注：势阱的深度随正偏压升高而加大，势阱的宽度取决于金属电极的宽度。

第23页,共81页，2024年2月25日，星期天当光信号照射到CCD硅片表面时，能量高于半导体禁带宽度的那些光子，作用到电极附近的耗尽区，使耗尽区界面附近产生电子一空穴对。在栅极电压作用下，多数载流子（空穴）被排斥进入衬底，而电子被收集在势阱里，形成信号电荷并存储起来，存储电荷多少正比于照射的光强。3、电荷的产生与存储过程：第24页,共81页，2024年2月25日，星期天2024/5/1一个MOS结构元为MOS光敏元或一个像素，把一个势阱所收集的光生电子称为一个电荷包；CCD器件内是在硅片上制作成百上千的MOS元，每个金属电极加电压就形成成百上千个势阱，产生成百上千的电荷包；如果照射在这些光敏元上是一幅明暗起伏的图象，那么这些光敏元就感生出一幅与光照度响应的光生电荷图象。这就是电荷耦合器件的光电物理效应基本原理。第25页,共81页，2024年2月25日，星期天2024/5/1三、电荷耦合器信号输出输出结构：

在输出端P型硅衬底上扩散形成输出二极管，二极管加反压，在PN结形成耗尽层。输出栅UOG加压使电荷转移到二极管的耗尽区，作为二极管的少数载流子形成反向电流输出。输出电流的大小与电荷大小成正比，通过负载变为电压输出。

第26页,共81页，2024年2月25日，星期天2024/5/1光敏元曝光时——光积分，金属电极加正向脉冲电压φp，光敏元吸收光生电荷，积累很快结束；转移控制栅加转移脉冲φT，转移控制栅打开，光敏元俘获的光生电荷经转移控制栅耦合到移位寄存器；这是一并行输出过程，转移栅关闭；接着三个时钟脉冲Φ1Φ2Φ3工作，读出移位寄存器的输出端Ga一位位输出信息，这一过程是一串行输出过程。单沟道CCD结构电荷输出控制波形总结：第27页,共81页，2024年2月25日，星期天2024/5/1总结：第28页,共81页，2024年2月25日，星期天2024/5/1尺寸检测第29页,共81页，2024年2月25日，星期天二、电荷转移原理

CCD转移电压CCD电荷转移原理

第30页,共81页，2024年2月25日，星期天三、CCD的输入－输出结构

1.电荷注入2.电荷输出

四、CCD的特性参数

1.转移效率和转移损失率

2.工作频率

6.2.2CCD器件

视觉检测系统采用的摄像机分为电子管式摄像机和固体器件摄像机CCD两种。CCD是利用内光电效应由单个光敏元件构成的集成化光电传感器。它集电荷存贮、移位和输出为一体。应用于成像技术、数据存贮和信号处理电路等。

第31页,共81页，2024年2月25日，星期天一、CCD线阵摄像器件工作原理。

线阵列固体摄像器件基本结构简图如图所示。线型CCD摄像器件有两种基本形式：一是单沟道线型ICCD，另一是双沟道线阵ICCD。

第32页,共81页，2024年2月25日，星期天

扫描仪

线型CCD图像传感器复印机第33页,共81页，2024年2月25日，星期天二、面阵ICCD

场传输面阵CCD和行传输面型CCD结构原理如图。

第34页,共81页，2024年2月25日，星期天2024/5/1数码相机摄像机

面型CCD图像传感器第35页,共81页，2024年2月25日，星期天三、ICCD的基本特性参数

1.转换特性

2.动态范围

3.分辨率

6.2.3光电位置传感器(PSD)

光电位置传感器（PSD）是一种对入射到光敏面上的光点位置敏感的光电器件，其输出信号与光点在光敏面上的位置有关。它利用半导体的横向光电效应来测量入射点的位置。目前在光学定位、跟踪、位移、角度测量和虚拟现实设备中获得了广泛的应用。

PSD分为一维和二维两种类型。第36页,共81页，2024年2月25日，星期天一、一维PSD的工作原理

图是PSD的断面结构示意图。二、二维PSD的工作原理

二维PSD输出信号和光点位置之间关系如图所示。第37页,共81页，2024年2月25日，星期天PSD具有以下几个特点：

1.响应速度高；

2.位置分辨率高；

3.位置输出与光点强度及尺寸无关，只与其入射光点的位置有关；

4.可同时检测入射光点的强度和位置，将输出信号进行运算处理后可得到位置输出信号，而将所有信号电极的输出相加后得到与入射光强成正比的输出。第38页,共81页，2024年2月25日，星期天6.3

数码照相机

数码照相机又称数字照相机，随着电脑的普及对电脑图像处理技术的认同，数码照相机在视觉检测方面得到了广泛的应用。

6.3.1数码照相机的特点

1.用途的多样性2.直接数字化

3.无污染4.即拍即显

5.图、声同时记录6.多样呈现

7.快速远距离传送8.应用灵活性大

9.正常消耗低第39页,共81页，2024年2月25日，星期天6.3.2数码照相机的组成原理一、数码照相机的组成原理

数码照相机主要由光学镜头、感光传感器（CCD或CMOS）、模数转换器（A/D）、图像处理器（DSP）、图像存储器（Memory）、液晶显示器（LCD）、端口、电源和闪光灯等组成。数码照相机是利用光电传感器(CCD或CMOS)的图像感应功能，将物体反射的光转换为数码信号，经压缩后储存于内建的存储器上。第40页,共81页，2024年2月25日，星期天第41页,共81页，2024年2月25日，星期天第42页,共81页，2024年2月25日，星期天第43页,共81页，2024年2月25日，星期天第44页,共81页，2024年2月25日，星期天第45页,共81页，2024年2月25日，星期天第46页,共81页，2024年2月25日，星期天第47页,共81页，2024年2月25日，星期天第48页,共81页，2024年2月25日，星期天第49页,共81页，2024年2月25日，星期天第50页,共81页，2024年2月25日，星期天其组成框图如示。第51页,共81页，2024年2月25日，星期天二、主要部件及技术参数

1.镜头

2.快门

3.存储器件

4.分辨率

5.色彩位数

6.信号输出形式

（计算机图形学领域表示在位图或者视频帧缓冲区中储存1像素的颜色所用的位数，它也称为位/像素（bpp）。色彩深度越高，可用的颜色就越多。）6.3.3数码照相机的发展

照相机的设计方向是轻、细、灵及快。

第52页,共81页，2024年2月25日，星期天6.4数字图像处理基础

6.4.1图像处理概述

一、图像的含义图像是指景物在某种成像介质上再现的视觉信息，图像是具有特定信息的某种集合体，本质上可认为图像是数据的集合。二、象素和灰度

象素是计算机屏幕上所能显示的最小单位。用来表示图像的单位。灰度使用黑色调表示物体。每个灰度对象都具有从0%（白色）到100%（黑色）的亮度值。第53页,共81页，2024年2月25日，星期天

灰度与像素的关系一般，像素值量化后用一个字节（8b）来表示。如把有黑-灰-白连续变化的灰度值量化为256个灰度级，灰度值的范围为0～255，表示亮度从深到浅，对应图像中的颜色为从黑到白。三、图像的分类

1.灰度图像按灰度分类有二值图像和多灰度图像，多层次灰度图像按应用的不同，有各种不同的灰度层次。

第54页,共81页，2024年2月25日，星期天

2.色彩图像按照色彩分类，可分为单色图像和彩色图像。

3.运动分类按照运动分类，图像可分为静态图像和动态图像。

4.按时空分布分类按时空分布分类，图像可分为二维图像（平面图像）和三维图像(立体图像)。

四、常用的图像处理方法

1.光信息处理2.电学模拟处理

3.数字处理4.光学—计算机混合处理

第55页,共81页，2024年2月25日，星期天五、数字图像处理及研究的主要内容

数字图像处理的基本构成如图所示。

第56页,共81页，2024年2月25日，星期天6.4.2图像数字化及图像变换

一、图像数字化将连续色调的模拟图像经采样量化后转换成数字影像的过程。

二、图像变换图像变换如下：

第57页,共81页，2024年2月25日，星期天6.4.3图像数据压缩与编码图像编码与压缩从本质上来说就是对要处理的图像源数据按一定的规则进行变换和组合，从而达到以尽可能少的代码来表示尽可能多的数据信息。压缩通过编码来实现，或者说编码带来压缩的效果。所以，一般把此项处理称之为压缩编码。一、图像数据压缩与编码的必要性和可能性

第58页,共81页，2024年2月25日，星期天二、图像数据压缩与编码的分类

1.若以信息保真为出发点可分为

(1)冗余度压缩法(2)熵压缩法

2.若以具体编码技术为出发点可分为

第59页,共81页，2024年2月25日，星期天6.4.4图像增强和图像复原一、图像增强将原来不清晰的图像变得清晰或强调某些关注的特征，抑制非关注的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果的图像处理方法。

第60页,共81页，2024年2月25日，星期天

增强图象中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。

第61页,共81页，2024年2月25日，星期天

图像增强可分成两大类：频率域法和空间域法。前者把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。采用低通滤波（即只让低频信号通过）法，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。具有代表性的空间域算法有局部求平均值法和中值滤波（取局部邻域中的中间像素值）法等，它们可用于去除或减弱噪声。第62页,共81页，2024年2月25日，星期天

二、图像恢复

图像恢复是通过计算机处理，对质量下降的图像加以重建或恢复的处理过程。因摄像机与物体相对运动、系统误差、畸变、噪声等因素的影响，使图像往往不是真实景物的完善映像。在图像恢复中，需建立造成图像质量下降的退化模型，然后运用相反过程来恢复原来图像，并运用一定准则来判定是否得到图像的最佳恢复。第63页,共81页，2024年2月25日，星期天6.4.5数字图像分析

数字图像分析是图像处理的高级阶段，它所研究的是使用机器分析和识别周围物体的视觉图像，从而可得出结论性的判断，也叫图像识别。一、图像分割图像分割的方法大致可以分为基于边缘检测的方法和基于区域生成的方法两大类。第64页,共81页，2024年2月25日，星期天1.边缘检测使用数学方法提取图像像元中具有亮度值（灰度）空间方向梯度大的边、线特征的过程。

2.区域生长法

区域生长（regiongrowing）是指将成组的像素或区域发展成更大区域的过程。从种子点的集合开始，这些点的区域增长是通过将与每个种子点有相似属性像强度、灰度级、纹理颜色等的相邻像素合并到此区域。它是一个迭代的过程，这里每个种子像素点都迭代生长，直到处理过每个像素，因此形成了不同的区域，这些区域它们的边界通过闭合的多边形定义。第65页,共81页，2024年2月25日，星期天

二、图像特征提取图像特征是指图像的原始特征或属性。要使计算机具有识别的本领，就要得到图像的各种特征，称之为图像特征提取。

1.纹理特征提取

2.形状特征提取

6.4.6图像理解图像理解的研究涉及或包含研究获取图像的方法、装置和具体应用的实践，形成了所谓的计算机视觉。

第66页,共81页，2024年2月25日，星期天

一、图像理解的特点

1.分阶段的信息处理带来了信息的多层表示。

2.对图像的解释，是以某种形式的描述实现的。

3.图像的正确解释离不开知识的引导，这一点对人的视觉理解也适合，即经验对视觉理解的重要性。二、应考虑的几个重要问题

1.从图像中提取哪些信息。

2.这些信息在图像中怎样表示。

3.在理解过程中计算机必须具有哪些知识。

4.最合适的图像处理程序是什么。

5.知识以及各个阶段图像处理的结果如何表示。

第67页,共81页，2024年2月25日，星期天6.5视觉检测技术应用

6.5.1视觉检测技术应用概述

1.工业上的应用2.各类检验、监视中的应用

3.商业上的应用4.遥感方面的应用

5.医疗方面的应用6.军事方面的应用

6.5.2机器人视觉系统

机器人就是由计算机控制的能模拟人的感觉、动作和具有自动行走能力而又足以完成有效工作的装置。而对特殊的机器人来说，视觉系统是机器人在危险环境中自主规划，完成复杂的作业所必不可少的。它可分为六个主要部分：传感、预处理、分割、描述、识别以及知识表达和解释。第68页,共81页，2024年2月25日，星期天一、机器人视觉系统的组成其总体结构如图所示，系统由硬件和软件两大部分组成。

第69页,共81页，2024年2月25日，星期天

1.硬件组成及完成功能如下：

(1)景物和距离传感器：常用的有摄像机、CCD像和超声波传感器、结构化设备。

(2)视频信号数字化设备：它是把摄像机、CCD像传感器输出的全电视信号转化成计算机方便使用的数字信号。

(3)视频信号快速处理器：完成视频信号实时、快速、并行算法的硬件实现，包括systolic结构、基于DSP的快速处理器及PIPE视觉处理机。

(4)计算机及其外部设备：根据系统的需要可以选用不同的计算机及其外部设，来满足机器人视觉信息处理及机器