机器视觉应用实例课件第一章

1、视视 觉觉 测测 量量主讲人：全燕鸣教授 博士生导师South China University of Technology本章要点： 1.1计算机视觉的发展与系统构成 1.2生物视觉简介 1.3Marr视觉理论框架 1.4计算机视觉应用领域及面临问题 1.5视觉测量系统与关键技术第一章 引论South China University of Technology什么是计算机视觉什么是计算机视觉呢？呢？South China University of Technology2、计算机视觉的研究目标 计算机视觉的研究目标是使计算机具有通过一幅或多幅图像认知 环境信息的能力。它不仅在于模拟人眼能完

2、成的功能，更重要的是它能完成人眼所不能胜任的。1、什么是计算机视觉 随着信号处理理论和计算机技术的发展，人们试图用摄像机获取环境图像并将其转换成数字信号，用计算机实现对视觉信息处理的全过程，这样就形成了一门新兴的学科计算机视觉。South China University of Technology视觉测量广泛应用于产品在线质量监控视觉测量广泛应用于产品在线质量监控、微电子器件的自动检测、各种磨具三、微电子器件的自动检测、各种磨具三维形状的测量及生产线线中机械手的定维形状的测量及生产线线中机械手的定位与瞄准。在检测领域有重要地位哦！位与瞄准。在检测领域有重要地位哦！3、视觉测量概念的提出从计算

3、机视觉概念和方法出发，将计算机视觉应用于空间几何尺 寸的精确测量和定位，从而产生了一种新的计算机视觉应用概念，视觉测量。视觉测量作为当今高新技术之一，在电子学、光学探测、图像处理和计算机技术不断成熟和完善的基础上得到了突飞猛进的 发展。South China University of Technology看一些实例看一些实例吧吧美国美国Perceptron公司研制的用于轿车公司研制的用于轿车车身生产的车身生产的Perceptron 1000型多传型多传感器视觉测量系统感器视觉测量系统 美国美国Faro公司产品公司产品South China University of Technology A

4、TOS便携式三维扫描仪便携式三维扫描仪South China University of Technology 英国英国3D Scanners公司的产品公司的产品South China University of Technology 很多大公司都给予视觉测量领域足够的重视很多大公司都给予视觉测量领域足够的重视和资金支持，以上是一些世界知名企业的视和资金支持，以上是一些世界知名企业的视觉测量产品。通过本课程的学习，我们会学觉测量产品。通过本课程的学习，我们会学习视觉测量的理论基础、当今视觉测量领域习视觉测量的理论基础、当今视觉测量领域的发展现状、以及对视觉测量产品的运用！的发展现状、以及对视觉

5、测量产品的运用！South China University of Technology1.11.1计算机视觉的发展与系统构成计算机视觉的发展与系统构成20世纪世纪50年代开始统计模式识别，工作主要集中在二维图像分析、识别和理解上。年代开始统计模式识别，工作主要集中在二维图像分析、识别和理解上。如：字符识别、工件表面、显微图片和航空照片的分析解释如：字符识别、工件表面、显微图片和航空照片的分析解释60年代，年代，Roberts开创了以理解三维场景为目标的三维计算机视觉的研究（开创了以理解三维场景为目标的三维计算机视觉的研究（Roberts提出了所谓的提出了所谓的“积木世界积木世界”说法）说法）

6、70年代，出现了一些计算机视觉应用系统年代，出现了一些计算机视觉应用系统80年代，年代，Marr教授提出了教授提出了Marr视觉理论，该理论成为视觉理论，该理论成为20世纪世纪80年代计算机视觉研年代计算机视觉研究领域中的一个十分重要的理论框架究领域中的一个十分重要的理论框架80年代中期，计算机视觉获得了迅速发展，主动视觉理论框架、给予感知特征群的年代中期，计算机视觉获得了迅速发展，主动视觉理论框架、给予感知特征群的物体识别理论框架等新概念、新方法、新理论不断涌现物体识别理论框架等新概念、新方法、新理论不断涌现90年代，计算机视觉在工业环境中得到广泛应用，同时基于多视几何的视觉理论得年代，计算

7、机视觉在工业环境中得到广泛应用，同时基于多视几何的视觉理论得到迅速发展到迅速发展South China University of Technology计算机视觉系统构成计算机视觉系统构成计算机视觉系统一般以计算机为中心，主要有视觉传感器、高速图像采集系统及专用图像处理系统等模块构成，如图所示：标准总线视觉传感器高速图像采集 系统专用图形处理 系统计算机视频输入图像处理图像数据控制总线PIC标准总线South China University of Technology（1）视觉传感器视觉传感器：视觉传感器是整个计算机视觉系统信息的直接来源，主要由一个或两个图像传感器组成，有时还要配以光投射器

8、及其它辅助设备。主要功能是获取足够的计算机视觉系统要处理的最原始图像。常用的图像传感器：激光传感器常用的图像传感器：激光传感器、线阵和面阵、线阵和面阵CCD摄像机或摄像机或TV摄像机、数字摄相机摄像机、数字摄相机。South China University of Technology选择合适的光源对于获选择合适的光源对于获取清晰图像非常重要，取清晰图像非常重要，让我们认识一些常用的让我们认识一些常用的光源：光源：South China University of Technology （2）高速图像采集系统高速图像采集系统：由专用视频解码器、图像缓冲器以及控制接口电路组成。主要功能是适时地将

9、视觉传感器获取的模拟视频信号转换为数字图像信号，并将图像直接传送给计算机进行显示和处理，或者将数字图像传送给专用图像处理系统进行视觉信号的实施前段处理。随着逻辑门阵列FPGA芯片的出现，使得大多数高速图像采集系统只需由几个芯片就可以完成。 图像采集系统与计算机的接口采用工业标准总线，如ISA、VME、PCI等。 South China University of Technology (3)专用图像处理系统专用图像处理系统：是计算机的辅助处理器，主要采用专用集成芯（ASIC)、数字信号处理器（DSP)或者FPGA等设计的全硬件处理器，可以实时高速完成各种低级图像的处理算法，减轻后端计算机的处理

10、负荷，提高整个视觉系统的速度。它与计算机之间的通信可以采用标准总线接口、串行通信总线接口或者网络通信等方式。South China University of Technology （4）计算机计算机：计算机是整个计算机视觉系统的核心，它除了控制整个系统的各个模块的正常运行外，还承担着视觉系统的最后结果运算和输出。由图像采集系统输出的数字图像可以直接传送到计算机，有计算机采用纯软件方式完成所有的图像处理和其他运算。如果纯软件处理能够满足视觉系统的要求，就不需专用硬件处理系统出现在计算机视觉系统。South China University of Technology小结小结 随着计算机视觉的飞

11、速发展，二维视觉处理已从二值视觉随着计算机视觉的飞速发展，二维视觉处理已从二值视觉系统发展为灰度视觉系统，并达到实用。在三维视觉信息获系统发展为灰度视觉系统，并达到实用。在三维视觉信息获取上，也取得了巨大的进步，并且由于实现思想和条件的不取上，也取得了巨大的进步，并且由于实现思想和条件的不同，产生了相应的诸多方法，从一定程度上克服了自然环境同，产生了相应的诸多方法，从一定程度上克服了自然环境的限制，进一步扩大了计算机视觉的应用领域。的限制，进一步扩大了计算机视觉的应用领域。South China University of Technology1.21.2生物视觉简介生物视觉简介生物视觉通路如

12、下图所示：经视网膜中的神经节细胞经视网膜中的神经节细胞加工后传出视网膜加工后传出视网膜上丘物体可见光光学系统光学系统在眼底视网膜上形成物象杆体和锥体杆体和锥体感光细胞感光细胞神经信号视束丘脑外膝体视皮层1.2.1 生物视觉通路South China University of Technology视觉第一通路视觉第一通路：神经节细胞轴突在外膝体患神经元后，由外膝体神经元直接经到视放线到视皮层，这是视束的大部分纤维去向，称为第一视觉通路。神经信号主要是通过视觉第一视通路到达视皮层，在视觉过程中起着主要作用视觉第二通路视觉第二通路：视束的一小部分纤维走向内方，经上丘臂到达上丘和顶盖前区。上丘浅层神

13、经元投射到丘脑枕换元后，再投射到视皮层，上丘还有纤维直接透射到视皮层。由于这条通路不经过外膝体，故称为视觉第二通路。第二视觉视通路的作用极其微小。South China University of Technology由视觉视通路可以看到，眼、外膝体与视皮层构成了对视觉信息处由视觉视通路可以看到，眼、外膝体与视皮层构成了对视觉信息处理的三个基本层次。进一步分析表明，外膝体与视皮层有着更为复理的三个基本层次。进一步分析表明，外膝体与视皮层有着更为复杂的分块结构（尤其是视皮层）。分块表明了视觉信息处理的并行杂的分块结构（尤其是视皮层）。分块表明了视觉信息处理的并行性，不同区域的是神经细胞具有不同的

14、功能；分层表明了视觉信息性，不同区域的是神经细胞具有不同的功能；分层表明了视觉信息处理的串行性。因此，生物视觉系统是一个串行并行处理相结合的处理的串行性。因此，生物视觉系统是一个串行并行处理相结合的复杂系统。复杂系统。South China University of Technology1.2.2 感受野的分层等级假设视觉通路上各层次的神经细胞，由简单到复杂，它们所处理的信息，分别对应于视网膜上的一个局部区域，层次越深入，该区域就越大，这就是著名的感受野与感受野等级假设。感受野是支持视觉信息分层串行处理的最重要的生理学证据。以信息处理的第一级为例，视网膜上的神经节细胞将感光细胞上接收到的光信

15、号转换成电信号再由它的轴突传出，但每一个GC细胞只能接收视网膜上一个局部区域的信号，该区域就是GC的感受野。GC感受野及其对光信号的转换作用分为：感受野及其对光信号的转换作用分为：1、对空、对空间亮度变化敏感的感受野。间亮度变化敏感的感受野。2、对时间变化敏感的、对时间变化敏感的Y型细胞。型细胞。South China University of Technology1.2.3 视觉信息的并行处理感受野的等级假设与局部性质主要支持视觉信息处理的自下而上的分层次串行处理，然而视觉系统的任务不是单一的，它要识别物体的形状和颜色，要得到三维物体的深度信息，要检测物体的方位和运动参数等等。因此，视觉通

16、路的各个层次上存在着基本互相独立的并行通道，分别完成不同的视觉任务。South China University of Technology视觉信息的处理是一个串行与并行相结合的复杂信息处理过程，但目前被人们认知的仅仅是一小部分，从信息处理角度看，迄今对大多数的处理单元的知识还非常有限，只知道这个单元对某种信息“敏感”，而信息是如何表征的、如何变换的，则仍不清楚，尤其是较高层信息的处理。South China University of Technology1.3 Marr1.3 Marr视觉理论框架视觉理论框架1.3.1 视觉系统研究的三个层次要素要素名称名称含义和所解决的问题含义和所解决的

17、问题1计算理论什么是计算目的，为什么要这样计算2表达和算法怎样实现计算理论，什么是输入输出表达，用什么算法实现表搭建的转换3硬件实现怎样在物理上实现表达和算法，什么是计算结构的具体细节South China University of Technology1.3.2 视觉信息处理的三个阶段早期视觉早期视觉处理处理中期视觉中期视觉处理处理后期视觉后期视觉处理处理图像图像3D描述描述要素图要素图2.5维图维图由图像恢复形状信息的表达框架由图像恢复形状信息的表达框架名称目的基元图像亮度表示图像中每一点的亮度值基元图表是二维图像中的重要信息，主要是图像中的亮度变化位置及其几何分布和组织结构零交叉，斑点

18、，端点和不连续点，边缘，有效线段，组合群，曲线组织，边界2.5维图在以观测者为中心的坐标中，表示可见表面的方向、深度值和不连续的轮廓局部表面朝向（“针”基元）；离观测者的距离；深度上的不连续点；表面朝向的不连续点3维模型表示 在以物体为中心的坐标中，用由体积基元和面积基元构成的模块化多层次表示，描述形状及其空间组织形式分层次组成若干三维模型，每个三维模型都是在几个轴线空间的基础上构成的，所有体积基元或面积形状基元都附着在轴线上South China University of TechnologyMarr视觉理论的不足之处：1、框架中输入是被动的，给什么图像，系统就处理什么图像；2、框架中加工

19、目的不变，总是恢复场景中物体的位置和形状等；3、框架缺乏或者说为足够重视高层知识的指导作用；4、整个框架中信息加工过程基本自下而上，单向流动，没有反馈。改进的Marr框架：图像获取早期处理中期处理后期处理高层知识视觉目的反馈South China University of Technology1.4 1.4 计算机视觉应用领域及面临问题计算机视觉应用领域及面临问题1、工业自动化生产线应用：产品检测、工业探伤、自动焊接等；2、各类检验和监视应用：标签文字标记检查，邮政自动化，显微医学操作等；3、视觉导航应用。巡航导弹制导、无人驾驶飞机飞行、自动行驶车辆等；4、图像自动解释应用：对放射图、显微图

20、像、医学图像、遥感多波段图 1 像等进行自动判读理解；5、人机交互应用：人脸识别、智能代理等；6、虚拟现实应用：飞机驾驶员训练、医学手术模拟、场景建模等。计算机视觉的优点：计算机视觉的优点：1、最大优点是与被测对象的无接触2、所能观测的对象十分广泛3、计算机视觉不知疲劳，始终如一观测1.4.1计算机视觉应用领域：South China University of Technology建立人类视觉的计算理论，并进而建成可与人类视觉系统相比拟的通用视觉系统是计算机视觉研究的最终目标。1.4.2 计算机视觉面临的问题：1、如何准确、高速（实时）地识别出目标；2、如何有效的增大存储容量，以便容纳下足够

21、细节的目标图像；3、如何有效的构造和组织处可靠的识别算法，并且顺利地实现计算机视觉与人的视觉能力比较计算机视觉与人的视觉能力比较能力计算机视觉人的视觉测距能力有限定量估计定方向定量计算定量估计运动分析定量分析，但受限制定量分析检测边界区域对噪声比较敏感定量、定性分析图像形状受分割、噪声制约高度发达图像机构需要专用软件，能力有限高度发达阴影初级水平高度发达二维解释对分割完善的目标能较好解释高度发达三维解释较为低级高度发达总的能力最适合于结构环境的定量测量最适合于复杂的、非结构化环境的定量解释计算机视觉与人的视觉性能标准比较计算机视觉与人的视觉性能标准比较性能标准计算机视觉人的视觉分辨率能力有限定量估计处理速度零点几秒/每帧图像定量估计处理方式串行处理，部分并行处理每只眼睛每秒处理（实时）1010空间数据视觉功能二维、三维立体视觉有限自然形式三维立体视觉感光范围紫外线、红外线