机器视觉应用实例课件第一章

1、视 觉 测 量主讲人：全燕鸣教授(jioshu) 博士生导师共三十一页本章要点： 1.1计算机视觉的发展与系统构成 1.2生物视觉简介 1.3Marr视觉理论框架(kun ji) 1.4计算机视觉应用领域及面临问题 1.5视觉测量系统与关键技术第一章 引论(yn ln)共三十一页什么(shn me)是计算机视觉呢？让我们先来了解一些(yxi)基础概 念，做好本课程学习的准备工作！共三十一页2、计算机视觉的研究目标 计算机视觉的研究目标是使计算机具有通过一幅或多幅图像认知 环境信息的能力。它不仅在于(ziy)模拟人眼能完成的功能，更重要的是它能完成人眼所不能胜任的。1、什么是计算机视觉 随着信号

2、处理理论和计算机技术的发展，人们试图用摄像机获取(huq)环境图像并将其转换成数字信号，用计算机实现对视觉信息处理的全过程，这样就形成了一门新兴的学科计算机视觉。共三十一页视觉测量(cling)广泛应用于产品在线质量监控、微电子器件的自动检测、各种磨具三维形状的测量(cling)及生产线线中机械手的定位与瞄准。在检测领域有重要地位哦！3、视觉测量概念的提出从计算机视觉概念和方法出发，将计算机视觉应用于空间几何尺 寸的精确测量和定位，从而产生了一种新的计算机视觉应用概念，视觉测量。视觉测量作为(zuwi)当今高新技术之一，在电子学、光学探测、图像处理和计算机技术不断成熟和完善的基础上得到了突飞猛

3、进的 发展。共三十一页看一些(yxi)实例吧美国Perceptron公司研制的用于轿车车身(ch shn)生产的Perceptron 1000型多传感器视觉测量系统 美国Faro公司产品共三十一页 ATOS便携式三维扫描仪共三十一页 英国(yn u)3D Scanners公司的产品共三十一页 很多大公司都给予视觉测量领域足够的重视和资金支持，以上(yshng)是一些世界知名企业的视觉测量产品。通过本课程的学习，我们会学习视觉测量的理论基础、当今视觉测量领域的发展现状、以及对视觉测量产品的运用！共三十一页1.1计算机视觉的发展与系统(xtng)构成20世纪50年代开始统计模式识别，工作主要集中在

4、二维图像分析、识别和理解上。如：字符识别、工件表面、显微图片和航空照片的分析解释60年代，Roberts开创了以理解三维场景为目标的三维计算机视觉的研究（Roberts提出了所谓的“积木世界”说法）70年代，出现了一些计算机视觉应用系统80年代，Marr教授提出了Marr视觉理论，该理论成为20世纪80年代计算机视觉研究领域中的一个十分重要的理论框架80年代中期，计算机视觉获得了迅速发展，主动视觉理论框架、给予感知特征群的物体识别理论框架等新概念、新方法、新理论不断涌现90年代，计算机视觉在工业环境中得到广泛应用，同时基于多视几何的视觉理论得到迅速发展共三十一页计算机视觉系统(xtng)构成计

5、算机视觉系统一般以计算机为中心，主要有视觉传感器、高速图像采集系统及专用图像处理系统等模块构成，如图所示：标准总线共三十一页（1）视觉传感器：视觉传感器是整个计算机视觉系统信息(xnx)的直接来源，主要由一个或两个图像传感器组成，有时还要配以光投射器及其它辅助设备。主要功能是获取足够的计算机视觉系统要处理的最原始图像。常用的图像传感器：激光(jgung)传感器、线阵和面阵CCD摄像机或TV摄像机、数字摄相机。共三十一页选择合适的光源对于获取(huq)清晰图像非常重要，让我们认识一些常用的光源：共三十一页 （2）高速图像采集系统：由专用视频解码器、图像缓冲器以及控制接口电路组成。主要功能是适时地

6、将视觉传感器获取的模拟视频信号转换为数字图像信号，并将图像直接传送给计算机进行(jnxng)显示和处理，或者将数字图像传送给专用图像处理系统进行(jnxng)视觉信号的实施前段处理。随着逻辑门阵列FPGA芯片的出现，使得大多数高速图像采集系统只需由几个芯片就可以完成。 图像采集系统与计算机的接口采用工业标准总线，如ISA、VME、PCI等。 共三十一页 (3)专用图像处理系统：是计算机的辅助处理器，主要采用专用集成芯（ASIC)、数字信号处理器（DSP)或者FPGA等设计的全硬件处理器，可以实时高速完成各种低级图像的处理算法，减轻后端计算机的处理负荷，提高整个视觉系统的速度。它与计算机之间的通

7、信可以采用标准总线(zn xin)接口、串行通信总线(zn xin)接口或者网络通信等方式。共三十一页 （4）计算机：计算机是整个计算机视觉系统的核心，它除了控制整个系统的各个模块的正常运行外，还承担着视觉系统的最后结果运算和输出。由图像采集系统输出的数字图像可以直接传送到计算机，有计算机采用(ciyng)纯软件方式完成所有的图像处理和其他运算。如果纯软件处理能够满足视觉系统的要求，就不需专用硬件处理系统出现在计算机视觉系统。共三十一页小结 随着计算机视觉的飞速发展，二维视觉处理(chl)已从二值视觉系统发展为灰度视觉系统，并达到实用。在三维视觉信息获取上，也取得了巨大的进步，并且由于实现思想

8、和条件的不同，产生了相应的诸多方法，从一定程度上克服了自然环境的限制，进一步扩大了计算机视觉的应用领域。共三十一页1.2生物(shngw)视觉简介生物视觉(shju)通路如下图所示：经视网膜中的神经节细胞加工后传出视网膜上丘物体可见光光学系统在眼底视网膜上形成物象杆体和锥体感光细胞神经信号视束丘脑外膝体视皮层1.2.1 生物视觉通路共三十一页视觉第一通路：神经节细胞轴突在外膝体患神经元后，由外膝体神经元直接经到视放线到视皮层，这是视束的大部分纤维去向，称为第一视觉通路。神经信号主要是通过视觉第一视通路到达视皮层，在视觉过程中起着主要作用视觉第二通路：视束的一小部分纤维走向内方，经上丘臂到达上丘

9、和顶盖前区。上丘浅层神经元投射到丘脑枕换元后，再投射到视皮层，上丘还有纤维直接透射到视皮层。由于(yuy)这条通路不经过外膝体，故称为视觉第二通路。第二视觉视通路的作用极其微小。共三十一页由视觉视通路可以看到，眼、外膝体与视皮层构成了对视觉信息处理的三个基本层次。进一步分析表明，外膝体与视皮层有着更为复杂的分块结构（尤其是视皮层）。分块表明了视觉信息处理的并行性，不同区域的是神经细胞具有不同的功能；分层表明了视觉信息处理的串行性。因此，生物视觉系统(xtng)是一个串行并行处理相结合的复杂系统(xtng)。共三十一页1.2.2 感受(gnshu)野的分层等级假设视觉通路上各层次的神经细胞，由简

10、单到复杂(fz)，它们所处理的信息，分别对应于视网膜上的一个局部区域，层次越深入，该区域就越大，这就是著名的感受野与感受野等级假设。感受野是支持视觉信息分层串行处理的最重要的生理学证据。以信息处理的第一级为例，视网膜上的神经节细胞将感光细胞上接收到的光信号转换成电信号再由它的轴突传出，但每一个GC细胞只能接收视网膜上一个局部区域的信号，该区域就是GC的感受野。GC感受野及其对光信号的转换作用分为：1、对空间亮度变化敏感的感受野。2、对时间变化敏感的Y型细胞。共三十一页1.2.3 视觉(shju)信息的并行处理感受野的等级假设与局部性质主要支持视觉信息处理的自下而上的分层次串行处理，然而视觉系统

11、的任务不是单一的，它要识别(shbi)物体的形状和颜色，要得到三维物体的深度信息，要检测物体的方位和运动参数等等。因此，视觉通路的各个层次上存在着基本互相独立的并行通道，分别完成不同的视觉任务。共三十一页视觉信息的处理是一个串行与并行相结合的复杂信息处理过程，但目前被人们认知的仅仅是一小部分，从信息处理角度看，迄今对大多数的处理单元的知识(zh shi)还非常有限，只知道这个单元对某种信息“敏感”，而信息是如何表征的、如何变换的，则仍不清楚，尤其是较高层信息的处理。共三十一页1.3 Marr视觉(shju)理论框架1.3.1 视觉(shju)系统研究的三个层次要素名称含义和所解决的问题1计算理

12、论什么是计算目的，为什么要这样计算2表达和算法怎样实现计算理论，什么是输入输出表达，用什么算法实现表搭建的转换3硬件实现怎样在物理上实现表达和算法，什么是计算结构的具体细节共三十一页1.3.2 视觉(shju)信息处理的三个阶段早期视觉处理中期视觉处理后期视觉处理图像3D描述要素图2.5维图由图像恢复形状信息的表达框架名称目的基元图像亮度表示图像中每一点的亮度值基元图表是二维图像中的重要信息，主要是图像中的亮度变化位置及其几何分布和组织结构零交叉，斑点，端点和不连续点，边缘，有效线段，组合群，曲线组织，边界2.5维图在以观测者为中心的坐标中，表示可见表面的方向、深度值和不连续的轮廓局部表面朝向

13、（“针”基元）；离观测者的距离；深度上的不连续点；表面朝向的不连续点3维模型表示在以物体为中心的坐标中，用由体积基元和面积基元构成的模块化多层次表示，描述形状及其空间组织形式分层次组成若干三维模型，每个三维模型都是在几个轴线空间的基础上构成的，所有体积基元或面积形状基元都附着在轴线上共三十一页Marr视觉(shju)理论的不足之处：1、框架(kun ji)中输入是被动的，给什么图像，系统就处理什么图像；2、框架中加工目的不变，总是恢复场景中物体的位置和形状等；3、框架缺乏或者说为足够重视高层知识的指导作用；4、整个框架中信息加工过程基本自下而上，单向流动，没有反馈。改进的Marr框架：图像获取

14、早期处理中期处理后期处理高层知识视觉目的反馈共三十一页1.4 计算机视觉(shju)应用领域及面临问题1、工业自动化生产线应用：产品(chnpn)检测、工业探伤、自动焊接等；2、各类检验和监视应用：标签文字标记检查，邮政自动化，显微医学操作等；3、视觉导航应用。巡航导弹制导、无人驾驶飞机飞行、自动行驶车辆等；4、图像自动解释应用：对放射图、显微图像、医学图像、遥感多波段图 1 像等进行自动判读理解；5、人机交互应用：人脸识别、智能代理等；6、虚拟现实应用：飞机驾驶员训练、医学手术模拟、场景建模等。计算机视觉的优点：1、最大优点是与被测对象的无接触2、所能观测的对象十分广泛3、计算机视觉不知疲劳

15、，始终如一观测1.4.1计算机视觉应用领域：共三十一页建立人类视觉的计算理论，并进而建成可与人类视觉系统(xtng)相比拟的通用视觉系统(xtng)是计算机视觉研究的最终目标。1.4.2 计算机视觉面临(minlng)的问题：1、如何准确、高速（实时）地识别出目标；2、如何有效的增大存储容量，以便容纳下足够细节的目标图像；3、如何有效的构造和组织处可靠的识别算法，并且顺利地实现计算机视觉与人的视觉能力比较能力计算机视觉人的视觉测距能力有限定量估计定方向定量计算定量估计运动分析定量分析，但受限制定量分析检测边界区域对噪声比较敏感定量、定性分析图像形状受分割、噪声制约高度发达图像机构需要专用软件，

16、能力有限高度发达阴影初级水平高度发达二维解释对分割完善的目标能较好解释高度发达三维解释较为低级高度发达总的能力最适合于结构环境的定量测量最适合于复杂的、非结构化环境的定量解释计算机视觉与人的视觉性能标准比较性能标准计算机视觉人的视觉分辨率能力有限定量估计处理速度零点几秒/每帧图像定量估计处理方式串行处理，部分并行处理每只眼睛每秒处理（实时）1010空间数据视觉功能二维、三维立体视觉有限自然形式三维立体视觉感光范围紫外线、红外线、可见光可见光共三十一页1.5 视觉测量(cling)系统与关键技术视觉测量(cling)原理框图工作时，被测工件处于生产线上，视觉测量系统安装在生产线的固定工位；或者被

17、监测工件静止，而视觉测量系统集成在处于运动中的生产作业设备中。1.5.1 视觉测量系统：共三十一页1.5.2 视觉测量关键技术1、视觉测量模型视觉测量模型对视觉测量系统的测量精度、测量范围及测量速度有着直接的影响2、视觉传感器结构优化双目视觉传感器、结构光视觉传感器在三维视觉测量系统汇总起着重要作用3、视觉视频信号实时采集研究一种专用实时图像采集系统是实现三维测量的条件之一4、视觉视频信号前段实时处理视觉图像信息数据量大，能够完成视觉视频信号前段实时处理非常重要5、摄像机内部参数标定减轻标定劳动强度、保持摄像机的标定状态与使用状态完全一致、降低对标定设备的要求是摄像机技术的主要研究方向6、视觉传感器结构参数现场标定视觉传感器结构参数现场标定，是视觉传感器能够进行三维测量的必要前提7、多传感器视觉测量系统现场全局标定多传感器视觉测量系统现场全局标定是建立多传感器视觉测量系统的核心8、其他关键技术被测物体硬定位和软定位、视觉测量系统小型化与可靠性设计、系统电器网络控制、机械结构设计、测量软件编制及测量数据分析与质量预测等共三十一页内容摘要视 觉 测 量。（2）高速图像采集系统：