机器视觉报告

机器视觉报告学校：吉林大学课程教师：卢韶芳老师学院：通信工程学院姓名：焐嚟蕪必答题：机器视觉的应用及国内外开展现状？答：1机器视觉关键技术的开展现状图1显示了一个典型的工业机器视觉应用系统。从中我们能够深刻地体会到机器视觉是一项综合技术,其中包括数字图像处理技术、机械工程技术、控制技术、光源照明技术、光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。以下就光源照明技术、光学镜头、摄像机、图像采集卡、图像信号处理以及执行机构等机器视觉关键技术的开展现状进行阐述。1.1光源照明技术优良的光源和照明方案是目前机器视觉应用系统成败的关键之一。一个好的光源与照明方案应当具有如下特点：尽可能突出物体的特征量,在物体需要检测的局部与那些不重要部份之间尽可能产生明显的区别,增加比照度;保证足够的整体亮度;物体位置的变化不应该影响成像的质量。在机器视觉应用系统中一般使用透射光和反射光。对于反射光情况,应充分考虑光源和光学镜头的相对位置、物体外表的纹理、物体的几何形状等要素。光源设备的选择必须符合所需的几何形状。同时,照明亮度、均匀度、发光的光谱特性也必须符合实际的要求,同时还要考虑光源的发光效率和使用寿命。表1列出了几种主要光源的相关特性。其中,LED光源具有显色性好、光谱范围宽(可覆盖整个可见光范围)、发光强度高、稳定时间长等特点.近年来随着LED制造工艺和技术的不断开展成熟,价格逐步降低,其在机器视觉领域正得到越来越广泛的应用。选用LED作为光源是一种趋势。另外,高频荧光灯因具有发光强度高、性价比高的优点,仍不失为某些应用场合的很好选择。1.2光学镜头光学镜头成像质量的优劣直接关系到机器视觉系统的应用。其优劣程度可用像差的大小来衡量,常见的像差有球差、彗差.、像散、场曲、畸变、色差等六种。通常,光学镜头可分为定焦和变焦两类。在档次相同的情况下,定焦镜头比变焦镜头的像差要小。因为对变焦镜头必须折衷考虑以使各种不同焦距下的成像质量都相对较好。因此,在机器视觉应用系统中,通常优先考虑使用定焦光学镜头。此外还要考虑镜头的焦距、光阑系数、倍率、接口等问题。1.3摄像机视觉图像获取有两种方式:主动视觉和被动视觉。主动视觉是指通过器件本身发光来产生视觉图像。被动视觉那么指由传感器被动接收目标环境反射光来产生视觉图像。摄像机是常用的被动视觉传感器,其核心部件是电子藕合器件(CCD)。CCD是近几年开展起来的新技术,以其体积小、重量轻、寿命长且抗冲击、清晰度高等特点在机器视觉系统中得到广泛应用。CCD摄像机按照其使用的CCD器件可以分为线阵式和面阵式两大类。线阵CCD摄像机一次只能获得图像的一行信息,被拍摄的物体必须以直线形式从摄像机前移过,才能获得完整的图像.它主要用于检测条状、筒状产品,例如布匹、钢板、纸张等。面阵摄像机可以一次获得整幅图像的信息。目前在机器视觉系统中,以面阵CCD的应用居多。CCD成品相机的分辨率不断提高,2048X2048像素的CCD相机已很普遍。1.4图像采集卡图像采集卡是图像采集局部和图像处理局部的接口。由于图像信号的传输需要很高的传输速度,通用的传输接口不能满足要求,这是需要图像采集卡的主要原因。图像采集卡一般具有如下功能：(l)图像信号的接收和A/D转换模块,负责将图像信号放大和数字化;(2)摄像机控制输入输出接口,主要负责协调摄像机进行同步和实现异步重置拍照、定时拍照等;(3)总线接口,负责通过PC机内部总线高速传输出数字数据,一般采用PCI接口,传输速率可高达13oMbPs,完全能胜任高精度图像的实时传输,且占用较少的CPU时间;(4)显示模块,负责高质量的图像实时显示;(5)通讯接口,负责通讯。其中(4)、(5)是某些图像采集卡的附加增强功能。一些高档的图像采集卡还带有DSP数字处理模块,能进行高速图像的预处理。1.5图像信号处理正如人的视觉系统那样,要将眼睛所获得的视觉信息送到大脑进行综合处理、“深加工”,机器视觉系统中,也要对采集到的图像信号作进一步处理,这是机器视觉系统的关键之处。很多成熟的图像处理技术、算法都可以直接应用于机器视觉系统。在机器视觉系统中,如何处理采集到的视觉信息是其核心所在。视觉信息的处理技术主要依赖于图像处理方法,它包括图像增强、数据编码和传输、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容.经过这些处理后,输出图像的质量得到相当程度的改善,既优化了图像的视觉效果,又便于计算机对图像进行分析、处理和识别。图像处理是一个很复杂的系统工程,无数学者及工程人员为每一个环节设计了诸多的算法,有关此方面的文献很多。考虑到机器视觉系统多数应用场合具有高速、稳定的要求,采用的处理算法一般不应太复杂。在图像信号的处理过程中,不管选用哪些算法,都要注意处理的速度必须大于或等于图像的采集速度。目前,随着计算机技术、微电子技术以及大规模集成电路技术的开展,为了提高系统的实时性,对图像处理的很多工作都可以借助硬件完成,如DSP芯片、专用图像信号处理卡等.而软件那么主要完成算法中非常复杂、不太成熟或尚需不断探索和改良的局部。TI公司推出的系列DSP产品TMS320C5000/6000系列大多可以应用于图像信号的处理,且具有良好的实用性能。1.6执行机构机器视觉系统在功能上的最终实现,需要通过执行机构来完成。对于不同的应用场合,执行机构可以是机电系统、液压系统、气动系统中的一种。无论哪一种,除了要严格保证其加工制造和装配的精度外,在设计时还需要对动态特性,尤其是快速性和稳定性给予充分重视.此外,需要指出的是,目前基于PC机的机器视觉系统结构没有模块化,安装不方便,可移植性差,特别是与工业广泛使用的PLC接口连接比较麻烦。从软件和硬件开发两个方面来考虑,都需要一种更适合工业需求的机器视觉组件.目前国外COGNEX公司已经开发出了一种叫做视觉传感器的模块化部件.这种视觉传感器集成了光源、摄像头、图像处理器、标准的控制与通讯接口,自成为一个智能图像采集与处理单元。其内部程序存储器可存储图像处理算法,人们可使用PC机利用专用组态软件编制各种算法,然后将它们下载到视觉传感器的程序存储器中。这种视觉传感器将PC的灵活性与PLC的可靠性、分布式网络技术结合了在一起.用这样的视觉传感器和PLC可以更容易地构成机器视觉系统.机器视觉技术的工业应用视觉的最大优点是与被观测的对象无接触,因此对观测与被观测者都不会产生任何损伤,十分平安可靠,这是其它感觉方式无法比较的。另外,视觉方式所能检测的对象十分广泛,可以说是对对象不加选择。理论上,人眼观察不到的范围机器视觉也可以观察,例如红外线、微波、超声波等人类就观察不到,而机器视觉那么可以利用这方面的传感器件形成红外线、微波、超声波等图像。因此可以说是扩展了人类的视觉范围。另外,人无法长时间或在某些恶劣环境下观察对象,机器视觉那么不知疲劳,对环境的适应性强,能始终如一地观测,所以机器视觉可以广泛地和长时间地用于恶劣的工作环境。正因为具有上述特点,机器视觉才得以在工业应用中大显身手,被广泛应用于汽车、电子、电气、机械、制药、玻璃(陶瓷)、包装、印刷、运输、纺织等各个行业.目前,机器视觉的应用很大程度上仍局限于二维图像的处理和识别,三位机器视觉的应用还很有限。工业视觉系统的应用大致分为三个方向:自动检测、智能装配以及视觉伺服系统。以下就从这三个方面介绍机器视觉的工业应用状况。1自动检测中的机器视觉自动检测是生产自动化的重要环节。机器视觉在自动检测中的应用极为广泛,它包括几何量计量测试和自动视觉识别检测。几何量计量测试技术是制造技术中不可缺少的环节。通用的光学仪器几何量测量技术读数过程繁琐,测量时间长,人员主观误差较大,自动化程度低。机器视觉测量技术是测试领域中的新兴一族。得益于计算机视觉技术的开展,目前有结构光测量、层析三维数字化测量、工业CT法、立体视觉、激光扫描测量和激光雷达等方法,它们各有优缺点。采用结构光的三角测量法,具有较高的测量精度和一定的测量范围。原理是用一光束以一定角度投影到被测物外表,再以一定角度用摄像机摄取图像,最后依据三角定理从二维图像中提取第三维信息。该方法无法获取被测物体内部的数据。层析三维数字化测量技术是对物体被铣出的等间隔断层进行拍照,然后进行图像处理,提取出断层上物体的轮廓信息,进行三维重建,最后得出物体的CAD模型。该方法可实现任意复杂物体的完整测量,精度可达53微米,虽然防止了结构光法的缺点,但是检测速度慢且具有破坏性.工业CT利用断层扫描实现了结构的无损测量,但精度低且设备昂贵。立体视觉属于三维测量,是人工智能与测量技术交叉而形成的智能测量。根本过程是用两个摄像机从不同位置对物体摄像,在两个摄像机的图像平面上提取和匹配需要检测的特征点,求出特征点在两个图像平面的坐标,再利用成像公式计算出测量点的三维空间坐标。该方法具有测量速度快、系统本钱低、安装方便等优点,充分表达了机器视觉在几何量计量测试中的应用价值和前景。自动视觉识别检测目前已经用于产品外形和外表缺陷检验,如金属外表视觉检测、二极管基片检查、印刷电路板缺陷检查、焊缝缺陷自动识别等等。这些检测识别系统属于二维机器视觉,技术已经较为成熟。其根本流程是用一个摄像机获取图像,对所获取的图像进行处理及模式识别,检测出所需的内容。2智能装配中的机器视觉现代机电产品的装配工作量占整个产品制造工作量的20%、70%,装配时间占整个产品制造时间的40%、60%,装配本钱约占产品本钱的30%、50%,且装配质量对产品性能有直接影响。装配工作由于其多样性和复杂性,在实现自动化方面难点很多。上世纪80年代,装配机器人的应用和柔性装配系统的出现使自动装配系统得到迅速开展.20世纪90年代后,应用领域对自动装配技术提出了更高的要求。采用机器视觉技术的智能装配就是这股技术革新浪潮中的热点之一。视觉系统可以大大缩短产品开发时间,在不变更硬件的情况下处理各种零部件。机器视觉技术不仅可以用于完成一些看起来很简单(如汽车零件装配等)的任务,更可在恶劣或有害的工作环境下实现装配。目前,在工业领域中,已经有很多以机械手、视觉系统为主体的带感觉的机器人系统进入实用阶段。例如晶体管自动焊接系统、管子凸缘焊接机器人、有视觉的装配机器人、汽车车轮装入轮毅作业的自动系统等等。机器人应用视觉的方式有很多种,如对机械手定位以及跟踪目标提供反应控制信息;确定和区分零件的位置方位以拾取零件;控制对零件的装配;引导焊缝机器人等。智能装配中的机器视觉的难点在于对三维物体的定位和识别,主要研究重点是立体匹配和三维重建。文献!14]针对三维零件识别的需要,提出一种新的三维重建方法。该方法将立体匹配转换到波数域进行求解,对立体像进行适当变换后求出每幅图像的局部相,根据局部相的性质,求出立体像与两幅图像之间的对应关系。为了便于实现并行处理,采用Hopfiekl神经网络实现立体匹配过程,该方法采用BP神经网络构造成三维重建神经网络,将图像上的二维点转换成物体外表上的三维点,防止了传统方法中需要通过对视觉系统进行精确校准来确定像平面和目标空间的关系以及通过迭代过程计算物体的三维点的复杂性。3视觉伺服系统视觉的非接触测量特性使它对视觉伺服系统极为有用.一种典型的应用是将视觉传感和操作集成在一个开环系统中,系统的精度直接依赖于视觉传感和执行机构的精度.其控制采用开环视觉方法,即从图像中抽取检测物体的特征信息后驱动相应的执行机构运动,视觉信息仅作为指令依据。通常人们按照误差信号的不同将视觉伺服控制系统分为三类:基于位置的视觉伺服系统、基于图像的视觉伺服系统以及由上述两种方法组合而成的混合视觉系统。在基于位置的伺服系统中,误差信号在笛卡尔坐标系中给出.由于使用简单的比例控制即可以使该系统稳定,因此此类系统的控制间题实质上转变成根据图像估计出目标相对位置的间题。在基于图像的伺服系统中,误差信号由图像特征参数直接定义,主要涉及两方面间题:(l)图像的特征选择和提取;(2)控制系统的分析和综合。同基于位置的伺服系统不同,在基于图像的伺服系统中,图像特征的选择将直接决定控制率和最终系统的稳定性和鲁棒性等性能,因而所选择的特征往往因系统而异,目的是使整个系统便于分析和设计。在上述机器视觉应用中,图像的获取大多是采用摄像机(如CCD)作为主要手段的。事实上,成像的方式除了可见光成像外,还有红外成像、X光成像、超声成像、微波成像等等。随着传感器技术以及相应成像技术的不断开展和完善,机器视觉的可应用领域必将不断扩展。而且目前机器视觉技术也已经冲破传统视觉理念,有了在新领域应用的成功案例。参考资料：《机器视觉技术开展及其工业应用》，章炜，中国科学院上海技术物理研究所,上海，2006年2月。1机器视觉关键技术的开展现状图1说明机器视觉是一项综合技术,包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、I/O卡等)。这些技术在机器视觉中是并列关系,相互协调应用才能构成一个完整的工业机器视觉应用系统。机器视觉强调能够适应工业现场恶劣的环境、有合理的性价比、较强的通用性和可移植性,即实用性;它更强调高速度和高精度,即实时性。机器视觉应用系统中,用到很多技术,但关键技术主要表达在光源照明、光学镜头、摄像机(CCD)、图像采集卡、图像信号处理以及执行机构等。光源照明好的光源和照明是目前机器视觉应用系统成败的关键,应当具有以下特征：〔1〕尽可能突出目标的特征,在物体需要检测的局部与非检测局部之间尽可能产生明显的区别,增加比照度；〔2〕保证足够的亮度和稳定性；〔3〕物体位置的变化不应影响成像的质量。光源按其照射方法可分为背向照明、前向照明、结构光照明和频闪光照明等。背向照明是被测物放在光源和摄像机之间,其优点是能获得高比照度的图像;前向照明是光源和摄像机位于被测物的同侧,这种方式便于安装;结构光照明是将光栅或线光源等投射到被测物上,根据它们所产生的畸变,解调出被测物的三维信息;频闪光照明是将高频率的光脉冲照射到物体上,摄像机拍摄要求与光源同步,这样能有效地拍摄高速运动物体的图像。照明亮度、均匀度、发光的光谱特性要符合实际的要求,同时还要考虑光源的发光效率和使用寿命。其中,LED光源具有显色性好、光谱范围宽(可覆盖整个可见光范围)、发光强度高、稳定时间长等优点,而且随着制造技术的成熟,其价格越来越低,必将在现代机器视觉领域得到越来越广泛的应用。光学镜头光学镜头一般称为摄像镜头或摄影镜头,简称镜头,其功能就是光学成像。镜头是系统中的重要组件,对成像质量有着关键性的作用,在组建机器视觉系统时,硬件设备要根据实际需要选择适宜口径和焦距的镜头。表2是几种常见镜头型号及其相关参数。CCD摄像机及图像采集卡CCD(Chargecoupleddevice)摄像机及图像采集卡共同完成对目标图像的采集与数字化。目前,CCD、CMOS等固体器件已经是成熟的应用技术。线阵图像敏感器件,像元尺寸不断减小,阵列像元数量不断增加,像元电荷传输速率得到极大提高。表3所示为一种高性能线阵CCD器件的参数。从中可以看到,线阵器件像元数和数据的传输率大大提高,而且器件设计集成了新的功能,具有可编程能力,如增益调整、曝光时间选择、速率调节以及维护等。在线阵器件性能提高的同时,高速面阵图像器件性能也在快速提高。某种超高速面阵CCD器件,允许的最大分辨率达1280X1024像素,最大帧率1MHz,可采集4帧图像,且像素灵敏度达12bits。在基于PC机的机器视觉系统中,图像采集卡是控制摄像机拍照完成图像采集与数字化,协调整个系统的重要设备.一般具有以下功能模块：〔1〕图像信号的接收A/D转换模块,负责图像放大与数字化；〔2〕摄像机控制输入输出接口,主要负责协调摄像机进行同步或实现异步重置拍照、定时拍照；〔3〕总线接口,负责通过计算机内部总线高速输出数字数据,一般是PCI接口,传输速率可达130Mbps,完全能胜任高精度图像的实时传输,且占用较少的CPU时间；〔4〕显示模块,负责高质量的图像实时显示；〔5〕通讯接口,负责通讯。目前,图像采集卡种类很多,按照不同的分类方法,有黑白图像和彩色图像采集卡,有模拟信号和数字信号采集卡,有复合信号和RGB分量信号输入采集卡.在选择图像采集卡时,主要应考虑到系统的功能需求、图像的采集精度和与摄像机输出信号的匹配等因素。图像信号处理图像信号的处理是机器视觉系统的核心。视觉信息的处理技术主要依赖于图像处理方法,它包括图像变换、数据编码压缩、图像增强复原、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容。随着计算机技术、微电子技术以及大规模集成电路的开展,为了提高系统的实时性,图像处理的很多工作都可以借助硬件完成,如DSP芯片、专用图像信号处理卡等,软件主要完成算法中非常复杂、不太成熟或尚需不断探索和改良的局部。处理时间上,要求处理速度必须大于等于采集速度,才能保证目标图像无遗漏,完成实时处理。执行机构要实现工业领域机器视觉系统的最终目的还需执行机构来完成.不同的应用场合,执行机构可能不同,比方机电系统、液压系统、气动系统,无论哪一种,除了要严格保证其加工制造和装配的精度外,在设计时还应对动态特性,尤其是快速性和稳定性给予充分重视。参考资料：中原工学院学报，《机器视觉的现状及开展趋势》，张五一,赵强松,王东云，中原工学院,郑州，2008年2月。A局部〔选择第二题〕问：在使用计算机时，当鼠标的光标在屏幕上而你又一时找不到时，你通常采取什么方法立即找到，为什么？答：我通常使用的方法是随机位置的快速移动鼠标，这是屏幕上有图像变化的位置就是鼠标的光标位置。因为我们的视觉系统对运动目标十分的敏感。鼠标的光标在不动的时候会出现视觉盲点，我们看不到鼠标的光标是因为它处于我们的视觉盲点中，当我们随机快速移动鼠标时，它在屏幕上移动，我们的眼睛就会自己过滤掉那些不懂的图像，而集中注意力与移动的图像，消除了鼠标的光标的视觉盲点，我们就找到了鼠标的光标了。人们已提出了许多种理论来解释对运动的感知。目前最广为接受的理论之一与两个因素有关：1、在视觉系统中存在着运动检测器，它们能记录影响视网膜中相邻点的信号。2、是对人类自身运动的知识，它防止了将人体或人眼的运动归于景物的运动。如同在所有的光学现象中，运动也只能在一定条件或限度内被感知到。如果把一个运动得非常慢的视觉可感知的边缘投影到视网膜上，它将不会被认为是运动的〔尽管它有可能在其后被发现已经运动过了〕。如果这个视觉边缘运动的非常快，他将被认为是模糊的。运动速度的上下限是一下变量的函数：〔1〕物体的尺寸大尺寸的物体需要多运动一些才能被看作是运动的。〔2〕亮度和反差它们越大，运动越被感知得明显。〔3〕环境运动的感知有一定的相对性，如果有固定的参考点，运动就容易感知到。B局部〔选择第六题〕问：什么是轮廓？轮廓和区域有什么关系？一个非封闭轮廓表示什么？答：把边缘连接起来就成为轮廓(contour)。轮廓可以是断开的，也可以是封闭的。封闭轮廓对应于区域的边界，而区域内的像素可以通过填充算法来填满。断开的轮廓可能是区域边界的一局部，也可能是图像线条特征，如手写体笔画、图画中的线条等。区域之间的比照度太弱或边缘检测阈值设置太高都有可能产生间断的轮廓。轮廓可以用边缘序列表或曲线来表示。曲线通常称为轮廓的数学模型。曲线表示包括线段、二次曲线、三次样条曲线等．下面是几种轮廓表示的评价标准：高效：轮廓应该是一种简单和紧凑的表示。精确：轮廓应能精确地逼近图像特征。有效：轮廓应适合于后处理阶段的计算。轮廓表示的精确性由以下三个方面因素决定：①用于轮廓建模的曲线形式；②曲线拟合算法的性能；③边缘位置估计的精确度。轮廓的最简单表示形式是边缘有序表。这种表示的精确度就是边缘估计的精确度，但其表示的紧凑性是最差的，因此不是一种有效的后续图像分析表示方法。用适当的曲线模型来拟合边缘会提高精确度，这是因为曲线模型拟合边缘时往往具有均值化效应，因而可以减少边缘位置误差。曲线模型也会提高轮廓表示的经济性，为后处理提供了一种更适合、更紧凑的表示，例如，一条直线上的边缘集用一直线来拟合是表示这些边缘的最简单和最有效的方法，这一表示也简化了后续处理〔如确定线的长度和方向〕；另外，由于估计直线与真实直线的均值方差小于真实直线与任何其它边缘之间的均值方差，因此可以说这种表示也增加了精确度。轮廓曲线拟合通常采用内插曲线或逼近曲线来实现。一组称为控制点的坐标点，内插是指一条曲线拟合这组控制点，使得曲线通过所有的控制点；逼近是指一条曲线拟合这组这组控制点，使得这条曲线非常接近这些控制点而无需一定通过这些点。在下面几节中，假定由边缘检测器得到的边缘十分准确，并使用内插值方法进行边缘曲线拟合。边缘表是边缘点或边缘段的有序集合。轮廓是边缘表或用于表示边缘表的曲线。边界是包围一个区域的封闭轮廓。在无特别说明的情况下，边缘通常是指边缘点。对大多数曲线拟合算法来说，只需要边缘的位置信息。在很少的几种情况下，即需要边缘位置信息，也需要方向角信息，此时的边缘是指边缘段。C局部〔选择第十题〕问：请说明拉普拉斯-高斯算法〔LoG算法〕是如何实现平滑、增强、检测三项功能的。答：由于Laplace算子对噪声比较敏感，为克服一些缺点，Marr和Hildreth提出了Log边缘检测算法，先用一个平滑滤波器对图像进行低通