机器视觉综述

1、机器视觉综述机器视觉是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉主要利用计算机来模拟人或再现与人类视觉有关的某些智能行为，从客观事物的图像中提取信息进行处理，并加以理解，最终用于实际检测和控制。近年来，随着计算机技术尤其是多媒体技术和数字图像处理及分析理论的成熟，以及大规模集成电路的迅速发展，机器视觉技术得到了广泛的应用研究，取得了巨大的经济与社会效益。笔者在阅读大量文献的基础上，对国内外机器视觉技术的发展及应用做以概述。1机器视觉概念1.1 机器视觉的定义简单来讲，机器视觉可以理解为给机器加装上视觉装置，或者是加装有视觉装置的机器。

2、给机器加装视觉装置的目的，是为了使机器具有类似于人类的视觉功能，从而提高机器的自动化和智能化程度。由于机器视觉涉及到多个学科，给出一个精确的定义是很困难的，而且在这个问题上见仁见智，各人认识不同。美国制造工程师协会（SME）机器视觉分会和美国机器人工业协会（RIA）自动化视觉分会关于机器视觉的定义是："Machinevisionistheuseofdevicesforopticalnon-contactsensingtoautomaticallyreceiveandinterpretanimageofarealsceneinordertoobtaininformationand/or

3、controlmachinesorprocesses译成中文是：“机器视觉是使用光学器件进行非接触感知，自动获取和解释一个真实场景的图像，以获取信息和（/或）控制机器或过程。”目前我国还没有哪个官方协会或组织给出一个中文的正式定义。历经多年的发展，特别是近几年的高速发展，机器视觉已经形成了一个特定的行业。机器视觉的概念与含义也不断丰富，人们在说机器视觉这个词语时，可能是指“机器视觉系统”，“机器视觉产品”，“机器视觉行业”等。机器视觉涉及到光源和照明技术、成像元器件（半导体芯片、光学镜头等卜计算机软硬件（图像增强和分析算法、图像卡、IO卡等）、自动控制等各个领域。将所需要的这些不同技术集成到一

4、起本身也是一门技术，需要各领域技术人员的参与和合作才能促进机器视觉的快速发展。本文希望能够起到抛砖引玉的效果，引起大家的兴趣和讨论，给出一个能够得到大家认可的关于机器视觉的正式定义。1.2 机器视觉的组成及工作原理机器视觉系统处理的核心目标是“图像”，一目标物体的“图像”被单帧或多帧采集量化为数字化信息，反之可以说，用一些离散的数字化数值阵列就可以表示一目标物体的“图像”。对于复杂的“图像”或需要进行更高精度的处理来说，采集量化的数字化信息则要求更大。即处理精度与数字化信息量成正比。一般来说，图像用多级亮度来表示并进行量化采集，即所谓灰度法。以灰度来表示图像量化的每一个像元素特征。基于灰度法的

5、机器视系统框图由图1所示。机器视觉系统包括：光路系统、面阵摄像机（CCD）、量化存贮单元、模板库、专用高速处理单元、监视单元等大模块。其中光路系统由程控光源、变焦伺服机构、自动光圈、光学镜片组等组成。图1机器视觉系统组成框图对于以灰度进行量化处理的机器视觉系统而言，图像亮度是一个尤为重要的参数，而决定这一重要参数的因素便是光路系统的质量。一般来说机器视觉系统为了避免环境自然光线或灯光对其工作状态的影响，光路设计均采用自足光源，程控光源要求亮度大、亮度可调、均匀性好、稳定性高，以抑制外界环境各种光对图像质量产生较大影响而导致机器视觉系统故障或误判行为。其次，光路系统设计需满足视场需求和图像分辨率

6、要求。它的设计质量决定了图像质量，决定了机器视觉系统的准确率。工业生产中采用的机器视觉系统，灰度级差异较大，小到二值图像、大到256灰度级，以及特殊需求可更大。采用的灰度级越大，数字化图像越逼真清晰，越接近原视图。一般来说，人眼能分辨的灰度级约为5060级之问。因此64级灰度足以提供必要的观察信息及辨认需求，这是许多机器视觉系统采用64级灰度级的原因。但是，要使机器视觉系统具有很强的精密区别目标的能力，一般采用的灰度级为256级，但是由于要处理的信息量很大，要求处理单元有足够快的运算能力。例如采用512X512阵列像元图像量化为二值图像，一帧图像信息量为262144Bit,而按256级灰度时，

7、一帧图像信息量为2000000Bit。因此，实用化的机器视觉系统除尽可能选用专用高速处理单元外，还应根据不同应用需要选取，在识别处理精度、处理时间长短、像元灰度级等因素之间进行综合平衡，以达到高效、实用的目的。机器视觉系统常用的摄像机一般为固态CCD或线阵摄像机，面阵分辨率可为300700线或更高，线阵分辨率则可多达4048像元以至更高。根据需求进行取舍配置。机器视觉系统的精度取决于摄像机视场和所包含的像元数量，视场越小，每个像元代表的距离也越小，识别精度也越高。标准CCD像元阵列为768X576和512X512二种。另外，为满足某些需要较大视场较小分辨率的要求，可设计多路CCD将视图分割为一

8、个个较小视场，又可提高分辨率。机器视觉系统的核心是专用高速图像处理单元，如何把存入存贮单元大量离散的数字化信息与模板库信息进行比较处理，并快速得出结论是处理单元软、硬件面对的问题。运算信息量大，意味着处理结果的准确率高，但如果运算时问较长，机器视觉便失去其存在的意义。这种信息量与运算速度之问的矛盾已成为世界各国微处理器研制生产厂商必须面对的课题。目前，已有多种视觉专用硬件处理器芯片、DSP芯片等等不断涌现并被广泛应用于计算机、通讯、娱乐等产品之中，进行高速图像计算、数据压缩，解压缩、贮存与传输。除去硬件因素，选用适当的算法，可以提高处理运行效率，减少存贮容量、提高运算速度及准确度。图像处理算法

9、软件及技巧也成为高效机器视觉系统需要精益求精、探索不止的目的和不可缺少的重要组成部分。机器视觉系统的特点是测量精确、稳定、快速、可大幅度提高生产的柔性及自动化程度以提高生产效率，且易于实现信息集成，是实现计算机集成制造的核心技术之一。如在一些不适合人工作业的危险环境；在当前大批量工业自动生产过程中，用人工检查产品质量效率过低且精度不高；和其他一些人工视觉难以满足要求的场合，机器视觉正在迅速取代人工视觉。事实上，也正因如此，在世界上现代自动化生产过程中，机器视觉已经广泛用于工况监控，成品检验及其他质量控制等领域。在我国，这种应用也逐渐被认知，对机器视觉的需求也越来越多。2机器视觉理论基础机器视觉

10、计算理论视觉是一个古老的研究课题。到了70年代末、80年代初，美国麻省理工学院的马尔(Dr.Marr)教授创立了视觉计算理论2(博京孙，蔡自兴，徐光佑编著.人工智能及其应用.北京:清华大学出版社，1997),使视觉的研究前进了一大步。视觉可以看作是从三维环境的图象中抽取、描述、和解释信息的过程，它可以划分为六个主要部分：感觉；预处理；分割；描述；识别；解释。再根据实现上述各种过程所涉及的方法和技术的复杂性将它们归类，可分为三个处理层次：低层视觉处理、中层视觉处理和高层视觉处理。感觉感觉是指获得图象的过程即数字图象的采集。常见的图象采集装置有摄像机、线型CCD像感器(LineScanImageS

11、ensor)、面型CCD像感器(AreaScanImageSensor)、扫描仪及目前推出的数字相机等根据用途不同可采用不同的传感器，它们一般是通过采集板连接到计算机的总线上。预处理普通图象的预处理的方法很多，主要考虑计算机的运算速度和低成本的要求；主要有二种预处理方法：一种是基于空域技术的方法；另一种是基于频域技术的方法。它主要解决图象的增强、平滑、尖锐化、滤波以及伪彩色处理间题。分割分割是将图象划分成若干有一定含义的物体的过程。它是视觉技术中重要的一步，常用的分割技术有灰度阈值法、边缘检测、匹配和拟合、区域跟踪和增长、迭代松弛法以及运动分割等。描述描述是为了进行识别而从物体中抽取特征的过程

12、。在理想情况下，描述符应该含有足够多的可用于鉴别的信息，以便在众多的物体中唯一的识别某物体。描述符的质量会影响识别算法的复杂性，也会影响识别的性能，描述可分为对图象中各个部分的描述以及各部分间关系的描述。识别识别是一种标记过程。识别算法的功能在于识别景物中每个已分割的物体，并赋予该物体以某种标记。识别方法可分两大类：决策理论方法和结构方法。决策理论方法以定量描述为基础，即统计模式识别方法；而结构方法依赖于符号描述及它们的关系，即句法模式识别方法。解释解释可以看作是机器人对其环境具有的更高级的认知行为。例如，对于装配线上的机器人。可通过安装于传送带上的视觉系统自动地识别出装配所需要的零件，测量出

13、空间坐标，命令机器手进行装配。视觉检测常用算法在机器视觉系统中，总是以图像输入作为对外界世界的感知手段，同时要求系统具有识别、理解和判断分析客观景物的能力；所以，计算机内部应存储大量结构巧妙的知识信息。机器视觉系统的目标检测和识别理解过程是内部知识结构与图像输入实体的结合、匹配过程，是将一个层次的实体与另一层次的实体进行匹配的过程。匹配的结果是建立一个输入数据的解释，解释是计算机表达的模型与外部客观景物的对应性的说明。所以，匹配将不同的表达联系起来，从而建立现实世界中不同表达的解释之间的联系。为了在图像中检测出已知形状的目标物，使用目标物的形状模板与图像匹配，在约定的某种准则下检测出目标物的图

14、像，即“模板匹配法”。它能检测出图像中的直线、曲线、边缘图案等。图像分析是为了使图像更便于测量。首先将图像的相关特征（如线型、角）转换为标量、向量、字符串送人计算机进行处理，同时进行特征提取（如对直线和曲线检测的H变换）以及测量光强、纹理和形状特性，如傅立叶描述、边缘稀释、边缘连通和连接等，从而实现对线段、区域、孔洞、裂缝的视觉检测。图像分析的最终目标是模式识别，通过特征提取实现目标分类。机器视觉领域中采用的图像处理算法主要有：神经网络、模糊神经网络、遗传算法等。神经网络已在商业、医学、地质学以及物理学等领域中被广泛应用于解决预测、分类、控制等问题。神经网络是由大量类似的基本处理单元（神经元）

15、相互连接构成的网络。神经元按层排列，分层对数据进行处理。每一层处理后的数据均通过网络最终传递至输出层。在有监督的训练学习模式中，神经网络会根据具体情况、先验知识，自动调节神经元的权值。通过有效的训练，神经网络可以处理大量工业视觉领域内的图像分析处理任务，从简单标定问题到高级分类问题，如故障诊断、光学特征识别、操作预测、工程监控等。即使系统关系非常复杂甚至无法进行数值分析或建模，神经网络亦有所作为。模糊神经网络是将模糊系统与神经网络结合起来，是基于神经网络的模糊神经网络系统。模糊神经网络系统可以自动调节模糊系统，同时不改变原系统的功能。借助神经网络的学习功能，构建隶属度函数，可以用代码来描述系统

16、的行为。常见的学习方法主要是多层前馈网络中基于误差反向传播算法（BP算法）。通过结构信息的规则编码，模糊系统的结构更接近神经元。遗传算法(GA)已在很多领域获得了广泛应用。模板检测是其在工业视觉领域的一个重要应用，也就是对待测物件进行模板匹配。遗传算法同样应用于目标分类、目标检测、图像分割以及二维图像视差最小化的处理。总体上来说，机器视觉与人类的视觉相比还非常的幼稚，但随着计算机技术及大规模集成电路的迅速发展，目前已在医疗诊断、工业自动检测与控制、智能机器人和科研等领域得到广泛应用，取得巨大的经济与社会效益。特别是在制造业中产品外观质量的检验、尺寸测量等方面的发展比较成熟。3机器视觉的发展机器

17、视觉的发展历程国外机器视觉发展的起点难以准确考证，其大致的发展历程是：20世纪50年代提出机器视觉概念，20世纪70年代真正开始发展，20世纪80年代进入发展正轨，20世纪90年代发展趋于成熟，20世纪90年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点，一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了基础条件。国内机器视觉发展的大致历程：真正开

18、始起步是20世纪80年代，20世纪90年代进入发展期，加速发展则是近几年的事情。中国正在成为世界机器视觉发展最活跃的地区之一，其中最主要的原因是中国已经成为全球的加工中心，许许多多先进生产线己经或正在迁移至中国，伴随这些先进生产线的迁移，许多具有国际先进水平的机器视觉系统也进入中国。对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至，国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。机器视觉产品的发展机器视觉作为一种应用系统自起步发展到现在，已有接近15年的历史，其功能特点是随着工业自动化的发展而逐渐完善和发展的。据不完全统计，目前全球整个视觉市场总量大概在

19、70亿美元这个规模，并且按照每年8.8%的速度在增长。而在中国，由于工业自动化程度还没有达到国外的先进水平，所以机器视觉在中国的应用还处于起步阶段，但是随着制造业对自动化的需求以及对生产质量和管理水平的不断提高，中国对于机器视觉的需求将会不断上升。目前机器视觉朝着两个大方向在发展，一个是嵌入式，如传感器和智能相机，另一个是基于PC的视觉系统。两者不能说孰优孰劣，它们都有各自的适用场合和适用时期。基于PC的视觉系统利用了PC的开放性、高度的编程灵活性和良好的Windows界面，同时系统总体成本较低。PC-Based系统内含高性能图像捕获卡，一般可接多个镜头，并提供库函数支持。以美国DATATRA

20、NSLATION公司为例，系统内含高性能图像捕获卡，一般可接多个镜头，配套软件方面，从低到高有几个层次，如Windows95/98/NT环境下C/C+编程用DLL,可视化控件ActiveX提供VB和VC+下的图形化编程环境，甚至Windows下的面向对象的机器视觉组态软件，用户可用它快速开发复杂高级的应用。类似的公司还有美国NI公司，该公司在使机器视觉和运动控制功能与其被广泛应用的Labview虚拟仪器软件相结合方面做的比较突出。近十年来，嵌入式产品如传感器和智能相机，逐渐占领了部分机器视觉市场。智能相机是一种高度集成化的微小型机器视觉系统，它将图像采集、处理和通信功能集成于单一相机内，从而提

21、供了具有多功能、模块化、高可靠性、易于实现的机器视觉解决方案。与基于微机的机器视觉系统相比，智能相机结构紧凑，便于安装和拆卸；集成度高，通过可靠性设计可获得较高的稳定性；固化了成熟的图像处理算法，无需编程，提高了应用系统的开发速度。但智能相机灵活性较差，功能不能扩展。早期的智能相机只能解决简单的工业应用问题，如零件的有无判断。在过去的五、六年间，智能相机技术得到了长足的进步，已能够解决表面缺陷检查、尺寸测量、OCR/OCV等较复杂的应用问题。未来的发展方向是智能相机与基于微机的机器视觉系统之间的性能差距越来越小，而智能相机凭借其成本低、简单易用、结构紧凑等优点将得到越来越广泛的应用。因此，越来

22、越多的相机和板卡制造商都在开发智能相机。机器视觉的发展趋势未来机器视觉的发展将呈现下列趋势：(1)技术方面的趋势是数字化、实时化、智能化图像采集与传输的数字化是机器视觉在技术方面发展的必然趋势。更多的数字摄像机，更宽的图像数据传输带宽，更高的图像处理速度，以及更先进的图像处理算法将会推出，将会得到更广泛的应用。这样的技术发展趋势将使机器视觉系统向着实时性更好和智能程度更高的方向不断发展。(2)价格持续下降，市场份额迅速扩大目前，在我国机器视觉技术还不太成熟，主要靠进口国外整套系统，价格比较昂贵。随着技术的进步和市场竞争的激烈，价格下降已成必然趋势，这意味着机器视觉技术将逐渐被接受。另外，机器视

23、觉市场将不断增大。一方面已经采用机器视觉产品的应用领域，对机器视觉产品的的依赖性将更强；另一方面机器视觉产品将应用到其他更广的领域。(3)行业方面发展更加迅速机器视觉行业专业性公司增多，投资和从业人员增加，竞争加剧是机器视觉行业未来几年的发展趋势，机器视觉行业作为一个新兴的行业将逐步发展成熟，将越来越越受到人们的重视。4机器视觉技术的应用视觉技术的最大优点是与被观测对象无接触，因此，对观测与被观测者都不会产生任何损伤，十分安全可靠，这是其它感觉方式无法比拟的。理论上，人眼观察不到的范围机器视觉也可以观察，例如红外线、微波、超声波等，而机器视觉则可以利用这方面的传感器件形成红外线、微波、超声波等

24、图像。另外，人无法长时间地观察对象，机器视觉则无时间限制，而且具有很高的分辨精度和速度。所以，机器视觉已经得到了十分广泛的应用。卜面机器视觉技术的典型应用。(1)在工业检测中的应用目前，机器视觉已成功地应用于工业检测领域，大幅度地提高了产品的质量和可靠性，保证了生产的速度。例如产品包装，印刷质量的检测，饮料行业的容器质量、饮料填充、饮料瓶封口检测，木材厂木料检测，半导体集成块封装质量检测，卷钢质量检测，关键机械零件的工业CT等。在海关，应用X射线和机器视觉技术的不开箱货物通关检验，大大提高了通关速度，节约了大量的人力和物力。在制药生产线上，机器视觉技术可以对药品包装进行检测，以确定是否装入正确数量的药粒。(2)在农产品分选中的应用我国是一个农业大国，农产品十分丰富，对农产品进行自动分级，实行优质优价，以产生更好的经济效益，其意义十分重大。如水果，根据颜色、形状、大小等特征参数；禽蛋，根据色泽、重量、形状、大小等外部特征；烟叶，根据其颜色、形状、纹理、面积等进行综合分级。