针对锯片缺陷检测的机器视觉系统设计

1、基于机器视觉的锯片缺陷检测设计摘要：机器视觉检测技术具有非接触、高效、准确等优点，它符合现代工业生产的发展需要，本文相对于传统方法提出了针对锯片缺陷的机器视觉检测技术，并在现有的实验条件下进行研究和分析。首先阐述了此课题的背景和意义以及机器视觉技术在国内外的发展和应用现状，介绍了机器视觉检测系统的各硬件和软件的主要构成部分及其作用，系统主要通过镜头、摄像机，图像采集卡等完成图像的采集，再借助比较成熟的图像处理算法，包括亚像素精度阀值分割、几何基元的分割、轮廓特征提取、线段拟合等，以 Halcon 为实验软件平台实现图像的处理并输出结果。通过软硬件的合理搭配完成对锯片缺陷检测的机器视觉系统设计，

2、提高工业生产检测效率。关键词：机器视觉； 图像处理； 锯片检测； HALCON 目 录第 1 章 绪 论.11.1 机器视觉概述.11.2 机器视觉的国内外发展现状.21.3 本文主要研究内容.3第 2 章 锯片缺陷检测系统的硬件设计.42.1 引言.42.2 检测原理.42.3 采集方案设计.52.3.1 选择光源.52.3.2 选择照明方式.62.3.3 选择照明环境.102.3.4 选择相机.112.3.5 选择镜头.122.3.6 选择图像采集卡.12第 3 章 软件算法研究及实验设计.153.1 机器视觉软件 HALCON .153.1.1 HALCON 概述.153.1.2 HAL

3、CON 的体系和数据结构.163.2 图像处理算法.173.2.1 图像分割.173.2.2 特征提取.213.2.3 几何基元的分割和拟合.243.3 实验设计.283.3.1 锯片检测算法流程.283.3.2 算法编程实现.283.3.3 实验结果分析.313.4 本章小结.32结论与展望.33参考文献.35附录附录.360第 1 章 绪 论1.1 机器视觉概述机器视觉技术是指利用各种成像系统来代替人的视觉功能，将摄取的客观事物转变为图像信号，并由计算机对图像信息进行处理和理解，进而产生数字信号来用于实际检测、测量和控制，也就是用计算机来实现对客观三维世界的感知和认识。主要包括图像的获取、

4、处理、分析、输出和显示等方面的研究。机器视觉是一项综合技术，包括数字图像处理技术、机械工程技术、控制技术、电光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。因此，机器视觉技术具有提高生产的柔性和自动化程度的特点。常用其来替代人工在一些艰苦且危险工作环境或人工视觉难以满足要求的场合中进行作业，同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。机器视觉技术作为计算机科学的一个重要分支，在近 30 年中得到迅猛的发展，己被应用到许多领域，如遥感、生物医学、通信、工业、航空航天、军

5、事、安全保卫等。通过计算机技术向无损检测技术的交叉和渗透，机器视觉技术已成为无损检测技术中的主力军。1.2 机器视觉的国内外发展现状1973 年，美国自然科学基金会(NFS)制定了发展视觉系统和机器人的计划，并在普度、斯坦福等大学率先展开研究1。在日本，同期也展开了研究，并成功的将计算机视觉系统用于印刷电路板的质量检测。20 世纪 80 年代机器视觉系统进入发展正轨，20 世纪 90 年代发展趋于成熟，20 世纪 90 年代后高速发展，目前正广泛应用于工业、农业、科学研究、军事等各个领域。国内的机器视觉起步比较晚，真正开始是在 20 世纪 80 年代。最近几十年，伴随着全球经济一体化进程的加速

6、， “中国制造”已经在世界范围内发挥着越来越重要的作用。面对着用户们对产品更高的要求和期待，中国制造业在不遗余力的完善自己的技术和设备。在这种大背景下，机器视觉技术在中国进入了一个快速发展的时期。更多的公司在寻求利用机器视觉技术来提高生产效率，改善产品质量并降低生产成本。但是，由于基础薄弱，中国的机器视觉技术水平与发达国家还有不小差距。1应该说，机器视觉作为一种应用系统，其功能特点是随着工业自动化的发展而逐渐完善和发展的。其技术与应用也随着自动化行业的发展而日益成熟。据悉，2007 年全球机器视觉硬件市场预计总价值超过 15 亿美元，而 2012 年这一数字估计将达到 21 亿。按照每年 8.

7、8%的增长速度，目前全球整个视觉市场总量大概在 6070 亿美元。而在中国，这个数字目前看来似乎有些庞大，但是随着加工制造业的发展，中国对于机器视觉的需求将成上升趋势。1.3 本文主要研究内容本文主要研究机器视觉检测系统中各硬件的作用和选型、图像的处理算法及软件程序代码分析等方面关键技术，以 halcon 软件为实验平台，利用机器视觉检测技术，实现锯片尺寸缺陷的提取和检测。论文具体研究工作可以概括为以下几个部分:1概述机器视觉检测技术的发展和前景，以及在实际生产应用中的特点和优势。2研究机器视觉检测系统中各关键部分硬件设备的作用和设备型号的选用，包括相机、镜头、图像采集卡以及照明模块。通过各部

8、分硬件设备的合理搭配，保证了系统能采集到优质目标初始图像，从而简化后续图像处理过程，提高检测效率和质量。3实现锯片缺陷的检测。以锯片锯齿两侧的坡口角度缺陷的检测做为机器视觉锯片缺陷检测的一个应用，借助比较成熟的图象处理技术和算法，包括亚像素精度阀值分割、几何基元的分割、轮廓特征提取、线段拟合，以 Halcon 软件为实验平台，编写程序代码，对采集的初始图象进行处理，提取出锯片锯齿两侧的坡口特征，实现坡口角度的测量。2第 2 章 锯片缺陷检测系统的硬件设计2.1 引言机器视觉检测系统要求在生产线正常运行的情况下能实时地、无遗漏地检测出锯片上主要的缺陷类型，在参照产品质量等级评定标准的基础上通过统

9、计分析，评价出产品的质量状况，并将产品质量等级提供给质量控制部门，作为其决策的依据。形状和尺寸检测用于检测产品的几何参数来保障其在允许的公差范围。这种检测可用于生产过程中；也可以用于产品使用一段时间之后，通过检测来确认产品经磨损后是否仍然满足要求。2.2 检测原理机器视觉检测系统构成如图 2-1 所示，系统主要分为两大部分即图像采集部分和图像处理部分。图像采集系统一般由光源组成的照明系统、镜头、CCD 摄像机等组成，而图像处理系统则通过编写软件算法实现。在一定的光照(包括可见光，红外线等各类光源)条件下，成像设备将物体成像并放大，然后由图像采集系统将数字图像信号送入计算机内，形成二维灰度矩阵(

10、即原始图像)，图像处理单元首先对采集到的原始图像进行预处理以改善图像的质量，然后通过边缘检测进行边缘定位，再进行缺陷的特征提取，最后构建分类器进行特征的识别完成对图像的分析，达到所要求的测试任务。照明系统被测对象图像处理系统计算机图像成像设备结果存储图图 2-1 机器视觉的系统构成机器视觉的系统构成3整个系统由两部分组成：硬件系统和软件系统。其中硬件系统的主要任务是要实时采集锯片图像，并将图像信息转变为计算机所能识别的数字信号。软件系统的主要任务是对采集到的图像进行相应的处理、缺陷识别和数据存储。其核心部分是图像处理系统。为搭建出用于本课题研究的锯片缺陷检测系统，首先必须根据系统分辨率和检测精

11、度的要求合理地选择检测系统的图像成像、图像采集及图像处理等硬件单元。2.3 采集方案设计2.3.1 选择光源（1）光源的分类光源主要包括自然光源和人工光源2。自然光源是指太阳、月亮等自然界存在的发光体，这些光源对地面辐射不稳定，难以控制。人工光源是人为将其他形式的能量（热能、电能、化学能）转换成光能，从而提供光通量的器件设备。按照发光原理的不同，人工光源一般可分为热致发光光源、气体放电光源、固体照明光源和激光光源等不同类型。（2）机器视觉检测常用光源机器视觉工业检测中常用的光源主要有白炽灯、荧光灯、金卤灯、LED 光源以及其他特殊光源(如激光、紫外光光源)等，综合机器视觉工业检测中典型光源各自

12、特点，可将其归纳如表 2-1 所示。表表 2-1 人工光源的分类人工光源的分类典型光源特点钨光源采用交流电源存在工频问题：照度不均匀；产热多荧光灯需配合高频电路，产生很大均匀照度场，热量不多：光谱分布存在极限卤钨灯光强可达稳定；光强的角度分布可调，但光强会因为散射和反射损失；价格昂贵放电灯较高的发光强度，发光度在时间上恒定；光谱可能连续或离散，取决于照明气体；可用于频闪观测照明；价格昂贵LED 灯及时起作用；具有单色特点；价格合理，体积小，重量轻，寿命长，热量少，没有噪声和振动；可作供给光源激光较高的光强，单色性好，想干性好、准直度高4（3）选择光源实际上，在机器视觉工业检测中选择照明光源环节

13、，必须综合考虑不同应用场合各自的特点以及工作条件影响。只有这样才能选择出合适的照明光源，而这个过程往往需要大量经验和实验数据分析结果作为选择依据。通过总结大量文献中锯片缺陷检测光源选择的经验，并结合课题中锯片的表面缺陷特点以及 LED 光源特点的综合考虑，本文确定选用 LED 光源作为照明光源，光源的选择直接影响到采集到的图像质量以及缺陷是否能在图像中明显表露出来。系统选用白色高亮 LED 光源作为照明光源，这是因为，响应时间短，发光效率高，光强稳定分布均匀;形状可以根据需要进行改变;光源颜色丰富，有红、蓝、绿、白。不同的颜色对应不同的波长，所以 LED光源与相机匹配的峰值响应范围广;寿命长，

14、可靠耐用。2.3.2 选择照明方式除照明光源外，照明系统考虑的另一个重要因素就是照明方式。不同的照明方式针对特定的检测场合往往有不同的成像效果，也就是说对于不同的工业检测场合，不同的照明方式对于检测效果的影响是不同的，应该选择恰当的照明方式用于检测。因此，首先需要明白照明方式的种类以及不同种类照明方法的使用范围，然后结合课题检测对象的需要选择可能的照明方式配合光源确定出合适的照明方法。根据相机、光源、被测对象之间的位置关系不同，照明方式主要分为背景光照明、前景光照明、同轴光照明三种不同方式。（1）背景光照明背景光照明方式是指将被测物置于相机和光源之间，如图 2-2 所示。5图图 2-2 背景光

15、照明示意图背景光照明示意图这种照明方式的优点在于它可将被测对象的边缘轮廓清晰地勾勒出来。因此，这种照明方式常常被用于检测工件的整体轮廓和加工尺寸以及模板匹配，Blob 分析等方面的应用。利用背景光照明检测的图像中，被测对象所遮挡的部分呈现为暗色，而未被遮挡的部分呈现为亮色，容易形成“明暗分明”的图像，这对利用机器视觉系统检测分析十分有利。（2）前景光照明前景光照明方式是指将灯源置于被测物与相机之前。根据光源与被测物待测表面夹角大小的不同可以将其分为“高角度照明”和“低角度照明”两种方式。根据经验，这个夹角的分界线一般为 45，小于 45为低角度照明，大于 45为高角度照明。根据光源、摄像机及待

16、检测物三者的相对位置，可以将其分为明域照明和暗域照明。 高角度和低角度照明示意图如图 2-3 所示。低角度照明方式主要用于检测被测对象表面凹凸部分，如:轮廓、边界、表面刻字、划伤等;高角度照明方式常用于检测工件上丝印、商标、条码、字符等。高、低角度照明实例如图 2-4 所示。高角度照明 低角度照明图图 2-3 高、低角度照明示意图高、低角度照明示意图高角度照明 低角度照明图图 2-4 高、低角度照明实例高、低角度照明实例6明域照明方式是指相机放置在光源反射光路上的照明方式；暗域照明方式是指相机放置在与光源入射光几乎平行方向上的照明方式。明、暗域照明方式的示意图如图 2-5 所示明域照明 暗域照

17、明图图 2-5 明、暗域照明方式示意图口明、暗域照明方式示意图口明域照明主要用于散射和吸收光线缺陷类型的检测，在大多数明域照明图像中，背景亮，缺陷暗。暗域照明主要用于光滑工件表面上含有散射光的缺陷类型检测3。在大多数暗域照明采集的图像中，背景暗，仅仅缺陷可见。暗域照明常被用于检测表面污垢和表面突起的特征。经过前人的实验研究总结得出，一般情况下，翘边、结合不良、掉角、麻坑等为明域照明能够检测出的缺陷；裂纹、折印、孔洞、砂眼、划痕、刀纹等为暗域照明能够检测出的缺陷。明、暗域照明实例如图 2-6 所示。明域照明 暗域照明图图 2-6 明暗域照明实例明暗域照明实例（3）同轴光照明同轴光照明方式是指光源

18、置于被测物与相机之间的照明方式，照明示意图如图2-7 所示。同轴光照明主要用来检测表面光滑的平面物体，能够清楚的显现出表面特征或是减少阴影。同轴光照明实例如图 2-8 所示，7图图 2-7 同轴光照明示意图同轴光照明示意图光盘反光表面上的细微划痕 透明表面上的凹痕图图 2-8 同轴光照明实例同轴光照明实例通过以上分析可知，针对锯片缺陷的检测，在 LED 灯作为照明光源条件下，从锯片轮廓中可以得到基本信息，锯片厚度很薄，可以采用漫反射背光照明方式对锯片进行照明，这种照明方式，是将被测物置于相机与光源之间(如图 2-9 所示)。采用这种照明方法可以获得比较清晰精确的边缘。图图 2-9 背光方式背光

19、方式图 2-10 显示的就是通过这种照明方式采集到的锯片图像。相机被测物光源8图图 2-10 背光照明方式采集到的锯片图像背光照明方式采集到的锯片图像2.3.3 选择照明环境现在工业上一般用的比较多的有两种不同的照明方式：明室照明和暗室照明。（1）明室照明明室照明也有两种情况：平行光源照明和漫射光源照明4。平行光源照明的原理是当平行光照射到没有缺陷的光滑表面上时，只产生少部分的漫反射光进入相机，在像敏面上成像。而当平行光照射在有缺陷的地方，将产生大量的反射光在相机的像敏面上成像。漫射光源照明的原理是利用半透明磨砂玻璃灯罩、乳白罩或特制的格栅，使光线向多个方向的漫射。这样产生的光线柔和，可以有效

20、的消除阴影，减少镜面反射的影响，得到一个均匀照明的区域。同时，这样还可以扩大照明光线的覆盖范围。这两种照明方式相比，采用平行光源照明所得的图像的灰度级差别较大、图像清晰，明暗对比度也比较高，这是它的优点。但是，由于平行光良好的方向性，它的辐射亮度在各个方向上并不对称，因此，缺陷是否清晰与它们自身的方向有很大的关系。通常情况下，当它们的方向与平行光方向互相垂直时，缺陷最为清晰。而当它们的方向与平行光互相平行时，就几乎看不到这种缺陷。这是采用平行光源照明的缺点。（2）暗室照明暗室照明理论最初来自于摄影胶片的冲印室。所谓暗室，就是在特殊的光线条件下的工作室。暗室一般设计成一个半封闭的空间，这样可以有

21、效的阻挡杂散光和外来光线的干扰。针对不同的被拍摄物体，特别是透明半透明的玻璃状物体，在暗室的不同位置放置合适的光源或者开个小孔，能够制造出合适的照明环境，排除外界杂散光源的干扰，获得高质量的图片。暗室照明比较适合用于透明物体的缺陷检9测，如折印、刮痕等等。显然，经过上面的分析可知，锯片缺陷的检测照明宜采用暗室照明环境。2.3.4 选择相机机器视觉系统获取图像的主要部件是摄像机。摄像机的作用是将通过镜头聚焦光线，生成图像。下面我们对摄像机进行详细的分析和选择。（1）相机的分类相机作为机器视觉检测中图像获取关键设备，它作用的重要性不一言而喻。而市面上相机的品种繁多，只有根据需要选择合适的相机才能更

22、好的完成机器视觉检测。摄像机按照拍摄出的照片的颜色可以分为彩色摄像机和黑白摄像机。同等价位的情况下，黑白摄像机具有分辨率较高、信噪比较高，对原物体的亮度信息的反映更好的优点。而且一般来说，选用黑白摄像机就足以胜任大部分的应用场合。按图像传感器的不同又可分为 CCD 摄像机和 CMOS 摄像机。两者的图像传感器均采用相同的光敏材料，光电转换的原理相同。不同的是从芯片中读出数据的方式，即读出结构不同。CCD 技术已发展的较为成熟，采用二氧化硅隔离层或者 PN 结来隔离噪声。相对 CMOS 来说，在成像质量上有一定优势。综合工业应用图像传感器研究的发展趋势以及 CCD 图像传感器的自身优势，课题选择

23、应用基于 CCD 图像传感器的面阵相机进行机器视觉锯片缺陷检测技术的研究。（2）CCD 相机的选用CCD(电荷耦合器件)是由具有光电效应的半导体器件组成的一个面阵单元5。通过 CCD 图像传感器采集图像，把目标的三维图像采集为二维图像，通过光信号转换成电信号，即所谓的模拟信号，再由图像采集卡把电信号转化成数字信号，供计算机处理。CCD 根据图像颜色来分有单色 CCD 和彩色 CCD。单色 CCD 输出图像是单色的，彩色 CCD 输出图像是彩色的。CCD 根据传感器格式来分，可以分为线阵和面阵两种。线阵 CCD 每次只能得到一条线上的光学信息，其分辨率高。面阵 CCD 由排成方阵的感光像元组成，

24、可直接得到二维图像。一般应用于成像速度要求不高，一次成像的场合。面阵 CCD 可同时获取轴类零件 XY 两个方向的信息，信息最大，为轴类零件的基本尺寸测量提供10了足够的信息。面阵 CCD 采用静态采像技术，不再需要扫描工作台。因此，综合上述考虑和基于本课题的技术要求，本测量系统摄像机选用 AVT Marlin F046-C CCD 摄像机。其性能参数是帧扫描速率为 53 帧/秒；采用行扫描的方式进行；CCD 尺寸大小为 1/3；镜头接口为 C 接口；图像分辨率为 780582 pixel；快门速度为 1/241/10000。2.3.5 选择镜头相机的镜头类似于人眼的晶状体。如果没有晶状体，人

25、眼看不到任何物体。同理，没有镜头，相机就无法输出清晰的图像。在图像检测系统中，镜头的质量直接影响到系统整体性能。一般情况下，选择镜头时需要考虑成像面、焦距、视角、工作距离、视野和景深等参数。焦距、工作距离、视野范围和成像面大小之间满足以下关系:F1=vxDV F2=hxDH （2-1） 其中:Fl、F:为水平和垂直方向焦距，镜头的实际焦距由 FI、F:中较小值确定:D为最大工作距离，v*h 为像面的大小，而 v*H 为视野 FOV。由公式(2.1)可知:镜头的焦距与视野成反比，而与最小工作距离成正比，镜头焦距越大，其视角、视野越小，而工作距离越远。课题中，我们必须根据检测的工作距离，即相机与锯

26、片之间的距离，利用公式(2.1)，计算出镜头的焦距，最终选择出合适型号的镜头。实验室检测的工作距离为60cm，通过计算可得课题所需镜头的焦距为 18mm。我们最终选用 Icrovision 镜头8mm 1:1.4 2/3” ，该配套镜头是变焦镜头，可以实现焦距在 8mm55mm 范围内的焦距变换，它通用的 C 接口也比较方便未来与其他的工业摄像机相连接。2.3.6 选择图像采集卡相机捕获图像后，输出的模拟信息，不利于进行图像处理。因此，需要把模拟图像转换成数字图像，进行高速的 A/D 转换。图像采集卡是图像采集部分和图像处理部分的接口。常用的图像采集卡有三种：视觉采集卡、具有显示功能的视觉卡和

27、自带处理器的板卡。这三者之间的区别是视觉采集卡只负责采集传输图像；具有显示功能的视觉卡就是在视觉采集卡的基础上加了个图像显示的功能；自带处理器的板卡本身就带有处理器和进行图像处理的固化程序，它的图像处理可以在板卡中直11接运行。选择什么样的板卡应据实际需求而定，一般来说，选择时需要综合考虑以下因素：（1）相机支持：选用的相机与视觉卡是否匹配。通常考虑的因素有以下几个方面：异步信号、不同分辨率的匹配、不同视频信号的匹配、逐行扫描和多频道。（2）激发灯源：有相当一部分板卡带有灯源激发的功能。这不仅简化了编程人员工作，缩短运行的时间，更重要的是这一功能可以使灯源更加有效地与相机同步进行工作。（3）图

28、像存储：相机拍照的速度很快，但是系统进行图像处理的速度相对来讲就慢的多。因此，在实际应用的过程中，经常会出现相机“等待”PC 的情况。有些板卡采取了在片中另外开设一块内存作为图像处理的缓冲区的办法：采集到的图像按照一定的顺序先暂存在图像处理缓冲区中，然后在一帧一帧传到 PC 进行处理。文章根据实际需求和实验条件，最后决定采用 1394 采集卡作为图象采集和处理单元。在 pc 机上，1394 接口是一种常见的数字串口，IEEE1394 接口有 6 针和 4 针两种类型。6 角形的接口为 6 针，小型四角形接口则为 4 针。IEEE1394 接口也称Firewire 火线接口，是苹果公司开发的串行

29、标准。同 USB 一样，IEEE1394 也支持外设热插拔，可为外设提供电源，省去了外设自带的电源，能连接多个不同设备，支持同步数据传输。由于它支持即插即用，就像 USB 一样，易用，减少用户的支持需求。1394 采集卡采集 AVI 格式到电脑这一过程是无损的，但是 AVI 格式文件比较大不利于保存所以就得压缩成 MPEG 格式，而 AVI 到 MPEG 这一格式的转换却是有损的，其损失程度的大小直接由电脑的配置情况及所用的软件所决定，并且还得花大量的时间，而压缩卡一般是直接采集成 MPEG 格式的，因为其板卡上有自己的压缩运算芯片，采集效果基本上对电脑配置情况没有什么依赖性，并且采集时间是实

30、时的。所以，带有硬压缩功能的 1394 采集卡，在相同电脑配置的情况下，硬件压缩在压缩时间与压缩质量都要比较软件压缩胜出一筹。因此，在这里我们选用 1394图像采集卡。表表 2-1 系统硬件选择方案系统硬件选择方案光源白色高亮 LED 光源12照明方式背景光照明方式照明环境暗室照明环境相机AVT Marlin F046-C CCD 摄像机镜头Icrovision 镜头 8mm 1:1.4 2/3”图像采集卡1394 图像采集卡第 3 章 软件算法研究及实验设计通过上面章节内容的阐述，我们在分析基于机器视觉锯片缺陷检测系统硬件选择和搭配原则的基础上，确定了论文中用于锯片缺陷检测的相机、镜头、图像

31、采集卡以及照明模块，这些都是一个机器视觉检测系统硬件所必需的，它们是系统能采集优质目标检测图像的保证。只有采集到好的用于检测的初始图像，才能简化后续图像处理过程，提高检测效率和质量。机器视觉检测系统另一重要内容是后续图像检测算法的处理，选择合适的软件运行平台，通过图像处理达到锯片缺陷提取，最终实现机器视觉检测系统的特定应用。3.1 机器视觉软件 HALCON3.1.1 HALCON 概述德国 MVtec 公司的图像处理软件 HALCON，是世界公认具有最佳效能的机器视觉软件6。它发源自学术界，有别于市面一些商用软件包。事实上，这是一套图像处理库，由一千多个各自独立的函数，以及底层的数据管理核心

32、构成。其中包含了各类滤波、色彩分析以及几何、数学变换、形态学计算分析、校正、分类、辨识、形状搜索等等基本的几何以及图像计算功能，由于这些功能大多并非针对特定工作设计的，因此只要用得到图像处理的地方，就可以用 HALCON 强大的计算分析能力来完成工作。应用范围几乎没有限制，涵盖医学、遥感探测、监拎、及工业上的各类自动化检测。近年来，由于机器视觉技术的发展，这种可以”取代人眼” ，对重复工作不会疲劳，精度高且稳定的特质，促进了高科技业的发展，例如电子业产量的大幅提升。而 MVTec 公司更是不断的与学术界合作，并且将最新的学术研究成果纳入其中，不但使自己的技术处于业界领导地位，同时也将机器视觉技

33、术推向更高的境界。13机器视觉软件 HALCON 在世界范围内被广泛的使用，用户可以利用其开放式结构快速开发图像处理和机器视觉应用。一个专业的图像处理工具不只包含一个图像处理函数库。图像处理任务的解决只是整个机器视觉解决方案的一部分，还包括处理控件和或者数据库连接等软件部分，图像获取及其照明等硬件部分。因此，图像处理系统简单易用，并且能活嵌入到开发项目中是非常重要的。Halcon 充分考虑到这些方面，它有如下的特点:1HALCON 包含了一套交互式的程序设计接口 HDevelop，可在其中以HALCON 程序代码直接编写、修改、执行程序，并且可以查看计算过程中的所有变量，设计完成后，可以直接输

34、出 C/ C+，或是 COM(visual basic)程序代码，嵌入到应用程序程序中。2HALCON 不限制取像设备，可以自行挑选合适的设备。原厂己提供了 4 0余种相机的驱动，即使是尚未支持的相机，除了可以透过指针(pointer)轻易的抓取影像，还可以利用 HALOCN 开放性的架构，自行编写 DLL 文件和系统连接。3使用 HALCON 有最好的投资效益。这套软件支持的操作系统除了微软的NT/XP/2000，还有 Linux, Solaris7, 181X6. 5, 1ru64 UN1X5. 1 等等，当需要开发出一套系统，就可以轻易转换作业平台，以符合需求。为了加快速度，还可以使用多

35、处理器的计算机，所编写的程序不必更动。4使用 HALOCN，在设计人机接口时没有特别的限制，也不需要特别的可视化组件，可以完全使用开发环境下的程序语言，例如 Mircosoft Visual Studio 等等，架构自己的接口，最终用户看不到开发工具，而且在执行软件的机器上，只需要很少的资源。3.1.2 HALCON 的体系和数据结构HALCON 的体系、数据结构、外触发机制是开放式的、高效率的。高效率的含义是 HALCON 中提供的函数执行时间非常短，而且能够在其开发环境 HDevelop 中直观的看到每条函数的执行时间。在很多复杂的机器视觉任务中，依然能够非常高效的完成。14图图 3-1

36、HALCON 基本体系基本体系如上图可以看出 HALCON 的基本体系。其主要部分是 HALCON 的图像处理库，其中包含了大量的图像处理函数。这些图像处理函数通过外部程序接口（如C、C+等）来实现其对应的功能。HALCON 的函数：对 HALCON 图像处理库的使用，是通过调用库内函数来实现的。HALCON 的函数具有以下特点：1，函数之间没有层次的，从软件体系结构来看，所有函数处于同一个层次上，并行的。2，函数可以按照针对 C+还是 COM 来进行逻辑划分，可以分为 C+类和COM 类；3，针对输入输出变量，函数具有标准的规则；4，除了库提供的函数以外，用户根据自己的需要，可以自己创建 H

37、ALCON 函数；5，许多函数是自动并行处理的，在多处理器的 PC 中，处理一个比较大的图像的时候，其处理速度会得到显著的提高；HALCON 有两个基本的参数类型，一个是图标型数据（例如图像等） ，另一个是控制型数据（例如整型、句柄等） 。所有 HALCON 函数遵循一个标准的法则：输入图标型数据则输出图标型数据；输入控制型数据则输出控制型数据。3.2 图像处理算法在本课题的机器视觉检测系统中，合理选择图像处理算法非常重要，检测软件所使用的图像处理算法直接决定了检测效果的好坏以及检测花费的时间。合理选择图像处理算法是指针对不同的被测产品、不同的图像以及检测要求选用合适的图像15处理算法。每个需

38、要提取出的信息如边缘、形状、尺寸等都可以通过多种途径获得，但仍然需要选择合适的算法使系统更精确、处理效率更高。在此针对锯片缺陷检测系统涉及的图像处理算法进行详细的分析说明。基本思路为：首先从采集得到的原始图像中提取锯片的轮廓，然后通过适当地分离轮廓得到每个锯齿，最后计算每个锯齿两侧的坡口角度即可得出检测结果。3.2.1 图像分割为得到图像中的物体信息，我们必须进行图像分割，即提取图像中与感兴趣物体相对应的那些区域。描述得更正式些，分割操作以一副图像作为输入而返回一个或多个区域或亚像素轮廓作为输出。系统中所获取的锯片检测图像需要达到比此图像像素分辨率更高的精度，因此从图像中提取亚像素精度数据是很

39、重要的，亚像素数据可以通过亚像素阀值分割或亚像素边缘提取来获得。这些处理得到的结果可以用亚像素精度轮廓来表示。(1)亚像素精度阀值分割最简单的分割算法是图像的阀值分割。阀值分割操作被定义为：S=(r,c)Rgminfr,cgmax （3-1）因此，阀值分割将图像 ROI R 内灰度值处于某一指定灰度值范围内全部点选到输出区域 S 中。经常使用 gmin=0 或者 gmax=2b1。如果光照能保持恒定，阀值 gmin和 gmax能在系统设置时被选定且永远不用被调整。既阀值分割是基于灰度值自身的，所以只要被分割的物体和背景之间存在非常显著的灰度差时，都能使用阀值分割。固定阀值仅在物体的灰度值和背景

40、的灰度值不变时效果很好。但是，这种情况发生的频率和期望的要少，比如，照明变化后的物体和背景的灰度值就会发生变化。即便使用的照明是恒定不变的，相似物体间不同的灰度值分布也会固定阀值分割的结果不理想。一些应用需要的精准度要高于像素级别。因此，有时需要能返回亚像素精度结果的算法。很显然，亚像素精度阀值分割处理的结果不能是一个区域，因为区域是像素精度的。为此，表示结果的适当数据结构应是亚像素精度轮廓。此轮廓表示图像中两个区域之间的边界，这两个区域中一个区域的灰度值大于灰度值阀值 gsub而另一个区域的灰度值小于 gsub。为获取这个边界，我们必须将图像的离散表示转换成一个连续函数。可以通过双线性插值公

41、式：=b(ag11+(1a)g01)+(1b)(ag10+(1a)g00) (3-2)g16完成这种转换。一旦我们得到了表示图像的一个连续函数，从概念上，亚像素精度阀值分割处理的结果就可以用常量函数 g(r,c)=gsub于图像函数 f(r,c)相交得到，为获取有意义的轮廓，这些线段要被连接起来。可以通过反复地选取图像中第一个未被处理的线段作为轮廓的第一段，然后跟踪临近的线段直到轮廓闭合、到达图像边界或到达一个交点。此连线处理的结果通常是在图像内形成一个闭合的轮廓，此轮廓围绕的区域内部的灰度值大于或者小于阀值。(2)梯度算子二维边缘存在着两种可能的定义，着两种定义并不是等价的7。对那些明显边缘

42、的提取需要在梯度量值的基础上进行一个阀值分割处理。因此，与由梯度量值最大定义的边缘相比，由拉普拉斯算子过零定义的边缘需要计算更多的偏导数。所以，对于二维我们将精力集中在梯度量值最大定义上，可以用有限差分来计算偏导数。在二维中，有限差分是：Fr;i,j=(fi+1,jfi1,j) （3-3） 21和 fc;i,j=(fi,j+1fi,j1) （3-4）21通常图像必须被平滑处理以便获得好的提取结果。对运算时间要求苛刻的那些应用，滤波器掩码应该尽可能的小，及 33。通过适当地对系数进行按比例缩放，所有33 边缘滤波器都能用如下形式表示当 a=1 时，我们得到 Prewitt 滤波器。注意它在垂直于

43、导数的方向上进行一个均值滤波处理。当 a=时，就得到了 Frei 滤波器，当 a=2 时得到 Sobel 滤波器，此滤波2器在垂直于导数的方向上执行一个近似于高斯平滑的处理。在上面三个滤波器中，Sobel 滤波器返回的结果最好，因为它使用了最好的平滑滤波器。在质量相对较好的图像中以中等准确度快速搜索边缘时主要使用快速 33 边缘滤波器。因为速度是重要的，而且由梯度向量的欧几里得长度（2-范数） （f2=）得到的梯度量值计算需要进行耗时的求平方根运算，所以ffcr22梯度量值通常是用如下量值中的一个来计算的：1-范数f1=fr+fc或1 0 1a 0 a1 0 11 a 10 0 01 a 1(

44、3-5)17者或者最大值范数f=max（fr,fc） 。此外，非最大抑制也是相对耗时较多的处理所以常被忽略掉，只对梯度量值进行阀值分割。由于这将返回宽度大于一个像素的边缘，所以阀值分割后的边缘区域要被骨架化。在二维中，我们能通过计算最佳的平滑滤波器的偏导数来推导出最佳的边缘滤波器，因为卷积操作的特性允许将求导计算移动到滤波器上8。所以，Canny 的最理想的二维边缘滤波器可由高斯滤波器的偏导数得到。因为高斯滤波器是可分的，所以其导数也是可分的：gr= (r) g(c) （3-6）2g、和 gc=g(r) (c) （3-7）2g、在二维应用 Deriche 滤波器，也需要滤波器的可分性作为前提。

45、因此,对第一种Deriche 滤波器的最理想二维 Deriche 滤波器由 d(r) d(c)和 d(r) d(c)计算，而对第二种 Derich e 滤波器的最理想二维 Deriche 滤波器由 e(r) e(c)和 e(r) e(c)计算得到。Canny 滤波器的优点是具有各项同性和旋转不变。它的缺点是不能以递归方式来计算。因此，其执行时间由 决定的平滑程度来决定。另一方面，虽然 Deriche 滤波器能以递归方式计算，其运行时间不受平滑参数 影响。但是它们是各项异性的，即用其计算出的边缘幅度依赖于图像中边缘的角度。(3)拉普拉斯算子第二种边缘定义拉普拉斯算子过零9。由于过零也是一种特殊的

46、阀值条件，所以我们能用亚像素精度阀值分割处理来以亚像素精度进行边缘提取，为尽可能使它更有效率，必须先在图像的整个 ROI 中计算边缘幅度，然后，对边缘幅度进行阀值分割，并把分割的结果作为计算拉普拉斯算子和计算亚像素精度阀值分割时的ROI。由普拉拉斯算子求得的边缘比用梯度量值求得的边缘更弯曲些，这是因为拉普拉斯算子得到的边缘一定要经过真边缘上所有角点，所以后续处理更加困难些。两阶微分算子是根据图像边缘处灰度值的二阶导数为零而提取边缘的。拉普拉斯算子是典型的两阶微分算子。对一个连续函数 f(x,y)，它在位置 (x,y)的拉普拉斯值定义如下：2f= + （3-8）22fx22yf假设 i 对应 x

47、 方向，j 对应 y 方向，使用差分方程对 x 和 y 方向的二阶偏导数18近似如下：2=fi+2,j2fi+1,j+fi,j （3-9）22fx x)ji,-, 1(jif将上式的中心点i+1,j移到i,j点可以得到二阶导数的近似式为：= fi+1,j 2fi,j +fi1,j （3-10）22fx同理可得：= fi,j+1 2fi,j +fi,j1 （3-11）22yf根据上式可以得到两个方向上的近似拉普拉斯算子的模板：2= （3-12）01-01-41-01-0除以上的模板以外，还有其他的拉普拉斯算子模板，但是对模板有一个基本要求:模板中心的系数为正，其余相邻系数为负，所有系数的和为零。

48、由于拉普拉斯算子是一种二阶导数算子所以对图像中的噪声相当敏感。另外它常产生双像素宽的边缘，而且也不能提供边缘方向信息。因此，拉普拉斯算子很少直接用于检测边缘，而主要用于已知边缘像素后确定该像素是在图像的暗区或者明区一边。(4)本课题采用的图像分割方法由于需要高准确度提取锯齿两侧的坡口角度，所以本系统选择使用亚像素精度算法。因为使用亚像素阀值分割方法必须指定的阀值会影响轮廓的位置。然而，本课题中使用亚像素阀值非常合适，因为比边缘提取快许多。由于使用背光照明，图像上背景为白，锯片为黑色，不难找到一个合适的阀值，比如均值 128。后面将看到，本系统中阀值对轮廓位置的影响可以忽略不计。3.2.2 特征

49、提取 在上一节中，已经讨论了如何从图像中提取轮廓，尽管轮廓非常有用，但还是远远不够用的，因为它只包含对分割结果的原始描述。因此，我们必须从分割结果中选出某些区域或者轮廓，从区域或轮廓中确定一个或多个特征量。这些我们确定19的特征量被称为特征，他们通常是实数，确定特征的过程被称为特征提取。(1)区域特征最简单的区域特征是区域的面积：a=R=ceicsi+1 (3-13)Rr），（c1ni 1由上式可知，区域的面积 a 就是区域内的点数|R|。如果区域是用一幅二值图像表示的，那么用上式中的第一个求和等式计算区域的面积；如果区域是用行程编码表示的，那么用上式中的第二个求和等式计算区域的面积。一个区域

50、能够被视为其所有行程的一个并集，而每个行程的面积是极容易计算的10。由于第二个累加式的项比第一个累加式的少很多，所以，区域的行程表示法可使区域面积的计算速度快很多，这点对几乎所有的区域特征都适用。而面积是被称为区域的矩的广义特征中一个特例。p0，q0 时，(p,q)阶矩被定义为：= （3-14）mqp,Rcrqpcr),(这里就是区域的面积。与计算面积类似，因为能够推导出仅基于行程的简m0, 0单等式来计算矩，所以使用行程表示法时可以高效率地计算矩。等式（4-17）中的矩依赖于区域的尺寸。我们期望有一些特征可不随物体尺寸变化而变化，为获取这样的特征，当 p+q1 时，矩除以区域的面积就得到了归

51、一化的矩：= （3-15）nqp,Rcrqpcra),(1从归一化的矩中推导得到的最令人感兴趣的特征是区域的重心，即（，） 。n0, 1n1 , 0它能被用来描述区域的位置。虽然重心是从像素精度的数据计算得到的，但它是一个亚像素精度特征。归一化的矩是由图像中的位置决定的。但是我们希望特征不随图像中区域的位置变化而变化，为此我们可以计算相对于区域中心的矩。这些中心矩是在（p+q=2）时由下式计算得到的：=（） （） （3-16）qp,Rcrqpcra),(1rn0, 1pcn1 , 0q20这些中心矩也是归一化处理后的。这里我们尤其关注二阶中心矩（p+q=2） ，它们可以用来定义区域的方位和区域

52、的范围。这是通过假设从一个椭圆上获取区域的一阶矩和二阶矩而实现的。然后，从这五个矩推导出椭圆的五个几何参数。椭圆的重心与区域的重心一致。椭圆的长轴和短轴，以及相对于横轴的夹角可由下式计r1r2算得到：= （3-17）r1)4)(221 , 122, 00, 22, 00, 2= （3-18）r2)4)(221 , 122, 00, 22, 00, 2=arctan （3-19）210, 22, 01 , 12通过椭圆的参数，我们推导出另一个非常有用的特征：各向异性。此特rr21征量在区域缩放时是保持恒定不变的，它可以描述一个区域的细长程度。椭圆的这些参数在确定区域的方位和尺寸时极其有用，但它们

53、还存在两个问题。首先，只有在满足时才可以确定区域的方位。也就是说对于的物rr21rr21体的方位不能通过椭圆参数来确定，比如正圆，正方形等。第二个问题，因为底层的模型是一个椭圆，所以仅能以（180）为模确定方位。这个问题可以先确定区域内部距离重心最远的点，然后用此点来选择或+作为正确方位进行解决。我们使用这些方法建立的基于矩的特征在更多类型的变换结果上保持不变，比如平移、旋转、缩放，甚至是仿射变换。除了基于矩的特征外，还存在许多极其有用的特征，这些特征都基于为区域找到的一个外接几何基元。计算任意方位的最小外接矩形和最小外接圆的方法是基于首先计算区域的凸包。在一个特定区域里，一个点集的凸包就是包

54、含了区域中所有的点的最小凸集。如果点集中任意两点连成的直线上的所有点都在此点集中，那么这个点集就是凸集。点集的凸包可以被高效率地计算出来。在已经从图像中提取出的区域上构建 ROI 时，一个区域的凸包是很有用处的。基于此区域的凸包，能够定21义另一个有用的特征：凸性。凸性被定义为某区域的面积和该区域凸包的面积之间的比值，它的值在 0 和 1 之间，可用来测量区域的紧凑程度。一个凸区域的凸性是1。我们可以利用凸性来去除不想要的分割结果，而这些不想要的结果一般是高度非凸的。区域的另一个有用特征是区域的轮廓长度。为计算此特征量，我们必须跟踪区域的边界以获取一个轮廓，此轮廓将边界上的全部点连接在一起。得

55、到了区域的轮廓后，我们将全部轮廓线段的欧几里得距离求和便得到轮廓长度。水平线段和垂直线段的欧几里得距离都是 1，而对角线段的距离是。基于区域的轮廓长度 l 和区2域的面积 a，我们能定义区域紧性的度量方法：c=。所有圆形区域的紧性特征值都是)4(2al1，而其他区域的紧性特征值更大。(2)轮廓特征一个闭合且不自相交的轮廓其所围绕的范围将产生一个区域，那么轮廓跟前面提过的区域一样也存在面积11。为简化等式，假设一个闭合轮廓是通过（r1,c1）=(rn,cn)来表示的。R 表示轮廓围绕的亚像素精度区域，则（p,q）阶矩被定义为：mp,q=rpcqdrdc (3-20)Rc）（ , r与区域类似，我

56、们能定义归一化的矩和中心距。可以看到，这些矩都能仅基于轮廓上的控制点计算得到。例如轮廓的面积和重心能由下式计算：a=ri1cirici1n121i n1,0=( ri1cirici1)( ri1+ ri) (3-21)n1a61in0,1= ( ri1cirici1)( ci1+ ci)n1a61i对于二阶矩能推导出类似的等式，根据这些等式，我们能计算出椭圆的长轴、短轴和方向等参数。基于矩的轮廓特征和基于矩的区域特征和基于矩的灰度值特征用途类似。(3)本系统采用的特征提取方法22 前面我们提过采用亚像素精度阀值分割从原始图像中提取了锯片的轮廓。所以我们不采用区域特征提取方法，而采用轮廓特征提取

57、的方法，去除轮廓上不是锯齿的部分，从而得出课题感兴趣的锯齿的轮廓。3.2.3 几何基元的分割和拟合 本节将研究将轮廓数据拟合成几何基元的方法，并分析如何将轮廓自动分割成多个部分，每部分都有相对应的几何基元。这能让我们充分地减少需要被处理的数据量，并给我们提供一种数据的符合化描述方式。而且，对几何基元得拟合将使我们受不正确或者不准确的提取点影响更少。(1)直线拟合在进行直线拟合前必须首先考虑直线的表达方法12。在图像中，直线可以出现在任何方位。因此，我们不得不使用一种可以描述所有的直线的表达方法。例如，通常的表示法 y=ms+b 不能满足要求。可用的一种表示法师直线的黑塞范式，表达为：r+c+=

58、0 (3-22)这实际上是一种过渡参数化得表达，因为参数（,）是齐次的。因此，这些参数仅需被定义到一个比例因此。此比例因子在黑塞范式中是通过令 2+2=1 来固定下来的。这样做的好处是某点到直线的距离能通过将该点的坐标直接代入等式(3-11)得到为了从一系列点（ri,ci） ，i=1,n 来拟合出一条直线，我们能对这些点到这条直线的距离的平方和进行最小化处理： (3-23)n122)(icrii尽管上式理论是正确的，但是实际中它是不能工作的，因为当 =0 时，我们得到一个零误差。这是由直线的过渡参数化造成的。所以，我们必须加入约束条件 2+2=1 作为拉格朗日乘子，从而必须将下式的误差最小化：

59、(2+21)n (3-24)n122)(icrii可以看到(,)是如下矩阵的较小征值相对应的本征向量： (3-25)2, 01 , 11 , 10 , 223此时， 由 =(+)得到。等式中，和都是点集n0, 1n1 , 00, 21 , 12, 0（ri,ci）的二阶中心距，而和是此点集归一化后的一阶矩。0, 1n1 , 0n最小平方直线拟合法对于大的离群值是不足够鲁棒的，由于采用的是平方距离，所以与直线距离远的那些点在最优化过程中将会拥有非常大的权重。为减轻这些远离点的影响，我们可以为每个点引入权重 wi 。对于远离线的那些点，其权重应该1。那么，最小化过程将变为=()2(2+21)n (

60、3-26)2niiw1iicr定义权重 wi 。的方法是用多次的迭代来拟合直线。在第一次迭代中使用wi=1，即执行一个标准的直线拟合来计算出距离 i 。通过一个权重函数 w()可用已经计算出的距离来定义权重，然后将这些权重用于后续的迭代处理中，第一个迭代函数是由 Huber 提出的，其定义为：w()= (3-27) 1参数 是削波因数它定义那些点应被视为离群值，所有距离 的点对应的权重都是 1。这意味着，对于小的距离的点，在极小化处理中就直接使用其平方距离。对于 的点，将获得一个更小些的权重。事实上，在最优化计算中，此权重函数为那些距离远的点选定了其距离值而不是平方距离值参加运算。有时，选定的