缺陷检测系统用户手册

1、缺陷检测算法用户手册当前版本 V1.0.5陕西维视数字图像技术有限公司www.MAll rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted in any form or by any means, electronic, mechanical, photocopying, machine vision, image, recording, or otherwise, without prior written permission

2、 of the publisher.Edition 1 2010.2(Defect 1.0)Microsoft, Windows, Windows XP, Windows Vista, and Visual C+ are either trademarks or registered trademarks of Microsoft Corporation.All Other nationally and internationally recognized trademarks and tradenames are hereby recognized.Revision HistoryVersi

3、onDateRevisionVer 0.0.12010-02-08Created by MVVer 0.0.22010-02-18Updated by MVVer 1.0.32010-04-13Updated by MVVer 1.0.52010-04-29Updated by MV摘要该手册详细介绍缺陷检测（Defect）算法包的功能，并介绍了在Microsoft Visual C+ 2005下的调用方法。Defect算法支持使用全局匹配初步矫正，局部匹配精细微调的算法架构，对旋转，套印等有很好的检测效果。算法支持图像预处理，对亮度变化、噪声等有很强的抗干扰性。Defect算法支持彩色图像检

4、测。算法支持各检测区域设置不同的检测参数和检测精度，能够检测细小缺陷。并预留特殊类型缺陷区域的接口。Key words: 机器视觉，缺陷检测。目录Revision HistoryII摘要III目录IVFiguresVI1引言11.1背景11.2工业产品21.3缺陷检测系统简介32算法功能52.1算法功能概述52.2算法应用范围52.3算法主要功能特点53算法流程及操作说明73.1算法流程73.2算法基本操作73.2.1创建模板83.2.2管理模板123.2.3参数管理133.2.4缺陷分析154算法调用174.1文件设置174.2环境配置174.2.1头文件包含174.2.2库文件包含184.

5、3函数调用194.3.1设置全局变量nHandle194.3.2初始化194.3.3释放资源194.3.4创建&分析模板194.3.5模板管理204.3.6参数设置204.3.7检测缺陷205算法Demo程序225.1MV-MIPSDemo简介225.2界面介绍225.2.1菜单栏225.2.2工具栏245.2.3窗口区255.3采集设置265.3.1采集设置265.3.2采集结果285.4开始检测296可行的改进306.1新缺陷类型306.2提高现有算法鲁棒性30FiguresFigure 11 工业LCD产品2Figure 12 工业LCD缺陷产品3Figure 31 算法流程7F

6、igure 32 创建模板功能8Figure 34 绘制全局匹配区域9Figure 35 绘制检测区域10Figure 36 绘制检测区域10Figure 37 区域属性设置11Figure 38 模板管理13Figure 39 参数设置14Figure 310 分析缺陷界面15Figure 311 分析缺陷16Figure 41环境设置17Figure 42 lib路径设置18Figure 43 lib设置18Figure 51 MV-MIPSDemo界面22Figure 52 选项窗口24Figure 53 用工具栏24Figure 54 工作界面25Figure 55 检测结果26Fig

7、ure 56 模拟采集文件选择27Figure 57 模拟采集设置28Figure 58 模拟采集结果28Figure 56 检测结果291 引言1.1 背景在全球加工行业中，中国可谓制造业大国。随着全球化竞争的加剧，中国制造业取得了长足的发展。精美的设计、复杂的工艺、严格的质量要求，给加工厂的生产带来巨大的挑战。减少废品的生成，提高质量控制能力，成为加工厂面临的一个重要课题。与此同时，用户对产品质量的要求也越来越高，因此加工厂对产品质量的检测要求越来越严格。目前大多数加工厂都采用人工检测的方法，该方法存在以下缺点：（1）长时间检测单一产品，检测工人眼睛容易疲劳，并且容易受情绪的影响，检测结果

8、难以保证。（2）每个检测工人对同种被检测品的判断标准有轻微的浮动，检测标准不一致，因此很难保证高质量的产品。（3）人工检测的速度相对比较慢，短时间内很难完成完成大量定购产品的检测。（4）人工检测的精度低，人眼可以发现的最小的缺陷是对比度明显、相对比较大的缺陷；并且，人易产生疲劳感，很难保持持续的、稳定的视觉。目前随着计算机与机器视觉技术的迅速发展，全自动质量检测技术在全球得到了迅速的发展，同时也受到了加工厂商的广泛关注，全自动缺陷检测方法不但克服了人工检测方法的缺点，同时也发挥了自己的优点： （1）产品质量标准量化，检测结果可靠、稳定。（2）检测速度快，并且可以长时间检测，可以达到24小时全天

9、检测。（3）检测精度高，机器能够轻而易举地发现对比度不太明显的缺陷。由于全自动缺陷检测方法具有检测速度快、精度高、质量可靠等优越性，现在许多加工厂开始引进全自动缺陷检测系统。针对中国制造业设计精美、工艺复杂、质量要求严格的特点，公司研发了缺陷检测系统。目前，该系统已经成功应用于手表、汽车、摩托车等领域的质量检测中。本文档主要面向市场，工程部门的工程师。1.2 工业产品当前，工业产品种类繁多，应用广泛，很多和咱们的生活息息相关。比如汽车、摩托车仪表板，手机键盘，汽车保险丝，印刷包装，烟盒包装等。所有这些产品在自动化生产过程中都可能带入缺陷，因此，自动化的缺陷检测尤为必要。这里简单列举两个常见工业

10、产品以及他们所存在的缺陷。Figure 1-1所示是接插件产品，一个合格品要求没有坏点（所有区域都能正常显示），没有划痕，发光后，图案亮度均匀等。Figure 11 工业LCD产品上述接插件产品，由于这样或者那样的原因，在工业自动化生产线上，经常出现缺陷品，比如个别区域点不亮，如Figure 1-2所示：Figure 12 工业LCD缺陷产品1.3 缺陷检测系统简介本系统采用先进的图像视觉检测技术，实现对高速运动的工业产品进行实时全面的质量检测。系统配备一台高性能彩色数字摄像机，摄像机采集工业品表面图像，并将图像数据传送到图像处理系统，图像处理系统对每幅图像进行预处理、字符分割定位、字符验证、

11、划痕检测等运算，如果发现有缺陷的区域并且超过设定的公差范围，则输出废品报警信息及剔废控制信号，由机械系统剔除废品，从而达到控制产品质量的目的。在缺陷检测系统中，能够准确识别和区分各种缺陷的算法是整个系统的核心。缺陷检测大概分为两个步骤，一是提取，二是比较。从实际的项目经验来看，这两点想要做好都不容易。在实际项目中，还会碰到各种各样的情况进一步增加算法的难度，比如：v 待检产品本身的个体差异w 产品本身区域形状位置不固定，比如印刷套印，不易提取准确；w 产品本身的允许差异，一致性不好；w 产品待检测区域有其他的干扰信号等。v 成像问题差异w 产品本身原因导致个体间反光不一样，如Figure 1-

12、2线体中的亮线条；w 有些产品本身相互遮挡产生阴影，导致图像变化大；w 相机成像不稳定导致图像之间亮度有差异等2 算法功能2.1 算法功能概述Defect算法为满足工业产品缺陷自动化检测的需求而研发，采用先进的计算机视觉技术，综合考虑实际生产中碰到的各种情况，取得了良好的实际应用效果，已经成功用于多条实际生产线。算法采集到一张标准图像后，创建标准模板，在此基础上针对客户的检测要求设置检测精度，然后对拍摄的每张产品图像进行实时检测，准确提取到字符区域后，通过和标准模板进行比对，检测出产品缺陷。为了适应复杂、多种多样的工业产品，算法提供两类不同的算法模块。对于一致性好的工业产品，可以使用自动学习的

13、算法；如果产品图像变化幅度大，可以使用人为干预的学习模式。不管采用哪种模式，对于检测都是高度自动化的。2.2 算法应用范围本系统主要应用于工业接插件、手机、保险丝等产品的在线/离线缺陷检测。2.3 算法主要功能特点1、检测速度高采用计算机图像处理技术，建立有效的可量化的检验标准，从而节约大量的人力成本，提高劳动生产率。2、高速全面的检测能力单个产品算法运行时间小，可高速全面地检测各种缺陷，实现对每个缺陷产品生产线实时检测。3、简单灵活的建模操作多检测区域（不限），每个检测区域可以根据不同的缺陷类型设置不同的检测算法，检测标准可以有多个级别，并可在检测中随时调整检测标准。4、便捷的模板修改学习提

14、供手工修改和模板学习两种修改模板的方式，将现有的学习结果和以前的检测结果相累加，满足各种学习要求。5、灵活的质量标准控制模板中每个检测区域的检测精度都可以单独设置。6、简洁清晰的缺陷显示算法输出缺陷区域的图像、位置等信息，便于及时发现问题，采取相应措施，统一品质要求。3 算法流程及操作说明3.1 算法流程本软件主要基于图像处理的方法对产品缺陷进行检测。检测流程主要包括采集图像、创建模板、分析图像、根据分析结果判断是否有缺陷以及是否剔废等等。检测的主要缺陷有：字符显示缺陷、表面损伤、污损、异物等。检测的主要思路是先选择一幅标准产品图像作为模板，然后将待检测产品图像与该模板对比，如果差别很大则认为

15、有缺陷，差别小则认为没有缺陷。差别的大小可以量化，界限值可以通过软件以检测参数的方式设定。在分析图像时主要应用了图像定位、模版匹配、直线查找、边缘检测、灰度分析、二值分割、斑点分析等检测算法。Figure 31 算法流程3.2 算法基本操作缺陷检测算法主要分为创建模板、设置参数和检测三个步骤。创建模板后，算法通过比较新图像和模板的差异来检查缺陷的位置和大小。根据图像的实际特点、模板还可以设置不同的属性控制检测方法和精度。参数设置支持各种算法流程和检测精度的设置。检测算法除了返回Pass或Fail外，还会返回缺陷区域的坐标和面积。3.2.1 创建模板 创建模板是缺陷检测的重要步骤，模板创建的好坏

16、直接关系到最终的检测结果。下面详细介绍一下模板的制作过程和注意事项。 确认选择创建模板的图像选择一幅理想的产品图像作画模板的图像，执行管理模板功能，进行模板创建，操作界面如Figure 3-2所示：Figure 32 创建模板功能 清空模板 在打开模板创建&分析功能时，系统会自动显示上次调用的模板，在绘制新模板之前，先点击清空模板按钮，清除原来模板内容。 画模板全局匹配区域确认图像后绘制全局匹配区域。全局匹配区域用来配准图像，要求绘制在唯一且有明显轮廓的区域。注意：选择全局匹配区域时要求局部唯一、特征信息明显、对比度大，如文字、商标等。全局匹

17、配区域作为定位标记，用来计算新检测图像与标准图像之间的角度、位移偏差。点击全局匹配按钮，在要画矩形的位置点按住鼠标左键，建立矩形的起点，拖曳到矩形的终点，放开鼠标左键就画完了矩形区域，可以修改其大小，并进行移动，可连续绘制多个区域，画完后单击鼠标右键确认操作，如Figure 3-4所示。Figure 33 绘制全局匹配区域 绘制匹配矩形区域按照产品工艺设定相应的匹配矩形个数。该产品存在字符和图案：两个不同的部分，但该产品在字符和图案之间不会存在位置上的偏移，制作该产品模板分为一组即可（如果图案之间会发生相对偏移，为保证得到较好的检测结果，可把无位置偏移的区域分为同一组）。由于该产

18、品所有图案之间位置相对固定，一个全局匹配即可以完成所有图案的配准，所以，匹配矩形可以不画。 绘制检测矩形区域检测矩形是产品的实际检测区域，由于该产品所有图案之间位置相对固定，所以只用画一个大的检测矩形将所有图案包括进来即可。点击矩形按钮绘制检测矩形，此时界面用红色字体提示“矩形区域绘制完成后，点击鼠标右键结束”。检测矩形可以连续绘制多个，绘制一个检测区域点击鼠标右键确认后，可以紧接着绘制另外一个，所有检测区域绘制完成后，再点击一次鼠标右键，确认所有检测矩形，此时界面用绿色字体提示“矩形区域绘制完成”。Figure 34 绘制检测区域Figure 35 绘制检测区域

19、设置矩形区域属性检测区域的属性直接决定该区域的检测算法和精度选择，设置检测矩形属性是制作模板的一个重要且关键步骤。要修改某个检测区域的属性，在该区域内部单击鼠标右键弹出菜单，选择属性按钮。弹出如Figure 3-7所示的对话框来设置该检测区域属性。Figure 36 区域属性设置下面详细介绍设置区域属性的各参数意义。（1） 区域编号：根据绘制顺序自动编号，无法修改。（2） 区域名称：用来标记区域的名称，默认为region，可以根据实际情况修改。（3） 检测级别：设定该区域检测精度级别，0级为不检测，1级为最低检测精度，2级、3级、4级、5级检测精度级别逐步提高，一般默认3级。（4） 自动分割：

20、用来设定算法使用自动预置分割中间的白色块区域。（5） Low：手动分割低阈值。 （6） High：手动分割高阈值。（7） 半径：去除中间白色区域周围的小缺陷，半径越大，则区域程度越高。通过调整阈值和半径，界面上给出了“目标”（Figure 3-7中蓝色框内区域）的各个特征。矩形度：蓝色框内目标区域接近矩形的程度；高度：蓝色框内目标区域的高度；宽度：蓝色框内目标区域的宽度；距离：蓝色框内目标距离左、上（下）、右三个面的最短距离，像素单位；均值：图中蓝色框外，绿色框内区域的灰度均值。一个好的产品要求矩形度较高，高度和宽度在一个指定的范围，距离左、上（下）、右的距离大于一个固定阈值。

21、区域修改很多时候，绘制的测量区域位置方向等不是很理想，算法在这里提供了区域修改的功能。在需要修改的区域中点击鼠标右键，在弹出的右键菜单中选择修改选项，然后使用鼠标左键点击新位置或者拖拽完成区域的修改。 区域删除和修改区域类似，在需要删除的区域中点击鼠标右键，在弹出的右键菜单中选择删除菜单，即可完成该测量区域的删除操作。3.2.2 管理模板模板管理是对已经创建的模板进行管理，有删除模板、加载模板等操作。执行模板管理功能，弹出模板列表对话框，如Figure 3-8所示。Figure 37 模板管理 加载模板选择要加载的模板名字，单击加载按钮或者双击模板名字，则系统自动加

22、载该模板。加载模板界面如Figure 3-8所示。 删除模板选择要删除模板的名字，单击删除按钮，弹出对话框提示是否删除该模板，如果确定该模板被删除，则算法从模板库中删除选中模板。3.2.3 参数管理执行参数设置功能，则进入按缺陷设置参数对话框如Figure 3-9所示。可以对漏印、脏点等缺陷的检测参数进行设置，每一种缺陷分5个级别，0级为检测最高，1、2、3、4级依次降低检测精度。特别注意：每一级别的检测参数，设置越小则检测精度越高；一般情况下，默认检测级别为3级。Figure 38 参数设置 矩形度目标区域接近矩形的程度的最小值，实际目标矩形度大于该值认为Pass

23、，否则为Fail。 高度目标高度的范围，目标的高度范围只有在高min和高max之间，才认为是Pass的，否则为Fail。 宽度目标宽度的范围，目标的高度范围只有在宽min和宽max之间，才认为是Pass的，否则为Fail。 距离目标距离左、上（下）、右三个面的最小距离，像素单位。只有距离大于该距离才认为是Pass的，否则为Fail。 亮度图中蓝色框外，绿色框内区域的灰度均值。只有亮度值低于这里规定的值才认为是Pass的，否则为Fail。3.2.4 缺陷分析缺陷分析功能提供详细的缺陷分析信息，详细标注每个缺陷的位置和各种信息。当用户对某个产

24、品的检测结果存在疑问时，调用缺陷分析功能有助于分析算法失效原因，为修改参数和改进模板提供必要的参考信息。调用模板创建&分析函数，弹出如Figure 3-10所示界面，界面显示待分析图片和当前模板信息。Figure 39 分析缺陷界面执行缺陷分析功能后，算法检测出的每一个缺陷都显示在如Figure 3-11的界面上，根据界面上缺陷显示的位置准确性作为调整检测参数和改进模板的参考。Figure 310 分析缺陷4 算法调用4.1 文件设置算法生成3个文件：inspection.dll，inspection.lib，inspection.h。在新工程目录中建立两个文件夹inc和lib, 将i

25、nspection.h拷贝到inc中，将inspection.lib拷贝到lib文件夹下。4.2 环境配置为了能够在vc+开发环境中调用算法，需要设置一下开发环境的附加包含目录和lib库链接，这里以VC+2005为例。4.2.1 头文件包含选择VC+2005菜单工程à属性对话框，展开C/C+并选择常规，在附加包含目录中填入inc，如Figure 4-1所示。系统默认的配置是针对Debug模式，如果要设置Release模式的话，将配置相应的选择为“活动（Release）”即可。Figure 41环境设置4.2.2 库文件包含展开链接器并选择常规，在附加库目录中填入lib，如Figure

26、 4-2所示。再选择输入，在附加依赖项中填入inspection.lib如Figure 4-3所示。Figure 42 lib路径设置Figure 43 lib设置4.3 函数调用4.3.1 设置全局变量nHandle定义一个全局变量nHandle，并在构造函数中赋值为0，nHandle表示检测实例的句柄，当同时进行多个检测任务时，nHandle是区分不同检测实例的标志。4.3.2 初始化初始化是创建算法实例，指定要处理的图像的大小，用于预分配内存。初始化函数可以连续调用多次，没调用一次建立一个检测实例，nHandle自动增加1。初始化调用的函数为：int pi_inspect_init(in

27、t &nHandle, const char *szDescription, int nHeight, int nWidth, int nChannel);nHandle为全局变量，不用处理；szDescription为算法描述，用于简单描述下算法内容；nHeight为图像高；nWidth为图像宽；nChannel为图像通道数；实际调用形式如下：pi_inspect_init(nHandle, “demo”, 1024, 1280, 3);4.3.3 释放资源在程序的析构函数中调用释放函数，释放函数释放算法占用的内存。释放资源掉用的函数为：int pi_inspect_free(int

28、 &nHandle);nHandle为实例句柄，可以直接输入数字。实际调用形式如下：pi_inspect_free(nHandle);4.3.4 创建&分析模板创建&分析模板用于模板的创建和缺陷分析。模板创建&分析调用的函数为：BOOL pi_inspect_model(int nHandle, const char* dataR, const char* dataG, const char* dataB);nHandle为实例句柄，可以直接输入数字。dataR 为图像红色通道的指针；dataG 为图像绿色通道的指针；dataB 为图像蓝色通道的指针；当图像为灰

29、度图时，nChannel为1，灰度图像指针当作dataR输入，dataG和dataB使用NULL代替。实际调用形式如下：pi_inspect_model(nHandle, dataR, dataG, dataB);4.3.5 模板管理模板管理用于控制模板的加载和删除。模板管理调用的函数为：BOOL pi_inspect_manage_model(int nHandle);nHandle为实例句柄，可以直接输入数字。实际调用形式如下：pi_inspect_manage_model(nHandle);4.3.6 参数设置参数设置用于控制缺陷检测的灵敏度以及检测算法是否保存日志等信息。参数设置调用的

30、函数为：BOOL pi_inspect_set_param(int nHandle);nHandle为实例句柄，可以直接输入数字。实际调用形式如下：pi_inspect_set_param(nHandle);4.3.7 检测缺陷检测缺陷用于实际的检测任务，检测缺陷调用的函数为：BOOL pi_inspect_check(int nHandle, const char* dataR, const char* dataG, const char* dataB, ErrorRegion *ErrorVector, int &nErrorCount);nHandle为实例句柄，可以直接输入数字

31、。dataR 为图像红色通道的指针；dataG 为图像绿色通道的指针；dataB 为图像蓝色通道的指针；ErrorVector为返回的缺陷区域；nErrorCount为返回的缺陷区域个数。当图像为灰度图nChannel为1时，灰度图像指针当作dataR输入，dataG和dataB使用NULL代替。ErrorRegion的定义如下：typedef struct tag_ErrorRegionCString strRegionName;/ 缺陷区域的名字RECTrect;/ 区域相对于模板图像的区域intErrorArea;/ 错误面积intnType;/ 类型LPBYTE pImage;/ 缺陷

32、区域图像 int nReserve20;ErrorRegion;/ 错误区域通过ErrorRegion可以返回缺陷区域的各种信息，包括大小，面积，类型和缺陷区域图像等。nErrorCount表示返回的缺陷区域个数。根据nErrorCount，可以从ErrorRegion中读取各个缺陷区域的信息（比如pError0.rect）。实际调用形式如下：int nErrorCount;ErrorRegion* pError;pi_inspect_check(nHandle, dataR, dataG, dataB, &pError, nErrorCount);5 算法Demo程序5.1 MV-M

33、IPSDemo简介MV-MIPSDemo是缺陷检测算法的一个演示环境，能够快速测试算法性能。评估算法实际检测效果。MV-MIPSDemo的主界面如Figure 5-1所示。Figure 51 MV-MIPSDemo界面5.2 界面介绍MV-MIPSDemo程序界面由标题栏、菜单栏、工具栏、客户区和状态栏组成。MV-MIPSDemo的主要操作在菜单栏、工具栏和客户区完成，下面重点介绍这三个部分。5.2.1 菜单栏菜单栏分为采集、检测、视图、工具和帮助四个部分。下面重点介绍采集、检测和工具三个子菜单。 采集采集子菜单分为连续、单帧、停止和设置四个项。连续表示MV-MIPSDemo程序

34、按照设定的采集参数，连续抓图，将图像缓存源源不断的送给算法。单帧表示MV-MIPSDemo程序按照设定的采集参数，每次采集一幅图像，将该图像缓存送给算法后，停止采集。停止表示终止当前的采集任务。设置用来设定采集参数（在5.3中详细介绍）。 检测检测子菜单分为模板创建&分析、打开、停止、模板管理和参数设置五项。模板创建&分析用来启动3.2.1和3.2.2介绍的模板创建&与分析功能；打开表示开启检测功能；停止表示关闭检测功能；模板管理用来启动3.2.3介绍的模板加载与删除功能；参数设置用来启动3.2.4介绍的参数设置功能。 工具工具子菜单只有一个

35、选项项。选项用来配置算法框架处理图像的大小和算法选择，如Figure 5-2所示：Figure 52 选项窗口Demo参数告诉算法框架，待处理的图像的基本信息。包括图像的高、宽和颜色通道数。算法参数用来指点当前测试哪类算法。目前包括缺陷、OCR&OCV、测量、定位和颜色比对等。这里选择缺陷。5.2.2 工具栏为了操作简便，工具栏上放置了常用功能的快捷图标。工具栏如Figure 5-3所示。Figure 53 用工具栏 表示连续采集功能，和菜单采集à连续对应； 表示单张采集功能，和菜单采集à单帧对应； 表示停止采集功能，和菜单采集à停止对应； 表示开始检测功

36、能，和菜单检测à打开对应； 表示停止检测功能，和菜单检测à停止对应； 表示模板创建&分析功能，和菜单检测à模板创建&分析对应； 表示帮助关于功能。5.2.3 窗口区窗口客户区是MV-MIPSDemo最重要的部分，客户区主要分为两个窗口，左边为实时采集图像区域，右边小窗口为模板图像区域。如Figure 5-1所示。使用手机图片测试，设置好采集参数后，执行菜单采集à单帧(也可以使用工具栏快捷图标)，界面如Figure 5-4所示。Figure 54 工作界面5.3 采集设置MV-MIPSDemo兼容主流图像采集设备。目前支持的设备有文件模拟采集（File）、维视USB相机采集（XAMVCAM）和所有Direct