基于数字图像处理技术的缺陷检测算法研究

1、毕业设计（论文）题 目 基于数字图像处理技术的 缺陷检测算法研究 设计所在单位 自动控制研究所 2010年 06月系 （ 所 ） 自控所 系 (所) 主任 韩九强 批 准 日 期 毕业设计(论文)任务书 电信学院 院 自动化 系 66 班 学生 王全响 毕业设计(论文)课题 基于数字图像处理技术的缺陷检测算法研究 毕业设计(论文)工作自 2010 年 3 月 1 日起至 2010 年 6 月 20 日止毕业设计(论文)进行地点： 西安交大自控所 课题的背景、意义及培养目标 背景意义：随着数字图像处理技术在工业领域的发展，基于图像处理技术的机件缺陷得到了广泛的应用。低成本、无损伤、准确，快速，使

2、得机器视觉在缺陷检测领域具有重要的意义。本题专门研究基于数字图像处理的缺陷检测算法，并在工业组态软件中实现，以便更好的应用于实际。 培养目标：掌握visual studio c+软件、xavis软件和图像处理以及opencv的知识。同时培养良好的编程能力，分析和解决问题的能力，为以后的科研夯实基础。 设计(论文)的原始数据与资料1待进行缺陷检测的相关图片 2vc+编程开发的相关书籍和网上资料 3图像配准、图像处理、图像比对的基本原理 4已经开发的xavis底层函数与架构。 课题的主要任务 1.查阅相关文献，了解机器视觉在缺陷检测领域的重大意义； 2.在vc环境下，研究并实现缺陷检测（包括图像预

3、处理、图像配准、图像比对）算法； 3.对比评价各种算法的优缺点，并针对实际应用提出自己的建议； 4.将自己的算法集成在机器视觉组态软件xavis中。 课题的基本要求(工程设计类题应有技术经济分析要求)1.查阅资料，了解目前缺陷检测领域的发展现状； 2.掌握数字图像处理的基本理论算法； 3.掌握matlab/vc图像处理编程方法； 4.熟悉xavis机器视觉平台。 5.进行xavis、visual c+、opencv的联合调试 完成任务后提交的书面材料要求(图纸规格、数量，论文字数，外文翻译字数等) 1.提交缺陷检测结果可以用于xavis软件的一个动态链接库dll文件 2.撰写大于一万字的学位论

4、文，并提交电子版 3.翻译一篇3000字左右英文文献 4.图纸规格：a4 主要参考文献 1 阮宇编著.visual c+ 6.0 基础教程.清华大学出版社 2 章毓晋编著. 图像处理和分析. 清华大学出版社 3 tinku acharya 、ajoy k.ray著 田浩 葛秀慧 王顶 等译. 数字图像处理原理与应用, 清华大学出版 4 唐良瑞编著. 图像处理实用技术. 北京工业出版社 5 王育坚 编著.visual c+ 面向对象编程教程. 清华大学出版社 指导教师 接受设计(论文)任务日期 （注：由指导教师填写） 学生签名： iii毕业设计（论文）答辩结果西 安 交 通 大 学毕业设计(论文

5、)考核评议书 电信学院 院 自动化 系(专业) 自动化 66 班级 指导教师对学生 王全响 所完成的课题为 基于数字图像处理技术的缺陷检测算法研究 的毕业设计(论文)进行的情况，完成的质量及评分的意见： 指导教师 年 月 日 毕业设计(论文)评审意见书 评审意见： 评阅人 职称 年 月 日 毕业设计(论文)答辩结果 院 系(专业) 毕业设计(论文)答辩组对学生 所完成的课题为 的毕业设计(论文)经过答辩,其意见为 并确定成绩为 毕业设计(论文)答辩组负责人 答辩组成员 年 月 日摘 要摘 要随着数字图像处理技术在工业领域的发展，基于数字图像处理技术的机件缺陷检测得到了广泛的应用。低成本、无损伤

6、、准确，快速，使得机器视觉在缺陷检测领域具有重要的意义。本题专门研究基于数字图像处理的缺陷检测算法，并在工业组态软件xavis中实现，以便更好的应用于实际。本次毕设在缺陷检测识别中的算法作了较深入的研究。关于机件的表面缺陷检测，本次毕设针首先对可用于缺陷检测的图像处理的各个基本算法，比如图像滤波，图像增强，图像形态学处理，图像分割，边缘检测等进行了研究。针对待检测的图像的配准问题，采取matlab对于基于harris角点检测的图像配准、基于灰度信息的模板匹配等各种算法进行了仿真。最终在毕设中采用了三种效果比较不错的配准算法。针对待检测的缺陷图像，研究并提出了基于信息熵的缺陷检测算法、基于图像形

7、态学处理的缺陷检测算法。并自己的创新性的提出了基于灰度信息的模板匹配缺陷检测算法并予以实现。取得了预想中的成果，检测的表面划痕效果清晰明显。针对算法的封装与联合调试，在visual studio+下基于opencv视觉库，把检测算法封装成动态链接库文件，然后供工业视觉组态软件xavis调用。经测试，程序运行、容错能力良好。检测程序适用范围也比较广。此次毕设也我熟悉并掌握visual studio c+软件、xavis软件和图像处理以及opencv的知识。同时培养了良好的编程能力，分析和解决问题的能力，为以后的科研夯实了基础。关 键 词：缺陷检测；信息熵；模板匹配；xavis；opencvxia

8、bstractabstractwith the development of the digital image processing technology in the industry fields, the detection technology about mechanical defects based on digital image processing has got widely used. low-cost, no damage, accurate result and fast diagnosing, makes the machine vision plays an

9、important part in the field of surface defects detection. this thesis research specially about the algorithms of defects detection based on the digital image processing technology, and it is achieved in the xavis, which is one of the industry configuration software. so it can be put into use better.

10、 this thesis researches the application in the detecting and distinguishing about defects in depth.we studied many elemental algorithms of the image processing about the surface defects detection, such as image filtering, image enhancement, image morphology and segmentation, edge detection.to slove

11、the problem of the image registtration, we put forward the defect detection algorithms based on harris corner and template matching in gray level, and get the simulation results with matlab. finally we pick out three better image registration algorithms.about the disabled image to be detected, we st

12、udied and put forward the defect detection algorithms based on information entropy and template matching in gray level. being tested, we get the results expect, also the surface scratches are clearly evident.to achieve the algorithms' packaging and associated debugging, we make the detection alg

13、orithm into the dynamic link library files under visual studio + based on opencv vision library which can be used by xavis, one of the industry configuration software about machine vision.being tested, the program runs perfectly and has a good fault tolerance. so it can be widely used about the dete

14、ction program.i also studied and mastered the visual studio c +, xavis and the knowledge of opencv. at the same time, it trans us the ability about programming, analyzing problems and solving problems. so it paves the way for the research in the future. key words: defect detection; information entro

15、py; template matching; xavis; opencv目 录目 录1 绪论11.1 表面缺陷检测概述11.2 本文的工作及组织结构32 缺陷检测的数字图像处理实现52.1 数字图像处理的概念52.1.1 数字图像52.1.2 数字图象处理的三个层次62.1.3 数字图象处理的特点72.2 待检测图像的形态学处理82.2.1 膨胀82.2.2 腐蚀82.2.3 开和闭92.3 图像分割提取缺陷检测中的感兴趣区域92.3.1 灰度分割法102.3.2 轮廓提取与跟踪102.3.3 投影112.4 图像增强提取目标缺陷的研究122.4.1 图像平滑去除检测图像的噪声132.4.2

16、中值滤波降噪132.4.3 直方图均衡132.5 本章小结143 xavis机器视觉平台与matlab/vc/opencv联合调试的实现153.1 matlab用于缺陷检测的仿真实现153.1.1 缺陷检测基本处理操作在matlab中的实现153.1.2 图像增强153.1.3 3d图像恢复、图像融合、划痕检测、生物特征识别163.2 基于harris角点特征的缺陷图像配准matlab仿真实现163.2.1 图像配准163.2.2 配准技术的流程163.2.3 图像配准的方式163.2.4 图像配准方法173.2.5 基于harris角点缺陷图像配准算法的研究173.3 opencv的运用和v

17、c+、xavis的联合调试的实现193.3.1 opencv的基本概念193.3.2 opencv的应用193.3.3 opencv的基本数据机构：iplimage结构193.3.4 xavis、vc+、opencv联合调试实现缺陷检测算法203.4 本章小结224 基于图像处理的表面缺陷检测算法研究与实现234.1 基于图像处理的缺陷检测基本流程234.2 基于形态学处理的缺陷检测算法研究与实现244.2.1 高斯滤波，平滑图像244.2.2 二值化前景图254.2.3 形态学滤波，去掉噪声264.2.4 提取轴承的轮廓，检测圆环的内径外径274.2.5 检测结果与分析284.3 基于信息熵

18、的缺陷检测算法研究与实现294.3.1 信息熵在图像处理中基本概念294.3.2 信息熵检测的结果304.3.3 信息熵检测缺陷算法的优劣314.4 基于灰度信息的模板匹配缺陷检测算法的研究与实现324.4.1 三通道图像转单通道图像324.4.2 基于灰度信息的图像配准方法334.4.3 相似性度量344.4.4 基于灰度信息的模板匹配缺陷检测算法的opencv 与vc+实现354.5 本章小结415 结论与展望435.1 毕设成果435.2 检测算法的评价与学术意义435.3 本次毕设存在的问题445.4 本科毕设感想和体会44参考文献45附 录46附录1 英文资料和译文46附录1-1英文

19、原文46附录1-2中文翻译53附录2 4个vc+下的缺陷检测核心算法57附录2-1 缺陷检测算法2-基于灰度信息的模板匹配算法57附录2-2 缺陷检测算法3-基于图像信息熵的对比检测59附录2-3 配准中旋转函数的实现60附录2-4 图像信息熵的检测60致谢634 基于图像处理的表面缺陷检测算法研究与实现1 绪论 随着数字图像处理技术在工业领域的发展，基于图像处理技术的机件缺陷得到了广泛的应用。低成本、无损伤、准确，快速，使得机器视觉在缺陷检测领域具有重要的意义。比如在工业领域，检测工件的表面是否有缺陷，印刷品质量是否有缺陷，ic字符印刷的质量，电路板的质量等1都大量利用了图像处理技术。本题专

20、门研究基于数字图像处理的缺陷检测算法，并在工业组态软件xavis2中实现，以便更好的应用于实际。1.1 表面缺陷检测概述图像处理就是对图像信息进行加工以满足人的视觉心理应用需要的行为1。图像处理的手段有光学方法和数学方法2。其中光学方法已经有了很长的发展历史，从简单的光学滤波到现在的激光全息技术，光学处理的理论也日趋完善，而且处理速度快，信息容量大，分辨率高。但是光学处理图像的精度不高，稳定性差，实时性差，在工业生产线上很少用。数字图像处理就是利用数字计算机或其他数字硬件，对从图像信息转换而得的电信号进行某些数字运算，以提高图像的实用性。数字图像处理最早出现在20世纪50年代3，当时计算机已经

21、发展到一定的水平，人们利用计算机来处理图像信息。在上个世纪六十年代，数字图像处理形成了一门学科。数字图像处理首次获得成功的应用的是美国喷气推进实验室（jpl），他们对航天探测器徘徊者7号在1964年发回月球照片使用了图像处理技术，由计算机绘制出了月球表面地图。数字图像处理的另一个成功的应用是医学上的3，1972年英国emi公司的工程师housfield发明了ct。1975年，emi公司由研制成功了全身用的ct装置。ct装置的基本方法是根据人体各部分的投影，利用数字图像处理技术来重构图像。如图 11所示。数字图像处理在这两方面巨大成功的应用极大的推动了数字图像处理的发展。图 11 计算机层析成像

22、系统 ct在现代工业自动化生产中，涉及到各种各样的检查、测量和零件识别应用，例如光盘表面印刷质量检查，汽车零配件尺寸检查和自动装配的完整性检查，电子装配线的元件自动定位，饮料瓶盖的印刷质量检查，产品包装上的条码和字符识别等。这类应用的共同特点是连续大批量生产、对外观质量的要求非常高。通常这种带有高度重复性和智能性的工作只能靠人工检测来完成，我们经常在一些工厂的现代化流水线后面看到数以百计甚至逾千的检测工人来执行这道工序，在给工厂增加巨大的人工成本和管理成本的同时，仍然不能保证100%的检验合格率（即“零缺陷”）。有些时候，如微小尺寸的精确快速测量，形状匹配，颜色辨识等，用人眼根本无法连续稳定地

23、进行。而且人工检测还有可能因受到检测人员主观因素的影响较大,对产表面质量的检测不能得到足够的保证。由于人工检测的缺陷，人们自然而然的想到了利用图像处理技术来实现检测的自动化。而在早期，由于计算机处理速度比较慢，而图像处理往往涉及巨大的存储量和大量的运算，所以图像处理只能在大型计算机上运行，这限制了图像处理在工业表面检测中的应用。90年代，大规模集成电路的飞速发展，一方面使得计算机的速度成倍的提高，而计算机的价格却持续下降，另一方面使得ccd的分辨率也越来越高,各公司也在各fpga的基础上推出了各种图像处理得专用芯片这一切使得图像处理在工业产品表面缺陷检测中的应用的到了飞速的发展。由于数字图像在

24、工业中的应用前景非常广泛，各个大公司也都纷纷开发出各种基于图像处理的检测系统。表面缺陷检测系统构成如图 12 图 12缺陷检测系统组成流水生产线上的产品经过ccd采集后送到计算机中，计算机对图像进行处理，检测出产品表面是否有缺陷以及缺陷的位置，如果有缺陷，记录缺陷的情况以供后续处理。其系统流程图如图 13：图 13 数字图像检测处理系统视觉检测技术主要研究用计算机模拟人的视觉功能,并从客观事物的图像中提取信息4，进行处理并加以理解，最终用于实际检测和控制。据估计，全球图像处理市场以每年8.8的速度迅速增长，到2009年的机器视觉市场规模预计将达到26.2亿美元。与人工视觉相比，它最大的优点是精

25、确、快速、可重复性和数字化。目前很多公司的视觉产品和视觉技术就是要挖掘实现机器视觉技术的潜力，并通过图像处理技术来实现其增值服务。图 14为典型的视觉检测处理系统实物图：图 14典型的视觉检测处理系统实物图表面检测系统的核心是缺陷检测分类软件，利用它，系统对摄像机捕捉到的材料表面图像进行分类整理，找到存在的缺陷，判断并识别，进而进行处理。在工业生产中，由于工业产品繁多，外形各异，利用一种图像处理方法来检测所有产品的表面是不现实的。所以根据产品的特点来设计图像处理的算法，使得检测出来的产品质量满足工业要求，成为通用的手段。所以工业图像的处理算法也千差万别。1.2 本文的工作及组织结构数字图象处理

26、作为一门独立学科，已经深入的融入人们的生活中。本论文对图像处理在物体表面缺陷检测的应用作了研究，并成功用利用xavis软件综合利于各种图像处理算法，实现了各种产品的表面缺陷的检测与标识，其中涉及了以下几项工作：（1） 较深入地研究了各种图像处理的算法，了解了各种算法的优缺点及适用范围。（2） 分析了给定的各种图片，分析了图片中的缺陷的特点以及可能出现的位置，形状等，并针对缺陷，设计了图像处理算法，实现了对各类图片中缺陷的自动检测与标识。（3） 设计开发了缺陷检测软件，使用vc+成功的实现了各种设计的算法，并且取得了比较好的效果。将算法集成在机器视觉组态软件xavis中，进行了vc+ 、open

27、cv、xavis 的三者联合调试。 论文共分五章，各章的主要内容安排如下：第一章：论述了图像处理的发展，表面缺陷检测的意义和发展。第二章：研究实现了缺陷检测图像处理技术的常用算法，对待检测图像进行了预处理，为后面的应用奠定了基础。第三章：学习并研究xavis机器视觉平台进行图像处理的方法，研究并实现matlab/vc/opencv图像处理编程方法，进行缺陷检测的matlab仿真。第四章：在vc环境下，深入的探讨了缺陷检测的系统的特征提取及匹配的常用算法，研究并实现缺陷检测（包括图像预处理、图像配准、图像比对）算法，并将自己的三种不同算法集成在机器视觉组态软件xavis中,进行vc+ 、open

28、cv、xavis 的三者联合调试。取得了预期的成果。检测到的表面划痕清晰可见。第五章：对本文中的缺陷检测算法进行了总结，分析了取得的结果和工作的不足，并对今后的工作提出了展望。432 缺陷检测的数字图像处理实现本章首先介绍可用于缺陷检测的数字图象处理的基本知识和一些常用的算法，而后续章节所采用的缺陷检测图像处理算法，基本上都是以各种图像处理的基本算法组合为基础。本章还介绍了数字图像处理的基本结构。为下面的检测系统设计提供了大体的框架。2.1 数字图像处理的概念数字计算机最擅长的莫过于处理各种数据，数字化后的图像可以看成是存储在计算机中的有序数据，当然可以通过计算机对数字图像进行处理。我们把利用

29、计算机对图像进行去除噪声、增强、复原、分割、提取特征等的理论、方法和技术称为数字图像处理(digital image processing)。一般地，图像处理是用计算机和实时硬件实现的，因此也称之为计算机图像处理(computer image processing)。在日常生活中，图像处理已经得到广泛应用。例如，电脑人像艺术，电视中的特殊效果，自动售货机钞票的识别，邮政编码的自动识别和利用指纹、虹膜、面部等特征的身份识别等。在医学领域，很早以前就采用x射线透视、显微镜照片等来诊断疾病。现在，计算机图像处理已成为疾病诊断的重要手段，用一般摄影方法不能获取的身体内部的状况，也能由特殊的图像处理装置

30、获取，最具有代表性的就是x射线ct(computed tomograph，计算机断层 摄像)。2.1.1 数字图像 一幅图像可定义为一个二维函数f(x,y)，当空间坐标x、y和幅值f为有限的离散数值时，称该图像为数字图像。简言之，就是以数字格式表示的图像。数字图像分为以下三种格式：1） 黑白图像 图 21 黑白图像2） 灰度图像灰度图像是指每个像素的信息由一个量化的灰度级来描述的图像，没有彩色信息。 图 22 灰度图像3） 彩色图像 彩色图像是指每个像素的信息由rgb三原色构成的图像，其中rbg是由不同的灰度级来描述的。图 23 彩色图像2.1.2 数字图象处理的三个层次运动检测、目标分类、人

31、的跟踪属于视觉中的低级和中级处理部分(low-level and intermediate-level vision)，而行为理解和描述则属于高级处理（high-level vision）。运动检测、运动目标分类与跟踪是视觉监控中研究较多的三个问题，而行为理解与描述则是近年来被广泛关注的研究热点，它是指对目标的运动模式进行分析和识别，并用自然语言等加以描述1） 低级图像处理低级图像处理主要对图象进行各种加工以改善图象的视觉效果、或突出有用信息，并为自动识别打基础，或通过编码以减少对其所需存储空间、传输时间或传输带宽的要求。它的特点是是输入是图像，输出也是图像，即图象之间进行的变换。2） 中级图

32、像处理中级图像处理主要对图象中感兴趣的目标进行检测（或分割）和测量，以获得它们的客观信息从而建立对图象的描述。特点是输入是图象，输出是数据。3） 高级图像处理高级图像处理是在中级图像处理的基础上，进一步研究图象中各目标的性质和它们之间相互的联系，并得出对图象内容含义的理解（对象识别）及对原来客观场景的解释（计算机视觉），从而指导和规划行动。特点是以客观世界为中心，借助知识、经验等来把握整个客观世界。特点是输入是数据，输出是理解。2.1.3 数字图象处理的特点数字图像处理是利用计算机的计算， 实现与光学系统模拟处理相同效果的过程。数字图像处理具有如下特点： 1） 处理精度高，再现性好。利用计算机

33、进行图像处理， 其实质是对图像数据进行各种运算。由于计算机技术的飞速发展，计算精度和计算的正确性勿庸置疑； 另外，对同一图像用相同的方法处理多次，也可得到完全相同的效果，具有良好的再现性。2） 处理的多样性。由于图像处理是通过运行程序进行的，因此，设计不同的图像处理程序，可以实现各种不同的处理目的。 3） 图像数据量庞大。图像中包含有丰富的信息，可以通过图像处理技术获取图像中包含的有用的信息，但是，数字图像的数据量巨大。一幅数字图像是由图像矩阵中的像素（pixel）组成的，通常每个像素用红、绿、蓝三种颜色表示， 每种颜色8bit表示灰度级。则一幅1024×1024不经压缩的真彩色图像

34、，数据量达3 mb（即1024×1024×8 bit×3=24 mb）。x射线照片一般用64256 kb的数据量，一幅遥感图像为3240×2340×430mb。如此庞大的数据量给存储、传输和处理都带来巨大的困难。如果精度及分辨率再提高，所需处理时间将大幅度增加。4） 处理费时。由于图像数据量大，因此处理比较费时。特别是处理结果与中心像素邻域有关的处理过程（如第四章介绍的区处理方法）花费时间更多。5） 图像处理技术综合性强。数字图像处理涉及的技术领域相当广泛，如通信技术、计算机技术、电子技术、电视技术等， 当然，数学、物理学等领域更是数字图像处理

35、的基础。 2.2 待检测图像的形态学处理数学形态学是分析几何形状和结构的数学方法6，建立在集合代数的基础之上，用集合论方法定量描述几何结构的科学。1985年之后，它逐渐成为分析图像几何特征的工具。主要包括膨胀、腐蚀、开以及闭运算。 图 24 图像的腐蚀数学形态学由一组形态学运算算子组成。最基本的运算算子由膨胀，腐蚀，开运算，闭运算。使用这些算子对图像的结构和形状进行分析和处理，主要包括图像分割、特征提取、边缘检测、图像滤波、图像增强以及图像恢复等。由于形态学具有完备的数学基础，这使得形态学用于图像分析和处理、形态滤波器的分析和系统设计等具有了坚实的基础。近年来，形态学在图像处理方面的应用和研究

36、得到了迅速发展。形态学的理论基础是集合论7。在图像处理中形态学的集合代表着黑白和灰度图像的形状。比如二值图像中所有黑色相素组成的了该图像完全描述。2.2.1 膨胀 膨胀是形态学运算中的最基本的运算子之一，它在图像处理中的主要作用是扩充物体边界点，连接两个距离很近的物体。集合a用集合b膨胀，记作，定义为；上式表明，用集合b膨胀集合a,既当集合b的原点在集合a中移动时，集合b中元素所对应位移后的元素组成的集合。在图像处理中，集合a一般是待膨胀的图像，称集合b为结构元素。2.2.2 腐蚀腐蚀也是形态学运算中最基本的运算子之一，它是与膨胀相对应的运算。它在图像处理中的主要作用是消除物体的边界点，消除图像中小于结构元素的物体，分开具有细小连接的两个物体。集合a被集合b腐蚀，记作定义为；上式表明，用集合b腐蚀集合a，既当集合b完全包含于集合a时，集合b原点元素所在位置的集合。在图像处理中，集合a一般是待膨胀的图像，称集合b为结构元素。2.2.3 开和闭 在腐蚀和膨胀的基础上，对这两个形态学运算子进行集合（并、交、补等），可以构造出形态学运算族。这些组合运算中，最为重要也最常用的两个组合运算是开运算和闭运算。 集合a和集合b，集合