基于机器视觉的织物组织瑕疵的检测!.doc

西安工程大学本科毕业设计(论文) 毕业设计（论文） 题 目： 基于机器视觉的织物组织瑕疵的检测 学 院： 电子信息学院 专业班级： * 指导教师： * 职称： * * 学生姓名： 杨* 学 号： 40700000000 iii 西安工程大学本科毕业设计(论文) 摘 要 织物瑕疵检测作为一种有效的质量保证手段目前主要通过人工来实现，工作量大且检测效率不高。故采用自动化的机器检测是一种合理的选择，其能够保证较高的检测效率和检测率。针对织物瑕疵具有不规则的形状，基于瑕疵纹理特征，本文研究了一种采用滤波器的织物瑕疵定位方法。滤波器能够从不同的尺度和不同的方向来研究物体。另外本文采用了一种复合特征：滤波器和局部二进制模（lbp）,局部二进制模式(local binary pattern)及其各种改进形式是一类纹理描述算子，近年来受到广泛关注。以此为背景，本文采用统一模式类改进的lbp算子，描述正常布匹纹理和瑕疵区域纹理的不同特点，提出了一种基于块的布匹瑕疵检测算法。这两个特征能够分别从图像全局和局部来描述瑕疵纹理分布。关键词：滤波器，局部二进制模式（lbp）,布匹瑕疵abstract fabric inspection is an effective assurance for the quality of textile products but requires great human job.its good choice to choose automated machine instead,which is faster and more accurate. fabric defects have different shapes and this paper investigates the texture property of fabric defects using gabor filters. gabor filters can the targetfrom different scales and orientations. we use a complex feature composed of gabor and local binary patterns (lbp) instead of using one single method.thesetwofeaturescan depict defect from global and local scales mutually. local binary pattern and its improved form are powerful texture descriptionoperators，which have attracted more and more attentions from researchersthe paperemploys the uniform lbp to describe the differences between the normal fabric and thedefect region.keywords: gabor filter, local binary patterns (lbp), fabric defect dection 目 录摘 要iabstractii前 言v第一章 绪 论11.1选题意义112国内外研究现状21.2.1系统组成31.2.2 瑕疵检测算法介绍413常见布匹瑕疵描述51.3.1我国纺织行业标准织物疵点分类51.3.2基于几何特征的疵点分类71.3.3基于纹理特征的疵点分类71.4本文工作安排9第二章matlab实现基于gabor滤波器组和高斯函数对织物瑕疵检测102.1matlab软件简介102.1.1matlab的产生背景102.1.2 matlab的强大功能112.2 基于gabor滤波器的织物瑕疵的检测方法122.2.1纹理特征描述122.2.2算法描述132.2.3gabor滤波器原理132.2.4 最优滤波结果选取172.2.5二值化172.3实验结果分析18第三章基于局部二进制模式(lbp)的瑕疵检测223.1引言2232局部二进制模式简介223.2.1原始的局部二进制模式(local binary pattern)223.2.2用统一模式类(uniform pattern)改进的lbp2433基于lbp的布匹瑕疵检测253.3.1 lbp算子的简化253.3.2布匹瑕疵检测253.4实验结果分析273.5小结31第4章 总结与展望324.1方案总结324.2实验中遇到的问题33参考文献34附录36附录一36附录二41致谢48 前 言 在纺织品质量控制环节中,疵点检测具有重要意义,它直接关系到纺织品的最终质量评定。织物疵点识别是近几十年来国内外专家学者研究的热门课题之一,已有一些成果可见报道。但由于织物疵点本身形态各异,种类繁多,使得织物疵点检测成为研究领域的一个难题。研究开发出适应性强、实时性好、检测精度高、分类效果好的检测算法仍然是研究人员面临的一个急需解决的问题。在本文中，我们提出了一种新的纹理分析技术用于织物瑕疵分类。首先我们使用一组gabor 滤波器来定位瑕疵并获取瑕疵纹理特性作为瑕疵的特征。除了全局特征，局部二进制模式(lbp)作为一种有效的旋转不变算子也被用来提取局部纹理特征。这两种特征能很好地相互补充。因为 lbp 缺少对距离相对较远的像素的考虑而gabor 滤波器恰好能做到这一点。利用这种方法可以很好的对织物瑕疵进行检测与分类，这样可以大大减少工作量,提高工作效率，实现对织物疵点进行检测与分类的自动化。49 西安工程大学本科毕业设计(论文)第一章 绪 论1.1选题意义织物疵点是影响织物品质的主要因素。疵点检测的目的是在织造过程和织物后整理过程中及时发现这些已经存在的疵点，并完成对疵点的分类。对于某些瑕疵，可以在后期整理过程中由人工进行修补，对于不能修补的瑕疵，可以根据其形状、大小信息，对布匹的质量等级进行评价。长期以来，织物疵点检测都由人工视觉完成。这种方法具有许多弊端。首先，它的自动化程度极低，人工验布的速度一般在20米/分。其次，人工视觉检测不是一种客观一致的评价方法，它的检测结果受工人疲惫、紧张等主观因素的影响，因而经常会产生误检和漏检。据相关研究，人类视觉系统只能检测出大约60-75的显著瑕疵。第三，疵点检测对工人来说是一种单调繁重的重复性劳动，它极大地损伤人的视觉。 文献指出二等品织物的价格仅为一等品价格的45-65，由布匹疵点导致的劣质纺织品已经严重影响了纺织行业的快速发展。由于传统的人工检测方法存在劳动强度大、漏检误检率高、受检测者的情绪心理状况等主观因素影响大的缺点，为了降低纺织工业中质量检测的成本，改善检测质量，提高产品的市场竞争力，急需发展快速、准确的织物疵点自动(半自动)检测系统。 近十几年以来，随着计算技术、集成电路技术的飞速发展，计算机软硬件的成本大幅下降，使得图像处理技术和计算机视觉技术应用于越来越多的行业。它的优点在于能够快速、直观地反映二维信息。在纺织品检测中，应用图像技术可以减少人主观上的干扰，改变目测识别时的效率低下。目前在纺织领域中图像处理技术的应用主要可分为三类：纤维检测、纱线检测和织物的检测。织物检测方面主要是织物表面的纹理分析，织物的疵点检测以及织物褶皱分析。本文主要以图像处理、模式识别相关理论为基础，完成对纺织品坯布瑕疵的检测工作。12国内外研究现状织物疵点自动检测是工业自动检测中的重要内容，长期以来一直是国内外学者共同关注、热心研究且得到许多国家官方机构资助的重要领域之一。从上世纪70年代起，人们便开始在该领域进行探索。经过长期的研究，人们已经取得了许多成果，其中大部分以算法、专利或样机的形式被报道，而较为成熟的商用织物疵点自动检测系统直到最近才开始进入我国市场。在itma99上，以色列爱微视(evs)公司展出了它的i-tex验布系统，该验布系统能用于单色非复杂组织织物，而且能达到较快的验布速度。瑞士uster公司采用最新的神经网络技术研制。fabriscan自动验布系统，其验布速度最高可达120米/分，其检测对象也为单色非复杂组织织物。另外比利时巴二可(barco)公司也推出了自己的验布系统。这些验布系统的特点之一是它们均能适应较高的验布速度；特点之二为它们均建立在高档的计算机硬件之上。除了自动验布系统外，在织机上对织物质量进行在线评估也是织物疵点自动检测系统的重要应用领域。佐治亚理工学院的研究人员开发了一种当织物卷绕于卷辊上时，对疵点进行在线检测的图像识别系统。该系统硬件由三只固定的ccd摄像机和经过特殊安排的照明系统组成，并在软件中应用了神经网络、模糊逻辑和小波变换等新兴工具。这种系统将会由美国西弗吉尼亚的appalachian电子仪器公司进行商业化生产。以上介绍了几种主要的商用织物瑕疵检测系统，但是真正被市场接受，适用于实际生产线的验布系统并不多，市场主要占有者为以色列的evs公司。从20世纪90年代初到现在，图像处理用于疵点检测的研究形成了一个高潮。中国台湾、韩国、日本、美国、以色列和瑞士等国家和地区的学者发表了大量研究论文，参考和借鉴了其他工业检测系统的开发经验以及数学和计算机等学科的最新科研成果，理论水平不断提高。在我国，对织物疵点进行自动检测的研究处于刚刚起步阶段，无论是理论研究还是市场潜力都有很大的发展空间。第一，已有的布匹瑕疵检测系统对织物品种的适应性和对疵点类别的区分能力很有限。这些系统的适应对象基本为单色非复杂组织织物，而且有些系统要求图像中疵点边缘非常明显；第二，许多系统成本太高，硬件投资过大，价格昂贵,对系统软件算法缺乏足够的重视。根据我国的国情，为了获得较高的验布速度，单纯提高硬件档次，势必增加设备投资，其成本对绝大多数纺织厂来说都难以承受，因而尚不是目前发展织物自动验布系统的最佳选择；第三，促使布匹瑕疵自动检测成为可能的一个重要原因是微型计算机速度的不断提高，这使得以其为硬件平台的自动检测系统受到广泛的关注。1.2.1系统组成 一套完整的基于视觉的织物瑕疵自动检测及分类系统应包括这些部件：摄像头、主机、机械传动系统等， 如图11。每部分功能如下： 摄像头：在机器视觉相关的应用中，不同的摄像头因应用不同有着不同的传感器类型，分辨率，读取输出速度，精度等。摄像头的分辨率受限于光传感器像素的个数和视场的大小常用的扫描方式在织物检测检测中被采用，线扫描和区域扫描。线扫描中，系统只采用一个摄像头，由机械部件控制速度分。同时在横纵方向做运动。其合运动显示出一个“之”之形。单个摄像头来回往复的布匹进图11织物瑕疵自动检测系统示意图进行扫描。因此在这种系统中，要保证摄像头有相对较高的图像存取速率。相比之下，在区域扫描技术中，一列摄像头会被布置在布面上方覆盖整个布面宽度的范围。每个摄像头只需覆盖有限的布面范围，图片量存取较少。摄像头分辨率也应当视应用而定。并非分辨率越高越好。分辨率越高，可以获得更清晰的织物结构图像。但实际中，布面会有很多细小的斑点，有些是不应纳入考虑的。同时分辨率越高，摄像头的成本也越高，应综合考虑这几种因素。 主机：主机是整个瑕疵自动检测系统的控制部分。在其上运行着瑕疵检测软件。对主机的要求是，性能越高越好。当然性能越高所带来的成本也会越高。随着制造业的不断进步，通用计算机的性能也在不断提高。采用通用计算机可以控制整个系统成本并且适合大规模普及。由于需要处理大量的视频流，这对主机的实时处理速度是一个巨大的考验。在多核主机上运行的检测程序，可以考虑加入多线程机制。存在多个视频流的情况下，每个线程负责一个视频流，从而实现并行检测，大大提高检测效率缩短检测时间。除了运行软件系统外，主机还要能够实时输出检测信息，从而控制机械部件做出合适的标记。如果检测到瑕疵，那么打标器就会在布幅边缘上用彩线做上标记，适合人工检查。不同的线头代表不同的意义。主机中一般会存储有一个样本库，样本库包括不同种类材料布匹的正常纹理图案及各种瑕疵图案。一旦出现新的瑕疵样本，则动态地加入样本库，为今后的检测提供参考依据。 传动系统：主要是机械部件。受主机的命令控制布匹的行进速度、方向，对布中瑕疵的位置进行标记，控制摄像头的走动等等。受控的机械运动主要通过不同关键位置处的步进电机实现，精确控制布匹的走动。1.2.2 瑕疵检测算法介绍 由于布匹瑕疵种类众多，形状各异，同种瑕疵也往往呈现出不同的形状，所以计算瑕疵的几何特征存在很大的难度并且无法找到适用的算法。因此大多数瑕疵检测与分类算法都采用纹理信息，这也是由其存在环境决定的。正常布匹本身就是一种规则的纹理，在其中生成的瑕疵我们也可以认为它们有其特有的纹理，故所有瑕疵包括正常纹理都可以采用统一的度量标准来描述它们的特性，事实证明这是行之有效的。正常布匹呈现出一致的周期性，纹理分布，统一的色彩分布。相比之下，瑕疵区域则在色彩，纹理等方面表现出与正常纹理的不一致。已有的瑕疵检测算法可以大致分为三类：基于统计，基于模型和基于频谱的方法。本文主要采用基于频谱的方法。首先我们使用一组滤gabor波器来定位瑕疵并获取瑕疵纹理特性作为瑕疵的特征。除了gabor特征，局部二进制图案(lbp)作为一种有效的旋转不变算子也被用来提取局部纹理特征。这两种特征能很好地相互补充。因为 lbp 缺少对距离相对较远的像素的考虑而gabor滤波器恰好能做到这一点。13常见布匹瑕疵描述1.3.1我国纺织行业标准织物疵点分类 根据我国本色布布面疵点检验方法，纺织行业布匹疵点类别共有55种，如表11所示。表11 布匹疵点名称说明序号疵点名称序号疵点名称序号疵点名称序号疵点名称b1破洞b15断疵b29筘穿错b43百脚b2豁边b16拖纱b30针路b44水渍b3跳花b17杂物b31经缩b45污渍b4烂边b18断径b32折詪b46磨痕b5修正不良b19沉沙b33双纬b47浆斑b6霉斑b20综穿错b34脱纬b48布开花b7毛边b21错纤维b35媒灰线b49宽狭幅b8结头b22粗经b36密路b50凹凸b9纬缩b23吊经b37稀纬b51猫耳朵b10边撑疵b24紧经b38条杆不均b52荷叶边b11棉球b25松经b39云织b53木棍皱b12竹节b26并线松紧b40错纬b54稀弄b13星跳b27双泾b41花纬b55边撑眼b14跳沙b28筘路b42花径 需要说明的是，从不同的角度出发，可以定义出不同的瑕疵分类，它们往往是相互交叉的，互相之间并不排斥，这样做仅仅是分析问题的角度不同而已。以上分类的依据是布匹织造过程中，瑕疵区域的形成原因和外在特点。在实际的生产过程中，各种瑕疵并不是以相同的概率发生的，有的频繁出现，也有的很少发生。实际中经常出现的瑕疵类型主要有以下几种：(1)破洞经纬纱在一处共断三根及以上，或是单断三根及以上的现象称破洞。(2)跳花和跳纱三根及以上的经纬纱相互脱离组织，并列跳成规律或不规律的浮在布面呈网状的，称作跳花三根以下的经纱或纬纱跳过五根及以上的纬纱或经纱，浮现于布面呈线状的，称作跳纱。(3)霉斑 受潮后布面出现霉点(斑)。(4)双纬 一梭口内织入两根纬纱所形成的疵点称为双纬。(5)稀密路 单位长度内，纬纱密度小于标准要求的疵点称稀纬；纬纱密度大于正常标准要求的疵点称密路。稀纬和密路合称为稀密路。(6)脱纬 一梭口内有3根及以上的纬纱织入布内(包括连续双纬)。(7)稀弄纬纱密lcm少5根及以上成弄的(严重稀纬)。(8)纬缩织造中未能平展地与经纱交织，纬纱扭结织入布内，在织物中或布面上出现纬纱起圈的现象称作为纬缩。根据疵点产生的部位可分布面纬缩和边缩，根据疵点的分布情况又有分散性纬缩和经向连续性纬缩之分。(9)经缩由于经纱张力不一致，在经纬纱交织过程中，布面上呈现出有条状或块状的凹凸不平的皱纱状疵点称作经缩。(10)双经 在一个经纱的完全组织中，不改变原工艺设计的组织风格，但并列多出一根经纱的现象称为双经。(11)云织 纬纱密度稀密相间呈规律性的段稀段密(径向连续密路、稀纬)。(12)综穿错穿综顺序未按工艺要求，错穿综丝，破坏了织物纹路所造成的疵点称为综穿错。(13)筘路 织物布面呈现经向一直条的，稀密同时出现的疵点，称为筘路。(14)棉球 织造中纱线受摩擦后使纤维呈球状。(15)杂物 飞花、木屑、皮屑、金属物等，织入布面所形成的疵点，称作杂物。1.3.2基于几何特征的疵点分类 为充分体现各类瑕疵的特征，可以从外在几何特性出发对瑕疵进行分类如表1-2所示。 线状疵点：经向长度与纬向长度相差值较大，形成的疵点。通过人眼观察可将线状疵点分为经向疵点、纬向疵点、和一些由不规则线头引起的疵点。 面状疵点：由不规则的轮廓边界引起的，呈面状的疵点。点状疵点：小针眼或小孔引起的疵点。通过人眼观察可将点状疵点分为线状阵列和面状阵列。1.3.3基于纹理特征的疵点分类 织物表面具有典型的纹理特征，织物纹理的连续性常用于表征织物的特征在其表面分布的一致性或均匀程度。正常织物表面的纹理特性具有很好的连续性，当这种连续性遭到破坏时，表明织物纹理特征发生了畸变。从纹理分析的角度出发，织物疵点形成的本质原因便是织物纹理特征发生了畸变。表12 基于几何特性的疵点的分类四种瑕疵类型瑕疵名称特点 纬向 b12形状不规则，弯曲b14和星跳相似b09细，色深b33色浅，细长b34色浅，细长b15和疵点特征表中矛盾b17短而色深，也有经向b21恕而色深b32色深b38b39条数多，色浅b54宽而长，色浅b40细b41有明显的颜色界限b43平纹布中没有 点瑕疵 b08小b11颜色深 面瑕疵b01b03稀疏b06色深b44b45色深b47b48色深 径向b10长而宽，色深b16形状不规则，弯曲b18色浅b27b19宽，色浅b22长b25瑕疵不太明显b26和松经不好区分b28条状稀密不匀，色浅b30瑕疵不明显b31b53 织物纹理特征畸变可粗略地分为统计特征畸变、方向特征畸变和非结构化畸变。统计特征畸变疵点是指疵点区域沿经纬向都持续一段距离。疵点区域具有一定的规律，该类疵点通常包括：跳花、筘路、密路、稀纬、云织等。这类疵点的某些统计特征与正常织物相比发生了一定的变化。方向特征畸变疵点是指瑕疵区域相对而言比较狭小，而且具有较明显的经纬方向。这类疵点通常包括跳纱、双经、经缩等。非结构化畸变是指与织物经纬向结构无关的畸变，一般不具有明显的方向性。这类疵点主要有破洞、杂物、棉球、污渍等。需要说明的是，这三种疵点的分类并不是非常严格的，它们只是包含了生产中常见的瑕疵类型。1.4本文工作安排 本文主要研究了一系列基于机器视觉的布匹瑕疵检测和分类算法。并在真实布匹瑕疵上考察了它们的性能。其安排如下：第二章介绍matlab实现基于gabor滤波器组和高斯函数对织物瑕疵检测与分类方法。第三章介绍采用局部二进制模式对织物瑕疵的纹理特征进行提取与分析。第四章对全文的总结与展望，指出一些有待解决的问题。第二章matlab实现基于gabor滤波器组和高斯函数对织物瑕疵检测2.1matlab软件简介2.1.1matlab的产生背景matlab诞生于20世纪70年代，它的编写者是cleve moler博士和他的同事。当时，cleve moler博士和他的同事开发了eispack和linpack的fortran子程序库，这两个程序库主要是求解线性方程的程序库。但是，cleve moler发现学生使用这两个程序库是有困难，主要是接口程序不好写。cleve moler于是自己动手，业余时间编写了eispack和linpack的接口程序。给这个接口程序取名为matlab，意为矩阵（matrix）和实验室（laboratory）的组合。1984年，cleve moler和john little成立了mathworks公司，正式把matlab推向市场。此后，matlab版本得到数次更新，界面越来越友好，内容越来越丰富，功能越来越强大。人们已经发现，matlab作为计算工具和科技资源，可以扩大科学研究的范围、提高工程生产的效率、缩短开发周期、加快探索步伐、激发创造活力。如图21所示，为matlab的工作界面。在matlab的工作界面，有4个主要窗口：命令窗口，命令历史窗口，工作间管理窗口和当前路径窗口。命令窗口时和matlab编译连接的主要窗口，命令历史窗口显示用户在命令窗口中所输入的每条命令的历史记录，工作间管理窗口就是用来显示当前计算机内存matlab变量的名称，数学结构，该变量的字节数及其类型，在matlab中不同的变量类型对应不同的变量名图标。当前路径窗口显示着当前用户所在的路径。图21 matlab工作界面2.1.2 matlab的强大功能matlab产品组是支持概念设计、算法开发、建模仿真和实时实现的理想集成环境。无论是进行科学研究和产品开发，matlab产品组都是一种必不可少的工具。matlab可用于以下方面： 数值分析 数值和符号计算 工程与科学绘图 控制系统的设计与仿真 数字图像处理技术 数字信号处理技术 通讯系统设计与仿真 matlab 的应用范围非常广，包括信号和图像处理、通讯、控制系统设计、测试和测量、财务建模和分析以及计算生物学等众多应用领域。附加的工具箱（单独提供的专用 matlab 函数集）扩展了 matlab 环境，以解决这些应用领域内特定类型的问题。2.2 基于gabor滤波器的织物瑕疵的检测方法 织物瑕疵检测与分类对于一般纹理分类最显著的差别就是需要确定我们感兴趣的纹理部位在哪。换句话说，我们需要准确描述瑕疵在布匹图片中的位置。这是对瑕疵准确分类的保证。因为在分类中，我们希望尽可能少的引入不相关区域的影响。幸运的是，gabor滤波器可以成为我们一个合适的选择。我们设计一组在不同尺度和不同方向上的自相似的gabor滤波器。用这组滤波器对织物瑕疵图片滤波。输出中会存在一个对瑕疵区域响应最为强烈的结果。我们采用一个代价函数将这个最优滤波结果挑选出来，并以正常纹理图片为参照，对其二值化，从而获得瑕疵在图像中的准确位置。2.2.1纹理特征描述 纹理是图像中一个重要而又难以描述的特性，由于自然界物质变化的多样性，关于图像纹理迄今为止仍无一个公认的、一致的严格定义。但图像纹理对我们来说是很熟悉的，它反映了物体表面颜色和灰度的某种变化，而这些变化又与物体本身的属性相关。从宏观上看，它是物体表面拓扑逻辑的一种变化模式；从微观上看，它由各种微观微粒组成。不同物体表面的纹理可作为描述不同区域的一种明显特征。纹理不仅反映图像的灰度统计信息，而且反映图像的空间分布信息结构信息。虽然图像纹理尚无公认的定义，但字典中对纹理的定义是“由紧密的交织在一起的单元组成的某种结构”，这种说法还是较为恰当的。纹理图像在局部区域内呈现了不规则性，而在整体上呈现出某种规律性。习惯上，把图像中这种局部不规则的，而宏观有规律的特性称之为纹理。因此，纹理是由一个具有一定的不变性的视觉基元，通称纹理基元，在给定区域内的不同位置上，以不同的形变及不同的方向重复出现的一种图纹。若纹理是由纹理基元按某种确定性的规律组成的，则称之为确定性纹理；若纹理是由纹理基元按某种统计规律组成的，则称之为随机性纹理。纹理既有局部又有全局内涵，它既可以是图像局部测量的区域特性，也可以是一幅图像的全局特性。纹理的主要特性有：粗糙度、方向性、对比度和规律性。显然只有采用有效描述纹理特性的方法去分析纹理区域与纹理图像，才能真正描述与理解它们。这里，我们认为纹理是象素灰度值在空间域的变化模式。这个定义对于大多数图像处理过程来说是合适的，因为很多时候我们只关心图像的灰度分布。纹理分析是图像处理技术中非常活跃的部分，纹理特征的提取是图像分析和理解方案的关键技术之一。在理论分析方面，纹理作为图像的重要特征之一，是图像分析的基础；在实际应用中，很多图像特征的分析和理解，如图像分割、目标识别、深度信息获取、形状分析等等，都用到图像的纹理特征。2.2.2算法描述 gabor 函数最早是由gabor于1946年提出的，随着研究的深入，尤其是在研究人类视觉系统工作机理的过程中，人们对函gabor数的兴趣越来越大。由于gabor滤波器在分析数字象像中局部区域的频率和方向信息具有优异的性能，在计算机视觉和图像特征提取方面的广泛应用。如纹理分类和分割，象像识别等。图 2-2 给出了本章所采用的织物瑕疵检测与分类算法流程图。整个算法包括两部分：基于gabor滤波器的织物瑕疵检测和基于 gmm 的织物瑕疵分类部分。在瑕疵检测部分，一幅输入图片经过一系列自相似的s l个gabor滤波器，产生s l个滤波结果，这些滤波结果包含了在s个不同尺度和l个不同方向上的纹理信息。对这些来自s l个 gabor 滤波器子通道的输出，我们采用了一个损失函数来挑选一个最优滤波结果。最优滤波结果能够最好地描述瑕疵在图片中的位置，一般是一幅灰度图，必须经过二值化来定位瑕疵。如图22为gabor滤波器对织物瑕疵检测的流程图。2.2.3gabor滤波器原理一个二维的 gabor 函数实际上是经过高斯函数调制的复指数函数。由此可以得到一系列完整的但是非正交的基集。输入图像gabor滤波器最优结果选取二值化特征提取图22 gabor滤波器对织物瑕疵检测的流程图 （2-1） 其中，和分别是x轴和y轴的包络，是gabor函数的中心频率， 大多数情况下，一种比较合理的设计是采用圆对称的gabor滤波器，即取 = = 。这里我们设计了包络和中心频率之间存在如下关系： (2-2)其中，是一个常数控制着中心频率和带宽之间的比率。采用式(2-1)作为gabor原函数，一组gabor滤波器 i= 1,2,s l，可以通过缩放(尺度)和旋转(方向)原函数来获得。其中是旋转后的坐标，是滤波器在整个组中的索引，s和l分别是尺度总数和方向总数。如图2-3所示，坐标旋转公式如下： (2-3)图23 一组4尺度6方向gabor滤波器的空域表示每个复gabor滤波器包含实部和虚部两部分，每个部分通常用一个的掩模来表示。为了计算方便，m通常取做奇数，如 7,11,13 等。gabor滤波器实部和虚部的 3d 图形显示如图24和25所示。 为了让算法对光照更鲁棒，一个离散的gabor滤波器按式(2-4) 转化成直流分量为： (2-4)其中mean是计算滤波器掩饰模中所有系数的平均值.对一幅给定的图片 ，对于某中gabor滤波器的幅度响应值为: （2-5）其中 和 分别是归一化后的滤波器 的实部和虚部，*代表二维卷积运算。图24 gabor滤波器实部3d显示图 25 gabor滤波器虚部3d显示 2.2.4 最优滤波结果选取纺织品瑕疵一般对某些尺度和某些方向的gabor滤波器上具有较强的响应。对于以上的个滤波结果，我们采用了一个损失函数来评估某个结果最能描述瑕疵位置特征。这里，我们使用 kumar提出的一种简单有效的损失评价函数。其具体步骤如下： (1)将原始图片分割成k个互不重叠相同大小的正方形子区域； (2)计算每个子区域中滤波输出幅度值的均值，其中对应于第个gabor滤波器出，最大和最小子图均值分别为和； (3)如下的损失函数被用来衡量第个滤波器通道的输出： (2-6)(4)将以上损失函数应用于所有滤波器滤波输出，损失函数最大的通道则被选为最佳输出并被记为。2.2.5二值化最优滤波结果是一个灰度图像，必须将其转化成二值图来获得瑕疵的位置。一些研究人员采用一个gauss后滤波器来降低瑞利分布的gabor滤波输出中的方差。在本文中，我也采用了一个类似的想法，采用一个gauss低通滤波器对gabor输出结果滤波以减少斑点状噪声。这个gauss滤波器是和gabor滤波器的中心频率f相关的。其形式如下： （2-7）其中等同于式(2-2)中的。 二值化阈值的选取是通过采用最优gabor滤波的正常纹理图片来获得的。再经过同样的平滑滤波，最终由正常纹理图片可以获得一幅新的参考图片，由 此可以得到两个阈值分别是上阈值和下阈值： ， （2-8）其中是图像中的一个中心窗，所有有效像素都取自这个中心窗中，图像边缘像素不予考虑，以此来避免边缘像素卷积时造成的影响。瑕疵图像最优化滤波结果 的二值化过程如下，由此可以获得一个显示了瑕疵位置的二值掩模图。 (2-9) 在这个二值掩模中，瑕疵区域是白色，剩余正常部分是黑色，由此可以获得瑕疵位置的准确信息。 2.3实验结果分析 在实验采用4个方向的6个尺度的gabor滤波器组（s=4，l=6）,在这次测试中选择了6个有代表性的瑕疵图片。第一个为破洞，第二个为烂边，第三个为扎梭，第四个为跳花,第五个为稀异，第六个为错纬。在最后的实验图上可以得到待检图像，原直方图，gabor滤波图像，gabor滤波直方图，高斯平滑图像和最终结果。以下是六种瑕疵的实验结果：图26瑕疵破洞的经gabor滤波器的实验图，图27瑕疵烂边的经滤波器的实验图，图28瑕疵扎梭的经gabor滤波器的实验图，图29瑕疵跳花的经gabor滤波器的实验图，图210瑕疵稀异的经gabor滤波器的实验图，图211瑕疵错纬的经gabor滤波器的实验图。图26 瑕疵破洞的经gabor滤波器的实验图图27 瑕疵烂边的经gabor滤波器的实验图 图28 瑕疵扎梭的经gabor滤波器的实验图 图29 瑕疵跳花的经gabor滤波器的实验图图210 瑕疵稀异的经gabor滤波器的实验图图211 瑕疵错纬的经gabor滤波器的实验第三章基于局部二进制模式(lbp)的瑕疵检测3.1引言 本文第二章采用传统的信号分析方法，以gabor变换为基本工具，通过gabor滤波器组完成布匹瑕疵的检测工作。虽然得到了较好的检测结果，但是巨大的运算量限制了它的使用范围。因此有必要进一步寻找其它高效的算法。由于正常布匹图像呈现出较强的纹理特征，是一种规则有序的纹理结构，瑕疵处的纹理结构不同于正常织物。从这种思路出发，本章提出一种基于纹理结构分析的织物疵点检测方法。32局部二进制模式简介3.2.1原始的局部二进制模式(local binary pattern)tojila在纹理基元概念的基础上，提出了局部二进制模式(local binarypattern)这种理论上简单而且及其有效的纹理描述算子，该算子在基于内容的纹理图像检索上取得了极好的效果。近几年来，有学者将lbp算子作为一种图像描述算子应用在图像处理的许多领域，比如医学图像处理与检索、人脸识别领域等，取得了很好的效果。定义纹理灰度图像中局部区域的纹理特征t为该区域的邻域中p个像素的联合灰度分布： (3-1)代表该局部区域中心像素灰度值，表示邻域中p个空间位置同等重要的像素的灰度值。图31所示为不同半径r和像素数p的邻域对于没有准确落在圆周上的像素可以用双线性插值的方法来估计。假如没有信息损失的话。能被减，表达式则变为: (3-2)考虑对数值依赖性不大，表达式可以分解因式为: （3-3） p=8,r=1.0 p=12,r=2.5 p=16,r=4.0 图31 不同（p,r）的圆对称邻域由于是描述图像的全部灰度值，它和局域图像的纹理是无关的，所以可以忽略，则表达式可为: (3-4)虽然之间的值有差异，但这里需要的是它们之间大小的比较。所以表达式又可写为: (3-5) 这里定义： 对于图像中的每个像素，以该像素灰度值作为阈值，对其33邻域中的8个邻域进行0或1编码，若邻域像素的灰度大于等于中心像素的灰度，则置该邻域像素的灰度为1，否则置零。得到一个长度为8的二进制串，从而将该二进制串作为该像素的编码为（3-6）。如图32为原始lbp算子。18 12 10 1 0 011 15 22 0 1 （100111010）2 =1541035 3 54 1 0 1图32 原始lbp算子= (3-6)3.2.2用统一模式类(uniform pattern)改进的lbp原始的lbp算子具有灰度不变性，但是当同一纹理基元旋转一定角度后，却被认为是另一种不同的二进制模式，即不具有旋转不变性。uniform形式lbp的测度采用0和1空间跳变的数目来实现。 （3-7） 其中 riu2表示这种具有旋转不变性的统一类模式中，0、1跳变次数不超过两次。根据以上定义，如果一个模式中的0、1跳变次数不超过2次，则该lbp模式为一个统一类模式(uniform pattern)，否则为一个非统一类模式(nonuniformpattern)。p+1个统一类模式的标记为该模式中“l出现的次数，所有的非统一类模式统一标记为p+i。如图33所示为半径r=i，邻域像素p=8所对应的p+l=9个统一类模式(白点表示1，黑点表示0)。图33 r=i，p=8对应的统一类模式在具体的纹理分析工作中，使用统一类模式的统计直方图作为纹理的特征。之所以没有选择原始的lbp模式，是因为非统一类模式占所有模式类的比重很小，它们出现的概率很难可靠地估计。33基于lbp的布匹瑕疵检测3.3.1 lbp算子的简化在基本lbp和uniform改进的lbp中，选择用圆形邻域是为了增强纹理描述算子的旋转不变性。由于在实际的布匹瑕疵检测过程中，待检测样品的旋转并不明显甚至是可以通过其他方法避免的。另外，在圆形邻域中使用双线性内插的方法需要消耗额外的处理时间，为了方便算法的处理，本章选择方形邻域替代圆形邻域,邻域的大小为。3.3.2布匹瑕疵检测整个布匹瑕疵检测可以分成两个阶段，包括训练阶段和检测阶段。 在训练阶段，对整幅无瑕疵图像应用lbp纹理描述算子，计算得到一个标准特征向量m，这个特征向量是p+2个改进的lbp模式在无瑕疵图像中的统计直方图。p表示lbp邻域中的像素数，标准特征向量m是p+2维的。然后把整个无瑕疵图像分割成互相不重叠的检测窗口，窗口的大小为。对每一个检测窗i：i应用lbp纹理描述子(所采用的lbp掩模大小为)，每个窗内的lbp邻域数目为，计算所得到的特征向量反映了该窗口内部的纹理分布特征。为了可靠的估计检测窗内的模式分布情况，每个窗内的lbp邻域数目为应该做够作为一个经验值，本文中选为100，所以，检测窗口的大小和掩模的大小应满足：应该注意到，检测窗口的尺寸与算法对瑕疵的分辨力是一对矛盾的折中。检测窗口越大，虽然越有利于对模式分布特性的估计，但是检测小瑕疵的能力和对瑕疵的分辨力却下降了。训练阶段原理如图34所示。无瑕疵标准图像对整幅图像应用lbp描述计算标准特征向量m把整幅图像分割成检测窗口，对每一窗口计算特征向量对每一检测窗口计算相似性量度确定阈值t 图34 基于lbp瑕疵检测的训练框图训练阶段对每一个检测窗口计算对应的p+2维特征向量墨，并利用(3-8)式的对数似然函数计算与标准特征向量m的距离。 （3-8）其中n是检测窗121的数目。式(38)越小，表示与m的相似程度越高因此该式的最大值作为无瑕疵图像的阈值，即 (3-9)在训练阶段，如果有多幅标准的无瑕疵图像，那么标准特征向量可以由下式更准确地估计： （3-10） 其中，是根据无瑕疵样本j计算的标准特征向量，是无瑕疵图像的数量。最终的阈值使用式(3-11)得到。 (3-11)是使用无瑕疵样本，根据式(3-8)、(3-9)、m所得到的阈值。检测阶段的原理如图35所示。待检测样本把图像分割成检测窗口对每一个检测窗口计算似然函数如果l大于t窗口为瑕疵区域否则为非瑕疵区域tm图35 基于lbp瑕疵检测的检测框图如果其与标准特征向量m的距离大于阈值t，则相应的块被标记为瑕疵区域。为了改善算法的检测性能，检测窗口中应该包含足够量的瑕疵信息，因此待检测图像被分割成相互重叠的检测块，重叠大小为或者。3.4实验结果分析在这次实验中提取了特征，算法getmblbpfea的输入blocksizew为块的大小，即中的s，其默认的值为1，即一个块仅一个像素，对应在传统的算子。这次试验中进行mb-lbp特征提取，本文选用了比较常见的跳花和稀异两种布匹瑕疵，具体实验所得的图如36和37所示。 (a) 原图像 (b) 经滤波后 (c) 经滤波后 (d) 经滤波后图36 经过滤波的稀异的图像 （a） 原图像 (b) 经滤