机器视觉检测

1、研究背景：产品表面质量是产品质量的重要组成部分，也是产品商业价值的重要保障。产品表面缺陷检测技术从最初的依靠人工目视检测到现在以 CCD 和数字图像处理技术为代表的计算机视觉检测技术，大致经历了三个阶段，分别是传统检测技术阶段、无损检测技术阶段、计算机视觉检测技术阶段。传统检测技术（1） 人工目视检测法（2） 频闪检测法无损检测技术（1） 涡流检测法（2） 红外检测法（3） 漏磁检测法计算机视觉检测技术（1） 激光扫描检测法（2） CCD 检测法 采用荧光管等照明设备，以一定方向照射到物体表面上，使用CCD摄像机来扫描物体表面，并将获得的图像信号输入计算机，通过图像预处理、缺陷区域的边缘检测、

2、缺陷图像二值化等图像处理后，提取图像中的表面缺陷的相关特征参数，再进行缺陷图像识别，从而判断出是否存在缺陷及缺陷的种类信息等。优点：实时性好，精确度高，灵活性好，用途易于扩充，非接触式无损检测。基于机器视觉的缺陷检测系统优点：集成化生产 缩短产品进入市场时间 改进生产流程 100%质量保证 实时过程监控 提高产量 精确检测 100%检测 由于经济和技术原因 国内绝大多数图像处理技术公司都以代理国外产品为主，没有或者很少涉足拥有自主知识产权的机器视觉在线检测设备，对视觉技术的开发应用停留在比较低端的小系统集成上 ，对需要进行大数据量的实时在线检测的研究很少也很少有成功案例，但是随着国内经济发展和

3、技术手段不断提高对产品质量检测要求就更高，对在线检测设备的需求也就更大具有巨大的市场潜力。机器视觉图像处理技术是视觉检测的核心技术 铸件常见缺陷：砂眼 气孔 缩孔 披缝 粘砂 冷隔 掉砂 毛刺 浇不足 缺陷 变形 问题的提出：1. 水渍、污迹等不属于铸件缺陷，但由于其外观形貌与缺陷非常类似, 因此易被检测系统误识为缺陷。从目前发表的文献来看，对于伪缺陷的识别率较低。2. 不同种缺陷之间可能存在形状、纹理等方面的相似性，造成缺陷误判。国外研究发展现状：20 世纪 90 年代后，基于机器视觉检测系统的自动化功能和实用化水平得到了进一步的提高。1990 年芬兰Rautaruukki New Tech

4、nology公司研制了Smartivis表面检测系统，该系统具有自学习分类功能，应用机器学习方法对决策树结构进行自动设计优化。1996 年美国Cognex公司研发了一套iLearn自学习分类器软件系统并应用于其研制了iS-2000 自动检测系统。通过这两套系统的无缝衔接，极大地提高了检测系统实时的运算速度，有效的改进了传统自学习分类方法在算法执行速度、数据实时吞吐量、样本训练集规模及模式特征自动选择等方面的不足之处。2004 年Parsytec公司发布了新一代表面质量检测产品Parsytec5i，该系统运用了自学习神经网络分类方法进行缺陷分类，将表面质量信息输入到支持决策信息中，不仅可以对产品

5、的表面质量进行检测和评价，还能预测潜在质量问题，并将检测信息提供给使用者进行整合和利用国内研究发展现状：2005年北航周正干等人提出了一种新型的数学形态学滤波与计算机视觉算法相结合的缺陷自动提取方法。2009 年北京科技大学徐科等采用线形激光进行连铸坯表面裂纹的在线检测，并用AdaBoosting分类器成功地实现了对表面裂纹、水痕、渣痕、氧化铁皮和振痕等 5 种缺陷和伪缺陷样本的识别。北京科技大学高效轧制国家工程研究中心研制开发了具有全部自主知识产权的冷轧带钢 1 9 - 2 0 和热轧带钢表面在线检测系统 2 1 ，并在生产线上得到成功应用。基于光度立体学的金属板带表面微小缺陷在线检测方法

6、徐科等 机械工程学报 2013 检测示意图微小缺陷与常规缺陷同步检测装置 关键点：二维图像上缺陷研究的关键是如何准确地分割出缺陷目标。图像目标分割方法大多是为特定应用设计的，具有较强的针对性和局限性。缺陷分割就是指将感兴趣的缺陷目标从被测表面的背景信息（如颜色、轮廓、亮度、形状）中分离出来，使缺陷直接成为分析和处理对象的过程，是视觉检测的关键。缺陷分割是后续缺陷分析判别的基础，若分割中出现错误或误差而传播给后续的图像分析中，将导致检测错误或失败。因此，缺陷分割性能的优劣直接影响着后续的研究工作的进行，是表面缺陷检测中的一项关键技术。全局阈值分割 双峰法、自适应迭代法和最大类间分割法东北林业大学

7、 纹理分割 （可否获得高质量的图像，突出缺陷？）光源的作用是形成有利于后续检测算法复杂度降低和缺陷检测率提高的铸坯表面缺陷图像效果。光源的选择直接关系到采集图像的质量和图像中能否明显表露存在的缺陷。据统计，至少 30%的图像质量和应用效果受到光源选择的直接影响。采集到的理想图像应是完整的、均匀亮度、对比度强且没有畸变。难点：由于生产环境而造成的伪缺陷的出现极大的影响了检测的精度和准确度，引起检测系统的误动作。多维视角分析在上图一些步骤的基础上，增加了一些基于多维视角几何的分析步骤。多维视角分析的核心思想是，它能够通过从不同的角度进行多维视角分析来获取待测物体的更多的信息。它是一种在检测容易被误

8、检的复杂对象时非常有用的方法，因为从不同角度对同一物体的两个或多个视角能够提高只通过一张图像来检测缺陷的方法的正确率。（剔除伪缺陷，见文献） 图2 多角度获取图像信息 特征提取： 对于表面缺陷检测，在缺陷有效的分割之后，要进行缺陷的判别。这里，缺陷的判别包括缺陷识别、缺陷分类、真伪缺陷判断、缺陷参数给出等问题。 如果将缺陷的判别过程看做是一个“黑盒子”，那么这个“黑盒子”的输入是 陷图像的各种特征数据，输出是判别结果（类型、参数等）。 征去除无意义特征。纹理特征提取：尽量缩小同类内样本特征值之间的差距，增大不同类间特征值的差距，有助于提高分类器的性能，降低分类器设计的复杂性。 Gabor滤波器

9、：针对二维数字图像，二维的 Gabor 滤 波器具有优良的滤波性能，并与生物视系统有相近的特点。二维 Gabor 滤波器能够在方向、径向频率带宽以及中心频方面进行定制，因此在空间域和频率域都能获得极佳的分辨率。计算量大。小波变换：将纹理图像看成是二维信号，运用二维离散小波变换进行纹理图像的处理。可将图像在频域上分解为低频子带（纹理的基本结构）和若干方向上的高频子带（纹理细节），然后提取各子带的特征形成特征向量。统计几何特征提取方法基于非基于非下采样Contourlet变换和PCNN的表面缺陷自动识别方法 周新星 中国地质大学 首先用NSCT对缺陷图像进行多尺度多方向分解; 然后将子带图像输入迭

10、代点火，计算点火图的熵序列作为子图的特征，合并各子图特征得到原图的特征向量; 最后用支持向量机进行分类识别。 NSCT原理示意图 PCNN 中单个神经元的模型 分类：模式识别分类器。（SVM与神经网络）表面缺陷检测的应用往往存在多种类型的表面缺陷，因此，缺陷识别问题通常是多类分类问题。分类的难点在于分类器的设计。目前常用的分类器方法大体可以分为两种：不需要学习的分类器和需要学习的分类器。不需要学习的分类器通常基于统计的方法，如贝叶斯理论、距离判别、Fisher判别、k-邻近法、聚类分析、决策树分类等；需要学习的分类器如神经网络、支持向量机等。不需要学习的分类器往往需要大样本支持，并且需要一定的

11、先验知识，计算量大，速度慢，因此，在实时检测应用中往往难以实现。（ 注射制品表面缺陷在线检测与自动识别华中科技大学 材料成形与模具技术国家重点实验室 2013 ，提出一种基于缺陷区域轮廓、制品轮廓、区域灰度等特征的缺陷自动识别算法。 缺陷分类判定规则 ）需要学习的分类器，如果经过充分的、具有代表性的样本学习训练后使分类器规则确定，则可用于实时在线的检测应用。但神经网络的神经元层数及每层神经元的个数还是需要先验知识确定，且其计算原理基于最小方差理论，因此容易陷入局部最优，且其分类思想还是基于经验风险最小化原则。支持向量机（SVM, Support Vector Machine）是在统计学习理论（

12、SLT,tistical Learning Theory）的基础上发展起来的一种统计学习方法，其核心思想结构风险最小化取代传统分类器的经验风险最小化148。支持向量机是一种建立在 VC 维和结构最小化准则上的机器学习算法，通过学习，SVM 可以自动寻找那些对分类有较好区分能力的支持向量，由此构造出的分类器可以最大化类之间的间隔，使不同的样本能够被分类器分开。因而有较好的推广性能和较高的分类精确率。SVM 已被用于文本分类、孤立的手写体识别、语音识别、人脸识别、三维物体识别、遥感图像分析等。支持向量机是一种高性能的分类算法，跟上面介绍的方法相比有明显的优势。支持向量机（SVM, Support

13、Vector Machine）是在统计学习理论（SLT,tistical Learning Theory）的基础上发展起来的一种统计学习方法，其核心思想结构风险最小化取代传统分类器的经验风险最小化虽然向量机是针对二分类问题的，由二分类器组合成的多分器在性能上也有很好的表现。随着越来越多的对它的研究，将是机器学习中一项很有发展前景的技术。通过多个二分类向量器的组合构造多分类向量器。一对多一对一DAG SVM：核函数 核参数 惩罚因子 降低训练时间 减少向量机复杂程度 多分类算法 关键点：保证训练样本的质量，滤除噪声。真伪缺陷判别方法：（国内研究现状）1.基于纹理的非模式图像伪缺陷甄别通常缺陷出现

14、时，缺陷处的光学性能的改变呈现两面性：大多数区域的透射性能降低，而局部小区域的透射性能却增加。透射性能增加的位置其图像区域灰度值呈偏亮的特征，由于这些偏亮的像素往往呈现离散的条纹状分布在缺陷核心的周围，其反映了缺陷核心的外围轮廓，将之称为缺陷纹理。可以通过从实时图像中拟合出一个标准曲面 D (i ,j)，通过从实时图像与标准曲面的差来求取缺陷纹理。（产品表面缺陷在线检测方法研究及系统实现 彭向前 华中科技大学 2008）2. 基于多幅图像的缺陷自动识别技术 该方法将识别过程分为两步:缺陷提取和缺陷跟踪。第一步利用传统方法在每幅图像中分离出潜在缺陷。这一步保证真缺陷能全部提取出来，而不考虑伪缺陷

15、的数量。第二步力图找出同一试件不同图像中分离出的缺陷之间的相互关系。如果第一步某一图像中分离出的某一缺陷在其他图像中都找不到相对应的缺陷区域，就定义该缺陷为伪缺陷，也就是说，真缺陷在不同图像中必须满足一定的几何关系。多幅图像中的缺陷跟踪综合利用了极线约束、三维重建和三线性约束等立体视觉算法。（航空发动机叶片X射线数字图像分析的一种新方法 周正干等 北京航天航空大学 2006）3. 基于 B 样条曲线及极值修正的缺陷提取 针对背景起伏大、对比度低、纹理复杂的图像容易出现大量伪缺陷。利用 B 样条曲线以及极值修正的方法，对列灰度曲线波形进行平滑优化，然后通过对提取的极值进行分析提取，确定缺陷的边界

16、，最后分割和提取出缺陷。降低误判率。（X 射线焊缝图像缺陷自动提取与识别技术研究梁硼 南京航天航空大学 2012 ）4. 基于相邻层切片信息的真伪缺陷识别方法识别流程图： （基于ICT切片图像的零件内部缺陷三维重构关键技术研究 方黎勇 西南交通大学 2009）5. 可疑区域筛选有两种方法，一种方法是去除伪缺陷，另一种是挑选真缺陷。由于伪缺陷基本由水、氧化铁皮与光照不均现象引起，很难找到算法将它们直接去除，因此只能采取第二种方案。通过增加 4 种不同类型的缺陷检测步骤，去除了大量由水、氧化铁皮等造成的伪缺陷，在保证缺陷检出率的同时，减小缺陷的误识率。（热轧带钢表面缺陷在线检测的方法与工业应用 徐

17、科等 北京科技大学 2009） 在铸造生产过程中,种种原因会使铸件表面产生一些缺陷。其中有些缺陷如表面裂纹,不仅影响产品表面质量,而且会造成较严重的生产事故。因此,如何能够及时发现并消除表面缺陷，成为人们关注的一个问题。目前国内铸造生产厂家大多采用人工目测的方法完成该项工作,这种方法劳动强度大、工作效率低,且检测结果易受检查人员技术素质和经验及肉眼分辨能力和疲劳等主观因素影响,缺乏准确性和规范化,无法保证正常的产品质量。铸板的表面裂纹与其他缺陷(如疤痕和振痕)或伪缺陷(水痕、渣痕和氧化铁皮)组成,它们在各个方向上的纹理特征各有不同,可以利用小波的多方向性特点对图像进行分解后再作纹理分析.有选择

18、的舍弃或增强某方向的信息，能够起到对某方向纹理的去除或增强作用。 CCD相机 光源及照明方式获取图像 数字图像 增强 滤波 形态学方法图像预处理理 变换 边缘提取 图像分析目标分割特征提取 图像理解分类器设计特征分析 缺陷区域校验误差 参数修正 实时处理 准时处理研究内容：1. 搭建图像采集平台。结合铸件实际生产环境选择合适的光源与照明方式，以获得高质量的图像，突出缺陷特征。2. 对比研究表面视觉缺陷检测中的经典算法，确定及优化适用于铸件缺陷检测的图像增强及缺陷分割算法。3. 对缺陷进行特征提取。解决采用何种分析方法和提取哪些特征量这两个关键问题。4. 分类器是表征缺陷种类的最直接步骤。研究基于SVM 分类器的理论，选择合适的参数建立 SVM 多分类器，能够对包括伪缺陷在内的几种常见铸件缺陷进行分类。目标：提高图像对比度和缺陷识别率。