机器视觉检测分解

研究背景：产品表面质量是产品质量的重要构成部分，也是产品商业价值的重要保障。产品表面缺点检测技术从最初的依靠人工目视检测到现在以CCD和数字图像解决技术为代表的计算机视觉检测技术，大致经历了三个阶段，分别是传统检测技术阶段、无损检测技术阶段、计算机视觉检测技术阶段。[]传统检测技术人工目视检测法频闪检测法无损检测技术涡流检测法红外检测法漏磁检测法计算机视觉检测技术激光扫描检测法CCD检测法采用荧光管等照明设备，以一定方向照射到物体表面上，使用CCD摄像机来扫描物体表面，并将获得的图像信号输入计算机，通过图像预解决、缺点区域的边沿检测、缺点图像二值化等图像解决后，提取图像中的表面缺点的有关特性参数，再进行缺点图像识别，从而判断出与否存在缺点及缺点的种类信息等。优点：实时性好，精确度高，灵活性好，用途易于扩充，非接触式无损检测。基于机器视觉的缺点检测系统优点：集成化生产缩短产品进入市场时间改善生产流程100%质量确保实时过程监控提高产量精确检测100%检测由于经济和技术因素国内绝大多数图像解决技术公司都以代理国外产品为主，没有或者极少涉足拥有自主知识产权的机器视觉在线检测设备，对视觉技术的开发应用停留在比较低端的小系统集成上，对需要进行大数据量的实时在线检测的研究极少也极少有成功案例，但是随着国内经济发展和技术手段不停提高对产品质量检测规定就更高，对在线检测设备的需求也就更大含有巨大的市场潜力。机器视觉图像解决技术是视觉检测的核心技术铸件常见缺点：砂眼气孔缩孔披缝粘砂冷隔掉砂毛刺浇局限性缺点变形问题的提出：水渍、污迹等不属于铸件缺点，但由于其外观形貌与缺点非常类似,因此易被检测系统误识为缺点。从现在发表的文献来看，对于伪缺点的识别率较低。不同种缺点之间可能存在形状、纹理等方面的相似性，造成缺点误判。国外研究发呈现状：20世纪90年代后，基于机器视觉检测系统的自动化功效和实用化水平得到了进一步的提高。1990年芬兰RautaruukkiNewTechnology公司研制了Smartivis表面检测系统[]，该系统含有自学习分类功效，应用机器学习办法对决策树构造进行自动设计优化。1996年美国Cognex公司研发了一套iLearn自学习分类器软件系统并应用于其研制了iS-自动检测系统。通过这两套系统的无缝衔接，极大地提高了检测系统实时的运算速度，有效的改善了传统自学习分类办法在算法执行速度、数据实时吞吐量、样本训练集规模及模式特性自动选择等方面的局限性之处[]。年Parsytec公司公布了新一代表面质量检测产品Parsytec5i，该系统运用了自学习神经网络分类办法进行缺点分类，将表面质量信息输入到支持决策信息中，不仅能够对产品的表面质量进行检测和评价，还能预测潜在质量问题，并将检测信息提供应使用者进行整合和运用[]国内研究发呈现状：北航周正干等人提出了一种新型的数学形态学滤波与计算机视觉算法相结合的缺点自动提取办法。年北京科技大学徐科等采用线形激光进行连铸坯表面裂纹的在线检测，并用AdaBoosting分类器成功地实现了对表面裂纹、水痕、渣痕、氧化铁皮和振痕等5种缺点和伪缺点样本的识别。北京科技大学高效轧制国家工程研究中心研制开发了含有全部自主知识产权的冷轧带钢[19-20]和热轧带钢表面在线检测系统[21]，并在生产线上得到成功应用。《基于光度立体学的金属板带表面微小缺点在线检测办法》徐科等机械工程学报检测示意图微小缺点与常规缺点同时检测装置核心点：二维图像上缺点研究的核心是如何精确地分割出缺点目的。图像目的分割办法大多是为特定应用设计的，含有较强的针对性和局限性。缺点分割就是指将感爱好的缺点目的从被测表面的背景信息（如颜色、轮廓、亮度、形状）中分离出来，使缺点直接成为分析和解决对象的过程，是视觉检测的核心。缺点分割是后续缺点分析鉴别的基础，若分割中出现错误或误差而传输给后续的图像分析中，将造成检测错误或失败。因此，缺点分割性能的优劣直接影响着后续的研究工作的进行，是表面缺点检测中的一项核心技术。全局阈值分割双峰法、自适应迭代法和最大类间分割法东北林业大学纹理分割（可否获得高质量的图像，突出缺点？）光源的作用是形成有助于后续检测算法复杂度减少和缺点检测率提高的铸坯表面缺点图像效果。光源的选择直接关系到采集图像的质量和图像中能否明显表露存在的缺点。据统计，最少30%的图像质量和应用效果受到光源选择的直接影响。采集到的抱负图像应是完整的、均匀亮度、对比度强且没有畸变。难点：由于生产环境而造成的伪缺点的出现极大的影响了检测的精度和精确度，引发检测系统的误动作。多维视角分析在上图某些环节的基础上，增加了某些基于多维视角几何的分析环节。多维视角分析的核心思想是，它能够通过从不同的角度进行多维视角分析来获取待测物体的更多的信息。它是一种在检测容易被误检的复杂对象时非常有用的办法，由于从不同角度对同一物体的两个或多个视角能够提高只通过一张图像来检测缺点的办法的对的率。（剔除伪缺点，见文献[][][]）图2多角度获取图像信息特性提取： 对于表面缺点检测，在缺点有效的分割之后，要进行缺点的鉴别。这里，缺点的鉴别涉及缺点识别、缺点分类、真伪缺点判断、缺点参数给出等问题。如果将缺点的鉴别过程看做是一种“黑盒子”，那么这个“黑盒子”的输入是陷图像的多个特性数据，输出是鉴别成果（类型、参数等）。征去除无意义特性。纹理特性提取：尽量缩小同类内样本特性值之间的差距，增大不同类间特性值的差距，有助于提高分类器的性能，减少分类器设计的复杂性。Gabor滤波器：针对二维数字图像，二维的Gabor滤波器含有优良的滤波性能，并与生物视系统有相近的特点。二维Gabor滤波器能够在方向、径向频率带宽以及中心频方面进行定制，因此在空间域和频率域都能获得极佳的分辨率。计算量大。小波变换：将纹理图像当作是二维信号，运用二维离散小波变换进行纹理图像的解决。可将图像在频域上分解为低频子带（纹理的基本构造）和若干方向上的高频子带（纹理细节），然后提取各子带的特性形成特性向量。统计几何特性提取办法《基于非基于非下采样Contourlet变换和PCNN的表面缺点自动识别办法》周新星中国地质大学首先用NSCT对缺点图像进行多尺度多方向分解;然后将子带图像输入迭代点火，计算点火图的熵序列作为子图的特性，合并各子图特性得到原图的特性向量;最后用支持向量机进行分类识别。NSCT原理示意图PCNN中单个神经元的模型分类：模式识别分类器。（SVM与神经网络）表面缺点检测的应用往往存在多个类型的表面缺点，因此，缺点识别问题普通是多类分类问题。分类的难点在于分类器的设计。现在惯用的分类器办法大致能够分为两种：不需要学习的分类器和需要学习的分类器。不需要学习的分类器普通基于统计的办法，如贝叶斯理论、距离鉴别、Fisher鉴别、k-邻近法、聚类分析、决策树分类等；需要学习的分类器如神经网络、支持向量机等。不需要学习的分类器往往需要大样本支持，并且需要一定的先验知识，计算量大，速度慢，因此，在实时检测应用中往往难以实现。（《注射制品表面缺点在线检测与自动识别》华中科技大学材料成形与模具技术国家重点实验室，提出一种基于缺点区域轮廓、制品轮廓、区域灰度等特性的缺点自动识别算法。缺点分类鉴定规则）需要学习的分类器，如果通过充足的、含有代表性的样本学习训练后使分类器规则拟定，则可用于实时在线的检测应用。但神经网络的神经元层数及每层神经元的个数还是需要先验知识拟定，且其计算原理基于最小方差理论，因此容易陷入局部最优，且其分类思想还是基于经验风险最小化原则。支持向量机（SVM,SupportVectorMachine）是在统计学习理论（SLT,tisticalLearningTheory）的基础上发展起来的一种统计学习办法，其核心思想构造风险最小化取代传统分类器的经验风险最小化[148]。支持向量机是一种建立在VC维和构造最小化准则上的机器学习算法，通过学习，SVM能够自动寻找那些对分类有较好分辨能力的支持向量，由此构造出的分类器能够最大化类之间的间隔，使不同的样本能够被分类器分开。因而有较好的推广性能和较高的分类精确率。SVM已被用于文本分类、孤立的手写体识别、语音识别、人脸识别、三维物体识别、遥感图像分析等。支持向量机是一种高性能的分类算法，跟上面介绍的办法相比有明显的优势。支持向量机（SVM,SupportVectorMachine）是在统计学习理论（SLT,tisticalLearningTheory）的基础上发展起来的一种统计学习办法，其核心思想构造风险最小化取代传统分类器的经验风险最小化即使向量机是针对二分类问题的，由二分类器组合成的多分器在性能上也有较好的体现。随着越来越多的对它的研究，将是机器学习中一项很有发展前景的技术。通过多个二分类向量器的组合构造多分类向量器。一对多一对一DAGSVM：核函数核参数处罚因子减少训练时间减少向量机复杂程度多分类算法核心点：确保训练样本的质量，滤除噪声。真伪缺点鉴别办法：（国内研究现状）1.基于纹理的非模式图像伪缺点甄别普通缺点出现时，缺点处的光学性能的变化呈现两面性：大多数区域的透射性能减少，而局部社区域的透射性能却增加。透射性能增加的位置其图像区域灰度值呈偏亮的特性，由于这些偏亮的像素往往呈现离散的条纹状分布在缺点核心的周边，其反映了缺点核心的外围轮廓，将之称为缺点纹理。能够通过从实时图像中拟合出一种原则曲面D(i,j)，通过从实时图像与原则曲面的差来求取缺点纹理。（《产品表面缺点在线检测办法研究及系统实现》彭向前华中科技大学）基于多幅图像的缺点自动识别技术该办法将识别过程分为两步:缺点提取和缺点跟踪。第一步运用传统办法在每幅图像中分离出潜在缺点。这一步确保真缺点能全部提取出来，而不考虑伪缺点的数量。第二步力图找出同一试件不同图像中分离出的缺点之间的互有关系。如果第一步某一图像中分离出的某一缺点在其它图像中都找不到相对应的缺点区域，就定义该缺点为伪缺点，也就是说，真缺点在不同图像中必须满足一定的几何关系。多幅图像中的缺点跟踪综合运用了极线约束、三维重建和三线性约束等立体视觉算法。（《航空发动机叶片X射线数字图像分析的一种新办法》周正干等北京航天航空大学）基于B样条曲线及极值修正的缺点提取针对背景起伏大、对比度低、纹理复杂的图像容易出现大量伪缺点。运用B样条曲线以及极值修正的办法，对列灰度曲线波形进行平滑优化，然后通过对提取的极值进行分析提取，拟定缺点的边界，最后分割和提取出缺点。减少误判率。（《X射线焊缝图像缺点自动提取与识别技术研究》梁硼南京航天航空大学）基于相邻层切片信息的真伪缺点识别办法识别流程图：（《基于ICT切片图像的零件内部缺点三维重构核心技术研究》方黎勇西南交通大学）5.可疑区域筛选有两种办法，一种办法是去除伪缺点，另一种是挑选真缺点。由于伪缺点基本由水、氧化铁皮与光照不均现象引发，很难找到算法将它们直接去除，因此只能采用第二种方案。通过增加4种不同类型的缺点检测环节，去除了大量由水、氧化铁皮等造成的伪缺点，在确保缺点检出率的同时，减小缺点的误识率。（《热轧带钢表面缺点在线检测的办法与工业应用》徐科等北京科技大学）在锻造生产过程中,种种因素会使铸件表面产生某些缺点。其中有些缺点如表面裂纹,不仅影响产品表面质量,并且会造成较严重的生产事故。因此,如何能够及时发现并消除表面缺点，成为人们关注的一种问题。现在国内锻造生产厂家大多采用人工目测的办法完毕该项工作,这种办法劳动强度大、工作效率低,且检测成果易受检查人员技术素质和经验及肉眼分辨能力和疲劳等主观因素影响,缺少精确性和规范化,无法确保正常的产品质量。铸板的表面裂纹与其它缺点(如疤痕和振痕)或伪缺点(水痕、渣痕和氧化铁皮)构成,它们在各个方向上的纹理特性各有不同,能够运用小波的多方向性特点对图像进行分解后再作纹理分析.有选择的舍弃或增强某方向的信息，能够起到对某方向纹理的去除或增强作用。 CCD相机光源及照明方式获取图像数字图像获取图像增强滤波 增强滤波形态学办法图像预解决理形态学办法图像预解决理变换 变换边沿提取图像分析边沿提取图像分析 目的分割目的分割特性提取 特性提取图像理解图像理解 分类器设计特性分析