基于机器视觉的电子元件的识别与定位

基于机器视觉的电子元件的识别与定位摘要：随着社会不断发展，电子产品越来越多的进入我们的生活，对作为电子产品的基础组成单元的电子元件提出的要求也越来越高，使其越来越集成化与精细化。本文是基于机器视觉的电子元件的识别与定位，以解决愈发精细化电子元件分拣问题。首先使用工业相机进行拍摄，再对拍摄图像进行预处理使其更能的达到预期，通过基于形状的模板匹配识别具体的电子元件的像素坐标，最终再通过标定得到相机的内外参数，将电子元件的像素坐标转换为世界坐标。关键词:机器视觉，电子元件，识别定位1.引言1.1机器视觉技术发展历史在20世纪50年代初，早期的机器视觉主要对二维图像以及各类工件表面进行检测，直到六十年代由美国工程学院提出了二维图像扫描建立三维模型的相关概念，但是受制于当时的技术，还无法完全实践[1]。随着美国MIT人工智能实验室正式开设“机器视觉”课程，至此机器视觉由实验室走向工业生产。机器视觉发展早期,主要集中在欧美和日本。随着全球制造中心向中国转移,中国机器视觉市场正在继北美、欧洲和日本之后,成为国际机器视觉厂商的重要目标市场[2]。在我国，机器视觉的发展历史可以追溯到上世纪八十年代。当时，我国的机器视觉技术还处于起步阶段，研究重点主要是从图像获取入手，包括图像的采集、处理和分析。所使用的设备和技术较为简单，如用电容耦合摄像机获取图像，采用简单的数字电路和微处理器进行图像处理等。到了九十年代，我国对机器视觉的研究已经初具规模。在此期间，技术研究重点开始向更高端发展。例如，研发出具有自适应控制技术的光学检测仪器，利用现代光学成像技术实现了对微小物体进行高精度检测和成像，该技术已经应用于电子制造行业和航空制造业等领域。到了21世纪，随着新一轮的科技革命与产业升级，机器视觉技术也得到了非常迅速的发展。在这个阶段，我国开始重视机器视觉领域的人才培养和研究投入。成立了机器人学、图像工程等相关学科，同时也逐步解决了一些问题，如设备性能不足、成像系统不稳定、图像处理复杂等方面的问题。

这一时期，我国企业纷纷投入机器视觉技术领域，包括科大讯飞、海康威视、大华等企业。它们先后推出了各种视觉识别、视频监控、安防摄像头等产品，成为当今中国机器视觉产业的龙头企业。1.2机器视觉技术简介机器视觉技术通常是通过各种算法来实现的，这些算法包括图像滤波、特征提取、目标跟踪、三维视觉重建和深度学习等。其中，深度学习是当前机器视觉应用最为广泛且发展最快的技术之一，它通过模拟人脑神经元的工作模式，通过多层次的神经网络结构来实现对图像和视频特征的自动提取和学习。机器视觉技术的发展目前正在经历从传统特征提取和浅层算法向深度学习和增量学习的转型过程。未来机器视觉技术的发展有望朝着高效率、高精度、高应用价值的方向不断发展，将更加深入人们的日常生活和各个领域。2.基于机器视觉的电子元件的识别与定位的基本组成2.1硬件组成虽然基于机器视觉的测量系统的检测对象不尽相同，但对于一个完整的视觉测量系统来说，其图像采集模块必须包括四个组成部分，分别为成像镜头、工业相机、图像采集卡、光源照明模块，而现如今除了一部分工业相机需独立搭配图像采集卡，大部分工业相机均集成了图像采集功能[3]。光源照明模块，采用的是LED灯带组成的光源控制器。2.1.1工业相机本课题设计的视觉尺寸测量系统釆用海康威视公司的MV-SUA1201C工业相机，此款相机具有较高的分辨率，能够清晰的捕捉更多的图像细节，能够更为方便的提取出图像的特征值，进行图像的处理。相机具体参数如表1所示,相机具体样式如图1所示。表1相机具体参数型号MV-SUA1201C传感器1/1.7"CMOS相机类型彩色像元尺寸1.85umx1.85um有效像素1200万分辨率@帧率4000x3000最大@32fps灵敏度250mV1/30sGPIO1路光耦隔离输入，1路光耦隔离输出，1路非隔离输入输出图1实验室操作平台2.1.2成像镜头工业成像镜头主要分为ＦＡ（FactoryAutomation）透视镜头和远心镜头（zoom镜头）。此两类镜头具备各自的优缺点，分别根据不同的实际需求应用于不同场合。fa镜头又称为固定焦距镜头，它的最大特点是具有固定的焦距，无法改变拍摄距离。这使得它适用于静态、固定距离的拍摄场景，fa镜头通常有较小的体积和质量，能够提供高质量、清晰的图像，消除了焦距的调节对图像质量的影响，因此适用于高精度的应用。然而，它的缺点是适用范围较窄，无法适应复杂、变化的拍摄环境。远心镜头（zoom镜头）具有可调焦距的功能，它能够根据需要改变拍摄距离，以适应不同的拍摄场景和需求。远心镜头具有比fa镜头更广泛的适应范围，能够胜任多样的变化环境和应用。而其缺点是，由于其复杂的结构和大的成本，因此远心镜头的尺寸和重量可能较大，对相机的机械控制和定位要求更高。因为本课题研究的是基于机器视觉的电子元件的识别与定位，大多情况下为静态拍摄，所以选择的是MV-LD-6-12M-AFA镜头，具体参数如表2所示。表2FA镜头具体参数型号MV-LD-6-12M-A像素1200万焦距6mm光圈F=1:2.4~16靶面尺寸1/1.7"畸变＜0.73%接口C口2.2.软件组成本课题使用机器视觉软件选用的是Halcon，其最大的特点就是包括了一套交互式的程序设计接口Hdevelop,可以用代码直接编写、修改、执行程序,并将其转换成C++,C,C#或者VisualBasic语言的程序代码,具有良好的跨平台移植性[4]。3.标定如果要从图像中获取准确的三维世界的真实信息，用于测量或者定位等，则首先必须对相机进行标定校准。相机的标定可以建立二维图像中的点与三维空间中的点的对应关系。常见的相机标定算法有DLT[5](DirectLinearTransform)、Tasi[6]、张正友标定[7]等算法。但是使用HALCON标定板来确定CCD摄像机的参数是一种比较简单的方法，,CCD摄像机是对物理世界进行三维重建的一种基本测量工具,这时摄像机定标被认为是实现三维欧氏空间立体视觉的基本而又关键的一步.总体来说,其计算方法与摄影测量学中所使用基本相同[8],使用Halcon自带的算子助手，我们能较为精准的得到相机的内部参数和外部参数。内部参数通常包括相机本身的一些系数，如畸变系数、焦距等，这些参数均可以在相机数据中找到，但由于理论数据会偏离实际数据，因此可以使用Halcon校准助手更准确地导出实际相机的内部参数。外部参数表示相机在世界坐标系中的三维位置，例如相机的X轴坐标、Y轴坐标段、Z轴坐标和相机的方向，以及对应方向的偏转角。3.1标定板本课题组选用的是GB050-27×7标定板，大小为50×50mm，标定圆点直径为2mm，两圆点中心距为4mm，标点板尺寸为32×32mm，精度为±0.01。具体实物如图2。图2标定板3.2标定过程首先使用gen算子在电脑中生成对应的GB050-27×7标定板的描述文件，如图3所示。再使用Halcon的标定助手（图4），添加导入生成的描述文件以及MV-SUA1201C相机具体参数与MV-LD-6-12M-AFA镜头具体焦距，最后拍摄不同旋转角度的，符合对比度的，标定板的图像进行相机标定，具体参数如图5。图3gen_caltab算子窗口图4使用标定助手进行标定图5标定参数3.2标定的验证打开Halcon自带的测量算子（图6），导入得出的内外参数，使用绘制线段工具，画出想要测量线段，与实际对比，这里我们选用的是标定板的图片，实际两圆间距应为2mm，测量值为2.1mm，误差在可接受范围之内。图6测量助手的测量结果4.图像预处理获得了相机采集的图像之后，图像的质量往往会与所预想的情况有所差异，由于外部的环境的改变，使所拍摄的图像可能会出现对比度过低或者图像过曝等问题。因而对图像进行预处理是必须的。进行图像处理的图像质量关系到图像识别的准确的和运算速度。图像预处理一般包括图像去噪、归一化、直方图均衡化、形态学分析等。图像去噪是一种消除图像噪声的方法，通过对图像进行滤波、降噪等操作，可以减少椒盐噪声、高斯噪声等非结构噪声的影响。归一化是将图像像素值转化到一定的范围内，使得不同图像的亮度、对比度等特性保持一致，方便后续算法的处理。直方图均衡化是一种增强图像对比度的技术，通过对图像中的像素值进行重新分布，使得图像的对比度增强，细节更加清晰。形态学分析是利用腐蚀和膨胀来对工件进行图像噪声的去除,可以使大量不连通的区域变为连通或者使连通域变为不连通域[9]。通过图像预处理的合理选择和操作，可以减少图像处理或计算机视觉算法的误差和不一致性，提高算法的准确性和效率，从而更好地服务于各类实际应用。4.1Blob分析选取ROI区域Blob分析（也称为连通区域分析）是计算机视觉领域中的一种图像处理技术，而ROI区域就是图像处理需具体处理的区域，通过Blob分析选择出ROI区域，能够减少计算量。Blob分析一般步骤分为阈值处理，形态学处理，特征值提取。图7为一般芯片的Blob分析。Blob分析提供了一种有效的方式来识别和提取图像中的连续区域，并获取关于这些区域的有用信息。这种方法可以帮助我们理解图像的结构、目标的特性，从而实现更高级的图像处理和分析应用。图7Blob分析具体步骤4.1.1阈值处理简单来说，阈值就是一个指定像素灰度值的范围。阈值处理就是将图像中的像素灰度值与该阈值进行比较，落在该范围的像素则称为前景，其余像素称为背景。前景一般设为灰色，背景设为白色。当检查对象灰度值与背景差异较大我们一般选择使用Halcon中threshold算子来进行全局阈值处理。4.1.2形态学处理形态学处理是一种基于图像形状的图像处理技术，它主要利用了形态学学科中的“结构元素”和“膨胀、腐蚀、开运算、闭运算”等基本操作。形态学处理可以有效地改变图像结构和形状，例如，可以用形态学处理去除噪点、平滑物体边界、分离物体、连接不连续的物体、提取物体轮廓等。形态学处理技术和其它图像处理技术结合使用，可以实现更好的图像处理和分析效果，有着广泛的应用。4.1.3特征提取特征提取指的是将图像中不同的区域通过不同的特征区分出来，通过人为的设定需提取区域的区分性与表征性特征，来获得所需要的目标区域。特征提取的目的是降低图像数据的维度并保留图像中的重要信息，这些提取到的特征可以被用于图像分类、目标检测、目标跟踪、图像检索等机器视觉任务。根据具体任务需求的不同，选择适合的特征提取方法可以提高机器视觉系统的准确性和效率。为满足自身的区域选择的要求。我们一般选择使用Halcon中select算子来进行特征提取。4.1.2使用draw交互算子选取ROI区域使用draw交互算子可以通过代码的编写，选择需要的ROI区域形状，例如draw_rectangle1()算子，我们可以图像上画出一个矩形的区域，结合gen_rectangle1()算子得到所需的矩形ROI区域。使用draw交互算子得出ROI区域相比于Blob分析得出ROI区域，其精度远不如Blob分析得出的ROI区域，，但draw交互算子相比于Blob分析更加的简单，操作难度更低。因为本课题研究的是电子元件，图像本身存在的噪音少，使用draw交互算子的影响与Blob分析得出的结果误差基本一致，所以最终程序使用的是draw交互算子。使用draw交互算子的截图步骤如图8。图8draw交互算子使用具体步骤5.模板匹配模板匹配通常指的是，通过模板图片识别出测试图像中相似的部分，图像匹配是一个多步骤过程‚总的来说‚大概可分为图像输入、图像预处理、匹配有用信息提取、图像匹配、输出结果等[10]。具体如图9。]图9模板匹配流程本文使用的是基于形状的模板匹配。因为不同的电子元件所具有的形状，大小，引脚数均不相同，所以使用基于形状的模板匹配能够很好的满足电子元件的识别与定位。形状特征对于机器视觉是很重要的。如果图像中的边缘能够精确的定位和测量，那么，就意味着可以精确定位和测量实际的物体[11]。5.1基于形状的模板匹配过程如图10是使用相机的拍摄的电子元件。图10工业相机拍摄的图像使用emphasize算子对图像进行处理，如图是使用的代码以及得到的图片，如图11。图11预处理过后的图像用处理好的图片进行draw_rectangle2交互算子画出ROI区域，再使用reduce_domain算子将图裁剪出，使用裁剪过的图创建模板，使用create_shape_model算子建立模板。然后使用get_shape_model_contours算子对形成的模板进行可视化处理，由于可视化模板生成于图像（0，0）处，通过仿射变换将其移动至于原图像重叠。验证模板是否满足所需识别对象要求。导入需要识别的图像，使用find_shape_model算子，进行识别，由于识别对象数量会变换，所以使用一个for循环来重复匹配直至没有满足设定分数的对象为止。完成程序后能得到符合模板对象的坐标与偏转角。具体程序如图12。图12模板匹配具体程序5.1.1create算子create_shape_model(Template,NumLevels,AngleStart,AngleExtent,AngleStep,Optimization,Metric,Contrast,MinContrast,ModelID)。Template：reduce_domain后得到的图型变量。AngleStart,AngleExtent：AngleStart是选择起始角度，AngleExtent是旋转角度的范围，因为本课题是识别电子元件，电子元件的位置一般不固定，所以选用的是rad（0）与rad（360）。Optimization：设置模板优化和模板创建方法，因为本课题是电子元件的识别，所以一般使用的是’auto’模式，因为所拍摄的图像包含像元点数不会过多，基本不会拖累计算速度。Metric：匹配方法设置，分为'use_polarity'、'ignore_global_polarity'、'ignore_local_polarity'、'ignore_color_polarity'四个模式。本课题使用的是'use_polarity'由于图片均基于同种光源下拍摄，对比度基本不会出现特别不均的情况，不用考虑'ignore_global_polarity'对比度相反情况，以及'ignore_local_polarity'部分对比度不均匀情况，当然'ignore_color_polarity‘颜色对比度不相同的情况也基本不会发生。Contrast，MinContrast：设置对比度，要依据具体情况来设置，太小会导致模型包含杂点过多，从而识别所花费时间过多，甚至影响最终识别的score的数值与识别个数。而对比度数值设计过高会导致模板包含特征过少，无法判断芯片的极性，无法区分偏转角。ModelID：输出的模板句柄，用于find算子识别。5.1.2find算子find_shape_model(Image,ModelID,AngleStart,AngleExtent,MinScore,NumMatches,MaxOverlap,SubPixel,NumLevel,Greediness,Row,Column,Angle,Score)。Image：输入的目标图像，用于图像识别。ModelID：创建模板导出的模板句柄。AngleStart，AngleExtent：旋转角的旋转，保持与create算子相同。MinScore：匹配最小分数，要求最终识别对象的Score数值要大于设定的数值，设置过高会导致识别的对象不足实际数量，设置过低会导致一些影响区间也被当做是识别对象被识别出来，本课题设计的是0.5，基本能满足识别所有的电子元件。NumMatches：定义要输出的匹配的最大个数，但由于代码的普适性，一般设为0，代指显示出所有的识别个数，并非是0个。如果设置的参数大于识别的个数，只会显示出能够识别的对象，如果设置的参数小于识别的个数，则会显示出最大Score分数的对象。MaxOverlap：重叠系数，指的是图像中存在的模板重叠现象，如果找寻目标存在重叠，且重叠量小于重叠系数，则可以输出两个目标，大于则只能输出上面覆盖的那个目标，参数默认值设为0.5，根据实际情况而定，因为本课题组并未设计重叠的图像，所以设置的是0。SubPixel：确定找到的目标是否使用亚像素精度提取。一共五种模式，由于本课题是电子元件的识别，模式'least_squares'完全够用，其余模式就不过多叙述了。NumLevels：搜索时的金字塔层数，金字塔层数越大匹配速度越快，精准度越低，通过多次实验对比，当金字塔层数取到[2,1时,精度满足要求，且不会过度拖累程序运行时间。Greediness：则是贪婪系数。影响搜索目标时间，贪恋系数设为1是使用的不安全的搜索模式，可能出现图像目标搜索不完全的情况出现，但由于本课题组使用的图片变量经过图像预处理，将贪婪系数设置成1也基本可以满足识别定位需求。Row，Column，Angle，Score：为输出的四个系数，前两个为坐标，然后是偏转角与识别获得的分数。5.2电子元件的定位通过之前标定得到的相机内外参数，使用转换坐标算子，将像素坐标转换成世界坐标即可完成最终的识别定位，如图13为最终得出的世界坐标。以及最终的成品显示如图14。图13最终得到的世界坐标图14最终成品图6.总结本文简单介绍了基于机器视觉的电子元件的识别与定位，实验过程中也遇到了许多的问题与挑战。通过实验台与工业相机拍摄的芯片很多时候并不满足模板匹配的要求，要先在拍摄的过程中移动芯片到最佳位置。尽量采集清晰的，不含杂点的图片素材，再对其进行图像的预处理。其次标定的时候要多拍几组标定板的素材，不同光照，不同旋转角的情况下，都会影响最终标定的结果，要多次进行标定已得到最佳的标定数据。而且要保证标定拍摄的放大倍数要与之后进行图像采集的放大倍数保持一致，不然最终获取的坐标会与实际有较大的差距。还有模板匹配过程中，要对算子参数进行多次调整，已到达最佳匹配的效果。参考文献[1]陈之射,尹芳晔.机器视觉和人工智能的现代化发展分析[J].中国新通信,2023,25(02):36-38.[2]机器视觉前景看好2016年市场规模将达38亿元[J].自动化与仪表,2014,29(04):35.[3]吴巧明.玻璃盖板视觉测量系统关键技术研究[D].厦门大学2021.D01:10.27424/ki.gxmdu.[4]