基于机器视觉的电子元件尺寸测量与缺陷检测

基于机器视觉的电子元件尺寸测量与缺陷检测目录TOC\h\z\t"标题1,2,标题2,3,标题,1"1引言 摘要:本论文以机器视觉技术为基础，结合Halcon软件，针对电子元件的尺寸测量和缺陷检测进行了深入研究。首先介绍了机器视觉技术在电子元件领域的应用现状和研究意义，利用型号为MV-SUA1201C的相机拍摄标定板图像，并通过HALCON对工业相机进行标定，得到世界坐标和像素坐标的关系。然后对电子元件图像进行灰度转换等预处理工作，使用预处理后的图片进行尺寸测量和缺陷检测。其中尺寸测量是通过将元件添加至计量模型，实现对电子元件的自动测量。缺陷检测是通过自动识别引脚起始位置，对每个引脚逐个进行检测，自动标出引脚缺失的位置，引脚检测结果则是利用上位机显示。最后，视觉测量结果的相对误差控制在0.8％左右，视觉缺陷检测可自动检测出引脚缺陷，节省了人力和时间成本。关键词:机器视觉;尺寸测量;缺陷检测;HALCON;1引言1.1研究背景与意义计算机视觉（ComputerVision，CV）是一项通过使用计算机和算法对图像或视频等数据进行分析和处理的技术[1]。电子产品的功能不断增强，对电子元件的尺寸和性能要求也越来越高。现代电子元件通常尺寸小、复杂，且生产数量大，传统的电子元件尺寸测量和缺陷检测通常依赖于人工操作，例如使用千分尺、游标卡尺等测量工具进行手动测量，存在效率低、精确度低、以及测量不一致等一系列问题，不能满足现代工业生产需求[2]，现在社会急需一种更高效、精确的解决方案。同时，电子元件的表面质量对产品的可靠性和使用寿命有着重要影响。机器视觉系统能够在较短的时间内完成大量电子元件的尺寸测量和缺陷检测任务，大大提高了生产效率和产能利用率，降低了人力成本和时间成本。电子元件作为各种电子产品的基础组件，以此看来，电子元件的好坏会直接影响到组成的产品的好坏。通过对电子元件进行缺陷检测，可以对有缺陷的电子元件进行筛选去除，来增加产品性能和稳定性增强了用户的信任和满意度。现如今时代快速发展，机器视觉技术获得较好的发展并且备受重视[3]。机器视觉技术的应用不仅在电子元件制造领域具有重要意义，还可以推动整个产业链的升级和转型。通过引入机器视觉技术，可以提高电子元件制造过程的智能化程度和自动化水平。机器视觉检测技术具有连续工作时间长、快速非接触式、高精度、高稳定性等优点，已经在众多领域中代替了人工检测[4]。机器视觉对电子元件尺寸测量和缺陷检测的意义重大，不仅可以提高测量和检测的精度和效率，降低生产成本，提升产品质量，还可以推动产业升级和转型，助力电子产业的可持续发展，进一步深入研究和应用机器视觉技术在电子元件制造领域的潜力和优势，具有重要的理论意义和实践价值。本文利用HALCON对电子元件图像进行预处理，标记出电子元件的缺失引脚部分，并测量出其长度和宽度。这样实现快速找出缺陷并知道其尺寸，效率大幅提升，降低生产成本和人力成本，提高产品的质量和竞争力。1.2国内外研究现状机器视觉在国外提出并应用于实践较早,其概念于20世纪中期被提出,最开始是对二维图像的处理,后来在60年代Roberts进行了深度研究,其应用于三维场景中[5]。在国外，一些研究机构和企业已经开展了相关的研究工作，并取得了一些重要的研究成果。例如，德国的西门子公司等，在电子元件制造领域都具有较强的研发实力和技术水平，在机器视觉技术的研究和应用方面取得了一些重要的进展。在国内，由于电子产业的快速发展，对于电子元件尺寸测量和缺陷检测技术的需求也越来越大。一些研究机构和高校开始开展相关的研究工作，并取得了一些阶段性的研究成果。例如，清华大学等高校，在电子元件制造领域都有相关的研究团队，开展了一些具有创新性的研究工作。尽管已经取得了一些研究成果，但是相比发达国家，我们还需要继续努力[6]，目前电子元件尺寸测量和缺陷检测技术在实际生产中的应用还存在一些问题和挑战。例如，传统的测量方法和检测方法存在精度低、效率低等问题，无法满足电子元件制造的需求。因此，有必要深入研究电子元件尺寸测量和缺陷检测技术，探索新的方法和技术，提高测量和检测的精度和效率，促进电子元件制造工艺的优化和发展。1.3机器视觉在尺寸测量和缺陷检测方面的应用机器视觉技术在电子元件尺寸测量和缺陷检测方面的应用已经成为电子制造业中的一项关键技术。机器视觉技术在电子元件尺寸测量方面具有重要作用。若是使用传统的人工测量，则需要花费大量的时间与精力，除此之外，还会因为人注意力不够集中，长时间工作导致效率降低等因素，使得最终测量的结果不准确，这也使得电子元件的尺寸精度下降，间接导致最后成品性能质量下降。而利用机器视觉对电子元件进行检测就可以以高质量、高速度、高精度的方式进行尺寸测量，可以大大提高测量的准确度和效率。1.尺寸测量利用搭建好的硬件设备，使用工业相机拍摄电子元件的图像，利用HALCON软件对图像进行分析处理，就可以对电子元件的尺寸进行测量。这种尺寸测量方式不仅可以提高测量的精度和准确度，还能够大大提高生产效率，降低生产成本。2.表面缺陷检测机器视觉系统可以对电子元件的表面进行检测，以发现可能存在的缺陷，如裂纹、划痕、气泡等。及时识别出缺陷错误并告知工作人员，以便进行及时修复或更换，从而保证产品质量。3.引脚检测在电子元件制造过程中，引脚的连接质量对产品的性能和可靠性至关重要。机器视觉系统可以对电子元件的引脚进行检测，以确保引脚的完整性和连接质量。通过对引脚图像进行分析，机器视觉系统能够准确地检测出缺陷引脚的位置，从而保证产品的稳定性和可靠性。2基于机器视觉的电子元件尺寸测量与缺陷检测系统基于机器视觉的电子元件尺寸测量与缺陷检测系统利用摄像机或传感器捕获电子元件的图像，通过分析元件图像，系统能够快速、准确地判断元件尺寸是否符合要求，并检测出可能存在的缺陷，以支持质量控制和生产过程监测。2.1基于机器视觉的电子元件尺寸测量与缺陷检测系统组成基于机器视觉对电子元件尺寸测量与缺陷检测的硬件设施结构图，如相机位置，光源位置等如图2.1所示。图2.1基于机器视觉对电子元件尺寸测量与缺陷检测硬件平台2.2系统软件部分本文基于HDevelop17.12开发环境，以下是HDevelop17.12版本的主要功能：1.图形化编程界面：HDevelop的界面设计简洁直观，易于上手。使用者可以通过可视化的编程界面进行图像处理和算法开发，快速构建和调试机器视觉应用程序。2.强大的算法库：HDevelop内置了丰富的算法库，包括图像滤波等算法，为使用者了丰富的工具来处理各种图像处理任务。3.代码编辑器：集成了代码编辑器，支持多种编程语言，如HALCON语言、C++、C#等，方便使用者编写和编辑图像处理算法和应用程序。4.调试工具：集成了调试工具，允许使用者逐步执行代码等一系列操作。5.文档和帮助：提供了丰富的文档和帮助资源，比如用户手册可以帮助使用者快速上手。使用者可以利用HALCON进行图像处理和分析，实现对图像中对象、形状和模式的检测和识别。同时，HALCON还能够处理大规模的图像数据和复杂的视觉任务，适用于各种实时应用场景。该软件可以在多种操作系统上运行，并支持多种编程语言，如C++、C#、Python等，为用户提供了灵活和便捷的开发环境。HALCON的稳定性和高性能使其成为机器视觉领域的重要工具之一，无论是工业生产、医疗诊断还是安防监控，都能够满足用户对高质量视觉应用的需求。本文选用HALCON,界面如图2.2所示。VS支持多种编程语言，具有全面的功能，编程简单易上手，界面如图2.3所示。图2.2HDevelop17.12软件界面图2.3VisualStudio2022软件界面2.3系统硬件部分2.3.1镜头选择在工业相机中，两种最常见的图像传感器技术是CMOS和CCD,由于其信号输出方式不同，具有各自不同的优点和缺点[7]。本文相机采用CMOS传感器，下面简单描述一下传感器的优劣势：CMOS传感器优势：1．低功耗：相机通常具有较低的功耗，适合需要长时间运行或依赖电池供电的应用。2.成本效益：制造成本相对较低，适合于大规模生产和成本敏感的项目。3.高帧率：相机通常能够提供较高的帧率，适用于需要快速图像捕获或动态监测的场合。4.集成度高：技术可在同一芯片上集成多种功能，适用于需要紧凑设计和多功能集成的应用。CMOS传感器劣势：1.图像质量：相机的图像质量低于CCD相机。2.噪声水平：传感器可能存在一定程度的噪声，可能会影响图像质量。本文相机参数如表1所示，选用的工业相机如图2.4所示。表1相机参数配件类型工业相机型号传感器相机类型MV-SUA1201C1/1.7''CMOS彩色有效像素1200万像元尺寸1.85μm×1.85μm镜头接口C/CS接口灵敏度250mV1/30s分辨率帧率4000×300032fps数据接口USB3.0图2.4工业相机2.3.2镜头选择在Halcon中进行相机标定时，选择合适的镜头至关重要，它直接影响到所拍摄图像的质量和图像处理的结果。选择镜头时需要综合考虑以下几个方面：焦距选择、视分辨率和像素密度等。焦距决定了相机能够看到物体在图像中的大小。根据应用需求确定所需的分辨率和像素密度，分辨率越高，图像中物体的细节就越清晰。镜头图片如图2.5所示，该镜头部分具体参数如表2所示。 表2镜头参数信号MV-LD-6-12M-A像素1200万焦距6mm最小物距0.1m靶面尺寸1/1.7''光圈范围F=1:2.4~16接口C口控制方式手动调整图2.5镜头2.3.3光源选择光源在拍摄电子元件图像时扮演着至关重要的角色[8]，它影响着图像质量、对比度等因素。选择合适的光源类型、位置和参数对于确保系统的准确性和可靠性非常重要。为了能拍摄出无阴影图像，本篇采用两个LED光源。光源设计图如图2.6所示。光源位置如图2.7所示。 图2.6LED光源设计图图2.7光源位置3相机标定相机标定是机器视觉中的重要步骤之一，相机标定在Halcon中可以得到相机的内部参数和外部参数，并以代码的形式写出，从而将图像坐标与真实世界坐标之间建立准确的映射关系。在机器视觉中，我们通常需要将图像中的特征与现实世界中的物体位置对应起来。下面是使用HDevelop进行相机标定的步骤：1.准备标定板和相机本文准备一个参数已知的标定板和一个位置固定的相机，确保可以拍摄到整个标定板。标定板如图3.1所示，相机与标定板位置如图3.2所示。图3.17*7标定板图3.2相机与标定板位置2.拍摄标定板图像在不同角度和位置拍摄一系列标定板图像，使得标定板在相机视野内尽可能占据更多位置，确保在存在于页面的每一个位置，且拥有不同的旋转角度和平移位置。所拍摄标定板如图3.3所示。图3.3拍摄标定板3.使用HDevelop打开Halcon软件。在“助手”栏中选择“Calibration”一项，如图3.4所示。图3.4打开新的Calibration4.选择标定板类型根据标定板自身的数据，如表3，设定相关参数，例如厚度等。如图3.5所示。表3标定板参数标定板GB050-2浮法玻璃基板外形尺寸50×50mm直径2mm中心距离4mm阵列图案尺寸7×732×32精度±0.01标定板厚度2mm图3.5标定工具5.标定板图像导入并检测其状态：将之前拍摄好各个角度和位移的标定板图像导入到HALCON中进行状态检测，观察其状态是否为确定，若拍摄标定板图像有问题，则根据相应指示进行改正重拍，状态确定如图3.6所示。并选择一张较正图像作为参考位姿。图3.6选择标定图像6.检查标定结果：标定完毕后，HALCON会对标定结果进行反馈评估，并根据需要进行进一步的调整，如图3.7所示。点击生成代码，并运行，即可输出相机的标定参数，如图3.8所示。图3.7标定结果图3.8相机的标定参数4图像预处理和模板匹配在Halcon中进行图像预处理是为了准备图像以便后续的分析、检测或识别。图像预处理操作的作用是在尽量保持图像原始数据的情况下，对图像数据进行数据变换，突出有用的特征[9]。以下是一些常用的HALCON图像预处理：1.去噪声：使用滤波器技术去除图像中的噪声，以提高后续处理的稳定性和准确性，图像的去噪声滤波也有很多经典的算法,例如高斯滤波、均值滤波、中值滤波等[10]。2.灰度变换：彩色图像的灰度变换可以将彩色图像转换为仅包含亮度信息而不包含颜色信息的灰度图像。3.二值化：将灰度图像转换进行二值化，可以筛选出大于阈值的区域。4.边缘检测：应用边缘检测算法来识别图像边缘，后续可使用创建ROI来提取目标区域。5.区域分割：将图像分割成不同的区域或对象，以便进行独立的分析或识别。4.1阈值分割首先，将一个RGB三通道的彩色图像，转换成只有一个灰度值的灰度图，紧接着可以人为创建设置一个阈值，灰度图像中的像素会根据其灰度值大小与阈值大小相比较，并进行图像二值化，范围在0~255之间，阈值或灰度级分割是必不可少的[11]。在图像中目标与背景的灰度差异较大的情况下，可将目标与背景区分开。阈值分割的基本原理是将图像中的像素根据其灰度值与设定的阈值进行比较，大于阈值的像素被归为一类，小于等于阈值的像素被归为另一类[12]。接下来用个简单的例子来说明阈值分割，以标定板为例，代码如图4.1所示。首先用read_image()读取所拍摄图像，为了简化图像，利用rgb1_to_gray()算子进行图像灰度化，再利用threshold()算子，人为设置一个阈值进行二值化，选择出大致感兴趣的图像范围，如图4.2所示。将目标和背景进行区分，再用connection()将图像没有连通的部分进行分割，形成独立的部分，如图4.3所示。接下来，再观察所要区域的形态特征，如面积等，选用select_shape()算子进行选择，筛选出感兴趣的区域，方便后续处理，如图4.4所示。图4.1阈值分割示例代码图4.2二值化图4.3区域分割图4.4筛选出区域4.2图像的形态学处理形态学处理包括腐蚀、膨胀、开运算、闭运算等，为了得到没有目标边缘没有缺口且没有噪点的图像。下面就简单介绍下膨胀、腐蚀、开运算、闭运算功能。4.2.1膨胀膨胀（Dilation）是一种基本的形态学操作，用于增加图像中物体的边界，以填充空洞、连接断裂的目标，或者扩大目标的尺寸。在进行图像处理时候，可以使用dilation1()，dilation2()等函数来进行膨胀操作。4.2.2腐蚀腐蚀（Erosion）是一种基本的形态学操作，用于减小图像中物体的边界，以去除小的目标、分离连接的目标或者减小目标的尺寸。在进行图像处理时候，可以使用erosion1()，erosion2()等函数来进行腐蚀操作。灰度图像的腐蚀操作通过将像素灰度值变更为其邻域内像素的灰度最小值，收缩亮的目标区域，扩展暗的背景[13]。4.2.3开运算开运算（Opening）是一种常用的形态学操作，它是先进行腐蚀操作，然后进行膨胀操作的组合。可以用于去除图像中的小目标、平滑目标的边界，并且不影响目标的整体形状和大小，通常被用来消除图像中的噪声或者将连接的目标分离开。可以使用opening()等函数进行开运算操作。4.2.4闭运算闭运算（Closing）是一种常用的形态学操作，它是先进行膨胀操作，然后进行腐蚀操作的组合。闭运算可以用于填补目标中的小空洞、连接断裂的目标，通常被用来平滑目标的边界、恢复目标的形状，并且可以消除一些小的目标或者细小的细节。可以使用closing()等函数进行闭运算操作。4.3基于形状模板匹配通过物体的形状等特征，与预输入的模板进行比较，快速找出与模板相似的物体并输出匹配分数值，在进行匹配的过程中，HALCON会利用多个方法来对图像中的物体与预输入的模板进行评估的一定区域内物体的相似度，这些方法可以包括灰度值相关性等。4.3.1设置ROI区域在HALCON中，ROI是指在图像中定义的一个特定区域，可以将这一特定区域与原来的图像进行分离，使得后续只需在分离出来的图像上直接进行处理，无需对其他非目标区域进行处理。在设置ROI区域后，使用者可以有效地限制图像处理操作的范围，这样操作可以提高图像处理的精确性。示例代码如图4.5所示。处理前图像如图4.6所示。处理后图像如图4.7所示。图4.5设置ROI区域代码示例 图4.6设置ROI前图4.7设置ROI后设置ROI，只会将图片的定义范围缩减，而不会减小图片的真实大小，因此，后续即可对设置ROI后的图片进行处理，以减小运行负担。4.3.2创建模板创建模板的时候可以使用create_shape_model算子创建一个模板，预设这两种参数的分级图像会在该算子执行后显示出来，可以凭借需要判断参数设置得是否合理。算子create_scaled_shape_model（Template::NumLevels,AngleSt-art,AngleExtent,AngleStep,ScaleMin,ScaleMax,ScaleStep,Optimiza-tion,Metric,Contrast,MinContrast:ModelID）中有较多的参数可设置，用户需要按照自己的需求进行设置。下面是几个较重要的参数：AngleStart表示形态模型检测的起始角度，通常以弧度或度数表示。AngleExtent表示形态模型检测的角度范围，通常以弧度或度数表示。MinScore表示形态模型能接受的最低匹配分数，匹配分数低于此值则无法进行匹配。Optimization表示形态模型创建过程中的优化方法。可以根据实际应用需求来优化形状模型的构建和匹配过程，以获得更好的匹配性能和效率。一般选择“auto”。Metric表示指定模型匹配过程中所采用的评价指标或度量方式。根据不同的评价指标，模型的匹配准确性会有所不同。4.3.3模板匹配将创建的模板与输入图像进行匹配。可以使用find_shape_model函数来执行模板匹配操作。该函数会在输入图像中搜索与模板匹配的对象，并返回其位置信息。进行模板匹配后会输出Score值，通过观察Score值的大小，来确定目标与模板的相似度，Score分数越高，证明匹配程度越高。电子元件模板图像如图4.8所示。将芯片进行不同角度大小旋转后，进行模板匹配，匹配结果如图4.9、4.10所示。图4.8模板图片图4.9大角度旋转后匹配结果图4.10小角度旋转后匹配结果5基于机器视觉的尺寸测量和缺陷检测5.1基于机器视觉的尺寸测量5.1.1创建计量模型本文利用HALCON软件，生成需要测量的电子元件图像，创建计量模型进行对其进行二维测量。下面以NE555P为例，利用create_metrology_model()算子创建计量模型，并使用add_metrology_object()算子将计量对象添加到计量模型中，再对计量模型的参数进行设置，计量模型参数设置如图5.1所示。对计量模型参数设置完后，使用apply_metrology_model()算子即可执行测量，并利用get_metrology_object_measures()获得计量模型边缘位置结果，计量模型的显示如图5.2所示。测量结果利用get_metrology_object_result_contour()算子得到。图5.1计量模型的参数设置图5.2计量模型的显示5.1.2计算并显示测量结果 通过对电子元件边缘轮廓的开始位置坐标、中间坐标和结束位置坐标并拟合为直线，结合相机标定程序，调用image_points_to_world_plane()算子将像素坐标转换到世界坐标，再利用distance_pp()算子算出其在真实世界中两坐标的距离，即为机器视觉测量值。利用dev_disp_text()算子实现测量结果显示。NE555P测量结果如图5.3所示,LM339N测量结果如图5.4所示。图5.3测量NE555P结果图5.4测量LM339N结果5.1.3尺寸测量结果分析表4尺寸测量结果分析测量元件人工测量值/mm视觉测量值/mm绝对误差/mm相对误差LM339N芯片长度19.3019.4610.1610.83％LM339N芯片宽度6.206.2270.0270.04%NE555P芯片长度9.059.0060.0010.01%NE555P芯片宽度6.206.1990.0010.01%由表4可得，使用机器视觉对电子元件进行尺寸测量，其相对误差均在0.8％左右，由此看来，利用机器视觉进行尺寸测量与人工测量值相差不大，误差值较小，甚至可以忽略，但是机器视觉可以大量减少人力资源，节约成本，且满足工业生产要求，这也是利用机器视觉对电子元件尺寸测量的优点之一。Halcon尺寸测量误差的原因：(1)镜头畸变：镜头本身是个透镜，物体放在不同的位置，因为镜头畸变的原因，导致拍摄出的图像会有些许拉伸，影响尺寸测量的准确性。(2)光照条件变化：光照条件的变化会影响图像质量，进而影响尺寸测量的准确性。(3)环境因素：环境中的振动、移动或其他干扰因素会干扰图像获取和处理，导致测量误差增加。5.2基于机器视觉的缺陷检测5.2.1缺陷检测代码过程首先确定引脚的起始位置，宽度。生成一个测量矩阵，根据引脚的间距，逐步移动矩阵，并在移动过程中进行边缘检测数量，HALCON步进边缘检测代码如图5.5所示。若是可以检测到边缘值，则存在引脚，用绿色方框标记；若不能检测到边缘值，则引脚缺失。在检测到引脚有缺陷时，检测会自动停下，等待用户下一步指令，当用户按下F5键则会继续进行检测。 图5.5HALCON引脚缺陷检测部分代码示例5.2.2缺陷检测过程下面以LM339N芯片为例,可利用上位机进行显示，上位机界面如图5.6所示。利用上位机创建图像窗口变量代码如图5.7所示，打开图像代码如图5.8所示。缺陷检测过程如图5.9、图5.10、图5.11、图5.12所示。图5.6上位机界面图5.7创建图像窗口变量代码图5.8打开图像代码图5.9第一个引脚缺陷 图5.10第二个引脚缺陷图5.11第三个引脚缺陷图5.12检测完成5.2.3其他芯片缺陷检测结果下面是NE555P芯片的缺陷检测结果，如图5.13所示。 图5.13NE555P芯片的引脚缺陷下面是STC芯片，在无引脚缺陷时的缺陷检测结果，如图5.14所示。图5.14无引脚缺陷时检测结果6总结 本文讲述了利用机器视觉对电子元件的尺寸测量和缺陷检测。首先，我们分析了这一项目的研究背景和未来前景，也了解了目前国内外的研究进展，这也让我们的研究有了初步的目标。我们在进行尺寸测量和缺陷检测之前，需要做一些基本的准备工作，我们介绍了需要搭建的硬件和软件环境，相机采用的是1200万像素的镜头，利用HALCON对标定板图像进行标定，得到像素坐标和世界坐标之间的关系，即可实现后续尺寸测量操作。进行图像预处理操作包括灰度转化等，可以有效的去除噪点，提取目标区域，方便后续处理。在做完准备工作以后，就可以对一些电子元件进行尺寸测量和缺陷检测的工作。在尺寸测量中，通过利用创建计量模型对电子元