《机器视觉系统应用（初级）》课件 项目6 电子芯片管脚缺陷检测系统的调试

项目6

电子芯片管脚缺陷检测系统的调试

机器视觉系统应用（初级）任务1初识电子芯片管脚缺陷检测系统

知识图谱学习目标1任务描述2相关知识3任务实施4任务评价5思考练习6PARTONE01PART学习目标/知识目标了解视觉缺陷检测系统的工作原理。了解视觉缺陷检测系统的应用技能目标能够描述实训台的组成结构。能够描述实训台各结构的功用。能够描述电子芯片管脚缺陷系统的工作流程。学习目标素养目标根据工作岗位职责，完成小组成员的合理分工。团队合作中，各成员学会合理表达自己的观点。养成安全规范操作的行为习惯。PARTTWO02PART任务描述/认知实训台的组成结构及各结构的功用，描述缺陷系统的工作流程。任务描述电子芯片管脚缺陷检测系统实训台PARTTHREE03PART相关知识/机器视觉缺陷检测系统工作原理通过适当的光源和图像传感器（CCD相机）来获取产品的表面图像，利用相应的图像处理算法提取图像的特征信息，然后根据特征信息进行缺陷的定位、识别、统计、存储、查询等操作。机器视觉缺陷检测系统的应用机器视觉缺陷检测方法很大程度上克服人工检测方法的抽检率低、准确性不高、实时性差、效率低、劳动强度大等弊端，在现代工业中得到越来越广泛的研究和应用。新能源泛半导体机械制造新能源方面可以用于同步电机发卡线圈表面缺陷检测；在半导体生产中，常用于SMT贴装、PCB、IC芯片检测等；机械制造方面常用于发动机垫片和汽车外观缺陷进行检测，并可泛化汽车仪表盘缺陷检测、汽摩零部件缺陷检测、汽摩灯具塑料件缺陷检测等。PARTFOUR04PART任务实施/电子芯片管脚缺陷检测系统实训台的构成（1）视觉单元：包括相机、镜头、光源和算法软件，主要用于检测芯片是否合格。（2）执行单元：由机器人执行相应的操作命令，主要是各个不同单元间物品的搬运。（3）合格芯片放置台：主要用于放置检测后的合格芯片。（4）物料台：主要用于放置待检测的电子芯片。（5）PLC单元：控制电磁阀的通断。（6）不合格芯片放置台：主要用于放置检测后的不合格芯片。（7）视觉检测台：位于视觉单元的正下方，主要用于放置进行视觉检测的电子芯片。电子芯片管脚缺陷检测系统实训台（1）（2）（3）（6）（4）（5）（7）电子芯片管脚缺陷检测系统的工作流程机器人工作中PARTFIVE05PART任务评价/任务评价类别考核内容分值评价分数自评互评师评理论了解视觉缺陷检测系统的工作原理15

了解视觉缺陷检测系统的应用10

技能能够描述实训台的组成结构15

能够描述实训台各结构的功用20能够描述电子芯片管脚缺限检测系统的工作流程30素养遵守操作规程，养成严谨科学的工作态度2

根据工作岗位职责，完成小组成员的合理分工2

团队合作中，各成员学会合理表达自己的观点2

严格执行6S现场管理2

养成总结训练过程和结果的习惯，为下次训练总结经验2

总分100PARTSIX06PART思考练习/思考练习010302基于机器视觉缺陷检测优势是什么？视觉检测缺陷系统应用在哪些方面？画出电子芯片管脚缺陷检测系统的工作流程图。THANKYOU!深圳市越疆科技公司项目6

电子芯片管脚缺陷检测系统的调试

机器视觉系统应用（初级）任务2视觉单元的调试

学习目标1任务描述2相关知识3任务实施4任务评价5思考练习6PARTONE01PART学习目标/知识目标了解电子芯片管脚缺陷检测系统的机器视觉方案。了解机器视觉程序各模块的功用。了解BLOB分析参数的含义。技能目标能够根据现场环境调试出清晰的图像。能够根据需要重新创建特征模板。能够检测出电子芯片管脚是否有缺陷。学习目标素养目标根据工作岗位职责，完成小组成员的合理分工。团队合作中，各成员学会合理表达自己的观点。养成安全规范操作的行为习惯。PARTTWO02PART任务描述/任务描述芯片检测结果调试机器视觉方案程序，该方案程序是对电子芯片的管脚进行缺陷检测，检测合格时，结果显示为“OK”；检测不合格时，结果显示为“NG”。PARTTHREE03PART相关知识电子芯片管脚缺陷检测视觉方案（1）图像源：用于采集图像。（2）快速匹配：用于建立检测对像的模板，方便快速识别和定位。（3）位置修正：用于辅助定位、修正目标运动偏移和辅助精准定位。电子芯片管脚缺陷检测视觉方案功能是采集并检测电子芯片管脚有无缺陷，并根据检测的结果进行判断，把判断结果显示在图像显示区域或通过TCP通信发送给机器人。（4）图像二值化：是对输入图像进行阈值化处理，使图像上点的灰度值变为0或255，也就是将整个图像呈现出明显的黑白效果。二值化的操作使图像变得简单，有利于进一步处理图像。（5）BLOB分析：在像素是有限灰度级的图像区域中检测、定位或分析目标物体的过程。（6）条件检测：判断检测数据是否满足条件，若满足，图像显示区显示“OK”字符；否则，显示“NG”字符。（7）发送数据：可将流程中的数据发送到数据队列、通信设备或全局变量中。电子芯片管脚缺陷检测视觉方案电子芯片管脚缺陷检测视觉方案位置修正模块位置修正模块的作用：根据模板匹配结果中的匹配点和匹配框角度建立位置偏移的基准，再根据特征匹配结果中的运行点和基准点的相对位置偏移实现ROI检测框的坐标旋转偏移，也就是让ROI区域能够跟上图像角度和像素的变化。位置修正的方式按点修正：点的位置已确定按坐标修正：用x，y来确定点的位置位置信息：从上一个模块传输过来作用：用来确定像素和角度的偏移位置修正基本参数图像二值化模块二值化类型参数说明硬阈值二值化低\高阈值：低阈值小于高阈值时，灰度值在高低阈值大小范围内的像素置为非零值；低阈值大于高阈值时，灰度值在高低阈值大小范围外的像素置为非零值均值二值化--滤波核宽度：均值滤波核宽度--滤波核高度：均值滤波核高度--比较类型：包括大于等于、“小于等于、“等于以及“不等于四种比较类型--阈值偏移量：均值二值化/高斯二值化时，在滤波结果图像基础上再进行阈值偏移大小补偿，生成阈值图像高斯二值化--高斯滤波核：滤波核的大小，增大滤波核大小使得高斯滤波后的画面更加平滑--高斯标准差：表示高斯滤波的程度图像二值化是将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。图像二值化运行参数图像二值化运行参数说明表BLOB分析模块BLOB分析工具可以提供图像中目标物体的某些特征，如存在性、数量、位置、形状、方向以及BLOB间的拓扑关系等信息。BLOB运行参数参数名称参数说明阈值方式其他情况可选单阈值，双阈值、自动阈值、软阈值（固定）和软阈值（相对）二值化等五种方式。查找个数设置查找Blob图形的个数。孔洞最小面积blob区域内容忍的最小非blob区域面积，不大于该值，则将孔洞填充为blob。轮廓输出使能开启后模块显示BLOB轮廓。Blob图像输出关闭后不输出BLOB分析后图像。BLOB分析运行参数说明表（1）BLOB分析模块BLOB运行参数参数名称参数说明使能当前特征使能若开启，则该特征用于BLOB筛选；若关闭，则该特征不会用于BLOB筛选。面积：目标图形的面积。周长：目标图像的周长。长短轴：最小面积外接矩形的长和宽，长轴值大于短轴。圆形度、矩形度：与圆或者矩形的相似程度。质心偏移：BLOB质心与BLOB最小面积外接矩形中心的绝对像素偏移。轴比：box短轴和box长轴。排序特征：有面积、周长、圆形度、矩形度、连通域中心x、连通域中心y、box角度、box宽、box高、矩形左上顶点x、矩形左上顶点y、二阶中心距主轴角度、轴比等几种特征。排序方式：有升序、降序和不排序三种方式，配合排序特征使用。连通性为获得一个区域，必须计算出分割后所得到的区域内包含的所有连通区域。分为4连通和8连通。最小重叠率本参数功能为筛选BLOB，过滤掉部分与ROI相交的BLOB。具体过滤方式：若设置最小重叠率为50，且处于ROI内部的BLOB面积小于其总体面积的50%，则在结果中将其过滤，过滤掉的BLOB在结果中将不会显示；如果与ROI有粘贴即不视为目标图形的话，则可将此参数设置为100。BLOB分析运行参数说明表（2）PARTFOUR04PART任务实施/图像采集调试打开DobotVisionStudio软件主界面，打开电子芯片缺陷检测系统视觉文件。机器视觉方案步骤1图像采集调试设置图像源模块参数。先双击“0图像源1”，对图像源的参数进行设置，包括设置关联相机、相机管理的相机选择和触发源等参数；接着单击工具栏上的“连续执行”工具，再双击进入图像源，在连续执行的情况下，调整相机的曝光时间，并根据实际情况调整镜头的光圈大小、对焦环位置，光源的亮度，最终采集到清晰的图像。“相机管理”参数设置步骤2“图像源”参数设置图像的定位和识别单击“2快速匹配1”，单击工具栏中的“

”，在图像显示区域查看“2快速匹配1”能否准确识别到芯片，如果不能则需要重新对“2快速匹配1“进行参数设置。ROI区域的创建双击“2快速匹配1”，进行参数配置。在基本参数中设置“ROI区域”，选中检测区域。步骤1（1）创建特征模板步骤2特征模板界面在“特征模板”界面，先删除以前的模板，点击“创建”，进入“模板配置”界面。图像的定位和识别（1）创建特征模板步骤3模板配置界面在“模板配置”界面，先选择创建矩形掩膜工具，再选择建模区域，同步根据情况进行模板参数配置，一般情况下默认参数即可，最后点击“生成模型”工具，单击“确定”返回到特征模板界面。图像的定位和识别（1）创建特征模板步骤4①④⑤②③在“特征模板”界面，可看到创建的模板，单击“执行”，在图像显示区域中会显示所选模板图像。生成特征模板图像的定位和识别（1）创建特征模板步骤5创建基准点图像的定位和识别（2）位置修正调试步骤1双击“3位置修正”进行参数设置，单击“创建基准”，会出现提示框，询问是否重新创建，单击“是”即可；单击“执行”，图像显示区中就会出现一个红色的运行点了，这说明基准创建成功。基准创建后的图像单击“3图像二值化1”，单击工具栏中的“

”，图像显示区域应为二值化的电子芯片图像。图像二值化后的图像图像的定位和识别（2）位置修正调试步骤2“图像二值化”的基本参数若显示的图像不对，则双击“4图像二值化1”，对基本参数和运行参数进行设置。图像的定位和识别“图像二值化”的运行参数（3）图像二值化调试第一个引脚的BLOB分析结果单击“5BLOB分析1”和工具栏中的“

”，查看BLOB分析的结果是否正确。BLOB分析和条件检测的调试步骤1若结果不正确，则双击“5BLOB分析1”，重新进行参数设置。在基本参数设置中，进行“ROI区域”的创建。绘制工具为矩形，在图像中绘制出第一个引脚的矩形区域。“BLOB分析”的基本参数BLOB分析和条件检测的调试步骤2在运行参数中，“阈值方式”选择“不进行二值化”，极性为“亮于背景”，“面积使能”的数据根据情况来设置，单击“执行”和“确定”。“BLOB分析”的运行参数BLOB分析和条件检测的调试步骤3BLOB分析和条件检测的调试单击“6BLOB分析2”和工具栏中的“

”，查看BLOB分析的结果是否正确。若结果错误，则用调试第一个引脚的方法进行参数设置。第二个引脚的BLOB分析结果步骤4BLOB分析和条件检测的调试以相同的操作，调试剩余的引脚的BLOB分析的参数。结果显示“OK”点击“17条件检测1”和工具栏中的“

”，在图像显示区域显示“OK”，则说明电子芯片管脚无缺陷；若显示“NG”，则说明电子芯片管脚有缺陷。结果显示“NG”步骤5步骤6BLOB分析和条件检测的调试“条件检测”的基本参数步骤7双击“17条件检测1”，可以看到基本参数的设置。判断方式：由于是对芯片有无缺陷进行检测，所以要求所有管脚都必须合格。条件：全部BLOB分析中的数值都在有效值范围内。PARTFIVE05PART任务评价/任务评价类别考核内容分值评价分数自评互评师评理论了解电子芯片管脚缺陷检测系统的视觉程序10

了解方案中各模块的功用10

了解位置修正和图像二值化的相关内容10

了解BLOB分析各参数的含义10技能能够采集到清晰图像10

能够用特征匹配、位置修正和图像二值化对图像进行处理25能够检测和判别出合格或不合格电子芯片15素养遵守操作规程，养成严谨科学的工作态度2

根据工作岗位职责，完成小组成员的合理分工2

团队合作中，各成员学会合理表达自己的观点2

严格执行6S现场管理2

养成总结训练过程和结果的习惯，为下次训练总结经验2

总分100PARTSIX06PART思考练习/思考练习01030204视觉程序中的位置修正模块的作用是什么？视觉程序中的图像二值化的作用是什么？BLOB分析工具提供图像中的什么信息？条件检测模块的作用是什么？THANKYOU!深圳市越疆科技公司项目6电子芯片管脚缺陷检测系统的调试机器视觉系统应用（初级）任务3机器人单元的调试学习目标1任务描述2相关知识3任务实施4任务评价5思考练习6PARTONE01PART学习目标/知识目标了解机器人单元的工作内容。了解机器人单元各模块的功能。技能目标能够读懂各程序模块的含义。能够理解机器人工作过程中所需的8个点位的含义。能够对机器人的点位进行示教和调试。学习目标素养目标根据工作岗位职责，完成小组成员的合理分工。团队合作中，各成员学会合理表达自己的观点。养成安全规范操作的行为习惯。PARTTWO02PART任务描述/任务描述读懂机器人程序，了解各程序模块的功能，获取机器人点位数据。机器人PARTTHREE03PART相关知识/机器人单元的工作内容搬运搬运：机器人从料仓区移动电子芯片到视觉检测区。分拣：视觉检测完毕后，机器人把合格芯片和不合格芯片分别放置到对应区域。分拣缺陷物料放置处无缺陷物料放置处机器人单元程序功能介绍（1）物料台和检测台取料程序机器人单元程序功能介绍（2）放置区程序PARTFOUR04PART任务实施/机器人单元调试前的准备工作连接硬件连接机器人连接视觉硬件修改IP地址PC与机器人IP同一网段选择机器人IP地址打开DobotSCStudio软件选择机器人的IP地址机器人使能单击使能图标设置末端负载重量根据工作流程需调试8个点位，各点位含义信息如表所示。机器人单元调试所需的点位点位别名含义P1HOME开始和结束时的点位P2过渡点1从开始到取料点间的过渡点位、放好物料在旁等待视觉检测的点位P3检测点视觉检测物料的点位P4检测上方点到达和离开视觉检测点位时的过渡点P5过渡点2检测完从视觉检测点上方离开到放置点时的过渡点、放置好物料从放置点到HOME点时的过渡点P6取料点1料仓区的第一个取料点P7不合格物料放置点1不合格物料放置区的第一个放置点P8合格物料放置点1合格物料放置区的第一个放置点点位含义表机器人工作流程：吸取待检测电子芯片→放置到视觉检测台→吸取检测后的电子芯片→放置到对应放置区。机器人单元调试单击界面左侧的“脚本编程”，右键工作空间，选择“导入工程”；找到并打开电子芯片管脚缺陷检测系统中的“prj.json”程序。导入工程工程导入结果（1）导入文件双击工程结构文件中的“点数据”，或者单击右侧选项卡中的“点数据”，可以看到P1-P8这8个点位的坐标等信息。点数据机器人单元调试（2）更新点位信息步骤1更新P1点位（HOME点位）。用“手持示教”和“点动面板”相结合的方法，控制机器人末端移动到视觉检测的正下方，确定好P1点位；在“点数据”界面选中“P1”点位，单击“覆盖”。确定P1点位更新P1点位步骤2（2）更新点位信息机器人单元调试更新P2点位（过渡点位）。同样的操作确定P2点位。只要移动机器人偏离检测区域即可；在“点数据”界面选中“P2”点位，单击“覆盖”，即可更新P2点位。确定P2点位更新P2点位步骤3（2）更新点位信息机器人单元调试更新P3点位（检测点位）。在视觉检测处放好芯片，在“IO监控”里控制伸缩缸，让两个吸盘靠近；控制机器人末端移动到芯片处，使吸盘紧贴芯片表面，在“IO监控”里控制1个吸盘吸气吸住芯片，此点即为P3点位，在“点数据”界面选中“P3”点位，单击“覆盖”，即可更新P3点位。确定P3点位更新P3点位步骤4（2）更新点位信息机器人单元调试更新P4点位（检测上方点位）。软件中点按“点动面板”中的Z+，抬高机器人到合适的检测点上方；选中“点数据”界面的P4点位，单击“覆盖”，生成新的P4点位。确定P4点位更新P4点位步骤5（2）更新点位信息机器人单元调试更新P5点位（过渡点），操作方法参照P2点位，在放置区域的上方确定一个点位即可。选中“点数据”界面的P5点位，单击“覆盖”，生成新的P5点位。确定P5点位更新P5点位步骤6（2）更新点位信息机器人单元调试更新取料点位。①放置待检芯片，并测量芯片间距，把芯片如左图所示放置，并用直尺量出横纵两个方向两个芯片的间距。芯片间距图示步骤7（2）更新点位信息备注：采用2X3规律性的芯片放置方法，也就是不同行芯片的纵向间距是相等的，同一行的相邻两个芯片的横向间距也是相等的。这样，利用循环语句结合数学公式就可得出物料台上6个芯片的点位了。机器人单元调试②确定基准点位。P6是第一个取料点，也是其他取料点的基准点。控制机器人末端吸住芯片；在“点数据”界面，选中P6点，点击“覆盖”，产生新的P6点位。确定P6点位更新P6点位步骤7（2）更新点位信息机器人单元调试③更新程序数据。在“src0”界面，把P6点位的X、Y、Z、R的数值和两个间距值更新到机器人的程序中，就可确定所有的取料点。程序中的取料数据点说明图RXYZ不同行间距同一行芯片间距步骤7（2）更新点位信息机器人单元调试更新不合格物料放置点和合格物料放置点。P7和P8点分别是不合格物料和合格物料的第一个放置点，即为各自区域的基准点。①更新基准点位。相同的操作，确定好P7、P8点位，并在点数据中更新对应点位。确定P7点确定P8点步骤8（2）更新点位信息机器人单元调试②测量芯片间距。由于是单排横向放置芯片，只需测量各自区域中的第一个芯片和第二个芯片的间距即可。不合格芯片间距和合格芯片间距步骤8（2）更新点位信息机器人单元调试③更新程序中放置点位的数据。把P7、P8点数据和2个间距值，更新到程序的对应数值中。点数据中的P7、P8点和程序中的点比对图步骤8（2）更新点位信息机器人单元调试PARTFIVE05PART任务评价/任务评价类别考核内容分值评价分数自评互评师评理论了解机器人控制程序的工作内容10

了解机器人控制程序各模块的功能15

技能能够正确连接设备5

能够用IO监控控制机器人末端5能够描述机器人运动所需的不同点位的含义10能够示教和调试机器人点位45

素养遵守操作规程，养成严谨科学的工作态度2

根据工作岗位职责，完成小组成员的合理分工2

团队合作中，各成员学会合理表达自己的观点2

严格执行6S现场管理2

养成总结训练过程和结果的习惯，为下次训练总结经验2

总分100PARTSIX06PART思考练习/思考练习localPos={coordinate={114.9943+a*137,-334.6894+b*76,7,105.3991}}此语句的含义是什么？0102机器人控制系统程序中的工作有哪些？THANKYOU!深圳市越疆科技公司项目6电子芯片管脚缺陷检测系统的调试机器视觉系统应用（初级）任务4电子芯片管脚缺陷检测系统的联调学习目标1任务描述2相关知识3任务实施4任务评价5思考练习6PARTONE01PART学习目标/知识目标了解TCP通信的内容。了解电子芯片管脚缺陷检测系统的完整程序。技能目标能够完成电子芯片管脚缺陷检测系统的联调工作。能够完成机器人程序中的视觉单元IP地址的设置。能够描述机器人单元与视觉单元间的通信过程。学习目标素养目标根据工作岗位职责，完成小组成员的合理分工。团队合作中，各成员学会合理表达自己的观点。养成安全规范操作的行为习惯。PARTTWO02PART任务描述/任务描述

建立机器人与视觉间的通信，完成电子芯片管脚缺陷系统的联调工作。机器人工作中PARTTHREE03PART相关知识/系统联调的工作流程调试准备工作建立视觉与机器人间的TCP通信运行机器人程序调试准备工作包括：①连接硬件

②下载PLC程序

③打开软件及对应工程文件机器人完整程序模块介绍①定义本地变量程序（1）SRC0程序机器人完整程序模块介绍（1）SRC0程序②接收视觉数据函数程序机器人完整程序模块介绍（1）SRC0程序③发送数据给视觉函数程序④建立TCP程序机器人完整程序模块介绍⑤机器人点位函数程序（1）SRC0程序（a）料仓区取料，放置到视觉检测区（b）视觉检测区取料，放置到对应区域机器人完整程序模块介绍（1）SRC0程序⑥系统启动程序（2）变量函数程序PARTFOUR04PART任务实施/PLC程序下载PLC程序的下载操作步骤请参照项目4任务4的内容。修改机器人程序中的IP地址计算机IP地址程序中的IP地址打开DobotSCStudio软件，连接设备，导入机器人程序。在程序窗口把程序第一行的IP地址设置为与计算机相同的IP地址。步骤1步骤2视觉单元的TCP通信设置打开DobotVisionStudio软件，打开“电子芯片管脚缺陷检测”视觉方案。通信管理工具单击快捷工具条中的“通信管理”按钮，会弹出通信管理的窗口。步骤1步骤2视觉单元的TCP通信设置通信管理窗口，修改“通信参数”中的“本机IP”，把IP地址设置为当前的计算机IP地址，打开“TCP服务端”，关闭窗口。设置通信管理参数①②③步骤3视觉单元的TCP通信设置在快捷工具栏中，单击“全局触发”，在“字符串触发”中设置匹配模式和触发配置的内容。设置通信管理参数步骤4TCP通信连接测试机器人发送数据和视觉接收数据比对

在DobotSCStudio软件中点击“运行”按钮，运行机器人程序。如果TCP通信成功建立，会在调试结果显示框看到“TCP_VisionConnectionsucceeded”的提示，说明TCP通信建立成功。机器人单元与视觉单元间的通信过程机器人单元发送数据机器人单元和视觉单元之间是通过TCP通信的。

当机器人把电子芯片放在视觉检测台后，移动到P2过渡点，接着机器人单元会通过建立好的TCP通信向视觉单元发送一个“end”的数据。（1）机器人单元发送信息机器人单元与视觉单元间的通信过程视觉单元接收数据（2）视觉单元接收信息