（控制理论与控制工程专业论文）贴片机吸片状态视觉检测与纠缠系统的研制.pdf

1l1 l，1 1j；：i11 苏州大学学位论文使用授权声明 小i i l i i l lfr l l l lll l l l l l lllji y 17 3 2 9 3 8 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即：学位论文著作权归属苏州大学。本学位论文电子文档的内容和纸 质论文的内容相一致。苏州大学有权向国家图书馆、中国社科院文献 信息情报中心、中国科学技术信息研究所( 含万方数据电子出版社) 、 中国学术期刊( 光盘版) 电子杂志社送交本学位论文的复印件和电子 文档，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段 保存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数 据库进行检索 涉密论文口 本学位论文属 ，在年月解密后适用本规定。 、非涉密论文a 论文作者签名： 导师签名： 期：幽 芝：翌丝： 少 期：星丝：翌竺：f 翌 _ ji 贴片机吸片状态视觉检测与纠偏系统的研制中文摘要 中文摘要 本课题研究的应用对象为苏州大学机电工程学院s m t 实验室报废的q u a d q s p 2 型贴片机，在更新升级了控制系统硬件，自主研发底层驱动软件，实现基本 控制功能的基础上，研究设计了基于机器视觉的贴片机吸片状态视觉检测与纠偏 系统。本课题主要包括两个方面的内容：1 、片状元件初始角度偏移的检测与纠偏； 2 、吸嘴偏移片状元件中心位置的偏差检测，为位置控制提供精确的补偿数据。 本论文首先对图像采集模块采集到的片状元件原始灰度图进行灰度变换、图 像平滑、图像锐化以及阈值分割等处理，得到对后续图像分析有用的元件图像。 再利用图像分析对片状元件引脚的边缘轮廓进行提取，将边界跟踪与图像处理算 法结合，找到元件引脚的质心，利用最小二乘法原理对引脚质心进行直线拟合， 由直线的斜率求出元件的偏转角度，将得到的偏转角度数据传递给伺服控制系统， 伺服控制系统控制t 轴电机纠正偏转角度。然后找到片状元件的质心，通过坐标 的转换得出元件中心与吸嘴中心的位置偏移量，将得到的位置偏移量数据传递给 伺服控制系统，伺服控制系统根据位置偏移量对贴装位置进行补偿。 关键词：贴片机，机器视觉，图像处理，纠偏。 作者：叶听 指导教师：张茂青教授 a c c u r a t ec o m p e n s a t i o nd a t af o rt l l ep o s i t i o nc o n t r 0 1 t h i ss t u d yf i r s t l yp r o c e s s e dt h es m dc o m p o n e n t , w h i c hw a sa c q u i r e df r o mt h e m o d u l eo fi m a g ea c q u i s i t i o n , b yg r a y s c a l et r a n s f o r m a t i o n , i m a g es m o o t h i n g ，i m a g e s h a r p e n i n ga n dt h r e s h o l ds e g m e n t a t i o n ，t h u sw ec a no b t a i nau s e f u ld e v i c ei m a g ef o r t h es u b s e q u e n ti m a g ea n a l y s i s t h e nw ee x t r a c tt h ee d g ec o n t o u ro ft h ep i no ft h e c o m p o n e n tu s i n gt h ei m a g ea n a l y s i s ，c o m b i n et h ee d g et r a c k i n g 晰t l lt h ei m a g e p r o c e s s i n ga l g o r i t h m ，f i n dt h ec e n t r o i do ft h ec o m p o n e n tp i n ，t h e nc a r r yo u tt h el i n e a r f i t t i n g t ot h e p i nc c n t r o i du s i n gt h ep r i n c i p l eo fl e a s ts q u a r em e t h o d ，t og e tt h e d e f l e c t i n ga n g l ef r o mt h el i n e a rs l o p ea n dp a s st h ed e f l e c t i n ga n g l ed a t at ot h es e r v o c o n t r o ls y s t e m ，t h es e r v oc o n t r o ls y s t e mi su s e dt oc o n t r o l t h et - a x i sm o t o rf o r c o r r e c t i n gt h ed e f l e c t i n ga n g l e t h e nt og e tt h ep o s i t i o no f f s e t so f t h ec o m p o n e n tc e n t e r a n dt h en o z z l ec e n t e rt h r o u g ht h ec o o r d i n a t ec o n v e r s i o n , a n dt h e np a s st h ep o s i t i o n o f f s e t st ot h es e r v oc o n t r o ls y s t e m ，t h es e r v oc o n t r o ls y s t e mc a r r i e so u tc o m p e n s a t i o nt o t h ep l a c e m e n t p o s i t i o na c c o r d i n gt ot h ep o s i t i o no f f s e t k e y w o r d s ：s m m ，m a c h i n ev i s i o n ，i m a g ep r o c e s s i n g ，r e c t i f i c a t i o n w r i t t e n b y ：x i ny e s u p e r v i s e db y ：m a o q i n gz h a n g 录 1 1 2 贴片机概述2 1 2 机器视觉简介3 1 2 1 机器视觉概述3 1 2 2 机器视觉的应用4 1 3 课题来源与研究意义4 1 3 1 本课题的来源4 1 3 2 本课题的研究意义”5 1 4 本课题的主要工作及内容安排5 第二章贴片机的视觉检测系统及视觉处理7 2 1 机器视觉系统7 2 1 1 机器视觉系统简介7 2 1 2 机器视觉系统的优点8 2 2 贴片机的视觉系统8 2 2 1 贴片机的运动控制系统8 2 2 2 贴片机的视觉检测系统- 9 2 2 2 1 对p c b 板的检测l l 2 2 2 2 对片状元件的检测1 2 2 3 图像的获取”1 4 2 4 图像预处理1 6 2 4 1 图像的灰度变换1 6 2 4 2 图像的平滑1 8 2 4 3 图像的锐化”2 1 2 5 图像的分割2 3 2 5 1 阈值分割2 3 2 5 2 边缘检测算子”2 5 4 1 图像采集模块4 3 4 1 1c c d 摄像头”4 3 4 1 2 光源”4 4 4 1 3 图像采集卡4 5 4 2 图像处理模块4 8 4 3 伺服控制模块”4 9 4 3 1 元件偏转角度的纠偏5 0 4 - 3 2 元件中心点偏移的补偿一5 1 4 4 本章小结5 4 第五章结束语”5 5 5 1 工作总结5 5 5 2 有待进一步研究的工作5 5 参考文献“5 7 攻读学位期间本人出版或公开发表的论著、论文6 0 致谢“6 1 贴片机吸片状态视觉检测与纠偏系统的研制第一章绪论 第一章绪论 1 1s m t 贴片机简介 1 1 1 表面贴装技术( s m t ) 概述 表面贴装技术，英文称之为“s u r f a c em o u n tt e c h n o l o g y ”，简称s m t ，它是将 表面贴装元器件( 无引脚或短引脚的元器件) 贴、焊到印制电路板表面规定位置 上的电路装联技术，所用的印制电路板无需钻插装孔【l 】。具体地说，就是首先在印 制电路板焊盘上涂焊锡膏，再将表面贴装元器件准确地放到涂有焊锡膏的焊盘上， 通过加热印制电路板直至焊锡膏熔化，冷却后便实现了元器件与印制电路之间的 互联【2 】。 表面贴装技术通常包括：表面组装元器件、表面组装电路板及图形设计、表面 组装设备、表面组装专用辅料焊锡膏及贴片胶、表面组装设备、表面组装焊 接技术( 包括双波峰焊、再流焊、汽相焊、激光焊) 、表面组装测试技术、清洗技 术以及表面组装大生产管理等多方面内裂3 1 。这些内容可以归纳为三个方面：一是 设备，人们称它为s m t 的硬件；二是装联工艺，人们称它为s m t 的软件；三是 电子元器件，它既是s m t 的基础，又是s m t 发展的动力，它推动着s m t 专用设 备和装联工艺不断更新和深化。 表面贴装技术是新一代电子组装技术，它将传统的电子元器件压缩成为体积只 有几十分之一的器件，从而实现了电子产品组装的高密度、高可靠、小型化、低 成本，以及生产的自动化。这种小型化的元器件称为：s m y 器件( 或称s m c 、片 式器件) 。将元件装配到印刷( 或其它基板) 上的工艺方法称为s m t 工艺。相关 的组装设备则称为s m t 设备【4 j 。 图1 1s m t 工艺流程 s m t 生产线主要设备包括印刷机、贴片机和回焊炉，辅助设备包括检测设备、 返修设备、清洗设备、干燥设备和物料存储设备等圈。目前，先进的电子产品，特 第一章绪论贴片机吸片状态视觉检测与纠偏系统的研制 别是在计算机及通讯类电子产品，已普遍采用s m t 技术。国际上s m d 器件产量 逐年上升，而传统器件产量逐年下降，因此随着时间的推移，s m t 技术将越来越 普及。 1 1 2 贴片机概述 贴片机是整个s m t 生产设备中价值比重最大、技术含量最高、对整个组装生 产能力和效率影响最大的电子制造设备。s m t 组装生产线的选择和配置，关键是 在贴片机。在电子信息行业中，拥有贴片机的数量和先进程度，已经成为一个企 业、地区或国家的电子制造能力的标志。 贴片机实际上是一种精密的工业机器人，是机电光以及计算机控制技术的综 合体。从根本上说，贴片机由软硬件两部分组成：硬件部分由机械机构( 包括机 械主体、传动与驱动机构、气动真空系统以及其他机械机构) 、光学系统( 包括视 觉系统、光源及控制等) 和电子电路与计算机( 包括传感器电路、图像处理、各 种电子控制电路及工业计算机系统) 等3 个主要部分；软件部分由操作系统软件、 机器控制软件及系统管理软件3 个部分【6 】。按照贴片机各部分的功能，总体上整个 系统可以分成3 大块：机械系统、控制系统和视觉系统，如图1 2 所示。 图1 2 贴片机功能组成 2 绪论 情 的 1 2 机器视觉简介 贴装速度和精度是衡量贴片机性能的关键参数。在贴片机的工作过程中，为 了能够实现高精度高速度的贴装，就必须利用机器视觉技术对p c b 板以及片状元 件的特征和位置进行检测。因此机器视觉系统是贴片机中的关键部分，它直接决 定了贴片机的速度和精度。 1 2 1 机器视觉概述 视觉是人类感知外部世界的重要手段，据统计，人类从外部世界获得的信息 约有8 0 来自视觉系统1 7 ，这不仅表明视觉信息量巨大，也表明了人类对视觉信息 有较高的利用率。机器视觉是研究用计算机来模拟生物外显或宏观视觉功能的科 学和技术，用图像来创建和恢复现实世界模型，最终用于实际检测、测量和控制。 机器视觉是工程领域和科学领域中的一个富有挑战性的重要研究领域，它是一门 综合性的学科，涉及人工智能、神经生物学、心理物理学、计算机科学、图像处 理及模式识别等多个领域的交叉学科【8 】。 机器视觉是使用电子设备和光学感知技术，自动获取和解释场景的图像，以 控制机器的过程，在很多情况下也看作计算机视觉的同义词。但计算机视觉更侧 重对场景分析和对图像解释的理论和算法，而机器视觉则更关注图像的获取、系 统的构造和算法的实现f 9 1 。机器视觉不仅研究解决某一个特定任务的相应视觉处理 算法，还要研究为完成这一任务的视觉系统的组成和实现。 第一章绪论 贴片机吸片状态视觉检测与纠偏系统的研制 1 2 2 机器视觉的应用 在国外，机器视觉的应用主要体现在半导体及电子行业，其中大概4 0 5 0 都集中在半导体行业。如p c b 印刷电路、s m t 表面贴装、电子生产加工设备等。 机器视觉系统还在质量检测的各个方面得到了广泛的应用，并且其产品在应用中 占据着举足轻重的地位。 而在中国，机器视觉的应用始于2 0 世纪9 0 年代，因为行业本身就属于新兴 的领域，再加之机器视觉产品技术的普及不够，导致以上各行业的应用几乎空白。 n - 十一世纪，大批海外从事视觉行业的技术人员回国创业，视觉技术开始在自 动化行业成熟应用，其主要应用于制药、印刷、矿泉水瓶盖检测等领域。这些应 用大多集中在如药品检测分装、印刷色彩检测等，真正高端的应用还很少，因此， 以上相关行业的应用空间还比较大。当然，其他领域如指纹检测等等领域也有着 很好的发展空间【1 0 】。 1 3 课题来源与研究意义 1 3 1 本课题的来源 本课题来源于苏州大学机电工程学院s m t 实验室所承接的江苏省苏州市科 技计划项目电子制造设备s m t 贴片机控制系统核心技术研发。s m t 实验室 是中央与地方共建实验室，拥有一条总价值7 0 0 万人民币的s m t 生产线，包括 印丝机、点胶机、贴片机、回流焊和清洗及各个工序检测设备等，是苏州大学和 旭电( 苏州) 科技有限公司的技术人才培养基地和苏州大学s m t 科研项目的实 验基地。苏州大学机电工程学院自2 0 0 2 年起，连续为本科生举办了数期s m t 表面贴装技术培训班，白2 0 0 7 年起为本科生开设了s m t 工艺与设备课程， 培养了一批s m t 技术人才。 q u a dq s p - 2 型贴片机为上世纪9 0 年代的产品，其软硬件系统均不同程度的 落后于目前的主流机型。在苏卅i 大学机电工程学院自动化系张茂青教授的悉心指 导下，本课题组人员在已毕业的两届师兄对报废的q u a dq s p 2 型贴片机进行软 硬件更新升级，实现基本控制系统的基础上，通过参考大量文献资料并进行大量 的相关实验，对贴片机的运动控制系统和视觉检测系统进行改造设计工作，使其 在完备性、速度和精度等方面都有了一定程度的提高。这对于推动我国s m t 贴 片机技术和i t 技术的发展具有一定的现实意义和应用前景。 4 贴片机吸片状态视觉检测与纠偏系统的研制第一章绪论 1 3 2 本课题的研究意义 随着电子工业的发展，电子元件变得越来越精密和多样化，贴片机作为电子 产业的关键设备之一，自从2 0 世纪8 0 年代前后问世以来，一直在不断的改迸发 展，迄今已经有数十家著名厂商生产一百种以上的贴片机。随着电子元件日益微 小型化及电子器件多引脚和细间距及贴装位置越来越紧密，客观上对贴片设备提 出了更高的要求，对组装效率的要求也越来越高。作为电子组装主要设备的贴片 机，必然要随着电子工业发展的趋势变得越来越精密和高速度。 贴片机是电子时代提高电子制造效率的最重要的工具。但是目前国内对电子 元器件自动贴装的关键技术研究尚处在起步阶段，所以在速度和精度方面与国外 先进水平相比有明显差距。贴片机之间的差距主要表现在速度和精度上，而精度 上的差距主要体现在元器件放置的位置和角度上，所以，对贴片机的吸片状态进 行精密视觉对中调校是十分必要的。过去，对于贴片机的吸片状态的视觉检测主 要是通过机械对中来实现，后来发展到激光对中，现在贴片机的吸片状态视觉检 测的主流对中方式是机器视觉。 机器视觉的研究目标是根据感测到的图像对实际物体和场景做出有意义的 判断【l l 】。机器视觉技术在贴片机中的应用已经成为高性能贴片机的标志之一。机 器视觉检测系统是高性能贴片机系统不可缺少的核心组成部分。目前，我国贴片 机的科研水平同发达国家相比还有着很大的差距，贴片机的关键技术均被国外垄 断，国内制造业对于贴片机的需求量很大，只能购买上百万的国外成品整机，处 于十分被动的地位【1 2 1 。因此，我国对高精度高速度贴片机的研究工作已经到了刻 不容缓的时候，而视觉检测对于高精度高速度的贴片机来说是必不可少的，因此 基于机器视觉的贴片机吸片状态视觉检测与纠偏系统的研究，是一个很有意义的 研究课题，这对我国打破国外垄断，生产出拥有自主知识产权的尖端技术的高性 能贴片机起到了一定的推动作用。 1 4 本课题的主要工作及内容安排 本课题的研究是以苏州大学机电工程学院s m t 实验室报废的q u a dq s p 2 型贴片机为应用对象，在前两届师兄工作的基础上，本课题组人员通过大量的研 究与试验，自主设计并实现了基于机器视觉的贴片机吸片状态视觉检测与纠偏系 统的研制。具体工作安排如下t 第一章介绍了s m t 贴片机系统的结构和特点，机器视觉的概念、应用领域 5 第一章绪论 贴片机吸片状态视觉检测与纠偏系统的研制 和研究意义，本课题的来源以及本课题的主要工作和内容安排。 第二章对机器视觉系统进行了介绍，阐述了q u a dq s p 2 型贴片机运动控制 系统和视觉检测系统的结构与功能，对片状元件图像的获取以及对获取的图像需 要的预处理进行分析，包括图像的灰度变换、图像的平滑、图像的锐化以及图像 的分割等，选择出最适合本课题的图像处理方法。 第三章对经过预处理得到的清晰可用的元件图像进行分析，利用边界跟踪、 形心法以及最d * - - 乘法等原理设计算法精确地找出片状元件引脚的质心、元件初 始位置的偏转角度，进而找到并求出片状元件中心与吸嘴中心的偏移数据。 第四章对贴片机的检测对中系统进行了总体设计，使其成为一个完整的机 器视觉系统，实现了对片状元件偏转角度的纠正和中心偏移吸嘴中心的位置补偿， 使元件能够准确地贴装到p c b 板上指定的焊盘位置。 第五章对整篇论文的工作进行了总结，找出不完善的地方，提出了一些改进 的想法，为今后的进一步研究指明方向。 6 制第二豪贴片机的视觉检测系统及视觉处理 的视觉检测系统及视觉处理 2 1 1 机器视觉系统简介 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对 客观的三维世界的识别。由于机器视觉系统可以快速获取大量信息，而且易于自 动处理，也易于同设计信息以及加工控制信息集成，因此在现代自动化生产过程 中，人们将机器视觉系统广泛地用于电子与半导体、制药、医学、工业包装和印 刷、机械制造等行业【1 3 1 4 1 。 一般来说，机器视觉系统包括了照明系统、镜头、摄像系统和图像处理系统。 从功能上来看，典型的机器视觉系统可以分为：图像采集部分、图像处理部分和 运动控制部分。一个完整的机器视觉系统的主要工作过程如下： l 、工件定位检测器探测到物体已经运动至接近摄像系统的视野中心，向图像 采集部分发送触发脉冲； 2 、图像采集部分按照事先设定的程序和延时，分别向摄像机和照明系统发出 启动脉冲； 3 、摄像机停止目前的扫描，重新开始新的一帧扫描，或者摄像机在启动脉冲 来到之前处于等待状态，启动脉冲到来后启动一帧扫描； 4 、摄像机开始新的一帧扫描之前打开曝光机构，曝光时间可以事先设定； 5 、另一个启动脉冲打开灯光照明，灯光的开启时间应该与摄像机的曝光时间 匹配； 6 、摄像机曝光后，正式开始一帧图像的扫描和输出； 7 、图像采集部分接收模拟视频信号通过a d 将其数字化，或者是直接接收 摄像机数字化后的数字视频数据； 8 、图像采集部分将数字图像存放在处理器或计算机的内存中； 9 、处理器对图像进行处理、分析、识别，获得测量结果或逻辑控制值； 1 0 、处理结果控制流水线的动作、进行定位、纠正运动的误差等。 从上述的工作流程可以看出，机器视觉是一种比较复杂的系统。因为大多数 系统监控对象都是运动物体，系统与运动物体的匹配和协调动作尤为重要，所以 7 第二二章贴片机的视觉检测系统及视觉处理 给系统各部分的动作时间和处理速度带来 2 1 2 机器视觉系统的优点 机器视觉系统的应用领域越来越广泛 由于其尺寸越来越小，且线路越来越复杂， 机器视觉系统的主要优点有： 1 、非接触测量，对于观测者与被观测 的可靠性； 2 、具有较宽的光谱响应范围，例如使 的视觉范围； 3 、长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉则可 以长时间地作测量、分析和识别任务。 机器视觉系统强调实用性，在大量产品的检验中，机器视觉检验系统比人具 有明显的优越性，因为人容易疲劳、疏忽、不稳定，而机器视觉系统具有稳定、 可靠且速度快的优点，因而可以显著地提高生产率。 2 2 贴片机的视觉系统 在贴片机工作过程中，为达到高品质、低缺陷的生产输出，视觉检测是必要 的。一般而言，视觉检测要求通过由摄像机、光源和图像采集卡组成的图像采集 模块来获取元件图像，然后传送到图像处理系统，对所获得的元件图像进行处理 分析，利用图像算法计算出图像的特征信息和位置信息，再把这些信息和原先存 放在贴片机数据库中的信息进行比较，从而对元件进行判定，输出比较后的偏差 为伺服系统的补偿调节提供依据。 2 2 1 贴片机的运动控制系统 贴片机的运动控制系统是贴片机的核心部分，本课题研究的应用对象为美国 旭电公司生产的q u a dq s p 2 型贴片机运动控制系统，其工作流程如图2 1 所示。 当一块新的待贴装p c b 板通过送板机构传送到指定位置固定起来，安装在贴片头 上的基准摄像机在相应的区域通过图像识别算法搜寻出m a r k 点，对p c b 板进 行定位同时将相应的元件应贴装的位置数据送给主控计算机。贴片头移动到指定 供料器位置上拾取目标贴装元件，再通过视觉检测系统对贴装元件进行检测和对 中，然后移动到p c b 板上指定焊盘位置，通过x 、y 和t 轴伺服系统的位置补偿 来准确贴装元件，完成一个元件的贴装过程后贴片头又移动到供料器拾取下一个 贴片机吸片状态视觉检测与纠偏系统的研制第。章贴片机的视觉检测系统及视觉处理 元件，再进行识别贴装操作，如此循环直到当前p c b 板的贴装任务完成。整个流 程完全由计算机自动控制，操作简单，但对运动控制部分的速度、精度等都提出 了很高的要求【15 1 。 ( 开始) 送新的待贴装p c b 板并固定 j 基准摄像机搜寻m a r k 点 上 p c b 板定位 l j r 吸取元件 上 检测对中摄像机识别元件 上 贴片头各轴运动 调整元件位置 j 将元件贴装至i j p c b 板上 叁n 絮竺梦 y 上 。 ( 结束) 图2 1 贴片机的运动控制系统 2 2 2 贴片机的视觉检测系统 一般贴片机视觉系统由3 台相互独立的c c d 成像单元及光源、图像采集卡、 图像处理专用计算机和主控计算机等单元组成，如图2 2 所示。其中一台c c d 用 于基准点的照相识别，另外两台c c d 分辨率不同，为了适应不同元器件，提高 视觉系统的精度和速度，把检测对中摄像机设计成针对小型片状元件的小视野高 分辨力的摄像机c c d 2 和针对大型i c 的大视野低分辨力的摄像机c c d 3 。当吸嘴 9 第二章贴片机的视觉检测系统及视觉处理贴片机吸片状态视觉检测与纠偏系统的研制 中心到达检测对中摄像机的视野中心位置时发出触发信号拍摄图像，在触发的同 时对应光源闪亮一次。 i触蹙信号 一 触发信号 j- q 触发信号 上山 上上上上 i c c d l fi 光源lli c c d 2 ii 光源2 i c c d 3 li 光源3 ii ii ii ， 上 、， 上 ， 上 图像采集卡 i 图像处理专用计算机 l f 主控计算机系统 图2 2 一般贴片机视觉系统 高性能的贴片机普遍采用视觉对中系统。视觉对中系统是以现代光学系统为 基础，运用数字图像处理、计算机通信和机器视觉系统为一体的现代视觉系统的 综合运用。视觉对中系统可以检查元器件引脚以及测量引脚宽度、间距和数量等 箜 1 6 1 、j o q u a dq s p 一2 型贴片机的视觉系统如图2 3 所示。 m a r k g 夏- p c b 一 一i 一_ 一- 一 检测对中 摄像机 元件贴装 位置 图2 3q s p - 2 型贴片机视觉系统 由图可知，q s p - 2 型贴片机的机器视觉部分由两组c c d 摄像头组成： l 、安装在贴片头上并随着贴片头作x y 方向移动的基准( m a r k ) 摄像机， 它完成对待贴装的p c b 板上的m a r k 点进行匹配，校准贴装原点，以及判断是 1 0 下视摄像头( c ) 上视摄像头 图2 4 两组摄像头 q u a dq s p 2 型贴片机视觉检测系统主要运用了数字图像处理技术。当贴片头 上的吸嘴吸取元件后，在移到贴片位置的过程中，由固定在贴片头上的摄像机或 固定在贴片机机身某个位置上的摄像机获取图像，并且通过影像探测元件的光密 度分布，这些光密度以数字形式在经过摄像机上许多细小精密的光敏元件组成的 c c d 光耦阵列，输出0 2 5 5 级的灰度值。灰度值与光密度成正比，灰度值越大， 则数字化图像越清晰。数字化信息经存储、编码、放大、整理和分析，将结果反 馈到控制单元，并把处理结果输出到伺服系统中去调整补偿元件吸取的位置偏差， 最后完成贴片操作。 2 2 2 1 对p c b 板的检测 p c b 通过传送装置被传输到固定位置并被夹板机构固定，贴片头移动到p c b 板的m a r k 点上方，基准摄像机对p c b 上的m a r k 点拍照。这时候存在4 个坐 标系：基板坐标系( k ，) 、基准相机坐标系( l ，圪) 、图像坐标系( 五，巧) 和机 第二章贴片机的视觉检测系统及视觉处理贴片机吸片状态视觉检测与纠偏系统的 器坐标系( 厶，匕) 。对m a r k 点拍照完成后，机器将基板坐标系通过与相机和 像坐标系的关联转换到机器坐标系中，这样目标贴装位置确定。两个坐标的差 就是需要的位置偏差补偿值。然后根据统一坐标系确定的目标贴装位置，机器 制单元和伺服系统就可以控制机器进行精确贴装t t l 7 1 。 袁2 1m a r k 点图形与尺寸 形状 d l d 2 。， m i n = 0 4 m m m a x = - 6 10 m m d i s c 刚群 m i n = 1 0 2 r a mm i n = 0 5 0 8 m m m a x = 6 3 5 r a mm a x = 5 。8 4 r a m 常见的m a r k 点图形与尺寸见表2 1 。用来进行m a r k 点识别的方法根据 m a r k 点的形状而彼此独立。最小的m a r k 点尺寸由向量点的尺寸决定，向量 点可以计算到m a r k 点边缘。不论什么形状的m a r k 点，其东南西北方向的边 缘由6 个向量点检测。 具体处理过程如下： l 、边缘作为m a r k 点和背景区域之间的对比点而被检测； 2 、对比点区域被缩小，与c c d 阵列上像素位置有关。例如，一个活跃的像 素，就是能被一个对比变化而激励的像素，因为m a r k 点边缘是对比度点，能精 确地把边缘向量点与c c d 上的像素相关联； 3 、被激励的像素质心用来计算下一级像素的精度； 4 、根据与m a r k 点表数据库里定义的模型对比，计算x 、y 和角度。 2 2 2 2 对片状元件的检测 在贴片机工作过程中，吸嘴吸取片状元件后，在贴装前需要确定三个问题： 1 、片状元件是否符合贴装要求。供应商提供的元件并不能保证完全符合贴装 要求，同时元件在运输、装载、存储及吸取过程中都有可能造成意外损伤，因此 在自动化程度高的贴片机中，要利用贴片机的视觉检测系统对元件“贴装性能一 是否合格进行检测； 2 、片状元件是否存在角度偏转。元吸嘴在吸取元件时由于元件在包装中的位 置及贴片头的位置均可能存在误差，可能使得吸嘴吸取的元件位置与p c b 板上的 焊盘位置存在角度上的偏差，如图2 5 所示。一般情况下，可能只是很小角度的 1 2 贴片机吸片状态视觉检测与纠偏系统的研制第二章贴片机的视觉检测系统及视觉处理 偏差，但也必须进行角度检测，且通过t 轴电机的旋转对偏转角度进行纠正，以 保证元件贴装到准确的位置； 片 ( a ) 无角度偏转 坚户瀛 ：- l j 式 y 。 i 定元件 1一t 百， l 二j i ( b ) 顺时针偏转口角度( c ) 逆时针偏转矽角度 图2 5 片状元件角度偏转情况 2 、片状元件的中心与贴片头的中心即吸嘴的中心是否保持一致。同上述所说 类似，元件与贴片头( 即吸嘴) 位置存在误差，并不能完全保证吸嘴吸在元件中 心，如图2 6 所示。因此在贴装过程中必须利用x 和y 轴伺服电机对元件中心的 偏差量进行补偿，才能保证贴装时元件不会产生位置偏移。 y 。 l 片状元件 。 r x0 、 吸嘴中心 位置 ( a ) 标准位置 1 3 c o ) x 方向偏移 第二章贴片机的视觉检测系统及视觉处理 贴片机吸片状态视觉检测与纠偏系统的研制 ( c ) y 方向偏移( d ) 工和y 方向均偏移 图2 6 片状元件中心偏移的情况 本论文的主要工作就是对q s p - 2 型贴片机吸片状态视觉检测与纠偏系统进行 研究，并将检测结果的数据传递给相应的伺服控制系统，在贴装过程中对片状元 件的位置进行补偿。对p c b 板的检测由本课题组另外一位同学来设计完成。考虑 到元件引脚缺失等意外损伤发生的可能性微乎其微，以及笔者的个人能力和时间 的限制，本论文假设吸嘴所吸取到的片状元件均是符合要求的，没有设计对元件 是否符合要求的检测。 对吸片状态进行检测，主要是对得到的片状元件图像进行边缘提取，进而通 过对元件的图像进行分析，判断元件是否产生了角度偏转以及元件中心是否存在 偏移等。其首要任务就是快速、精确提取芯片引脚边缘轮廓，提取精度直接影响 后续的检测精度1 引。 一般来说，在贴片机视觉检测系统中，c c d 传感器、视觉镜头和线形光源、 图像采集卡等完成对图像的获取，自主开发的视觉检测模块完成图像的处理、分 析和计算。 2 3 图像的获取 根据图像记录方式的不同，图像可分为两大类：一类是模拟图像( a n a l o g i m a g e ) ，另一类是数字图像( d i g i t a li m a g e ) 。模拟图像是通过某种物理量( 光、 电等) 的强弱变化来记录图像上各点的亮度信息的，而数字图像则完全是用数字 ( 计算机存储的数据) 来记录图像亮度信息的【1 9 1 。 灰度图像是数字图像最基本的形式，灰度图像可以由黑白照片数字化得到， 它只表达图像的亮度信息而没有颜色信息。灰度图像在计算机中都是以一个二维 矩阵的形式来表示和存储，如图2 7 所示【2 0 】。二维数组的行和列分别对应图像的 1 4 r。_-。_。_。_。_。_1。_。_-。_。-。_。_。-。1 贴片机吸片状态视觉检测与纠偏系统的研制第二章贴片机的视觉检测系统及视觉处理 高和宽( 单位为像素) ，二维数组的元素对应图像的像素，二维数组元素的值就是 像素的灰度值【2 l 】。 n 列 m 行 f ( 0 ，1 ) f ( 0 ，n - i ) ( 1 ，1 ) f ( 1 ，n - 1 ) ； ( m 一1 ，1 ) - 厂( m l ，n - 1 ) 数字图像( m x n ) 图像矩阵( m x n ) 图2 7 数字图像与数字矩阵 在本课题的研究中，所采用的是s o n y 公司的x c 7 5 c e 型号c c d 黑白摄像 机、l e d 线性光源和北京大恒图像公司的d h c g 3 0 0 型号的图像采集卡来获取图 像，采集到的图像均为8 位的2 5 6 色灰度数字图像，以d i b 位图格式存放，后缀名 为“b m p 。 d i b 是设备无关位图的缩写，它自带颜色信息，因此调色板管理非常容易。 d i b 是标准的w i n d o w s 位图格式，b m p 文件中包含了一个d i b 。b m p 文件是一 种将内存或显示器的图像数据不经过压缩而直接按位存盘的格式，所以称为位图 文件。一个b m p 文件通常包含位图头文件结构( b 1 1 m a p f i l e h e a d e r ) 、位图 信息头结构( b i t m a p i n f o h e a d e r ) 、调色板( p a l e t t e ) 和位图数据( d i bp i x e l s ) 4 个部分瞄】。一般来说，b m p 文件的数据是从图像的左下角开始逐行扫描的，即 从下到上，从左到右，将图像的像素值一一记录下来，因此图像的坐标零点在图 像的左下角。 图像采集指从客观场景获取图像的技术和过程。由图2 7 可知，图像可用函 数f ( x ，y ) 来表示，图像的采集涉及到两方面的技术内容】： 1 、几何学，从图像中的什么地方可以找到场景中目标的投影位置( x ，y ) ； 2 、辐射度学，图像中的目标有多“亮 ，这确定了在 ，y ) 处的二 图2 8 是常见的c c d ( 也可用c m o s ) 摄像机进行灰度图采集的流程，光源 照射到物体上反射到摄像机中；摄像机的c c d 阵列中感光单元的个数和分布确 定了所采集图像的空间分辨率；感光单元接收到的光被转换为电信号，将电信号 聊 伽 m ；卜 ， - v 第二章贴片机的视觉检测系统及视觉处理贴片机吸片状态视觉检测与纠偏系统的研制 的幅度量化，量化的级数确定了采集到的图像的幅度分辨率。 空间分辨率 幅度分辨率 图2 8 灰度图像采集流程 图像采集模块的功能是将c c d ( c m o s ) 摄像机所拍摄的图像信号转换成图 像数据，并保存到本地磁盘的指定位置，可作为图像采集模块的处理数据和复检 时的备份。利用图像采集卡的各种控制函数，可以实现图像采集卡的打开、参数 设置、采集实时图像和关闭等功能。有关图像采集卡模块的软硬件实现将在第四 章进行详细的阐述。 2 4 图像预处理 图像预处理是指对处于最低抽象层次的图像上所进行的操作，这时处理的输 入和输出都是亮度图像，这些图像是与c c d 传感器获取到的原始数据同类的， 通常是用图像函数值的矩阵表示的亮度图像【2 4 1 。图像预处理的目的是改善图像数 据，抑制不必要的变形或者增强某些对于后续处理重要的图像特征。由于s m t 生产现场的非洁净因素造成c c d 镜头上的尘埃等，易给图像带来较大的外界噪 声。另外，图像的采集过程中也不可避免地引入了来自光路扰动、系统电路失真 等噪声。因此，对图像进行预处理以消除这些噪声的影响是非常必要的。 2 4 1 图像的灰度变换 图像增强是图像预处理中一个非常重要的内容，在图像获取、传输或变换的 过程中，由于多种因素的影响，造成图像质量下降、图像模糊和特征淹没等，给 图像分析和识别带来困难。因此，按特定的需要将图像中感兴趣的特征有选择的 突出，衰减不需要的特征，提高图像的可利用度是图像增强的主要内容。图像增 强的主要目的有两个：一是改善图像的视觉效果，提高图像的清晰度；二是将图 像转换成一种更适合于人类或机器进行分析处理的形式，以便从图像中获取更多 有用的信息。 图像增强方法大致可分为两类：一类是空域处理法，另一类是频域处理法。 空域法是直接对图像的像素进行处理，基本上是以灰度映射变换为基础的，所用 的映射变换取决于图像的特点和增强的目的；频域法是在图像的某种变化域内， 对变换后的系数进行运算，然后再反变换到原来的空间域得到增强的图像【2 5 1 。 1 6 贴片机吸片状态视觉检测与纠偏系统的研制第二章贴片机的视觉检测系统及视觉处理 图像的灰度变换是图像增强处理技术中一种非常基础、直接的空间域图像处 理方法。通过灰度变换可以使图像动态范围加大，图像对比度扩展，图像变得清 晰，有利于后续的图像处理工作的进行。 灰度变换不依赖于像素在图像中的位置。假设输入的原灰度图图像像素的灰 度值为d = 厂( 蔓，力， ，力为图像坐标，处理后图像像素的灰度值为d = g ( x ，y ) ， 则灰度变换函数可以表示为： g 瓴y ) = t f ( x ，j ，) i 或d = t ld i ( 2 1 ) 要求d 和d 都在图像的灰度范围之内。灰度变换函数描述了输入灰度值与输 出灰度值之间的转换关系。一旦灰度变换函数确定，则图像中每一点的运算就被 完全确定下来。灰度变换主要针对独立的像素点进行处理，由输入图像像素点的 灰度值来决定相应的输出图像像素点的灰度值，通过改变原始图像数据所占据的 灰度范围而使图像在视觉上得到改观，由于灰度变换没有利用像素点之间的相互 空间关系，因而这种处理方法也叫做点运算法【2 6 】。 灰度变换法可以分为线性变换和非线性变换。灰度的线性变换就是将图像中 所有点的灰度按照线性灰度变换函数进行变换，用一个线性单值函数，对图像内 的每一个像素做线性扩展，可以有效地改善图像的视觉效果。用某些非线性函数 对图像灰度进行映射时可实现图像灰度的非线性变换，常用的有对数函数和指数 函数【2 刀。 叁 蔷 图2 9 常见的灰度变换 图2 9 给出了最常见的灰度变换，直线a 代表负值变换，分段线性函数b 增 强了图像在亮度a 和仍之间的图像对比度，曲线c 被称作亮度阂值化，其结果是 黑白图像【2 0 】。由图像采集模块采集到的片状元件图像j 在曝光不足或过度的情况 下，图像灰度可能会局限在一个很小的范围内，这时在显示器上看到的将是一个 1 7 第二章贴片机的视觉检测系统及视觉处理贴片机吸片状态视觉检测1 - - j n 偏系统的研制 模糊不清、似乎没有灰度层次的图像。为了得到较清晰的元件图像，笔者对由图 像采集模块获取到的原始片状元件灰度图像进行了灰度线性变换来增强原图像的 对比度。 ( a ) 原始灰度图 c o ) 灰度线性变换后的灰度图 图2 1 0 灰度线性变换前后的灰度图比较 图2 1 0 为进行灰度线性变换前后元件灰度图的比较，从图中可以看出，原始 图像中含有噪声，元件的引脚轮廓比较模糊，经过图像的灰度线性变换后，图像 的背景与元件引脚的对比度增强了，元件的引脚轮廓变得更加清晰。 2 4 2 图像的平滑 图像的平滑是一种实用的图像预处理技术，它利用了图像数据的冗余性。图 像平滑的主要目的是消除图像采集过程中所产生的图像噪声，在空间域中主要利 用邻域平均法、加权平均法、中值滤波和选择式掩模平滑法等方法来减少噪声； 在频率域内，由于噪声主要存在于频谱的高频段，因此可以利用各种形式的低通 滤波器来减少噪声【2 s 】。 笔者主要利用的是空间域图像平滑方法来减少图像的噪声，通过不断地对算 法以及程序进行修改，对实验结果进行比较，得出如下结论：邻域平均法虽然能 够消除部分噪声干扰，但对图像的模糊效应非常明显；加权平均法通过改变距离 掩模中心像素的权值，能够相对减少其他像素对图像平滑的影响，从而降低图像 的模糊效应；中值滤波对于椒盐噪声或脉冲式干扰具有很强的滤除作用，但它同 样会带来图像模糊，对于细节