（机械电子工程专业论文）面向微流控芯片基于视觉的自动微装配研究　.pdf

独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 人连理工人学硕上学位论文 摘要 微流控芯片是一种全新的微全分析系统，它能够用于化学药品检测，并具有低耗、高 效、快速等特点。目前较为常用的有紫外吸收、激光诱导荧光以及电化学法，紫外吸收检 测是技术上较为成熟、价格相对较低的检测方法。然而制作芯片的聚合物材料p m m a 只 能有限地透过紫外线，这样就无法对样品做出精确的检测。解决这个问题的方法是在微流 控芯片微通道的末端接上石英毛细管，样品的检测在毛细管上进行。微型功能器件以及接 口器件在微流控芯片上的应用，加快了微流控芯片实现产业化、商品化的进程。自动微装 配系统是实现微型功能器件、接口器件与微流控芯片装配的关键设备。 本课题是要把毛细管自动地装配到微流控芯片末端，实现毛细管与微通道的准确对 接。搭建的微装配系统包括三维工作台、微夹持器、视觉装置( 显微镜、图像采集卡、 c c d 摄像机) 、用于粘接的自动点胶系统和紫外固化灯。结合开发的微装配系统，采用 v i s u a lc + + 编制出用于自动微装配作业的软件。视觉伺服的微装配方法实现了毛细管与微流 控芯片相对位置的检测与识别，从而控制工作台精确定位。本文综述了微装配技术国内外 现状及存在的问题和难点，对图像处理、检测与识别、深度信息提取的几种算法进行了比 较，确定了适合的视觉处理算法。通过对微装配系统和视觉系统的标定，得到图像坐标系 和世界坐标系的关系。对图像采集卡采集到的图像经过预处理、二值化、边缘检测得到待 识别物体的边缘图像，从而确定毛细管与微孔所选关键点的位置坐标。竖直方向本文采用 了自动调焦和立体视觉两种方法来实现深度方向信息的提取，并对两种方法的优缺点作了 阐述。针对毛细管与微流控芯片装配问题作了实验研究，实验验证此自动微装配系统能够 成功完成毛细管与微流控芯片的装配任务。 关键词：微装配；视觉；微流控芯片；毛细管；联接 王袖钧：面向微流控芯片基于视觉的t h 动微装配研究 r e s e a r c ho nv i s i o n - b a s e da u t o m a t i cm i c r o a s s e m b l y o r i e n t e dt om i c r o f l u i d i cc h i p a b s t r a c t p l a s t i cm i c r o f l u i d i cc h i pi san o v e lk i n do fm i c r ot o t a la n a l y s i ss y s t e m i tc a nb eu s e di n c h e m i c a la n a l y s i sw i t hr e s p e c tt os m a l la m o n n t so fs a m p l e s ，h i g ha n a l y s i ss p e e da n dg o o d s e n s i t i v i t y i tc a ne m p l o ym a n yp o p u l a rd e t e c t i o nm e t h o d si n c l u d i n gu va b s o r p t i o n ，l a s e ri n d u c e d f l u o r e s c e n c ea n de l e c t r o c h e m i s t r yd e t e c t i o n a m o n gt h e mu va b s o r p t i o nd e t e c t i o ni st h em o s t p o p u l a ro n ew i t hl o wc o s t h o w e v e rd e t e c t i o np r e c i s i o nw i l lb ed e s t r o y e dw h e nu vr a d i a t i o ni s a b s o r b e db yp o l y m e rp m m am a t e r i a lo fm i c r o f l u i d i cc h i p t os o l v et h i sp r o b l e mo n em e t h o di st o j o i naq u a r t zc a p i l l a r yt ot h ee n do ft h em i c r o c h a n n e lo fp l a s t i cc h i p i nt h i sw a yd e t e c t i o nc a nb e c a r r i e do u to nt h eq u a r t zc a p i l l a r ya n dd e t e c t i o np r e c i s i o ni s a s s u r i n g m i n i a t u r ef u n c t i o nd e v i c e a n di n t e r f a c ed e v i c ea r ea p p l i e dt om i c r o f l u i d i cc h i p ，w h i c hh a sa c c e l e r a t e dt h ei n d u s t r i a l i z a t i o n a n dc o m m e r c i a l i z a t i o np r o c e s so fm i c r o f l u i d i cc h i p a u t o m a t i cm i c r o a s s e m b l ys y s t e mi st h ek e y e q u i p m e n tt or e a l i z et h ea s s e m b l yo fm i n i a t u r ef u n c t i o nd e v i c ea n di n t e r f a c ed e v i c e t h ed i s s e r t a t i o na i m st or e a l i z ee x a c tb u t tj o i n tb e t w e e nc a p i l l a r ya n dm i c r o c h a n n e lb y a s s e m b l i n gt h ec a p i l l a r yt ot h ee n do fm i c m f l u i d i cc h i p s y s t e mb u i l tc o n s i s t so ft h r e ed e g r e e - o f - f r e e d o ms t a g e s ，m i c r o g r i p p e r ，v i s u a ld e v i c e ( m i c r o s e o p e ，f r a m eg r a b b e r ，a n dc c dc a m e r a ) ， a u t o m a t i ca d h e s i v ed i s p e n s e ra n du v c u r i n gl a m pf o rm i c r o j o i n i n gw i t ha d h e s i v e s s o f t w a r ew a s d e s i g n e dw i t ht h et o o lo fv i s u a lc + + f o rt h i sm i c r o a s s e m b l yt a s ki nc o m b i n a t i o nw i t ht h e m i c r o a s s e m b l ys y s t e mw i t ht h ev i s u a lf e e d b a c kt h er e l a t i v ep o s i t i o n sb e t w e e nc a p i l l a r ya n d m i c r o h o l ec a nb ed e t e c t e d a c c o r d i n g l yt h ep o s i t i o n st h r e ed e g r e e - o f - f r e e d o ms t a g e sa r ec o n t r o l l e d p r o b l e m sa n dd i f f i c u l t i e sa r cs u m m a r i z e di nt h i sp a p e r s e v e r a la l g o r i t h m sa b o u ti m a g ep r o c e s s i n g ， d e t e c t i o n ，i d e n t i f i c a t i o na n dd e p t hr e c o v e rt e c h n i q u e sa r cc o m p a r e d a n ds u i t a b l ev i s u a lt r e a t m e n t m e t h o d sa r cd e c i d e d t h er e l a t i o n s h i pb e t w e e ni m a g ec o o r d i n a t es y s t e ma n dw o r l dc o o r d i n a t e s y s t e mi sc o n f i r m e db yt h ec a l i b r a t i o n so fm i c r o a s s e m b l ya n dv i s u a ls y s t e m s e d g ei m a g e so f i d e n t i f y i n go b j e c t sc a p t u r e db yf r a m eg r a b b e ra r cg o ta f t e ri m a g ep r e t r e a t m e n t ，b i n a r i z a t i o na n d e d g ed e t e c t i o n t h e nt h ek e yp o i n t sc o o r d i n a t e so fc a p i l l a r ya n dm i c r o h o l ea r ea s s u r e d t w o m e t h o d sa u t o m a t i cf o c u s i n ga n ds t e r e o v i s u a la r cu s e dh e r ef o rd e p t hr e c o v e r a n da d v a n t a g e s a n dd i s a d v a n t a g e sb e t w e e nt h e ma r ee x p a t i a t e d m o r e o v e rr e s e a r c he x p e r i m e n t sa b o u tt h e m i c r o a s s e m b l yo fc a p i l l a r ya n dm i c r o f l u i d i cc h i pw e r ed o n e ，w h i c hh a v ep r o v e dt h a tt h ea s s e m b l y a s s i g n m e n tc a nb ef i n i s h e ds u c c e s s f u l l y k e yw o r d s ：m i c r o a s s e m b l y ；v i s u a lf e e d b a c k ；m i c r o f l u i d i cc h i p ；c a p i l l a r y ；j o i n i n g 大连理工大学硕士学位论文 1 1 微流控芯片的基本概念及应用 微流控芯片是一种全新的微全分析系统，微型全分析系统( m i n i a t u r i z e dt o t a la n a l y s i s s y s t e m 即ut a s ) 或称芯片实验室( l a b o r a t o r y - o n a - c h i p ，简称l o c ) 是一跨学科的新领 域，其目的是通过分析化学、微机电加工( m e m s ) 、计算机、电子学、材料学及生物 学、医学的交叉实现化学分析系统从试样处理到检测的整体微型化、自动化、集成化与便 携化1 1 】。当前ut a s 可分为芯片式与非芯片式两大类，而目前无论从文献还是从商业开发 看，芯片式都是发展重点。在芯片式ut a s 中，依据芯片结构及工作机理又可分为微流控 芯片和微阵列( 生物) 芯片1 2 。 微流控芯片主要以分析化学和分析生物化学为基础，以微机电加工技术为依托，以微 管道网络为结构特征，是当前微全分析系统发展的重点。它把整个化验室的功能，包括采 样、稀释、加试剂、反应、分离、检测等集成在微芯片上，且可多次使用，具有广泛的适 用性。如图1 1 所示的两种塑料微流控芯片。 图1 1 塑料微流控芯片 f 培1 _ 1p l a s t i cm i c r o f l u i d i cc h i p 微流控芯片在分析仪器微型化、集成化和便携化方面的巨大潜力为其在生物学、高通 量药物合成筛选、农作物的优选优育、环境检测与保护、卫生检疫、司法鉴定、生物战剂 的侦检和天体生物学研究等众多领域应用提供了广阔的前景。 1 2 微装配系统技术的研究 微装配一般是指微尺度( 一般指1 - 1 0 0 pm ) 的零件和或具有微尺度公差零件中尺度 ( 一般指1 0 0 um 1 r a m ) 的装配。微装配技术与系统的主要研究内容包括：适用于具体装 乇袖钧：面向微流控芯片基于视觉的自动微装配研究 配任务的装配方法和策略研究、开发所需要的操作装置与技术、以及微器件的联接方法和 ：亡艺研究。 一个比较完备的微型微装配作业过程，应该完成以下几个工序： ( 1 1 待装配微器件的预处理； ( 2 ) 运输微器件； ( 3 ) 定位并夹持器件； ( 4 ) 组装微器件； ( 5 ) 检测已装配好的m e m s 装置。 微装配不同于宏观装配，有其自身的特殊之处【1 】： ( 1 ) 在几何尺寸方面，微装配的对象是尺寸在次毫米，甚至次微米级的器件，器件的 加工精度比较高，所以要求的微装配的精度也很高； ( 2 ) 微装配一般要在显微镜下进行，作业空间狭小； ( 3 ) 很多微器件是脆性材料制成的，不能承受过大的力； ( 4 ) 由于装配对象的微型化，重力在微观领域已经不是主导因素，静电力，范德华力 、摩擦力等与器件表面性质、状态有关的微力影响着微装配的过程。 1 2 1 微装配技术的发展现状 ( 1 ) 手工装配 经过特殊培训的操作技术工人可以手工装配一些精密的光学和电磁器件，如一些小型 光纤在i l l i n o i s 大学的微工艺应用实验室用手工装配实现。但随着零件的更加微型化，公差 变得越来越小，手工装配将受到很大的制约。 ( 2 ) 常规尺寸部分的自动化装配 机械手在操作杆控制下实现多自由度运动，但在装配工作中，其尺寸通常较大，仅适 用于特定的装配任务，装配精度依赖于手工灵活性。这就是目前多采用的装配系统。 ( 3 ) 微机器人的微装配与微操作 为实现微系统高精度与高速度的自动装配，人们已开始采用微机器人进行微操作或微 装配。这是目前微装配与微操作系统发展的方向吼 1 2 2 微装配技术的种类 微装配技术归纳起来有两类即直接微装配和自组装微装配【4 】。 直接微装配技术在近年来得到比较广泛的研究，融合机器人技术、视觉图像处理技术 以及精密机械与控制技术等，从早期的主从遥控方式进行作业的微操作系统得到自动微装 配系统，研制开发出一些微装配系统样机。 大连理工大学硕士学位论文 自组装微装配是指利用表面张力、静电力、磁力等的作用，使微型零件能够进行自动 定位而实现联接的装配方法岬l 。 1 2 3 微装配国内外研究现状 国内许多科研单位对微装配机器人系统进行了研究【阳j ：上海交大研制的毫米级全方位 的移动机器人微装配系统，如图1 _ 2 所示。微装配机器人体积小于i c m 3 ，可实现每步小于 o 8 。转向精度和每步步进7 0 um 的定位精度，微动平台能实现水平方向的平移，定位精 度为每步o 0 0 5 n n ，行程为0 - 0 3 n u n 。微机器人和微动平台相互结合实现了轴孔装配，将 o 6 m m 孔径的宝石轴承套在0 3 5 r m a 的轴上【。哈尔滨工业大学研制成检测、定位一体化的 微装配机器人，基于显微视觉柔顺混合控制的微装配机器人可完成轴直径为0 2 m m ，孔直 径为0 2 2 r a m 的轴孔自动装配【1 0 】，如图1 3 所示。北京航空航天大学开发了面向生物工程及 显微手术的微操作机器人系统，多次成功地进行了小鼠卵细胞的显微操作实验例。南开大 学的“面向生物工程的微操作机器人系统”，实现了对直径为1 2 - 1 3 um ，厚度小于5pm 的动物细胞的转基因注射i n 】。中国科技大学的“全光学生物微操作系统”，利用光镊、光 刀技术对细小生物细胞和活体进行捕获、移动、切割和细胞选择性融合等作业m 】。大连理 工大学的“m e m s 微操作系统”，实现了显微立体成像下的细胞转基因操作，提高了操作 效率和成功率，工作台行程5 0 m m ，控制精度达到0 3um i l 。 图1 2 上海交通大学c r a b 微机器人和微装配系统示意图 f i g1 2c r a bm i c r o r o b o ta n dm i c r o a s s e m b l ys y s t e mo fs j t u 3 干袖钧：面向微流控芯片基于视觉的自动微装配研究 图1 31 ) 面向微小零件装配的微装配系统2 ) 轴孔装配前后状态 f i g 1 31 ) m i c i o s e m m ys y s t e mo r i e n t e dt om i c r o p a r t s 2 ) f o r e - a n d - a f ta s s e m b l ys l a t e s o f a x i s a n d h o l e f a t i k o w 等人设计了两个柔性微操作机器人砌嗍m a n 和s p d e r l l 4 1 ，如图1 4 所示。每 个机器人包括一个压电驱动的基本平台和一个可以安装不同工具的操作臂，能实现抓、移 动、放等基本装配操作，在此基础上，他们开发了一个基于微机器人的微装配桌面工作 站，实现了微机器人、显微镜、定位平台、传感器等专用微装配设备的有机集成。y a n g 等 人报道了一个晶圆级3 d 微装配实验平台，能够把大量的细小金属物体装配到1 0 0 眦n 硅晶圆 上的微加工孔中1 1 5 】。美国纽约仁斯利尔理工学院自动化技术研究中心( c a t ) 研制的用于 光纤自动装配的微装配系统( 如图1 5 所示) ，其直线定位精度可达到0 0 2um ，旋转定位 精度可达至f j 3 弧秒【1 6 】。德国不伦瑞克技术大学机床与加工技术研究所在上世纪9 0 年代初开 始微装配技术的研究，并取得了不少研究成果，如用于微装配的并联机器人、各种微型手 爪、柔性关节以及其它各种微装配技术的开发应用等，研制出用于微装配的并联机器人 m i c a b o 和用于微装配的串并联机器人a c c o m a 一”】，如图1 6 所示。s p i ( s c i e n t i f i cp r e c i s i o n i n s t r u m e n t s ) 设计出一个商品化的装配机器人，机器人机座可在三维空间移动，运动被步进 电机和电致伸缩器件混合控制，手爪由两弹性手指组成，不动的手指固定在机器人上，活 动的手指被一紧凑的三轴系统控制，该系统也固定在机器人上，手爪不仅町以抓器件，而 且可以将器件进行锤转。装配时由顶部和侧部的摄像机进行监控，这两部摄像机被固定在 一个三轴定位系统上，该系统与机器人。起移动，这样可使手爪和器件总是在视场范围 内，更大的视场由另一台固定的低放大倍数摄像机获得。东京大学微装配微机电系统 ( m e m s ) 设计出一套微装配系统，该系统使用表面超洁联接技术( s a b ) 联接两器件。 4 大连理工大学硕士学位论文 1 ) m 】n n 4 a n2 ) s p i d e r 图1 4 德国卡尔斯鲁厄大学设计制造的微机器人 啦! 4m i c r o r o b o tm a d ei nu n i v e r s i t yk a r l s m h e 图1 - 5 光纤装配系统 f i g ，1 5a s s e m b l ys y s t e mo f o p t i cf i b e r 图1 6 用于礅装配的并联机器人样机m i c a b o 丰u 川t 傲装f ! i 已半开联机器人肌u w 峨j f i g 1 6p a r a l l e lp r o t o t y p er o b o tm i c a b oa n ds e r i e s - p a r a l l e lr o b o ta c c o m a t - 5 王袖钧：面向微流控芯片基于视觉的自动微装配研究 1 2 4 微装配系统的基本组成 微装配系统主要由三部分组成： f 1 ) 观测系统 观测系统是微装配系统的视觉系统，一般由立体显微镜、图像采集卡和c c d 摄像机 以及监测器组成，主要用来实现微器件图像的采集和操作过程中的实时监测，由显微镜成 像到c c d 摄像机的靶面，经光电转换后送入图像采集卡，将模拟信号转换成数字信号， 传送到微机进行数字信号处理，从而得到位姿信息。同时利用专用软件从位姿信息中提取 驱动系统所需的定位参数数据，控制工作台和微夹持器操作平台运动，以带动被装配器件 在三维装配空间相对移动或转动，从而完成最终装配任务。装配过程可以通过监测器实时 观察。 ( 2 ) 夹持系统 该系统的作用是完成微器件的微夹持和释放操作，实现多自由度的位姿调整以及驱 动。 设计和制造适合的微夹持器是微装配面临的一个挑战，根据划分标准的不同，微夹持 器有不同的分类方法。按驱动力类型微夹持器大致可分为：压电夹持、静电力夹持、电磁 力夹持、电热夹持、真空夹持、粘附材料夹持、形状记忆合金夹持。如表1 1 所示国内外 研制的微夹持器。 ( 3 ) 控制与驱动系统 控制与驱动系统是微装配系统的大脑，其作用是完成系统的动作控制，以实现微装配 的自动化。 驱动系统不仅要求有非常好的响应特性，而且还有工作空间和部件尺寸的限制。国内外 研究人员把许多基础效应和新型材料应用到微驱动和精确定位上，做了大量的工作。如压 电材料、静电材料、电磁材料以及形状记忆材料等。目前应用的最广泛的还是压电效应技 术，如c a r r o z z a 1 8 l 等的微夹持器由压电材料驱动，为产生足够的位移，采用了位移放大的 结构。k a l l i 0 0 9 1 等制作的微操作手采用了压电液压混合驱动技术。 现代微装配系统由于技术等因素的限制，大都采用宏观设备装配微观器件的模式。而 宏观设备很多都是采用滚珠丝杠传动的工作平台。这种传动方式决定了位置控制精度会受 到回程误差和非线性摩擦的影响。当被控制量趋近于稳态时，非线性摩擦导致系统突然产 生滑移，系统的位移、压力值相应产生突变，致使系统达不到理想的控制精度。随着光栅 尺等精密测量工具的使用，回程误差的影响已经得到了控制，但对于非线性摩擦的影响还 没有特别好的解决方法。为了克服非线性摩擦对设备控制的影响，人们一般采用利用力和 位移的摩擦力补偿 2 0 l 、使用高频振动信号的摩擦力补偿【2 1 1 、自适应反馈的摩擦力补偿t 2 2 1 大连理工大学硕士学位论文 及基于摩擦力补偿模型的前馈控制，脉冲控制【2 3 】等控制方法。其中，基于摩擦力补偿模 型的前馈控制和脉冲控制在实际位移控制中取得了良好控制效果。 表1i 国内外研制的微夹持器 t a b 1 1m i e r o g l i p p e rd e v e l o p e db o t hh e r ea n da b r o a d 7 王袖钧：面向微流控芯片基于视觉的自动微装配研究 1 3 微装配系统的显微视觉 业已取得的研究成果表明，视觉反馈控制技术对于摄像机系统、操作手、以及工作空 间不确定性的补偿很有效，尽管这些研究成果大都是集中在宏观领域。微装配的作业特点 决定了将计算机视觉反馈控制技术应用于微型装配是比较好的研究思路。这是因为： ( 1 ) 从仿生学的角度研究，人类触觉有一个极限值，对微牛级别的力基本感觉不到。 当微器件的尺寸小到一定程度，人在显微镜下进行装配作业时，用到的是视觉信息； ( 2 ) 微器件本身的尺寸微小、精度很高，再要设计加工出比之更高精度的进给、定位 装置非常困难；而在显微测量技术中，其实就是利用视觉( 光学) 定位； ( 3 ) 从微器件的制造工艺分析，无论是i c 加工工艺还是l i g a 、激光等，都有c a d 版 图，这些微器件的c a d 图形可以作为视觉反馈控制的图像参考信息； ( 4 ) 对于显微镜下的微装配作业，场景结构相对固定，操作对象是己知的，易于实现 快速的图像识别和理解： ( 5 ) 在微装配系统硬件驱动精度一定的情况下，研究视觉反馈技术的算法可以提高整 体操作精度： ( 回采用视觉反馈的硬件成本较低，易于实现微装配的批量化。 将视觉反馈控制引入微装配面临着许多技术上的挑战。首先，显微视觉系统的数学模 型要重新建立。由于显微镜的加入，摄像机需要安装在透镜组后面，成像机理变得复杂。 另外，由于整个操作过程必须在显微镜一摄像机组成的系统监控下进行，所以显微镜的视 场和焦距决定了工作场景的范围。所以在基于视觉反馈的微操作系统中，要建立显微镜自 动调焦系统，使操作场景始终处于计算机监控之下。总之，研究基于显微视觉反馈的微装 配系统，在总体设计时不仅要考虑微动工作台的驱动和定位、末端执行器的位置和功能等 微装配的特点以外，还要考虑在显微镜下工作的特殊之处。 1 3 1 基于显微视觉的微装配 国内外对基于显微视觉的微装配系统的研究已经投入很大，而且也取得了一些成就。 哈尔滨工业大学研究了基于微视觉的微装配机器人，该显微视觉系统的核心是一部立 体显微镜，由于立体显微镜景深较大，工作空间较大，并可提供多个观察角度，适应微装 配系统的要求。装配对像的位置信息经过显微镜放大后，由c c d 摄像机将光学图像转换成 f 乜信号，经图像采集卡送入计算机，用t l 行设计的专用软件对图像进行分析处理。一方面 通过图像对比度信息判断系统的焦平面状态，结果送入控制系统，通过自动调焦机构调整 显微镜在垂直工作台方向的位置以获得最清晰的图像，实现自动调焦。另一方面，通过图 像处理，包括图像直方图均衡、图像二值化和目标识别等方法获得目标水平方向的位置信 火连理工大学硕士学位论文 息。通过目标搜索及执行机构，调整两操作手在水平方向的位置，从而将操作对像移到适 当位置。清华大学研究的微装配系统中的视觉技术主要应用于识别所要装配的机械零件 和确定该零件的空间位置这两个方面。待装配的微器件通过成像装置得到了一幅清晰的原 始图像( 该成像装置已经预先经过自动调焦辅助装置调整到了最佳的成像条件) 。进行图像 去噪、锐化等预处理后，进行边缘检测，然后对得到的二值边缘图进行分析，得出零件的 形状、位置和姿态的信息，反馈给计算机控制系统，完成视觉系统的功能。西安交通大 学也进行了显微视觉反馈的微装配的研究，针对典型的微装配作业，开发了远程半自动作 业软件控制并成功地完成微轴孔装配吲。 f e d d e m a 和s i m o n 报道了一个用于装配l i g a 零件的视觉伺服机器人系统，讨论了微器 件装配系统机器视觉的实现。在f e d d e m a 等的系统中采用了c a d 驱动的微装配规划，c a d 模型能够提供物体的各种可见特性以及准确描述图元之间的连接关系，并且为视觉伺服算 法提供参考图像特征【2 6 l 。另外，视觉伺服可以有效补偿在光学镜头、操作臂和工作空间校 正中所产生的不确定性。女l l r a l i s 等人应用“先粗后精”的视觉伺服策略在校准比较差的情 况下实现了微装配系统的高精度微定位。随着零件尺寸的不断缩小，要求更高精度的装配 能力，机器视觉作为其中关键的辅助手段，要求它有更高的处理速度，这包括图像的采 集、传输及处理算法等。视觉系统在微装配中面临的问题依旧是速度、精度和稳定性【2 7 1 。 瑞士联邦工学院苏黎世微机器人研究组开展了立体显微镜和扫描电子显微镜下对微机器人 进行视觉伺服控制的研究。该项目的目标是在视觉引导下实现1 0 r i m 精度的微装配作业。视 觉伺服系统采用基于位置的动态l o o k a n d - m o v e 结构，通过遥操作和半自动操作的方式实现 五自由度微机器人的位置控制。通过模式匹配算子在图像空间内进行目标识别，测量微机 器人在显微镜下的位置。转换后更新微机器人在任务空间的运行指令，微机器人的移动则 采用开环方式。尽管该系统可以实现半自动操作，但仍以遥操作方式为主，操作者通过提 供的3 d 实体模型和工作空间的图像反馈发出指令实现三维装配【篮j 。瑞士洛桑联邦工学院采 用视觉反馈实现了自动微装配任务。该系统可以以遥操作和自动操作两种方式运行a 通过 基于虚拟现实的用户界面，操作者可以实现微机器人的遥操作方式。自动装配则采用基于 位置的动态l o o k - a n d - m o v e 结构视觉伺服控制器。该系统有两个视觉传感器，全局视觉用于 对操作手定位以及实现大范围的移动，在局部采用显微镜用于指导微操作任务的精确进 行。为了实现自动装配，该系统进行了精确标定和大量的离线处理计算。由于没有实现实 时图像处理，整个过程只能采用严格的l o o k a 1 1 d m o v e 方式。通过对采集的图像进行目标识 别和位置测量，计算出新的指令，传给机器人完成装配任务。平均完成一次抓取放下任务 需要1 2 到1 7 秒的时间【2 9 1 。美国伊利诺斯大学针对m e m s 组装问题构建了微装配工作站，该 系统采用光学显微镜作为视觉传感器，通过调焦机构设计，采用焦点变换方法获得深度信 王袖钧：面向微流控：占片基于视觉的自动微装配研究 息。并在视觉实时控制方面作了深入研究。同时，采用光线反射原理设计了力学传感器， 并在视觉和力学传感器信息融合控制方面展开了研究。该系统完成3 0 8 1 1i n 玻璃纤维与2 7 0 um 的v 形槽装配试验1 孙3 2 。 13 2 显微视觉系统的功能 作为微装配机器人显微视觉系统，它应该具备以下功能： f 1 1 能够多分辨率、多角度的完成对微装配作业过程的监视： f 2 1 不失真的采集和记录装配全过程以及相应信息； ( 3 ) 提供对微装配空间尺度的测量； r 4 ) 微装配图像处理以及信息提取； ( 5 1 微装配对象的检测与识别； 基于微装配图像信息的视觉伺服控制。 1 3 3 视觉伺服的分类 根据不同的标准，机器人视觉伺服系统可以被划分为不同的类型。根据摄像机的数目 的不同，可以分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统。单目视 觉无法直接得到目标的三维信息，一般通过移动获得深度信息。单目视觉适用于工作任务 比较简单且深度信息要求不高的工作环境。多目视觉伺服可以观察到目标的不同部分，可 以得到更为丰富的信息，但视觉控制器的设计比较复杂，且相对于双目视觉伺服更加难以 保证系统的稳定性闭。双目视觉可以得到深度信息，当前的视觉伺服系统主要采用双目视 觉。根据摄像机放置位置的不同，可以分为手眼系统和固定摄像机系统。手眼系统能得到 目标的精确位置，可以实现精确控制，但只能得到小的工作空间场景，而且由于手眼系统 只能观察到目标而无法观察到机器人末端，因此需要通过己知的机器人运动学模型来求解 目标与机器人末端的位景关系，对标定误差以及运动学误差比较敏感。固定放置的摄像机 既可以观察到目标也可以观察到机器人末端，并且可以得到大的工作空间场景，能得到机 器人末端相对于目标的相对速度，但无法得到目标的准确信息，且机器人运动可能造成目 标图像的遮挡。为了克服两种摄像机放置位置的不足，当前的一种解决方法是两种方式的 协作使用。根据误差信号定义的不同，还可以将视觉伺服分为基于位置的视觉伺服和基 于图像的视觉伺服。基于位置的误差信号定义在三维笛卡儿空间，而基于图像的误差信号 定义在二维图像空间【勰】。 1 4 论文课题背景与来源 “微流控芯片自动微组装系统研究”属于微装配研究领域，源于“微流控芯片的微组 装问题与自动微组装系统研究”项日，由辽宁省自然科学基金资助。 1 0 大连理工大学硕七学位论文 1 5 本论文主要研究工作 ( 1 1 对毛细管与微流控芯片的装配任务，采用了视觉伺服的方法，实现自动微装配； ( 2 ) 结合开发的微装配系统，编制出用于微装配作业的软件； ( 3 ) 讨论显微视觉环境下毛细管与微流控芯片的检测与识别问题，实现微目标边缘的 精确定位； f 4 1 对国内外微装配深度信息的提取方法进行比较与综述，利用调焦和立体视觉的方 法来恢复深度信息； ( 5 1 对微装配系统进行标定，针对毛细管与微流控芯片装配问题作了实验研究。 王袖钧：面向微流控芯片基于视觉的自动微装配研究 2 微装配实验系统的构成及定位精度测试 微装配系统采用“自上而下”的设计方式，即先分析系统需要完成的功能和精度指 标，然后进行结构和功能设计，最后再完成各零部件的设计。本文所要研制的微装配系 统，主要是用于微流控芯片与毛细管的装配联接以及芯片与其它配件的联接，安装部分的 尺寸微小，要实现的功能主要分为两大部分，毛细管与芯片的对准和联接。针对系统的需 求，满足功能和应用范围，设计了一套用于毛细管与微流控芯片联接的微装配系统。 一般精密仪器的设计，要满足精度、经济性、效率、可靠性、寿命、造型等要求，其 中精度要求是第一位的。对于微装配系统而言，微器件所要的装配精度决定了微装配系统 要达到的精度。本系统装配对象的装配部分尺寸 l n 【】1 = n ( 毛细管的外径为3 7 5 “m ，安装孔 的孑l 径约4 0 0 u m ) 。 2 1 微装配实验系统的构成 图2 1 微装配系统 f i 昏2 1m i c t o a s s e m b l ys y s t e m 系统主要包括央持部分、立体显微镜视觉部分、能够实现三维运动的左右工作台、自 动点胶系统、紫外固化系统、控制计算机，如图2 1 所示。右工作台前端有微央钳，微夹钳 夹持着水平放置的毛细管，左工作台前端固定着装有粘接剂的针筒和紫外固化点光源的光 1 2 大连理工大学硕士学位论文 导，微流控芯片被夹具固定放置在水平操作台上。整个系统由一台个人p c 进行控制，借助 于两个z 、y 、z 精密三轴电控工作平台，微装配系统能实现微米级进度的三个自由度的运 动，并且能够夹持、移动、释放微器件。通过自动点胶系统能实现微升级注射量的控制， 微装配系统可完成微器件的联接。紫外固化系统实现胶的快速固化。 2 1 1 夹持部分 微夹持部分是微装配系统的重要组成部分，它的性能直接影响到微装配系统的操作能 力、根据微器件装配对微装配系统的要求，选用合适的驱动方式和钳体结构。 本系统首要面对的装配任务是微流控芯片与毛细管的对接任务。这是一个典型的轴孔 装配任务，其微装配手的典型运动功能：移动微夹钳到毛细管的上方、拾取毛细管、移动 毛细管到微流控芯片孔的前方、将毛细管插入到孔中、释放毛细管、夹持器返回准备位置 准备下一次装配。 根据如上所述的微装配手的典型运动，考虑到其它相关因素，我们对微夹持器的基本 性能要求是：采用合适的驱动器，有良好的对中性，响应速度较快，体积小、重量轻、结 构紧凑，便于安装在精密平台等精密设备上。微夹持器可以在显微镜下的狭小空间进行装 配。 所使用的毛细管是由石英制成。由于石英易碎，所以在石英毛细管外面加上了一层保 护层，使石英毛细管具有一定的韧性。因此对夹持力的控制要求不高。根据装配需求及装 配对象的特点，选用记忆合金丝材料作为微夹钳的驱动材料。 微夹钳的张合只需控制记忆合金丝的通电状态即可，因此夹钳的电源比较简单。但是 形状记忆合金的状态是由温度所决定的，在通电加热后，要改变状态仅仅断电自然冷却是 不够的，这就导致夹钳的响应速度较慢。本系统所采用的微夹钳通过采用两条记忆合金 丝，分别用于微夹钳的张开和闭合，来解决记忆合金丝从高温状态向低温状态转变慢的问 题。 本系统所采用的微夹钳可实现o - 2 m m 的张合量，并可以通过调节电流的大小控制记忆 合金的响应速度。 2 1 2 三维工作台 为了完成实现微夹钳的三维自由运动，我们选用了一个：r 、y 、z 3 轴的电控工作台， 三维工作台的性能参数如表2 1 所示。 在每次粘接过程中，微流控芯片需要较好固定，使系统正常完成装配过程。i 园此系统 需要一个微流控芯片专用夹具来固定芯片。芯片是一个典型的长方体，而且考虑到芯片加 工过程中定位基准保持一致，这样可以保证加工的一致性。因此采用标准的6 点定位方式 王袖钧：面向微流控芯片基于视觉的自动微装配研究 即可。同时，在粘接过程中，要通过显微镜观察粘接过程，而芯片材料属于透明材料，显 微镜需要底灯照明，因此夹具上需要有相应的透光孔，夹具如图2 2 所示。由于微夹钳只 是完成毛细管或其它元器件的夹取、释放动作，需要工作台来完成三个方向的运动，因此 需要设计一个安装架，如图2 _ 3 所示。同样点胶针筒和光导也需要一个安装架。设计安装 架的时候要考虑系统是否可以完成微装配任务，而且在安装架中加装了横板增强架构的刚 度，另外考虑到注射时调整的方便，为注射针管设计一个可旋转的托板使针管可以旋转一 定角度，如图2 4 所示。 表2 1 三维工作台性能参数表 t a b 2 1p e r f o r m a n c ep e d i g 雠l i s to f 3d o fs t a g e s z 轴行程( 蛐1 ) 5 0 y 轴行程( m m ) 5 0 z 轴台面尺寸 1 5 0 x 1 4 0 导轨类型 重复定位精度 步进电机步距角 o 9 步进电机细分1 1 2 8 2 1 3 视觉部分 由体视显微镜、图像采集卡和光电耦合器件c c d 摄像机组成，用来实现微器件图像 的采集和操作过程中的实时监测。体视显微镜尽管分辨率和测量精度比较低，光学分辨率 达不到亚微米级，但在图像传输实时性、实时立体像观测、3 d 数据获取速度、使用环境 等方面具有优势，适合用于微米级微装配的观测和实时三维测量，采用c c d 细分等技术 可以进一步光学分辨率。本文采用的就是o l y m p u s 双目体视显微镜，它的放大倍率范围是 o 8 4 5 ，具有粗调和细调的功能。显微镜成像到c c d 摄像机的靶面，c c d 的型号是 m t v 8 0 6 5 0 b ，使用的图像采集卡是o k 系列o k _ c 3 0 s 卡，能够实时采集彩色和黑白图 像，图像采集显示分辨率最大7 6 8 5 7 6 ，它的任务是把c c d 输出的模拟信号转化为计剪 机便于使用的数字信号，并将数字信号采集到计算机内存内。 1 4 大连理工大学硕士学位论文 图2 2 夹具图 f i g 2 2 t h e f i g u r e o f c l a m p 图2 3 微夹钳安装架 幽2 4 针筒安装架 f i g 2 3m o u n t i n g b r a c k e t o f g f i p p e r f i g 2 4m o u n t i n g b r a c k e t o fs y r i n g e 1 5 王袖钧：面向微流控芯片基于视觉的自动微装配研究 2 1 4 自动点胶系统 根据装配任务的需求，系统采用胶接的方式来完成装配。并且系统要自动完成装配过 程，因此点胶系统要受主控计算机控制。 根据以上要求，系统大致可以采用以下两种方式： ( 1 1 点胶系统直接可以通过计算机的对外接口( 如串口、并口) 对电磁阀进行控制； 但1 系统采用单片机控制，主机向单片机发送命令，由单片机对电磁阀进行控制。 前一种方法的优点是控制简单易行，设计容易实现，缺点是如果所有控制任务都堆积 在一个计算机身上，必然导致此计算机手忙脚乱，不能很好的完成控制任务。后一种方法 的好处是通过把一个复杂的任务分解不同层次，使得系统层次结构清晰，再者也便于系统 的扩展和维护，从一开始就符合模块化的设计原则，设计时可以预留扩展余地，维护时容 易定位故障位置，缺点是使系统更加复杂，设备较多。 通过上述的讨论，考虑到系统将来的扩展和自动点胶系统可能会单独使用，选择了第 二套方案。 由于自动点胶系统采用了单片机与主机通讯的控制方式，需要考虑通讯的内容以及通 讯的方式。 首先我们看看通讯的内容。通讯内容分为下行内容( 即上位机要送到下位机的内容) 和上行内容( 即下位机要送到上位机的内容) 。根据自动点胶系统所要完成的任务，下行 命令：初始化命令，三种对气体操作命令( 注射、吸入、维持) ，调压命令，时间设定命 令；上行命令：下位机的当前状态返回。 本系统是在计算机控制下的自动点胶系统，从这个角度来讲，可以把下位机当作外 设，那么上、下位机的通讯就是计算机和外设的通讯。一般来讲，计算机和外设的通讯方 式可以分为两种： ( 1 ) 通过现成的并口和串口进行通讯