（机械制造及其自动化专业论文）基于全局局部视觉的自动化微操作方法研究.pdf

摘要 摘要 在基于视觉的微操作与微装配中，采用显微视觉作为非接触式的传感器，以 实现自动化闭环控制，提高操作和装配精度。在显微视觉控制中，要提高操作精 度往往采用小视场，即具有高的放大倍数。然而小视场所包含的操作对象少，不 能实现连续、快速的定位，自动化程度低，时间成本高；大视场所包含的对象多， 但是需要牺牲显微视觉系统的放大倍数，操作精度低。因此，显微镜的视场大小 所造成的操作精度和批量操作速度间的矛盾，使得传统的操作很难同时保证精度 和速度。 本文提出了一种基于全局局部视觉控制的自动化微操作方法，该方法能够 解决微操作中操作精度和批量操作速度的矛盾。文中首先利用特征运动误差对视 觉系统和世界空间进行标定，然后在操作过程中再次利用特征误差对视觉系统与 世界空间之间的误差进行实时校正，进一步地提高操作精度。本文的主要工作包 括以下几个方面： 1 建立了基于全局局部视觉的自动化微操作系统体系结构。对微操作系统 的各个功能模块进行了详细的介绍和分析。 2 微操作系统中单视觉系统的标定以及全局局部视觉系统的标定。采用一 种基于特征误差的动态标定方法，对视觉和机械手系统进行标定，并在 操作过程中利用该方法对视觉和机械手系统的实时误差进行校正。 3 提出了一种全局扫描与局部操作的控制方法。分析全局扫描与局部操作 的优势及其能解决的问题，介绍全局扫描与局部操作的实现方法及其操 作过程。 4 识别微操作对象特征。本文以微孔阵列和批量微马达转子作为研究对象， 分析不同的图像处理方法，详细介绍它们各自的特征处理方法。 5 开发了微操作系统软件并进行自动化操作实验。详细介绍了微操作系统 软件的开发平台及其软件构架，详细分析了各个任务模块的实现和功能。 最后通过实验验证了本文提出的理论和方法。 关键词：视觉控制动态标定全局扫描与局部操作 a b s t r a c t a b s t r a c t i i lt t l em i c r o - o p e r a t i o n 姐dm i c r o - a s s e m b l yt l l a ti sb a s e do nv i s i o l l ，t l l em i c r ov i s i o n w a su s e da sa1 1 0 n c o n t a c ts e n s o rf o ra u t o m a t i cc l o s e dl o o pc o n t r o lt oi m p r o v et h e s p e e do fo p e r a t i o na 1 1 d 嬲s e m b l y i n 恤1 1 1 i c r 0 、，i s i o nc o n 仃0 1 ，m em g h0 p e r a t i o n r c s o l u t i o no r e nm e a n st h es m a l lv i s i o 玛t l l a ti s ，廿1 ea n l p l i f i c a t i o nf a c t o ro ft h ev i s i o n s y s t e mi sb i g b u tm es m a l l 、r i s i o nc o n t 蔚1 1 ss m a l lm u n b e ro fo p e r a t i l 玛o b j e c t si i lo n e v i s i o ns p a c e ，s oi tc 锄tb ep o s i t i o n e dc o 山u s l ya 1 1 df 瓠t 、) v i ml o wd e 黟e eo f a u t o m a t i o na n dl l i 曲t i m ec o s t w 1 1 i l em 9b i gv i s i o nc o n t a i l l sm a n ym o r eo b j e c t st l l a i l s m 对lv i s i o n ，b u ti tw 舔a tt h ec o s to f l e 缸l p l i f i c a t i o no fi i l i c r ov i s i o ns 夕s t e m ，l e a d i n g t 0al o wr c s o l u t i o n s om ec o n 仃a d i c t i o n ，b e c a u s eo f 1 es i z eo f 廿1 ef i e l do fv i e b e t 、7 旧e no p e r a t i o nr e s o l u t i o n 觚db a t c h e do p e r a t i n gs p e e dm a d ei t sd i m c u l t yt 0 g u 眦m t e et l l er e s o l u t i o n 锄ds p e e d 仃a d i t i o m l l y t h e p a p e rp r o p o s e sa na u t o m a t i ct n j c r 0o p e 谢o nm e t l l o db 嬲e do ng l o b a l 锄d1 0 c a l v i s i o n ，w 1 1 i c hc 锄r e s o l v em ep r o b l e mr e f - c r r e da b o v e t h ep a p e rf i r s 廿yc a l i b r a t e s 恤e v i s i o ns y s t e m 孤dw o r l ds p eu s i n gt h em o v e m e n te 啪ro fc h a r a c t e r i z a t i o n t h e ni n o r d e rt of 啪1 e ri m p r o v et l l eo p e r a t i o nr e s o l 砸o n ，r e v i s et l l ee r r o rb e t w e e n 也ev i s i o n s y s t e ma n d 、釉r l ds p a c ea tr e a lt 证l e “n gt h ep r o c e s so fo p e r a t i o na c c o r d i n gt 0t l l e m o v e m e n te r r o r t h em a i nt o p i c si n c l u d e ： 1 b u i l dt h ea r c l l i t e c t u r eo fa na u t o m a t i cm i c r oo p e r a t i o ns y s t e mb 嬲e do ng l o b a l 姐dl o c a lv i s i o n h a y ead e t a i l e di n 们d u c t i o na n da 1 1 a l y s i so fa l lp a n so ft l l es y s t e m 2 c a l i b r a t i o no ft 1 1 es i i l 西ev i s i o ns y s t e m 龇l dt 1 1 ec a l i b r a t i o no f 班o b a la i l dl o c a l v i s i o ns y s t e 】m ad y n 锄i cc a l i b r a t i o nm e 也0 db 硒e d0 nc h a r a c t e r i z a t i o ne r r o ri su s e d t 0r e v i s e 也e 仃a n s l a t i o nm 撕xi 1 1r e a lt i n l ed l l r i n g 也ep r o c e s so f0 p e r a t i o n 3 p u tf o r w a r dac o n 们lm e 吐l o df o rg l o b a ls c a l l m n ga 1 1 dl o c a lo p e r a t i o n 加1 a l y z e t 1 1 ea d v 础g e so fg l o b a ls c a n 疵【l g 锄dl o c a lo p e r a t i o i l ，撇d 谢谢i tc 锄d o h 1 们d u c e m ea c l l i e v e m e n tm e t l l o da n dt l l eo p e r a t i o np r o c e s so f 也e 西o b a ls c a m l i n g 龇i dl o c a l o p e r a t i o n 4 r e c o 鲥t i o no f1 1 1 i c r 0o b j e c t s t a k i n gt 1 1 en l i c r 0 一h o l e s - a n a ya 1 1 db a m e so f a b s t 嵋c t l i l i c r 0 n 1 0 t o rr o t o r 嬲r e s e a r c ho b j e c t s ，删y z em ed i 丘e r c n tm e 也o d so fi i l l a g e p r o c e s s i i l ga n di n t r o d u c em e i rr e c o g 血i o nm e t h o d so fc h 础r i z a t i o nf ：b r d 以l s 印删t e l y 5 d e v e l o ps o f i ：咄f o rn l i c r 00 p e r a t i o ns y s t e m 趾da u t o m a t i cm i c r 00 p e 枷o n e x p 硎m e n t s h 咖d u c ei d eo f m es o f t 、a r ea n d i t ss l i u c 加r e sm d e t a i l ，趾d 锄m y z e 恤 r e a l i z a t i o na n d 坨f h n c t i o i l so fe a c hm o d u l e f i l l a l l y ，v e r i 匆l et l l e o r i e sa i 】i dm e t h o d s p r o p o s e d i nt h ep 印e rm r o u 曲s o m e 骰p 甜m e n t s k e yw o r d s ：s i o nc o n 仰l ；d y 曲m i cc a l i b r a t i o n ；g l o b a ls c a l l l l i n g a n dl o c a l o p e r a t i o n 第1 章绪论 1 1 引言 第1 章绪论 自动化已经成为了2 1 世纪最热门的话题，无论是世界性的大公司还是地方 性的中小型企业都无不以实现自动化为生产目标。绝大多数的研究所、高校都包 含有自动化研究的机构。自计算机出现以来，随着自动化控制技术的不断发展， 自动化产品已经取得了很大的发展，在日常生活、产品生产、科学研究中都能看 到它的身影。 随着微纳米技术、显微视觉技术、精密测量与定位技术的快速发展，自动化 操作已从宏观领域进入到了微观领域。在微纳尺度中，电子、机械、生物、医学 等对自动化操作的需求越来越大。因此，关于自动化微操作的研究已经在公司、 研究机构中迅速展开，并且也取得了长足的进步。 自动化微操作是指将大小在l i n m 以下的对象在显微视觉下采用一定的控制 方法来实现自动化操作。因此，开发一种高精度、高效的自动化微操作系统已经 成为了很多研究人员和企业生产者的努力方向。 1 2 自动化微操作的研究意义和现状 自动化微操作的目的是为了实现对微米级或压微米级精度对象的自动化操 作。微操作可以包括对微对象的操纵、装配、制造、焊接等等，如生物微注射针、 微力传感器制作以及生物芯片的制造，激光焊接、激光剪切，微冲压、微弯曲等。 传统的微产品制造，由于缺乏可靠的、有效的自动化微操作与微装配技术， 使得制造成本很高。对于微产品的制造和装配，目前仍然有很多企业是采用人工 操作的方法，特别是中国的中小型企业。由于对象的微小性，使得人工操作变得 复杂，操作效率低、精度差，由于微操作对象的脆弱性，人工操作对产品的破坏 性会很大，使得制造成本大大上升。 据统计，微操作的市场份额每年平均以2 0 的增长率增长。这就说明人们对 微产品的需求量不断上升。因此传统的、低效的人工操作方法已经不能满足要求， 】 基于全局局部视觉的自动化微操作方法研究 需要一种能够实现高精度、快速批量生产的自动微操作方法。 随着科学技术的发展，各种自动控制的高精度设备的出现，使得研究各种高 精度的自动化微操作系统成为了可能。自动化微操作系统是采用一定的控制方法 控制设备运行，以代替人的动作，并有序地自动完成操作任务。自动微操作能够 克服人工操作的种种不足，提高操作精度和生产效率，并能够实现产品的标准化 生产。 目前，全世界已经对自动化微操作和微操作系统有了大量的研究。对微操作 系统的研究主要集中在两个方面：显微视觉的伺服控制和微操作系统( 或微操作 平台) 的研究。由于操作对象的微小性，一般采用显微视觉系统作为检测传感器， 以实现闭环控制【h 】。 微操作系统( 或微操作平台) 主要是指用于执行微操作的平台，其研究和生 产主要集中于德国、日本等国家【5 缶】，它们生产了微纳米级的自动控制平台，为 微操作系统的开发提供了前提。德国p i ( p h y s i ki n s 蚋l i n e n t e ) 公司于2 0 0 7 年生 产了一台六轴联动定位系统，该系统配备了特殊的运动控制器，与传统的级联式 不同，它的优势在于惯量小、刚度高、动态性能更好、可重复性和可靠性好。该 系统还可以通过控制器与计算机相互通讯，通过计算机控制系统的运动，为自动 化微操作提供了条件。此外，p i 公司还有很多高精度的微纳米定位平台，为微 纳米操作的研究与发展做出了大量的贡献。国内的哈尔滨工业大学也于2 0 0 1 年 研制出6 s p s 微动并联机器人，它是一个6 支链s p s 副的变异s t e w a r t 平台。p 副由压电陶瓷水平驱动，全部采用柔性铰链，驱动和检测一体化，已用于光学显 微镜下光纤耦合和微装配操作中。如图1 1 为德国p i 公司的六轴联动定位系统， 图1 2 为哈尔滨工业大学的6 s p s 微动并联机器人。 图1 1p i 六轴联动定位系统图1 26 s p s 微动并联机器人 第1 章绪论 针对自动化微操作系统，文献【7 - 8 开发了一种基于多视觉的微操作系统，采 用1 7 台摄像机从各个角度获取对象的图像，再利用立体图像处理技术获取对象 的三维模型，该方法实现过程相当复杂，且实验成本高。文献 9 】提出了一种对 少量的卵细胞进行注射的解决方案，作者用鼠标点击细胞的中心来控制注射器进 行注射，该方法只能在有限的视觉空间中完成有限的细胞注射任务。对于批量对 象的自动化操作，由于操作对象多，工作空间往往大于操作空间( 视觉空间) 。 因此为了解决这个问题，南开大学研究了一种批量自动化操作的方法【l 们，即将对 象在视觉下进行扫描，通过区域匹配技术将整个工作空间的视觉图像进行压缩， 然后再进行批量操作。此外，南开大学还研究了采用基于原语控制和操作域地图 的方法【1 1 j 2 1 ，提出了一种解决批量自动化微操作的方法。 微操作系统的研究和开发一直是微操作领域的热门话题，国内的很多研究 机构也开发了具有自身特点的微操作系统1 3 。1 7 】。但是，基本理念都是采用视觉伺 服控制与微操作平台相结合的控制方法。 1 3 现有微操作系统存在的问题 如上所述，为了提高操作精度，人们往往采用显微视觉系统成像，将人眼很 难进行直接识别的对象以高放大倍数在视觉空间中显示，以操作少量的对象。为 此在提高精度的同时需要牺牲操作速度。同样地，为了提高操作速度，往往在一 个视觉空间中操作多个对象，如此一来又难以保证操作精度。 因此，自动化微操作要解决的是批量操作速度和操作精度之间的问题，这也 是在微操作系统开发中最有竞争力的两个方面。众所周知，在自动化的微操作与 微装配领域，一般采用显微视觉作为伺服控制对象。目前，解决操作速度问题的 方法是显微视觉系统下显示多个对象，实现批量操作，即显微视觉系统需要小的 放大倍数；解决操作精度问题的方法是在一个显微视觉空间中操作少量或单个对 象，即视觉系统需要有高放大倍数和高分辨率。实现批量操作需要在显微视觉空 间中显示批量对象，提高视觉系统的放大倍数则需要在视觉系统下显示少量的对 象，这两者明显存在矛盾。现有的操作系统存在最大的问题是难以解决这两者之 间的矛盾。 3 基于全局，局部视觉的自动化微操作方法研究 此外，系统标定也是自动化微操作系统研究中需要解决的重要问题，系统标 定要解决的问题是标定精度和标定速度及其复杂度的问题。 1 4 全局局部视觉自动化微操作特点 为了解决现有微操作系统存在的问题，本文提出一种全局局部视觉控制的自 动化微操作方法。该方法采用两个视觉系统，全局视觉系统和局部视觉系统。全 局视觉系统的特点是低放大倍数，目的是为了在一个视觉空间中显示批量对象， 并通过图像处理技术获取批量对象间的整体信息。局部视觉系统的特点是高放大 倍数和高分辨率，目的是为了在一个视觉空间中显示少量对象( 一般为单个对 象) ，以获取对象的局部信息，比如装配点。 全局局部视觉自动化微操作分为全局扫描和局部操作。由于视觉空间的有限 性，为了操作更多的对象，可以让批量对象在全局视觉下连续运动，以获取更多 的对象信息，因此被称为全局扫描。在全局扫描的过程中，采用图像处理技术获 取批量对象的坐标及相对位置关系。当扫描完成之后，根据扫描得到的对象坐标 将对象自动化逐一地移入局部视觉空间，在局部视觉空间中再次识别对象的局部 特征信息，并进行相关操作，称为局部操作。 以上分析可知，全局扫描实现批量操作，提高了操作速度。局部操作获取单 个对象的局部特征信息，提高了操作精度或装配精度。因此，全局局部视觉控 制的自动化微操作的特点是具有高的操作速度和操作精度，解决了传统操作速度 和精度间存在的矛盾。 1 5 论文研究内容 本论文对显微视觉系统结构、视觉系统的标定、批量微对象和单个微对象的 识别方法及其过程、全局局部视觉控制方法及其操作过程进行了详细的分析和 研究。本文的主要研究内容和文章结构如下： 第1 章，绪论。首先分析自动化微操作的意义，以及简要介绍国内外的研究 现状。阐述了现有微操作系统存在的主要问题，并提出能够克服这些问题的方法 及方法的特点。 4 第l 章绪论 第2 章，全局局部视觉自动化微操作的组成结构。讲述系统的组成结构，介 绍各个功能设备的作用及其性能参数。最后，简要地介绍自动化微操作流程，了 解整个微操作系统和研究目的。 第3 章，微操作系统标定原理。在介绍传统的标定方法的基础上，经过比较 提出一种基于特征误差的动态标定方法。首先，分析系统标定模型，计算出映射 矩阵，并经过多次地校正映射矩阵进行局部标定。其次，利用最小二乘法进行全 局标定，得到全局最优的转换矩阵。最后，分析动态标定方法的原理及其实现， 通过标定实验验证方法的可行性和优越性。 第4 章，全局扫描与局部操作实现。讲述全局局部视觉系统的标定原理，详 细分析了全局扫描与局部操作的原理及其实现过程，并分析了该方法的作用及其 优势。 第5 章，微操作对象的特征识别与调整。本文选择微孔阵列和批量微马达转 子作为研究对象，详细介绍它们的特征识别方法，包括批量对象全局信息的识别 和单个对象局部特征的识别，并介绍调整位置误差或姿态误差的方法。 第6 章，微操作软件系统开发与自动化操作实验。介绍微操作系统软件的开 发平台及其软件构架，详细分析了各个任务模块的实现和功能。最后，利用该微 操作系统软件进行了微孔阵列的自动化跟踪实验和微马达转子的自动化操作实 验，验证了本文提出的方法和理论。 第7 章，总结与展望。总结本文的主要研究成果，并在此基础上提出未来需 要改进的地方。 5 基于全局，局部视觉的自动化徽操作方法研究 第2 章全局局部视觉自动化微操作的组成结构 2 1 引言 随着科学技术的发展，人们对自动化的要求越来越高，各种自动化控制技术 也不断的涌现。自动化微操作系统不仅要符合微操作的要求，还要满足自动化的 要求。因此，要求运动平台具有高的运动精度，且能够通过软件进行自动控制。 此外，本文是研究基于全局局部视觉的自动化微操作，因此需要视觉系统作为 非接触式的传感器，以实现自动化控制。基于视觉的自动化控制就是要建立视觉 系统与自动化控制装置的关联，即要建立软件与硬件间的相互通信、相互配合， 实现稳定的自动化控制系统。 本文以微孔阵列和批量微马达转子为研究对象，实现对批量对象的自动化跟 踪和自动化操作。经过以上分析，全局局部视觉自动化微操作的主要组成结构 包括：二自由度纳米平台、全局视觉系统、局部视觉系统，如图2 1 所示。 图2 1 实验系统组成 6 第2 章全局局部视觉自动化微操作的组成结构 2 2 二自由度纳米平台 二自由度纳米平台用于在全局视觉中自动控制批量对象运动，扫描批量对 象，并在局部视觉中精确调整单个对象的位置。它要求能够与本研究的微操作系 统软件相配合，通过程序自动控制平台的运行。二自由度纳米平台由两个p i 移 动平台( p h y s i ki n s t n 脚e n t e ( p i ) ，g e 删) 组成：一个长行程运动平台m 一5 3 1 - d g 和一个短行程运动平台m 。1 1 2 1 d g ，它们由p i 公司提供的c8 4 3 控制卡控制， 控制卡通过串口与平台相连接。此外，还提供c8 6 3 控制器，可以通过u s b 接 口直接与笔记本相连接，实现对平台的控制。以下是两个平台的参数。 m 5 3 1 d g 如图2 2 所示，其参数： 1 3 0 6 m m 运动行程，最大运动速度为2 o 删n s ； 2 精度为3 3 m n ，闭环电机控制； 3 通过串口或u s b 接口与计算机相连接，可以程序控制平台的运行 图2 2 长行程运动平台 m 1 1 2 1 d g 如图2 3 所示，其参数： 1 2 5 m m 运动行程，最大运动速度为1 5 删：i l s ； 2 精度为7 n m ，闭环电机控制； 3 通过串口或u s b 接口与计算机相连接，可以程序控制平台的运行 7 基于伞局局部视觉的自动化微操作方法研究 图2 3 短行程运动平台 将两个平台组合起来，长行程平台为x 轴，短行程平台为】，轴，相互垂直安 装，组成彤y 向移动平台，如图2 4 所示。 2 3 显微双视觉系统 图2 4 刀】，移动平台 由于微操作的对象很小，尺度一般在毫米级和微米级。为了更容易且更清楚 地观测被操作对象，需要采用显微视觉系统。因为对象的微小性，并且在操作过 程中位移和力的量级很小，很难用传统的位移传感器利用操作工具的末端对操作 对象进行精确定位。而视觉往往作为非接触式的传感器，很好地弥补了传统传感 器的不足，用来精确定位被操作对象。引入视觉系统的最终目的，除了便于观察 匿 第2 章全局局部视觉自动化微操作的组成结构 和监测以外，更重要的是要形成视觉伺服控制。 本研究采用显微双视觉系统，分为全局视觉系统和局部视觉系统。全局视觉 系统获取批量对象的整体信息以及批量对象间的位置关系，局部视觉系统获取单 个对象的局部特征信息。由于两个视觉系统所实现的功能不同，因此对它们的要 求也不同。全局视觉系统的特点是具有低的放大倍数，以获取批量对象的全局信 息。反之，局部视觉系统要求具有高放大倍数和高分辨率，以便更加精确地获取 单个对象的局部特征信息。 视觉系统是作为传感器来使用的，因此它需要能够与本研究的系统软件相配 合，即能够通过系统软件来控制视觉系统，如图像连续获取、图像压缩、图像保 存等。本微操作的视觉系统是由c c d 、筒镜和物镜组成。采用加拿大m a n d x 公 司的u m 2 0 1c c d 作为全局视觉系统的图像传感器，采用德国d s 公司的u e y e u i 1 5 4 0c c d 作为局部视觉系统的图像传感器。m a 的xu m 2 0 1c c d 如图2 5 所 示，其特点是： 1 “1 2 s u p e r 地c c d图像传感器； 2 图像分辨率为7 6 8 4 9 4 ( e 认) 和7 5 2 5 8 2 ( c c 埘； 3 异步采集功能； 4 快门速度为1 6 0 1 3 1 0 0 0 秒； 5 信噪比为5 6 d b ( a g co f 彰自动增益关闭的情况下) 6 最低照度0 0 5 l u ) 【 7 长时间积分； 8 场模式帧模式； 9 读出控制； 该c c d 采用r s l 7 0 图像采集卡，并通过串口与计算机相连接。很重要的一 点是该c c d 厂商提供c 开源代码，可供系统软件调用。 9 基于全局局部视觉的自动化微操作方法研究 据： 图2 5m a ：仃o xu m 2 0 1c c d i d su e y eu i 1 5 4 0c c d 如图2 6 所示，其特点是： 1 传感器类型c m o s 。 2 1 2 8 0 1 0 2 4 像素分辨率，感光面积6 6 6 n u n 5 3 2 i 锄，对角线长度8 5 m m ； 3 帧率2 5 邱s ，曝光时间0 0 3 5 m s 9 8 0 m s ； 4 像素大小：鼠】，向均为5 2 阻； 5 u s b 2 0 数据传输； 6 工作电压5 v ； 7 支持软件和硬件触发模型采样； 图2 6i d su e y eu i - 1 5 4 0 该c c d 的优点是： 1 只需安装驱动程序就可以通过u s b 直接与计算机相连接，获取图像数 1 0 第2 章全局局部视觉自动化微操作的组成结构 2 采用c 开源代码，方便系统软件的调用，有利于基于视觉控制的自动化 控制研究； 3 具有高的分辨率，能够更加清晰地获取对象的局部特征信息。 本视觉系统中很重要的一个部件是筒镜，筒镜连接物镜与c c d ，起到放大以 及调节成像亮度的作用。如图2 7 所示，采用美国w i t 根公司的筒镜，其性 能参数是： 1 z o o m1 2 倍，连续变倍； 2 可变工作距，从3 2 n u n 至3 4 1 n u n ； 图2 7 n a v i t a r 公司的筒镜 值得注意的是，两个视觉系统所采用的筒镜相同。因此，为了适应不同的需 要，视觉系统还需要选择不同的物镜，以改变视觉系统的放大倍数。对于全局视 觉系统采用0 7 5 的物镜，局部视觉系统采用2 的物镜。 在微操作的过程中，显微双视觉系统同时与计算机相连接，并利用提供的开 源代码嵌套在系统软件中实时对其获取的图像进行处理。 以上介绍了全局局部视觉自动化微操作的主要组成结构。此外，系统的组成 结构还包括光源、筒镜支架、计算机等。 基于全局局部视觉的自动化微操作方法研究 2 4 全局局部视觉自动化微操作系统流程 图2 8 全局局部视觉自动化微操作的流程图 介绍完整个微操作系统的组成结构之后，接下来简要地介绍一下全局局部视 觉自动化微操作的系统流程。其流程如下： 1 将批量微对象安装在二自由度纳米平台上； 2 调节好两个视觉系统，使得全局视觉系统具有低的放大倍数，能够获取 批量对象的全局信息，局部视觉系统具有高的放大倍数，能够获取单个对象的局 部信息； 3 对两个视觉系统进行标定，包括视觉系统各自的标定和它们之间的标定； 4 将批量对象置于全局视觉下，控制纳米平台以一定的速度自动移动，使 对象在全局视觉下扫描，并经过图像处理实时记录每个对象的坐标及它们间的相 对位置关系； 5 扫描完成之后，按照对象在全局扫描中记录的坐标，自动将其逐一移入 局部视觉空间； 第2 章全局局部视觉自动化微操作的组成结构 6 局部视觉空间显示单个对象，并对图像进行处理，识别单个对象的局部 特征信息； 7 最后求得误差，根据误差控制纳米平台做出相应的调整。 全局局部视觉自动化微操作的流程如图2 8 所示。 2 5 小结 本章介绍了全局局部视觉自动化微操作的系统构成。系统由二自由度纳米平 台、双视觉系统( 全局视觉系统和局部视觉系统) 等构成，并详细介绍了它们各 自的性能参数。二自由度纳米平台用于在全局视觉中移动批量对象，使批量对象 在全局视觉中扫描，并在局部视觉中调整对象的局部特征误差；全局视觉系统用 于获取批量对象的全局信息，包括批量对象的坐标以及它们之间的位置关系；局 部视觉用于获取单个对象的局部信息，以获取位置误差或姿态误差。最后还对系 统的操作流程做了简要的介绍。 基于全局，局部视觉的自动化微操作方法研究 3 1 引言 第3 章微操作系统标定原理 在基于视觉的自动化操作中，系统标定是必不可少的环节。微操作系统的标 定是指建立微操作系统中各个坐标系间的关联，以实现自动化控制的目的。基于 视觉的微操作系统所涉及到的坐标系有世界空间坐标系( 目标对象空间坐标系) 、 摄像头坐标系、图像空间坐标系以及中间其它未知坐标系等。微操作系统标定的 最终目的是建立图像空间坐标系与世界空间坐标系间的关联。 在微操作系统研究中，摄像头通常作为一个非接触式的传感器来使用，即从 摄像头中获取对象的信息，如大小、位置、方向等等。但是，由于各个坐标系的 位置和方向不同，因此对象的位置以及方向在视觉空间与世界空间是不同的。此 外，摄像头所获取的信息是数字化的二维图像信息，而空间对象是以三维的形式 呈现的。因此，微操作系统的标定过程可以理解为建立二维图像空间与三维世界 空间之间的转换关系。 由于微操作系统是采用显微视觉结构，其特点是高放大倍数、小景深。因此， 它的标定与传统视觉系统的标定有所不同，传统标定方法已经很难满足要求。显 微视觉系统的标定已经成为了很多研究者的研究重点【1 8 1 9 1 。 本章首先介绍传统标定方法，并经过比较提出一种基于特征误差的动态标定 方法。然后通过标定实验验证该方法的可行性及其优越性。 3 2 传统微操作系统标定方法 对于视觉系统的标定，人们已经做了大量的研究1 2 0 绸。传统标定方法一般采 用标定物f 2 7 之8 】，标定物可分平面标定板和立体标定块。比如张友正标定法，该方 法采用黑白相问的马赛克图案，在摄像头下获取其多角度的图像，再对每副图像 进行角点检测，建立起世界空间坐标系与图像空间坐标系间的关系。还有在很多 的研究【2 9 3 们及其应用中，映射矩阵标定方法已经成为了人们常用的标定方法之 一。此外，随着纳米科学技术的发展以及研究的不断深入，新的标定方法不断产 1 正 第3 章微操作系统标定原理 生，文献 3 1 3 2 】均采用一种称为自标定的方法进行标定，且目前也到了很大的发 展。自标定方法需要将摄像头固定在移动平台上，通过移动摄像头获取不同位置 的图像进行标定。 这些方法都有它们各自适用的场合。对于张友正标定方法，由于需要多角度 的翻转标定物来获取标定图像，因此它需要一定大的标定空间。该方法适用于宏 观操作，且对于高精度的微操作，其精度并不能满足要求。对于映射矩阵标定方 法，它只是建立世界空间坐标系和图像空间坐标系的简单映射，求取比例因子。 但是由于镜头畸变以及其它随机噪声的干扰，使得不同图像区域的误差不同，因 此该方法不能满足高精度的自动化微操作要求。对于自标定方法，该方法已经得 到大量的研究，但该方法使得系统装置变得复杂，对系统硬件的要求更高、更多。 为了克服这些不足，在传统标定方法的基础上，提出了一种适用于微操作系 统研究的标定方法，称为基于特征误差的动态标定方法。以下介绍该方法的系统 模型以及标定原理，并通过实验进行验证。 3 1 3 基于特征误差的动态标定方法 系统标定分为静态标定和动态标定【3 3 1 ，静态标定指的是特征在静止状态下的 标定，只对系统进行一次标定，标定完成之后将不能改变系统的条件，否则得重 新标定。动态标定指的是特征在运动状态下进行的标定，是对系统进行多次的标 定，是一个动态的过程。因此，从它们的定义便可以看出，动态标定的系统稳定 性和实用性要比静态标定好。对于动态标定，国内外已经有了很多研究【3 4 。3 6 】，也 取得了一定的成果。 本文提出一种基于特征误差的动态标定方法，该方法是在映射矩阵标定方法 的基础上，在局部区域对映射矩阵进行多次校正，利用最小二乘法对视觉空间中 不同区域的映射矩阵进行优化，获得全局最优的转换矩阵f 3 7 1 。此外，在操作的 过程中再根据特征点的运动误差实时校正转换矩阵，因此称为动态标定。 3 3 1 系统标定模型 系统标定模型如图3 1 所示。显微成像系统由物镜、筒镜和c c d 组成，并将 基于全局局部视觉的自动化微操作方法研究 c c d 与计算机相连接以在计算机上获取图像。显微成像系统位于纳米平台的正 上方，操作对象置于纳米平台上。纳米平台由z 向和】，向移动平台组成，并与 计算机相连接，通过计算机控制平台的运动。另一个显微成像系统是用于在三维 微操作中获取深度信息。微操作系统标定是指建立由纳米平台组成的世界空间坐 标系和显微镜成像系统在计算机中成像的图像空间坐标系之间的关系。 图3 1 系统标定模型图 识厂1 - l 镜平亟 。丁o d ： 、 瞄 2 显微成像模型 第3 章微操作系统标定原理 3 3 2 系统局部标定 间坐标系，为物镜的焦距，砀为筒镜的长度。设世界空间中的一点尸，它在丁 中的坐标为乃( 砀劫，它在u 中的坐标为p ( 渤场) 。设显微成像系统的放大倍 朋：华( 3 1 ) 式中转( 砀坛劾) 为特征点在图像空间坐标系中的坐标；泸o 勿坳铂) 为特征点 ，= 朋f 朋聊爱毛 c 3 3 ， 耍为两坐标系不存在误差时特征点在图像空间的期望值，( j 一乩) 为特征点在 1 7 基于全局局部视觉的自动化微操作方法研究 * 鞋割 战= 扩j ：d ( 3 7 ) 屈= 【，i 。，i ：，i ，吒，嘞吒，巧嘞玛，】r 1 ooooo o f 1 r u = io o o ooo i lo oooo o j 寇为将厶蜀拉直后的9 1 向量， 疗是由u 扩展而成的9 3 循环矩阵。 第3 章微操作系统标定原理 y = u 。q( 3 一1 2 ) y = x ，疗是由u 扩展而成的9 3 循环矩阵，q 为而a 搬。坝l + 懈n ) 拉直后 的9 1 向量。 式( 3 1 1 ) 其实是对映射矩阵进行多次的校正。经过多次的校正，特征点的 运动误差会收敛到一个极小值。不过，以上只是控制特征点在局部区域进行走点， 只是进行局部区域标定，得到的是局部误差矩阵。 3 3 3 系统全局标定 由于镜头畸变等因素的影响，使得成像产生畸变。然而图像空间中不同区域 的畸变程度不同，一般图像边缘的畸变最大，图像中心的畸变最小。经过局部标 定只能使视觉空间中的局部区域误差最小，特征点的运动误差在图像空间的不同 区域会有很大的差别。因此需要进行全局标定，建立一个全局最优的转换矩阵。 本文采用最小二乘法对视觉空间中不同区域的映射矩阵进行优化，得到全局最优 的转换矩阵。 将式( 3 1 2 ) 中的l ，看成测量值，p = 痧1 垂看成期望值，则测量值和期望 值的误差可以用以下公式表示： 文六q ) = l ，0 ) 一p 0 ) = 痧，0 ) q 0 ) 一疗7 0 ) 垂( f ) ( 3 1 3 ) 为了对全局误差进行优化，建立如下的公式： e ( q ) = 专姜丢夕。) y 。) 一疗7 ( f ) 垂o ) r ( 3 一1 4 ) 式中 ) 是权重系数，是特征点运动次数。 对式( 3 1 4 ) 求最小值，得 圣孟= 鹕m 岖日( q ) ) = 膨一1 0 ) ( f ) ( 3 1 5 式中： 肘( ，) ：羔艄 嘶痧z ，( ，) 基于全局，局部视觉的自动化微操作方法研究 ( r ) ：兰删阢酬 将龟；。代替式( 3 1 1 ) 中的山u 般水l + 坝n ) 得到： x = u ( 3 1 6 ) 应用局部标定后的转化矩阵在视觉空间中的各个区域走点，分别记录特征点 在世界空间中的坐标和在图像空间中的坐标，利用式( 3 1 5 ) 得到一个最优的全 局转换矩阵。 经过以上标定之后，若系统保持不动，则能将误差抑制住。但是，在实际操 作过程中往往很难使整个系统保持绝对不动，振动和噪声的干扰所产生的随机误 差会影响特征的运动精度。针对这个问题，传统的做法是重新进行系统标定，这 样做会浪费大量的时间和精力。因此，为了克服这些不足，建立了一种动态标定 的方法，即在操作过程中根据特征点的误差实时校正和优化转换矩阵。该方法不 仅可以克服系统产生移动后需要重新标定的不足，而且还可以实时地优化原有的 转换矩阵。 3 3 4 基于特征误差的动态标定方法原理 图3 3 动态标定图解 第3 章微操作系统标定原理 如图3 3 所示，u 为图像空间，丁为世界空间。假设世界空间中的一特征点 在图像空间中的坐标为p 纯：场：劫3 一已知图像中的位置彳( z 曲，现想让 特征点运动到位置彳。已知全局标定得到的全局最优矩阵鳊i n ，以及特征点在图 像空间中的下一位置么，利用式( 3 1 6 ) 便能得到特征点在世界空间中的下一位 置。然而，由于9 i l i l i 并不能完全消除误差，并且存在各种随机误差以及系统误 差，使得特征点在图像空间中的位置为彳，存在误差( 血，少，z ) ，缸由另外一 个侧视觉获取。则 x 一蝎= 绌u ( 3 1 7 ) 设定一个误差矩阵所，令 蝎= 瞩u ( 3 1 8 ) 式中 战= 【缸妙垃】r u = 蚱z p 2 蝎为特征点运动误差在图像空间中的映射，为3 1 向量。u 为特征点的当前 世界空间坐标，为3 1 向量。垂山以为3 3 矩阵。因此，为了计算龟：。嵋，让 特征点在图像空间中走三个不同的位置，求取特征点在这三个位置的图像空间误 差和三个位置所对应的世界空间坐标，即可求出杰抽乃。 实时误差校正方法实际上和局部标定方法一样，都是对转换矩阵进行修正， 从而保证两空间的映射关系精度。 结合式( 3 1 7 ) 和式( 3 1 8 ) ，控制方程改写为： x = 绌( ，+ ) u ( 3 一1 9 ) 以上式子其实可以看作是对全局转换矩阵的一次校正。经过次校正，得到 x = u + + 哆+ 渺 ( 3 2 0 ) 以上式子其实是在实际操作过程中对特征点的运动误差进行实时校正，是一 个不断更新转换矩阵的过程，称为动态标定。该方法能够克服微操作系统中存在 误差积累的问题，而且能校正随机误差。此外，当产生系统误差时无需重新进行 2 1 基于全局局部视觉的自动化微操作方法研究 系统标定，只需校正转换矩阵即可。 该标定方法同样适用于二维操作，且效果更佳，因为二维操作缺乏深度信息， 不同区域的误差不同，因此通过误差可以实时地校正转换矩阵。此外，如果世界 空间与图像空间产生倾斜的话，不同区域的映射矩阵差别较大，采用该标定方法 可以实时地校正映射矩阵。本研究是基于二维的自动化微操作，因此接下来将讨 论二维空间的标定实验。 3 4 5 系统标定实验 图3 4 局部标定示意图 标定实验分为三部分：局部标定、全局标定和动态标定。 首先进行局部标定，在局部区域对映射矩阵进行多次校正。如图3 4 所示， 二维操作的世界空间坐标系为肋】，和图像空间坐标系为x d 】，。以图中的圆点 作为特征点进行标定，控制特征点从图像空间中的原点d ，运动到彳。彳点的图像 空间坐标为( 2 3 7 ，2 0 8 ) ，单位为像素。世界空间坐标为( 2 7 0 0 ，3 6 0 0 ) ，单位为点 在p i 纳米平台的物理单元，其中长行程运动平台l n l l n 为3 0 3 0 3 物理单元，短行 程运动平台l i m 为4 5 6 3 6 物理单元。为了便于描述，以下记世界空间的单位为 平台物理单元。因此，求得映射矩阵为： 第3 章微操作系统标定原理 ，2 。警7 7 。吕5 7 7 ，= l 1 0 0 0 0 5 7 7i 可以看出两个非0 值为一正一负，原因在于世界空间坐标系和图像间坐标系的方 向不同，标定以绝对坐标作为参考。 映射矩阵求出来之后，接下来进行走点校正，每走两点得出一个误差矩阵， 即对映射矩阵进行一次校正。标定实验的软件界面如图3 5 所示，标定实验结果 如表3 1 所示。 图3 5 标定实验的软件界面 基于全局局部视觉的自动化微操作方法研究 表3 1 特征点运动误差 第一点第二点 世界空间坐标 ( 2 1 8 7 3 ，2 7 0 0 0 )( 2 1 6 4 4 ，3 4 2 6 9 ) ( 物理单元) 图像空间坐标 第一次标定 ( 1 9 1 ，1 5 6 ) ( 1 9 0 ，1 9 9 ) ( p i x e l s ) 图像空间误差 ( 1 5 ，1 0 )( 1 3 ，1 1 ) q i x e l s ) 世界空间坐标 ( 2 5 9 7 3 ，- 3 7 7 1 3 )( 1 8 4 5 4 ，2 8 9 3 0 ) ( 物理单元) 图像空间坐标 第二次标定 ( 2 2 8 ，2 1 9 ) ( 1 6 2 ，1 6 8 ) q i x e l s ) 图像空间误差 ( 7 ，- 5 )( 6 ，5 ) 0 i x e l s ) 世界空间坐标 ( 1 7 4 2 9 ，3 7 1 9 6 )( 1 7 0 8 7 ，2 4 2 8 1 ) ( 物理单元) 图像空间坐标 第三次标定( 1