（模式识别与智能系统专业论文）基于图像的机器人视觉伺服控制研究.pdf

摘要 摘要 基于图像的机器人视觉伺服控制研究包括机器人系统部分、松下交流伺服 系统部分、p m a c 运动控制卡部分、d s p 图像处理系统部分、基于图像的f c m a c 控 制仿真部分和系统综合实验部分。 本文的机器人是一个具有两个旋转关节的平面机器人，它只能在x 、y 方向 运动，关节由松下交流伺服电机驱动，采集图像的c c d 摄像头安装在机器人第二 根杆的末端。本文建立了基于图像的机器人视觉伺服系统数学模型，绕过三维坐 标的变换，建立了描述图像坐标变化与机器人关节角度变化关系的图像雅可比矩 阵和其逆阵，并将其应用到基于图像的视觉伺服中。 松下交流伺服系统是一种全数字高精度的交流伺服控制系统，它直接驱动机 器人的两个关节，接受p m a c 卡输出的转矩指令，反馈关节电机的编码器信号。 p m a c 卡是一种采用d s p 芯片作为主要运算单元，相对独立、实时性高的运动控 制卡，通过与松下交流伺服系统的配合，根据主控程序的指令控制机器人关节的 运动。 d s p 图像处理系统处理c c d 摄像头摄取的目标物体彩色视频图像，首先将其 变成灰度图像，经过图像二值化、中值滤波、边界提取算法得到圆形物体的边界， 再经过点h o u g h 变换法求取质心坐标，通过串口传递给工控机主控程序，形成视 觉伺服循环。 f c m a c 是一种模糊的小脑模型控制器，本文将其应用到基于图像的机器人视 觉伺服系统仿真中来，建立了控制系统，仿真结果表明该系统对直线目标、曲线 目标都有良好的跟踪和伺服能力。 根据要实现的功能，合理配置硬件系统，融合软件环境，编写控制程序，在 实际机器人系统中实现了基于图像的机器人视觉伺服控制。 关键词机器人；松下交流伺服系统；p m a c 运动控制卡；d s p 图像处理系统；f c m a c a b s t r a c t a b s t r a c t c o n t r o lr e s e a r c ho fi m a g e b a s e dr o b o t i cv i s u a ls e r v es y s t e mi n c l u d e s r o b o ts y s t e mu n i t ，p a n a s o n i c ss e r v es y s t e mu n i t ，p m a cc o n t r o lb l o c ku n i t ， d s pi m a g ep r o c e s s i n gs y s t e mu n i t f c m a cc o n t r o le m u l a t o ru n i ta n d s y n t h e s i se x p e r i m e n tu n i t t h er o b o to ft h i sp a p e ri sap l a n a rr o b o tw i t ht w or e v o l v i n gj o i n t s i to n l yr u n si nd i r e c t i o nxa n dy t h ej o i n t sa r ed r o v e db yp a n a s o n i c s s e r v ee l e c t r o m o t o r ac c dc a m e r ai sf i x e do nt h es e c o n da r m se n do ft h e r o b o t t h er o b o tv i s u a ls e r v es y s t e m sm a t h e m a t i c sm o d e li sb u i l t a n d t r a n s f o r m a t i o no ft h r e e d i m e n s i o n a lc o o r d i h a t ei ss t e e r e dc l e a ro f i m a g e j a c o bm a t r i xw h i c hd e s c r i b e sr e l a t i o no fi m a g ec o o r d i n a t e sc h a n g e sa n d c h a n g e so ft h er o b o tj o i n t s a n g l e si sb u i i t ，a n di t sr e v e r s i o nm a t r i x i sg a i n e da n da p p l i e di nt h es y s t e mo fi m a g e _ b a s e dr o b o t i cv i s u a ls e r v e t h ep a n a s o n i c ss e r v es y s t e mi san u m e r i ca n dp r e c is ea cs e r v e c o n t r o ls y s t e m i td r i v e st w oj o i n t so ft h er o b o td i r e c t l y ，r e c e i v e s t o r q u ec o n t r o li n s t r u c t i o nf r o mt h ep m a cb l o c k ，a n df e e d sb a c ks i g n a l s o ft h e j o i n t s e l e c t r o m o t o re n c o d e rs y n c h r o n o u s l y t h ep m a cc o n t r o l b l o c ku s e sd s pc h i p sa si t sc p u ，a n da l s oi ti sa nu n a t t a c h e da n dr e a l - t i m e m o t i o nc o n t r o lc a r d i tr e l i e so nt h ei n s t r u c t i o no ft h em a i nc o n t r o l p r o g r a ma n dc o n t r o l st h em o t i o n so ft h er o b o tj o i n t s ，c o o p e r a t i n gw i t h t h ep a n a s o n i c ss e r v es y s t e m t h ed s pi m a g ep r o c e s s i n gs y s t e mp r o c e s s e so b j e c t sc o l o r e dv i d e o i m a g e sw h i c hi st a k e nb yc c dc 鲫e r a i tt r a n s f o r m st h e s ec o l o r e di m a g e s t og r a yi m a g e s ，a n dg e t st h ec i r c u l a ro b j e c t se d g e sa f t e rp r o c e s so f i m a g e st w o v a l u ea r i t h m e t i c ，m e d i a na r i t h m e t i c ，s o b e le d g ea r i t h m e t i e i nt u r n ，t h e ng a i n st h ec e n t r o i dp i x e lc o o r d i n a t e o ft h eo b j e c ta f t e r p r o c e s so fd o th o u g ht r a n s f o r ma r i t h m e t i c t h es y s t e ms e n d st h e s e c o o r d i n a t ev a l u e st ot h em a i nc o n t r o lp r o g r a mw h i c hisr u n n in gi nt h e i n d u s t r yc o n t r o lc o m p u t e rb yt h es e r i a li n t e r f a c ea n df o r m sv i d e es e r v e c i r c u l a t i o n t h ef c m a ci saf u z z yc o n t r o l l e r w h i c hi ss i m i l a tw i t h h u m a n s c e r e b e l l u mf r a m e t h i sp a p e ra p p l i e si tt ot h er e s e a r c ho fi m a g e - - b a s e d r o b o t i cv i s u a ls e r v es y s t e m t h er e s u l t so ft h es i m u l a t i o ne x p e r i m e n ts h o w t h a tf o rs t a t i co r1 i n e a ro b j e c to r i e n t a t i o na n dt r a c ko fv a r i o u st y p e s o fm o t i o n s ，t h ed e r f o r m a n c e so ft h ec e n t r e l s y s t e ma r eg o o d t h eh a r d w a r es y s t e mi sb u i i to nr e a s o n a b l e f u n c t i o nr e q u e s t t h e e x p e r i m e n to fc o n t r o lr e s e a r c ho fi m a g e - - b a s e dr o b o t i cv i s u a ls e r v e s y s t e mc o m e st r u ei nt h ea c t u a lr o b o ts y s t e mb yu s i n gt h em a i nc o n t r o l p r o g r a m k e y w o r d sr o b o t ：p a n a s o n i c ss e r v es y s t e m ；p m a cc o n t r o lb l o c k ：d s pi m a g e p r o c e s s i n gs y s t e m ：f c m a c i i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 签名： 廛i 丑室日期： 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：直i i 塑室导师签名：塞空翟日期：幽： ：! ： 第l 章绪论 第1 章绪论 1 1 课题背景 当今世界有数以百万计的各种类型的机器人应用在不同领域，并且机器人的 数目在不断增加。不过大多数工业机器人都是工作在整齐有序的工业环境当中 ( i g 种环境需要目标和机械手的精确位置信息) ，而目前在无序的工作环境下却 找不到机器人的身影；这主要是因为目前的机器人还缺乏对外界的感知能力。制 造能够替代人类劳动的机器人一直是人类的梦想，但目前即使是世界上智能最高 的机器人对外部环境变化的适应能力也非常有限，距人们预想的目标还有很大距 离，这极大地影响了机器人的推广使用。这其中的一个重要原因就是机器人缺乏 像人一样的感知能力。通过添加各种外部传感器，司以使机器人获得感知能力， 其中比较重要的一种就是视觉传感器。在现代工业自动化生产过程中，机器视觉 正成为一种提高生产效率和保证产品质量的关键技术。如机械零件的自动检测、 智能机器人控制及生产线的自动监控等。在国防和航天等领域，机器视觉也具有 相当重要的应用意义。如运动目标的自动跟踪与识别、自治战车导航、登月舱的 自动着陆以及空间机器人的视觉控制等“1 。但在机器人视觉领域中，大部分研究 仍建立在解析式描述的基础上，并以满足某些特定任务为目标。因而在实际中的 应用十分有限。如何使机器人具有类似人类视觉的能力是一个需要长期研究的问 题嘲。 传感器融合可以提高机器人对外界的感知能力，但这并不是一种经济的方 法。视觉是一种有用的机器人传感器，它提供了一种经济、方便的方法。为了使 现代工业机器人能适用于更为复杂的工作如焊缝跟踪、弧焊、物体的精确放置等， 一种基于视觉信息的机器人控制方法一视觉伺服0 1 吸引了众多研究人员的关 注。 机器人视觉伺服研究从上个世纪7 0 年代开始以来，不论是在理论研究上还 是实际应用上都取得了一定成就，但由于机器人系统是一个很复杂的系统，综合 了许多学科的内容，而各学科的发展又极不平衡，这些又制约了机器人视觉伺服 研究的进展，近年来此方面的研究基本上处于停滞不前的状态。机器人视觉伺服 研究具有宽广的未来，也是时代的需要和历史的必然，本课题就是基于此进行的 研究。 1 2 课题简介 本课题研究的是基于图像的机器人视觉伺服控制研究的实验实现，图1 - 1 是 本实验的二自由度平面机器人，第一关节垂直固定于工作平台上，各关节均由松 下交流伺服电机驱动，且只能在水平平面内转动，固定于第二根杆末端的摄像头 北京t 业大学t 学硕十学位论文 为单目c c d 摄像头“1 。本课题硬件系统可简单用图1 - 2 的示意图来表示，d s p 图 像处理系统将摄像头采集的连续视频信号经过数字化转换，彩色图像变换成灰度 图像，然后经过阈值化变成二值图像，经过噪声消除、边缘求取，得到圆形物体 的边界，经过质心求取算法得到圆形物体的质心像素坐标，通过r s 2 3 2 串行通信 传递到上位机控制程序，图像伺服算法根据图像坐标的变化求解出机器人两个关 节的角度变化量，作为p m a c 运动控制卡的输入量，p m a c 运行运动程序输出控制 指令给松下交流伺服系统，由其控制机器人关节的运动，从而实现基于图像的机 器人视觉伺服摔制。 l j l1 - 1 机器人对象 图1 - 2 机器人视觉伺服系统结构 f i g u r e1 - 1r o b o to b j e c tf i g u r e1 2f r a m eo fr o b o t i cv i s u a ls e r v os y s t e m 1 3 课题研究的意义及国内外研究现状 当前，机器人在许多领域内获得了广泛的应用，发挥着越来越重要的作用。 日本已经走在了世界的最前面，不仅其机器人使用数量在世界范围内是最多的， 而且拥有自主知识产权，具有各型工业机器人和实验机器人产品的生产研发能 力。然而我国的机器人研究还处在刚刚起步阶段，研究水平不高，科技成果很少。 随着我国经济的蓬勃发展，各型机器人将获得广泛的应用，其使用前景不可估量， 具有智能的机器人的研究更是研究的重点。众所周知，人类获取的信息8 0 0 , 6 以 上是通过视觉获得的，因而对机器人视觉伺服系统的研究是机器人领域中的重要 内容之一，其研究成果可应用在机器人自动避障、轨迹跟踪和运动目标跟踪等问 题中。机器人视觉伺服系统存在多种分类方法。若从反馈信息类型的角度分类， 可分为基于位置的视觉伺服系统( p o s i t i o n - - b a s e ) 和基于图像的视觉伺服系 统( i m a g e b a s e ) 旧“】【7 1 。基于位置的视觉伺服方法首先要估计目标物体在直角坐 标空间中相对于摄像机的位置，其视觉伺服误差定义在三维笛卡尔空间，视觉或 特征信息用来估计机械手末端与目标的相对位姿。三维直角坐标空间容易被直观 地理解，但这种方法需要对视觉系统和机器人进行精确标定；另外要对图像进行 解释，因而计算量较大。基于图像的视觉伺服也被称为基于特征的视觉伺服，其 伺服误差直接定义在图像特征空间”1 ，即摄像机观察到的特征信息直接用于反 馈，不需要对三维姿态进行估计，且直接在图像坐标空间中转换，因此可以大大 降低计算量，而且系统对摄像机标定误差和系统建模误差具有较强的鲁棒性。摄 像机的精确标定是一个很复杂的过程，对于多数研究者来说，他们缺乏相应的设 备及条件进行这方面的工作。因此最近几年无定标的视觉伺服正成为视觉伺服领 第1 章绪论 域中的一个研究热点。无定标的视觉伺服一般是要在线调整图像雅可比矩阵( 图 像特征参数变化量与任务空间位姿变化量的关系矩阵) 州叫，其初值的选择相 对重要，计算时间上也有待进一步优化。视觉系统动态性能研究，从控制的观点 来看，目前的视觉伺服系统的性能还无法达到要求。目前的研究多集中在如何由 采集到的视觉信息确定实现机器人运动的问题：至于整个机器人视觉伺服系统的 动态性能研究还比较落后。动态性能研究的深入，将会在很大程度上提高视觉伺 服系统的性能“”。动态性能的研究应结合机器人的动力学特性及视觉过程的动态 性能综合考虑。结合计算机视觉及图像处理的研究成果，在视觉伺服中，图像采 集、图像处理、图像特征的提取及三维信息的重构等方面，要处理的信息量大， 算法复杂多样。寻求一种最高效的方法，极大地提高伺服控制的效率，极大地提 高视觉伺服系统的性能。目前，神经网络、模糊控制、遗传算法等智能算法在视 觉伺服中都有了一些应用，但多数都是针对具体的特征进行了仿真实验，而未在 实际机器人系统上使用埘“”“”。上述都是当前基于图像的机器人视觉伺服控制 研究的重点和难点所在。本课题的研究目的也在于此，即如何寻找有效方法实现 机器人视觉伺服控制的实时性和精确性，并在实际机器人系统中获得应用。 1 4 本论文的主要内容及结构安排 基于图像的机器人视觉伺服控制在实际机器人系统中的实现是本论文的研 究重点，它需要庞大的硬件和软件环境。硬件系统主要由两杆平面机器人系统、 p m a c 运动控制卡、d s p 图像处理系统、松下交流伺服系统等组成；软件系统主要 由d s p 图像处理程序、p m a c 运动控制程序、工控机主控程序等组成。本论文主 要研究了下列问题。( 1 )搭建了硬件实验平台，根据要实现的功能要求完成硬 件的连接和调试。通过对各硬件系统的分别介绍和深入学习研究，了解其功能， 并加以应用。( 2 ) 引进基于图像的视觉伺服方法到本研究课题中，绕过三维坐标 的重建，建立了图像空间像素的变化与机器人关节角度变化关系的图像雅可比矩 阵及其逆阵，并应用到实验中。( 3 ) 学习p m a c 卡功能并编制运动程序，调试其 系统，利用p ) , t a c 卡控制机器人。( 4 ) 熟悉d s p 图像处理系统，开发两种图像处 理程序并进行比较；将计算量少、精度高的点h o u g h 变换质心坐标求取算法应用 到d s p 图像处理中。图像处理程序实现了对视频图像的处理，通过对目标物体边 界的提取，求取了质心图像坐标。( 5 ) 熟悉松下交流伺服系统的功能，调试系统， 确保了机器人系统精确运转。( 6 ) 将f c m a c 控制方法应用到课题中，实现了基于 图像的机器人视觉伺服f c m a c 控制仿真，仿真结果表明，系统能对直线目标和曲 线目标进行快速准确的跟踪。( 7 ) 完成了系统硬件的融合和软件的协调，在实际 机器人系统中实现了基于图像的机器人视觉伺服控制。 本论文的结构安排如下： 第1 章为绪论部分，介绍了课题的背景，课题研究的目的和意义，国内外研 北京t 业大学t 学硕十学位论文 究现状等。 第2 章介绍了机器人基本理论，包括机器人组成、坐标表示和变化、运动学 和动力学方程求取等，重点描述了基于图像的机器人视觉伺服系统组成及本文要 应用的基于图像的视觉伺服数学模型。 第3 章介绍了交流伺服系统的原理和功能，重点介绍了松下交流伺服系统的 功能及在本论文中的应用，阐述了系统的调试和运转及其与p m a c 卡的连接。 第4 章是p i a c 卡部分，详细介绍了p m a c 卡的原理和功能、p c 0 1 哪3 2 动态链 接库部分函数的说明。重点阐述了对卡的调试和参数设置。 第5 章是d s p 图像处理部分，介绍了数字图像的原理、本文用到的处理方法。 重点介绍了s e e d v p m 6 4 2 图像处理系统的原理和功能。开发了两种图像处理程序 并进行比较实验；图像处理程序实现了对视频图像的处理，通过对目标物体边界 的提取，求取了质心图像坐标。 第6 章是基于图像的视觉伺服f c m a c 控制仿真，结合本文应用重点介绍了 f c m a c 控制器的原理和作用过程，并结合前面几章内容，建立了仿真系统，实现 了仿真。 第7 章是综合实验，融合系统硬件和软件，在实际机器人系统中进行基于 图像的机器人视觉伺服控制实验，初步实现了论文的预设要求。 最后为本论文的总结部分，对本课题的设计过程及研究成果进行了总结， 并对课题的进一步发展提出了展望。 第2 章机器人系统 第2 章机器人系统 2 1 机器人概述 2 1 1 什么是机器人 。 机器人自从诞生以来就在工业等许多领域产生了越来越大的影响，但各国对 机器人的定义均不同，无法用统一的定义来表示。参考各国的定义共同处，可认 为机器人是一种( 1 ) 像人或人的上肢，并能模仿人的动作：( 2 ) 具有智力或感 觉与识别能力；( 3 ) 是人造的机器或机械电子装置“”。 2 1 2 机器人组成部件 机器人作为一个系统，它由以下部件组成： 机械手：这是机器人的主体部分，由连杆、活动关节以及其他部件构成。 末端执行器：连接在机器人最后一个关节上的部件，它一般用来抓取物体，与其 他机构连接并执行需要的任务。 驱动器：驱动器是机械手的“肌肉”。常见的驱动器有伺服电机、步进电机、汽 缸及液压缸等，也有一些用于特殊场合的新型驱动器。驱动器受控制器的控制。 传感器：传感器用来收集机器人内部状态的信息或用来与外部环境进行通信。机 器人系统中的传感器将每一个关节和连杆的信息传送给控制器，由控制器根据控 制程序或要求控制关节的运动。机器人常配有许多传感器，例如视觉传感器、触 觉传感器、语言合成器等，以使机器人能与外界进行通信。 控制器：机器人控制器与人的小脑十分相似，它从中心处理器获取数据，控制驱 动器的动作，并与传感器反馈信息一起协调机器人的运动。例如要驱动关节转动 一个固定的角度，控制器发送该控制信号到驱动器，使驱动器运转，通过关节上 的反馈传感器( 编码器或码盘等) 测量关节角度的变化，当关节达到预定角度时， 停止发送控制信号。 中心处理器：处理器是机器人的大脑，用来计算机器人关节的运动，确定每个关 节应移动多少和多远才能达到预定的期望要求，并且监督控制器与传感器协调动 作，处理器通常就是一台计算机，只不过是一种专用计算机。它也需要拥有操作 系统、程序和像监视器那样的外部设备等。通常它也可以与控制器放置在同一单 元中。 软件：用于机器人的软件大致有三块。第一块是操作系统，用来操作计算机。第 二块是机器人软件，它根据机器人的运动方程计算每一个关节的必要动作，然后 将这些信息传送给控制器。第三块是例行程序集合和应用程序，他们是为了使用 机器人外部设备而开发的，或者是为了执行特定任务而开发的。 综上，机器人一般是由上述单元组成“”，但也可根据具体要求增减不同单元， 如本文的机器人系统就是如此。 北京t 业大学t 学硕士学位论文 2 1 3 机器人的自由度和关节、坐标 人们将物体能够对坐标系进行独立运动的数目称为自由度。自由度是机器人 的一个重要技术指标，它是由机器人的结构决定的，并直接影响到机器人的机动 性。正如在工程力学中所学到的，为了确定点在空间的位置，需要指定三个坐标， 就像直角坐标轴的x ，y ，z 三个坐标。要确定该点的位置必须要有三个坐标，因而 在机器人学中引进了自由度的概念，用来描述机器人能够完全确定物体的位置和 姿态。 机器人的关节是连接两个连杆的部件，机器人有许多不同类型的关节，有线 性的、旋转的、滑动的或球型的。不同类型的关节可以由气缸、液压缸或电机驱 动。 机器人的构型可以根据它们的坐标系来确定。由线性关节组成的机器人一般 使用笛卡尔坐标系( 直角坐标系) ，使用关节来确定末端执行器的位置，通常还 带有附加的旋转关节用来确定末端执行器的姿态。圆柱坐标机器人使用圆柱坐标 系来表征机器人位置和姿态。球坐标机器人用球坐标系来确定位置和姿态。 2 2 机器人运动学 当已知所有的关节变量时，可用正运动学来确定机器人末端手的位姿。如果 要使机器人末端手放在特定的点上并且具有特定的姿态“”，可用逆运动学计算出 每一关节变量的值。 2 2 1 位置和姿态的表示 2 2 1 1 位置描述 一旦建立了一个坐标系，我们就能够用某个3 1 位置矢量来确定该空间内 任一点的位置，对于直角坐标系 a ，如图2 - 1 所示，空间任一点p 的位置可用列 k 1 矢量。p = i p yl 表示，其中，以，p y ，见是点p 在坐标系 a 中的三个坐标分 b j 量。我们称o p 为位置矢量。 图2 - 1 位置表示 f i g u r e2 - lp o s i t i o nd e s c r i p t i o n 第2 章机器人系统 2 2 1 2 方位描述 为了研究机器人的运动与操作，往往不仅要表示空间某个点的位置，而且要 表示物体的方位。物体的方位可由某个固接于此物体的坐标系描述。为了规定空 间某刚体b 的方位，设置一直角坐标系 b 与此刚体固接。用坐标系 b 的三个单 位主矢量而，妇，钿相对于参考坐标系 a 的方向余弦组成的3 x 3 矩阵： f 吒l ，i 2 ，i 3 1 ；r = 。嘞, a y b , a z b = l 眨l 饧场l ( 2 1 ) l 吩l吩2吩3 j 来表示刚体b 相对于坐标系 a ) 的方位。扣称为旋转矩阵。式( 2 1 ) 中，上标 a 代表参考坐标系 a ，下标b 代表被描述的坐标系 b ) 。扣共有9 个元素，但只 有三个是独立的。三个列矢量。妇，。妇，。钿都是单位矢量，且两两相互垂直， 易知，旋转矩阵；r 是正交的，并且满足条件；r 一= b a r 7 ；ig r l f t 。对应于轴 x ，y ，z 作转角为口的旋转变换，其旋转矩阵分别为r “口) = 10 胡0 ，l l o 胡 r 胡0 卵、r 印捌o 、 r ( 弘印= l 0loi ，r 亿口) = l 胡胡0 l ；其中s 表示s i n ，c 表示c o s 。 l 一胡0 胡j10 0 1 j 2 2 1 3 位姿描述 要完全描述刚体b 在空间的位姿，通常将物体b 与某一坐标系 b ) 相固接。 b 的坐标原点一般选在物体b 的特征点上，如质心等。相对参考坐标系 a ，坐 标系 b ) 的原点位置和坐标轴的方位，分别由位置矢量。胁和旋转矩阵；r 描述。 这样，刚体b 的位姿可由坐标系 b 来描述：怛，= 知。几 。 2 2 2 坐标变换 2 2 2 1 平移坐标变换 空间中任意点p 在不同坐标系中的描述是不同的，为了阐明从一个坐标系到 另一个坐标系的描述关系，需要讨论坐标变换的关系。设坐标系 b 与 a 具有相 同的方位，但两坐标系的原点不重合。用位置矢量。舶。描述 b ) 相对于 a 的位 置，则物体p 相对于坐标系 a ) 的位置矢量o p 可由矢量相加得出，即： 。p = 占p + 。p 舢，该式称为坐标平移方程。 2 2 2 2 旋转坐标变换 设坐标系 b 与 a 有共同的坐标原点，但两者的方位不同。用旋转矩阵, a r m 述f b ) 相对于 a ) 的方位。同一点p 在两个坐标系 a 和 b 中的描述。p 和。p 具有 北京t 业大学1 = 学硕 ：学位论文 如下变换关系：。p = j r 8 p 。 2 2 2 3 复合变换 对于一般情形：坐标系 b 与 a 的原点既不重合，方位也不相同。结合前面 平移和旋转的关系，可得出任一点p 在两个坐标系 a 和 b ) 中的描述4 p 和。p 具 有如下变换关系：。p = ：r 。p + 。p 肿。 ( 2 2 ) 2 2 2 4 齐次坐标变换 复合变换式( 2 2 ) 对于点8 p 而言是非齐次的，但是可以将其表示成等价的齐 次变换形式 ? = ( 警。? 。 ? c z s ， 式( 2 3 ) 中，4 x 1 的列矢量表示三维空间的点，称为点的齐次坐标，将它表述为： 。p = 分。p ，其中齐次坐标。p 和。p 是4 1 的列矢量，齐次变换矩阵分是4 x 4 的方阵。实质上，该变换式与式( 2 - 1 ) 是等价的“町。 ( 1 ) 平移齐次坐标变换： 空间某点由矢量a i + 彩+ c k 描述，其中，i ，j ，k 为轴x ，y ，z 上的单位矢量，此 1 00 4 1 点可用平移齐次变换表示为：t r a n s ( 讪 c 产l ：o blrans 。i ( 2 - 4 a b c 产i 一 l o 0 0lj ( 2 ) 旋转齐次坐标变换：对应于轴x ，y ，z 作转角为目的旋转变换，分别可 得r o e 印户船a 9 - 。s o0 0 州辩0 - s 0 1 0o 龇口产l ；口1 0 。0 l 。5 1 0 00 l l 0 0 01 10 001 式( 2 5 ) 中r o t 表示旋转变换，s 表示s i n ，c 表示c o s 。 ( 3 ) 复合齐次变换：空间某点既有平移变换又有旋转变换时，按照变换的 先后顺序可得到如下的变换关系 式 ： t = t r a l l s ( a l ，b l ，c 1 ) t r a n s ( a n ，册，a n ) r o t ( y ，p ) r o t ( x , o ) ，这个变换矩阵表示对 原参考坐标系进行旋转和平移操作“。 2 2 3 机器人的运动方程表示 可以把任何机器人的机械手看作是一系列由关节连接起来的连杆构成的，为 机械手的每一连杆建立一个坐标系，并用齐次变换来描述这些坐标系间的相对位 置和姿态。通常把描述一个连杆与下一个连杆间相对关系的齐次变换叫做a 矩阵 “”，一个a 矩阵就是一个描述连杆坐标系间相对平移和旋转的齐次变换。如果以 0 4 表示第一个连杆相对于基坐标系的位置和姿态，1 4 表示第二个连杆相对于第 一个连杆的位置和姿态，以此类推，卜1 4 表示第i 个连杆相对于第i 一1 个连杆的 第2 章机器人系统 位置和姿态。那么，第i 个连杆在基坐标系中的位置和姿态变换矩阵0 4 可由下 列矩阵乘积给出：0 4 f = 0 4 1 4 4 ；若知道目标物体在第i 个连杆坐标系中 的位置。尸，则物体在基坐标系中的位置叩可由下式表示： o p = 0 41 4 卜1 4 。p ：0 4 p 。 求解运动方程，即求得机械手各关节的坐标，这对机械手的控制是至关重要 的，也是非常复杂的。如果我们知道机器人的机械手要移动到什么地方，我们需 要获得各关节的坐标值，以便进行这一移动。若只已知机械手的姿态，是没有一 种算法能够求得解答的“”。 2 2 4 平面机器人位置求解 对于平面机器人，其末端的位置表示将简单的多。考虑如图2 - 2 所示的两关 节平面机器人末端位置求解。 y 0x 图2 - 2 平面机器人位置图 f i g u r e2 - 2p o s i t i o no fp l a n er o b o t 假设图中0 代表坐标系原点，也为机器人第一关节位置，l 。和l 。分别代表第 一根杆和第二根杆的长度，01 代表第一根杆转过的角度，02 代表第二根杆相 对第一根杆转过的角度。p ( x ，y ) 代表机器人末端在该坐标系中的位置。则有如下 关系：x = l 1 c o s 8 1 + l 2 c o s ( 0 1 4 - 0 2 ) y = l 1 s i n 0 1 + l 2 s i n ( 0 1 + 曰2 1 ( 2 6 ) 式( 2 - 6 ) 表明机器人末端的位置可以通过机器人两杆的转角简单地计算出来。 2 3 机器人动力学 机器人是主动机械装置，它的每个自由度都具有单独传动能力。从控制观点 来看，机械手系统代表冗余的、多变量的和本质非线性的自动控制系统，也是个 复杂的动力学耦合系统。因此，研究机器人机械手的动力学问题，就是为了进一 步讨论控制问题。一般的操作机器人的动态方程均是由几个非线性微分方程表示 的，这些方程是很难求得准确解答的。实际控制时，往往要对动态方程做出某些 假设，进行简化处理。 2 3 1 动力学正问题 当已知机械手各关节的作用力或力矩，求出各关节的位移、速度和加速度， 继而求得运动轨迹，这是动力学的正问题。 北京t 业大学t 学硕 ：学位论文 2 3 2 动力学逆问题 当已知机械手的运动轨迹，即各关节的位移、速度和加速度，求出各关节所 需要的驱动力或力矩，这是动力学的逆问题。 2 3 3 动力学模型 根据文献 1 9 2 0 的介绍，说明求解图2 - 3 所示有两个旋转关节的机器人的 动力学方程。 y ox 图2 3 两关节机器人 f i g u r e2 - 3t w o j o i n tr o b o t 假设连杆的质量都集中于连杆的末端，t 。、t 。分别为作用在第一关节和第二 关节上的力矩，0i 、02 分别为杆1 和杆2 在力矩作用下转过的角度，m 。、毗 分别为杆1 和杆2 的质量，1 。、1 ：分别为杆1 和杆2 的长度。则有： t l = ，g ( 岛+ 晚) + ，吃乞c o s 岛( 2 萌+ 唛) + ( 铂+ ) 平岛一研2 之s i l l 岛鳄 2 ，屯之s i n 岛岛岛+ ，吃厶g c o s ( b + 岛) + ( 刀+ 行z 2 ) g c o s o , 岛= 刀如c o s 0 2 0 , + ，如，2s i i l 岛砰+ ，吃厶g c o s ( b + 岛) + 刀龟譬( q + 岛) ( 2 7 ) 若将上述两式写成矩阵形式，则有：f = m ( o ) 0 + v ( o ， ) + g ( ) ( 2 8 ) 式( 2 - 8 ) 中， r = 。- 孙 岬，= r 篇糍誉哆h 和豢螂 伢。， 以。，卸_ 毳：髫以嘲枷鲻勺 g c ，= 乏：；：笺盆：爰；+ 现+ m g 8 b ( 2 - 1 1 ) 式( 2 - 8 ) 是图2 - 3 所示的两关节机器人的动力学模型。其中，g ( o ) 表示重力 效应，两分量分别为连杆质量m l 、m 2 对于它们各自关节轴的力矩；v ( o ，白) 称为 离心和哥氏力项，它的两个分量反映了离心力以及哥氏力的影响； f ( ) 称为惯 性矩阵，它的各元素反映了各连杆、关节之间的转动惯量。由此可看出机器人动 力学模型的特点：( 1 ) 动力学方程中包含的项数多、复杂。随着机器人关节数的 增加方稗中的项数早几何级数增加。可达数百项。求解是非常闲难的。 第2 章机器人系统 ( 2 ) 高度非线性，方程的每一项均含有正弦、余弦等非线性因素。 ( 3 ) 高度耦合，各关节之间是互相耦合的。 ( 4 ) 模型不确定性，关节的摩擦系数也会随时间变化咖。 上述的机器人动力学方程忽略了摩擦力和各种干扰的影响，第6 章的仿真实 验采用的就是此简化模型。 2 4 机器人视觉伺服系统 2 4 1 基于位置的视觉伺服系统 基于位置的视觉伺服方法o ”嘲，伺服误差定义在三维笛卡尔空间，视觉或特 征信息用来估计机械手末端与目标的相对位姿2 。系统结构框图如图2 - 4 所示。 图2 4 基于位置的视觉伺服系统 f i g u r e2 - 4p o s i t i o n - - b a s e dr o b o t i cv i s u a ls e r y os y s t e m 该方法的主要优点是直接在笛卡尔空间控制机械手的运动，另外它把视觉重 构问题从机器人控制中分离出来，这样可以分别对二者进行研究。但这种方法一 般需要对视觉系统和机器人进行标定，要对图像进行解释，因而增加了计算量1 。 2 4 2 基于图像的视觉伺服系统 基于图像的视觉伺服系统汹1 ，其伺服误差直接定义在图像特征空间，即摄 像机观察到的特征信息直接用于反馈，不需要对三维姿态进行估计嘲。该方案的 结构框图如图2 5 所示。 图2 - 5 基于图像的视觉伺服系统 f i g u r e2 - 5i m a g e 吨s e dr o b o t i cv i s u a ls e r w os y s t e m 2 4 3 基于位置与基于图像的视觉伺服系统的比较 在基于位置的控制结构中，视觉处理输出的是运动目标的坐标，并由此估计 北京下业大学t 学硕 ：学位论文 目标与机器人之间的相对位姿，以控制机器人在直角坐标空间中的运动，它将视 觉处理与机器人运动控制分开，可以直观地在直角坐标系中描述期望的相对轨 迹。尤其当运动目标的轨迹易于用直角坐标表达时，多采用这种结构。但基于位 置的控制系统由于需要求解逆运动学方程，计算量比较大，同时它对机器入及摄 像机等的标定误差比较敏感，其控制的精度直接依赖于系统模型、标定误差等方 面，因此，不少研究致力于开发未标定视觉情况下对运动目标的操作。一般，在 基于位置的视觉伺服系统中，对运动目标操作主要完成以下几方面的工作：1 ) 快 速进行图像处理，获得运动目标相对于末端执行器的位置；2 ) 分析预测其位置、 速度、加速度等信息；3 ) 建立视觉控制算法，控制机器人的运动啪1 。 与基于位置的视觉控制不同，基于图像的控制系统将当前图像特征的集合与 理想图像特征集合对比，不需要对三维姿态估计，因而对摄像机标定的要求不高， 具有较强的鲁棒性。但基于图像的控制结构需在线计算图像雅可比矩阵及其逆 阵，计算量也比较大，而图像雅可比矩阵直接依赖于实时变化的摄像机与目标间 的距离，加大了计算的难度。基于图像的视觉伺服系统中的核心任务就是视觉图 像的处理问题。图像处理的首要任务是如何选取图像特征，对图像进行相应处理 后如何找到与机器人末端位姿建立联系的方法，即构造图像雅可比矩阵。 2 5 摄像机投影模型 2 5 1 摄像机成像原理 摄像机是一种能够摄取连续视频图像的设备。几何成像主要分为三类：透视 投影( 或称中心射影) 成像、仿射投影与正射投影成像。透视投影”1 比较简单、 实用，已经得到公认并被普遍采纳，本文采用的就是该模型。一般情况下，可以 将透视投影中的成像设备摄像机线性化，等效为小孔成像模型。从简化的几 何光学出发，物体的正常透视投影成像情况如图2 6 所示。然而人们为了计算上 的方便，在保持数学关系不变的前提下，通常采用与场景同向的正立虚像成像平 面几何模型嘲，在选取合适的坐标系后，其计算模型如图2 7 所示。 z 图2 - 6 小孔成像系统模型图2 7 成像系统计算模型 f i g u r e2 - 6p i n h o l ei m a g i n gm o d e lf i g u r e2 - 7i m a g i n gs y s t e mc a l c u l a t i o nm o d e l 图2 7 中的d 点为摄像机光心，0 z 轴为摄像机的光轴，它与成像平面垂直。x 轴和y 轴分别与图像平面的x 轴和y 轴平行，光轴与图像平面的交点0 l 即为图像坐 第2 章机器人系统 标系的原点。光心到焦平面的距离o d l 称为焦距f 。图中p ( x ，y ) 为空间点 p ( x y ，z ) 在图像平面上的投影。 2 5 2 图像平面坐标系 设( u ，v ) 是以像素为单位的以d 点为原点的图像坐标系坐标，( x ，y ) 是以物理 单位( 毫米) 表示的图像坐标系，如图2 - 8 所示。在x ，y 坐标系中，该坐标系以图像 内某一点d l 为原点，d l 定义为摄像机光轴与图像平面的交点，x ，y 轴分别与u ，v 轴平行。每一个像素在x 轴与y 轴方向的物理尺寸为d x 与d y ( 单位为哪像素) 。 则两个坐标系存在如下关系：”= + u o ，v = 车+ ，0 ；若取两原点重合，则 出 砂 有“：；， 出 v ：善。 砂 圈2 8 图像平面转换 f i g u r e 2 - 8i m a g ep l a n e st r a n s f o r m 2 5 3 线性摄像机模型 我们将摄像机线性化，等效为小孔成像模型，根据前面的成像系统计算模型 知，若空间点坐标为p ( x ，y ，z ) ，图像平面投影点坐标为p ( x ，y ) ，则两者存在如下 l ， y 关系：工= 厂鲁，y = ，专，结合上节内容，可建立以像素为单位的图像坐标 二厶 ， 系与摄像机坐标系之间的关系，即：“= ，r 等，= m r 等；其中m ，代表 。二二 像素与空间长度的转换因子，单位为像素m 。 2 6 本文实际机器人视觉伺服系统 2 6 1 机器人系统 图2 9 是本实验的二自由度平面机器人，第一关节垂直固定于工作平台上， 各关节均由松下交流伺服电机驱动，且只能在水平平面内转动，固定于第二根杆 末端的摄像头为单目c c d 摄像头，用数字信号处理器