（计算机应用技术专业论文）基于网络的机器人遥操作系统的设计和实现.pdf

南开大学项士学位论文2 0 0 3基于网络的机器人遥操作系统的设计和实现 摘要 伴随着互联网的飞速发展，基于网络的机器人遥操作技术正在成为机器人领域新的研 究热点。它综合了机器人控制、网络通讯、图像压缩和实时传输、虚拟现实等多个领域的 知识，为工业生产、远程医疗、远程教育等诸多应用领域的研究提供了新的方法。但是基 于网络的机器人遥操作一直还没有成熟的理论和方法，本文在此方面做了有益的探索。 基于计算机网络的特点、结合软件工程和虚拟现实技术，对以前的系统进行了新的改进 和设计，构建了一个开放的、灵活的、可剪裁的多用户多机器人遥操作实验平台的体系结构， 并实现了各功能模块。 采用t c p 与u d p 相结合的通讯方式，有效地保证了控制命令传输的可靠性和视频图像 传输的实时性：并且使用非阻塞套接字模式和多线程编程技术，优化提高了系统的整体性能。 使用c a n 总线替代原有的串口通讯方式，解决了多机器人之间通讯频繁、数据量较大 带来的通信问题，并且设计实现了多机器人控制器之间的通讯协议，提高了系统的可靠性、 实时性和灵活性，满足了多机器人之间实时通讯的要求。 根据机器人运动和控制的具体特点。汲取面向对象的软件设计思想，设计实现了一个集 数据通讯、视频接收播放、三维图形仿真、用户友好的人机接口为一体的遥操作客户端软件 系统。在客户端软件系统中集成了一个自行设计的多机器人三维图形仿真环境，仿真环境中 的机器人与真实的机器人具有相同的参数并采用相同的控制算法。遥操作用户一方面可以通 过多个图形窗口或者变换每个窗口中的视角，观测当前机器人的位置和姿态，监视机器人现 场的情况，另一方面又能够在虚拟环境中向机器人发送操作命令，控制机器人运动并完成指 定的作业。同时采用三维图形预显技术，有效地弥补了图像传输网络延迟较大的不足，增强 了网络遥操作的临场感。 总之，该实验平台为机器人遥操作研究提供一个真实的实验环境，并为相关的机器人控 制策略和算法的研究、以及探索新的机器人遥操作作业模式的研究提供了一个理想的平台。 本文对机器人遥操作平台的体系结构、各功能模块及采用的相关技术作了详细阐述。最后用 实验验证了系统的有效性和正确性，总结分析了该平台的优缺点，并指出了今后的研究方向。 关键字：机器人，遥操作，图形仿真，c a n 总线 第1 页 壹互垄兰罂主兰丝圭：! ! ： 苎王璺兰箜垫堡垒塑醴型生至丝箜垄盐坌塞墨 a b s t r a c t m o r ea n dm o r er e s e a r c h e r sa n d e n g i n e e r sg i v e t h e i rf o c u s e so ni n t e m e t b a s e d t e l e o p e r a t i o ns y s t e m ，s i n c ei n t e m e ti sw i d e s p r e a da n dc o n v e n i e n tt oa c c e s s i n t e r n e t - b a s e d t e l e o p e r a t i o ns y s t e mr e s e a r c h ，c o m p r i s i n go f r o b o tc o n t r o l ，n e t w o r kt h e o r y , i m a g ec o m p r e s s i n g a n dt r a n s m i s s i o n ，v i r t u a lr e a l i t y , p r o v i d e sn e wt o o lt od om a n y t h i n g ss u c ha ss c i e n c er e s e a r c h r e m o t es u r g e r y , r e m o t ee d u c a t i o n i ti sa r a p i dd e v e l o p m e n td o m a i n ，b u tn o tm a t u r e t h i sp a p e r g i v e ss o m e a t t r i b u t e st ot h ed o m a i n b a s e do nt h ec h a r a c t e r i s t i c so f i n t e m e t ，t e c h n o l o g i e so fs o f t w a r ee n g i n e e r i n ga n dv i r t u a l r e a l i t y , t h en e w i n t e m e t b a s e dt e l e o p e r a t i o ns y s t e mi sd e s i g n e dt ob em o r e o p e n ，m o r ef l e x i b l e ， m o r es c a l a b l ea n d c h e a p e r t h a nt h eo l do n ew eh a db u i i tb e f o r e i th a sam e d u l a r a r c h i t e c t u r ea n d c a nw o r kw i t h m u l t i o p e r a t o ra n dm u l t i - r o b o t t h en e ws y s t e m i sn o w w o r k i n g i no n rl a b a d o p t i n gt h ew a y o fc o m m u n i c a t i o nc o m b i n i n gt c pa n du d p , o u r s y s t e mg u a r a n t e e st h e r e l i a b i l i t yo f t h e c o m m a n d st r a n s m i s s i o na n dm a k e st h ev i d e ot r a n s m i t t e di nr e a lt i m e u t i l i z i n g t m b l o c k e ds o c k e tm o d ea n dm u l t i t h r e a d p r o g r a m m i n gt e c h n o l o g yo p t i m i z e st h es y s t e m s p e r f o r m a n c e c a n b u s ，t a k i n gp l a c eo f t h eo l dr s - 2 3 2 ，b e c o m e st h en e wl o c a lc o m m u n i c a t i o nm e d i a , w h i c hs o l v e st h ec o m m u n i c a t i o np r o b l e mc a u s e db yb i gd a t as i z ea n dh i 曲c o m m u n i c a t i o n 疗e q u e n c y a tt h es a m e t i m ei tm a k e st h es y s t e mm o r e r e l i a b l e ，f l e x i b l ea n dr e a l t i m e c o n s i d e r i n gt h e c h a r a c t e r i s t i c so fr o b o t sk i n e m a t i c sa n da d o p t i n gt h e o b j e c t - o r i e n t e d p r o g r a m m i n gm e t h o d ，w ed e s i g n t h ec l i e n ts o f t w a r ef u rt h ei n t e m e t - b a s e d t e l e o p e r a t i o ns y s t e m i ti s c o m p r i s e do fm a n ym o d u l e ss u c h a sd a t ac o m m u n i c a t i o n ，v i d e od e c o m p r e s s i n ga n d p l a y b a c k ，d y n a m i ct h r e e - d i m e n s i o n a lg r a p h i c s i m u l a t i o na n du s e rf r i e n d l yh u m a n c o m p u t e r i n t e r f a c e w ed e v e l o pam u l t i r o b o tv i r t u a le n v i r o n m e n t , w h o s ec h a r a c t e r i s t i c sa n dc o n t r o l a l g o r i t h ma r ea c c o r dw i t ht h er e a lm u l t i - r o b o te n v i r o n m e n t t h et e l e o p e r a t o rc a ni n t e r a c tw i t h t h er o b o t sb ys e n d i n gt h ec o m m a n da n dr e c e i v i n gt h ev i d e of e e d b a c k i na d d i t i o n ，p r e d i c t i v e v i e wo ft h ec o m m a n d sr e s u l ti nt h ev i r t u a le n v i r o n m e n t a u g m e n t s t h e t e l e p r e s e n c e o f t e l e o p e r a t i o n ， i naw h o l e ，t h ep a p e rb u i l d sa ni n t e r a c t - b a s e dt e l e o p e r a t i o nr o b o t i cs y s t e m ，i nw h i c ht h e r e s e a r c h e rc a na n a l y z ea n dv a l i d a t eh i ss t r a t e g ya n da l g o r i t h mb yc o n t r o l l i n gt h er o b o tv i a i n t e r a c t a tt h es a r n et i m e , t h es y s t e mp r o v i d e dap l a t f o r mt oi n v e s t i g a t en e wt a s km o d e lo f t e l e r o b o t i c s i nt h ep a p e r , w ea d d r e s st h ed e s i g na n dt h ei m p l e m e n t a t i o ni nd e t a i l a tl a s t , e x p e r i m e n t sa r ec a r r i e do u t 幻v a l i d a t et h ef e a s i b i l i t ya n dc o r r e c t n e s s t h e nt h ep a p e ra n a l y z e s t h es y s t e m st r a d e o f f , a n di l l u s t r a t e st h ef u t u r ew o r k k e y w o r d s ：r o b o t i c s ，t e l e o p e r a t i o n ，g r a p h i c a ls i m u l a t i o n ，c a n - b u s 笫i i 页 南开大学硕士学位论文2 0 0 3基于网络的机器人遥操作系统的设计争实现 1 1 引言 第一章绪论 遥操作机器人系统一般是指在人的控制和参与下能够在远离操作者的环境中控制 机器人完成比较复杂操作的系统。它研究的主要内容是人类和机器人如何合作，使人类 能在远离活动现场的地点，参与和完成现场活动。特别是伴随着互联网的飞速发展，把 网络技术和遥操作技术相结合，基于网络的机器人遥操作技术已经成为众多领域的研究 和工程技术人员关注的热点。它综合了机器人控制、网络通讯、图像压缩和实时传输、 虚拟现实等多个领域的知识，近些年来在科学研究、工业生产、远程医疗、远程教育中 得到了快速发展和应用。 在遥操作机器人系统中，操作员是不可缺少的重要组成部分，利用远程机器人完 成一项操作任务的整个过程中，自始至终都必须有人参加。同时，人通过观察系统对 机器人的工作情况及其周围环境保持直接或间接的监视，从而能充分依靠人的感觉( 视 觉、力的感觉、触觉等) 和智力及时做出判断和决策，以适应工作对象或其周围环境的 变化，随机应变地完成那些较为复杂的、或者事先难以预料的操作任务。为了使操作 者从繁琐的底层控制决策中解脱出来，遥操作机器人可以具备一定程度的局部自主性。 可以说，机器人遥操作，是将人类本地的动作，通过网络传输给机器人系统，来控制 远程的机器人完成作业任务。在理想情况下，人类可以像在本地一样的操作远地对象。 机器人遥操作系统主要包括机器人本体及控制器、操作者及人机交互接口和通信 链路三个部分。其突出的特点是操作人员也成为系统控制闭环的主要部分。借助全双 工通信链路，视频、力、位置等传感信息从机器人一方传送给操作人员，通过人机接 口以视频图像、力反馈装置、三维图形等再现出机器人工作的状态。操作人员根据传 来的现场情况，及时做出判断，发出相应的控制指令或者修改控制策略。机器人按指 令工作，执行结果再反馈给操作者。通信链路是命令和数据的传输媒介，主要作用是 保证命令的正确性及数据的实时性。 1 2 基于网络的机器人遥操作的研究状况 近十年来，基于i n t e m e t 的机器人遥操作技术得到了迅速的发展。主要原因是用户 操作的便利。因为机器人系统成为网络的一个节点，操作者可以从i n t e m e t 上的任何 地方操纵机器人；其次，可以运用通用的、标准的、现成的网络通信技术，仅仅需要 把软件设计开发的重点放在应用层和人机接口上。很多研究结构都已经进行基于 i n t e m e t 的机器人遥操作的研究，并且对存在的问题给予了不同程度的解决。 早在1 9 9 4 年，日本的e t l 和美国的j p l 实验室就已经开始了i n t e m e t 上的跨越太 平洋的遥操作实验，并提出了基于视觉的智能监控和高层命令相结合的遥操作方法。 他们在i s d n 上采用t c p i p 协议通讯，通信速率为5 6 k b p s ，r t t 时间为2 0 0 m s ，采用 第1 页 南开大学硕士学位论文2 1 ) 0 3基于网络的机器人遥操作系统的设计和实现 s o c k e t 技术传送控制命令，远程拷贝图像【l l 。 1 9 9 7 年的机器人和自动化会议展示了在新墨西哥州的操作者控制华盛顿大学的机 器人学和自动化中心的p u m a 机器人的实验( 距离大约足l5 0 0 公里) ，他们采用的是 u d p 通信，操作者监控机器人的状态，只在必要时才通过游戏杆进行干预，机器人处 于半自治状态1 2 1 。 近几年，计算机网络和虚拟现实等技术也在机器人遥操作系统中得到了广泛的应 用。从2 0 0 1 年和2 0 0 2 年国际机器人与自动化会议文集中可以看出，部分遥操作的系 统使用了基于w e b 的客户端【3 | 4 6 ，。”，充分利用了浏览器等技术的通用性和方便性，遥 操作用户可以通过i n t e m e t 直接访问机器人系统的网站，控制机器人完成遥操作任务： 在许多遥操作的系统中，采用了虚拟现实技术 3 a , 5 , 7 , 8 i 。如俄罗斯、法国和英国三个国 家的研究人员合作完成的遥操作实验，采用j a v a 和j a v a 3 d 技术建立了一个三维的虚 拟环境，通过w e b 方式访问远程网络上的遥操作机器人系统，利用数据手套控制机器 人运动【3 】。另外针对基于网络机器人遥操作系统的稳定性分析也在不断地深入研究中 1 9 , 1 0 , 1 1 1 。 我国在这一领域的研究也广泛开展起来许多大学和科研院所，如中科院沈阳自 动化所 1 2 1 3 】、清华大学1 1 4 】、南开大学1 1 5 , 1 6 】、北京航天航空大学【1 7 1 、哈尔滨工业大学【1 8 】、 上海交通大学、东南大学2 0 1 和国防科技大学川等正在从事这方面的研究工作。而这 一技术的广阔应用前景，一定会对特种机器人多功能化、工业机器人网络化、网络环 境下针对不确定时延的控制理论和实践，以及远程医疗、遥探测、深海遥操作、远程 教育等相关领域有所裨益。 1 2 1 关键技术 数据通信、机器人的自治程度和人机交互是实现基于i n t e m e t 的机器人遥操作系 统的关键技术。 首先在数据通信方面，由于i n t e m e t 自身的局限性，所以在i n t e m e t 上不可避免地 存在着数据包的延迟、丢失和失序，网络带宽限制和延迟抖动等问题。数据存取时间、 流程控制等待时间、存储一转发交换延迟以及查找内部节点信息的延迟等因素，会使 网络延时随着距离的增加而增加。而且，这种端到端的传输时延还因传输过程中经过 的网络节点的数量、每个网段的传输速度、网络当时的负载和各节点通信策略的不同 而不同，以其变化的不确定性和难以辨识为特征，呈现出一种动态的随机特性。数据 传输的延迟、丢失和失序，网络带宽限制以及延迟抖动，制约着i n t e r n e t 机器人遥操 作系统的性能。 再者，机器人的自治程度过高，操作者就不易介入控制的细节：但若机器人的自 治程度过低，又会因控制信息和反馈信息的频繁传送等原因造成额外通信和管理负载、 影响系统性能。根据机器人的自治和智能程度又可以将控制策略划分为直接连续控制、 共享连续控制、离散命令控制、监督控制和学习控制等等。 另外，友好而且便于理解和操作的人机界面也是基于n t e m e t 的机器人遥操作系 第2 页 南开大学硕士学位论文2 0 0 3基于网络的机器 退操作系统的设计和实现 统必须着重考虑的内容。实用、友好的界面能够帮助操作者对机器人状态变化做出及 时、准确的反馈：人机交互界面的设计原则是在尽可能减少数据传输量的情况下，给 遥操作用户提供尽可能多的信息和保持友好的操作界面。 1 2 2 数据通信问题 数据包的延迟、丢失和乱序，带宽限制和延迟抖动等问题是基于i n t c m c t 的机器 人遥操作系统面临的难题。为了解决不确定的随机通信延时等问题，众多研究人员从 以下几个方面提出了一些解决方法。 夺从远程控制的结构方面，人们提出了预测显示控制，双端控制和遥编程等三个 主要的方法【2 l 。预测显示控制主婴利用图形仿真和图像处理技术，建立系统的 仿真模型进行预演，轴助操作析做出决策。双向控制将远端的传感信息，尤j 足 力信息传给操作者进行控制，主从手的速度、位置和力对应相等。遥编程根据具 体任务建立指令串传给远程机器人执行，直至完成。如果有意外发生，则停下来， 等待操作者的进一步指令。 夺数据传送方面，有的用传送高层抽象数据或必要数据代替大量的连续数据的传 输，来减少数据通信量；有的用替代信息代替系统中机器人和环境之间连续的力 反馈，或用减少自由度信息的方法来获得系统的稳定性：也有的在操作者一方建 立机器人和环境模型，用仿真器反馈的操作信息预示任务执行情况，尽量减少数 据传送延时造成的操作不便：m a t s u m a r u 等人提出了基于任务的数据交换方法， 根据任务的内容和环境动态改变所传送的数据包的大小，以此来获得不同的控制 数据和图像数据更新的频率【2 ”。 夺把网络协议和业务流看成既定条件，对i n t e m c t 传输延时、丢包和设备输出等进 行建模 1 0 0 3 1 、预测和补偿。从控制工程的角度出发，把网络延时等因素明确地考 虑在内，改进遥操作系统中控制器设计和相关参数的设置，增加系统的稳定性、 可控性和可观测性。 夺使用计算机工程的方法进行资源分配、流量控制、拥塞控制和任务调度，设计通 信协议和通信策略来减少延时抖动、丢包和多数据包反馈不同步的发生适当地 支持控制系统i l 2 , 2 4 1 。 1 2 3 遥操作中的控制问题 扩展i n t e m e t 的功能，使其可与计算机之外的控制设备相连，完成特定的控制功能， i n t e m e t 的应用必将得到更大的发展。但从控制工程的角度讲，在控制闭环的通信线路 上引入各种专用的网络或包括i n t e r a c t 在内的公用网络，必将给控制系统稳定性、可 控性和可靠性等带来许多新问题。在同步控制等理想情况下的传统控制理论在应用到 网络控制系统中之前必须重新评估。 基于i n t e r a c t 的机器人遥操作系统要解决远程通信延时、抖动和数据包丢失等带来 第3 页 南开大学硕士学位论文2 0 0 3基于网络的机器人遥纂作系统的设计和实现 的传统控制所没有的操作透明性等问题。传统的远程工业控制的网络连接是安全的、 私有的，而i n t e m e t 连接是非安全的、非私有的，所以需要规划出新的体系结构和相 应的机制来控制和估计网络质量，并且能够及时对测量值做出正确的反应。 另外，从计算机和网络通信的角度来讲，控制网又不同于以往的数据网，前者主 要用于对机电设备的运行过程和环境状态进行检测和监控，要求网络具备高度的实时 性、安全性和可靠性，节点问相互传输的数据包小且频繁；而后者主要用于办公、通 信，提供文字、语音和图像等数据，是非频繁的海量数据的传输。在数据网中，主要 性能指标是系统吞吐量，也就是网络在单位时间内从源地址向目的地址传输的数据量。 在建立基于i n t e m e t 的机器人遥操作系统的时候必须考虑其特有的反馈回路上的多传 感器信息同步和协调、操作的有效性、缓冲策略、信息优先级动态变化、设备安全和 动态交互等特点，简单地把视频会议等其它分布式多媒体系统的相关技术直接用于遥 操作领域，并不能解决所有的问题。 1 2 4 遥操作系统中人与机器入的关系 人是在机器人遥操作系统中智能决策的来源，是控制系统智能的核心。根据人和机 器人的不同合作方法，可分为直接控制、共享控制、监督控制和协作控制等几种。 直接控制，也即手动控制，远程机嚣人在操作者的完全直接控制之下，足计算机辅 助的主从控制，机器人不具有任何自主性，在网路时延较大的情况下，只能采用“运 动一等待”的控制方法，系统效率较低。 共享控制中，人和计算机同时分别控制系统的不同方面，任务被划分后，子任务依 据人或计算机对任务的胜任程度在时域上分配给人或计算机。在共享和交换控制中， 操作者和计算机共享和交换控制权，可以减轻人的负担，使工作变得简单，甚至可 以完全替代操作者控制机器人。 监督控制中，一个或多个操作者不停地规划，同时不断地从一个通过执彳亍器和传感 器与被控过程和任务环境相连的计算机接收信息。监督的级别取决遇人的参与程度 和机器人自治的能力。监控系统是一个人机集成的系统，它由三个回路构成，即远 程回路，本地回路和监控回路。 协作控制，又称半自治控制或遥自治。就是指人和计算机之间严格意义上的合作， 也即两者是对等的关系，是共同完成任务的互相合作的主动智能体。两者都可以执 行任务，也可以监督另一方的活动。 1 3 课题背景和本文的工作 为了发现和分析基于网络的机器人遥操作系统中存在的问题，设计相应的策略， 为相关的算法提供实验和验证环境，受国家8 6 3 计烈“基于远程赠开放的机器人平台” 课题的资助，我们改进了实验室原有的多机器人系统集成平台，利用c a n 总线、摄 像机和多功能采集压缩卡等设备，设计并实现了基于网络的机器人遥操作系统平台。 第4 页 南开大学硕士学位论文2 0 0 ：3基于网络的机器人遥操作承纯的设计和实现 本课题的目标是广泛开展国际、国内合作，扬长避短，充分汲取国内外先进的研 究经验和研究成果，并在此基础上研究基于i n t e r n e t 的机器人遥操作系统的体系结构 与设计方案、新的规划和控制方法，以及探索新的遥操作作业模式。 本课题主要完成了以下工作： 夺机器人控制器的改造：包括机器人运动学，路径修正控制，轨迹规划，多机器人 标定，对弈竞赛中的双臂避碰等算法的设计和实现，还有选用q n x 作为中心控 制器的操作系统及q n x 下的软件移植和开发等工作； 令多机器人通讯；利用c a n 总线替代原有的串口通讯方式，实现了多机器人控制 器实时通讯的功能： 夺图像信息处理：基于颜色识别的图像处理算法和视觉伺服控制算法设计和实现； 夺力传惑器信息处理：力传感器采集和基于力，力矩的控制算法和实现； 令c s 模式的客户服务通讯：使用s o c k c t 技术和多线程技术，设计实现了基于s o c k e t 技术的客户服务通讯软件： 夺客户端：设计一个集基于d i r e c t x 的三维图形仿真环境，基于d i r e c t s h o w 的图像 解码播放软件，面向遥操作作业的机器入语言集和用户友好的入机交互界面为一 体的客户软件。 本文主要介绍本人在此课题中参与完成的工作：基于d i r e c t x 技术实现的机器人三 维图形仿真环境，基于c a n 总线技术的多机器人通讯协议和软件模块，基于s o c k e t 技术实现的c s 模式客户服务器通讯模块，客户端人机交互界面的设计实现和针对遥 操作作业的机器入语言集。 1 4 本文鲍组织 本论文共分为七章，各章节的内容安排如下： 第一章讨论了机器入遥操作的研究状况，阐述了基于i n t e m e t 的机器人遥操作 的关键技术。阐明了本文的课题背景、研究目的和意义，概述了本文的主要内容和章 节结构安排。 第二章详细讲述了本系统的体系结构，具体阐述了机器人控制器，客户服务器 通讯，基于c a n 总线数据通讯，图像处理和图像采集播放，摄像机和力传感器控制 器，远程客户机人机界面和三维图形仿真等模块功能。 第三章本系统中本地机器人系统和远程用户通过i n t e m e t 网络连接，本章介绍了 t c p i p 网络通讯协议和w i n s o c k 技术的特点，详细讲述了利用w i n s o e k 的非阻塞套接 字模式和i o 管理方法设计客户服务器软件的方法。本系统使用c a n 总线替代原有的 串1 2 1 通讯方式，本章会绍了c a n 总线的优点，并详细地讲述了本系统中c a n 总线的 使用方法以及多机器人控制器的通讯协议。 第四章详细讲述了在遥操作系统中三维图形仿真的意义，使用开发工具和建模方 法。根据机器人系统的运动和控制特点，采用d i r e c t x 技术设计并实现了三维图形动 态仿真环境。 第五章介绍了人机交互的意义和发展过程及趋向，具体地讲述了本系统中提供的 第5 页 南开大学硕士学位论文2 0 0 3基于网络的机嚣人遥操作系统的设计和实现 用户友好的人机交互界面和机器人的命令语言集设计方案。 第六章介绍了本课题组在机器人遥操作平台上实现的两个实验：轴孔互锁和网络 实时对弈比赛。 第七章全面总结本论文的主要研究工作、研究成果和结论，并对未来的研究工作 进行了展望。 笫6 页 壹亚盔芏罂主兰竺丝圭! ! ! !查王苎兰堂垫翌垡墨生墨垫箜盗茎坌塞墨 第二章基于网络的机器人遥操作 2 1 遥操作系统的体系结构 系统体系结构 本课题设计实现了一个基于网络的机器人遥操作系统，目的是充分利用计算机网 络的通用性和交互性，构造一个集研究和实验为一体的开放的机器人遥操作系统，在 遥操作用户的控制下，控制机器人完成指定的作业任务，提高机器人设备的资源使用 率，拓宽机器人技术在科研和工程领域的应用范围。 2 1 1 遥操作体系结构介绍 基于i n t e m e t 的机器人遥操作系统多数是在原有的机器人控制系统的基础上增加 客户软件和服务器软件构建而成的。从客户和服务器软件的实现方式上主要可分为 b s ( b r o w s e s e r v e r ) 和c s ( c l i e n t s e r v e r ) 两种模式。 基于b s 模式开发的系统利用现有的多媒体视频软件和i n t e r n e t 浏览器等工具，将 操作者当成w e b 用户，将机器人一方当成w e b 服务器，实现起来较简单易行。但是 基于w e b 的机器人遥揉作系统必须解决好系统可靠性、响应时间、人机接口等问题。 基于c s 模式开发的系统能给系统的设计者更多的自由度，便于从底层到高层全 方位介入，实施系统的优化、监控和提高系统效率；而且由于系统中数据交换等策略 都充分考虑了网络环境下的机器人遥操作的系统特点和需求，系统的整体性能较好， 但系统开发起来工作量大周期长，需要考虑自动控制、计算机操作系统，网络通信 协议和人机接口等诸多方面的细节。 b s 模式c s 模式 使用的网络协议h t t p 协议t c p u d p 协议 服务器软件w e b 服务器普通服务器程序 客户端软件浏览器普通客户端软件( 需下载使用) 开发工作量小大 开发工具 j a v a ，p e r ls o c k e t 和c c h 三维图形开发工具j a v a 3 d ，v r m lo p e n g l ，d i r e c t x 冗余数据多少 是否支持多用户支持支持 对底层数据传送控制不宜控制完全控制 系统整体性能较低较高 平台的依赖性平台无关和开发的平台有关，不通用 是否要求下载安装不需下载客户端需下载使用 表2 1网络遥操作中客户服务器软件开发模式比较 第7 页 南开大学硕士学位论文2 0 0 3 基于网络的机器人遥探作系统的设计和实现 2 1 2 本系统的体系结构 本系统体系结构选用的是c s 模式，主要是考虑可以对系统从底层到高层全方位 进行控制，系统的整体性能较好。主要分为机器人系统和客户端软件两个部分。 本系统的主要设计目标和技术特色： 夺设计并实现了一个高精度的三维图形仿真系统，增强了遥操作用户的临场感。 采用图形预显技术，有效地克服了网络延时对操作者的影响，较大地提高了工 作效率； 夺在对机器人控制器深入剖析的基础上，设计并实现了一个多机器人控制器，并 针对网络机器入作业的特点，对多机器人标定、轨迹规划、避碰检测等算法进 行了优化： 夺针对遥操作的特点，设计了方便友好的人机交互界面，对于不同的遥操作作业， 可以选用最方便的一种方式操作； 夺针对遥操作机器人的特点，设计了一种机器人控制命令语言集： 夺采用面向对象的软件设计和软件工程的管理方法，增加了机器人遥操作系统软 件的可扩展性和使用的方便性。 本课题设计实现遥操作系统的体系结构如图2 1 所示，具体描述如下： 机器人作业系统包括一个p u m a 5 6 2 机器臂，两个r h 型机器人和t 型导轨； 台中心控制器，负责多机器人的轨迹规划和避碰检测等算法的计算，然后按节拍将控 制数据送到每个机器人控制器：一台通讯服务器，是遥操作系统中机器人数据信息和 用户控制命令转发节点。在机器人工作现场的上述设备之间使用c a n 总线替代原有 的串1 2 1 通讯方式，通讯使用c a n 2 0 a 总线协议。中，f l , 控制器运行q n x 实时操作系统， 通讯服务器运行w i n d o w s2 0 0 0s e r v e r 。p u m a 5 6 2 控制器是实验室自行开发设计的 n k r c 4 型控制器，每个r h 型机器人都有自己的独立控制器，运行i r i s 实时操作系 统。 客户端软件运行在w i n d o w s 平台上，客户和服务器之间的网络通讯使用t c p i p 协议，使用w i n s o c k 技术开发数据通讯模块。客户端软件还包括机器人软示教盒和系 统管理模块，图像解码和播放，使用d i r e c t x 技术建立的三维图形仿真环境。 操作者在远离机器人工作现场，看不到机器人的情况下，系统利用事先建立的精 确机器人模型和通过网络传输到用户端的传感器信息实时绘制三维图形仿真场景，同 时播放从机器人现场采集的视频图像信息，帮助操作者掌握机器人和工作现场的情况， 然后做出判断并直接向机器人发出控制命令或者改变机器人的运动策略，控制机器人 运动，完成指定作业任务。 机器人现场的通讯服务器是系统的数据转发节点，它将机器人数据信息通过网络 传送给客户，同时将客户的控制命令通过c a n 总线发送给中，f l , 控制器。通讯服务器采 用多线程技术，能够支持多个用户并发访问。 第8 页 南开大学硕士学位论文2 0 0 3 基于网络的机器人遥操作系统的设计和实现 客户机“控橱r i 6i 啦) 遥掇作组织体系结构示意图 且 客户机2 ( 控制r h 6i d 3 ) 图2 1基于网络的遥操作系统体系结构图 南开大学硕士学位论文2 0 0 3基于网络的机器人遥操作系统的设计和实现 中心控制器接到控制命令后，首先进行多机器人运动学计算，轨迹规划及避碰检 测，然后按照每1 6 m s 一个节拍通过c a n 总线将控制数据再送往机器人下位机控制器， 驱动电机，控制机器人关节按照指定速度运动，进而完成用户指定的操作任务。 机器人位置传感器每1 6 m s 将机器人的关节信息传送给通讯服务器，由服务器将数 据转发给遥操作用户，通过三维图形的方式仿真机器人的运动状态，增加远端用户对 现场操作的感知度，便于高效、安全地完成作业任务。 摄像机实时采集现场环境的图像，然后利用采集压缩卡进行图像压缩后，再通过 网络传送给远端的遥操作用户。图像压缩可以提供m p e g 一1 和m e p g - 2 等多种压缩格式 和不同的图像大小，可以根据网络环境提供的带宽再调整。视频数据传输主要使用r t p 和r t c p 协议，保证在现有网络条件下尽可以提供实时的视频信息。 2 1 3 本系统与以前系统的比较 ( 1 ) 开放式机器人控制器的改进：采用q n x 实时操作系统 开放式机器人控制器的硬件平台可以大致分为两类：基于v m e 总线的系统和基 于p c 总线的系统。基于v m e 总线的系统通常采用v x w o r k s 、u n i x 操作系统或u n i x 的扩展版本( 如l y n x o s ) 。基于p c 的机器人控制器多选用w i n d o w s 9 5 9 8 ，n t 系统，主 要因为它们友好的图形操作界面、广泛的用户基础和方便的开发环境。l i n u x 系统以 其源代码的开放性也受到研究人员的关注。 在p c 的操作系统中，m s d o s 是一个非实时单任务内核，w i n d o w s 9 5 并不具有 实时能力，虽然w i n d o w sn t 良好的健壮性和安全性，但它不具有严格的实时处理能 力，而且它的硬件抽象层方法使得使用硬件的效率降低。系统的实时性能只能依赖系 统设计和程序设计来保证。解决实时性的另一种方案是采用实时操作系统( 如q n x 、 l y n x o s ) 或在非实时操作系统中使用实时补丁或扩展子系统( 如r t x 、r t l i n u x ) 。r t x 是微软提供的w i n d o w s n t 的实时子系统，r t l i n u x 是l i n u x 实时补丁。 本系统采用的是q n x 操作系统，它是一个实时微内核操作系统，内核中不包括 硬件驱动，拥有授权的程序员可以直接访问内存和i o 口，接触硬件中断服务程序， 这使得编写硬件接口非常容易。 q n x 操作系统核心仅提供4 种服务：进程调度、进程间通信、底层网络通信和中 断处理，其进程在独立的地址空间运行。所有其它o s 服务，都实现为协作的用户进 程，因此q n x 核心非常小巧( q n x 4 x 大约为1 2 k b ) ，而且运行速度极快。 q n x 系统遵循p o s i x 1 b 标准进行进程调度，保证了系统的实时性。 3 2 个进程优先级； 抢占式的、基于优先级的上下文切换； 可选调度策略：f i f o 、轮转策略、适应性策略。 ( 2 1 多机器人通讯方式改进：用c a n 总线代替原有的串口通讯 原有机器人系统中，机器人现场的设备通讯采用串口，但是串口通讯速率较低， 不能适应多机器人之间频繁传送大量数据的需要。另外使用串口通讯现场连线比较多， 并且通讯可靠性较低。所以新的系统中采用了通讯速率较高，实时性和可靠性更好的 南开大学硕士学位论文2 0 0 3 基于网络的机器人遥操作系统的设计和实现 c a n ( c o n t r o l l e r a r e an e t w o r k ) 总线。表2 - 2 是c a n 总线和串口通讯的比较。 c a n 总线串口r s 2 3 2 通讯速率较高，最高为1 m b i t s较低，最高为1 2 8 k b i t s 拓扑结构总线型点到点 设备间连线少多 实时性高低 扩展性好差 可靠性高，c r c 校验 低，奇偶校验 表2 - 2c a n 总线与串口通讯比较 ( 3 ) 集成的客户端软件环境 根据遥操作的需要，设计并实现了一个集成的客户端软件。系统集成三维图形仿 真子系统，能够接收网络传输的机器人关节角数据，以三维图形的方式模拟机器人的 运动状况；支持用户多窗口、多角度观测机器人工作现场：利用图形预显技术，能够 控制仿真环境中的图形机器人来响应用户的命令，有效地减小网络时延对遥操作系统 影响。系统还提供一个用户友好的、方便的人机交互界面和机器人语言集，方便用户 控制机器人完成遥操作作业。系统将视频插件集成到客户端软件中，接收视频图像数 据，解压并且播放。 2 2 系统的功能模块设计 本系统主要包括机器人控制系统，通讯模块和客户软件。机器人控制系统包括三 个机器人各自的控制器和中心控制器。通讯模块是基于t c p i p 协议建立的客户服务器 程序和基于c a n 总线的多机器人控制通讯模块，用于传送控制命令和数据信息。客 户端软件显示机器人工作情况接收用户的输入，进而控制远端的机器人。 2 2 1 多机器人控制器 参照p u m a 机器人，自行设计了一个基于p c 的开放式机器人控制器，用来控制 p u m a 机器人。它采用双c p u 分布式结构，用两台p c 机分别作为上位机和下位机， 其中上位机负责处理用户输入和轨迹规划，并把规划好的数据送给下位机，下位机接 收上位机送来的数据信息，并实际控制机器人运动到所要求的位置。在下位机的i s a 扩展槽上插入了四块自己研制的电路板，每块可控制三个机器人关节，由它们实现对 1 2 个自由度的多机器人的控制，现在本系统的p u m a5 6 2 使用了两个控制电路板，而 且只要符合硬件接1 2 1 规范可轻松完成对任意多个p u m a 型工业机器人的集成控制。 上位机和下位机通讯使用基于f p g a 的通讯接口板，有效减少了原有串行通讯带来的 延时，这样极大提高了系统的整体性能和精度，减少了故障发生率，保证了系统具有 足够的灵活性和适应能力。有关多机器人控制器设计详见睇“。 遥操作机器人系统还利用一台高性能p c 机，采用q n x 实时操作系统，作为p u m a 和两个r h 的协调控制的中心控制器。主要负责多机器人轨迹规划和避碰检测，协调 三个机器人的运动。 南开大学硕士学位论文2 0 0 3基于网络的机器人遥操作系统的设计和实现 软件控制环境是多机器人控制器的中枢，也是遥操作系统平台开放性、集成性和 可扩展性的重要体现。为了满足系统平台易重构、易移植、易维护和方便用户快速开 发的具体特点，故采用了面向对象的设计思想和方法。可以根据作业需要灵活地更改 其中的速度和加速度控制、轨迹规划、多机器人协调和避碰检测等算法和策略，极大 地扩充了系统平台的适用范围和利用率。 2 2 2 本系统中数据通讯 本系统中机器人工作现场中通讯服务器、中心控制器、p u m a 和r h 型机器人控 制器之间通讯采用c a n ( c o n t r o l l e r a r e an e t w o r k ) 总线技术，它是德国b o s c h 公司开 发的解决控制与测试仪器之间的数据交换的串行数据通讯协议。c a n 总线高速可靠的 通讯能够保障系统实时传输大量数据，其总线型的拓扑结构大大减少了连线数据，工 作现场变得整洁；此外在c a n 总线接口板上添加了光电隔离设备，增加了通讯的可 靠性。c a n 总线接1 ：3 板还使用了独立的微处理器，极大地减轻了主机c p u 的负担。 机器人系统和用户端机器通过i n t e m e t 互联，使用t c p i p 协议通讯，软件采用客 户和服务器通讯模式，机器人现场的通讯服务器是系统的服务器，可以支持多个客户 访问机器人系统。在w i n d o w s 系统平台上，通讯模块使用w i n s o c k 2 的应用程序接1 ：3 编程，服务器端采用事件i o 处理模式，客户端采用异步i o 处理模式。控制命令和机 器人关节数据使用t c p 协议传送，视频图像使用u d p 协议传输，服务器端采用多线 程编程技术，提高了系统的整体性能。 2 2 3 三维图形仿真 根据机器人杆件模具加工使用的a u t o c a d 模型构建及机器人的三维模型，然后 使用c o n v 3 d s 工具转化为d i r e c t 3 d 使用的标准x 文件格式，在仿真程序中读入三维图 形数据，获