（控制理论与控制工程专业论文）移动机器人主动视觉伺服技术研究.pdf

。 南开大学学位论文使用授权书 根据南开大学关于研究生学位论文收藏和利用管理办法，我校的博士、硕士学位获 得者均须向南开大学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在 著作权法规定范围内的学位论文使用权，即：( 1 ) 学位获得者必须按规定提交学位论文( 包 括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论文， 并编入南开大学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将公开 的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文 摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开大学向教育部 指定单位提交公开的学位论文；( 4 ) 学位论文作者授权学校向中国科技信息研究所和中国学 术期刊( 光盘) 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文数据库， 通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。 论文电子版提交至校图书馆网站：h t t p ：2 0 2 1 1 3 2 0 1 6 1 ：8 0 0 1 i n d e x h u n 。 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩； 提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。 作者暨授权人签字： 剖玺 2 0 1 0 年5 月2 8 日 南开大学研究生学位论文作者信息 论文题目 移动机器人主动视觉伺服技术研究 姓名刘玺学号 2 1 2 0 0 7 0 2 7 i 答辩日期2 0 1 0 年5 月2 8 日 论文类别博士口学历硕士口硕士专业学位高校教师口同等学力硕士口 院系所 信息技术科学学院专业控制理论与控制工程 联系电话 1 3 6 8 2 0 3 1 5 8 0e m a i l l i u x r o b o t n a n k a i e d u c n 通信地址( 邮编) ：北京市丰台区角f 1 1 1 ：路l l 号院4 号楼1 0 6 备注：是否批准为非公开论文否 【， ， 南开大学学位论文使用授权书 根据南开人学关丁研究生学位论文收藏和利川管理办法，我校的博十、硕十学位 获得者均须向南开人学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开人学有关研究生学位论文收藏和利川的管理规定。南开人学拥有在 并作权法规定范同内的学位论文使川权，即：( 1 ) 学位获得者必须按规定提交学位论文 ( 包括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论 文，并编入南开人学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将 公开的学位论文作为资料在图1 5 馆等场所提供校内师生阅读。在校园网上提供论文目录检 索、文摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开犬学向 教育部指定单位提交公开的学位论文：( 4 ) 学位论文作者授权学校向中国科技信息研究所和 中国学术期刊( 光盘) 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文 数据库，通过其相关网站对外进行信息服务。同时本人保留在其他虫! i ! 体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。 论文电子版提交至校图j 1 5 馆网站：h t q p ：2 0 2 1 1 3 2 0 1 6 l ：8 0 0 1 i n d e x h t m 。 本人承诺：本人的学位论文是在南开人学学习期间创作完成的作品，并已通过论文答 辩：提交的学位论文电子版与纸质本论文的内容一致，如冈不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权二t s 签署一式两份，由研究生院和幽j 1 5 馆留存。 作者暨授权人签字： 夕。fd 年多月f 同 南开大学研究生学位论文作者信息 论文题目移动机器入主动视觉伺服技术研究 姓名刘玺学号 2 1 2 0 0 7 0 2 7 l 答辩日期2 0 1 0 年5 月2 8 日 论文类别博十口学历硕十口硕十专业学位高校教师口同等学力硕十口 院系所信息技术科学学院 专业 控制理论与控制l ：程 联系电话1 3 6 8 2 0 3 1 5 8 0 e m a i li i u x i19 8 41214 y a h o o c o m c n 通信地址( 邮编) ：北京市丰台区角门北路11 号院4 号楼1 0 6 备注：是否批准为- i 卜公开论文否 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所 取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包 含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所 涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本 学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 割玺2 0 1 0 年5 月2 8 日 非公开学位论文标注说明 根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申 请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本 说明为空白。 论文题目移动机器人主动视觉伺服技术研究 申请密级 口限制( 2 年)口秘密( 1 0 年)口机密( 2 0 年) 保密期限 2 0 年月日至2 0年月日 审批表编号批准日期2 0年月日 限制2 年( 最长2 年，可少于2 年) 秘密1 0 年( 最长5 年，可少于5 年) 机密2 0 年( 最长1 0 年，可少于1 0 年) 摘要 摘要 随着图像处理、滤波技术、控制理论与计算机视觉等技术的发展，视觉传感 器被广泛应用于机械臂或移动机器人来提高系统的灵活性、智能性与精确性。基 于视觉传感器的移动机器人控制研究主要集中于视觉导航、视觉跟踪、视觉伺服 和基于视觉的定位与建图等方面。其中，视觉伺服控制是利用视觉传感器获得的 图像信息，来控制移动机器人到达指定位置姿态。在视觉伺服这一研究领域取 得了一些研究成果，但就该技术的研究与实际应用而言，尚存在一些有待解决的 难点问题。如系统对摄像机内参数和图像噪声过于敏感，特征点在视觉伺服过程 中很难始终保持在视野范围内( f o v 问题) ，视觉效率较低以及复杂环境下不易进 行路径规划等。 考虑到视觉伺服研究中存在的上述主要难点问题，论文提出了一种移动机 器人主动视觉伺服控制框架，并针对相关难点问题进行了深入研究。总体而言， 本文的主要工作集中于以下几个方面： ( 1 ) 本文搭建了移动机器人主动视觉伺服系统实验平台，简化了视觉伺服 算法实现的复杂度。具体而言，该系统硬件部分主要由p i o n e e r 3 - d x 移动机器 人、p t ud 4 昏1 7 云台系统以及d h s v 4 0 0 f c 摄像机组成。它们通过1 3 9 4 数据线 或串口转u s b 数据线来进行高速数据交换。软件部分应用面向对象的编程思想 编写而成，其主要特点是提高了视觉伺服算法的软件实现效率，增加了软件编程 中的代码复用率。同时，该软件平台还具有较好的可扩展性。 ( 2 ) 本文提出了一种具有全局指数收敛特性的摄像机内参数观测器。此观测 器可应用于主动视觉伺服系统中对摄像机进行在线标定。具体而言，该方法利用 主动视觉伺服系统中的高精度云台机构驱动摄像机进行俯仰和偏航运动，同时 提取摄像机拍摄图像中的特征点图像坐标。随后，本文分析了摄像机运动与图像 特征点变化的运动学关系，并结合云台摄像机的运动约束简化了该模型。在此基 础上，利用三维环境中四个或四个以上静止特征点的图像像素坐标构造了一种 摄像机内参数观测器。最后，应用线性时变系统稳定性定理证明了该观测器具有 全局指数收敛的性能。仿真结果表明了该摄像机内参数观测器具有辨识准确、收 敛速度快等优点。 摘要 ( 3 ) 针对在伺服过程中目标特征容易出离摄像机视野范围问题和运动轨迹低 效问题，论文提出了一种移动机器人自适应主动视觉伺服方法。它采用视觉跟踪 控制和移动机器人镇定控制的内外两层控制结构。其中，视觉跟踪部分通过自适 应控制器来驱动云台摄像机进行俯仰和偏航运动，从而保证特征点始终位于视 野范围中心位置处。移动机器人镇定控制部分使用了一种分步控制器驱动移动 机器人以直线路径运动到期望位姿处。概括而言，移动机器人主动视觉伺服系统 存在如下优点：1 系统实时满足f o v 约束条件。2 伺服效率高。3 算法不需要 三维位姿提取算法。最后，通过仿真和实验验证了该方法的性能。 ( 4 ) 针对视觉伺服控制在某些特殊场合应用时期望图像不可获得的问题，论 文提出了一种无期望图像的移动机器人主动视觉伺服控制策略。与传统的视觉 伺服系统相比，该系统不需要期望位姿处拍摄的图像与当前图像进行比较，而直 接利用实时拍摄的图像进行伺服控制。具体而言，在期望图像未知条件下系统选 择三维环境中的目标特征建立基准坐标系。随后通过图像特征点信息、云台机 构反馈角度和位姿提取算法来计算移动机器人实时的角度状态量，同时利用高 度观测器并结合摄像机模型对移动机器人在基准坐标系下的距离信息进行估计。 在此基础上，本文设计了一种分步控制器将移动机器人镇定控制到基准坐标系 表示下的任意位姿处。实验结果证明了该伺服策略的正确性与可行性。 关键词：移动机器人，主动视觉伺服，非线性观测器，李雅普诺夫方法 i i a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fv a r i o u st e c h n o l o g i e si n v o l v i n gi m a g ep r o c e s s - i n g ，f i l t e r i n g ，c o n t r o lt h e o r ya n dc o m p u t e rv i s i o n ，v i s u a ls e n s o rh a sb e e ni n t r o - d u c e di n t ot h er o b o tm a n i p u l a t o r so rm o b i l er o b o tt oi n c r e a s et h ef l e x i b i l i t y , i n t e l l i g e n c ea n dp r e c i s i o n t h eh o tt o p i c so fv i s i o n - b a s e dc o n t r o li n c l u d ev i u s a l n a v i g a t i o n ，v i s u a lt r a c k i n g ，v i s u a ls e r v o i n ga n dv i s u a ls l a m v i s u a ls e r v o i n gi s av e r yc h a l l e n g i n gi s s u e ，w h i c hh a sb e e np r o p o s e dt od r i v ear o b o tt or e a c ht h e d e s i r e dp o s i t i o n o r i e n t a t i o nt h r o u g hv i s u a lf e e d b a c k h o w e v e r ，c u r r e n tv i s u a ls e t - v o i n gs y s t e ms t i l lf a c e ss e v e r a lk e yd r a w b a c k ss u c ha so v e r s e n s i t i v i t yt oc a m e r a c a l i b r a t i o ne r r o ra n di m a g en o i s e ，d i f f i c u l t yt ok e e pt h et a r g e ti nt h ef i e l do fv i e w ( f o vp r o b l e m ) ，l o ws e r v o i n ge f f i c i e n c yd u et ot h el a r g et i m ec o s to fi m a g ep r o - c e s s i n g ，f a i l u r eo fp a t hp l a n n i n gi nc o m p l e xe n v i r o n m e n t ，a n ds oo n f o rt h ea f o r e d m e n t i o n e dt r o u b l e sw i t hv i s u a ls e r v o i n gc o n t r o l ，t h i sd i s s e r t a ， t i o nc o n s t r u c t sa na c t i v ev i s u a ls e r v o i n gs y s t e mo ft h em o b i l er o b o ta n dm a k e s af u r t h e rs t u d yo nt h es e v e r a lk e yt e c h n o l o g i e s i ng e n e r a l ，t h ew o r ki nt h i s d i s s e r t a t i o nc a nb es u m m a r i z e da sf o l l o w s ： ( 1 ) t h ee x p e r i m e n tp l a t f o r mo fa c t i v ev i s u a ls e r v o i n gs y s t e mi sc o n s t r u c t e dt o t e s tt h ed e s i g n e da l g o r i t h m sc o n v e n i e n t l y c o n c r e t e l y , t h eh a r d w a r ep a r to ft h e e x p e r i m e n tt e s t e di sc o m p o s e do fp i o n e e r 3 - d xm o b i l er o b o t ，p t ud 4 6 - 1 7p a n - t i l tp l a t f o r ma n dd h s v 4 0 0 f cc a m e r a f u r t h e r m o r e ，a no b j e c to r i e n t e ds o f t w a r e i sp r o g r a m m e db yv c + + l a n g u a g e ，w h i c hc a ni m p r o v et h ee f f i c i e n c yo fv i s u a l s e r v o i n ga l g o r i t h mi m p l e m e n t a t i o n m e a n w h i l e ，t h ed e s i g n e ds o f t w a r eh a st h e s t r o n ga b i l i t yo ft h er e u s a b i l i t y , m a i n t a i n a b i l i t y , e x p a n s i b i l i t y ( 2 ) ag l o b a le x p o n e n t i a lo b s e r v e ri sd e s i g n e dt oe s t i m a t et h ec a m e r ai n t r i n o s i cm a t r i xo n - l i n ei nt h ea c t i v ev i s u a ls e r v o i n gs y s t e m s p e c i a l l y , t h ec a m e r ai s m o u n t e do nt h ep a n - t i l tp l a t f o r ma n dc a nb er o t a t e di np a na n dt i l td i r e c t i o n s ， w h i l ef e a t u r ei m a g ep o i n t sa r ee x t r a c t e df r o mt h er e a l t i m ei m a g ec a p t u r e db yt h e c a m e r a f u r t h e r m o r e ，t h er e l a t i o n s h i pb e t w e e nt h es p e e do ft h ec a m e r ar o t a t i o n i i i a b s t r a c t a n dt h ec h a n g eo fi m a g ef e a t u r ep o i n t si sf i r s t l ya n a l y z e db a s e do nc a m e r am o d e l a n dt h ek i n e m a t i cr e s t r i c t i o no ft h ep a n - t i l tp l a t f o r m s u b s e q u e n t l y , n ol e s st h a n f o u ri m a g ep o i n t sa r ee m p l o y e dt oc o n s t r u c ta no b s e r v e rt oe s t i m a t et h ec a m - e r ai n t r i n s i cp a r a m e t e r s f i n a l l y , t h es t a b i l i t yt h e o r e mo ft h el i n e a rt i m e - v a r y i n g s y s t e m si su t i l i z e dt op r o v et h a tt h ep r o p o s e do b s e r v e ry i e l d sg l o b a le x p o n e n - t i a lc o n v e r g e n c eo ft h ec a m e r ai n t r i n s i cp a r a m e t e r s s i m u l a t i o nr e s u l t sv a l i d a t e t h ep r o p o s e dn o n l i n e a ro b s e r v e r ，w h i c hh a ss u c ha d v a n t a g e so fc o r r e c ta n df a s t c o n v e r g e n tr a t e ( 3 ) a na d a p t i v ea c t i v ev i s u a ls e r v o i n gs y s t e mo fm o b i l er o b o ti sp r e s e n t e dt o s o l v et h ef o vp r o b l e ma n dt oi m p r o v et h es e r v o i n ge f f i c i e n c y s p e c i a l l y , i nt h e l o w e rl e v e l ，a na d a p t i v ev i s u a lt r a c k i n gc o n t r o l l e ri sd e s i g n e dt ok e e pt h et a r g e t p o i n t sl y i n ga r o u n dt h ec e n t e ro ft h ei m a g ep l a n eb yr o t a t i n gt h ep a np l a t f o r m o ft h ec a m e r a o nt h eh i g h e rl e v e l ，as w i t c h e dc o n t r o l l e ri su t i l i z e dt od r i v et h e m o b i l er o b o tt or e a c ht h ed e s i r e dc o n f i g u r a t i o nt h r o u g hs t r a i g h t l i n ep a t h t h e d e s i g n e da c t i v ev i s u a ls e r v o i n gs y s t e mp r e s e n t ss u c ha d v a n t a g e sa sf o l l o w s ：i a s a t i s f a c t o r ys o l u t i o nf o rt h ef i e l do fv i e w ( f o v ) p r o b l e m ；i i g l o b a lh i g hs e r v o i n g e f f i c i e n c y ；i i i f r e eo fa n yc o m p l e xp o s ee s t i m a t i o na l g o r i t h m su s u a l l yr e q u i r e df o r v i s u a ls e r v o i n gs y s t e m s b o t hs i m u l a t i o na n de x p e r i m e n tr e s u l t sa r ep r o v i d e dt o v a l i d a t et h ee f f e c t i v e n e s so ft h ep r o p o s e da c t i v ev i s u a ls e r v o i n gm e t h o d ( 4 ) a na c t i v ev i s u a ls e r v o i n gs y s t e mw i t h o u td e s i r e di m a g ei sp r o p o s e df o r s o m es p e c i a la p p l i c a t i o ni nc e r t a i nc i r c u m s t a n c e s c o m p a r e dw i t ht h et r a d i t i o n a l v i s u a ls e r v o i n gs y s t e m ，t h ed e s i g n e ds c h e m ec a ne x t r a c tt h es t a t ei n f o r m a t i o n f r o mt h ei n i t i a la n dc u r r e n ti m a g e s p e c i a l l y , t h er e f e r e n c ec o o r d i n a t ei sf i r s t l ye 8 - t a b l i s h e db yt h et a r g e tp o i n t s s u b s e q u e n t l y , t h ea n g l e sb e t w e e nt h em o b i l er o b o t a n dt h et a r g e tp l a n ec a nb ec a l c u l a t e db yr e a l - t i m ei m a g ef e e d b a c k m e a n w h i l e ， t h ed i s t a n c ei n f o r m a t i o ni se s t i m a t e do n l i n eb yan o n l i n e a ro b s e r v e r b a s e do n t h e s e ，as w i t c h e dc o n t r o l l e ri su t i l i z e dt od r i v et h em o b i l er o b o tt ot h ed e s i r e d p o s i t i o n o r i e n t a t i o nd e n o t e di nr e f e r e n c ec o o r d i n a t e e x p e r i m e n tr e s u l t sv a l i d a t e t h ep r o p o s e da l g o r i t h m k e yw o r d sm o b i l er o b o t ，a c t i v ev i s u a ls e r v o i n g ，n o n l i n e a ro b s e r v e r ，l y a p u n o v m e t h o d i v 目录 目录 摘要 i a b s t r a c t i i i 第一章绪论 1 第一节研究意义 1 第二节视觉伺服技术的研究现状与主要问题 2 2 1 国内外研究现状 - 2 2 1 1 视觉伺服系统分类 2 2 1 2 典型的视觉伺服控制策略 3 2 2 现存主要问题 - 4 2 2 1 深度信息缺失问题 5 2 2 2 移动机器人非完整性约束条件问题 5 2 2 3 摄像机内外参数与图像噪声问题 6 2 2 4 目标特征出离视野范围问题 7 第三节论文主要内容与结构 8 第二章移动机器人主动视觉伺服系统实验平台搭建1 1 第一节移动机器人主动视觉伺服系统硬件平台- 1 1 1 1 硬件系统整体结构 - 1 1 1 2p i o n e e r 3 - d x 移动机器人 1 1 1 3d h s v 4 0 0 f c 摄像机- - 1 2 1 4p t ud 4 6 - 1 7 云台系统1 3 第二节移动机器人主动视觉伺服系统软件平台 1 4 2 1 软件平台架构 1 4 v 目录 2 2 特征点提取与跟踪算法实现- 1 7 第三章主动视觉伺服系统云台摄像机内参数辨识 2 1 第一节问题的提出 2 l 第二节系统建模2 3 2 1 运动学方程 2 3 2 2 摄像机模型 2 4 2 3 图像雅克比矩阵 2 5 第三节摄像机内参数观测器 2 5 3 1 非线性观测器设计 2 5 3 2 非线性观测器稳定性证明2 9 第四节仿真结果3 1 第五节本章小结3 3 第四章移动机器人自适应主动视觉伺服方法3 5 第一节问题的提出 3 5 第二节移动机器人主动视觉伺服系统框架 3 6 第三节自适应视觉跟踪控制器设计 3 7 3 1 模型分析 - 3 8 3 2 自适应跟踪控制器设计- 4 0 3 3 稳定性分析 4 1 第四节移动机器人镇定控制器 4 2 4 1 单应矩阵介绍 4 2 4 2 基于移动机器人单应矩阵元素的镇定控制器- 4 5 第五节仿真及实验结果 4 6 5 1 仿真结果 4 6 v i 目录 5 2 实验结果 - 5 0 第六节本章小结 5 1 第五章移动机器人无期望图像主动视觉伺服技术5 7 第一节问题的提出 5 7 第二节数学描述与系统框架5 8 2 1 问题的数学描述 5 8 2 2 系统框架 6 0 第三节系统状态信号量提取6 1 3 1 咖( t ) 信号测量- - 6 1 3 2 p ( t ) 信号提取- 6 2 3 3 基于非线性观测器的深度信号提取6 3 3 3 1 高度观测器设计 6 3 3 3 2 高度观测器稳定性证明6 4 第四节移动机器人镇定控制6 5 第五节实验结果与分析6 8 第六节本章小结7 0 第六章结论与展望 7 5 第一节结论7 5 第二节展望7 6 参考文献7 9 致谢8 7 个人简历8 9 v i i 目录 i i 第一章绪论 第一章绪论 第一节研究意义 移动机器人的研究始于6 0 年代末期。斯坦福研究院的n i l sn i l s s e n 和c h a r l e s r o s e n 等人，在1 9 6 6 年至1 9 7 2 年中制造出了取名为s h a k e y 的自主移动机器人【1 】。 目的是研究和应用人工智能技术，以提高在复杂环境下机器人系统的自主推理、 规划和控制的能力。近几十年来，世界各国对移动机器人的研究得到了前所未 有的发展【2 】2 ，移动机器人”上天、下地、入海”，在星球探n 3 ，4 1 、海洋开剔5 】、国 防安全【6 】、救灾救难( 7 8 1 、家庭服务【9 ，l o 等军用以及民用领域均得到了广泛的应 用。可以预见，随着图像处理、模式识别、机械电子、计算机自动化等领域相关 技术的不断发展与进步，未来的移动机器人必将具有更高的智能化水平、更为强 大的工作能力、更为广阔的工作空间、以及相当强的自主决策能力，从而在国家 的高端领域以及民用场合彰显其日益重要的作用【1 1 1 。 视觉作为人类获取信息最主要的感官，其检i 贝 j n 的图像数据包含丰富的信 息。在为智能机器人增加各种外部传感器的过程中，视觉传感器因具有非接触 测量、信息量大、成本低、适用范围广等特点而成为最重要的机器人传感器之 一。随着模式识别、自动化与计算机等技术的发展，它在动态非结构化环境下辅 助机器人完成探索与导航等诸多任务时，已逐渐发挥出巨大作用。因此，将视 觉传感器加载到移动机器人平台上可大幅度提高机器人的智能化水平，现已成 为机器人研究领域中的一个热点问题。近年来，基于视觉传感器的移动机器人 控制研究主要集中于视觉导航( v i s u a ln a v i g a t i o n l 【1 2 1 3 ，1 4 ，1 5 】、视觉跟踪( v i s u a l t r a c k i n g ) 【1 6 ，1 7 , 1 8 j 、视觉伺服( v i s u a l s e r v o i n g ) ( 1 9 ，2 0 ，2 1 】和基于视觉的定位与建 图( v i s u a ls l a m ) 2 2 ，2 a 等方面。 移动机器人视觉伺服控制是探讨如何有效地利用视觉传感器获得的图像信 息，来控制移动机器人到达指定位置姿态或跟踪特定轨迹的问题。具体而言， 视觉传感器一般安装在机器人本体上并随其一起运动。在传统的视觉伺服控制 过程中，首先移动机器人在期望位置姿态处拍摄一幅图片作为期望图像，然后 将机器人移动到任意初始位置姿态处，利用图像处理技术提取并匹配当前图像 与期望图像的特征信息。根据图像特征信息可计算得到系统误差量。在此基础 第一章绪论 上，通过设计控制器可驱动机器人运动到期望位姿处。针对视觉伺服控制问题， 在理论研究方面，如何高速地采集图像并准确地提取与跟踪图像特征信息需要 对图像处理技术进行深入研究；由于摄像机拍摄的二维图像中缺少深度信息，因 此通过图像特征进行三维重建有待计算机视觉技术的发展来更好的解决；针对 移动机器人自身存在的非完整性约束条件，如何对其进行镇定控制和路径规划 对控制理论提出了更高的要求；同时，视觉伺服精度常常受视觉传感器内外参数 和图像噪声的影响较大，因此对视觉伺服领域的研究也必将拓展摄像机标定技 术、滤波技术以及鲁棒控制技术等。在实际应用方面，视觉伺服系统在机械零件 的自动检测与处理，泊车入位，微操作，自主车导航，登陆舱的自动着陆以及空 间机器人遥操作等前沿领域的应用都有着广阔的前景。鉴于此，近年来视觉伺服 已经受到了广大机器人学家以及控制学家的关注。因此对移动机器人视觉伺服 技术的研究具有理论与实际应用的双重意义。 第二节视觉伺服技术的研究现状与主要问题 2 1国内外研究现状 2 1 1视觉伺服系统分类 视觉伺服系统就是利用一个或者多个摄像机来感知机器人的位置姿态，从 而对其位置方向进行精确控制。它涉及多个学科领域的研究，如：计算机视觉、 机器人、自动控制、实时计算等。机器人视觉伺服系统通常可以从不同的角度， 如误差量构造形式、控制结构、摄像机安装位置、控制对象、摄像机数目等方面 进行分类： ( 1 ) 根据反馈信息构造误差量的形式，视觉伺服控制系统可以分为基于 位置的视觉伺服控s j ( p o s i t i o n - b a s e dv i s u a ls e r v o i n g ) 、基于图像的视觉伺服控 锘1 ( i m a g e - b a s e dv i s u a ls e r v o i n g ) 以及混合的视觉伺服控制( h y b r i dv i s u a ls e r v o - i n g ) 。其中，基于位置的视觉伺服系统中误差信号定义在三维笛卡尔坐标空间 中。而基于图像的视觉伺服系统的偏差量定义在二维图像平面空间中。与上述两 种方案不同，混合的视觉伺服控制系统中的误差量选取既包括三维笛卡尔坐标 系下的信息也包括二维图像平面空间中的信息。 ( 2 ) 根据控制结构，视觉伺服控制系统可分为开环控制系统和闭环控制系统。 开环控制系统的视觉信息只用来确定运动前的目标位姿，系统不要求昂贵的实 2 第一章绪论 时硬件，但要求事先对摄像机一机器人进行精确标定，所以控制效果很大程度上 由摄像机一机器人定标精度决定。闭环控制系统利用实时的视觉信息作为反馈， 这种情况下能够一定程度上补偿摄像机与机器人的标定误差和实时的图像噪声 影响，但要求快速视觉处理硬件与算法，否则实时性不能保证。 ( 3 ) 根据摄像机的安装位置不同可分为手眼安装方式和其它安装方式。其中 手眼安装方式一般将摄像机安装在机器人本体上并使其随机器人一起运动。在 运动过程中，摄像机与机器人之间始终存在固定的位置关系。同时，摄像机实时 拍摄周围环境信息来控制机器人完成伺服任务。摄像机的其它安装方式包括很 多种，其中典型的是将摄像机固定于工作区某个位置处且不随机器人本体运动， 在此基础上通过实时拍摄到机器人本体照片来控制机器人完成伺服任务。 ( 4 ) 根据控制对象的不同，可以分为机械臂视觉伺服控制、移动机器人视觉 伺服控制、无人机视觉伺服控制、水下机器人视觉伺服控制等。 ( 5 ) 根据所用摄像机的数目不同，可分为单目视觉伺服系统、双目视觉伺服 系统以及多目视觉伺服系统等。 2 1 2典型的视觉伺服控制策略 视觉伺服技术即利用摄像机拍摄的图像信息来驱动机器人运动到期望的 位姿处。一般的机器人视觉伺服策略可分为以下三种，即基于位置的视觉伺 服( p o s i t i o n - b a s e dv i s u a ls e r v o i n g ) 2 4 ，2 5 】、基于图像的视觉伺服( i m a g e - b a s e d v i s u a ls e r v o i n g ) 【2 6 ，2 7 t 嬲，冽及2 5 维视觉伺服f 2 5 dv i s u a ls e r v o i n g ) a o ，3 l ，3 2 ，删。以 下将分别对上述三种典型的视觉伺服策略进行详细介绍。 基于位置的视觉伺服策略利用图像信号来提取机器人的三维位置姿态信 息，并将其与期望位姿值进行比较从而得到三维笛卡尔坐标系表示的系统误差 量。随后利用基于位置的视觉伺服控制器计算出机器人的运动控制量，在此基础 上，可通过实时发送运动控制指令的方式来驱动机器人运动，以完成伺服任务。 该视觉伺服策略能直接在三维空间控制机器人运动，另外它把基于视觉的三维 重建问题与机器人控制问题分离开来，这样可以分别对二者进行研究。然而随着 研究的深入，尽管基于位置的视觉伺服系统在实际应用中较为便利，但它却存在 如下缺点：( 1 ) 依赖于摄像机内外参数的标定精度，对标定参数误差敏感，为获得 深度信息还需要全部或部分已知目标的模型：( 2 ) 对v l 标特征在图像中的轨迹没 有任何控制，这意味着在伺服过程中目标很可能出离摄像机的视觉范围，从而导 3 第一章绪论 致伺服控制任务的失败。 基于图像的视觉伺服策略将误差信号直接定义在图像平面中，即摄像机拍 摄到的特征信息直接用于反馈，不利用图像信系进行三维重建，因此基于图像的 视觉伺服控制系统又称为2 d 视觉伺服。与基于位置的方法相比，该伺服策略不 需要进行位姿估计，因此系统受传感器模型、运动学方程、摄像机标定所到来的 误差影响较小，机器人视觉控制精度比较高，正好克服了基于位置的视觉伺服系 统的部分缺点。但随着研究的深入，基于图像的视觉伺服控制系统也存在许多问 题，主要表现为：( 1 ) 由于使用二维图像信息直接进行反馈控制，并没有进行三维 位姿提取，因此控制过程中往往需要估计目标深度。然而深度估计问题一直是计 算机视觉中的难点；( 2 ) 机器人位姿可能收敛于局部最小点，而非期望位姿处。同 时，图像雅克比矩阵可能存在奇异值而使系统不稳定。( 3 ) 需要实时估计机器人 位姿的变化量与图像平面特征变化量之间的关系，即图像雅可比矩阵。当目标特 征较多时，图像雅克比矩阵的估计与求逆计算量很大，不利于实时控制。 在对上述两种视觉伺服控制策略进行深入研究的基础上，学者们提出了混 合的视觉伺服策略 3 4 5 1 。其中，e m a l i s 等人以目标特征点的二维图像坐标误差 和摄像机三维旋转误差作为控制系统的输入量，针对六自由度机械臂提出了一 种全新的视觉伺服策略，即2 5 维视觉伺服策吲，删。该策略不仅保证系统在整 个工作空间中不存在奇异点，而且还能确保机械臂在工作空间中任意位姿处均 可向期望位姿处收敛。此外，该伺服策略对摄像机的标定误差依赖性较小，能够 克服基于位置的视觉伺服系统的缺点。在此基础上，y f a n g 等人搭建了移动机器 人2 5 维的视觉伺服系统【3 2 删。然而细致分析2 5 维伺服策略可知，这种方法不能 保证图像特征始终位于视野之内，并且对摄像机参数的鲁棒性亦需要迸一步加 强。因此，如何进一步降低视觉系统中的各种不确定因素，如摄像机内外参数 的标定误差，图像信号中的噪声等的影响