（计算机软件与理论专业论文）基于双目立体视觉的机器人导航研究.pdf

摘要 本文以双目立体视觉做为基础，对移动机器人导航进行了研究。双目立体视觉导航 是依靠机器人上装置的两个摄像头对环境连续摄像，从获取的连续图像对信息中得到周 围环境的三维简化地图，三维导航算法以此地图作为依据，得出最优路径，避开障碍物， 引导机器人向目的点前行的一种新兴导航方式。 导航有多种方法，但是对于未知环境下的移动机器人导航来说，双目立体视觉导航 是较好的一种导航方式。它有较多优点，例如它是被动的( 摄像头被动感光) ，不对外 界辐射能量，在军事应用便于隐蔽自身。它还可以根据环境与需要，实现导航精确度与 实时性问的权衡取舍。目前的双目立体视觉导航主要缺点为实日寸性差，前端分析处理时 间过长，且缺少由双目立体视觉技术精确生成地图的方法。 双目立体视觉导航主要包括双目立体视觉技术，地图生成，导航算法部分。双目立 体视觉技术包括数字图像获取、噪声过滤、边缘分割、特征提取、立体匹配、深度图生 成部分；地图生成包括三维重建、地图表示部分；导航算法主要指路径规划概述。 本文的研究重点有两个：第一点是将双目立体视觉技术与导航整体考虑。提出一个 以实现任务为导向，基于反馈原理，对实时性和导航精度可权衡的双曰立体视觉技术简 化方法。第二点是地图生成这一部分。提出了一个在深度图、双目立体视觉部分的原始 图像对和线条图基础上，以特征反向检索匹配的思想为指导，按由点生成线、由线生成 面、由面生成体、由2 5 维转三维的步骤，附加坐标转换和错误检查功能，最终完成三 维地图重建的方法。此外对这两种方法的可行性进行了论证后，给出了相应的主要算法。 关键词：移动机器人导航；双目立体视觉；三维地图；实时性 东北师范大学硕士学位论文 a b s t r a c t t h i st h e s i sb a s e do nb i n o c u l a rs t e r 0v i s i o nh a ss t u d i e dt h en a v i g a t i o no ft h em o b l l e m b o t n a v i g a t i o no fb i n o c u l a rs t e r ov i s i o ni sak i n do fn e wn a v i g a t i o nm e t h o d 曲砒r e l yo na c o u p l eo fc 锄e r at h a t 士i x e do nt h em o b i l er o b o tg e tt h ei n f b 衄a t i o no fe n v i r o r 曲e n t t h e3 d m a p t h a tg e tf r o mt 1 1 i si i l i o m l a t i o nb es e n dt on a v i g a t i o n 捌也m e t i ct og e tb e s tp a t ht oa v o i d o b s t a c l ea n e1 e a dr o b o tm o v ef o n v a r d t h o u 曲吐1 e r e a r em a i l gn a v i g a t i o nm e 吐1 0 d ，b mf o rm em o b i l er o b o ti nu r 止o w n e n v i r o m n e n tt h eb i n o c u l a rs t e r ov i s i o nn a v i g a t i o ni sab e t 【e rm e t h o d c o m p a r e dt 0o t h e t 印p r o a c h e s ，s t e r e ov i s i o nn a v i g a t i o ni sm p i d a c c u r a t ea 1 1 de a s yt oc o n c e a l a s “i sap a s s i v e m e a s u r e m e n t ，w h i c hd o e sn o te m “l i 曲ta 1 1 dr a d i a t i o n a 1 1 di tc a l lg e tt h eb a l a n c ep o i n tf o r r n r e a l t i m ep e 怕姗a n c ea n da c c u r a c yo fn a v i g a t i o n a tt 1 1 ep r e s e n tt i m e ，t h em a i ns h o r t c o m eo f s t e r 0v j s i o nt e c h n 0 1 0 9 yi sb a dr c a lt i i n ep e r f b m l a n c e ，t o om u c h 血n eb es p e n ta tf o r - s e q u e n c e d i s p o s e a 1 1 dl a c kaw a y t or e b u i l dv e r ya c c u r a t e3 dm 印 t h en a v i g a t i o no fb m o c u l a rs t e r ov i s i o ni n c l u d eb m o c u l a rs t e r ov i s i o nt e c l l i l o l o g ”m 印 b u i 】d 、n a v i g a t i o na l g o r i t h mt 1 1 r e ep a n s t h eb i n o c u l a rs t e r ov i s i o nt e c h n 0 1 0 9 yi n c l u d ed i g i t a l i m a g eo b t 血、c a m e r ac a l i b r a t i o n 、i m a g ep r e p r o c e s s i n g 、f e a t u r e - b a s em a t c h j n 卧d e p t hm 印 b u i l dp a n s m a pb u i l di n c l u d e3 dr e b u i l da 1 1 dm 印e x p r e s s i o n na 、r i g a t i o na l g o r i t h m 血c l u d e p a t hp l a n n i n gs u r n m a r i z ea n db a s e do ni m p r o v e dg e n e t i ca l g o r i 廿1 mp a 血p l a r u l i n g ， n l e r ea r en v o 咖d y 锄p h a s e si nt m st h e s 鼬：t h ef i r s to n ei st h i n ko v e r b i n o c u l a rs t e r e o v i s i o nt e c h n o l o g ya n dt h en a v i g a t i o na saw b 0 1 ec o n s i d e r a t i o n f o l l o wt h ep u r p o s eo fa c h i e v e d u 谚a sn l eg u i d a l l c e b a s e do nt h ef e e d b a c kp r i n c i p l e ，b i n o c u l a rs t e r ov i s i o nt e c l l i l 0 1 0 9 y s h 。r t c u tm e t h o dw h i c hm a ym e a s u r et 0r e a lt i i i l ep e r f b m l a n c ea n d 也en a “g a t i o na c c u r a c y t h es e c o n de m p h a s e si st h em 印b u i l d p r o p o s e do n ei 1 1t h ed e p mc h a n m eb i n o c u l a rs t e r o v i s i o np a n l sp r i m i t i v ei m a g et 0w i t ht h el i n ec h a nf o u n d a t i o n ，t a k et h e f e a t u r er e v e r s e r e 埘e v a lm a t c h 。st l l o u 曲ta st h ei n s t n j c t i o n ，a c c o r d i n gt ob yg e t c 血gl i l l e ，b yt h ei i n eg e t t i n g f 而ms u r f a c e ，b yl o o k sm 位吼i l i a ru l ea d u l t ，t ot r a n s f e rt h e3 ds t e pb y2 5d i m e 工l s i o n ，山e a d d i 廿o n a lc o o r d i n a t et 啪s f o 订l l a t i o na i l dt h e w r o n gi 士1 s p e c t i o n 如n c t i o n ，c o m p l e t e st h e t h r e e d h n e n s i o nm 印r e c o n s t m c t i o nf i n a l l yt h em e t h o d i na d d i t i o nh a sc a r r i e do nm ep r o o f a 丘e rt h e s et v ，om e t l l o d sf e a s i b i l i 吼h a sg i v e n 血ec o r r e s p o n d i n gm a i na l g o r i t h r n k e yw o r d s ：m o b i l er o b o tn “i g a t i o n ；b i n o c u l a rs t e r o s i o n ；1 h r e e d i m e n s i o n a lm 印；r e a l t i m e 明确的说明。本声明的法律结果由本人承担。 学位论文作者虢聋生鍪吼趟! 么 学位论文使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规定，即：东 北师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许 论文被查阅和借阅。本人授权东北师范大学可以采用影印、缩印或其它复制手段保存、 汇编本学位论文。同意将本学位论文收录到中国优秀博硕士学位论文全文数据库 ( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论文全文数据库( 中国科学技 术信息研究所) 等数据库中，并以电子出版物形式出版发行和提供信息服务。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名 日期 学位论文作者毕业后去向 指导教师签名： 日 期： 么蛰兰 鲨臣：_ l f 东北师范大学硕士学位论文 第一章引言 1 1 机器人导航概述 移动机器人是机器人研究领域中的一个重要分支，移动机器人按其控制方式和自 主程度大致可分为遥控式、半自主式和自主式三种。其中自主式移动机器人，是一种具 有高度自规划、自组织、自适应能力，适合于在复杂的非结构化环境中工作的机器人。 自主式移动机器人的目标是在没有人的干预，无需对环境做任何规定和改变的条件下， 在行进过程中，不断感知周围的局部环境信息，自主地做出各种决策，有目的地移动和 完成相应任务。 机器人导航代表一种高层智能。在避开障碍物的同时。引导机器人走向目标。自主 式导航就是按照预先给出的任务命令，根据己知的环境信息做出全局路径规划，并在行 进过程中，不断感知周围的局部环境信息，自主地做出各种决策，并随时调整自身位姿， 引导自身安全行驶或跟踪已知路径达到目标位置。路径规划反映了机器人在运动过程中 与周围环境的交互能力。是移动机器人完成任务的基础和安全保障。它研究在有障碍物 的工作环境中，如何为机器人寻找从起点到目标点的运动路径，使机器人在运动中能安 全、无碰撞地通过所有的障碍物。 视觉是人类获取信息、强有力而又最有效的手段，人类是通过眼睛与大脑来获取处 理和理解视觉信息的。周围环境中的物体在可见光的照射下，在人眼的视网膜上形成图 像，由感光细胞转换成神经脉冲信号，再经神经纤维传入大脑皮层进行处理与理解。视 觉，不仅指对光信号的感受，它包括了对视觉信息的获取、传输、处理、存储与理解的 全过程。信号处理科学与机器人技术出现以后，人们试图用摄像机获取景物图像并转换 成数字信号，用机器人的大脑，既计算机实现对视觉信息处理的全过程，从而逐渐形成 了一门新兴的学科，即机器人视觉“。 现实世界中的物体都是三维的，人眼所获得的景物图像却是二维的，但是人类的视 觉系统能够很容易地从二维图像中感知三维世界，获得三维世界的信息。机器人视觉的 研究目标就是使机器人具有通过一幅或多幅图像认知周围环境信息的能力。这种能力不 仅使机器人能感知环境中物体的几何信息，如其形状、位置、姿态、运动等，而且能对 它们进行描述、存储、识别与理解。 1 2 国内外研究现状 国外研究动态： 美国普渡大学( p u r d u eu n i v e r s i t y ) 机器人视觉实验室对视觉导航移动机器人进行 了研究，研制了视觉导航移动机器人。该移动机器人采用了双目主动立体视觉系统，可 1 东北师范大学硕士学位论文 以获取移动机器人的运行环境和障碍物的立体数据。另外，还装有2 4 个超声波传感器， 8 个雷达扫描仪，8 个红外测距传感器、3 6 个被动式红外运动传感器。最上层安装了一 台主机( 4 j o m h zp e n t i u mi i ) 。在软件上该移动机器人采用了客户机一服务器的软件结 构，这种结构应用了模块化封装、分布式结构等先进的概念。p e t e r 可以进行基于行为 的运动，这些行为包括：躲避物体( a v o i d o b j e c t ) ，执行键盘或操纵杆命令( ( j o y s t i c k ) ， 保持运动速度( k e e pi n e r t i a ) ，创建环境地图( m a pa r e a ) ，转到目的地( g o t ot a r g e t ) 等。 德国凯泽斯劳滕大学( u n i v e r s i t yo fk a i s e r s l a u t e r n ) 机器人和过程控制研究中心 进行了基于视觉的适应性导航和认知方面的研究( c a j n e r ab a s e da d a p t i v er o b o t n a v i g a t i o na n dl e a r n i n g ) ，研制的移动机器人菲尼科思( p h o e n i x ) ，它的传感器布置 和计算机的布局采用柔性化的设计，更有利于发挥各自的作用：其中传感器包括顶部的 c c d c 锄e r a ，一台l m s 2 0 0 激光扫描仪，1 2 个人造偏光板超声波传感器和1 6 个红外避 障传感器。它采用的是航位推测系统( d e a d r e c k o n i n gs y s t e ) ，控制系统包括两台装 有q n ) ( 的实时操作系统的计算机，计算机之间数据传输采用的是无线以太网连接。从而 实现了在动态环境下的移动机器人自适应定位和导航，这种移动机器人在运输、监控、 地板清洗以及各种危险的环境下的作业都有很大的潜在价值。 美国国家斯坦福研究所( s r ii n t e r n a t i o n a l ) 研制了的移动机器人弗来克 ( f l a k e y ) 。它的身高3 英尺，直径2 英尺，专门为办公室场所所定制。两个独立的驱动 轮能够提供最大每秒2 英尺的运动速度。它随身的传感器包括1 2 个声纳测距仪、编码 器、激光测距仪和c c d 摄像机，其中激光测距仪和c c d 摄像机结合使用能够提供移动机 器人前方很小范围内的障碍物的深度图信息。它的计算机系统包括一台工作站和大量的 专门用于多传感器信息融合、电机控制和无线电通信的处理器。弗兰克的导航方式是基 于地图的导航。另外，弗兰克采用得是模糊控制、空间感知和过程推理相结合的技术， 为移动机器人在办公室的环境下实现柔性化地操作提供了可能，从而能够实现全局路径 规划和动态地局部路径规划。 日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统，利用双 目体视的原理，如每幅图像中相对静止的三个标志为参考，实时计算目标图像的雅可比 矩阵，从而预测出目标下一步运动方向，实现了对运动方式未知的目标的自适应跟踪。 该系统仅要求两幅图像中都有静止的参考标志，无需摄像机参数。而传统的视觉跟踪伺 服系统需事先知道摄像机的运动、光学等参数和目标的运动方式。 日本东京大学将实时双目立体视觉和机器人整体姿态信息集成，开发了仿真机器人 动态行长导航系统。该系统实现分两个步骤：首先，利用平面分割算法分离所拍摄图像 对中的地面与障碍物，再结合机器人身体姿态的信息，将图像从摄像机的二维平面坐标 系转换到描述躯体姿态的世界坐标系，建立机器人周围区域的地图；其次根据实时建立 的地图进行障碍物检测，从而确定机器人的行走方向。 麻省理工学院计算机系统提出了一种新的用于智能交通工具的传感器融合方式，由 雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的目标深度信息，结合 2 东北师范大学硕士学位论文 改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割，而传统的 目标分割算法难以在高速实时环境中得到令人满意的结果。 华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统， 使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航。系 统使用同一个摄像机在“探测者”的不同位置上拍摄图像对，拍摄间距越丈，基线越宽， 能观测到越远的地貌。系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位 置，利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配，得到亚像素精 度的视差，并根据此视差计算图像对中各点的三维坐标。相比传统的体视系统，能够更 精确地绘制“探测者”号周围的地貌和以更高的精度观测到更远的地形。 国内研究动态： 国内在移动机器人得研究方面起步比较晚，上个世纪七十年代中后期才开始。目前， 研究尚处于某个单项阶段，但是中科院自动化研究所、吉林大学、青岛大学等陆续成功 研制出一些高水平的移动机器人和自动引导车。 c a s i a i 是中科院自动化研制研发的集多种传感器、视觉、语音识别与会话功能于 一体的智能移动机器人”。它的基本结构由传感器、控制器以及运动机构构成，其中传 感器由以下几个部分组成：位于机器人底层的1 6 个触觉红外传感器，位于机器人中间 两层的1 6 个超声传感器和1 6 个红外传感器，以及位于机器人顶部的c c d 摄像机。移动 机器人就是在这个多传感器信息融合的基础之上完成自己的各项外界感觉功能。移动机 器人的心脏( 中央处理器c 凡) 利用多传感信息融合技术。从而使移动机器人能够理解自 己的状态和自己所处的外部环境信息，并实时地做出自己的运动控制的决策躲避障碍 物、寻找最优路径、实现自主移动、定点运动、轨迹跟踪、漫游等基本功能。 吉林大学智能车辆课题组研制了一种新型视觉自动引导车。该种新型视觉导航自 动引导车以地面上涂设的条带状路标作为路径标识符，运用计算机视觉快速识别路径。 其最优导向控制器能够保证a g v 对路径进行准确跟踪。在包含有多个停车工位和多条分 支路径的复杂工作环境中，通过实时识别涂设在路面上的数字标识符，实现指定目标工 位定位停车和目标分支路径跟踪：通过实时识别涂设在路面上的特殊形状标识符实现车 辆加速、减速、直角转弯、特殊地点停车等运动状态控制；具有自动避障、自动报警、 自动上线和无线通讯等功能。同时该种车辆还具有人工手动遥控驾驶和自动行驶两种工 作方式。 浙江大学机械系统完全利用透视成像原理，采用双目体视方法实现了对多自由度机 械装置的动态、精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标， 信息量少，处理速度快，尤其适于动态情况。与手眼系统相比，被测物的运动对摄像机 没有影响，且不需知道被测物的运动先验知识和限制条件，有利于提高检测精度。 哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。将一个固定摄像 机和一个可以水平旋转的摄像机，分别安装在机器人的顶部和中下部，可以同时监视不 同方位视点，体现出比人类视觉优越的面。通过合理的资源分配及协调机制，使机器 人在视野范围、测跟精度及处理速度方面达到最佳匹配。双目协调技术可使机器人同时 3 东北师范大学硕士学位论文 捕捉多个有效目标，观测相遇目标时通过数据融合，也可提高测量精度。在实际比赛中 其他传感器失效的情况下，仅仅依靠双目协调仍然可以实现全自主足球机器人导航。 目前，国内外的研究主要集中在单目视觉导航方面，单目视觉导航的优点在于实现 简单，而不足之处也很明显：单个摄像机的观察范围相对有限；另外，单个摄像机的信 息只能进行图像中的物体跟踪，而不能得到物体在真实世界中的位置。基于双目立体视 觉的导航，利用了两个装载在机器人上不同位置的两个摄像头，可以扩大系统的观察范 围，这样可以达到视觉信息互补，扩大观察范围的目的；同时还可利用立体视觉的原理 恢复物体的三维信息。 就双目立体视觉技术的发展现状而言，要构造出类似于人眼的通用双目立体视觉系 统，还有很长的路要走，进一步的研究方向可归纳如下。j ： 1 如何建立更有效的双目体视模型，能更充分地反映立体视觉不确定性的本质属性， 为匹配提供更多的约束信息，降低立体匹配的难度。 2 探索新的适用于全面立体视觉的计算理论和匹配策略，选择有效的匹配准则和算 法结构，以解决存在灰度失真、几何畸变( 透视、旋转、缩放等) 、噪声干扰、特殊结 构( 平坦匹域、重复相似结构等) 及遮掩景物的匹配问题。 3 算法向并行化发展，提高速度，减少运算量，增强系统的实用性。 4 强调场景与任务的结束，针对不同应用目的，建立有目的和面向任务的体视系统。 双目体视这一有着广阔应用前景的学科，随着光学、电子学以及计算机技术的发展， 将不断进步，逐渐实用化，不仅将成为工业检测、生物医学、虚拟现实等领域的关键技 术，还有可能应用于航天遥测、军事侦察等领域。目前在国外，双目立体视觉技术己广 泛应用于生产、生活中，而我国正处于初始阶段，尚需广大科技工作者共同努力，为其 发展做出贡献。 1 3 研究的意义与目标 研究的意义： 在移动机器人的研究中，自主导航技术始终是研究的核心问题。由于人类7 0 以上 的信息是通过视觉来获取的，因此对移动机器人来说视觉信息的获得是非常重要的。视 觉导航较其他的导航方式具有以下几个优点： ( 1 ) 即使在丢弃了绝大部分的视觉信息后，所剩下的关于周围环境的信息仍然比激 光雷达和超声传感器更多更精确。 ( 2 ) 激光、雷达和超声传感器的原理都是通过主动发射脉冲和接受反射脉冲来测距 的，因此当多个机器人同时工作时，相互之间可能产生干扰，而视觉由于是被动测量， 因此多个机器人相互之间的干扰可以减少到最小。 ( 3 ) 激光雷达和超声数据的采样周期一般比摄像机长，不能及时对运动的机器人提 供信息并做出规划。 4 东北师范大学硕士学位论文 研究的目标： 针对当前的双目立体视觉导航实时性差，前端分析处理时间过长的缺点，提出一个 以缩短处理时间为目的，基于反馈的双目立体视觉技术简化方法。可以根据环境与需要， 实现导航精确度与实时性间的权衡取舍。在较简单环境中，可以通过牺牲部分导航精度， 简化视觉处理过程，使机器人的导航反应时间缩短，可获得更高的机动性能。或者在较 复杂环境中，可以由决策后的反馈信启、，来有选择的对图片中部分区域进行更细化的处 理，获得较高的导航精度。 针对当前的双目立体视觉导航缺少由双目立体视觉技术生成地图的方法的现状，提 出了一个在深度图、双目立体视觉部分的原始图像对和线条图基础上，以特征反向检索 匹配的思想为指导，按由点生成线、由线生成面、由面生成体、由2 j 维转三维的步骤， 附加坐标转换和错误检查功能，最终完成三维地图重建的方法。 对这两种方法的可行性进行论证并给出相应的主要算法。 1 4 本文方案框架 本论文的硬件结构框架图如下。 导航处理器 图1 1 硬件结构框架图图 导航处理器从视觉处理器获得地图信息，导航处理器对视觉处理器有信息反馈。导 航处理器将运动要求输出给运动控制处理器，运动控制处理器对视觉处理器也有信息反 馈。运动控制处理器根据与电机轴联动的光电编码器反馈的信息，对运动实行闭环控制。 按信息的处理过程分为双目立体视觉部分、地图生成部分、导航算法部分。 c c d 摄像机由成像物镜、c c d 器件及相应的辅助电路组成，其主要功能是完成图像 的采样，即把图像的光学信号转化成电信号。对于c c d 摄像机的选择主要是考虑分辨率。 东北师范大学硕士学位论文 视频图像是模拟量，要对视频图像进行数字化才能输入计算机。视频图像采集卡可 以将摄像机摄取的模拟图像信号转换成数字图像信号，使计算机得到所需要的数字图像 信号。视频图像采集卡集信号放大、滤波、模数转换、存储、输入输出接口于一体。 完成的主要工作是a d 转换，使信号数字化。 图像数字化后，图像采集卡根据视觉处理器的控制指令定时采集图象数据，两个摄 像头同时刻各自采集一帧图象后，组成一副图象对，将此原始图象数据打上时间戳( 或编 排好序列号) 后存放在公用r a m 的原始数据区中，视觉处理器从原始数据区中读取原始 图象信息，开始处理，首先根据导航处理器反馈回来的精度要求选择相应的级别对图象 进行噪声过滤，像素合并；然后依次进行边缘分割、图象腐蚀与膨胀；特征提取：立体 匹配；生成深度图。边缘分割后形成的图象信启、与最终生成的深度图信息分别保存在公 用r a m 过程数据区的相应位置。至此，双目立体视觉部分工作结束，将工作传给下一工 序，即地图生成。 地图生成主要指三维地图的重建；地图生成工作也是由视觉处理器来完成。当然为 了缩短处理时间，也可以在视觉处理器与导航处理器间加一个地图处理器。本文出于简 化结构加强系统可靠性的目的，将地图生成的工作也分配给了视觉处理器。视觉处理器 在深度图、双目立体视觉部分的原始图像对和线条图的基础上以特征反向检索匹配的思 想为指导，按由点生成线、由线生成面、由面生成体、由2 j 维转三维的步骤，附加错 误检查功能，最终完成三维地图重建的方法。 路径规划部分参考三维地图与机器人的相对运动速度与运动方向等信息，在视觉的 一定预瞄范围内实时规划出一条安全、可行的最短参考路径，该参考路径必须满足路边 约束条件和动态避障条件，由一定间距的点序列构成。机器人沿参考路径运动的同时， 以机器人当前行走速度，对参考路径进行新一轮规划，并由重新规划的路径代替原参考 路径，进入下一轮的路径跟踪控制，使机器人沿动态参考路径不断向全局目标点接近。 每次局部规划路径的长度必须足够大，使机器人有时间避开障碍物、以及能对前方未规 划区域中的路径进行规划，并使两次规划的路径有足够的重叠长度，从而保证运动路径 的可靠性和最优性。 东北师范大学硕士学位论文 第二章双目立体视觉导航 双目立体视觉导航是依靠机器人上装置的两个摄像头对环境连续摄像，从获取的连 续图像对信息中得到周围环境的三维简化地图，三维导航算法以此地图作为依据，得出 最优路径，避开障碍物，引导机器人向目的点前行。 2 1 双目立体视觉 2 1 1 双目立体视觉原理 双目立体视觉的基本原理是从两个视点观察同一景物，以获取在不同视角下 的感知图像，通过成像几何原理计算图像像素间的位置偏差( 视差) ，来获取景物 的三维信息。这一过程与人类视觉的立体感知过程是类似的。具体实现是用两台 参数性能相同、位置固定的摄像机，获得同一景物的两幅图像，计算同一空间点4 在两幅图像中的视差，从而确定三维空间点的深度信息。单个空间点的三维信息 获取可用图2 1 来说明”3 。 j ：_ p ，_ ， 占 图2 1 双目立体视觉原理图 图2 1 是一个最简单的双目视觉系统，两台参数性能相同的摄像机，按光轴互相平 行，x 轴互相重合，沿x 轴相距b 的位置放置就构成上述系统。摄像机的光轴平行于z 轴，图像平面与( x ，y ) 平面平行。图中0 1 、0 2 为左右两摄像机的焦点，1 1 、1 2 为左右摄 像机的像平面，p l 、p r ，分别是空间点p 在左右像平面上的成像点，f 是摄像机的焦距。 则视差定义为p l p r i ，由相似三角形关系可导出： z ：旦 p l pr 由上式可知，由视差计算深度是非常容易的，但视差本身的计算是立体视觉 东北师范大学硕士学位论文 中最困难的部分，它要求特征匹配，即找出左、右两幅图像中的对应点。 2 1 2 数字图像获取 图像采集是双目立体视觉的第一个阶段。采集用于双目立体视觉三维重建的二维图 像对的方式很多，实际选用时要考虑具体应用场合和目的。在获取二维图像对时不但要 满足应用要求，而且要考虑视点差异、光照条件、摄像机性能以及景物特点等因素的影 响，以有利于立体视觉计算“。 常用的图像采集设备有扫描仪、数字摄像机、c c d 摄像机和视频采集卡等。目前， 以c c d 摄像机与视频采集卡和p c 机结合进行视频捕获的方式应用最为广泛。通过对同 一场景的两幅图像的处理，利用双目立体视觉原理，实现物体的三维重建。为了方便计 算，左右两个视觉传感器相隔一个基线长度平行安装在同一水平面上，以采集后续处理 所需要的图像对。本论文采用c c d 摄像机和图像采集卡在视觉处理器的控制下完成图像 输入、数字化和预处理工作。c c d 摄像机先将局部视场内的光学图像信号转换成为带有 图像空间信息的电信号，然后与同步信号合成完整的视频信号，利用同轴电缆传输给图 像采集卡。视频信号经过图像采集卡上的a d 转换成为数字式图像数据，存放在公用 r a m 的原始数据区中，供视觉处理器进行各种处理操作。 2 1 3 噪声过滤 在双目图像生成和传输过程中，由于众多因素的影响，不可避免地存在噪声干扰和 失真，因而会造成图像质量的下降。图像预处理的目的是对左右双目图像采用一系列 技术降低噪声的影响和图像的失真，以利于后续的图像处理。为了抑制噪声、改善图像 质量，必须对图像进行平滑处理。而平滑的方法也是多种多样，既可以在空间域进行， 也可以在频域进行。空间域平滑法主要是在空间域中对图像像素灰度值直接进行运算处 理，它包括多图像平均法、邻域平均法、自适应平滑滤波和中值滤波等。上述各种算法 各有利弊，如邻域平均是均等的对待邻域中的每个像素，在降低噪声的同时使图像模糊， 特别在边缘和细节处。邻域越大，模糊程度越厉害。中值滤波算法具有不易造成图像模 糊，有非常好的抗噪性能，所以本文采用中值滤波算法。 在一维形式下，中值滤波器”。是一个含有奇数个像素的滑动窗口，经排序后，窗口 像素序列为： 毋一，乃，乃+ v 其中，v = ( l 1 ) 2 ，l 为窗口长度，g f 为窗口像素的中值滤波输出，表示为： 毋= 姚d 毋一，毋，毋+ v 其中，m e d j 表示取窗口中值。 中值滤波也可在二维窗口中进行，二维窗口的形状可以是方形窗口，也可以是十字 形窗口，窗口的大小也可以不同，这时将窗口内像素排序，生成单调二维数据序列 乃 ，此时二维中值滤波输出为：g ( ，纠= a 招d 厅女 。但是随着窗口的逐渐 东北师范大学硕士学位论文 变大，运算量显著增加。从满足系统实时性出发，为了减少运算量，一般先采用小尺度 窗口，然后逐渐加大窗口尺寸，也可先求窗口中每一水平行中的中值，然后再求这些中 值的中值，实现图像的中值滤波。这种方法称为伪中值滤波。同样，对双目立体图像对 选用3 x 3 的方形窗口进行中值滤波。 2 1 4 边缘分割 图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互 不相交的区域，使得这些特征在同一区域内，表现出一致性或相似性，而在不同区域间 表现出明显的不同。简单地讲，就是在一幅图像中，把目标从背景中分离出来，以便于 进一步处理。它是对图像进行视觉分析和模式识别的基本前提。到目前为止既不存在一 种通用的图像分割方法，也不存在一种判断是否分割成功的客观标准。目前常用的图 像分割分为两种：基于边缘的分割和阈值化分割。闽值化分割可以极大地压缩数据量， 这大大简化了分析和处理步骤，但它只适用于目标和背景占据较少灰度级范围的简单 固定场景下的图像处理，图象的细节信息损失很大。所以本文主要研究基于边缘的分割。 基于边缘的分割代表了一大类基于图像边缘信息的方法，也是最早的图像分割方法 之一，而且现在仍然是非常重要的。基于边缘的分割依赖于由边缘检测算子找到图像边 缘，这些边缘标出了图像在灰度、色彩、纹理等方面不连续的位置。所谓边缘是指图像 内像素灰度有阶跃变化或屋顶变化的那些像素的集合，它广泛存在于物体与背景之间、 物体与物体之间、基元与基元之间。因而它是图像分割所依赖的重要特征。边缘检测可 以通过图像像素和空域微分算子的卷积完成，在目前众多的微分算子之中，一阶微分是 图像边缘和线条检测的最基本方法。常用的算子有：r o b e r t s 算子、p r e w i t t 算子、s o b e l 算子、l a p l a c i a n ：算子。由于一阶微分算子通常在边缘附近的区域内产生较宽的响应， 所得的结果常需加以细化处理，影响了边缘定位的精度。而利用二阶导数零交叉所提取 的边缘宽度为一个像素，所得结果无需细化，有利于边缘的精确定位。二阶微分算子主 要有：l a 口1 a c e 边缘检测算子和l o g 算子”。 l o g 算子又称m a r r h 订d r e t h 模板或算子，l o g 边缘检测算子有以下优点： ( 1 ) 通过图像平滑，消除了一切尺度小于。的图像强度变化： ( 2 ) 若用其他微分方法，需要计算不同方向的微分，而它无方向性，因此可以节省 计算量： ( 3 ) 定位精度高，边缘连续性好，可以提取对比度较弱的边缘点。 2 1 5 特征提取 特征的提取有很多种方法，考虑到场景的随意性，同时提取的特征点应满足一致性 ( 即两幅图像中的特征点应该尽量是一一对应的) ，并且它的周围点应该包含足够的信息 以便于匹配，本文采用的是h a r r i s 角点提取方法”。 如果某一点向任一方向的小小偏移都会引起灰度值很大的变化，那么该点就 是角点。h a r r i s 角点提取方法只能精确到像素级，为了进一步提高精度，对特征点周 围的灰度分布做二次曲面拟合，通过求解该二次曲面的极值可以将精度提高到亚像素 级。 q 东北师范大学硕士学位论文 首先，对左右两幅图像的各个像素点计算一个角点函数。” ， r ( x ，y ) = d e t m ( x ，y ) 一k ( t r a n c e m ( x ，y ) ) 。，k = 0 0 4 ( h a r r is 的建议值) 其中， m ( j ，y ) = ( 翁 在矩阵m 中，i ( x ，y ) 表示图像上( x ，y ) 像素点的灰度值。这样，对应着左右图像会 各有一个存储了响应函数值的二维数组，其中，r 的局部极值就可以认为是要提取的角 点。由于实际图像中提取的角点数目过大，因此实际提取过程中，要设定阈值，以提取 适当数目的角点。阈值的选择依赖于图像的具体属性和要提取特征点的数目，因此确定 阈值较为困难，本文采用的方法是间接的方法，先确定要提取的特征点数目n ，然后找 出r ( x ，y ) 的值最大的n 个角点。另外，可能图像个别区域的角点集中，而另外的区域 可能没有足够的角点提取出来用于匹配和重建。因此，本文中，在寻找局部极值时，先 将整个图像平面分为几块小区域，然后在每个小区域内各提取一定数目的特征点以用于 匹配。 2 1 6 立体匹配 立体匹配是立体视觉的核心；立体匹配是指根据所选特征的计算，建立特征间的对 应关系，将同一个空间物理点在不同图像中的映像点对应起来，并由此得到相应的视差 图像，其本质是对一幅图像上的某个局部在另一幅图像上寻求其对应部分的过程。与普 通的图像模板匹配不同，立体匹配是在两幅或多幅存在视点差异、几何和灰度畸变以及 噪声干扰的图像对之间进行的，不存在任何标准模板。对于任何一种立体匹配方法的设 计，都必须解决三个方面的问题：特征选择、匹配准则和算法结构。 由于立体成像的视点差异以及噪声干扰等因素的影响，要对图像中所有的象素都进 行无歧义的匹配是很困难的，为此，应该选择能表征景物属性的特征作为匹配基元。目 前，常用的匹配特征从小到大主要有：点状特征、线状特征和区域特征等。其中，点状 特征是最基本、最简单的特征，区域特征具有最好的全局属性，线状特征( 包括直线和 曲线) 介于二者之间。一般来讲，点状特征具有定位准确、检测和描述容易以及重建精 度高的优点，但它所含图像信息较少，在图像中的数目较多，因而在匹配时需要较强的 约束准则和匹配策略，以克服歧义匹配和提高运算效率。线状特征和区域特征则含有更 丰富的图像信息，在图像中的数目较少，易于实现快速匹配。但它们在特征提取和描述 时比较困难。匹配特征类型的选择取决于匹配图像对本身的属性特点和应用要求。一般 地，对于包含有大量非规则形状和高度突变的场景，应选用点状特征作为匹配基元。对 于具有规则结构的场景，如果直线或区域的特征提取和描述比较容易，且误差较小时， 应该选用直线或区域特征，以便实现快速匹配。因此，在选择匹配特征时，应综合考虑 丝加：r1，飘滢 东北师范大学硕士学位论文 各种因素，选择合理的匹配特征。“。 匹配准则是根据所选匹配特征将现实物理世界的某些固有属性表示成匹配所必须 遵循的若干规则，用以提高系统的去歧义匹配能力和计算效率。m a r r 提出的唯一性约 束、相容性约束和连续性约束被认为是匹配控制中最一般、最基本的物理约束。在这三 个基本约束的基础上，针对处理景物的特点和应用要求，通过附加某些先验知识能够引 申出一些特定的匹配控制准则。 常用到的匹配准则。2 。有： ( 1 ) 唯一性约束。一般情况下，一幅图像上的每一个特征点最多只能与另一幅图像 上的一个特征点对应。 ( 2 ) 连续性约束。物体表面一般都是光滑的，因此物体表面上各点在图像上各点在 图上的投影是连续的，其视差也是连续的。但是，在物体边界处，比如边界两侧的两个 点，连续性约束并不成立。 ( 3 ) 相容性约束。物体表面上一点在两幅图像上的投影在某些物体度量上( 如灰度、 灰度梯度变化等) 或几何形状上具有相似性。比如空间某一个多面体的顶点，它在图像 中的投影应是某一多边形的顶点。 ( 4 ) 极线约束o3 ”。一幅图像上的任一点，在另一幅图像的对应点只可能位于一条特 定的被称为极线的直线上。这个约束极大地降低了待验证的可能匹配点对的数量，把一 个点在另一幅图像上可能匹配点的分布从二维降到了一维。如图2 2 所示，如果场景中 一点m ，在左右图像中的投影点分别为m 和m ，也就是说m 和m 为一组对应点，易知m 、 m 、o o 、o o 在同一个平面上，m 和m 分别位于该平面与两个图像平面的交线f 。和f ： 、一 上，。称为图像i 上对应于图像i 上m 点的极线( 简称为m 的极线) ，0 称为图像i 上对应于图像i 上m 点的极线( 简称为m 的极线) 。也就是说，对于i 图像上的点m ，如 果在i 图像上能找到它的对应点的话，则该点必然位于点m 的极线上。 图2 2 极线约束 1 l 东北师范大学硕士学位论文 ( j ) 顺亭一致性约束。一幅图像的一条极线对应着另一幅图像中的一条极线，而且 它们上面的对应点的排列顺序是不变的。但是，如果视点的方位变化很大，这个约束条 件可能不被满足。 2 1 7 深度图生成 在实现了摄像机标定和完成立体匹配后，接下来的目标就是恢复出被立体匹配的特 征的三维信息，生成深度图，深度图的生成是基于视差测距原理的。 立体视觉是由多幅图像获取物体三维几何信息的方法，对生物视觉系统，人们早就 注意到，几乎所有具有视觉的生物都有两个眼睛，用两个眼睛观察物体时，会有深度或 远近的感觉。双目立体视觉就是仿照这个原理，利用两台相机，从不同角度同时获取同 一景物的两幅图像，通过计算空间点在两幅图像中的视差来获取其三维坐标值。其视差 测距原理如图2 3 所示“。 p 倒2 3 视差测距腺理幽 设a 、c r 分别为左、右两个相机的光学中心位置( 透镜中心) ，o 与。之间的距 离为b ，相机的焦距为f 设物体上的点p 在左、右图像面上的投影点分别为，np ，p 与c ，c r 间的距离为d ，过c ，和c r 分别向图像面( 即视平面) 作垂线，垂足分别为4 、4 ， 过p 向图像面作垂线，垂足为b 。令以1 4 j p ，| = l ，以p i = ，1 只b l = 。，则由相似三角 形有： 掣：三 ( 2 1 ) 广2 鬲 憎1 型：! 二生生! ( 2 2 ) d 日+ t + 6 由式( 2 1 ) 和式( 2 2 ) 得： 东北师范大学硕士学位论文 从而有： 代入式( 2 2 ) 有： j 三一一= ! 二生! i 里= 1 一 生 ( 2 3 ) 口+ l ha + t h + ba + i b + b 一矗一一乙 。 州半2 盖 ( 2 4 ) ( 2 5 ) 由上式可以看出，距离d 与b ，f 和t 一厶有关。称一f 为点p 在左右两个图像面 上形成的视差，它表示了p 点在左右两幅图像中成像点的位置差异。由于b ，f 是己知 的，因此，要实现双目立体视差测距，最关键的就是要求得到视差乞一乙，即要实现空 间中一点p 在左、右两幅图像上的投影点之间的对应。由式( 2 5 ) 可知距离与视差成反 比，因而只有在较近距离时，测量才较精确，而距离较远时，测量就难以精确了