（计算机应用技术专业论文）全方位视觉技术及其在移动机器人导航中的应用.pdf

浙江工业人学硕+ 学位论文 全方位视觉技术及其在移动机器人导航中的应用 摘要 全方位视觉，是指能够一次获取大于半球视场三维空间全部视觉信息的视觉感知技 术，其广阔的视场范围为机器人快速全面地获取外部环境信息，感知自身状态提供了新的 重要手段。然而全方位视觉作为是门新兴的技术，在机器人导航领域上的应用还不成熟， 许多关键技术有待研究。因此如何更好地利用全方位视觉技术的进行机器人导航，便成为 一个有重要意义且富有挑战性的研究课题。 针对在机器人导航过程中如何利用全方位视觉传感器( o d v s ，o m n i d i r e c t i o n a lv i s i o n s e n s o r ) 帮助机器人更快速、更全面的获取环境信息这个问题，本文在总结前人研究的基 础上，对全方位视觉技术在机器人导航方面应用的几个关键技术做了探索研究。本文完成 的工作主要有以下几个方面： 1 全方位视觉传感器标定技术的研究。分析了全方位视觉传感器的成像原理，介绍 了单视点折反射摄像机透视成像模型和多项式展开成像模型，并给出了基于多项式展开成 像模型的标定算法。根据多项式展开成像模型，结合双曲面的相关特性，提出了一种适用 于全方位视觉传感器的简化了的多项式展开模型，该模型具有更少的参数，从而降低了标 定及后期利用标定结果进行运算的复杂度。 2 双目全方位视觉传感器的设计及其极线校正算法的研究。设计了一种上下同轴同 向配置的双目全方位视觉传感器。根据该结构配置的双目全方位视觉传感器的成像特点， 提出了一种基于场景中竖直线的极线校正算法，从而为立体匹配过程中更好的利用极线约 束提供了便利，减少了立体匹配的运算量。 3 全方位立体视觉障碍物检测技术的研究。提出了一种立体视觉障碍物检测方案， 首先对全方位图像进行边缘检测，把所有的检测出的边缘点作为疑似障碍物点；然后对疑 似障碍物点利用极线约束在上下全方位图像中进行立体匹配，根据视差和几何关系计算出 疑似障碍物点的高度与深度信息，只有当疑似障碍物的高度大于一定阈值后才确定该疑似 障碍物点为障碍物点。 4 机器人全方位视觉导航系统的原型设计。设计了移动机器人的硬件平台，给出了 i 浙江i t 业人学硕十学位论文 系统的软件结构及具体实现。 关键词：全方位视觉传感器( o d v s ) ，机器人导航，双目立体视觉，摄像机标定， 极线匹配，障碍物检测 浙江工业人学硕士学位论文 t e c h n o l o g yo fo m n i d i r e c t i o n a lv i s i o n a n da p p l i c a t i o ni nm o b i l er o b o t n a v i g a t i o n a b s t r a c t t h eo m i n d i r e c t i o n a lv i s i o ni sak i n do ft e c h n o l o g yw h i c hc a no b t a i na l lv i s i o ni n f o r m a t i o n o f3 ds p a c el a r g e rt h a nh e m i s p h e r e t h ee x t e n s i v ev i s u a la r e ao fo m n i d i r e c t i o n a lv i s i o n p r o v i d e sak i n do fn e wm e t h o df o rr o b o t t og e ts u r r o u n d i n gi n f o r m a t i o na n dt op e r c e i v ei t ss t a t e h o w e v e r , o m n i d i r e c t i o n a lv i s i o ni sak i n do fn e wt e c h n o l o g yw h i c hi su n r i p ei nt h ef i e l do f r o b o tn a v i g a t i o n , a n dm a n yk e yt e c h n o l o g i e sn e e dt ob ef u r t h e rs t u d i e d 。t h e r e f o r e , h o wt ou s e o m n i d i r e c t i o n a lv i s i o nt e c h n o l o g yi nr o b o tn a v i g a t i o nb e t t e rh a sb e c o m eav e r ym e a n i n g f u la n d c h a l l e n 西n gt a s k a i m i n ga tt h ep r o b l e mt h a th o w t ou s eo m n i d i r e c t i o n a lv i s i o ns e n s o r ( o d v s ) t oh e l pr o b o t t og e ts u r r o u n d i n gi n f o r m a t i o nm o r eq u i c k l ya n dc o m p r e h e n s i v e l yi nr o b o tn a v i g a t i o n ，t h i s p a p e rh a ss t u d i e ds e v e r a lk e yt e c h n o l o g i e sa b o u tt h ea p p l i c a t i o no fo m n i d i r e c t i o n a lv i s i o n t e c h n o l o g yi nr o b o tn a v i g a t i o n t h em a i nw o r kc a nb es u m m a r i z e da sf o l l o w s ： 1 s t u d yo nt h ec a l i b r a t i o nt e c h n o l o g yo fo d v s a n a l y z et h ei m a g i n gp r i n c i p l eo fo d v s ， i n t r o d u c ep e r s p e c t i v ep r o j e c t i o na n d p o l y n o m i a lu n w r a pi m a g o n gm o d e lo f c e n t r a lc a t a d i o p t r i c c a m e r a sw i t hs i n g l ee f f e c t i v ev i e w p o i n t ，a n ds h o wc a l i b r a t i o na l g o r i t h mb a s e do np o l y n o m i a l u n w r a pi m a g i n gm o d e l a c c o r d i n gt ot h ep o l y n o m i a lu n w r a pi m a g i n gm o d e l ，c o m b i n i n gt h e r e l a t e df e a t u r e so fh y p e r b o l o i d ，p r o p o s eas i m p l i f i e dp o l y n o m i a lu n w r a pi m a g i n gm o d e lw h i c h i ss u i t a b l ef o ro m n i d i r e c t i o n a lv i s i o ns e n s o r t h em o d e lh a sl e s sp a r a m e t e r ss oi tc a nr e d u c et h e c o m p l e x i t yo fc a l i b r a t i o n 2 s t u d yo nt h ed e s i g na n de p i p o l a rr e c t i f i c a t i o na l g o r i t h mo fb i n o c u l a ro d v s d e s i g na k i n do fb i n o c u l a ro d v sw h i c hi sc o m p o s e do ft w oo d v s ，a l i g n e dv e r t i c a l l y ( c o a x i a l ) a c c o r d i n gt ot h ei m a g i n gp r o p e r t i e so fb i n o c u l a ro d v s o fc o n f i g u r a t i o na b o v e ，p r o p o s eak i n d o fe p i p o l a rr e c t i f i c a t i o na l g o r i t h mu s i n gv e r t i c a ll i n e si ns t r u c t u r e de n v i r o n m e n t s t h ea l g o r i t h m m a k e st h eu s eo fc o n s t r a i n to fe p i p o l a rl i n eb e t t e ri ns t e r e om a t c h i n g , a n dr e d u c e sc a l c u l a t i o n 浙江t 业人学硕+ 学位论文 c o m p l e x i t yo fs t e r e om a t c h i n g 3 s t u d yo nt h eo b s t a c l ed e t e c t i o nt e c h n o l o g yu s i n gb i n o c u l a ro d v s am e t h o do f o b s t a c l ed e t e c t i o ni sp r o p o s e d ：f i r s tp r o c e s st h eo m n i d i r e c t i o n a li m a g ew i t he d g ed e t e c t i o n t e c h n o l o g ya n dc o n s i d e ra l lt h ee d g ep o i n t sd e t e c t e da st h ep o i n to fs u s p e c t e do b s t a c l e s t h e n p r o c e s st h ep o s s i b l eo b s t a c l e sw i t hs t e r e om a t c h i n gu s i n gc o n s t r a i n to fe p i p o l a rl i n e ，g e tt h e h e i g h ta n dd e p t hi n f o r m a t i o no ft h es u s p e c t e do b s t a c l e sa c c o r d i n gt ot h ed i s p a r i t ya n d g e o m e t r i c a lr e l a t i o n s h i p t h ep o s s i b l eo b s t a c l e sa r ec o n f i r m e d t ob ea c t u a lo b s t a c l e so n l yw h e n t h ev a l u eo fh e i g h ti sl a r g e rt h a nt h et h r e s h o l d 4 d e s i g nt h ep r o t o t y p eo ft h er o b o tn a v i g a t i o ns y s t e mb a s e do no m n i d i r e c t i o n a lv i s i o n d e s i g nah a r d w a r ep l a t f o r mo fm o b i l er o b o ta n dp r e s e n tt h es o f t w a r ea r c h i t e c t u r ea n di t s i m p l e m e n t a t i o n k e yw o r d s ：o m n i d i r e c t i o n a lv i s i o ns e t i s o r ( o d v s ) ，r o b o tn a v i g a t i o n , b i n o c u l a rs t e r e o v i s i o n ，c a m e r ac a l i b r a t i o n ，e p i p o l a rr e c t i f i c a t i o n ，s t e r e om a t c h i n g , o b s t a c l ed e t e c t i o n 浙江一j ：业人学硕十学位论文 图例 图1 1 论文组织结构6 图2 1 两种不同的折反射摄像机8 图2 2o d v s 结构及实物图8 图2 3 全方位视觉传感器成像原理9 图2 4 全方位视觉传感器采集的全方位图像1 0 图2 5 单视点折反射摄像机成像模型1 1 图2 - 6 中心点对反投影的影响1 5 图2 7 标定实验中两幅标定图像- 1 7 图2 8o c a m c a l m b 标定工具箱界面1 8 图2 - 9 反投影误差评估1 9 图2 1 0 利用参数局部透视展开图，左图为全方位图像，右图为局部透视展开图像2 0 图3 1 双耳o d v s 的结构图2 1 图3 2 双目o d v s 的视场范同- 2 2 图3 3 双目o d v s 极线儿何关系2 2 图3 _ 4 图像平面中同一物点所在的极线在上下全方位图中相差一定角度2 4 图3 5 全方位图像柱状展开原理2 7 图3 - 6 双目全方位视觉传感器实物图2 8 图3 - 7 双目o d v s 获取的全景图片2 9 图3 8 全景图像中竖直线二值化结果2 9 图3 - 9 全景图像中竖直线聚类区域选取结果3 0 图3 1 0 在全方位图像上进行极线校正后的图片3 0 图3 1 l 在柱状展开图像上进行极线校正后的图片。3 1 图4 1 全方位立体视觉障碍物检测流程图3 2 图4 2 中值滤波的结果图3 3 图4 3 直方图均衡化的结果及对应的直方图分布3 5 图4 _ 4 常见的梯度算子模板3 6 图4 - 5 边缘检测结果3 7 图4 石机器人坐标系及三维测量原理4 l - 浙江1 ：业大学硕十学位论文 图4 - 7 三维测量实验现场4 3 - 图4 8 立体视觉障碍物点检测的结果一4 4 - 图5 1 系统总体框架- 4 5 图5 - 2 系统实物图- 4 6 - 图5 3 遥控控制器工作原理一4 6 图5 4 遥控控制器实物图，左图为控制器内部结构，右图为连接好遥控器的实物图- 4 7 - 图5 5 系统软件总体结构- 4 7 - 浙江i f ：业人学硕十学位论文 表例 表2 1 对上下0 d v s 进行标定的实验结果- 1 8 一 表4 1 双目全方位视觉传感器二维测量结果与实际测量结果对比表一4 3 一 表5 - i 系统开发环境- 4 8 - 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名：阂睬熙、 日期：洳睁l ly j jd 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密g 。 ( 请在以上相应方框内打“舻) 日期：2 口以年i1 月内e 1 日期：礴卢月j 一日 小亍 畏一 繁为 罔。矿 名名签签者师作导 浙江工业人学硕士学位论文 第1 章绪论 1 1 课题背景和意义 自主移动机器人，是指能够在环境中连续地、实时地自主运动的智能机器人，是一种 集环境感知、动态决策与规划、行为控制与执行等多项功能于一体的高智能化机器人系统， 它们根据传感器获得的环境信息，灵活调整自己的工作状态，保证在适应环境的情况下完 成工作。其研究涉及图像处理、计算机视觉、传感器、人工智能、自动控制等多学科理论 与技术，体现了信息科学与人工智能技术的最新成果，具有重要的军事及民用价值n 1 。我 国也在国家中长期科学和技术发展规划把智能服务机器人列为前沿技术瞳1 。 机器人导航是自主移动机器人技术的研究核心，也是移动机器人实现智能化及自主运 动的关键技术m 1 。几十年来，移动机器人导航的研究已经取得了许多成果的理论和实验成 果，但离完全实用化和智能化还有很大差距，仍存在许多问题待解决。 全方位视觉，是指能够一次获取大于半球视场三维空间全部视觉信息的视觉感知技 术，其广阔的视场范围为机器人快速全面地获取外部环境信息，感知自身状态提供了新的 重要手段h 1 。然而全方位视觉作为是一门新兴的技术，在机器人导航领域上的应用还不成 熟，许多关键技术有待研究。因此如何更好地利用全方位视觉技术进行机器人导航，便成 为一个有重要意义且富有挑战性的研究课题。 本文的研究主要集中在如何利用全方位视觉传感器3 ( o d v s ，o m n i d i r e c t i o n a lv i s i o n s e n s o r ) 帮助机器人更快速、更全面的获取环境信息。为了达到这个目的，文中设计了一 种双目全方位视觉传感器，讨论了全方位视觉传感器在机器人导航应用中的几个关键技 术，包括全方位视觉传感器的标定技术、极线校正技术、立体匹配及障碍物检测等技术。 1 2 国内外研究现状 1 。2 1 机器人导航技术研究现状 机器人导航是指移动机器人通过传感器感知环境和自身状态，实现在有障碍物的环境 中面向目标的自主运动陋1 。导航主要解决三方面的问题盯1 ：( 1 ) 通过一定的检测手段获取 移动机器人在空间中的位置、方向以及所处环境的信息，即环境感知；( 2 ) 用一定的算法 对所获信息进行处理并建立环境模型；( 3 ) 寻找一条最优或近似最优的绕过障碍物的路 1 浙江工业人学硕士学位论文 径，实现移动机器人安全移动的路径规划。 信息的正确获取是做出正确决策的前提，显然以上三个方面问题中，机器人对环境的 感知是机器人完成环境建模、路径规划等一系列操作的前提条件。人类获取环境信息是通 过各种感知器官，而机器人则是通过各种传感器来完成的。根据传感器的不同，移动机器 人的导航有基于电磁引导线睛1 、基于味觉阻t m l 、基于超声波13 1 、基于视觉n 4 哪3 以及多传感 器融合乜卜2 3 1 等多种导航方式。它们都不同程度地适用于各种不同的环境，包括室内和室外 环境，结构化和非结构化环境。其中视觉导航具有信号探测范围广，获取信息丰富等优点， 成为众多导航方式中最主要的导航方式，国内外对视觉导航的研究也最为广泛。 1 2 2 全方位视觉技术研究现状 1 常见的全方位视觉技术 为了更高效地获取更多的环境信息，人们设计出了多种全方位视觉信息的获取方法， 其中应用比较普遍的主要有以下几种h 1 。 普通摄像机加旋转云台的方法。该方法将一个普通摄像机固定在可以旋转的云台上， 通过云台的旋转获得实际场景旋转方向的视觉信息，从而达到全方位视觉获取的目的。这 种方法成本低、装置简单易于实现，但是由于云台旋转速度有限，所获得的图像存在延时， 不适合于快速移动目标的视觉信息获取，且旋转会对机械装置造成磨损。 复眼技术。该技术利用多个成像装置多角度同时拍摄，然后将每个装置获取的图像信 息进行拼接，构成一幅全方位图像。这种装置中多摄像机的精确安装，以及多幅图像的无 缝拼接成为复眼技术实现的瓶颈。 鱼眼技术。鱼眼摄像机是按照鱼眼成像原理专门制造的鱼眼成像装置，该装置视角很 大，但是该装置的鱼眼镜头是通过多重透镜组合而成，价格昂贵，成像原理非常复杂，要 将成像图像变换为人眼视觉图像十分困难，因此目前应用多限于艺术摄影。 折反射摄像机( c a t a d i o p t r i cc a m e r a ) 技术乜钔。该技术采用特殊加工的反射镜将周围环境 的场景反射至普通摄像机成像，瞬间获取整个场景的信息，成像装置及过程简单，价格低 廉，虽然成像的图像也存在畸变，但由于成像原理相对简单，易于还原成符合人们正常感 官效果的全方位图像，目前是全方位视觉信息获取的最佳方式。本文中全方位视觉传感器 就是采用该技术来获取场景的视觉信息。 2 折反射摄像机及其标定技术 为了提供更准确的环境信息，折射反射摄像机在实际使用过程中要进行必要的标定工 作。折射反射摄像机的标定和普通摄像机的标定有较大的不同，国内外学者也做了很多这 2 浙江：i ：业人学硕士学位论文 方面的工作。a l i a g a 汹1 和v a s e u r 啪1 等人提出了基于三维控制点的标定方法，利用控制点的 三维坐标与其二维图像坐标的对应关系可恢复折反射摄像机的内外参数，该方法的优点在 于标定精度高，不足在于需要精度很高的标定块。g e y e r 等人提出用三条以上直线的标 定旋转抛物面折反射摄像机的方法。向英华等人1 给出了基于球的标定方法，由于球的投 影轮廓线通常是封闭的二次曲线，可得到很高的拟合精度，因此该方法能够等到较高的标 定精度。m i c u s i k 利用多视几何建立了单光心折射全向摄像机的透视投影模型，并根据该 模型给出了自标定算法。d a v i d es c a r a m u z z a 啪1 在m i c u s i k 的透视模型的基础上提出了多 项式展开模型，用多项式来拟合摄像机投影过程，并给了出基于二维标定板的标定算法， 该算法可操作性强，鲁棒性高，标定的结果在后期应用也较为方便。 3 全方位立体视觉技术 全方位立体视觉可以获得大范围的立体视觉视场，在立体视觉的视场方位内可以通过 视差图来获取场景的三维信息，也是研究者关注的研究方向之一。r o l a n db u n s c h o t e n 等口2 1 在机器人上安装单双曲面反射镜，利用机器人运动的序列实现多基线立体视觉，该方法需 要机器人装有精确的码盘等导航传感器。贾云得等口3 1 利用两个双曲面镜和透视摄像机组成 水平基线的全方位立体视觉系统，此系统可对机器人前后的障碍物进行检测，但水平基线 立体视觉的测量精度很不均匀，且系统本身存在遮挡，影响了立体视觉的视场范围。苏连 成等m 1 利用两个双曲面和一个透视相机组成全向立体视觉系统来获取全向立体图像，此类 方法牺牲了一部分重叠区域，并且从两个双曲面中获得的全景图像压缩比不同而造成内外 图像差异太大，增加立体匹配时了处理的复杂度。g l u c h k m a n 和n a y e r 瞵1 、y s h i r a i 嘶1 用两 个结构相同的o d v s 组成垂直基线的全方位立体视觉系统，此类方法把两个折射反射摄像 机上下共轴放置，从而减少了摄像机之间的相互遮挡，且此时极线成为一系列由图像中心 点为原点的放射线，在立体图像对的极线校正中具有良好的特性。 4 全方位视觉常见的应用领域 全方位视觉技术是作为近年发展起来的一种新的视觉感知技术，为实时获取场景的全 方位图像提供了一种全新的解决方案，在世界范围内得到了广泛的研究。其应用主要集中 在三个领域：1 ) 三维场景重建3 7 。4 0 1 ；2 ) 智能监控系统。4 5 3 ；3 ) 移动机器人导航4 6 删。 1 2 3 全方位视觉导航技术研究现状 机器人导航是全方位视觉应用的重点，也是全方位视觉应用研究人员最多，研究成果 最多的应用。日本大阪大学的八木教授m 3 等用圆锥面镜子研制了一个全方位视觉传感器， 主要用于机器人导航，结果表明全方位视觉对于检测机器人周围的运动物体和机器人的自 3 浙江工业人学硕+ 学位论文 定位都更加方便。美国卡内基梅隆大学机器人研究院研究的流浪者机器入h 7 3 在1 9 9 7 年横 越阿塔卡马沙漠，该机器人装备有全方位视觉感知系统。大阪大学的h i r o s h ik o y a s u 啪1 等 人提出了一种利用全方位立体视觉检测障碍物的方法，该方法能够在机器人移动过程中实 时地检测出障碍物。大阪大学的m e n e g a r h 8 3 等用全方位视觉传感器获取的全景图像和与全 景图像库中的众多图像模型进行匹配，从而完成机器人定位和导航。澳大利亚国立大学的 l e a n n em a t u s z y k h 钔将全方位立体视觉应用到车辆驾驶辅助系统中，帮助驾驶员了解周围障 碍物情况。 国内也有很多学者对全方位视觉在机器人导航中的应用做了许多研究。天津理工学院 张立明等应用鱼眼镜头对机器人进行视觉导航咖1 。清华大学的朱志刚等在全景图像方面进 行了较多的研究睛，并曾设计了一个采用圆锥镜的全方位视觉图像传感器，用于机器人的 视觉导航。北京大学的董宁使用日本产的全方位视觉系统开展了基于移动机器人全方位视 觉的人体运动检测的研究工作羽。上海交通大学自动化研究所陈卫东副教授开展了以全方 位视觉为基础的基于回归神经网络的广度优先搜索法在移动机器人路径规划导航方法及 在足球机器人应用中的研究玷朝。哈尔滨工程大学的z h uq i d a n 等人提出了基于全方位视觉 系统的月球车，使探月车能够稳定、高效的观察周围环境及跟踪目标物体，不仅能够减少 安装的摄像机数量、有效降低能量消耗、减轻质量，而且使布线复杂性、散热等关键指标 得以改善畸4 l 。哈尔滨工程大学的席志红博士为了针对全方位视觉传感器应用于机器人定位 与导航问题开展了研究，根据全景视觉的特点，提出了利用单帧全景图像中多路标特征提 取的定位方法h 1 。 1 3 研究内容 环境感知是机器人导航要解决的首要问题，也是机器人正确地进行环境建模和路径规 划的前提条件。为了能够利用全方位视觉传感器对环境信息进行快速准确全面的感知，我 们认为以下技术是全方位视觉在机器人导航应用中的关键技术： 1 全方位传感器的标定技术。 三维空间中物体的几何信息是机器人导航过程中需要获取的重要环境信息之一。机器 人是从全方位视觉传感器获取的二维图像信息出发计算三维空间中物体的几何信息，并以 此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互 关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条 件下这些参数必须通过实验与计算才能得到，这个过程被称为是摄像机标定畸引。为了提供 浙江工业大学硕十学位论文 更准确的环境信息，全方位视觉传感器成像模型的讨论及其相关参数的标定显得尤为必 要。 2 双目立体视觉技术 自然界的物体都是三维的，人体通过双眼获得物体的三维立体信息，但一般的单目摄 像机只能将三维物体以二维图像的形式保存下来，丢失了大量信息，单单依靠单目视觉很 难完整地获取物体的三维信息。双目立体视觉模仿人眼的获取三维信息的原理，用两个摄 像机同时获取同一物体的两幅图像，利用物体在在两幅图像中的视差，根据三角测量关系 可以进一步获得空间点的三维几何信息嘞1 。因此利用全方位视觉传感器来获得环境的三维 信息，双目视觉技术也是需要重点研究的技术之一。 立体匹配是指在两幅或多幅图像中选择匹配点的过程，它是整个立体视觉算法中最重 要也是最困难的部分。极线约束是立体匹配中一个最重要的约束条件，应用极线约束，可 以使立体匹配的视差搜索由二维降为一维，在外极线上搜索匹配点，大大地降低整个匹配 算法的复杂度。但由于在实际工作中，立体摄像机对的配置总是存在误差，不能保证极线 是水平的。这样造成立体匹配视差搜索复杂化。因此，在立体匹配之前对立体图对进行极 线校正是十分必要的睛7 1 。因此极线校正技术也是双目全方位视觉传感器在机器人导航中应 用的研究重点。 3 障碍物检测和动态避障 能够安全的绕过障碍物到达指定地点是机器人导航的基本任务之一，因此障碍物检测 也是机器人导航技术必须要解决的问题。 1 4 论文章节安排 全文共分6 章，各章的关系如图1 - 1 所示。 第一章给出了本文的研究背景，介绍了国内外全方位视觉技术及其在机器人导航中应 用的研究现状，分析了全方位视觉技术应用到机器人导航领域所要研究的关键技术，最后 指出本文的主要研究内容。 第二章给出了全方位视觉传感器组成结构和成像原理；然后介绍了单视点折反射摄像 机的透视展开成像模型和多项式展开成像模型，并给出了基于多项式展开成像模型的标定 算法；接着根据全方位视觉传感器的特殊性，提出了一种改进的多项式展开成像模型，从 而减少全方位视觉传感器的标定的参数；最后给出了该标定算法的实验结果和精度的评 价。本章是本文的重点章节之一。 浙江t 业大学硕十学位论文 第三章本章介绍了双目全方位视觉传感器的设计方案，给出该方案具有的特性及其双 目测距原理；然后提出一种无需任何专门的标定设备、仅利用场景中与o d v s 成像平面垂 直的竖直直线( 如门框、窗框，墙角线等) 进行极线校正的算法；最后用实验验证了极线 校正算法的有效性。本章是本文的重点章节之一。 基于全方位视觉的移动机器人导航技术研究 相关研究 背景 第 童 绪 论 关键技术 研究及实验 第 器章 鬟 感 第 传三 感章 醵 第 四 检章 醵 物 图1 - 1 论文组织结构 第四章介绍了采用双目全方位视觉传感器进行立体视觉障碍物检测的方法，首先通过 边缘检测的方法检测出所有疑似障碍物点，进一步通过立体视觉匹配的方法求得疑似障碍 物点的三维信息，根据高度对疑似障碍物点进行确定。在得到环境中障碍物的三维信息后， 进而给出一种机器人避障策略，完成机器人避障。本章是本文的重点章节之一。 第五章实现了机器人全方位视觉导航系统的原型，介绍了软硬件系统的组成结构。在 模块实现中，分别对全方位图像采集，极线校正，柱状展开，障碍物粗检测，立体视觉匹 配，三维信息估算，机器人移动控制几个模块的实现进行介绍。 第六章是本文的总结部分，对本文所做的工作进行了总结，指出了本文的创新点。同 时提出了研究中存在的不足之处，并对该课题的前景进行了展望。 1 5 本章小结 本章在阅读大量国内外参考文献的基础上，对本课题研究领域的背景及意义、国内外 研究现状做了详细论述，并介绍了本文的研究思路、研究内容和文章结构。 警鬲 浙江j i ：业人学硕十学位论文 2 1引言 第2 章全方位视觉传感器及其标定技术 有效的信息获取是做出正确决策的前提，机器人对环境信息的快速、全面、正确的感 知是完成导航的前提条件。机器人对环境的感知是通过各种传感器来完成的，因此传感器 技术的研究是机器人导航技术的关键环节。 人类视觉所获得的信息在各种感官所获得的信息中约占8 0 ，同样对于机器人来说， 视觉传感器也是最重要的传感器。本章将重点介绍一种全方位视觉传感器，它能够一次获 取水平3 6 0 。大视场范围的视觉信息，为机器人视觉导航提够了一种快速、有效的环境感 知手段。为了提供更准确的环境信息，全方位视觉传感器在使用之前都要进行必要的标定 工作，本章还将介绍全方位视觉传感器的标定技术。 2 2 全方位视觉传感器 2 2 1 折反射摄像机技术 折反射摄像机由一个透视摄像机和其正前方的反射镜面构成，其反射镜面可以有不同 种类型，如球面反射、双曲面反射、抛物面反射、圆锥面反射、椭球面反射等。由于反射 镜面不同，各种类型的折反射摄像机都有其不同的特性，根据其是否符合单视点( s i n g l e e f f e c t i v ev i e w p o i n t ) 成像约束，文献 5 8 】中将这些折反射摄像机分为两大类，一类是单视 点折反射摄像机，另一类是非单视点折反射摄像机。所谓单视点约束是指来自周围场景中 的光线经过反射镜面反射后均可以聚焦于一点，该点即为单视点。图2 1 展示了符合单视 点和不符合单视点的两种摄像机成像模型。 以上几种类型中双曲面反射、抛物面反射和椭圆面反射符合单视点的成像约束。单视 点可以保证成像构成符合透视投影模型，因此可以场景中任一点在图像中的成像是唯一 的，只要知道成像系统的相关参数，我们就可以对原始图像进行逆运算得到空间点的相关 信息。由于这个特性单视点折反射摄像机得到了研究者的广泛关注。在众多的单视点折反 射摄像机中，双曲面折反射摄像机由于可视范围广，应用十分方便等优点成为目前首选的 全方位视觉成像方式。本文重点研究的全方位视觉传感器是采用双曲面反射镜的折反射摄 像机，本文中全方位视觉传感器若无特别说明指的就是这种双曲面折反射摄像机。 7 浙江i 业人学顾卜学位论文 图2l 两种不同的折反射摄像机 ( a ) 单视点折反射摄像机( b ) 非单视点折反射摄像机 2 22 全方位视觉传感器 l 全方位视觉传感器的组成结构 全方位视觉传感器( 双曲面折反射摄像机) 的结构如罔2 - 2 所示：聚光透镜以及 c m o s 摄像单元固定在由透明树脂或者玻璃制的圆筒体的下部；圆筒体的卜部固定一个 向r 的双曲面反射镜，将水平方向上3 6 0 度的场景图像信息反射给摄像机成像；双曲面的 中间有一个黑色圆锥体，它的作用是消除透明圆筒体的内反射对成像造成的影响。全方位 视觉传感器的实物图如2 - 2 所示。 己翱 图22o d v s 结构及实物图 霹 浙江一i ：业人学硕十学位论文 2 全方位视觉传感器的成像原理 全方位视觉传感器的成像原理如图2 3 所示，图中o m 、o c 为双曲面的两个焦点， o m 、o c 所在的连线称为全方位视觉传感器的主轴，在放置透视摄像机时保持其光心的放 置与反射镜的焦点o c 严格重合。根据双曲面的光学特性，物点g 沿线段g o m 在双曲面 镜面上点p 成像，p 点经过双曲面反射后必将聚焦到另外一个焦点即摄像机光心o c ，并 交摄像机成像平面于像点q 。像点q 唯一对应着空间点的反射光线p o c 与全方位视觉传 感器主轴的夹角q 以及入射光线在x y 投影平面上的夹角1 3 ，根据双曲面的特性，a 和 入射光线y 之间是相互对应的，则由1 3 和y 便可确定入射光线p g 。在本文中1 3 为方 位角，y 为入射角。整个成像过程符合透视成像原理。 jly 厂 _ q g 硝 忑， 。l ， g ( x ，y ，z ) z ol 双衄镜回角 o k，纠x 。 o允7 k ! o ，。 b a 、 上 f g q j j l c 挫靼成像平r f 二 f ilfl 双曲镜 1r 一】 o 。 图2 3 全方位视觉传感器成像原理 o c ( 0 ，0 ，c ) 全方位视觉传感器的光学成像过程可以由下面5 个公式表示【5 1 。 骘一x 2 + 广y 2 ；l 6 2口2 a 2 + 6 2 = c 2 ( 2 1 ) ( 2 2 ) 浙江i 业 学硕十学位论文 脚a n l ( 妻) 一 ( 2 3 ) 一“1 【了i 2 c 霄- zj c z 。， a = ；一t a n 。( b 。+ 。c2 ) 。s 。i ，n 。y 。- ，2 b c c z s ， 式中，x ，y ，z 表示双曲面上点的卒m 点坐标，x ，y 表示成像点坐标，c 表示双曲面镜 的焦点距离原点的距离，2 c 表示两个焦点之f u l 的距离，a ，b 表示双曲面镜的实轴和虚轴 的长度，p 表示入射光线在x y 投影平面上的夹角，y 表示入射光线与双曲面焦点的水平 面的央角，n 表示空可点的折反射光与烈曲面丰轴的夹角。 由于双曲面的旋转对称性决定了理想的全方位图像应当是一个标准的圆形图像( 如图 2 - 3 上图) 一而由于双曲面的曲率影响，这个全方位图像虽然只是对周围场景的扭曲反映， 但是它却完整包含丁真实场景的全部信息，图2 _ 4 为全方位视觉传感器采集的仝方位图 像。 图24 全方位视觉传感器采集的全方位削像 2 3 全方位视觉传感器标定技术 计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空问中物体的 几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对 应点之间的相互关系是由摄像机成像模型决定的，这些模型的参数就是摄像机参数。在大 多数条件下这些参数必须通过实验与计算卅能得到，这个过程被称为是摄像机标定【5 ”。标 + 1 0 - 浙江：i ：业人学硕十学位论文 定结果的好坏直接影响着三维几何位置信息获取的好坏，因此，机器人视觉导航获得准确 的环境信息必然会面临着摄像机标定的问题。简单地说，摄像机标定就是确定三维空间点 和摄像机成像平面上的二维图像点之间映射关系的参数，这些参数就是成像模型的参数。 摄像机的成像模型有着很多种表述方式，各种模型需要标定的参数也有所不同。因此 在全方位视觉传感器进行标定之前，我们有必要先讨论其成像模型，从而确定要标定的参 数。 2 3 1 单视点折反射摄像机的成像模型 1 m i c u s ik 的透视投影成像模型 m i c u s ik 的透视投影成像模型【2 9 】如图2 5 所示。在该成像模型中，我们考虑两个不 同的参考平面，图像平面( “，- ) 和传感器平面 1 1 ，i ) ，图像平面和摄像机的c c d 相关， 用像素坐标系来表示。 ( b ) 图2 5 单视点折反射摄像机成像模型 ( a ) 透视成像过程( b ) 传感器平面( c ) 图像平面 传感器平面是一个假设的和镜面光轴正交的平面，其中心原点是光轴和该平面的交 点。以镜面的单视点。为原点建立坐标系，z ”轴和镜面光轴对齐。设x = 【x ，y ，z r 为空 浙江丁业人学硕士学位论文 间中一点，u = 【“”，v q ，是x 在传感器平面的投影，u - “，下是其对应的图像平面的像 素点。空间坐标点x 先通过射影变换矩阵投射到镜面上a 点处，a 点由镜面反射聚焦于 摄像机光学中心点c ，并交传感器平面上u = m _ v 下点，u 点通过仿射变换到图像平面 上点u - 陋，v l7 。整个单视点折反射摄像机成像模型描述的是由空间点到镜面点，镜面点 到传感器平面点，传感器平面点再到图像平面点形成图像中的像素点的过程。 ( 1 ) 镜面到传感器平面的转换 如图2 - 5 所示，由镜面中心点0 和镜面点a 构成的空间向量p 通过透视摄像机的光 学中心点c 把场景点x