（计算机应用技术专业论文）全方位视觉图像展开和空间定位研究.pdf

浙江工业大学硕士研究生学位论文 全方位视觉图像展开和空间定位研究 摘要 基于反射镜面的全方位视觉是一项新兴的视觉技术，该视觉系统 能一次性的获取水平方向3 6 0 。的场景图像。由于全方位视觉具有大 视野的显著特性，使之非常适合于某些特定的应用。但是全方位视觉 设备由于其特殊的光学成像机制，所生成的图像存在严重的扭曲。因 此，在将全方位视觉投入到真正的应用中，需要从全方位图像中恢复 出所拍摄的景物信息。 本文首先介绍了全方位视觉技术、该技术的研究现状以及具体应 用现状。并通过对双曲镜面全方位视觉系统中几何及光路的分析，详 细地阐述了全方位视觉图像的成像过程和全方位图像通过展开来获 得全景以及透视图的方法。文中对全方位图像恢复成全景与透视图中 特有的像素点重复与损失现象进行了专门的研究。并通过构建虚拟的 全方位设备，测定了不同参数的双曲镜面全方位设备的性能指标。 在分析与研究全方位图像展开的基础上，本文首先考虑将全方位 视觉应用于视频监控，并在该应用基础上研发了全方位视觉展开软 件。在本文中详细阐述了该软件的设计方法和具体实现。该软件提供 了对全方位图像、全方位即时视频流、全方位视频文件展开成全景和 透视图等功能。同时，根据视频监控的实际应用，对局域网中的视频 传输和经传输后的全方位视频展开操作进行了设计和实现。 j 浙江工业大学顾卜研究生学位论文 在将全方位视觉应用于机器人导航等相关技术的研究对，本文将 s i f t 方法应用于全方位图像的特征点提取与匹配之中。在特征点匹 配的基础上，根据全方位视觉的特点，使用基于角度统计的可信赖匹 配选择方法。利用特征匹配与全方位视觉外极几何的相关原理，获取 了全方位设备运动的旋转矩阵和平移向量，并根据三角测距的原理， 获取空间中特征点相对于全方位视觉设备的位置信息。 关键字：全方位视觉、双曲镜面、全景、d i r e c t s h o w 、s i f t 、特征提 取 浙江工业大学硕士研究生学位论文 t h er e s e a r c ho nt h eu n w a r p p i n go fi m a g ea n d o b t a n n gt h ep o s i t i o no fs p a c e p o i n ti n o m n i d i r e c t i o n a l s i o n a b s t r a c t o m n i d i r e c t i o n a lv i s i o ni san e wc o m p u t e rv i s i o nt e c h n o l o g y , w h i c h c a na c q u i r e3 6 0 d e g r e eh o r i z o n t a lv i e wb a s e do nc o n v e xm i r r o r w i t ht h e p r o p e r t yo fl a r g ef i e l do fv i e w , o m n i d i r e c t i o n a lv i s i o ns y s t e mi sq u i t e s u i t a b l ef o rp a r t i c u l a ra p p l i c a t i o n s o m n i d i r e c t i o n a li m a g e sg e n e r a t e d f r o mo m n i d i r e c t i o nv i s i o ns y s t e mh a v ep r o b l e mo fs e r i o u sd i s t o r t i o n b e c a u s eo ft h eu n i q u ei m a g i n gp r o c e s s e so fo m n i d i r e c t i o n a ls y s t e m ，s o t h ei n f o r m a t i o no ft h es c e n et a k e nb yt h eo m n i d i r e c t i o n a lv i s i o nn e e d st o b er e c o v e r e dw h e na p p l y i n gt h es y s t e mt op r a c t i c e s f i r s t l y , t h et e c h n o l o g yo fo m n i d i r e c t i o n a lv i s i o ni si n t r o d u c e d , a n dt h e b a c k g r o u n do ft h er e s e a r c h i sd e s c r i b e d ，i n c l u d i n gt h et h e o r ya n dt h e a p p l i c a t i o n s b ya n a l y z i n gt h eg e o m e t r y o ft h eh y p e r b o l i cc o n v e x o m n i d i r e c t i o n a lv i s i o n ，t h ei m a g i n gp r o c e s so fo m n i d i r e c t i o n a li m a g e si s d e s c r i b e di nd e t a i l ，a sw e l la st h em e t h o do fu n w r a p p i n gt h ei m a g e si n t o p a n o r a m aa n dp e r s p e c t i v ev i e w s p e c i a lr e s e a r c hi s d o n et os o l v et h e p r o b l e m o f p i x e l r e p e t i t i o n a n d l o s s ，w h e nr e c o v e r i n g t h e o m i n i d i r e c t i o n a li m a g e si n t op a n o r a m aa n dp e r s p e c t i v ev i e w v i r t u a l o n m i d i r e c t i o n a lm i r r o r s a r e d e s i g n e d t ot e s tt h e c a p a b i l i t y o ft h e ；i 浙江工业大学硕士研究生学位论文 h y p e r b o l i cm i r r o ru s i n gd i f f e r e n tp a r a m e t e r s o nt h ef o u n d a t i o no f a n a l y z i n g t h e u n w r a p p i n gp r o c e s s o f o m n i d i r e c t i o n a li m a g e s ，o m n i d i r e c t i o n a lv i s i o n i s a p p l i e d t ot h e s u r v e i l l a n c e sa tf i r s t a f t e rt h ea n a l y s i so fr e q u i r e m e n t s ，d e s i g no b j e c ta n d d e s i g nm e t h o d ，ac o m p l e t e l yn e wu n w r a p p i n go m n i d i r e c t i o n a li m a g e s s o f t w a r ei sd e v e l o p m e n t ，w h i c hs u p p o r t su n w r a p p i n go m n i d i r e c t i o n a l i m a g e s ，o m n i d i r e c t i o n a ll i v ev i d e oa n df i l ev i d e os t r e a mi n t op a n o r a m a a n dp e r s p e c t i v ev i e w v i d e ot r a n s m i s s i o na n dt h eu n w r a p p i n go ft h e t r a n s m i t t e dv i d e oa r ea l s od e s i g n e da n di m p l e m e n t e dt om e e tt h ed e m a n d o f p r a c t i c a la p p l i c a t i o no f s u r v e i l l a n c e s t h es i f tm e t h o di su s e di nf e a t u r ee x t r a c t i o na n df e a t u r em a t c h i n g a m o n go m n i d i r e c t i o n a li m a g e sw h e na p p l y i n go m n i d i r e c t i o n a lv i s i o nt o r o b o t sn a v i g a t i o n a c c o r d i n gt ot h eu n i q u ef e a t u r eo fo m n i d i r e c t i o n a l m a t c h i n g ，am e t h o do fc h o o s i n gt h er e l i a b l em a t c h i n gi su s e db a s e do n t h es t a t i s t i co fa n g l e f i n a l l yt h er o t a t i o nm a t r i xa n dt r a n s l a t i o nv e c t o ro f o m n i d i r e c t i o n a ls e n s o rc a nb eo b t a i n e db yc o m b i n i n gt h e f e a t u r e m a t c h i n ga n de p i p o l a rg e o m e t r y , a n dt h ep r e c i s ec o o r d i n a t e so ff e a t u r e p o i n ti ns p a c ec a na l s ob ec a l c u l a t e db yt r i g o n o m e t r y k e yw o r d s ：o m n i d i r e c t i o n a lv i s i o n ，h y p e r b o l i cm i r r o r , p a n o r a m a , d i r e c t s h o w , s i f t , f e a t u r ee x t r a c t i o n 浙江工业大学学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行 研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江 工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出 重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的 法律责任。 作者签名：诗、甚k日期：口年f 月；日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密叼。 ( 请在以上相应方框内打“4 ”) 作者签名 导师签名 日期：莎f 年月： 1 日 日期：口( 年，月弓1 日 救哆 晾扔 浙江工业大学硕士研究生学位论文 第一章绪论 1 1 全方位视觉的基本介绍 1 1 1 全方位视觉的概念 视觉是人类感知世界，获取信息的主要途径。俗话说“百闻不如一见”，人 类通过视觉的感知获取了8 0 以上的所需信息【j l 。随着计算机和信号处理理论的 出现，人们开始使用摄像机来获取环境图像并将其转换成数字信号，用计算机实 现对视觉信息处理的全过程。虽然目前我们还不能让计算机也具有像生物那样高 效、灵活的视觉，但这种希望正在逐步实现。 目前般的计算机视觉技术都是通过常规镜头来获取场景的信息。但常规镜 头的视场角比较小，只能获取视场有限的局部信息。这样导致视觉系统的盲区较 大，限制了视觉技术的应用范围。为了获取更大的视野场景，研究者经过研究提 出了各种方法，其中一种方法就是使用全方位视觉系统( o m n i d i r e c t i o n a lv i s i o n s y s t e m ) 。 全方位视觉系统由一个c c d 摄像机和正对着摄像机的反光镜组成，反光镜 负责将水平一周的图像反射给摄像机成像，如图1 - 1 所示。该系统所成的图像称 为全方位图像( o m n i d i r e c t i o n a li m a g e ) ，也称为基于反射镜面的图像( c a t a d i o p t r i c i m a g e ) 。这样的一幅图像中能获得水平方向3 6 0 。的环境信息。 图1 - 1 全方位视觉设备 由于获取的图像有较大的视野范围，使全方位视觉系统非常适合某些需要大 视野的应用。从2 0 世纪8 0 年代末开始，国外的一批研究者不但在理论上对全方 浙江工业大学硕t 研究生学位论文 位视觉进行了大量的研究，同时在机器人导航、视频监控、三维重建、虚拟现实、 运动检测等具体应用方面也进行了较深入的研究【2 捌。从1 9 9 9 年开始i e e e 已连 续6 年组织全方位视觉国际研讨化1 4 】( i e e ei n t e r n a t i o n a lw o r k s h o po n o m n i d i r e c t i o n a l v i s i o n ) ，最近的一届于2 0 0 5 年l o 月在北京举行。在会议中交流 了全方位视觉的成像理论和具体的应用研究成果，其研究成果越来越多。可以预 见，全方位视觉将成为计算机视觉领域中一个重要的研究内容。 1 1 2 使用全方位视觉的优缺点 使用全方位视觉的主要优点为： l 、信息量大：一张图片上就可以集中以前需要4 5 个摄像机同时拍摄才能 拥有的内容，可以拥有水平3 6 0 。的图像信息。在自然界生物的进化中，人类的 视觉范围不超过1 8 0 。，但有些动物却拥有近乎3 6 0 。度视觉的能力。通过全方 位视觉设备所获得图像或视频的处理，人也能观察到3 6 0 。的场景。 2 、实现成本低：在某些应用中，传统方法是通过多个摄像机的组合来获得 大视野，而采用全方位设备只需要一个摄像机，其实现大视野的成本比较低。 3 、观察方便：在监控的应用中，通过全方位视觉展开软件，可以生成全景， 即在一幅图上可以观察3 6 0 。的环幕场景，改变了以往需多个场景同时观看才能 获得的总体信息的情况，减少了监控人员的工作量。 全方位视觉拥有以上几个优点，使得它在某些领域应用比较广泛，但是也存 着以下几个缺点： 1 、图像扭曲：全方位视觉图像在成像时有扭曲现象，不符合人的观察习惯， 需要进行转换，才能生成符合人观察习惯的图像内容。 2 、图像细节的损失：这包括两大方面：一是图像中容纳了更多的信息，必 然导致图像部分细节信息的丢失。二是在转换成适合人类理解的全景和透视图 时，也会丢失部分的图像信息。所以全方位图像应用到实际工程中时，需要提供 较高的分辨率。 3 、成像密度不均匀：空间中的信息在全方位设备上成像时，其成像密度存 在着很大的差别。双曲面全方位设备中，当双曲面离心率为1 2 5 时，空间中靠 近下方近一半的信息在全方位图像中仅占画面信息的l ，5 。在其他曲率的双曲面 镜头中，不均匀性可能会更加严重。 2 浙江工业大学硕士研究生学位论文 1 1 3 其他视野扩展方法及比较 1 、旋转成像或多摄像头成像 旋转成像是用普通摄像机通过光心的垂直轴旋转，在旋转中获取不同角度的 多幅图像，然后将这些图像拼接，获得3 6 0 。的视觉信息。该方法的缺点是旋转 摄像机需要一定的时间，并且通过计算机合成全景图也需要较长的时间，不适用 于动态场景的成像。因些在获取动态场景信息时，人们通常采用多个摄像机分别 朝各个方向同步拍摄。最后将同步采集的图像用计算机处理，生成实时动态的全 景图。但由于条件的限制，安装时不同摄像机的光心不可能重合，导致生成的图 像不能满足单一视点的要求。另外，该成像方法成本高，系统也复杂，图像的融 合过程耗费大量的计算时间。 2 、鱼眼镜头成像 鱼眼镜头由于焦距非常短，使鱼眼镜头摄像机可以观察至0 接近半球面内的物 体，这样视场角就接近1 8 0 度，可以获取大视场的图像。但这种成像存在较大的 图像畸变，且畸变模型不满足透视投影条件，无法从获取的图像中映射出无畸变 的透视投影图像；同时视场角越大，光学系统越复杂，从而造价也越昂贵。并且 这类系统的结构相当复杂，不少应用了l o 片以上的透镜和高质量的特殊光学材 料，设计难度大，加工和装配的高求比较高。 利用折反射原理的全方位视觉成像与前两种成像方法相比，有实时性比较 高、处理速度快、结构简单、无需运动部件、安装简单和造价低等优点。并且使 用某些特殊设计的反射镜面还可以保持单一视点约束，可以从获得的图像中映射 出无畸变的透视投影图像。 1 2 国内外全方位视觉研究现状 1 2 1 国内外对全方位视觉的理论研究 全方位视觉系统是1 9 7 0 年由d r r e e s 发明的【”，当时主要应用于全景电视视 觉系统。后来y a g i 和k a w a t 0 1 6 1 使用圆锥形的反射镜面组成全方位视觉系统， h o n 9 1 7 1 运用球形反射镜组成全方位视觉系统。n a y a r 8 1 设计了采用抛物面反射镜 和正交投影镜头构成的全向镜头。而使用双曲面镜来实现全方位的摄像也是由 r e e s 提出的，双曲面镜的优势是具有单一视点的约束和可使用普通c c d 摄像机。 在c c d 摄像机出现以后，研究者开始分析空间中的点与成像平面上的成像点 的对应关系。1 9 9 0 年，在大阪大学留学的j i a n g y u z h e n g 博士发明了世界上第一 个3 6 0 。取景的数字图像视觉系统。在单张全方位图恢复成全景和透视图的方法 浙江工业大学硕士研究生学位论文 中，k y a m a z a w a 9 1 提出了将单张全方位图像恢复成全景和透视图的几何对应关 系。o l u l l os a n d l n i 1 0 1 等则提出一种基于硬件的全景图获得办法，通过采用改变成 像设备上光感应点的形状和大小直接获得展开图。 捷克人t o m a ss v o b o d a 是将全方位视觉应用于三维信息恢复及机器人导航方 面研究的重要开拓者，他于1 9 9 9 年提出了在全方位设备平动时，空间中的点在 c c d 上成像时的运动规律，并通过点的运动规律提出了获得设备运动参数的一些 方法 1 1 , 1 2 】。在2 0 0 2 年他总结了全方位视觉的外极几何和自运动规律，并提出了 两个重要的约束关系1 1 3 1 。 在国内，全方位视觉的研究相对比较少。北京理工大学媒体计算与智能系 统实验室贾云得教授带领研究生在这方面做过一些专门的研究，包括全方向摄像 机的设计，机器人的定位与导航等【1 4 1 。中科院自动化研究所的应先华与胡瞻义 曾在0 4 年提出一种使用几何不变式的全方位视觉摄像机标定法【”】。 1 2 2 全方位视觉的应用研究现状 全方位视觉由于其特性，非常适合于需要大视野的应用，故国外研究者在全 方位视觉的具体应用上也做了大量的研究，主要的研究方向如下： 1 、视频监控 由于全方位视觉的特性，可用于代替多个普通摄像头来进行视频监控，例如， 在十字路1 3 同时可以查看几条道路的通行情况，在房间的结合处安装一个全方位 视觉设备可同时查看两个或多个房间的情况。y o n o e 1 6 1 与n o b o mb a b a g u c h i l l 7 j 分别设计了将双曲面和抛物面全方位系统恢复成全景和透视图后用于监控和检 测的实例。在监控应用的基础上发展出针对全方位视觉的人体检测与跟踪，北京 大学信息科学技术学院智能科学系曾将全方位视觉应用于运动检测与跟踪的研 纠1 8 1 。y uo h a r a 1 9 】提出了全方位视觉条件下基于时空分析的步态检测方法。 2 、视频会议 视频会议是当今研究的热点之一，视频会议相对于传统的会议，大大节省了 人力和成本。在会议中使用全方位视觉设备，不需要视角的切换可以获得全部会 议参加者的视频信息。微软公司r e d m o n d 研究院曾做过该方面的一系列研究，并 给出了软硬件的实现环境与实现方法1 2 0 1 。慕尼黑工业大学的研究者提出使用全 方位视觉视频会议时的脸部跟踪方法【2 “。m a i n c rs t i e f e l h a g e n l 2 2 】等则提出全方位 视频会议时的会议者的追踪，根据脸部的人物识别等方法。 3 、机器人导航 将全方位视觉应用于机器人导航是全方位视觉应用的重点，也是全方位视觉 应用研究中投入最多，研究成果最多的应用。传统方法中，机器人视觉系统主要 4 浙江工业大学硕士研究生学位论文 是采用常规镜头来获取场景信息，这种方法的缺点是视场角较小，获取的视野有 限。为获取大视野场景图像，可将单个镜头旋转或多个普通镜头水平来实现。但 这种方法的问题是不同位置摄像机的光心不能真正重合，因此定位精度比较低。 近二十年来，人们开始研究基于单个曲面反射镜的全方位系统来实现机器人 定位。最早是由日本大阪大学的y a 西侧开始研究的，他于1 9 9 1 年设计了锥面 反射镜全方位视觉用于室内环境中的机器人导航，在他的后续研究中，分别对该 机器人导航方法进行了碰撞检测、建立简单室内环境地图和检测未知障碍物的研 究。1 9 9 7 年，卡内基梅隆大学研制的利用全方位视觉系统导航的机器人在4 0 天内走过2 0 0 k m ，成功穿越智利的阿塔卡马沙漠。s t e f a nh a r b a r 2 _ 7 】等人将全方位 视觉设备用于无人驾驶直升机的导航。 5 、虚拟现实 虚拟现实是一种可以创建和体验虚拟世界的计算机系统。这种系统生成的各 种虚拟环境，作用于用户的视觉、听觉、触觉，使用户产生身临其境的感觉，沉浸 其中。由于全方位视觉大视野的特性，减少了生成虚拟环境时信息采集的工作量。 根据生成方式不同的分类，虚拟现实系统可分为基于实景图像的虚拟现实系统与 基于几何模型图形构造的虚拟现实系统瞄j 。 在基于实景图像应用的虚拟现实系统方面，d a n i e lg a l i a g a 2 9 - 3 0 1 等人提出了 如何对大量的全方位图像进行采样、有层次的压缩与存储，构建出一个交互式的 虚拟空间的方法，使用者可以在里面自由走动。h i r o s h ii s h i g u r o 3 1 1 等分析并比较 了全方位虚拟现实中基于全光建模( p l e n o p f i e m o d e l i n g ) 的三种方法。在基于几何 模型的图形构造研究方面，j o s eg a s p a r 3 2 】于2 0 0 1 年用一张全方位图像通过人工选 定的方法构建出空间三维造型。大量的三维景物重建的工作都基于多张图像的特 征匹配，以p e t rd o u b e k 与t o m a ss v o b o d a 的重建工作最为典型【”一】，他们于2 0 0 2 年提出了一种通过少量全方位图像来进行空间三维重建，并给出了可靠点的选择 方法。而r o l a n d p 5 】等人则提出了在全景图基础上的景物重建方法。 1 3 本文研究的内容和文章结构 1 3 1 研究内容 本文作者参加了浙江省科学技术厅计划项目“全方位计算机视觉系统与应 用”( 项目编号2 0 0 4 c 3 1 1 0 3 ) 的相关工作，项目的目标为对全方位视觉进行理 论与应用上一定程度的研究，为全方位视觉投入各个方面的实用打下基础。 由于全方位图像存在扭曲的现象，故将全方位视觉系统用于视频监控、视频 浙江工业大学硕士研究生学位论文 会议及运动检测时，为了人眼的观察习惯，需要把全方位的图像和视频展开为全 景和透视图。而由全方位视觉设备厂商提供的展开软件，一般与自己的硬件设备 相配套，在通用性方面存在欠缺。因此有必要去探求展开的原理，开发出较为通 用的展开软件。当全方位视觉用于机器人导航时，机器人根据全方位视觉获得的 信息来感知环境信息，从而确定自身在环境中所处的位置和运动情况，这就需要 而进行三维空间的点的位置信息获得工作。在将全方位视觉用于虚拟现实的相关 研究时，也需要获得三维空间点的位置信息。所以本文的研究工作包括两个方面： 一是对全方位系统获得的全方位图像及视频的展开工作，包括把图像和视频 信息分别恢复成全景和透视图，以及展开软件的开发。 二是对全方位设备以及空间相关点的定位研究，即根据多张全方位图或全方 位的视频来获得空间中部分点的三维位置信息和设备的自身运动情况。 本文的研究内容如图1 2 所示，其中方框部分为论文所涉及的内容，虚框部 分为课题开始时所设想要涉及到的内容，在本论文只提出了初步的设想，需要进 一步的研究与深入。 图1 - 2 研究内容结构图 6 浙江工业大学硕士研究生学位论文 1 3 2 文章结构 根据作者的研究内容，本文的章节安排如下： 第一章：作为文章的绪论，介绍了本文涉及的基本概念，研究背景，选题依 据，研究内容等。 第二章：介绍了全方位视觉成像的原理，分析了全方位视觉设备的结构，全 方位视觉图像的成像过程，以及如何将全方位视觉图像和视频恢复成人所能理解 的全景和透视图。详细研究了生成全景中像素点的重复与损失现象，该章节中也 分析了各种参数的双曲面镜头全方位设备的性能。 第三章：介绍了作者所开发的全方位视觉展开软件，包括需求分析、使用的 相关技术、系统的设计和实现，对实现的过程进行了较为详细的介绍。 第四章：该章对全方位视觉应用于空间位置信息获取做了一个初步的研究。 通过对特征点的提取，使装有全方位视觉设备的机器人对空间的环境有一个基本 的感知，并能确定所感知点在空间中的位置。 第五章：全文的总结以及进一步的工作。该章对前面各章节所做的工作进行 了归纳与总结，并探讨了作者对下一步研究的一些设想。 1 4 本章小结 本章对全方位视觉做了一个基本的介绍，包括全方位视觉特点，当前的研究 现状和应用现状。最后对本文所研究的主要内容及各章节的安排进行简短的概 述。 7 浙江工业大学硕士研究生学位论文 第二章全方位图像成像与展开的的几何分析 2 1 全方位视觉镜头的几何约束 2 1 1 各种曲面镜头及其分析 为了达到使有效视野扩大的目的，全方位设备中反光镜面可以为半球面、圆 锥面、抛物面或双曲面【1 2 1 。图2 - 1 是各种全方位曲面镜头的成像原理。 彳 圆锥镜面球状镜面抛物镜面双曲镜面 图2 - l 各种全方位镜头的成像原理 圆锥面和半球面两种镜面组成的全方位镜头由于从各个方向进入全方位设 备的光线无法汇聚到一点，从而不满足单一视点的约束，导致了成像平面上出现 晕光效应。将所生的图像进行展开操作恢复成全景时，无行之有效的办法来使之 达到真实感，并且无法恢复出满足透视投影的图像，即无法恢复出真正的透视图。 尽管如此，在早期由于制造工艺上的原因，很多的研究仍然在这两种反射面镜上 进行，也取得了一系列的研究成果。 在当前研究和应用中，考虑到还原后图像的视点特性和真实感，一般要求全方 位图像有单一视点约束，这样就将反光镜的选择范围限定在抛物镜面和双曲镜 面。抛物面全方位设备虽然有成像算法简单和安装时没有特殊的几何对应( 因为 双曲镜面需要将摄像机的光心对应到双曲面镜的另一个焦点上) 要求等优点，但 是成像时需正交投影镜头摄像机【l “( o r t h o g r a p h i cc a m e r a ) ，跟一般基于透视的摄 像机有所区别，并且正交投影镜头价格昂贵，这样就限制了其使用范围，所以在 实际应用中以双曲面镜较为普遍。最早r c c $ 于1 9 7 0 年提出了使用双曲面镜来实 现全方位的摄像 f l ，在此之后，各国研究者对基于双曲镜面的全方位摄像机进行 了一系列的分析和研究。 8 浙江工业大学硕士研究生学位论文 2 1 2 双曲面全方位视觉设备中的参数 双曲面全方位视觉设备由一个圆柱形的容器组成，圆柱面由透光的材料构 成，上下顶面则不透光，在上顶面装有精密的双曲镜面。当光线通过透明的圆柱 面射到双曲面上时，将被反射到接在全方位视觉设备的摄像机镜头上，并在摄像 机的c c d 上成像。双曲面全方位视觉设备的横截面如下图所示： 图2 - 2 全方位设备横截面 由于全方位视觉系统的圆柱面的顶部和底部并不透光，使全方位视觉存在一 定的垂直视野范围。设双曲面的焦点为o m ，则图2 - 2 中的中i 为上视角，其大 小表示了该全方位系统设备的上视能力，e 2 为下视角，其大小表示了该全方位 设备的下视能力。中l + 中2 即为该全方位设备的垂直视野角，根据双曲面镜参数 的不同而不同，一般为7 0 1 2 0 度之间。 由于全方位系统成像时的特点和全方位镜头的上下不透光区域的遮挡，全方 位图像中心存在半径为r 的圆形未成像区域，这里的r 称为内径。同时，在图像 的半径为r 的圆形外面，也存在未成像区域，这个r 称为外径。图像的内径和 外径上的点分别对应空间垂直可视范围的下限成像空间点和上限成像空间点。未 成像区域则对应空间中的不可见部分，是全方位视觉的盲区，是以双曲面焦点为 顶点，全方位镜头的顶面和底面为底面的两个圆锥体向空间中的延伸部分。 全方位设备的双曲面的参数为全方位系统性能的关键。双曲面的参数包括a ， b ，c ，分别对应双曲面的长半轴，短半轴和焦距。当所用的全方位镜头的参数值 a 和b 未知时，其值可以通过测量全方位镜头中的双曲面半径r f 。双曲面的顶端 9 浙江工业大学硕士研究生学位论文 到上底面的距离h ，及镜头顶部到摄像机光心的距离h 来计算得出一个大概值。 设镜头的顶部到双曲面的上焦点的距离为l ，根据几何的约束关系，可得到 以下的公式： h = 2 c 4 - 三 h = h a c c 2 = 4 24 - 6 2( 2 1 ) ( 三- c ) 2 且m 1 1 ：广一丐广” 这样就可以解出a ，b ，c 的值，当这三者的值确定时，其上视角中1 ，下视 角0 2 也可通过简单的几何运算得出。 2 2 全方位图像的成像过程 根据几何学以及光学的基本原理，一束射向双曲镜面焦点o m 的光线经镜面 反射后会经过该曲面的另一个焦点o c 。由于成像需要，安装时需将摄像机的光 心与o c 点重合，这样使空间点在c c d 上成像。以小孔成像模型分析成像( 如 图2 - 3 ) ，以o m 点为空间坐标系的原点，双曲面的方程为立望一! 去：l ， a9 一 摄像机的焦距值为f ，空间上点p ( x ，y ：z ) 在摄像机成像平面上的成像点为p ( x ，y ) 。 跟据几何学和光学的原理，得出空间上点p ( x ，y z ) 与成像平面上的点p ( x ，y ) 的对 应关系为【1 6 j 6 】： 爿y t , 2 ：r = ；= = = = = = = = = = = 一 2 别r 十y 2 + 军一口+ ，) z( 2 2 ) 。：丝 。2 a e 、x 2 + , 2 + z 2 一留4 - c 2 亿 1 0 浙江工业大学硕士研究生学位论文 图2 - 3 全方位设备成像图 而对上述的全方位图像的生成公式进行数学分析，可以发现以下的结论，该 公式的值与a 和b 的具体值无关，只与a 和b 的比例有关。这样可以将公式的 计算单位设成像素，使单位比较统一。此时的焦距值f 可以通过计算取得，可以 得到计算关系厂= h r r n ( 图2 1 ) 。由于拍摄全方位图像时需将摄像机视场角 设置为最大，根据镜头在制造时的几何约束关系，可以通过摄像机的最大垂直视 场角为求得f 的值，这样更为方便，得f * r t g ( a , 2 ) 。 2 3 全景与透视图的生成 由于全方位图像是一张压缩过的圆形全景图像，因此有必要把该图像进行展 开，使之符合人的观察和理解习惯，同时也便于用计算机进行下一步的分析和处 理。展开成全景则能得到3 6 0 。的环幕信息，展开成透视图则更符合人眼观察的 视角，方便了细节的处理，同时相对全景图，减少了生成图像中的某些空间扭曲 现象。下面三幅图为全方位图像展开成全景与透视图的一个示例。 浙江工业大学硕士研究生学位论文 图2 - 4 全方位图像原图 图2 - 5 根据图2 _ 4 生成的全景图 图2 - 6根据图2 - 5 生成的两张透视图 2 3 1 全方位图像展开的几何分析 全方位图像的展开过程是全方位图像生成过程的逆过程，在展开成全景的过 程中，是将c c d 上所成的全方位图像展开到空间的一个圆柱面上( 图2 - 7 左) 。 在展开成透视图的过程中，则将全方位图像中的部分点还原到空间的一个特定的 1 2 浙江工业大学硕士研究生学位论文 平面上( 图2 - 7 右) 。 j f 面j 历忪 z妙 仰角啕俯角 0 y 么z 一 r ) 。 、1 。匕夕 。7 y 图2 7 全方位图像展开成全景图和透视图 当进行全景图展开时，全方位图像上的点都将被映射到半径为l ，仰角为中1 ， 俯角为m 2 的柱面上。该柱面上的任意一点p o 【，y z ) 满足条件+ j ，2 = r 。以 y = o ，x = l 横切该柱面，并从x y 平面沿一二三四象限的顺序将该柱面拉成一平面， 映射到该平面上的点即为由全方位图像生成的一幅全景图。以x 轴正方向交柱面 的点为全景图的坐标原点。空间坐标系中z 轴坐标值为全景图的y 轴坐标值，这 里以原x y 平面和柱面的交线沿拉伸方向为全景图的x 坐标正方向，得到以下的 全景图坐标伍l ，y 1 ) 与全方位图像( x y ) 之间的对应关系： 助2c o s ( x , 1 2 ，r l ) 工= ；= = = = = = = 一 2 a c r + m 2 一( 口2 + c 2 ) m 助2s i n ( x i 2 x l ) y 22ac厢2-(a2+c2一)yt ( 2 3 ) 在以双曲面的焦点即空间坐标原点为视点生成透视图时( 图2 7 右) ，对于 是映射平面g ，以该平面的中心点为坐标原点，平面上的一点g ( g y ) 与空间坐 标原点的连接线在x y 平面的投影与x 轴正方向的交角为o x ，该连接线与在x z 平面的投影与x 轴正方向的交角为0 ，得到点g ( g x ，g y ) 与空间坐标点的对应关系 1 1 6 1 ：( 注：所引文献的y 坐标对应关系存在错误，己重新推导修正) x = ( l e o s 0 ，+ g y s i n d r ) c o s 0 ：+ g xs i n q y = ( l c o s d ，+ g ys i n 0 ，) s i n q 一c o s q ( 2 4 ) z = l s i n o y g y c o s o y 得到空间坐标与生成平面的坐标对应关系后，将上式代入到空间平面与成像 平面的对应关系即可得到透视平面与成像平面之间点的对应关系。 浙江工业大学硕r 1 ：研究生学位论文 2 3 2 全景和透视图的生成步骤 在生成全景图和透视图之前，首先要确定的是所要求生成图像高度方向端点 坐标取值，即要确定全景图y 轴上两端点在空间坐标系中的z 值。其中，一种方 法是通过a ，b 计算出仰角中1 和俯角c a 2 后，通过展开轴长度来计算上下端点的 空间坐标。该方法比较简单，也不需要预先知道生成全方位图像的内径和外径。 另一种方法是取空间上的x z 平面，取得r 和r 对应的空间上的点。通过数学分析 求得其变换公式为： j _ - _ _ _ _ - _ _ _ _ _ _ _ 一 v：2acl、f2+x2_fl(a2+c2)佗5 、 7 b e x 、7 这样当x - - - - t 和) ( _ r 就求得的y 的两端点取值。该方法的优点是人工在全方位 图像上圈定内外径时，可以更改全景图和透视图的生成范围，同时可以避免全方 位镜头外壳上固定装置对第一种方法造成的数据偏差。通过上述的方法确定了生 成图的高度方向的上顶点和下顶点的坐标值以后，全景图的顶部和底部的各自y 轴坐标值即为上顶点和下顶点的坐标值。确定了全景图的顶部坐标值和底部坐标 值以后，透视图中上下端点的取值范围可经三角函数分析得出。 生成全景图和透视图的过程，是遍历生成的空图像中的每一点开始在全方位 图上寻找对应点的过程。在全景图的生成过程中，通过对应计算公式可以发现， 除了三角函数计算部分与图像的宽度值x 有关，计算量中的大部分只与高度的值 y 有关这样在遍历全景图每一点时，应将高度方向上的点作为外循环，这样在遍 历每一行的只需计算与x 轴有关的数据，这样就大大减少了算法的计算量。 2 3 3 展开轴长度的选取 在全方位图像的展开过程中，展开轴长l 的选取是一个比较关键的问题。l 的选值，直接关系到计算机的计算量，生成图像的质量，以及图像的像素点损失 及重复。当然，可以跟据工程中的全景显示宽度w 的需求来固定l 的值，该方 法的优点是图像分辨率较大时根据显示需要最大限度的减少计算量，此时 l - - w 2 n 。在一般情况下，可取生成图像的生成高度h = r - r ，此时l = h ( t g 中l + t g 中，此时l 取值根据图像生成高度而变化，优点是当原图分辨率取值不同时， 可以有效的保障生成图像的质量及生成的速度。在实际工程应用中，可以将两者 结合起来，根据实际情况进行判断和选择。如在原图分辨率在一定的范围之内采 用l = h ( t gl + t g 中2 ) ，在原图分辨率大到一定的程度，使全景图生成时间较长时， 则考虑将l 取固定值，以节省展开时间。 1 4 图2 8 全方位全景投影时的扭曲现象 上。当 z 辅方 的一个 映射为 2 墨 囊， 浙江工业大学硕十研究生学位论文 2 4 2 像素点重复和损失现象的分析与处理 通过对全景图坐标( x l ，y 1 ) 与全方位图像坐标( x ，y ) 的对应关系( 2 3 ) 的分析我们 可以得出，当取x l = 0 时x ( m ) = 1 时，方程解出值y l ，该y l 作为函数自变量取 得的值x 即为无伸缩点的半径值r 。 全方位图像生成全景图和透视图过程中的像素信息损失和重复是一种不可 避免的现象。在选取生成范围时，适当的把内径范围选取的比成像内径稍大一些 可以有效的减少信息的损失和重复的现象，包括圆周方向上的信息损失与重复现 象与半径方向上的信息损失与重复现象。 圆周方向上的信息损失与重复现象比较容易分析，在这里只分析在半径方向 上所出现的信息损失与重复现象。并取k = 4 3 ( k = a b ) 做为例子进行分析，该 系数为全方位设备制造商所常用的制造所用系数。 首先考虑展开时选取的内径为成像时所形成的内径这种情况，设全方位图像 上外径与内径的差值( 以下称为有效半径) 为5 0 0 像素，取适当的展开半径l ， 使生成的全景图的高度为5 0 0 ( 使用展开轴长度的第二种选取方法) 。 取全方位图像上的像素点的半径与内径的差值为横坐标，生成的全景图高度 方向为纵坐标。这样，内径上的像素点在全景图上所成像的点的y 坐标为0 ，外 径上的点在全景图上所成像点的y 坐标为5 0 0 像素。则展开成全景时两者的对 应关系如下图的k 曲线所示： 图2 - 9 像素点的重复与损失现象分析图 通过分析，可以发现，图像中存在的严重的像素点重复与损失现象，靠近内 径距离1 0 0 之内的像素( 占有效半径1 5 ) 在全景图上占了3 5 的图像面积，靠 近内径距离5 0 之内的像素在全景图上占了2 5 的图像面积! 很明显，如果按照 直线m 的像素对应规律，则全方位图像生成全景图的过程中在半径方向没有像 1 6 浙江工业大学硕士研究生学位论文 素的重复与损失现象，故k 越接近于m ，像素点的重复与损失现象越小。 由于像素点存在重复与损失现象，故在生成全景图的过程中，相于对于全方 位图像上的每一个半径上的点都有一个下拉的过程，即将像素点下拉到全景图的 合适的地方成像，右图为n 曲线即为全方位图像上每一个像素的下拉数值曲线， 其峰值点的坐标值为( 1 2 6 ，2 1 3 ) ，即为无伸缩点半径。 当我们通过人工圈定内径的方法，并将内径范围圈定比成像时自然形成的内 径稍大。在这里设将内径半径圈大5 0 个像素点，则如果展开轴长l 不变，此时 的生成图的宽度为2 8 0 像素。根据生成全景图的高度与图像的有效半径值相等的 关系，此时展开轴长l 增长，伴随l 的增长，全方位图像中的无伸缩点半径将 增长，使生成图像中像素点重复现象所占的区域增长，