全景图拼接系统的设计说明

1、 摘 要全景图(Panoramic Image)是近来出现在Internet上的另一种新的交互式的虚拟场景表示方式,它基于图绘制IBR（Image-Based Render）的方式再现了三维场景,可用浏览器实现虚拟场景的漫游,同时也详细介绍了这种全景图浏览器的实现原理。本文在总结已有技术的基础上，提出一个基于全景图的虚拟现实系统模型，并改进算法实现了高效的拼接，全景图是一种能覆盖大围场景的宽视角图像。除了用特殊的相机获取外，目前多采用图像拼接技术，即将普通相机拍摄的两幅或多幅来自同一场景的有重叠区域的图像拼合成为一幅宽视角的高质量图像。这是当前图像处理的一个热门研究课题，也是基于图像绘制的一部

2、分，适用性很强，应用于虚拟现实的实现、卫星照片的处理和医学图像处理等领域。本文在总结已有技术的基础上，全面总结了在研究全景图拼接关键技术课题中所做的工作。主要包括以下几个方面:针对传统的模板匹配算法中存在的问题，本文提出了自适应模板匹配算法，即在进行匹配之前，首先基于局部边缘密度LED和模糊聚类算法定位出特征物体区域，然后以该区域为模板计算其局部嫡差，在另一幅图像中进行搜索，找到最佳匹配点;在基于特征的图像匹配算法研究中，采用了多尺度的Harris角点提取算法提取特征点，以一种鲁棒的特征点匹配策略进行匹配对的过滤，保证以提纯后准确的特征点数据来做点变换估计，从而确定待拼接图像之间的变换参数，确

3、保准确地定位出重叠区域;在图像融合方面，对原亮度调和处理算法进行了改进，消除了拼接图像中存在的亮度差别，然后采用渐入渐出算法和最佳缝合线算法消除了拼接图像中的拼接接缝和鬼影问题。实验结果显示，上述算法可以实现待拼接图像的准确配准和拼接图像中接缝和鬼影等砌象的消除。最后，用Microsoft Visual C+6.0开发了一套较完整的全景图自动拼接系统。关键词：全景图；Microsoft Visual C+6.0；虚拟现实；图像拼接；AbstractPanoramic (Panoramic Image) is a recently emerged in the Internet, another

4、 new interactive virtual environment that way, it is based on mapping IBR (Image-Based Render) way reproduce three-dimensional scene, the browser can be used to implement virtual scene roaming, as well as details of this panorama of Realizing the browser. This paper summarizes the existing technolog

5、y is proposed based on a panoramic image based virtual reality system model, and improve the efficiency of the splicing algorithm, panorama is a wide range of scenarios that can cover wide viewing angle image. In addition to using a special camera to obtain, the currently used image stitching techno

6、logy, about two ordinary camera, or pieces of the same scene from the overlapping region of images put together into a wide viewing angle, high-quality images. This is the current image processing of a hot research topic, is also part of image-based rendering, the applicability of a strong, used in

7、virtual reality, satellite photos of the processing and medical image processing and other fields. This paper summarizes the existing technology, based on a comprehensive summary of research Panorama Stitching in the key technology issues in their work. Include the following: the traditional templat

8、e matching algorithm for the problem, this paper proposes an adaptive template matching algorithm, that is, before a match, the first LED based on local edge density and characteristics of fuzzy clustering algorithm locate object region then to the region as a template to calculate the local entropy

9、 difference, an image in another search to find the best match point; in feature-based image matching algorithm, the use of multi-scale Harris corner detection algorithm for feature point extraction , with a robust feature point matching strategy to match on the filter, to guarantee the accuracy of

10、the feature points after purification data do point transformation is estimated to be spliced to determine transformation parameters between the images to ensure accurate position of overlapping region ; in image fusion, the brightness of the original harmonic treatment is improved to eliminate the

11、mosaic image brightness differences exist, then gradually out of use gradually into the suture method and the best method to eliminate the mosaic image stitching seams and ghosts shadow problem. Experimental results show that the algorithm can achieve accurate images to be spliced registration and s

12、titching in the seams and the ghost image as the elimination of such puzzle. Finally, Microsoft Visual C + +6.0 has developed a more complete panorama mosaic system. Keywords: panorama; Microsoft Visual C + +6.0; virtual reality; image mosaic; 毕业设计（论文）原创性声明和使用授权说明原创性声明本人重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导

13、下进行的研究工作与取得的成果。尽我所知，除文中特别加以标注和致的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得与其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了意。作 者 签 名：日 期：指导教师签名： 日期：使用授权说明本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部

14、分或全部容。作者签名： 日 期：学位论文原创性声明本人重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期： 年 月 日学位论文使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权大学可以将本学位论文的全部或部分容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制

15、手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期： 年 月 日导师签名： 日期： 年 月 日指导教师评阅书指导教师评价：一、撰写（设计）过程1、学生在论文（设计）过程中的治学态度、工作精神 优 良 中 与格 不与格2、学生掌握专业知识、技能的扎实程度 优 良 中 与格 不与格3、学生综合运用所学知识和专业技能分析和解决问题的能力 优 良 中 与格 不与格4、研究方法的科学性；技术线路的可行性；设计方案的合理性 优 良 中 与格 不与格5、完成毕业论文（设计）期间的出勤情况 优 良 中 与格 不与格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规？ 优 良 中 与格

16、不与格2、是否完成指定的论文（设计）任务（包括装订与附件）？ 优 良 中 与格 不与格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 与格 不与格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 与格 不与格3、论文（设计说明书）所体现的整体水平 优 良 中 与格 不与格建议成绩：优 良 中 与格 不与格（在所选等级前的画“”）指导教师： （签名） 单位： （盖章）年 月 日- 52 - / 60评阅教师评阅书评阅教师评价：一、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规？ 优 良 中 与格 不与格2、是否完成指定的论文（设计）任务（包括

17、装订与附件）？ 优 良 中 与格 不与格二、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 与格 不与格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 与格 不与格3、论文（设计说明书）所体现的整体水平 优 良 中 与格 不与格建议成绩：优 良 中 与格 不与格（在所选等级前的画“”）评阅教师： （签名） 单位： （盖章）年 月 日教研室（或答辩小组）与教学系意见教研室（或答辩小组）评价：一、答辩过程1、毕业论文（设计）的基本要点和见解的叙述情况 优 良 中 与格 不与格2、对答辩问题的反应、理解、表达情况 优 良 中 与格 不与格3、学生答辩过程中的

18、精神状态 优 良 中 与格 不与格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规？ 优 良 中 与格 不与格2、是否完成指定的论文（设计）任务（包括装订与附件）？ 优 良 中 与格 不与格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 与格 不与格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 与格 不与格3、论文（设计说明书）所体现的整体水平 优 良 中 与格 不与格评定成绩：优 良 中 与格 不与格（在所选等级前的画“”）教研室主任（或答辩小组组长）： （签名）年 月 日教学系意见：系主任： （签名）年 月 日目 录摘要1Abst

19、ract2目录4第1章绪论51.1课题研究的背景和意义51.2全景图拼接技术的发展与研究现状61.3研究容7第二章全景图相关技术概述92.1图像的获取方式92.2图像的颜色处理102.2.1彩色图到灰度图的转化102.2.2实验结果112.3柱面投影算法122.3.1全景图模型分类122.3.2柱面投影算法132.3.3插值算法152.3.4实验结果15第三章基于特征的图像拼接算法研究与实现173.1角点特征与其检测算法研究173.1.1角点检测算法介绍173.2特征匹配213.2.1特征匹配算法的分类223.2.2改进的基于相关窗口的角点匹配算法22第四章图像融合244.1取平均值法244.

20、2改进的亮度调和处理算法254.3渐入渐出算法264.4基于最佳缝合线的图像融合算法274.4.1最佳缝合线的建立27第五章全景图拼接系统的设计30结论32参考文献34第1章绪 论1.1课题研究的背景和意义在日常生活中，使用普通相机来获取宽视野的场景图像时，人们必须通过调节相机焦距才可以摄取完整的场景，但这样所获取的场景照片的分辨率相对较低，这是因为相机的分辨率是一定的，拍摄的场景越大，得到的图像的分辨率就越低。因此人们只能通过缩放相机镜头减小拍摄的视野以获取高分辨率的场景照片。另外，由于距离的限制，某些超大尺寸的物体无法用一照片拍摄下来，这在航天照片的拍摄中显得尤为突出。利用广角镜头和扫描式

21、相机可部分解决视角不足这一问题，但这些设备价钱昂贵、使用复杂而且广角镜头的边缘难免会产生扭曲变形。为了在不降低图像分辨率的条件下获取大视野围的场景照片，人们提出了图像拼接技术，将普通图像或视频图像进行无缝拼接，得到超宽视角甚至360度的全景图，这样就可以用普通相机实现场景宏大的景物拍摄。近年来，随着虚拟现实技术的飞速发展，具有广阔应用前景的基于图形的绘制技术 (Image Based Rendering，简称IBR)己逐渐成为虚拟现实技术中一个倍受瞩目的热点问题。该方法首先通过一组预先采集到的场景图像序列构建数据模型，而不是用三维几何模型来模拟一个场景，然后根据用户观察参数确定图像数据合成参数

22、，最后通过图像拼接技术适当组合这些场景图像来产生虚拟场景视图，以完成虚拟场景的绘制工作。由于基于图像的绘制方法充分地利用了图像本身所具备的真实感以与发挥图像显示速度快的优点，成为增强虚拟场景的真实感和提高实时场景绘制的一种重要手段。在基于图像的绘制方法中，图像拼接技术是虚拟场景创建过程中的关键性环节。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节。另外，图像拼接技术在机器人导航、视频压缩、军事领域8l与文档管理等领域都有应用。从以上几点

23、可以看出，全景图像拼接技术的发展前景十分宽阔，深入研究全景图像拼接技术有着很重要的意义。1.2全景图拼接技术的发展与研究现状近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui,Hugin, Ulead Cool 360与Panorama Factory等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。图像拼接的核心技术是图像配准技术，配准算法的好坏直接影响到全景图的真实感和生成过程的实时性。如何确定图像间的对应关系模型中的参数就是图像配准所要完成的工作，根据图像配准的方式大致可以将图像

24、拼接技术分为三大类:相位相关度法、基于区域的方法和基于特征的方法，相位相关度法最早在1975年由Kuglin和Hines提出，具有场景无关性，能够将纯粹二维平移的图像精确的对齐。后来，DeCastr。和Morandi发现用傅立变换确定旋转对齐，就像确定平移对齐一样120 1996年，Reddy和Chaterji改进了DeCastr。的算法，大大减少了需要转换变量的数量。两幅图像的平移矢量可以通过它们互功率谱(Corss Power Spectrum)的相位直接计算出来。应用傅立叶变换进行图像的配准是图像拼接领域的研究成果，而且随着快速傅立叶变换算法的提出以与信号处理领域对傅立叶变换的成熟应用，

25、图像拼接技术也得到了相应的发展，基于区域的配准方法是在参考图像中选出一个大小为MXN的窗口，该窗口区域即为模板。然后在待配准图像中选择足够大的搜索区域，将模板在搜索区域中移动时所覆盖的区域与模板进行相似性比较，寻找相似性最大的区域，该区域即为所要寻找的区域。常用的相似性度量主要有:归一化函数(normalizedcross-correlation function)15、相关系数(correlation coefficient)、差平方(sequentialsimilarity)和最小二乘匹配(least squares matching)。早期的图像配准算法大都是基于区域的，因为该算法简单易

26、于硬件实现;另一方面，医学图像由于纹理特征不是很丰富，所以也多采用这种算法，但是这种算法不适合待拼接度图像中存在较大的旋转和不同视角等情况，基于特征的图像配准算法是图像拼接技术的另一研究热点。在这种方法中，首先要对图像进行处理，提取满足特定应用要求的特征，然后利用特征之间的对应关系来确定模型中的参数。目前大多数文献都是采用的点特征进行图像间的配准来实现图像的镶嵌，目前特征点提取算法己经比较成熟。2000年，FrankNielsen针对Haussdorf距匹配算法和瓶颈匹配算法的缺陷，提出了基于桶状模型的角点匹配策略，用来解决大角度旋转图像的配准拼接问题。2003年，M.Brow发表了全自动的图

27、像拼接算法的文章，使用捆绑调整技术，解决图像拼接中经常会出现的叠加误差现象。2004年，David G. Lowe采用了具有尺度不变性的SIFT角点提取算法, Matthew Brown则在特征点匹配过程中采用了椭圆限制条件和k-d树算法来解决图像多视角配准问题。2006年，Jani Boutellie:就部分视频模糊图像拼接进行了研究。首先将视频序列的各帧图像依次进行配准注册，确保相邻两帧图像之间有尽可能大的重叠区域，注册的同时计算出运动模糊物体的总量;然后根据视频序列图像中的运动物体总量和配准注册的质量来选择用于最终图像配准融合的帧图像;最后将所选择的帧图像进行配准融合消除接痕。2007年

28、，Matthew采用概率模型确定一组无序图片的正确顺序并可以检测出噪声图像，实现了无序图像的自动拼接在国，图像拼接技术起步相对较晚，但很快迅速发展了起来。2001年，清华大学的研究人员提出了一种针对图像拼接过程中的计算量与拼接精度之间进行折衷的方案，该方案用三脚架保证摄像机基本绕垂直轴旋转，但是不对摄像机的旋转角度做严格限制郭海涛等提出了一种将遗传算法用于图像配准的算法，分析了遗传算法中群体的大小、交叉率、变异率与选择机制对影像匹配的影响，特别是对未成熟收敛等问题进行了较为深入的研究。2005年，侯舒维、郭宝龙针对现有基于灰度级相似的图像拼接方法的缺点，提出了一种图像自动拼接的快速算法，该算法

29、综合考虑了图像拼接的精度和速度，在基准特征块的提取上，采用简单的边缘信息闭值法，在块的搜索上，采用金字塔式分层搜索策略。2006年针对动态全景图拼接，文辉，岩等人首先采用基于粒子优化的多分辨率拼接算法拼接成静态全景图，然后用摄像机在拍摄场景中拍摄做周期或随机运动的物体，实现视频纹理，最后将视频纹理对准到静态全景图中。1.3研究容本文就图像拼接关键技术进行了研究，对现有的算法进行了实验分析，并对算法中存在的问题进行了相应的改进，具体容如下:1、研究并介绍了图像配准前需要做的准备工作，如图像的获取方式、彩色图像灰度化、全景图投影算法和插值算法。2、在分析了己有基于区域的图像配准算法的基础上，根据本

30、课题的实际，提出了一种改进的模板匹配算法自适应模板匹配算法。3、对基于特征的图像配准算法进行了研究。针对原有Harris角点提取算法对尺度敏感的缺点，本文采用了多尺度的Harris角点提取算法，用鲁棒的角点匹配策略，实现了图像的配准。4、对现有的各种融合算法进行了研究和比较，并对其中的基于亮度调和处理的融合算法进行了改进，使融合的效果更好;采用最佳缝合线算法和渐入渐出法较好地解决了图像中存在的鬼影和拼接接缝问题。为了验证所研究的算法，本文在Windows XP环境下，采用Visual C十十6.0开发工具，设计了一个用于全景图像拼接的可视化软件。第二章 全景图相关技术概述2.1图像的获取方式图

31、像获取的方法非常重要，图像获取方法的不同导致取得输入图像的不同，最终拼接的结果也不同。目前有多种途径用于获取全景图，主要包括下述三种情况:(1)利用全景相机来直接采集一柱面全景图像。该方法需要使用特殊设备，不仅价格昂贵而且使用复杂;(2)利用配备较大视域的镜头如鱼眼镜头拍摄。这种方法拍摄的图像中存在很大的变形，将其用于生成球面全景图之前必须进行校正和变换;(3)利用普通照相机、摄像机采集若干能够覆盖整个可视空间的照片序列或视频，相邻照片的拼接可以采用人机交互或自动方法完成。这种方法使用普通照相机或摄像机获取图像对硬件要求不高，因此获得广泛应用。利用普通照相机获取图像时，一般有下述三种情况:1.

32、旋转照相机拍摄首先将照相机放在固定好的三脚架上。拍摄时，照相机绕垂直轴旋转，每旋转一定的角度，拍摄一照片。拍摄得到一系列照片中相邻两必须有部分重叠，重叠区域大小是图像拼接最重要的影响因素，重叠比例越大，拼接就越容易。旋转照相机拍摄由于相机固定，较容易实现。2.平移照相机拍摄平移照相机指的是照相机在一个平行于成像平面的方向上平移。在固定焦距的情况下，照相机放置在一个滑轨上移动拍摄。物体和照相机的距离远近，或者拍摄物体的大小都会影响到最后的拼接结果。这种情况的缺点是:拍摄的相片在一个平面上，全景图的三维感觉不如旋转拍摄的效果好。3.手持照相机拍摄手持照相机拍摄这种方法比较容易做到，手持照相机原地旋

33、转拍摄，或者按一定的路线平行于对象拍摄。但是，拼接手持照相机的照片是很困难的，因为在拍摄过程中，照相机的运动非常复杂。原地旋转拍摄类似于固定照相机旋转拍摄，但是角度控制、旋转控制都很差。沿一定路线移动时，类似于平移拍摄，控制距离和保持一样的成像平面是很困难的。本文图像的获取采用的是第一种方法。拍摄时相邻图像具有一定程度的重叠，以便于拼接而得到全景图像。2.2图像的颜色处理2.2.1彩色图到灰度图的转化本课题使用数码相机采集到的是24位的BMP真彩色图像，而实际处理时分析的却是8位BMP格式的灰度图像。真彩色图像指的是真实地反映自然物体本来颜色的图像。大多数的彩色图像采集系统都采用24位的真彩色

34、来存储图像，以便最大限度地保证图像信息的完整性。尽管真彩色图像带给人美的享受，但它需要的存储空间大，处理起来占用存多、消耗机时多。灰度图像是指只含亮度信息，不含色彩信息的图像，就像我们平时看到的黑白照片，它只有亮度从暗到明的变化，而没有色彩信息。灰度图像具有存储量小、其亮度值就是256色调色板的索引号等优点。下面讨论如何把24位的BMP彩色图像文件变成8位的BMP灰度图像。24位BMP格式图像转换成8位灰度BMP格式的图像实现关键点如下: (1)创建调色板灰度图像是一种特殊的256色位图，每个像素颜色分量R,G, B的值都相等。通常也把R, G, B颜色分量值量化为0至255共256个级别。8

35、位的灰度图像使用含有256个表项的调色板，每个表项有如下特点:R=G=Bo由于调色板是显示灰度图像的基础，因此要实现24位真彩色图像到8位灰度图像的转换，首先创建灰度图像的调色板是非常重要的(因为真彩色图像没有调色板)。具体步骤为:创建一个指向BITMAPINFO结构的指针lpbmi，先为该结构的信息头赋值后，再为结构的调色板各项赋值。(2)变换创建调色板后，如何把真彩色图像的各像素用调色板中最接近的颜色替代呢?VC -+中提供了一个重要的函数BitBlt，该函数格式为:BOOL BitBlt( CDC* hDestDC, int x, int y, int nWidth, int nHeig

36、ht,CDC* hSrcDC, int xSrc, int ySrc, DWORD dwRop其中:hDestDC为目标设备环境的句柄;x指定绘制区域的左上角的x坐标;Y指定绘制区域的左上角的Y坐标;nWidth指定要绘制区域的宽度;nHeight指定要绘制区域的高度;hSrcDC指定要复制位图所在的CDC对象的指针;xSrc指定源位图要绘制区域的左上角的x坐标;ySrc指定源位图要绘制区域的左上角的Y坐标;dwRop指定绘制方式。该函数完成以下的功能:自动实现源位图的颜色格式按照目标位图的颜色格式转化，并且会自动按照最接近的颜色转化。具体转化算法如下:(1)从文档中获取源位图; (2)判断该

37、位图是否为24位位图，若是，转(3)，否则，转(9);(3)获取源位图文件头信息;(4)为目标位图文件的信息头和调色板分配存且填充信息;(5)计算源位图和目标位图的大小并赋值源位图的像素值;(6)将源位图和目标位图的DIB位图分别选进存设备;(7)给目标位图的存设备赋颜色表，将源位图的颜色格式按照目标位图的颜色格式转化，且自动按照最接近的颜色转化;(8)删除创建的设备句柄，为目标位图分配存，复制信息头、调色板和图的像素值，显示和更新文档;(9)结束。2.2.2实验结果彩色图像灰度化结果如图2.1所示2.3柱面投影算法2.3.1全景图模型分类全景图是构成虚拟环境的基本单位，是描绘某个视点上某个焦

38、距的周围环境的图像。它一般有立方体形、球形和圆柱形三种模型。不同模型的全景图的存取难易程度和观察效果均有很大的差异。1.立方体形模型由六个平面投影图像组成，这种结构模型规则性好，存取方式与普通图片的存储方式相近，易于用计算机存取控制，但用相片构建立方体形全景图时，相片的获取和相机的定位难度较大。因立方体的相邻表面之间是相互垂直的，从而要求照相机主光轴在获取相邻的相片时必须垂直，且摄取每一个平面图像需要90度的广角镜，以避免图像的变形，这就要求相机配有昂贵的广角镜头。2.球形模型由普通镜头照相机拍摄的照片经镶嵌形成一个球面的形状。此模型与立方体形模型均能支持参与者在照相机的视点所在位置，以任意的

39、视线方向观察周围的环境。但是要构成球面模型的全景图，必须先将平面照片投影成相应的球面图像，这是一个在图像平面的:和y方向的非线性图像变形过程，且由于每个球面图像都有多个相邻图像，因此在全景图镶嵌过程中图像求交定位均比较困难。再则，很难找到一个与球面相对应且易于存取的数据结构，以存放球面数据结构。3.圆柱形模型用全景图相机拍摄的全景相片，或者计算机绘制的全景图像，或者由普通相机拍摄的相片拼接成的一个以相机视点为中心的圆柱形。此模型具有下面两个明显的优点:其单帧相片的获取方式比立方体形模型和球体模型都要简单。只要将一台照相机安装在一个三脚架上，校准镜头、固定支架，在拍摄过程中，使照相机尽量少出现倾

40、斜和翻转现象，且每拍一幅照片，把照相机转动一定角度(一般该角度可以使前后两幅相片有30 -50%的画面重叠即可)，再拍下一幅。根据几何常识，圆柱面可展开成一个矩形平面，从而我们可将圆柱全景图展开成一个矩形图像，且直接利用计算机的图像格式进行存取与访问。该圆柱形模型在垂直方向上允许参与者视线的转动小于180度，但在绝大多数应用中，体现横向360度的环视环境足以表达空间信息，故360度圆柱形模型全景图是目前构造虚拟环境的较为理想的选择。2.3.2柱面投影算法实景图像的柱面投影算法是为了将多实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。这样一方面消除了实景图像之间可能存在的重复景物信息，同时

41、也得到了每实景图像上的像素点在视点空间中的方位信息。如图2.2所示。I是数码相机拍摄的一实景图像，P(x,Y)是实景图像I上的任意一个像素点。P点在数码相机坐标系下的坐标为x-Wl2,y-H12,，其中W和H分别为实景图像I的宽度和高度。我们把圆柱面的中心设为照相机坐标系的原点，并以数码相机的像素焦距f作为圆柱面的半径，下面推导出像素点P在圆柱面上的投影点Q在柱面全景图像中的坐标(fix, Y,)。是像素点(x,y)在圆柱面上的投影点Q的参数坐标，把所有这样的投影点组合在一起便得到全景图像。但是参数坐标是三维的，需要把它们转变为二维的图像坐标才便于存储。这里，选用下面的公式来把三维的参数坐标转

42、化为二维的图像坐标:式(2 - 5)是将实景图像I上的任意一个像素点P(xY)柱面投影到柱面全景图像上一个像素点Q(x ，Y)的投影公式。由式(2 - 5)也可以得出该投影算法具有使景物在垂直方向上不发生形变的性质。这一性质使我们可以分别对每一实景图像进行柱面投影变换，然后通过图像拼接得到完整的柱面全景图像。2.3.3插值算法在图像变换过程中，如图像旋转、投影等容易出现锯齿现象，令图像失真。为了避免这种现象，可采用插值运算。常用的插值算法有邻近插值法、双线性插值法和三次卷积插值法等，下面将分别进行介绍: 1.邻近插值法 该算法的主要思想是目标图像中某点通过坐标反变换得到基于原图像的一浮点坐标，

43、对该坐标取整，得到一整数型坐标，用该整数坐标对应的原图像像素值作为该目标图像点的像素值。该算法简单直观，运算量小，然而当图像中包含像素之间灰度级有变化的细微结构时，邻近插值法会在图像中产生人为加工的痕迹。2.双线性插值法2.3.4实验结果在运行时间上邻近插值法花费的时间最短，双线性插值法次之，三次卷积法最长;在最后的效果上，三次卷积法最好，双线性插值法次之，邻近插值法最差，因此在实验中采用的是运行时间和效果都居中的双线性插值法。图2.5是实际拍摄的彩色图像经过灰度化后的灰度实景图像，图2.6是经过柱面正投影算法，但没有采用双线性插值算法的效果图，从图中可以看到明显的锯齿，图2.7是在图2.6的

44、基础上加入了双线性插值算法后的效果图，从图中已经看不到明显的锯齿了，插值效果比较好。第三章 基于特征的图像拼接算法研究与实现图像特征包括像素灰度特征、色彩特征、区域特征、纹理特征、轮廓特征、边缘特征与角点特征等。边缘特征和角点特征是两种较常用的特征。边缘特征在第三章中己经做过介绍，本章将主要介绍角点特征与其应用。3.1角点特征与其检测算法研究角点是图像重要的局部特征，其直观定义是指在至少两个方向上图像灰度变化均较大的点。在实际图像中轮廓的拐点和线段的末端等都是角点。角点特征因具有信息量丰富、便于测量和表示、能够适应环境光照变化、尤其适用于处理遮挡和几何变形问题等优点而成为许多特征匹配算法的首选

45、。3.1.1角点检测算法介绍现有的角点检测算法非常多，根据目前对角点的具体定义和描述归纳起来，可以分为三大类，第一类算法基于边缘检测。这类算法首先检测目标边缘轮廓，并编写链码，然后寻找曲率的最大点或者拐点，以此作为角点。K.Rangarajan提出了基于Canny边缘检测的角点提取算子，将角点提取变为一个优化问题，其衡量检测性能的标准就是信噪比和点位置偏差。由于现有的边缘检测算子检测性能比较差，使得本类算法精度很低。第二类算法基于图像灰度。该方法直接从灰度图像中检测角点。它考虑的是像素点邻域的灰度变化，而不是整个目标的边缘轮廓。Moravec最早提出了直接从灰度图像中检测角点的算法，该算法基于

46、灰度图像的自相关函数。首先在某个固定窗口，计算某点与周围四个近邻点的灰度自相关函数值，假如四个灰度自相关函数值中的最大值没有超过一个给定闽值，那么该点被选为角点。Harris对Moravec角点提取算法进行了改进提出了Harris角点检测算法，第三类算法基于模板。这类算法检测出的角点比较准确，但是由于模板固定，所以一般来讲只适用于某些特定场合。该类算法应用最多的是SUSAN角点检测算法。它是Smith和Brady提出的一种检测方案，通过计算单一值分割相似的核心区域来判断角点多尺度的Harris角点检测算法1. Harr i s角点检测算法Harris和Stephens提出的Harris角点检测

47、算法，是在Moravec算法的基础上进行的改进。Harris角点检测算法用一阶偏导来描述亮度变化，这种算子受信号处理中自相关函数的启发，提出了一个与图像的自相关函数相联系的矩阵M，通过计算矩阵M的特征值，即自相关函数的一阶曲率来判断该点是否为角点。Harris角点检测算子定义了任意方向上的自相关值E(u,v)为一组方形区域中图像灰度误差的总和，即:它的泰勒展开式为:角点响应函数定义如下:R值越大，表明该点角点是角点的可能性越大。当R大于零且较大时，对应角点;如果较大但是R小于零，则对应于边缘区域;如果RI较小时，对应于图像的平坦区域。但在实验中，往往太多的角点被提取，因此应该在尝试匹配这些角点

48、之前限制一下角点的数量。可行的方法就是选择那些角点响应函数值大于某个特定闽值的像素点为角点，即取定闭值T，如果R_T寸，该点即为角点。结合上述分析，Harris特征点提取算法可以表述如下: (1)对待匹配图中的每个点，计算其在x和y方向的一阶偏导各自的平方以与二者的乘积，对这三项分别进行高斯滤波; (2)对于每一个像素点计算其对应的R值。设定一个闭值，大于该闭值的点作为候选的特征点; (3)将所有的候选特征点按R值的大小从大到小进行排序。对于每一个当前点删除所有排在其后面的且位于其某一邻域的候选点。Harris角点检测算子在实践中被证明是一种很优秀的特征点提取算子，它具有下面的优点:1)根据式

49、(4-1)的定义，可知Harris角点检测算子是各向同性的，当图像具有一定的旋转角度时，角点的检测不受其影响;2)由于需要求图像的一阶偏导，所以光强的差异对角点检测的影响有限;3)能较好的提取角点，提取的点特征均匀而且合理。同时它也有一些不足:1)从上面的理解可以看出，Harris角点检测算子没有涉与尺度问题，也就是没有涉与到物体的大小，一个物体在图像中占的比例的不同，它的特征信息也不同，也就是说传统的Harris角点检测算子不具有抗缩放的功能。2)对一些仿射变换比较大的图像，Harris算法失效。2.多尺度的Harris角点检测算法为了克服传统的Harris不具有抗缩放功能的缺点，2005年

50、，Mathew Brown和Richard Sceliski在原算法的基础上引入了高斯金字塔P (xY)，实现了多尺度Harris角点检测。具体算法描述如下:1)对每一层l上的高斯塔图像中的每一个点(x.y)用梯度函数进行平滑，输出图像用函数M,(x,y)表示，平滑公式如下:3)为了控制角点的数量，降低程序的运算量，需要对提取的角点进行非最大值抑制ANMS(Adaptive Non-Maximal Suppression)。首先依据fHM (xY)值对候选角点由大到小进行排序，将第一个角点放入角点列表中，此时假设搜索半径r为无穷大。减小;，再次选取半径为r的区域最大的编(x, y)值放入角点列

51、表中。半径r;的确定如公式(4-7)所示:多尺度的Harris角点提取算法具有如下优点:1)仍然保持传统Harris角点提取算法的优点具有旋转不变性，当图像具有一定的旋转角度时，角点的检测不受其影响;2)引入了高斯金字塔结构，能够在塔的不同层上进行角点特征提取，提取的角点具有尺度不变性;3)采用了新颖的非最大值抑制算法ANMS，提取的角点特征分布的更加均匀合理。一般情况下，图像序列中相邻图像间的重叠围大约在30%-50%之间，为了减小程序的运算量，将特征点提取围定在模板图像的右侧宽2/3部分，匹配图像的左侧宽2/3部分。多角度Harris角点提取效果下图所示，其中图4.1是两幅相邻的有部分重叠

52、的原始图像，图4.2是非最大值抑制半径r=16的角点提取效果图，图4.3是非最大值抑制半径r=9的角点提取效果图3.2特征匹配通过寻找两幅或多幅图像间的对应点问题被称为图像特征点匹配，在计算机视觉中具有广泛的应用，例如图像检测、物体识别、摄像机定标、三维重建、图像配准等方面。特征点匹配就是将不同图像上由同一场景点投影而成的特征点对找出来。特征点匹配的效果受到多种因素的影响，如景物的遮挡、光照和噪声等。因此特征点匹配中必须要考虑如何消除不良匹配点即误配点(outlier)问题。3.2.1特征匹配算法的分类根据匹配线索的不同，现有的匹配算法基本可以分为两大类,1)基于窗口的匹配(Area-Base

53、d Matching,ABM)，窗口即是由待匹配点附近的像素点的灰度值组成的二维矩阵。其中最常用的是用交叉相关性来匹配，这是目前大多数匹配算法的基础。2)基于特征的匹配(Feature-Based Matching, FBM)，在匹配前先要抽取边或区域等特征。这些特征是图像容更抽象的描述，在不同的光照下具有更多的不变性。但是特征匹配往往有很高的计算代价。3.2.2改进的基于相关窗口的角点匹配算法当特征点被提取出来后，需要把它们匹配起来。由于不同图像上的同一个特征点的邻域必然是相似的，可以采用相关窗口匹配法，使用区域相关系数Area Correlation Coefficient, LACC)作

54、为两个特征点匹配的依据。对于模板图像中的某个特征点，采用一个以该特征点为中心的大小为(2wn+l) X (2wm+1)的相关窗口。然后在匹配图像中以该点位置为中心设定一个大小为(2d。十1)X(2dv+1)的矩形窗口，对于匹配图像中位于该搜索窗口的特征点，都设定一个这样的相关窗口。该过程可由图4.4所示:通过上述的特征点匹配方法可能产生众多的伪匹配，即一幅图中的特征点被另一幅图像中多个特征点所匹配，给匹配对的后续处理设置了巨大的障碍。本文在原特征匹配算法的基础上引入了单一性和对称性限制策略来初步去除匹配对的冗余。单一性限制即对一幅图中的点，只选择另一幅图中匹配响应值最大的点作为其匹配点(该最大响应值需要超过一个闭值)。单一性限制除去了相当多的伪匹配，但是带来了不对称的问题:1，中的二对Iz中的二的匹配响应值最大，但是Iz中的x不是使I，中的x得到最大匹配响应的点，这样的点显然是伪匹配。对称性限制加入了这样的要求:若I，中的x对IZ中的x的匹配响应值最大，且Iz中的二使得1，中的:得到最大匹配响应值的点(这里的两个最大响应值均需要超过一个闭值)，这样的点才能被称为匹配点。表4.3列出了加入单一性和对称性限制策略后，图4.1的两幅图像的匹配特征点对的数目与所取的闽值的