（计算机应用技术专业论文）基于图像的古建筑物虚拟复原关键技术研究.pdf

中文摘要 古建筑物的虚拟复原在保护和研究古代建筑文化遗产领域中，已经越来越被 人们重视。在各项虚拟复原相关技术中，利用基于图像的建模与绘制( i b m r ) 技 术建立具有真实感的虚拟环境是当前的研究热点，它通过对照片的拼接融合以及 三维重建过程来代替基于实景测量数据的三维几何模型的建模和渲染，部分地解 决了对已经出现损毁甚至已经不存在的古建筑物进行测量的困难，是实现古建筑 物虚拟复原的一种高效率的方 去。 本文主要研究基于图像的绘制技术。通过对各种拼接算法的比较，实现了基 于特征点的图像拼接算法，并通过实验对此算法的不足进行了分析。其次，在拼 接算法的基础上，本文还对各种图像融合算法进行了比对，选择并实现了亮度拟 合算法，弥补了拼接算法中由于光照产生的颜色差异，从而实现了一个基本的全 景图缝合算法。 此外，本文设计了古建筑物虚拟复原解决方案，并在此基础上进行了基于图 像的古建筑物复原系统的研发工作。该系统包含两个主要功能全景图拼接和 三维重建，采用m f c 和m a t l a b 混和编程的开发手段，实现了基于图像信息恢复 古建筑物风貌的基本途径。 关键词：古建筑物虚拟复原系统i b m r 技术全景图图像拼接 图像融合 a b s t i 认c t v i r t u a lr e s t o r a t i o no fa n c i e n tb u i l d i n g si nt h ec o n s e r v a t i o na n ds t u d yo fa n c i e n t a r c h i t e c t u r ei nt h ef i e l do fc u l t u r a lh e r i t a g eh a v eb e e nm o r ea n dm o r ea t t e n t i o n i nt h e v i r t u a lr e s t o r a t i o nt e c h n o l o g y , t h eu s eo fi m a g e b a s e dm o d e l i n ga n dr e n d e r i n g ( i b m r ) t e c h n o l o g yw i t har e a l i s t i cv i r t u a le n v i r o n m e n ti sah o tc u r r e n tr e s e a r c ht h r o u g ht h e i n t e g r a t i o no fp h o t o s 懿w e l la st h es p l i c i n gp r o c e s st or e p l a c et h et h r e e d i m e n s i o n a l r e c o n s t r u c t i o nb a s e do nt h er e a lm e a s u r e m e n to ft h r e e - d i m e n s i o n a lg e o m e t r i cm o d e l d a t am o d e l i n ga n dr e n d e r i n g ，p a r to ft h es o l u t i o nh a v eb e e nd a m a g e do re v e n n o n e x i s t e n ta n c i e n tb u i l d i n g sd i f f i c u l tt om e a s u l ei st h ea n c i e n tb u i l d i n g so fav i r t u a l r e s t o r a t i o ne f f i c i e n tm e t h o d t h i sp a p e rs t u d i e si m a g e - b a s e dr e n d e r i n gt e c h n o l o g y b yc o m p a r i s o no ft h e v a r i o u ss p l i c i n ga l g o r i t h mt oa c h i e v et h ec h a r a c t e r i s t i c so fp o i n t b a s e da l g o r i t h mf o r i m a g em o s a i c ，a n dt h el a c ko fe x p e r i m e n t so nt h i sa l g o r i t h ma r ea n a l y z e d s e c o n d l y , i nt h es p l i c ea l g o r i t h mo nt h eb a s i so ft h i sp a p e ri sa l s oav a r i e t yo fi m a g ef u s i o n a l g o r i t h m st h a nt h ef i g h t ，s e l e c ta n df i t t i n ga l g o r i t h mt oa c h i e v et h eb r i g h t n e s s ，t h e s p l i c i n ga l g o r i t h mt om a k eu pf o rl i g h tg e n e r a t e da sa r e s u l to fd i f f e r e n c e si nc o l o ri n 。 o r d e rt oa c h i e v eab a s i cv i e wf i g u r es t i t c h i n ga l g o r i t h m i na d d i t i o n ，t h i sp a p e rd e s i g n st h ea n c i e n tb u i l d i n g sv i r t u a lr e s t o r i n gs o l u t i o na n d t h ei m a g e b a s e da n c i e n tb u i l d i n g sv i r t u a lr e s t o r i n gs y s t e m t h es y s t e mc o n s i s t so f t w om a i nf e a t u r e s p a n o r a m as t i t c h i n ga n dt h r e e - d i m e n s i o n a lr e c o n s t r u c t i o n , t h eu s e o fm f ca n dm a t l a bp r o g r a m m i n gm i xo ft h ed e v e l o p m e n to fm e a n st oa c h i e v et h e r e s t o r a t i o no fi m a g ei n f o r m a t i o nb a s e do nt h ea n c i e n ts t y l ea n df e a t u r e so ft h eb a s i c w a y t ob u i l d i n g s k e yw o r d s ：a n c i e n tb u i l d i n g s ，v i r t u a lr e s t o r i n gs y s t e m ，i b m r ，p a n o r a m a ， i m a g em o s a i c ，i m a g ef u s i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：乏协签字吼叫年多月工日 学位论文版权使用授权书 本学位论文作者完全了解鑫鲞盘堂有关保留、使用学位论文的规定。 特授权鑫鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 彬乃 签字日期 哆年占月芝日 导师签名： 剜抽 签字日期：2 口口尹年乡月z 日 第一章绪论( 第1 页) 1 1 课题研究背景 第一章绪论 世界上下五千年的悠久历史，为人类留下了丰厚而珍贵的古建筑文化遗产。 但是，由于年久失修以及大规模的基础建设、旧城改造工程等在全国范围内的开 展，使一些古建筑受到严重破坏，一些城市在改造中导致历史风貌永久性损失。 天津老城区及其旧有建筑和现代城市的发展极不协调，迫切需要得到科学地改 造。但是旧城改造必然涉及到保护与开发的矛盾，涉及到现存的、具有天津地域 特色的传统建筑的去留问题。如何利用先进的技术手段来保护这些宝贵的遗产， 已成为迫在眉睫的问题。 在这样的背景下，早在7 0 年代，人们就开始利用摄影、摄像等技术记录古 建筑物的信息。但是，这些资料难以长久保存，如录像带的老化、照片拍摄景物 的视野受到局限等等，而且图像复制也会产生失真。随着计算机图形图像处理技 术和多媒体技术的发展，随着二十世纪末虚拟现实技术的兴起和网络的高速发 展，文化遗产保护事业有了新的曙光三维模型重建技术的产生为人们进一步 研究古建筑的历史和原貌提供了更可靠的保证。 该技术的核心问题是生成具有高度真实感的虚拟环境的三维模型。在传统的 计算机图形学里，通常先用几何造型方法构造三维模型，再利用透视投影原理将 三维几何模型变换到二维空间。对一个实体进行三维建模，有以下三种方法： 1 、由人工使用几何建模软件生成三维模型。这属于传统的方法，但做出复 杂而精确的物体模型需要花费建模人员很长时间。 2 、使用三维实体激光扫描仪对物体进行扫描处理生成i 维模型。这种方法 的优点是精度高、速度快，缺点是器材成本比较高，模型的数据量比较大。 3 、利用基于图像的建模与绘制技术1 ( i b m r ：i m a g e b a s e dm o d e l i n ga n d r e n d e r i n g ) 生成三维模型。这种方法正是我们所希望的不需要专门设备和较高技 术要求的物体建模方法，它只需要使用一个照相机或摄像机，采集物体的一组图 像，然后根据算法，由这组图像重建出物体的几何结构( 三维空间坐标) 。 1 。2ib m r 技术简介 i b m r 技术是以环境中抽样出的离散图像组成基础数据，通过处理与组织这 些图像数据而得到环境的描述的过程。该技术的优越性在于：一是无需繁琐的场 景建模工作；二是不需要特殊的设备，如图形加速卡和价格昂贵的图形工作站； 三是能实时地显示生成的环境，处理时间独立于景物复杂度。另外该方法对硬件 第一章绪论( 镕! m 要求低建模容易，真实感强“2 。i b l l j 技术为我们提供了达到照片般真实的一 个自然方法。它使我们可以用较短的建模时间、较快的绘制速度来获得以前从未 有过的照片真实效果。 b m r 主要分为基于图像的建模和基于图像的绘制两部分。 1 、基于图像的建模就是利用图像( 真实景物的照片) 来建立景物的几何模型。 基于图像的建模的主要目的是由_ 维圈像恢复景物的三三维几何结构，这原先是计 算机视觉的研究内容。由于它的广阔应用前景，如今计算机图形学和计算机视觉 方面的研究人员都对这一领域充满兴趣。图i1 是基于图像的建模技术实例 戡j 磐 - - 。= ：二 ll 粤 隔1 1 基r 罔像的三维重建蛮例“ 2 、基于图像的绘制是实时地牛成照片般逼真的计算机图形的一种新方法， 不用建立几何模型就可提供逼真的场景和动画。由a p p l e 公司推出的q u i c k t i m e v r 系统就是一个基于柱面全景崮像的虚拟现实系统，该系统无须知道幽像的 三维几何信息，但可咀支持用户在虚拟环境巾3 6 0 度环视、沿固定路线前进与后 退等漫游操作。图卜2 是基于图像的绘制技术实例。 i b m r 技术在未来的主要应用可能有： c a d c a m ：获取外形和色彩模型，用于设计改进和制造领域。 生物医学：获取生物解剖模型，用于手术规划及可视化。 建筑学：由照片构造建筑物和场地模型，用于建筑设训及模型修改。 虚拟环境构造：由照片重构真实的现代或古代建筑物，并与基于几何的模 型相结台，以创建虚拟环境用于虚拟巡游。目前有许多古代的建筑物的原貌已 经被损毁甚至早已被拆除，对于这种古代建筑的保护只有依靠照片来记载，通过 这种应用能够利用照片来帮助实现古代建筑物的复原。 可以看出基于图像的建模和绘制技术已逐渐应用于古建筑虚拟复原的领域 中。本文就是在这个背景下展丌研究的，重点讨论基于图像的绘制技术，即 i b r ( 1 m a g e - b a s e dr e n d e r i n g ) 技术。 第一章绪论i 3 m 誉耋 1 3 本文主要工作 本文主要研究基于图像的绘制技术在古建筑物原貌恢复中的应用，利用这种 技术结台三维模型重建技术可以使研究人员非常方便地在计算机上实现古建筑 物的虚拟复原为下一步的研究奠定基础。 本文的丰要丁作有以下几个古面： l 、通过实验，对常用的全景图拼接算法进行了分析、对比，晟后本文选择 基于特征点的图像拼接算法进行了实现； 2 ，通过实验，对几种图像融合算法进行了比较最后本史选择亮度拟台算 法进行了实现； 3 、在以上实验的基础t ，为基于图像的古建筑物虚拟复原系统设计了总体 的解决方案，并将以上两种算法嵌入到方案之中，利用v c + + 和m a t l a b 混台编程 实现了古建筑物的虚拟复原系统。 14 本文结构安排 本文共分为六章，内容安排如下： 第二章：介绍了i b r 技术和全景图拼接技术的相关理论知识，而后对现有各 种常用的全景图拼接技术进行分类、忙总介绍它们的优缺点，这些理论是实现 全景图拼接算法的基础也是进行算法改进的基础和参考，对自己的研究有许多 有就的启发。 第一章绪论( 第4 页) 第三章：详细介绍了本文实现的基于特征点的图像拼接算法。 第四章：详细介绍了本文实现的亮度拟合图像融合算法。 第五章：介绍了基于图像的古建筑物虚拟复原系统的设计与实现。 第六章：结论与展望，汇总研究结论，总结知识创新点，并展望未来的研究 方向。 4 第二章相关理论研究一* a 第二章相关理论研究 21国内外在古建筑物虚拟复原领域研究发展现状 无论国内还足国外都根重视对一些有价值的古建筑物的虚拟复原，从政府到 大学，从文化遗产保护单位到公司甚至个人都在进行相关方面的研究、发计， 在世界范围内已经有越来越多的虚拟古建筑系统小断地被设计制作出来，以下是 国内外在这方面的部分成果图片展示，同时为完成本文提供了报好的借鉴作用 1 、数字圆明园。“ 由北京锐智盛扬文化传播有跟公司利用先进的c g 技术( c g 即c o m p u t e r g r a p h l c s 计算机图形学) ，经过四年的努力，设计制作了数字圆明吲，场面恢宏 壮观，其逼真细致的复原效果让人惊叹不己。如图2 - 1 所示， 月2 1 女 日日日 2 、虚拟苏州古典园林1 由江苏省苏州艺维数码设计有限公司独立开发制作的苏州古典园林虚拟游 览系统，采用3 d sm a x 制作了古建筑模型，后期采用软件进行虚拟漫游的制作， 用户可通过系统的交互操作来鸟瞰苏州古典园林的全景，也可自由行走参观。如 罔z 一2 和罔2 3 所示。 目22 苏w 典同林t 扭游女系乌日目目23 苏h 古典日# 自拟讲览i 境蜡嘲 第二二章相关理论研究mh 3 、数字长城。 由河北省基础地理信息中心与广西桂能信息工程有限公司北京分公司联合 制作了基于三维激光测量技术的高精度、三维“数字长城”虚拟系统。根据激光 测量技术得到的测量数据，进行建模，从而设计出该系统。这座“长城”不但能 让参观者进行观赏，更有利于山海关古长城的修复工作。如图2 - - 4 所示； 目24 & k # m 统截目 4 、虚拟占罗马。” 由美国的维吉尼亚大学利用虚拟现实技术复原了意人利古罗马城市，它是世 界上最大的虚拟古建筑，这个项目也被称为“罗马再生”。透过这个动画虚拟场 景，人们不但可以亲临1 6 0 0 百年前的古岁马还可鸟瞰罗马城或穿越竞技场等 著名建筑物，享受古罗马人未曾有过的视觉体验。如剧2 - - 5 所示。 第二章相关理论研究：第7 页) 通过以上的实例可以看出，国内外在古建筑虚拟巡游方面已经有了多项研究 成果，但是将i b m r 技术应用到古建筑虚拟复原方面的相关报道及成果还是很少， 仍然有其研究价值和研究前景，凶此，本文主要研究基于图像的古建筑虚拟复原 技术。 2 2 基于图像的绘制技术 基于图像的绘制技术n 砌h 1 是基于一些预先生成的图像( 或环境映照) 来生成 不同视点的场景画面，即根据已知视点的原始图像来构造虚拟视点的新图像。这 种方法一般也可以分为两类：一类方法完全不需要恢复场景中物体的三维结构， 而是对场景进行密集采样，。然后对采集的图像按一定的检索方式组织起来，构造 新视点的图像只需要查询采样集就可以得到。这种方法需要的原始图像非常多， 不适合通用的虚拟现实系统。另一类方法，首先需要已知空间中物体的几何结构， 然后根据几何结构以及场景的稀疏采样，利用视点相关的纹理映射、视点插值等 方法绘制物体。 基于图像的绘制技术与传统绘制技术相比，有着鲜明的特点： 1 、 图形绘制独立于场景复杂性，仅与所要生成画面的分辨率有关。 2 、预先存储的图像( 或环境映照) 既可以是计算机合成的，亦可以是实际拍 摄的画面，而且两者可以混合使用。 3 、 该绘制技术对计算资源的要求不高，因而可以在普通工作站和个人计算 机上实现复杂场景的实时显示。 每一帧场景画面都只描述了一给定视点沿一特定视线方向观察场景的结果， 为摆脱单帧画面视域的局限性，我们可在一个给定的视点处拍摄或计算得到其沿 所有方向的图像，并将它们拼接成一张全景图像。为使用户能在场景中漫游，我们 需要建立场景在不同位置处的全景图。i b r 技术是新兴的研究领域，它将改变人 们对计算机图形学的传统认识。 目前可供采用的算法有图像投影变形技术( i m a g ep r o j e c t i v ew a r p i n g ) 、光场 重建技术( l i g h tf i e l dr e c o n s t r u c t i o n ) 和混合式i b r 技术n 钔等。 1 、图像投影变形技术 采用图像投影变形技术亦可将给定图像重投影变形到新的图像平面上来生 成新的画面。根据投影方式，投影变形技术可以分为两类，它们构成了目前i b r 算法的核心。 ( 1 ) 无需深度或光流信息的投影变形技术：这，一技术将两幅取相同视点但不 同视线方向的图像联系起来。当两幅图像部分重合时，利用这一技术将图像序列 拼接起来，形成一幅全景图像，对全景图像重采样就可得到新的画面。这类投影 7 第二章相关理论研究( 第h 页) 变形技术存在很大的局限性，即图像没有深度感，只适用于摄像机绕全景图像中 心旋转时中间画面的生成，而不适用于摄像机位置移动的情形。在摄像机做前后 移动时，景物的遮挡关系体现不出来。 ( 2 ) 基于深度或光流信息的投影变形技术：这一技术解决了上面的问题，其 基本思想是利用给定画面上可见点的深度值，局部重建场景的三维几何，并基于 这些三维信息对可见点直接进行投影变换，或建立该画面与其相邻画面像素的对 应关系。这样既摆脱了图像没有深度感的状况，也使得不同视点之间的场景切换 变得连续。 2 、光场重建技术 光场重建技术是在全景函数重建技术上发展起来的一种新的i b r 技术。全景 函数事实上刻画了一个给定场景的所有可能的环境映照，因而，它以图像的方式 给出了场景的精确描述。为生成一帧给定视点沿特定方向的视图，我们只需将视 点v ( v x ，v y ，v z ) 和球面角0 、1 l r 及时刻t 代入全景函数即可。一般来说，全景函 数的获取是非常困难的，这是由于它所包含的信息量远远超出了当前计算机的处 理能力。就目前的状况看，光场重建技术还不足以用来绘制一般场景，许多问题仍 待解决。 3 、混合式i b r 技术 所谓混合式i b r 技术是指同时采用几何及图像作为基本元素来绘制画面的 技术。在一个给定的小误差内，用图像映射来代替几何模型。这样既保持了绘制 的高速度，又可以保证图像的质量。但由于整个场景均采取一样的环境映照，因 而生成的图像存在较大的误差。混合式i b r 技术作为一种新兴的i b r 技术近来得 到了高度重视，成为目前发展较快的一种技术。 要实现以上这儿种算法，就必须依靠原始的多个图像作为基础来构造新的场 景，这些原始的图像可以根据需要被构造为全景图，下一节将对全景图的知识进 行描述。 2 3 全景图技术 2 3 1 全景图概述 在人们日常工作中，很多时候需要视野广阔的图像，而普通相机拍摄出来的 图像显得视野比较狭窄，无法满足使用者的需求。虽然现在的很多数码相机有图 像拼接功能，但也只是简单粗糙的拼接，效果往往不佳，这时就需用一种算泫来 将相机拍摄出来的局部图像合成全景图，这就是全景图拼接技术。 全景图最主要的应用是建立虚拟环境。我们可以通过全景视频技术来实现。 第二章相关理论研究i 第9 页) 全景视频是一门利用实景图像构造虚拟环境的技术，它首先将多幅图像拼接成 3 6 0 度柱面全景图，并利用多幅全景图像之间的超链接建立起可供用户操纵、观 察的虚拟环境，且通过在不同全景图像之间的切换来实现在虚拟环境中的漫游， 使得用户能主动的从不同的观察点和方向了解环境。 全景图是基于图像绘制( i b r ) 的关键技术。现有的i b r 技术大概可以分为 四类：基于全景图的方法，基于图像深度信息的方法，基于光场信息和基于 m o r p h i n g 的方法。现阶段，相对成熟的技术是第一种基于全景图的方法，而且 它实现方便，易于在i n t e r n e t 实现n 副引。 目前，业界对全景图的基本制作方法是：在固定的视点用照相机或者摄像机 按照一定的方式( 通常是按照均匀角度绕轴旋转3 6 0 度) 采集图像，采集之后的 图像输入计算机进行图像拼接、整合等处理，生成无缝全景图像心钔，最后再用 计算机经过投影展示出来，并且提供局部的有限的漫游功能。虽然全景视图有其 自身的局限性，比如视点单一，只能在场景内部实现漫游等，但是由于该技术具 有极强的可操作性，而且技术也相对成熟，已经成为应用最为普遍的i b r 技术之 一。目前全景视图主要应用在：虚拟环境、游戏设计、电影特技效果等等。 2 3 2 全景图的制作流程 全景图生成和制作方法在很多文献中提出n 引，全景图制作流程包括全景模 型选择、图像采集、投影变形、图像拼接与融合以及全景图展示浏览五个步骤弛制， 如图2 - 6 所示。 图2 6 全景图制作流程 1 、全景模型选择：根据全景图投影展示方式的不同，主要可以分为三种模 式：立方体模式、圆柱模式、球面模式。立方体全景图在图像的获取和校正过程 中会遇到较大的困难。球面全景图拼接过程中的图像定位很困难，而且很难找到 一种与球面相对应、易于计算机存储访问的数据结构来存放球面图像数据。柱面 全景图容易展开成一个矩形图像，且可以直接用计算机常用的图像格式进行存储 和访问。 2 、图像采集：一般有两种方法，用全景拍摄器材进行拍摄或者通过普通相 机拍摄再进行图像拼接。前一种方式比较容易采集图像，但是这种方法往往意味 着购买昂贵的摄影器材，因此影响了其通用性。而后一种方式，用普通相机在固 定点拍摄图片然后拼接生成全景图的研究就显得比较活跃了，而全景图生成的核 第二章相关理论研究( 第1 0 页) 心技术图像拼接算法正是研究的重点。 3 、投影变换：由于照相机或摄像机所拍摄的图像数据属于中心投影，它们 不在同一个投影平面上，如果对图像直接拼接，则会产生严重的失真和变形。为 了降低匹配的难度和保证拼接图的视觉一致，需要经过投影变换来将这些中心投 影图像投影到一个圆柱面上，之后再进行拼接。 4 、图像拼接与融合：现有的全景图像拼接生成算法主要可以分为三类：基 于特征的方法、基于流的方法和基于相位相关的方法。在得到拼接好的图像后， 还需要对图像重叠部分进行处理，以实现图像的无缝拼接。目前经常采用的一种 简单的图像融合技术就是线性插值法( l i n e a ri n t e r p 0 1 a t i o n ) 。 5 、全景图展示：得到3 6 0 度的全景图像后，不能直接用来观看，通过o p e n g l 技术生成浏览器，观赏时使用鼠标或键盘控制画面，或上下、或左右，或拉近、 或推远，画而在转动的同时，画面上的每个像素都会遵循着要给观者以“误解” 的原则，沿着浏览器上看不见的“球型坐标”进行着有规律的“错位”变化。其 结果就使得变形成“枣核”的矩形还原成矩形，变形成“弧形”的线条还原成直 线。通过景物形状的还原，使场景在转动过程中产生透视立体感，同时使观者体 验到很强的方位感。 2 3 3 柱面投影技术 如果我们直接对实体景物的拍摄图像进行拼接，将无法满足视觉一致性，也 无法满足实际场景中各对象间的几何关系。凶此就需要将待拼接的图像序列分别 投影到一个标准的坐标系下，柱面坐标就是常用到的标准空间坐标之一。这样做 的日的一方面是消除了场景图像之间可能存在的重复景物信息，另一方面也得到 了每张场景图像上的像素点在视点空间中的方位信息。 3 6 0 。柱面全景图像与球面和立方体表面全景图像相比，构造要简单得多： 将照相机以相同的焦距，绕其镜头中点旋转一周并间隔一定角度进行拍摄，然后 把这些相互重叠的照片投影到圆柱面上，得到柱面图像后，才能进行拼接，得到 没有图像畸变的3 6 0 。柱面全景图像，如图2 - 7 所示。在实际观察过程中，我们 把柱面全景图像进行反投影，就可以得到观察平面的图像。 1 0 第二章相关理论研究( 第1 1 页) 拍摄的n 张边界 重叠的豳缘 口田曰 锪紫f 1f 1 的n 张图像 l 土；l j 一一 无缝拼接后的 全景图像 口 图2 - 73 6 0 。柱面全景图像的构造 假定所有的照相机运动都发生在x - z 平面，而且图像中心点就是光轴与图像 平面的交点。如图2 - 8 ( a ) 所示。 一一 l 一 一。二) , 一 。，卜 - a f1 刀i 7 ，一 7 、仪 一一 、 幢 一 k 图2 - 8投影原理 待投影的图像i 、投影柱面图像j 和柱面k 、观察点0 。现在是要得到在0 点观察图像i 在柱面k 上的投影影像j 。设柱面半径为r ，投影角为曰，图像宽 度为w ，高度为h 。我们很容易得到柱面图像的宽度为r , s i n ( 2 ) ，高度仍为h 。 图像的像素坐标是以像素在图像上的位置定义的，最左上角像素为原点。 对图像i 上的任意一点p ，假设它在图像上的坐标为( x ，y ) ，现在要算出p 在柱面图像j 上的对应点q 。假设q 在j 上的坐标是( x ，y ) 。对于点p ，沿 x - z 平面的横截面如图2 - 8 ( b ) 所示，沿y - z 平面的纵截面如图2 8 ( c ) 所示，设p 和0 的连线o p 与x - z 平面的夹角为，通过公式推导可以得到柱面投影的变换 公式【1 引： 第二章相关理论研究( 第1 2 页) 其中： 咖渤叭州辜” 。， hr ( y 一导) v = 一+ 皇一 。 2k k = 本文利用目的估计值进行计算，口角可以近似为： ( 2 2 ) 0 ： ! ! 竺 重叠图像总数 ( 2 3 ) 采用柱面投影是为了得到没有图像畸变的3 6 0 。柱面全景图，本文研究的古 建筑的虚拟复原是基于照片的拼接、融合、建模过程，其拼接后的全景图主要用 于制作三维环境的背景，用户进行浏览时，只是从远处来观察，根本看不出来微 小的变形，所以拼接后的图像有些变形是可以允许的；另外，柱面投影后会使图 片的尺寸变小，不利于制作大面积的背景环境。因此，本文研究的基于图像的古 建筑复原没有使用柱面投影技术。 1 2 第二章图像拼接算法的研究( 第1 3 页) 第三章图像拼接算法的研究 本章主要对图像的拼接算法进行深入研究，通过对各种常用拼接算法的分析 比较，选择了基于特征点的图像拼接算法进行详细说明，包括算法描述、算法流 程以及算法的实现，最后通过实验结果对算法进行了概括性的总结。 3 1 各种拼接算法的比较 在使用普通相机或摄像机采集图像的过程中，由于相机视角以及运动的影 响，会造成图像的明显特征变形。为了校正这些变形，就必然导致图像拼接算法 的复杂化。针对以上两种不同情况得到的图像，全景图的配准和拼接技术相互依 赖并向前发展，如图3 一l 所示。 采集具有重叠 部分的图像序列 弋、量 p 配准，( 几何校 弓 图像平滑拼接 或融台 口口口口口 l1iil i l i l i l i i t i i i i l l i ji l 十 1 i i 图3 一l全景图拼接不恿图 现有的全景图像拼接生成算法主要可以分为三类：基于相位的方法、基于流 的方法和基于特征的方法n 町瞳们陀引。 1 、基于相位的方法：该方法利用傅立叶变换、小波变换等先对图像进行变 换，再利用变换后的图像的某些特征进行匹配。但是如果存在空间上的局部变化， 就会导致该方法产生较大误差。 2 、基于流的方法：也叫做基于面积的方法。该方法是通过比较两幅图像亮 度( 或颜色) 差异，并使之最小化来寻找最佳匹配点的。采用这种方法的有： d u f f i n 【l 州和b a r r e t t 在s z e li s k i 研究的基础上提出的一种恢复6 个参数模型的 算法。基于流的方法的缺点是计算量明显偏大。 3 、基于特征的方法：该方法的主要思想就是从一幅图像中提取一定的特征， 如：点、线、边缘等等，并用此特征为匹配模板，在第二幅图像中搜索。该方法 第二章图像拼接算法的研究( 第1 4 页) 可以提高计算速度，但是提取合适的图像特征比较困难1 。如何提取合适的图像 特征，很多学者在这个方面做了探讨，其中k i m 1 等人利用抽取物体轮廓作为特 征，而钟力口1 等人利用重叠图像两列像素的亮度( 或颜色) 比或者亮度( 或颜色) 作为特征模板，张鹏心1 等人利尉像素灰度值信息提取某一矩形区域作为特征模板 进行匹配。 通过以上几种算法的比较，结合本文研究的对象为古建筑物，建筑物的棱角 是比较分明的，属于规则的图像，便于选取特征点，因此本文选用基于特征点匹 配的图像拼接算法，通过图像的定位拼接、色彩融合实现全景图的构建。这种方 法适用于特殊的简单环境，具有速度快、精度高的特点0 1 。该方法允许待拼接的 图像有一定的倾斜和变形，克服了获取图像时轴心必须一致的问题，使图像的拼 接达到了很好的效果。 3 2 基于特征点的图像拼接算法的描述 实现拼接算法的先期工作就是图像采集。本文研究的全景图是利用相机采集 的照片序列拼接而成的。拍照时，我们将相机大致固定在一个点上，然后绕其镜 头中点转动，每隔一定角度拍摄一张照片，每两张照片之间要保证有3 0 到5 0 的重叠部分，拍照时，要求被拍摄的景物是静止的。 本算法的主要思想是：输入两张图像，取得其大小，再通过函数调用分别获 得两张图像中的两个特征点的坐标：接着估算参数向量t 、a 、b 、t x 、t y ，通过 计算得到矩阵t ： t = 口bt x b af 1 ， o oi ( 3 - 1 ) 刚蚓1 嘲融娜l ， t = 阱1 艄 雕姜驷僻3 ， 1 4 第二章图像拼接算法的研究 【第1 5 页) i s c o s t s * s u i tt x i t = ls * s l l l t s c o s tt x i l o 01j ( 3 4 ) 睢w 润w 2仔 3 3 拼接算法的实现 1 、算法流程图 图3 - 2 为本文所选基于特征点的图像拼接算法流程图。 第三章图像拼接算法的研究第1 6 页) 分别取两幅图像的两个特征点 土 t = 兰享 暑y o _ j 心r c o - s , 占- s 。, , s l , - ￥o 土 计算确定第一幅图像中需要拼接融 合的坐标范围 一t 丰 1h 司 上土 通过转换矩阵t ，计算出与第一幅图 像对应的第二幅图像巾的坐标范同 上 对第二幅图像取样，并做插值处理 上上 将第一幅图像粘贴到第二幅图像上 实现缝合 图3 2 拼接算祛沉程图 2 、算法的实现 ( 1 ) 读入图像： 用i m r e a d 函数从外部读取图像。用i m r e a d 函数读入的图片是保存在u i n t 8 型矩阵里面的，这种矩阵没有定义预算操作，要对它进行运算，就要先将其转化 为d o u b l e 型矩阵，但在图片写回时，还要转化为u i n t 8 型。 1 1 = d o u b l e ( i m r e a d ( l e f t j p g ) ) ： 分别取图像的高度、宽度和底部坐标： h 1w ld 1 = s i z e ( i i ) ： 1 2 = d o u b l e ( i m r e a d ( r i g h t j p g ) ) ： h 2w 2d 2 = s i z e ( 1 2 ) ： 1 6 第三章图像拼接算法的研究( 第1 7 页) ( 2 ) 显示图像并选取特征点： 创建图形窗口，用于显示图像； f i g u r e ：s u b p l o t ( 1 ，2 ，1 ) ：i m a g e ( i i 2 5 5 ) ： t i t l e ( f i r s ti n p u ti m a g e ) ： 调用g i n p u t 2 函数取得第一幅图片中两个特征点的坐标； x 1y 1 = g i n p u t 2 ( 2 ) ： s u b p l o t ( 1 ，2 ，2 ) ：i m a g e ( 1 2 2 5 5 ) ：a x i si m a g e ：h o l do n ： t i t l e ( s e c o n di n p u ti m a g e ) ： 调用g i n p u t 2 函数取得第二幅图片中两个特征点的坐标： x 2y 2 = g i n p u t 2 ( 2 ) ： ( 3 ) 图像坐标变换： 通过矩阵运算，估算参数向量 z = x 2 y 2 ：y 2 - x 2 ：i100 ：0011 ： x p = x l ：y 1 ： t 是z * t = x p 的解； t = z x p ： a = t ( 1 ) ： b = t ( 2 ) ： t x = t ( 3 ) ： t y = t ( 4 ) ： 生成转换矩阵t ； t = abt x ：- bat y ；001 ： 用t 左乘由( 1 ，1 ) ( 1 ，h 2 ) ( w 2 ，1 ) ( w 2 ，h 2 ) 四个点向量组成的矩阵，分别得到 这四个点在第一幅图像中的坐标； c p = t 术 11w 2w 2 ：ih 21h 2 ：1l 11 ： 计算第一幅图像中需要缝合区域的坐标值； x p r = m i n ( c p ( 1 ，：) 0 ) ：m a x ( c p ( 1 ，：) w 1 ) ： y p r = m i n ( c p ( 2 ，：) 0 ) ：m a x ( c p ( 2 ，：) h 1 ) ： x p ，y p = n d g r i d ( x p r ，y p r ) ： w ph p = s i z e ( x p ) ：= s i z e ( y p ) 通过转换矩阵t ，计算第一幅图像需要缝合的区域坐标在第二幅图像中的 坐标值； x = t x p ( ：) y p ( ：) o n e s ( w p , h p ，1 ) ： 1 7 第三章图像拼接算法的研究c 第1 h 页) c l e a ri p ： 变换矩阵中的行、列值； x i ：r e s h a p e ( x ( 1 ，：) ，w p ，h p ) ： y i = r e s h a p e ( x ( 2 ，：) ，w p ，h p ) ： 对第二幅图像重新取样，并进行插值处理； i p ( ：，：，1 ) = i n t e r p 2 ( 1 2 ( ：，：，1 ) ，x i ，y i ，* b i l i n e a r ) ：r e d i p ( ：，：，2 ) = i n t e r p 2 ( 1 2 ( ：，：，2 ) ，x i ，y i ，* b i l i n e a r ) ：g r e e n i p ( ：，：，3 ) = i n t e r p 2 ( 1 2 ( ：，：，3 ) ，x i ，y i ，* b i l i n e a r ) ：b l u e ( 4 ) 图像缝合并输出： 将第一幅图像粘贴到第二幅图像上，实现拼接； o f f s e t = - r o u n d ( m i n ( c p ( 1 ，：) 0 ) m i n ( c p ( 2 ，：) i p ( 1 + o f f s e t ( 2 ) ：h l + o f f s e t ( 2 ) ，l + o f f s e t ( 1 ) ：w l + o f f s e t ( 1 ) ，：) d o u b l e ( 1 1 ( 1 ：h l ，1 ：w l ，：) ) ： 输出拼接后的图像； f ig u r e ：i m a g e ( i p 2 5 5 ) ：a x isi m a g e ： t i t l e ( m o s a i ci m a g e ) ： ( 5 ) 被调函数g i n p u t 2 m 的定义： 被调函数定义，该函数的目的是获得鼠标所在位置的数据。形参n 两次调 用都是2 ，即用鼠标获得两个点的坐标； f u n c t i o ni x ，y = g i n p u t ( n ) x = ： y = ： f o ri = l ：n ， p xp y = g i n p u t ( 1 ) ：此处为递归调用； x = x ：p x ： y = y ：p y ： 用“红色+ 字型”格式绘制p x - p y 对应的图形； p l o t ( p x ，p y ，r + ) ： t e x t _ h a n d l e = t e x t ( p x + 5 ，p y ，n u m 2 s t r ( i ) ) ：在相应位置增加文本； s e t ( t e x t _ h a n d l e ，c o l o r ， 1 11 ) 设置文本属性； e n d 1 8 第二章图像拼接算法的研究t * 1 9 “ 34 实验结果及分析 通过上述的图像拼接算法，用实验完成了相邻的两幅图像的拼接。圈3 - 3 3 - 4 、3 - 5 、3 _ 6 分别为实验、文验二中两幅待拼接的图像和拼接后的图像= 目3 - 3 蜜一待拼接的两幅绷像 目3 - 4 女：* 接5 白勺目 图3 - 5 实= 特拼# 的m 目* 笫二章圈像 接算法的研究t m * 目3 6 一：目* 通过实验分析得出以下几个结论： 1 、图像的高度不同 由于相机转动引起的景物形变并没有充分考虑，从实验结果拼接线的部分可 以看出两张网像的高度不一致，两边的景物也还是没能完全别上，并且没有在 输出结果之前对图像边缘进行裁剪。要解决这一问题，叮以借助j ：三脚架来固定 相机位置，并旋转相同的角度，尽量减小景物高度的不一致。 2 、拼接的误差越来越大 本算法根据特征点的坐标和估算出的参数来计算转换矩阵t 从而实现了配 准好比找了几个固定点把这几个点匹配l 其它点是否精确地旺配就不予考 虑了= 要解决这一问题，应选择适当的配准算法进行拼接前必要的配准。 3 拼接后的图像有明显的亮度误差 由r 没有采用融合算法对图像中的颜色进行亮度拟合使得实验二拼接后的 图像中有明显的接痕而且颜色亮度明显不一致。关于这一问题将在下一章图 像融合算法的研究中进行讨论。 第p n q 章图像融合算法的研究( 第2 1 页) 第四章图像融合算法的研究 上一章中，本文采用基于特征点的图像拼接算法，根据相对的位置关系，将 相邻图像一一叠加在一起，完成了图像的拼接工作。但由于光照条件的不尽相同， 采集的图像在亮度上会有较大的差别，这样，只是简单地将图像序列拼接起来， 在图像的拼合处会存在亮度的不连续现象，产生明显的接缝，影响生成的全景图 的效果。本章中，为了去掉简单叠加造成的影响，使用融合算法对图像进行了处 理，并给予了详细的论述。 4 1 常用融合算法的比较 图像融合算法可以将两幅或多幅图像综合成一幅新的图像，融合过程能利用 两幅或多幅图像在颜色、亮度、光照上的相关性及信息上的互补性，使得融合后 的新图像对场景有更全面准确的描述。在拼接过程中，对于找到的两幅图像的重 叠范围，如果仅仅是简单地叠加，会造成图像的模糊和明显的边界，这会影响图 像效果。平滑连接就是要使拼接区域平滑，提高图像质量。 平滑连接的方法有很多，例如取平均值法、渐入渐出法心引、加权法和颜色亮 度拟合法等。下面简要介绍两种： 1 、取平均值法 令( z a ，y a ) i