（信号与信息处理专业论文）基于特征的图像拼接技术研究.pdf

浙江理工人学硕士学位论文 摘要 图像拼接是指对一组有重叠区域的图像进行配准对齐，经过融合处理，最后形成一幅 无缝的全景拼接图，可以有效地解决图像采集过程中高分辨率和宽视角相矛盾的问题。图 像拼接技术是图像处理、计算机视觉、计算机图形学等领域的重要研究课题，在遥感图像 处理、医学图像分析、数字视频压缩、虚拟现实技术等领域都有广泛的应用。 本文首先研究并总结了图像拼接技术的特点、分类及其应用领域，阐述了图像拼接技 术的研究现状及其研究的重要意义。然后研究了摄像机成像原理与图像变换模型，为后续 研究作好理论准备。本文以图像拼接的关键技术：图像配准与图像融合为主要研究内容。 在前人研究的基础上，本文提出一种基于s i f t 的自动图像拼接技术。首先对每幅图像提 取s i f t 特征；然后再用n n 算法进行特征匹配；由于得到的候选特征匹配对存在很多冗 余和错误，采用改进的r a n s a c 算法对特征匹配对进行提纯。针对多幅图像的配准，本 文引入概率接收模型确认图像间的相互匹配关系，同时去除干扰图像；并采用捆绑调整算 法来消除配准过程中的累积误差，通过l m 算法得到最优化解。最后对配准好的图像进行 加权平均融合处理，得到无缝的全景拼接图。 通过实验验证，本文发现：与传统的r a n s a c 算法相比，基于改进的r a n s a c 算法 有更高的匹配正确率，并能计算得到更为鲁棒的图像变换矩阵；另外，通过基于s i f t 的 配准算法与h a r r i s 的配准算法的对比实验可知，本文提出的基于s i f t 的配准算法具有尺 度不变性和仿射不变性，同时具有更高的准确性。 关键字：图像拼接，图像配准，图像融合，r a n s a c 算法，s i f t 浙江理工大学硕上学位论文 r e s e a r c ho fi m a g e s t i t c h i n gb a s e do nf e a t u r e a b s t r a c t i m a g es t i t c h i n gi sa t a s ku s e dt om a t c ha n dr e g i s t e rag r o u po fi m a g e sh a v i n gs p a t i a lo v e r l a p i n t oar e f e r e n c es u r f a c e ，a n dt h e nu s eb l e n d i n gm e t h o dt of o r mas e a m l e s sp a n o r a m i ci m a g e ， w h i c hr e s o l v e st h ep r o b l e mo fh i g hr e s o l u t i o na n dw i d ev i e w i n ga n g l e s i t so n eo ft h em o s t i m p o r t a n tr e s e a r c ha r e a sa m o n gi m a g ep r o c e s s i n g ，c o m p u t e rv i s i o na n dc o m p u t e rg r a p h i c a n di t h a sb r o a da p p l i c a t i o n s ，s u c h 鹤r e m o t es e n s i n gi m a g ep r o c e s s i n g ，m e d i c a li m a g ep r o c e s s i n g ， d i g i t a lv i d e oc o m p r e s s i o n , m o t i o na n a l y s i s ，v i r t u a lr e a l i t ya n ds oo n f i r s t , t h i sp a p e rr e s e a r c h e s a n ds u m m a r i z e st h e c h a r a c t e r i s t i c ，c l a s s i f i c a t i o na n d a p p l i c a t i o n so fi m a g es t i t c h i n g ，w h i c hd e s c r i b e st h eb a c k g r o u n da n ds i g n i f i c a n c eo ft h i sr e s e a r c h t h e ni ta n a l y s e st h ec a m e r am o d e la n di m a g et r a n s f o r m a t i o nm o d e l sf o rt h ep r e p a r a t i o no ft h e f o l l o w i n gr e s e a r c h t h em a i np a r t so ft h er e s e a r c ha r et h ek e yt e c h n o l o g i e so fi m a g es t i t c h i n g ： i m a g em a t c h i n ga n di m a g eb l e n d i n g b a s e do nt h ef o r m e rr e s e a r c h ，t h i sp a p e rd e s c r i b e sa n a u t o m a t i ci m a g es t i t c h i n gm e t h o du s i n gs i f t f i r s t l y ，i te x t r a c t ss i f tf e a t u r ef r o me a c hi m a g e t h e nm a t c h e sf e a t u r eu s i n gn n a l g o r i t h mt oo b t a i nm u l t i p l yp o t e n t i a lf e a t u r em a t c h e s ，i nw h i c h t h e r ea r eal o to fm i s t a k e sa n dr e d u n d a n c i e s c o n s e q u e n t l y ，i tu s e sm o d i f i e dr a n s a c a l g o r i t h m t om a t c hf u r t h e r w h a t sm o r e ，i tc o n c e r n ss e v e r a ld i s o r d e ri m a g e se v e ni n c l u d i n gn o i s ei m a g e s t h ep a p e rs u p p l i e sap r o b a b i l i s t i cm o d e lt ov e r i f yt h ei m a g em a t c h e s ，a n dm e a n w h i l eg e tr i do f t h en o i s ei m a g e s f u r t h e r m o r e ，i tu s e sb u n d l ea d j u s t m e n tt oe l i m i n a t et h ea c c u m u l a t e de r r o r si n t h em a t c h e di m a g e s ，w h i c hc a ng e tt h eb e s tr e s u l tb yl - m a l g o r i t h m i na d d i t i o nt oh a v eam o r e s a t i s f i e dp a n o r a m ai m a g e ，t h ep a p e ru s e sw e i g h t e da v e r a g em e t h o dt or e a l i z ei m a g eb l e n d i n g i nt h ee n d , e x p e r i m e n t a lr e s u l t sc o n f u mt h ef e a s i b i l i t yo fo u rm e t h o d s ，a n di ta l s os h o w s t h a t , c o m p a r e dw i t ht h et r a d i t i o n a lr a n s a ca l g o r i t h m ，t h em o d i f i e dr a n s a ca l g o r i t h mh a s h i g h e rm a t c h i n gc o r r e c t n e s s ，a n dt h et r a n s f o r mm a t r i xi sm o r er o b u s t b e s i d e s ，t h r o u g ht h e e x p e r i m e n t a lr e s u l t sf r o mi m a g em a t c h i n gm e t h o d sb e t w e e nh a r r i sa n ds i f t ，w ec a l lc o n c l u d e t h a tt h em e t h o do ft h i sp a p e rp o s s e s s e st h ep r o p e r t i e so fs c a l ea n da f f i n ei n v a r i a n c e ，a n di sm o r e a c c u r a t ea tt h es a m et i m e k e yw o r d s ：i m a g es t i t c h i n g ，i m a g em a t c h i n g ，i m a g eb l e n d i n g ，r a n s a ca l g o r i t h m ，s i f t 浙江理工大学学位论文原创性声明 本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师 的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰 写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。 学位论文作者签名：彦鬓 日期：呷年弓月7 日 浙江理工大学学位论文版权使用授权书 学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家 有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权浙江理工 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在 不保密d 。 年解密后使用本版权书。 指导教师签名：广删 日期： 矽哆牮；月7 同耖日 声叫 名 签年 者呼 作 雕砷 论 ： 位期 学日 浙江理工大学硕士学位论文 1 1 引言 第一章绪论 在使用普通相机获取宽视野的场景图像时，往往需要通过调节相机焦距来摄取完整的 场景，但这样获取到的全景照片分辨率相对较低。因为当相机的分辨率一定时，拍摄的场 景越大，得到图像的分辨率就越低。因此人们只能通过缩放相机镜头减小拍摄视野以换取 高分辨的场景照片。另外，由于距离和角度等条件的限制，某些超大尺寸的物体无法用一 张照片拍摄下来，这在航天照片的拍摄中显得尤为突出。虽然利用广角镜头和扫描式相机 可解决一部分视角不足问题，但这些设备因为价钱昂贵，使用复杂而不能在普通相机用 户中被推广使用。为了在不降低图像分辨率的条件下获取大视野范围的场景照片，相关研 究人员提出了图像拼接技术( i m a g es t i t c h i n g ) 口1 ，将普通图像或视频图像进行无缝拼接得到 超宽视角甚至3 6 0 度的全景图，这样就可以实现普通相机对超宽视角景物的拍摄。图像拼 接的目的就是利用计算机对图像序列进行自动匹配，将相互间具有一定重叠区域的多幅图 像合成为一幅图像，在保持图像高分辨率的同时，扩大所得图像的视野范围。 图像拼接技术已成为一个日益流行的研究领域，它涉及到图像处理、计算机视觉、计 算机图形学和虚拟现实等领域的重要课题研究，在宇宙空间探测、海底勘测、医学图像分 析、气象预测、地质勘测、数字视频、三维重建、军事侦察、公安取证和数码相机的超分 辨处理等领域有广泛的应用。因此，图像拼接技术的研究具有很好的应用前景和实际应用 价值。 1 2 图像拼接技术简述 1 2 1 图像拼接技术的特点 图像拼接技术一般是以两幅或两幅以上的图像作为研究对象，对其进行配准对齐和融 合处理等一系列分析和处理，因此相对于其他图像处理技术如图像压缩、图像插值等而言， 有其自身的特点： 一多样性 多样性主要表现为以下几个方面：所处理的图像内容变化多样；采集图像的环境和物 体的运动状况变化不定；相机在采集图像过程中的多种运动方式使得到的图像具有不同的 1 浙江理工大学硕上学位论文 特点等。图像拼接技术同时也广泛应用于诸多领域，使图像拼接技术处理对象丰富多样， 决定了图像拼接技术的多样性。 二针对性 由于图像内容变化多样，不同图像的特点也各不相同。另外，某些图像是在特殊条件 下得到的如柱面图像、球面图像和视频图像序列等，都有各自不同的特点。因此，针对这 些不同的特点产生了很多特定的图像拼接算法。一般来说，这些算法的针对性都很强，对 于在某种条件下快速高效的图像拼接算法可能完全不适用于另外一种条件。 三复杂性 从采集多幅图像序列到最后生成宽视角全景图，中间需要经过多个步骤来处理完成， 而每个步骤的处理方法几乎都不一样，因而图像拼接技术具有复杂性的特点，图像拼接流 程一般都是多种处理方法和算法的综合。 1 2 2 图像拼接技术的难点 目前，图像拼接技术的难点主要有如下几点： ( 1 ) 由于图像拍摄过程中相机抖动和光照条件变化等的影响，部分待拼接图像产生了 几何畸变和噪声，如何对这些图像进行几何校正和去噪处理，达到理想的效果。 ( 2 ) 为了实现图像的快速精准匹配，需要对输入的图像提取有效信息，以及对所提取 的信息采用哪种相似性度量，选择何种搜索策略等。 ( 3 ) 参考图像和待拼接图像之间不仅发生了平移，还有旋转、缩放或者在两幅图像之 间存在大面积的同色区域等难以匹配的情况，如何在这些情况下也能实现快速精准匹配 ( 4 ) 为了实现图像的自然无缝拼接，需要选择何种图像融合策略。 1 2 3 图像拼接技术的分类 根据国内外的研究现状，图像拼接技术大致可以分为以下四类： ( 1 ) 基于变换域的方法 1 9 7 5 年，k u g l i n 和h i n e s 提出了相位相关法口1 ，利用傅立叶变换将两幅待配准的图像变 换到频域，然后利用互功率谱直接计算出两幅图像间的平移矢量。1 9 8 7 年，d ec a s t r o 和 m o r a n d i 提出了改进的相位相关法h 1 ，利用傅立叶变换的性质将时域旋转变换转化为频域平 移变换，实现了具有旋转和平移变换的图像配准。随着快速傅立叶变换算法的提出以及信 号处理领域对傅立叶变换的成熟应用，1 9 9 6 年，r e d d y 和c h a t t e r 进一步提出了基于快速傅 2 浙江理工大学硕士学位论文 立叶变换( f f t b a s e d ) 的方法晦1 ，利用极坐标变换和互功率谱，对具有平移、旋转和缩放变 换的图像都能够实现精确配准。相位相关法计算简单精确，但要求待配准图像之间有较大 重叠比例，同时计算量和适用范围与图像的大小有很大关系。除了傅立叶变换外，人们还 选择更可靠、更符合人眼视觉生理特征的g a b o n 变换和小波变换进行图像匹配。 ( 2 ) 基于模型的方法 1 9 9 6 年，微软研究院的r i c h a r ds z e l i s k i 提出了一种二维空间八参数投影变换模型1 ，采 用l e v e n b e r g m a r q u a r d t 迭代非线性最小化方法( 简称l m 算法) 求出图像间的几何变换参数 来进行图像配准。这种方法在处理具有平移、旋转、仿射等多种变换的待拼接图像方面效 果好，收敛速度快，因此成为图像拼接领域的经典算法。2 0 0 0 年，s h m u e lp e l e g 等人在r i c h a r d s z e l i s k i 的基础上作了进一步的改进，提出了自适应图像拼接模型口1 ，根据相机的不同运动 方式自适应选择拼接模型，通过把图像分成若干个样条进行多重投影来完成图像的拼接。 这一研究成果推动了图像拼接技术的进一步发展，也使得自适应问题成为图像拼接领域新 的研究热点。匹兹堡大学的s e v k e tg u m u s t e k i n 对消除在固定点旋转摄像机拍摄自然景物时 形成的透视变形和全景图像的拼接进行了研究哺儿们。通过标定摄像机来建立成像模型，根 据成像模型将捕获到的图像投影到统一的高斯球面上，从而得到拼接图像。这种方法拼接 效果好、可靠性高，但是要求对摄像机进行精确地标定，同时要求摄像机透镜本身畸变参 数引起的图像变形可以忽略不计。 ( 3 ) 基于灰度相关的方法 基于灰度相关的方法是以两幅图像重叠部分在r g b 或c m y 颜色系统对应灰度级的相似 性为准则寻找图像的配准位置。常用的算法n 町n 乃有比值匹配法、块匹配法和网格匹配法等。 比值匹配法是从一幅图像的重叠区域中部分相邻的两列上取部分像素，然后以它们的比值 作为模板，在另一幅图像中搜索最佳匹配，这种算法计算量较小，但精度低；块匹配法是 以一幅图像重叠区域中的一块作为模板在另一幅图像中搜索与此模板最相似的匹配块，这 种算法精度较高，但计算量很大；网格匹配法n 司先进行粗匹配，每次水平或垂直移动一个 步长，记录最佳匹配位置，然后再进行精确匹配，每次步长减半，循环这个过程直至步长 减为0 ，这种算法较前两种运算量有所减小，但如果粗匹配步长过大会造成较大的误差。 ( 4 ) 基于特征的方法 基于特征的方法首先从待匹配图像中提取特征空间，利用特征的对应关系进行匹配。 基于特征的方法利用了图像的显著特征，具有计算量小、速度快等特点，对于图像的畸变、 噪声、遮挡等也具有一定的鲁棒性，但是它的匹配性能在很大程度上取决于特征提取的质 3 浙江理工火学硕十学位论文 量。文献n 2 1 提出了一种基于轮廓的图像匹配方法，采用l o g 算子提取出两幅图像的特征轮 廓，用链码来表示轮廓，根据相同轮廓的链码差值不变的特性找出对应轮廓，从而确定图 像间的变换关系。这种方法在特征轮廓的提取上容易受到噪声的干扰，其计算量随着轮廓 数量的增多而增大。文献口3 1 使用h a r r i s 检测器提取兴趣点，通过计算归一化相关系数，沿 极线寻找一幅图像中兴趣点的对应点，然后使用另一幅图像来得到更准确的对应。j a n e 1 町 提出了基于小波变换的分层图像匹配算法，在分解后的每一层图像中提取兴趣点进行匹 配，用并行策略提高了计算速度。 1 3 图像拼接的应用领域 图像拼接是一个日益流行的研究领域，在遥感图像处理、医学图像分析、数字视频压 缩、运动分析、虚拟现实技术等领域得到了广泛的应用n 纠7 1 。 1 3 1 遥感图像处理 遥感图像一般受到高空拍摄位置的限制，并且拍摄目标尺寸一般都非常大，要得到拍 摄e l 标概貌的全景图通常要进行各角度的多次拍摄，通过将两幅或两幅以上遥感图像拼接 成一幅影像图来进一步扩大视野，提高图像分辨率。 遥感图像拼接口司有着广阔的应用，据统计，有近3 0 个领域用到过遥感技术，如土地资 源调查、植被资源调查、海洋资源调查、环境监测和规划管理等。通过将卫星图片或航空 照片拼接成大范围的场景图片可实现对某一地区的整体监测，如对某一地区的河流流域、 耕地面积、农作物病虫害情况和地震灾害情况的监控等。 1 3 2 医学图像分析 在医学领域，从c t 图像、x 光照片到人体的细胞照片，医学对图像的质量和处理手段 有极高的要求，许多图像处理技术也是在解决医学图像问题的过程中产生的。在远程会诊 中，把拍摄的序列病理图片拼接成全景图，不仅可以使远程终端用户能够看到当地医院的 完整“现场，还能在当地医院再现观测病理切片时的“现场”，这对于病理切片存档、 病理研究学习等都有着重要的意义。在超声检查中，超声图像的质量直接影响着医生对病 情的诊断，由于普通超声探头较小，对大的组织器官和病变难以在一个断面显示，利用图 像拼接技术可以将探头连续移动获取到的图像拼接成宽视角的全景图，就可以显示出组织 的完整结构，为诊断提供更好的依据。 4 浙江理工人学硕士学位论文 在外科手术中，由于缺少对视网膜整体状况进行检查的工具，视网膜激光手术的成功 率很低。a l i c a nc h a r l e s 等人提出了利用图像拼接的方法n 叫构建视网膜的整体视图，作为外 科手术的依据。他们将视网膜近似为一个二维的曲面，以视网膜上血管的三叉点作为匹配 的特征点，通过求解一个1 2 参数的变换矩阵找到相邻两幅视网膜图像之间的变换关系， 将一系列视网膜的图像拼合成一张大的视网膜图像。视网膜的整体视图为视网膜激光手术 的发展做出了巨大的贡献。 1 3 3 虚拟现实技术 虚拟现实技术( v i r t u a lr e a l i t y ) 就是利用计算机构建一个逼真的虚拟环境，以仿真的方 式给人们创造一个反映实体对象变化及其相互作用的三维世界，使得人们能够通过专用设 备，能像在自然环境中一样对虚拟环境中的实体进行观察与控制。 早期虚拟场景的构建通常采用基于计算机图形学的三维几何模型建模 ( g e o m e t r y - b a s e dr e n d e r i n g ，简称g b r ) 技术。这种方法首先对场景建立三维几何模型，对 场景中各个物体的材料、光照、纹理、消隐等因素进行描述，然后根据观察者位置和观察 角度生成场景中各个物体的图像，用图形学方法进行绘制，最后用光线跟踪或纹理映射的 方法增加真实感。基于几何模型的方法需要大量的环境建模以及昂贵的专门硬件支持，而 且计算机图形的生成和显示时间依赖于图形的复杂度。为了解决这一难题，人们提出了图 像绘制( i m a g e b a s e dr e n d e r i n g ，简称i b r ) 技术n 7 1 ，通过一组预先采集到的图像集构建数据 模型，根据用户观察参数确定图像数据的合成参数，最后使用图像拼接技术绘制出具有真 实感的虚拟场景视图。在基于i b r 技术的虚拟现实技术中，虚拟场景的构建是利用采集的 离散图像序列或连续的视频帧作为基础数据，通过图像拼接技术生成一系列全景图像，并 对其进行空间关联建立起具有空间操纵能力的虚拟环境。 i b r 技术在构建虚拟现实环境时具有计算量小、与场景复杂度无关及真实感强等优点 而被广泛使用。a p p l e 公司的“q u i c kt i m ev r 刀就是基于该技术的一个典型系统，通过在 全景图上开窗口，实时生成用户需要观察的虚拟环境，经过不同全景图之间的切换来实现 在虚拟环境中漫游，使用户能主动地从不同视点和方向了解当前环境。目前，i n t e m e t 的普 及也为虚拟全景空间的推广和应用构筑了一个很好的平台，人们可以足不出户地进行虚拟 旅游、虚拟购物以及虚拟购房等。 5 浙江理工大学硕十学位论文 1 4 本文的主要工作和论文的章节安捧 1 4 1 本文的主要工作 本文主要研究了基于特征的图像拼接的关键技术：图像配准技术和图像融合技术。针 对现有的图像配准算法进行了研究和改进，提出了一种基于尺度空间不变特征 ( s c a l e i n v a r i o u sf e a t u r et r a n s f o r m ，简称s i f t ) 的图像自动拼接方法。 本文主要研究内容如下： ( 1 ) 查阅并学习了相关文献，了解了国内外图像拼接领域的发展和研究现状，并对图 像拼接技术的方法和图像拼接技术的应用领域作了研究分析和总结概括。 ( 2 ) 研究分析了摄像机成像原理和摄像机的运动方式，总结概括了各种图像获取方式 的优缺点和不同摄像机运动方式对应的图像变换模型。 ( 3 ) 总结分析了图像配准技术的各要素和常用的图像融合方法，为本文提出的图像拼 接算法打好理论基础。 ( 4 ) 针对传统的图像拼接方法存在的问题，本文提出一种基于s i f t 的自动图像拼接方 法。该方法通过提取s i f t 特征得到大量稳定的待拼接图像特征点，先采用n n 优先搜索算 法得到候选特征匹配对，然后再用改进的r a n s a c 算法迭代选取稳定的候选特征匹配点为 内点，通过概率接收模型来确认图像间的相互匹配，提高匹配的精准度。由于s i f t 特征是 图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、 噪声也保持一定程度的稳定性。所以本文的方法能克服基于h a r r i s 角点检测哺1 的图像匹配随 尺度变化而变化的问题，实现图像的精确匹配。 1 4 2 拼接算法总体框架 本文拼接算法总体框架如下图1 1 所示： 去除干扰图像 选 择 参 考 平 面 图1 1 拼接算法框架图 6 输 出 图 像 k 户 概率接收模型 浙江理工人学硕士学位论文 图1 1 中的拼接算法主要流程如下： 1 对输入图像序列的每幅图像分别进行s i f t 特征提取。在建立尺度空间的基础上利 用s i f t 算法提取出稳定的特征算子，为后续的匹配作好准备。 2 采用本文提出的n n 算法对各幅图像的s i f t 特征进行候选匹配。根据待匹配特征 点的最近邻特征点距离与次近邻特征点距离的比值对特征点进行匹配。 3 采用本文提出的改进的r a n s a c 算法对候选特征匹配对进一步提纯。通过引入一 个改进的中值滤波器来优化r a n s a c 算法的初始迭代值，提高匹配的正确率。 4 利用本文提出的概率接收模型对各幅图像的两两匹配进行确认。通过前面的 r a n s a c 算法可以得到每幅图像的匹配内点，根据内点数和总特征点的关系是否满足概率 接收关系来确认当前图像匹配是否正确。如果最后没有与之匹配的图像则是干扰图像，应 该将其从图像序列中去除。 5 根据图像序列的特点选择合适的参考平面。选择好了参考平面后，计算每幅图像 到参考平面的变换矩阵，完成局部的图像配准。 6 对局部配准好的图像进行全局的捆绑调整。主要是利用l m 算法来最小化误差累 积函数。 7 进行图像融合处理。捆绑调整可以使图像配准的累积误差尽可能小，但是由于每 幅图像的对比度等不同，直接拼接得到的全景图有可见的拼接缝隙，本文采用加权平均算 法进行图像融合处理。 1 4 3 论文的章节安排 全文共分七章。前面两章主要介绍了图像拼接的研究现状及其相关知识；第三、四、 五、六章主要介绍了图像拼接的关键技术：图像配准和图像融合；最后一章是总结展望。 各章具体内容安排如下： 第一章介绍了图像拼接技术的研究背景及其特点、难点，国内外图像拼接技术的研究 现状及基本流程，图像拼接技术的应用领域以及论文完成的主要工作。 第二章对摄像机成像原理及图像变换模型进行了研究，介绍了针孔相机成像原理及常 用的图像变换模型，为后面的图像配准做好理论准备。 第三章介绍了图像配准的关键要素和现有的特征提取方法，针对现有的基于特征的图 像拼接方法的不足，提出了一种基于s i f t 的图像配准方法，实验证明了该方法的有效性。 第四章对本文提出的基于s i f t 的图像配准算法的性能进一步进行实验验证，并与基于 7 浙江理t 大学硕：i 二学位论文 h a r r i s 的图像配准方法做了对比实验。实验证明本文提出的算法具有仿射不变性和尺度不 变性。 第五章在两幅图像配准的基础上，针对多幅含噪声图像的拼接提出一种基于s i f t 的图 像自动拼接算法，实验证明了该算法的有效性。 第六章介绍了几何校正常用的插值法，另外，研究了常用的图像融合方法，并分析了 各种方法的优缺点。最后通过实验验证加权融合算法可以消除拼接缝隙。 第七章对全文所做的工作进行了总结，分析了目前研究工作存在的问题，对图像拼接 技术和以后的研究工作提出展望。 8 浙江理工人学硕士学位论文 2 1 引言 第二章摄像机成像原理及图像变换模型 光线照在物体上产生的透射或反射光的分布就是“图 ，人的视觉系统对图的接收在 大脑中形成的印象或认识就是“像”。前者是客观存在的，而后者是人的感觉，图像是二 者的结合，通常人们使用摄像机来获取图像。 在成像系统中，图像的灰度值大小反应了目标物体对光照的反射情况，而具体像素点 在图像上的位置和空间目标物体表面点的位置有关。这些对应位置关系是由摄像机成像模 型决定n9 制的。摄像机的不同运动方式对应不同的图像变换模型。我们通常采用针孔摄像 机模型来研究真实相机的成像及运动情况，这样既可以简化所需处理的问题又可以满足实 际应用的需要。 2 2 针孔相机成像原理 2 2 1 针孔相机模型 针孔相机是根据光学的针孔成像( 即小孔成像) 原理来设计的，其成像几何关系称为 透视投影瞳。首先定义摄像机平面即摄像机坐标系q 一五艺乙，如下图2 1 所示。其中d c 表示投影中心，q z c 为主光轴，p 为像平面与主光轴的交点，则q p 的长为相机焦距厂。 图2 1 摄像机坐标系 如图2 1 所示，设空间物体上任意一点x 在摄像机平面的坐标为( 五，【，z c ) ，经过针孔 9 浙江理工人学硕+ 学位论文 相机成像后形成的二维图像点坐标为( t ，咒) ，两个坐标的关系可以表示如下： 乏2 薏2 乏f 2 - ( 1 ) 以z c 在欧氏坐标中，一个平面点由一个二维向量表示，一个三维空间点由一个三维向量表 示。欧氏坐标因具备直观的特点而得到了广泛应用。为了更方便的表达透视投影公式及统 一的描述平移、旋转等运动模型，我们引入齐次坐标乜订的概念。齐次坐标增加了一个缩放 因子国，若一个二维场景点欧氏坐标为o ，y ) ，则其对应的齐次坐标为( 拗，y o ，国) ，因此齐 次坐标系下的坐标点具有缩放不变性。本章在描述变换公式时，如无特殊声明，则默认使 用齐次坐标。齐次坐标下的透视投影公式如式2 一( 2 ) ： z c i = ；三ff 2 2 2 世界坐标系与图像平面坐标系 x c e z c 1 2 - ( 2 ) 摄像机坐标系只能简单地描述相机成像模型，要完整地描述目标物体到二维图像的映 射还需要知道摄像机内、外部参数，即需要知道摄像机坐标系、图像平面坐标系和世界坐 标系的关系，三者关系如图2 2 所示。 世界坐标系 图2 2 三个坐标系的关系 世界坐标系是客观世界的绝对坐标，摄像机以某种姿态放置于一个实际的三维世界 中。摄像机坐标系( 五，艺，z c ) 与世界坐标系( 以，匕，乙) 可能不是完全重合的，而是具备一 定的平移和旋转关系，可以用下面的变换式来表示： l o 浙江理工人学硕士学位论文 睁o x 。 匕 乙 l = m x 。 匕 z 。 l 2 一( 3 ) 其中m 是一个包含平移参数f 和旋转参数尺的变换关系矩阵，且t 是一个3 x l 的矩阵， 只是一个3 x 3 的正交阵。 另外一个很重要的坐标系就是图像平面坐标系如图2 3 所示，直接反映了摄像机的内 部参数对成像结果的影响。点。为摄像机主光轴和图像平面的交点，点d 在图像平面的坐 标位置为( ，) 。假设摄像机坐标系下图像点的坐标为( ，咒) ，其最终形成的图像像素坐 标为( x ，y ) 。 x 巨二 叫4 ， 1 0 x o d j 一 1 0 了 d y ool 联立式2 一( 2 ) 、式2 一( 3 ) 和式2 一( 5 ) 可以得到针孔相机成像的完整表达式如下： 2 - ( 5 ) 浙江理工大学硕士学位论文 料 1一 了0 x o 吨 一 1 0 了 d y 00l 辩) = 睢孙x o a 2h 科：_ x 。 匕 乙 1 x 。 匕 z 。 1 2 一( 6 ) 在式2 一( 6 ) 中， q = f d x ，q = f l a y ，其中表示摄像机的焦距。式2 一( 6 ) 还可以简 化为： z c x = k rt l x , , = 只k2 - ( 7 ) 在式2 一( 7 ) 中，x 表示图像平面坐标，l 表示对应的世界坐标，z c 为瓦的深度，p 表 示图像变换矩阵，是由矩阵k 和【尺if 】相乘得到的一个3 x 4 维的仿射变换矩阵。其中，k 由 q ，q ，x o ，y o 四个参数决定，这四个参数都与相机的内部结构有关，因此也被称作相 机的内参数；【r 是相机相对于世界坐标系的位姿，被称为相机的外参数。而相机的内 参数和外参数可以通过摄像机标定的方法嘲求得。 2 3 图像变换模型 2 3 1 图像获取 通过摄像机来采集实验所需的图像，获取方式的不同会直接导致输入图像的不同，最 后的拼接结果也随之不同。根据照相机拍摄时的运动状态，图像获取方式一般有以下三种 情况硷3 1 ： ( 1 ) 旋转式拍摄 假设摄相机的三脚架在拍摄过程中一直处于同一位置。获取图像过程中，摄相机绕垂 直轴旋转，每旋转一定的角度，拍摄一张照片。理想情况下，摄相机不绕其主光轴旋转。 拍摄得到的一系列图像中相邻两张必须有部分重叠。重叠区域大小是影响图像拼接效果的 重要因素，重叠比例越大，拼接就越容易。 1 2 浙江理工人学硕士学位论文 在摄相机位置相对固定的情况下，旋转式拍摄不需要更多的相机参数，比较容易实现。 但是由于采集的图像不在同一平面上，需要投影到同一平面上才能进行拼接，常用于采集 构成柱面或球面全景图的图像序列。 ( 2 ) 平移式拍摄 在获取图像过程中，摄相机在一个平行于成像平面的方向上平移。在固定焦距的情况 下，摄相机通常放置在一个滑轨上移动拍摄。物体和摄相机距离的远近，或者拍摄物体大 小的变化，都会影响到最后的拼接结果。 通过平移式拍摄方式采集图像，最重要的一点就是保持图像与摄相机平移方向平行。 否则，摄相机的移动将导致物体大小变化。另外，由于拍摄的图像均在一个平面上，通过 这种方法获得的全景图的3 d 效果不如旋转式拍摄的好。 ( 3 ) 手持式拍摄 手持相机原地旋转拍摄，或按某一路线平行于对象拍摄。但是，拼接手持式拍摄的图 像有点困难，因为在拍摄过程中，摄相机的运动情况相对复杂。为了减少这些影响，可以 使摄相机旋转、平移幅度减小，从而减小相邻图像的不连续程度，进而增加相邻图像间的 重叠比例，减小拼接难度。 手持式拍摄较容易操作，故常被用于图像的采集工作。本文也采用手持式拍摄来获取 实验图像，为了减小拼接难度，图像间的重叠比例大约为2 0 。 以上方法均从不同程度限制了摄相机的运动，以使获取的图像满足图像拼接的要求。 由于光照变化、场景中物体的运动、相机焦距的改变和旋转等因素的影响，实际拍摄出来 的图像序列会存在一些光强的差异和小视差，给图像拼接增加了难度，因此很多文献幽1 要 求相机以最小运动视差拍摄。 2 3 2 摄像机运动 图像采集过程中，图像的成像状态由摄像机的运动状态决定。一般说来，摄像机的运 动可以分为以下几种方式： ( 1 ) 平移运动：是指摄像机运动平行于成像平面，即在固定焦距的情况下摄像机在平 行于图像平面的方向上运动； ( 2 ) 镜头缩放：是指摄像机的焦距发生了变化，即场景平面与成像平面间的距离发生 了变化； ( 3 ) 水平扫动：是指摄像机绕垂直轴旋转： 1 3 浙江理t 大学硕十学位论文 ( 4 ) 垂直扫动：是指摄像机绕水平轴旋转； ( 5 ) 旋转运动：是指摄像机绕主光轴旋转。 在图像获取过程中，摄像机并不总是安置在三角架上进行拍摄，也常手持相机进行拍 摄。由于手持拍摄时摄像机的运动相对复杂，而且存在平移、缩放以及旋转等性能的不稳 定性，摄像机的运动一般是上述几种运动方式的合成。 2 3 3 图像变换模型 = 差萎筝 i = h i 2 一c 8 ， 表2 1 图像变换矩阵各参数的含义 根据表2 1 中各参数的含义及各几何变换模型的特点，对图像变换矩阵日作相应地简 化处理，就可以得到各几何变换模型汹1 对应的图像变换矩阵： ( 1 ) 刚性变换模型 如果第一幅图像中像素点间的距离经变换到第二幅图像后仍保持不变，并且对应直线 的平行性和垂直性保持不变，那么称这种变换为刚性变换( 慰西dt r a n s f o r m a t i o n ) 。刚性变 换可分解为平移、旋转变换的组合。其变换矩阵日为： 1 4 浙江理工大学硕士学位论文 日= l s o 等a s p 0 一s c i 苫n a 口h ? 2 2 一c 9 ， ； = s c ；o n s 秒1 9 一s i n oi x ， + 乏 2 - c 。， 在式2 一( 1 0 ) 中，乡为刚体变换过程中图像逆时针的旋转角度，红和红为平移量。由此 h = ； 冬 雩 2 一。t ， ； = 复乏 ； + 乏 2 一( 1 2 ， 系，那么称这样的变换为投影变换( p r o j e c t i v et r a n s f o r m a t i o n ) 。投影变换具有更一般的形 日= 差墨筝 2 一c 3 ， 浙江理t 大学颧学位论文 剐li|i 州- 2 3 4 实验结果与分析 选取一幅大小为6 4 0 x 4 8 0 的图像如下图2 4 ( a ) 所示，在不考虑水平和垂直方向平移的 情况下分别进行刚体变换，仿射变换和投影变换的结果如图2 4 ( b ) ，24 ( c ) 和2 4 ( d ) 所示。 ( a 】坂始幽像 ( b ) 刚体变换扁的图像 c ) 仿射变换后的图像( d ) 投影变换后的图像 图2 4 图像变换实验 浙江理t 大学硕：l 学位论文 其中各变换对应的矩阵参数分别为： - 0 9 8 4 8 0 1 7 3 6 q = i - 0 1 7 3 6 0 9 8 4 8 1 00 p 5 0 0 o 2 0 0 0 马= i o 1 0 0 00 9 6 7 0 【0 0 p 5 0 0 0 2 0 0 0 马= l o 1 0 0 00 9 6 7 0 l o 0 0 1 0 0 0 0 1 0 由图2 4 实验可知：图像( a ) 顺时针旋转角度1 0 度( 即参数0 = 一1 0 。) 后得到图像( b ) ， 进行的是刚体变换，变换矩阵为q ，两幅图像像素间距离不变并且相互位置关系也不变； 图像( a ) 经过仿射变换后得到图像( c ) ，对应的变换矩阵为坞，图像中的平行关系不变，但 像素间的位置关系发生了变化；图像( a ) 经投影变换后得到图像( d ) ，对应的变换矩阵为马， 图像产生了拉伸和变形，其中垂直方向和水平方向的变形参数吃= 岛= 0 0 0 1 ，虽然参数值 很小但是图像形变较大。 2 4 本章小结 本章主要介绍了摄像机成像原理及图像变换模型的相关知识。通过介绍针孔相机模型 的成像原理来阐述实际相机的成像过程，这样既能达到研究的要求又能简化处理过程。接 着进一步研究了在摄像机坐标系、图像坐标系和世界坐标系下摄像机的运动方式和对应的 成像情况。摄像机的运动方式直接决定了景物成像的情况，但在实际图像采集过程中，图 像的获取方式会限制摄像机在场景中的运动方式。由于摄像机不同的运动方式对应了不同 的图像变换模型，本文采用8 参数的投影变换矩阵来描述拍摄过程中摄像机的运动情况， 进一步确定图像间的空间位置关系。 1 7 浙江理工人学硕士学位论文 3 1 引言 第三章基于s i f t 的图像配准方法 图像拼接技术是指将一组相互间存在重叠区域的图像进行空间匹配对准，经重采样融 合后形成一幅包含这组图像信息的完整而清晰的宽视角全景图。因此，图像拼接主要包括 图像配准和图像融合两个方面。其中，图像配准是图像拼接的核心技术，直接关系到图像 拼接算法的成功和效率。基于特征的图像配准是目前应用最为广泛的一种图像配准方法， 通过求取图像特征点的对应关系来实现图像的配准，计算量小，并且可以兼顾实时性和有 效性。特征点匹配常用的相似性度量有h a u s d o m 距离和n c c ( n o r m a l i z e dc r o s s c o r r e l a t i o n ) 。 h a u s d o m 距离对于噪声比较敏感；n c c 算法对图像的所有特征点进行遍历搜索，可以去除 低频亮度信息的干扰，但是其时间复杂度很大，匹配的精度不高，并且存在大量的错误匹 配。 针对上述问题，本文提出一种基- 于s i f t ( s c a l ei n v a i o u sf e a t u r et r a n s f o r m ) 的图像配准方 法。首先利用s i f t 算法提取出s i f t 特征算子，该算子包含灰度信息和空间位置信息，在光 照或尺度等变化时仍可保持一定的稳定性，利用其进行匹配能有效地提高初始匹配的正确 率；然后用改进的r a n s a c ( r a n d o ms a m p l ec o n s e n s u s ) 算法进一步提纯，剔除错误匹配点， 得到更为准确的特征匹配对，求得的图像变换矩阵也更为鲁棒。 3 2 图像配准技术的关键要素 同一场景在不同条件下投影所得到的二维图像会有很大的差异，这主要是由于传感器 噪声、成像过程中视角的改变、目标的运动和形变、光照或环境的改变，以及多种传感器 的使用等引起。在这些条件下，匹配算法如何达到精、准、快和较好的鲁棒性成为人们研 究的热点。针对不同类型的图像和