图像拼接技术.doc

图像拼接技术图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。图像拼接流程图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。一般来说,图像拼接主要包括以下五步: a)图像预处理。包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作。 b)图像配准。就是采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系。 c)建立变换模型。根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型。 d)统一坐标变换。根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换。 e)融合重构。将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。 下图给出了图像拼接的基本流程图。 相邻图像的配准及拼接是全景图生成技术的关键,有关图像配准技术的研究至今已有很长的历史,其主要的方法有以下两种:基于两幅图像的亮度差最小的方法和基于特征的方法。本文采用基于特征模板匹配特征点的拼接方法。该方法允许待拼接的图像有一定的倾斜和变形,克服了获取图像时轴心必须一致的问题,同时允许相邻图像之间有一定色差。全景图的拼接主要包括以下4个步骤：图像的预拼接,即确定两幅相邻图像重合的较精确位置,为特征点的搜索奠定基础。特征点的提取,即在基本重合位置确定后,找到待匹配的特征点。图像矩阵变换及拼接,即根据匹配点建立图像的变换矩阵并实现图像的拼接。最后是图像的平滑处理。图像配准百科名片图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。目录配准技术的流程研究工作1 基本方式图像配准的方式1 图像配准方法1 基于灰度信息的图像配准方法绪论1 互相关法1 序贯相似度检测匹配法1 SSDA1 基本思想1 交互信息法1 基于变换域的图像配准的方法傅氏变换方法的优点1 旋转1 基于特征的图像配准方法共同之处1 点特征1 提高匹配质量配准技术的流程研究工作1 基本方式图像配准的方式1 图像配准方法1 基于灰度信息的图像配准方法绪论1 互相关法1 序贯相似度检测匹配法1 SSDA1 基本思想1 交互信息法1 基于变换域的图像配准的方法傅氏变换方法的优点1 旋转1 基于特征的图像配准方法共同之处1 点特征1 提高匹配质量展开编辑本段配准技术的流程配准技术的流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征 图像配准 相关书籍点对；然后通过匹配的特征点对得到图像空间坐标变换参数：最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。 编辑本段研究工作图像配准的方法迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其所采用的算法称之为图像相关等等。 编辑本段基本方式图像配准的方式图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择多图像中的一张图像作为参考图像，将其它的相关图像与之配准，其坐标系统是任意的。绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文主要研究大幅面多图像的相对配准，因此如何确定多图像之间的配准函数映射关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制点（RCP）。 图像配准方法目前，根据如何确定RCP的方法和图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别：基于灰度信息法、变换域法和基于特征法1，其中基于特征法又可以根据所用的特征属性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的各种图像配准方法和原理。 编辑本段基于灰度信息的图像配准方法绪论基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法）、序贯相似度检测匹配法、交互信息法。 互相关法互相关法是最基本的基于灰度统计的图像配准的方法，通常被用于进行模板匹配和模式识别。它是一种匹配度量，通过计算模板图像和搜索窗口之间的互相关值，来确定匹配的程度，互相关值最大时的搜索窗口位置决定了模板图像在待配准图像中的位置。 设A图像为参考图像或基准图像，表示为 ，B为要进行校正后与A配准的图像，表示为 ，在A图像中选择几块包含特征信息丰富的小区域 作模板 ，在 图像重叠部分选择一个重叠区域作为模板的搜索区域 ，并使 图像配准得 ，即 ，如图143所示。然后把每一个模板 放在与其对应的搜索区 中，通过两者的相对移动，在逐行逐列的每个位置上，计算 与其覆盖的搜索区 中那部分之间的相似性，产生出表明两者相似程度最大的函数值的位置 。设在待配准图像B搜索到的相似区域为 ，再以 为模板，再用同样的方法在参考图像中去搜索相似程度最大的函数值的区域 ，设定一个阈值Z，如果 ，则认为 和 重合，B图像中的位置 就是B图像与A图像 相匹配的位置；反之，则认为特征区域匹配不正确，即伪匹配。两幅图像之间的相似度评测标准，可以采用不同的方法，主要有下面三种： 143 模板匹配示意图图 Fig.143 Sample image of template matching A. 均方和 （147） B. 兰氏距离 （148） C. 归一化标准相关系数 （149） 其中，在定义式中， 表示的是模板子图像中第 行和第 列的像素的灰度值； 是匹配图像中参考点 处的参考子图像上的第 行和第 列的像素的灰度值； 和 分别代表两个子图像内像素灰度的均值； 而定义式的左边各自代表模板子图像 和另一个图像中的参考点 处的子图像 的相似性测度。 这三个公式中，前两个的极小值代表了可能的匹配位置，后一个公式的极大值代表了可能的匹配位置。其它的一些评测标准都是由这些基本的评测标准引申出来的。如相关系数和标准相关系数都是归一化标准相关系数的简化形式，从本质上都是相同的。 序贯相似度检测匹配法SSDA序贯相似度检测匹配法（Sequential Similarity Detection Algorithms，SSDA）是由Barnea等人提出来的。SSDA方法的最主要的特点是处理速度快。该方法先选择一个简单的固定门限T，若在某点上计算两幅图像残差和的过程中，残差和大于该固定门限T，就认为当前点不是匹配点，从而终止当前的残差和的计算，转向别的点去计算残差和，最后认为残差和增长最慢的点就是匹配点。 基本思想这种方法的基本思想是基于对误差的积累进行分析。所以对于大部分非匹配点来说，只需计算模板中的前几个像素点，而只有匹配点附近的点才需要计算整个模板。这样平均起来每一点的运算次数将远远小于实测图像的点数，从而达到减少整个匹配过程计算量的目的。 在SSDA算法中，参考图像与待配准图像之间的相似度评测标准是通过函数 来度量的，公式如下： （1410） 其中残差和 ，坐标是从待配准图像中，随机抽取得到的非重复的点坐标序列。 越大，表示误差增长越慢，即两幅图像越相似。这种方法的关键是阈值T的选择，它不仅影响到算法的运算速度，同时还影响到算法的匹配精度。 交互信息法交互信息法最初是Viola等人于1995年把交互信息引入到图像配准的领域的，它是基于信息理论的交互信息相似性准则。初衷是为了解决多模态医学图像的配准问题。 交互信息用来比较两幅图像的统计依赖性。首先将图像的灰度视作具有独立样本的空间均匀随机过程，相关的随机场可以采用高斯马尔科夫随机场模型建立，用统计特征及概率密度函数来描述图像的统计性质。交互信息是两个随机变量A和B之间统计相关性的量度，或是一个变量包含另一个变量的信息量的量度。 交互信息 是用A和B的个体熵 和 和联合熵 来表示： （1411） 其中： 这里 分别为随机变量A和B的边缘概率密度； 为两个随机变量的联合概率密度分布。交互信息用于图像配准的关键思想是：如果两幅图像达到匹配，它们的交互信息达到最大值。在图像配准应用中，通常联合概率密度和边缘概率密度可以用两幅图像重叠区域的联合概率直方图和边缘概率直方图来估计，或者用Parzen窗概率密度估计法来估计，从而来计算交互信息。 交互信息图像配准方法一经提出，有不少基于此类的研究，尤其在医学图像的配准问题上。比如将交互信息和梯度结合起来改善其极值性能的算法、多分辨率图像金字塔法等等。但交互信息是建立在概率密度估计的基础上的，有时需要建立参数化的概率密度模型，它要求的计算量很大，并且要求图像之间有很大的重叠区域，由此函数可能出现病态，且有大量的局部极值。 编辑本段基于变换域的图像配准的方法傅氏变换方法的优点最主要的变换域的图像配准方法是傅氏变换方法，它主要有以下一些优点：图像的平移、旋转、仿射等变换在傅氏变换域中都有相应的体现；利用变换域的方法还有可能获得一定程度的抵抗噪声的鲁棒性；由于傅氏变换有成熟的快速算法和易于硬件实现，因而在算法实现上有其独特的优势。 相位相关技术是配准两幅图像平移失配的基本傅氏变换方法。相位相关依据的是傅氏变换的平移性质。给定两幅图像，它们之间的唯一区别是存在一个位移 ，即： （1412） 则它们之间的傅氏变换 满足下式： （1413） 它们之间的共扼傅氏变换 和 满足下式： （1414） 这就是说两幅图像有相同的傅氏变换幅度和不同的相位关系，而相位关系是由它们之间的平移直接决定的。两幅图像的交叉功率谱如下： （1415） 这里*为共扼运算，可以看出两幅图像的相位差就等于它们交叉功率谱的相位。对其进行傅立叶反变换会得到一个脉冲函数，它在其他各处几乎为零，只在平移的位置上不为零。这个位置就是要确定的配准位置。 旋转旋转在傅氏变换中是一个不变量。根据傅氏变换的旋转性质，旋转一幅图像，在频域相当于对其傅氏变换作相同的角度的旋转。两幅图像 之间的区别是一个平移量 和一个旋转量 ，它们的傅氏变换满足下式： （1416） 设 的幅度分别为： ，则有： （1417） 容易看出，两个频谱的幅度是一样的，只是有一个旋转关系。也就是说，这个旋转关系通过对其中一个频谱幅度进行旋转，用最优化方法寻找最匹配的旋转角度就可以确定。 编辑本段基于特征的图像配准方法共同之处基于特征的匹配方法的共同之处是首先要对待配准图像进行预处理，也就是图像分割和特征提取的过程，再利用提取得到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像之间的配准映射关系。由于图像中有很多种可以利用的特征，因而产生了多种基于特征的方法。常用到的图像特征有：特征点（包括角点、高曲率点等）直线段、边缘、轮廓、闭合区域、特征结构以及统计特征如矩不变量、重心等等。 点特征是配准中常用到的图像特征之一，其中主要应用的是图像中的角点，图像中的角点在计算机视觉模式识别以及图像配准领域都有非常广泛的应用。基于角点的图像配准的主要思路是首先在两幅图像中分别提取角点，再以不同的方法建立两幅图像中角点的相互关联，从而确立同名角点，最后以同名角点作为控制点，确定图像之间的配准变换。由于角点的提取已经有了相当多的方法可循，因此基于角点的方法最困难的问题就是怎样建立两幅图像之间同名点的关联。已报道的解决点匹配问题的方法包括松弛法、相对距离直方图聚集束检测法、Hausdorff距离及相关方法等等。这些方法都对检测到的角点要求比较苛刻，比如有求同样多的数目，简单的变换关系等等，因而不能适应普遍的配准应用。 提高匹配质量基于图像配准的原理、步骤和方法，以及如何确定图像配准的准则，知道影像匹配的速度、精度和可靠性是评价匹配质量好坏的三个重要指标。如何尽可能提高匹配质量、特别在精度和可靠性满足的前提下进一步提高影像匹配速度，一直是计算机视觉、模式识别等领域研究的课题。2图像融合目录定义优点层次编辑本段定义 QuickBird卫星遥感图片图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。 图像融合技术是指将多源信道所采集到的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成同一图像以供观察或进一步处理。 编辑本段优点高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强影像中信息透明度，改善解译的精度、可靠性以及使用