中南大学生物医学工程研究所 图像配准

图像配准中南大学生物医学工程研讨所图像配准的用途意义图像配准〔或图像匹配〕是评价两幅或多幅图像的类似性以确定同名点的过程。图像配准算法就是设法建立两幅图像之间的对应关系,确定相应几何变换参数,对两幅图像中的一幅进展几何变换的方法。图像配准是图像分析和处置的根本问题。它在航空影像自动制图、图像三维重构、计算机视觉、遥感交融、方式识别、医学图像处置、影像分析等领域都有重要运用。中南大学生物医学工程研讨所图像配准图像配准参考图像〔主图像〕待配准图像〔辅图像〕配准图像中南大学生物医学工程研讨所图像配准用词阐明各种图像配准的文献都会出现“配准、匹配、几何校正〞三个词，它们的含义比较类似。普通两幅图像之间用“配准〔register,registration〕〞；寻觅同名特征(点)的过程叫“匹配〔match,matching〕〞;根据主辅图像之间的几何变换关系，对辅图像进展逐像素处置变为配准图像的过程叫做“几何校正〔geometriccorrection〕〞。中南大学生物医学工程研讨所图像配准配准方法分类按照配准算法所利用的图像信息，可以分为基于区域的方法和基于特征的方法。基于区域的匹配主要是模板匹配和基于相位〔频率〕的匹配方法；基于特征的匹配包括基于特征点集的匹配和基于线特征〔图像中边缘信息〕的匹配算法。按自动化程度可以分为人工、半自动和全自动三种类型。中南大学生物医学工程研讨所图像配准模板匹配模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为5×5或7×7，然后经过相关函数的计算来找到它在搜索图中的坐标位置。设模板T放在搜索图S上平移，模板覆盖下的那块搜索图叫做子图Si,j，子图的中心点在S图中的坐标(i,j)，叫参考点。中南大学生物医学工程研讨所图像配准类似性测度用以下测度来衡量T和Si,j的类似程度：根据施瓦兹不等式，，并且在比值为常数时取极大值为1。但实践上两幅不同图像的P值介于0和1之间，很难到达理想值。根据阅历取某个阈值P0，假设P>P0，那么匹配胜利；P<P0，那么匹配失败。中南大学生物医学工程研讨所图像配准金字塔模板匹配为了加快搜索速度，很多影像匹配方法运用金字塔影像。对影像进展一次采样率为1/n(n=2,3)的重采样，即把影像的每n×n个像素变为一个像素，这样就得到一对长、宽都为原来1/n的影像，把它作为金字塔的第二层。再对第二层用同样方法进展一次采样率为1/n的重采样，又得到第三层〔顶层〕。原始影像作为金字塔影像的底层。中南大学生物医学工程研讨所图像配准金字塔影像匹配的步骤第一步：顶层的匹配，得到一个平移初始值。第二步：根据平移初始值乘以n得到第二层平移量初始值，在它m×m个像元的邻域内进展模板匹配。第三步：根据第二层匹配值乘以n得到第三层平移量初始值，再进展一次模板匹配。假设影像尺寸不是特别大，可以只用两层金字塔。中南大学生物医学工程研讨所图像配准基于特征的配准算法基于特征的算法(feature-basedmatching)先提取图像显著特征，再进展特征匹配，大大紧缩了图像信息的数据量，同时坚持了图像的位移、旋转、比例方面的特征，故在配准时计算量小，速度较快、鲁棒性好。当两幅图像之间的线性位置关系不明确时，应运用基于特征的匹配。普通来说特征匹配算法可分为四步:1.特征提取;2.特征描画;3.特征匹配；4.非特征像素之间的匹配。中南大学生物医学工程研讨所图像配准基于特征的配准步骤在特征匹配前，首先要从两幅图像中提取灰度变化明显的点、线等特征构成特征集。在两幅图像对应的特征集中利用特征匹配算法尽能够的将存在匹配关系的特征对选择出来。经过特征建立两幅图像之间的多项式变换关系，到达以点代面的效果。对于非特征像素点，利用上述多项式变换关系来进展几何校正，从而实现两幅图像之间逐像素的配准。中南大学生物医学工程研讨所图像配准人工匹配步骤1.人工选取控制点2.多项式匹配中南大学生物医学工程研讨所图像配准用遥感软件进展几何校正 遥感软件的几何校正功能是利用地面控制点(GroundControlPoint,GCP)进展的几何校正，它通常用多项式来近似描画遥感图像的几何畸变过程，并利用控制点求得这个几何畸变模型，然后利用此模型进展几何校正，这种校正不思索畸变的详细缘由，而只思索如何利用畸变模型来校正图像。

中南大学生物医学工程研讨所图像配准校正步骤几何精校正普通可分为以下四个步骤：

1.建立原始图像与校正后图像的坐标系。

2.确定控制点对。

3.选择畸变数学模型，比如一次、二次、三次多项式。

4.几何校正的精度分析。

中南大学生物医学工程研讨所图像配准中南大学生物医学工程研讨所图像配准半自动匹配1.用户先把主辅图像进展预处置，先进展重采样、旋转、去除噪声等，使两幅影像的分辨率、角度等根本一致后，再进展配准。2.用户先指定三个控制点，程序根据三个控制点算出主辅图像旋转、平移和尺度差别，再用金字塔模板匹配方法进展配准。中南大学生物医学工程研讨所图像配准全自动匹配不需求用户事先提供任何信息，单纯根据两幅图像本身的信息进展匹配计算。由于主辅图像之间存在旋转、平移和尺度差别，如何找到初始定位信息是其难点。方法多种多样。包括直方图匹配、Hu不变矩、金字塔模板匹配、小波Gabor算子、基于空间变换的方法等。将在后面特征点匹配部分讲述。中南大学生物医学工程研讨所图像配准基于TIN的图像配准算法流程中南大学生物医学工程研讨所图像配准特征类型灰度特征点。Moravec算子、Forstner算子与Hannah算子。角点。SUSAN算子,Harris算子，王算子，沈俊算子。边缘特征〔线型〕。Canny算子,Marr算子。纹理特征。灰度共生矩阵，小波Gabor算子。中南大学生物医学工程研讨所图像配准Moravec算子Moravec算子是利用灰度方差提取特征点的算子，它在四个主要方向上，选择具有最大-最小灰度方差的点作为特征点。其步骤为：1计算各像元的兴趣值〔InterestValue〕。在以像素为中心w×w的影像窗口中〔如5×5的窗口〕，计算图中所示四个方向相邻像素灰度差的平方和：中南大学生物医学工程研讨所图像配准Moravec算子取其中最小者作为该像素的兴趣值：V=min{V1，V2，V3，V4}中南大学生物医学工程研讨所图像配准给定一阅历阈值，将兴趣值大于该阈值的点〔即窗口的中心点〕作为候选点。阈值的选择应以候选点中包括所需求的主要特征点而又不含过多的非特征点为原那么。取候选点中的极值点作为特征点。在一定大小的窗口内,将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为一个特征点。假设两个特征点之间的间隔过短，那么去掉其中一个。否那么，在影像校正时，三角形边长过短将使解算出来的仿射变换参数出现错误。中南大学生物医学工程研讨所图像配准角点提取-SUSAN算子SUSAN算法是由英国牛津大学的S.M.Smith,J.M.Brady首先提出的,它主要是用来计算图像中的角点特征的。SUSAN算法的特点:1.对角点的检测比对边缘检测的效果要好,适用于基于角点匹配的图像配准;2.无需梯度运算,保证了算法的效率;3.具有积分特性(在一个模板内计算SUSAN面积),这样就使得SUSAN算法在抗噪和计算速度方面有较大的改良。中南大学生物医学工程研讨所图像配准SUSAN算法用一个一定半径的圆模板放置在图像上〔如图〕。假设模板上存在一区域，使该区域上对应图像的每一像素处的灰度值与圆心的灰度值一样〔或相近〕，那么就定义该区域为核值类似区，即USAN，其中像素的个数定义为这个模板的面积。中南大学生物医学工程研讨所图像配准中南大学生物医学工程研讨所图像配准SUSAN算法的根本原理图像上每一点都有一个临近的具有类似灰度值的部分区域是SUSAN算法的根底。这个部分区域或USAN包含了许多关于图像构造的信息。SUSAN算法的根本原理是：在每个像素挪动一个小的圆形模板以检测部分信息，并利用预先设定的亮度阈值比较模板核及其周围像素的亮度值，亮度值一样或相近的为一个USAN，最后经过面积最小的USAN检测角点。中南大学生物医学工程研讨所图像配准边缘特征提取“基于TIN的多源影像几何配准〞没有运用边缘提取算子，所以这里不引见其算法。〔a〕原图〔b〕Marr算子结果〔c〕Canny算子结果中南大学生物医学工程研讨所图像配准纹理特征纹理是用来识别目的的重要方法，它是图像中一个很重要而又难以描画的特性，至今还没有公认的定义。有些图像在部分区域内呈现不规那么性，而在整体上表现出某种规律性。习惯上把这种部分不规那么而宏观有规律的特性称之为纹理。以纹理特性为主导的图像，常称为纹理图像，如木材纹理、皮肤纹理、织物纹理等。经过对物体纹理特征的提取，可以对图像进展分类、配准等操作。中南大学生物医学工程研讨所图像配准部分不规律，整体具有一定规律性的特性。根本单元的反复性粗糙性方向性中南大学生物医学工程研讨所图像配准提取纹理特征的方法灰度共生矩阵。基于小波的Gabor算子。中南大学生物医学工程研讨所图像配准直方图匹配中南大学生物医学工程研讨所图像配准Hu不变矩1962年Hute提出Hu不变矩，它对于匹配影像之间的平移、旋转和大小尺度变化具有自顺应性，但它只适用于类似变换，不适于仿射变换。Hu最初用以下7个不变矩公式来描画目的特征:中南大学生物医学工程研讨所图像配准但实践上大部分文献都采用6个无量纲、消误差的组合不变矩：中南大学生物医学工程研讨所图像配准点方式匹配方式识别中的点方式匹配，运用特征点集中点与点之间的位置关系进展匹配，较少〔或没有〕利用图像灰度、纹理和边缘信息，所以它对图像之间的旋转、灰度、纹理、分辨率等差别不敏感，可以匹配不同传感器的图像，且能进展图像之间的全自动配准。匹配两个特征点集的本质是找到它们的同构子集。要用到较多的数学知识。中南大学生物医学工程研讨所图像配准点方式匹配PengyuHong等用图论的方法，把两点集看作两个无向图，然后提取它们的同构子图，但其算法复杂，只能用于匹配简单图片〔如商标〕，对于复杂图片计算量过大。罗纲等以传统的Umeyama点集相关度量为根底,结合Procrustes正规化方法,经过引入加权矩阵得到新的相关度量函数,处理了传统方法要求点集维数一样的缺陷，经过迭代运算,可对存在几何失真,且维数不同的两点集进展准确配准，但计算量较大。中南大学生物医学工程研讨所图像配准张立华等将待匹配的两个二维点集分别转化成为一个n维空间中的向量,对这两个向量中的各元素进展简单的排序来处理点集匹配问题。田原等经过建立一种图像点集间间隔的描画方法，提出基于点集不变性匹配的目的检测与识别方法。舒丽霞等用Hausdorff间隔对两特征点集进展匹配,得到点集间的仿射变换关系。孙焘等对主辅图像的特征点集分别进展Whitening变换,将点集间的普通仿射变换问题转换为刚性变换问题。中南大学生物医学工程研讨所图像配准桑农等以四元组替代点对进展点特征松弛匹配算法，提出了基于点特征的具有旋转与比例不变松弛匹配算法，但是该算法在匹配迭代过程中必需对一切实时图中的点特征进展一次比例与旋转变换,这在一定程度上影响了匹配速度。陈志刚等以六元组为根底构建三角形,利用三角形在平移、比例放大和旋转变换后与原三角形类似的特性将其引入到根本点特征松弛匹配算法中,提出一种比例与旋转不变点特征松弛匹配算法。中南大学生物医学工程研讨所图像配准不规那么三角网不规那么三角网〔triangulatedirregularnetwork，TIN)在地形图的制造中被广泛运用。绘制等高线时，先用丈量点构造TIN，然后再根据TIN内插等高线。中南大学生物医学工程研讨所图像配准不规那么三角网TIN的优点：能真实反映地形变化，相比grid，数据量很小。在地形变化较大、特征点多的区域，三角网密集，能很好地反映地形变化；而在开阔、平坦的区域，特征点少，三角网稀疏，不会呵斥大量的冗余数据，也不会无谓地添加计算量。TIN用于图像配准时，同样具有这一优点。中南大学生物医学工程研讨所图像配准Delaunay三角网Delaunay三角网经常被用于TIN的生成。Delaunay三角网为相互邻接且互不重叠的三角形的集合，每一三角形的外接圆内不包含其它的点。中南大学生物医学工程研讨所图像配准构TIN的根本原那么TIN是独一的。即对于同样的点集，所构三角网应该只需一种；力求最正确的三角形几何外形，每个三角形尽量接近等边外形；保证最临近的点构成三角形，即三角形的边长之和最小。中南大学生物医学工程研讨所图像配准小面元微分校正法在主辅图像中用匹配好的特征点集构造TIN。可以看作三角网把从影像微分成很多微小的面元，每个三角形就是一个很小的面元，在这个面元内，可以只思索影像的一次形变。以从影像中的各个三角形为单位，对三角形内各个点进展几何校正，从而对整幅从影像进展校正。这种几何校正方法叫做小面元微分校正法。对于山区遥感影像，多项式校正方法的精度不够，必需采用小面元微分校正的方法，其几何校正误差可以控制在0.3个像素以内。中南大学生物医学工程研讨所图像配准小面元微分校正法步骤下面以影像中任一三角形W为例阐明影像几何校正的原理。辅影像中三角形W的三个角点为a,b,c，它们在主影像中对应的点为A,B,C,它们的坐标分别为，。把W看作小面元，那么有仿射变换：中南大学生物医学工程研讨所图像配准其中是仿射变换参数。把，代入方程可以得到仿射变换参数。先根据主影像大小生成一幅和主影像坐标一致的配准影像，由于还没有输入任何值，所以是空白影像。配准影像中三角形W内任何一个像素，都可以经过方程组解算出它在辅影像中对应的的同名点像素坐标(行列值)。同名点坐标是小数，必需经过插值计算，得到配准点DN值。中南大学生物医学工程研讨所图像配准插值方法最临近法立方卷积法双线性法双线性插值法公式如下：中南大学生物医学工程研讨所图像配准查找三角形内各像素点计算量较大，本文作者经过实验发现，用三角形外接矩形内一切像素点替代三角形内像素点进展计算，可使计算速度提高4倍左右，而校正效果相差不大。中南大学生物医学工程研讨所图像配准实验主图像为2002年7月9日武汉市ETM+图像的第4波段(近红外波段，分辨率28.5m，大小5000×4000)，辅图像为1978年10月16日的MSS-5(红光波段，分辨率57m，大小3550×3880)，两幅图像的颜色反差很大〔如图〕。中南大学生物医学工程研讨所图像配准MODIS影像的小面元校正EOS/MODIS卫星接纳系统提供的1B级影像中,图像信息和经纬度信息是分别的,而且经线、纬线呈不规那么的曲线。要运用这些数据,通常要先设法把每点的经纬度信息经过投影计算，转换到用户所需的坐标系统中。借助遥感软件进展几何校正，处置过程中需求多次人机交互,因此处置人员必需在计算机前守候,浪费大量的时间。用IDL(InteractiveDataLanguage)言语开发了一个基于三角网的小面元几何校正程序,它具备批处置功能,处置过程中不需人工干涉,而且用户可以自定义处置范围和波段，使MODIS数据预处置变得非常方便。中南大学生物医学工程研讨所图像配准MODIS校正前后的影像纬度经度原始影像校正影像中南大学生物医学工程研讨所图像配准中南大学生物医学工程研讨所图像配准基于三角网的