第4章 数字图像处理

第四章遥感图象数字处理地物的光谱特性一般是以图像的形式记录下来，同样，高光谱遥感成像光谱仪根据地物对电磁波的反射强度以不同的亮度表示在遥感图像上。首先介绍数字图像处理基础，然后分别介绍遥感影像匹配，影像镶嵌和影像融合。一、图像的表现形式二、遥感数字影像的类型三、在频率域的表示图像四、遥感数字图象的存储五、遥感影像色彩表示4.1数字图像基础知识一、图像的表现形式遥感传感器记录电磁波的形式有两种：一是以胶片或其他光学成像载体的形式；另一种是以数字形式记录下来，也就是光学图像和数字图像的方式的。1)光学图象连续的光密度函数.像片上的密度随坐标X,Y的变化而变化.我们用连续变化的函数来表示.光学图像、照片以及人的眼睛看到的一切景物，都是模拟图像，这类图像无法直接用计算机处理。2)数字图象为了使图像能在电子计算机中作处理运算，必须将模拟图像转化为离散数字所表示的图像，即所谓的数字图像。是一个二维离散的光密度函数,相对于光学图象,它在空间坐标(X,Y)和密度上都离散化。光学图像与数字图像的转化：将模拟图像转化为数字图像的过程称为图像数字化。这一过程是图像处理技术的基础，一般图像数字化包括下列两个步骤：采样和量化将二维空间图像上的连续亮度住处（即灰度）转化成离散的抽样点（即象素点）二、遥感数字影像的类型遥感数字影像按灰度值可分为二值数字图像和多值数字图像两个类型。（1）二值数字图像：图像中每个像素灰度由0或1构成，在计算机屏幕上表示为黑白图像。（2）多值数字图像：图像中每个像素灰度值由0～15或0～31或0～63或0～255构成。0表示黑，15或31或63,255等表示白，其他值居中渐变。遥感数字图像按波段量可分为单波段、彩色或多波段数字图像。(1)单波段数字图像是指在某一个波段范围内工作的传感器获得的遥感数字图像。例如，spot卫星提供的10m分辨率全色波段图像，每景图像为6000行×6000列的数组，每个像素采用1字节记录地物亮度值。数据显示为黑白或某一颜色。(2)彩色数字图像是由红、绿、蓝三个数字层构成的图像。在每个数字层中，每个像素用1字节记录地物的亮度值，数值范围一般介于0～255。每个数字层的行、列数取决于图像尺寸和数字化过程采用的光学分辨率,三层数据共同显示即为彩色图像。(3)多波段数字图像：是指利用多波段传感器对同一地区、同一时间获取的不同波段范围的数字图像，例如TM图像包含7个波段的数据，法国SPOT-5卫星的HRV传感器包括了5个波段的数据，中巴资源卫星CBERS的CCD相机包含了5个波段的数据。图像数字化后描述形式备注二值图像f（X，Y）=1或0文字、线条图、指纹等黑白图像0≤f（X，Y）≤2n-1黑白图像，一般n=6~8彩色图像|fi（X，Y）|i=R，G，B以三基色表示的彩色图像光谱图像|fi（X，Y）|i=1，2…m遥感图像，m=6~8或更大立体图像fl（X，Y），fr（X，Y）左右视点得到同物体的图像对动态图像|ft（X，Y）|t=t1，t2…tr.动态图像，动画制做等三、在频率域的表示图像空间域来表示图象的时候,它是空间坐标的函数,用频率域的形式表达时,图象是频率坐标的函数,通常用傅立叶变换实现空间域变入频率域,反之采用傅立叶逆变换.二维离散傅立叶变换为：四、遥感数字图象的存储存储介质：磁带,磁盘,光盘多波段数字图象的存储类型：（1）BSQ（bandsequential）格式BSQ格式是按波段顺序依次排列的数据格式，数据排列遵循以下规律：第一波段位居第一，第二波段位居第二，第n波段位居第n位。在每个波段中，数据依据行号顺序依次排列，每一列内，数据按像素顺序排列。BSQ格式包括四种文件类型：目录文件、图像属性文件、影像数据文件和尾部文件。目录文件说明了文件内容、记录范围等信息；图像属性文件记录了航天器信息、成像时间，WRS(WorldReferenceSystem)信息、描述卫星图像的模拟数据以及投影信息等；影像数据文件是遥感CCT的核心文件；尾部文件包含了图像数据进行增强处理时所需要的一些基础数据，如大气散射校正的基值等。BSQ格式是记录图像最常用的格式，单独提取波段也十分容易。（2）BIL(BandInterleavedByLine)格式BIL格式是逐行按波段次序排列，数据排列遵循以下规律：第一波段第一行第一个像素位居第一，第一波段第一行第二个像素位居第二，依次类推，第一波段第一行第n个像素位居第n位；然后第二波段第一行第一个像素位居n+1位，第二波段第一行第二个像素位居n+2位；其余数据排列位置依次类推。（3）BIP(BandInterleavedByPixel)格式BIP数据格式，每个像元按波段次序交叉排序。数据排序遵循以下规律：第一波段第一行第一像素位居第一，第二波段第一行第一个像素位居第二，依次类推，第n波段第一行第一个像素位居第n位；然后第一波段第二个像素，位居第n+1位，第二波段第一行第二个像素位居第n+2位；其余数据排列依次类推。除了遥感专用的数字图像格式之外，还有其他类型的常用影像文件存储格式TIFF，HDF等。TIFF文件由文件头、参数指针表与参数域、参数数据表和图像数据组成。ASTER密切相关的HDF格式五、遥感影像色彩表示（1）遥感影像RGB彩色模型：是基于笛卡尔坐标系统的，三个轴分别为R,G,B。感兴趣区域是正方体，原点对应黑色，离原点最远的顶点对应白色。在这个模型中，从黑到白的灰度值分布在从原点到离原点最远顶点间的连线上，立方体内其余各点对应不同的颜色，可用从原点到该点的矢量表示，将立方体归一化为单位立方体，R、G、B值都在区间[0,1]中。根据这个模型，每幅彩色影像包括3个独立的基色平面，或者说可以分解到3个平面上，反过来如果一幅影像可以被表示为3个平面，使用这个模型比较方便，在处理多频谱的遥感影像时常采用RGB模型。（2）HIS色彩模型就人眼视觉感受而言，各种颜色从其波长不同来相互区分是不完全的，还应该同时采用色调(Hue）、色饱和度(Saturation)和亮度(Iniensity)三个量。色调是用来反映颜色的类别，决定于彩色光的光谱成分，是彩色光在“质”方面的特征；色饱和度是某种彩色光纯度的反映，即彩色的浓淡，决定于彩色光中混入白光的数量。亮度决定于彩色光的强度，也可以理解为彩色光引起视觉刺激的程度，是彩色光在量方面的特征。色调和色饱和度合称色度，色度既说明了彩色光的类别，又说明了颜色带深浅程度。（3）CMY色彩模型CMY（青、品红、黄）模型，青、品、黄是光的二次色，它们是颜料的原色。一、配准的定义二、图像变换的数学模型三、配准的步骤四、图像特征的提取五、图像匹配实例4.2影像配准定义：图像配准是图像处理的一个基本问题，用于将不同时间、不同传感器、不同视角及不同拍摄条件下获取的两幅或多幅图像进行匹配，其最终目的在于建立两幅图像之间的对应关系，确定一幅图像与另一幅图像的几何变换关系式，用以纠正图像的形变。分为相对配准与绝对配准一、配准的定义配准可以定义为图像在位置坐标和亮度上的映射。定义两幅图像分别为，则配准映射关系可以表示为：其中f为二维空间坐标变换，如投影变换、仿射变换、多项式变换等，g为一维亮度变换。二、图像变换的数学模型待配准图像间的空间坐标变换f也称为图像的几何变换。图像的几何变换通常可用一个变换模型代表，典型的变换运算有平移、旋转、缩放等。常用的主要变换有刚体变换、仿射变换、投影变换和多项式变换。一般情况下在一般情况下，遥感影像的地面起伏与拍摄高度相比可忽略不计，此时仿射变换已足以表达影像间的变换关系。但由于一些高分辨率的影像间存在由缓和的地形起伏引起的变形，需要使用二次甚至三次多项式来作为变换函数。配准的步骤包括四个组合：特征空间、相似度测度、搜索空间及搜索策略。（1）特征空间：提取用于配准的图像信息，比如边界、轮廓、表面；或是显著特征点如角点，交叉点等；也可以是统计特征等。特征空间代表了参与匹配操作的数据，特征空间必须凸显图像信息本身所具有的特性，以达到相同图像信息的高相似性和不同图像信息的大差异性。三、配准的步骤（2）相似度测量：用于评估从搜索空间中获得的一个给定的变换所定义的输入数据与参考数据之间的匹配程度。典型的相似性度量有灰度相关、相位相关、欧式距离、马氏距离、街区距离、Housdorff距离等（3）搜索空间：输入特征与参考特征之间建立的对应关系的可能的变换集合。例如，若图像之间只存在平移，则由水平和垂直方向组成二维搜索空间；若还存在旋转，则搜索空间须加上角度参数，若还存在缩放，则还须加上比例因子。（4）搜索策略：在相似性测度下达到最佳匹配的计算方式。常用的搜索算法有穷尽搜索、层次性搜索、序贯判决、松驰算法、线性规划、动态规划、启发性搜索等。在很大的程度上，搜索策略的选择取决于搜索空间的特性。具体操作步骤：设计配准算法时，首先根据实际的应用背景，确定图像的景象类型和成像畸变范围，以此确定应该采用的特征空间和搜索空间，然后通过搜索算法找到使相似性度量值最大的最优变换参数。绝对差值法：用模块在搜索图像的搜索区内逐个像元地移动并运用下式进行计算在搜索区内，使d(m,n)为最小值的坐标位置（m,n）就是Ti和Si匹配最好的位置T1T2T3S1S2S3参考图像搜索图像四、图像特征的提取在图像配准方法中，基于特征的图像配准方法不是直接利用图像像素值，而是通过像素值以不同形式推导形成的符号特征（特征点，特征线段等）来实现图像匹配。所以特征提取是基于特征的图像配准方法的关键，而特征匹配是图像配准过程中的重点和难点。特征提取可分为提取线特征、面特征和点特征。线特征是图像中明显的线段特征，如道路、物体的轮廓线等。面特征是指利用图像中明显的区域信息作为特征。如湖面区域、草地、空旷地面等。点特征是指在一幅图像内灰度在水平和垂直方向都有显著变化的一类特殊点，如角点、封闭区域的重心，拐点等。特征匹配可在这三种方式下采用不同的方法匹配，但多数情况下无论是线特征还是面特征最终也要转化为点特征。基于图像特征点的配准方法的优点主要体现在三个方面：（1）特征点比图像的像素点要少很多，因此大大减少匹配过程的计算量；（2）特征点是图像的局部特征，其对灰度变化、图像变形和遮挡等都有较好的适应能力（3）特征点的匹配度量值对特征向量幅值变化比较敏感，可以大大提高匹配的精确程度因此，基于图像特征点的配准方法在图像配准领域得到了广泛应用。1、边缘特征检测算法边缘无疑是图像中最显著和直观的特征，它存在于图像的目标区域和背景之间，对应着图像中更抽象的信息和匹配时比区域匹配更少的计算量。图像的边缘主要表现为图像局部特征的不连续性，是图像中灰度变换比较剧烈的地方。图像的边缘划分为阶跃状和屋顶状。在数学上可以利用灰度的导数来描述边缘点的变化，对阶跃状边缘、屋顶状边缘分别求其一阶、二阶导数。目前，用于边缘检测的算子有很多，如Roberts算子、Sobel算子、Prewitt算子是比较常用的方法，下面将逐一介绍上述的边缘特征提取方法。（1）Roberts边缘检测算子采用对角线方向相邻两像素之差进行梯度幅度检测，其检测水平、垂直方向边缘检测性能要好于斜线方向边缘，并且检测定位精度比较高，但对噪声敏感。（2）Sobel边缘检测算子（3）Prewitt边缘检测算子是一种类似Sobel边缘检测算子的边缘模板算子，通过对图像进行八个方向的边缘检测，将其中方向响应最大的作为边缘幅度图像的边缘。Canny算子对一幅图像进行边缘检测，一般可分为步骤包括：1、消除噪声的滤波；2、梯度幅度和方向计算；3、梯度幅值进行非极大值；4、用双阈值算法检测和连接边缘。前几种算子都对噪声非常敏感，对于信噪比低的图像，处理效果不是很好，而Canny算子在图像去噪和边缘细节保留上取得了较好的平衡。（4）Canny边缘检测算子提取“好”的特征点是图像匹配关键的一步。最简单的配准方法即人工选取图像上一系列同名特征点对，带入多项式以得到图像的转换参数。人工选点的方法具有错误率低，灵活性高，适应性好的特点，但在大量数据处理的应用中要耗费巨大的人力。因此选择自动选择特征点对。2、点特征检测算法常用的点特征提取方法有两种：（1）角点检测法角点也是一种常用的图像特征点。基于灰度的角点检测方法考虑像素点邻域的灰度变化，通过计算点的曲率及梯度检测角点。（2）兴趣算子法。兴趣点是指相对于其邻域表现出某种奇异性的像素点，它们容易提取，对信号噪声、数据获取时的参数变化和图像变换等具有较好的鲁棒性。五、图像匹配实例DavidG.Lowe在2004年总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT算子，其全称是ScaleInvariantFeatureTransform，即尺度不变特征变换。参考图像待匹配图像在两幅图像上分别提取SIFT特征点提取出两幅图像正确的匹配点对54对由匹配点对，由ransac算法计算得到的第二幅图像相对于第一幅图像的变换矩阵M，按照投影变换模型，将待配准图像映射到参考图像的投影平面。变换后的点坐标往往不在整数坐标处，即位于四个输入像素之间，造成了配准后的图像有空洞的情况。采用插值技术来避免这一现象，常用的插值方法有：最临近插值法、双线性插值和三次卷积插值法。一、镶嵌的定义二、影像镶嵌的内容三、影像色彩均衡化实现四、重叠区的亮度镶嵌五、图像镶嵌实例4.3影像镶嵌一、影像镶嵌的定义遥感影像的镶嵌（Mosaic）产生于实践的需要：一是受不同卫星传感器功能和卫星运行轨道的限制，一幅卫星影像所覆盖的范围是有一定限度的；二是针对于收集影像困难的地区（主要是天气阴雨多云或者卫星过境的不连续）。两幅图像的镶嵌要求待镶嵌的影像具有相同的地理参考坐标：在实际应用过程中，通常需要将好多种不同分辨率、不同卫星的影像拼接在一起，将多个具有重叠部分的图像制作成一个没有重叠的新图像影像镶嵌要求待镶嵌的影像具有地理参考，即必须是经过几何粗校正的影像，规划到统一的坐标系中。主要分为拼接成图和色调调整处理两大部分。拼接成图是将多幅影像从几何上拼接起来,对它们进行裁剪,去掉重叠的部分,再将裁剪后的多幅影像装配在一起。二、影像镶嵌的内容一般情况下，镶嵌都是在相同分辨率的影像之间进行，面临的问题只有色彩均衡；而不同分辨率、不同卫星影像镶嵌，面临两个问题，即分辨率变小和色彩差异问题，往往是两者不能同时兼顾。通常要对分辨率进行选定，根据实际情况指定匹配的分辨率，或指定重叠区的某个分辨率来进行。三、影像色彩均衡化实现不同传感器、不同时间拍摄的多幅遥感影像，由于曝光参数、成像日期、系统处理条件的差异，存在辐射水平差异导致的同名地物在相邻图像上的亮度值不一致，这样的影像如不进行色调调整就直接镶嵌，镶嵌后的影像看起来显得似补丁状，显示出明显的拼接线，色彩混乱。导致这一问题的主要原因是色调不均匀引起的，为了获得色彩一致的镶嵌影像，在镶嵌前必须对待镶嵌影像进行色彩均衡处理。遵循的原则：一是选择用于相邻两幅影像的色调匹配。调整的区域要尽可能大，无论哪种方法调整色调，都要首先要在相邻图像上选择一个通体的区域，利用该区域内同名地物的灰度建立色调匹配方程，为了使方程更具有代表性和普遍性，所以要利用尽可能大的图像区域来建立方程；二是选择有代表性的区域用于色调匹配。在遥感影像上有时会有云和各种噪声，在选择匹配区域时要避开这些区域，否则会对匹配方程产生影响，从而降低色调的精度；图像色调匹配，以一幅影像为基准，用上述方法建立的色调匹配方程对另一幅影像的整个区域进行色调变换，实现对镶嵌色调的调整。色调均衡的方法常用的影像色调平衡方法都是以相邻影像的重叠区域为基础,通过各种平滑过渡来消除人为的假边缘和拼接缝。主要有基于影像直方图、基于影像信息熵、基于相邻影像方差、均值的色调调整方法。介绍三种色调均衡的方法：（1）直方图规定直方图规定是指将一幅图像通过灰度变换后，使其具有特定的直方图形式，即使图像某一标准图像具有相同的直方图或使图像具有某一特定函数形式的直方图。步骤：在相邻图像之间进行直方图匹配，以某一景影像的像元灰度的均值和方差为参考标准，变换另一景影像像元的灰度值，使它的均值和方差与参考影像的均值和方差接近，当相邻影像色调差异太大时，一次性色调匹配往往不能达到目的，需要进行多次的、递推式的调整，才能取得比较满意的色调匹配效果。通过色调匹配可以在镶嵌多幅遥感影像时，消除各幅影像间的色调和亮度差异从而成为无缝隙数据图像。（2）直方图均衡化处理直方图均衡化叫处理的中心思想是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。直方图均衡化最终产生的效果：一是各灰度级出现的频率近似相等；二是原图像上频率小的灰度级被合