遥感图像处理图像融合

背景随着遥感技术的发展，越来越多的不同类型遥感器被用于对地观测。这些多遥感器、多时相、多分辨率、多波段的遥感图像数据，各自显示了自身的优势和局限。为了更充分运用这些数据资源，数字融合技术应运而生。第1页/共81页第一页，共82页。内容提纲概述遥感数据融合方法介绍遥感与非遥感数据融合方法介绍融合质量评估第2页/共81页第二页，共82页。1、概述第3页/共81页第三页，共82页。定义数据融合(Fusion,Merge)指同一区域内遥感数据之间或遥感数据与非遥感数据之间的匹配融合。多种遥感数据源信息融合是指利用多种对地观测技术所获取的关于同一地物的不同遥感数据，通过一定的数据处理技术提取各遥感数据源的有用信息，最后将其融合到统一的空间坐标系(图像或特征空间)中进行综合判读或进一步的解析处理。

图像融合是一个对多遥感器的图像数据和其他信息的处理过程。着重于把那些在空间和时间上冗余或互补的多源数据，按照一定的规则进行运算处理，获得比任何一种数据更精确、更丰富的信息，生成一幅具有新的空间、波谱、时间特征的合成图像。第4页/共81页第四页，共82页。数据融合的发展数据融合的概念始于70年代。进入20世纪90年代以后，随着多种遥感卫星的发射成功，从不同遥感平台获得的不同空间分辨率和时间分辨率的遥感影像形成了多级分辨率的影像金字塔序列，给遥感用户提供了从粗到精、从多光谱到高光谱的多种遥感数据源。融合的发展在一定程度上解决了多种数据源综合分析的问题。第5页/共81页第五页，共82页。数据融合的发展起初是进行同种遥感数据多波段、多时相的数据融合，以提高遥感解译能力和进行动态分析。后来发展到不同类型遥感数据的融合，如陆地卫星与气象卫星、陆地卫星MSS与航天飞机成象雷达SIR－A、陆地卫星MSS与海洋卫星侧视雷达SAR，以及陆地卫星MSS与RBV等，以扩大应用范围，提高分析精度，获得更好的遥感应用效果。与此同时，人们越来越感到由于遥感本身以及实际应用中的局限性，要真正认识事物，并非遥感独家所能完成。它需要其它学科的支持，只有遥感与非遥感数据的融合，如与气象、水文数据，与重力、磁力等地球物理增息，与地球化学勘探数据，与专题地图数据，以及与数字地形模型（DTM）等数据融合，进行综合分析，才能更好地发挥作用。第6页/共81页第六页，共82页。数据融合的目标空间分辨率的提高目标特征增强提高分类精度信息互补第7页/共81页第七页，共82页。概述-图像融合的流程精确几何配准几何纠正全色几何纠正ZYaZYbZYc图像融合融合结果评价及利用预处理融合处理应用遥感图像融合流程图第8页/共81页第八页，共82页。概述-图像融合的层次像素级特征级决策级对数据的抽象程度第9页/共81页第九页，共82页。概述-图像融合的层次……图像融合的三级处理过程Image1Image2ImagenImage3图像几何纠正与精确配准像素级融合特征提取特征提取特征级融合决策级融合特征属性说明高层态势评估决策第10页/共81页第十页，共82页。概述-图像融合的层次像元级 线性加权法、IHS变换、PCA变换、高通滤波法、小波变换融合算法等。特征级

Dempster-shafer推理法；聚类分析法；贝叶斯估计法；熵法；带权平均法；表决法及神经网络法等。决策级贝叶斯估计法；专家系统；神经网络法；模糊集理论；可靠性理论以及逻辑模板法等。

第11页/共81页第十一页，共82页。数据融合的技术关键充分认识研究对象的地学规律。充分了解每种融合数据的特点和适用性。充分考虑到不同遥感数据之间波谱数据的相关性引起的有用数据的增加以及噪声误差的增加，因此对多种遥感数据作出合理的选择。几何配准，即解决遥感图像的几何畸变，解决空间配准问题。

只有对地学规律、影象特征、成象机理这三者有深刻的认识，并把它们有机地结合起来，数据融合才能达到更好地效果。第12页/共81页第十二页，共82页。2、遥感数据融合方法介绍第13页/共81页第十三页，共82页。遥感数据融合

遥感数据的融合主要指不同传感器的遥感数据的融合，以及不同时相的遥感数据的融合。融合方式的确定应根据目标空间分布、光谱反射特性及时相规律方面的特征选择不同的遥感图像数据，它们在空间分辨率、光谱分辨率和时间分辨率方面相互补充，以形成一个更有利的识别环境，来识别所要识别的目标或类型。第14页/共81页第十四页，共82页。遥感数据融合预处理影像配准是数据融合处理中的关键步骤，其几何配准精度直接影响融合影像的质量。通常情况下，不同类型的传感器影像之间融合时，由于它们成像方式的不同，则其系统误差类型也不同。如SPOT与TM数据融合时，SPOT的传感器是以CCD推帚式扫描成像的，而TM则是通过光机扫描方式成像的，因而不同类型影像进行融合时必须经过严密的几何校正，分别在不同数据源的影像上选取控制点，用双线性内插或三次卷积内插运算对分辨率较低的图像进行重采样，改正其误差，将影像投影到同一的地面坐标系统上，为图像配准奠定基础。第15页/共81页第十五页，共82页。像素级图像融合像素级融合是最低层次的图像融合，它将经过高精度图像配准后的多源影像数据按照一定的融合原则，进行像素的合成，生成一幅新的影像。融合的目的在于提高图像质量，提供良好的地物细节信息，直接服务于目视解译，自动分类。高空间分辨率的全色影像和高光谱分辨率的高光谱影像的像素级融合影像一般具有以下性质（Wald,1997）：融合影像空间特性应当和高空间分辨率的影像尽可能保持一致；融合影像的光谱特性应当和多光谱影像尽可能保持一致；融合影像的空间分辨率被降解到低分辨率时，必须和原来的影像保持一致。第16页/共81页第十六页，共82页。像素级数据融合的发展历程早期：代数运算法、彩色空间法等，以图像视觉增强为主要目的转变期：以高通滤波方法的出现为标志，开始注重数据融合的光谱保持能力当前：依赖先进的数学工具，在信号分析的基础上，进一步强调光谱保持能力第17页/共81页第十七页，共82页。当前像素级数据融合的研究特点研究工具：新的数学理论和计算智能理论研究手段：对已有方法进行组合、集成研究目标：以光谱信息提取为目标第18页/共81页第十八页，共82页。遥感数据常用的像素级融合方法代数法基于彩色空间变换的影像融合法基于主成分分析的影像融合法基于高通滤波影像融合法基于小波变换影像融合法基于小波的HIS影像融合第19页/共81页第十九页，共82页。代数法将低空间分辨率图像重采样成高空间分辨率图像传感器1影像数据传感器2影像数据空间配准

对应像素代数运算

融合影像数据常用代数法：（1）相乘：适用于SAR影像与光学影像；（2）相关系数加权法：适用于全色影像与多光谱影像。第20页/共81页第二十页，共82页。代数法-相关系数加权法以SPOT全色影像与TM多光谱影像融合为例；融合步骤：（1）对SPOT全色影像与TM多光谱影像进行图像配准；将多光谱影像进行重采样，使其大小和全色波段影像一致；（2）计算多光谱影像各波段与全色影像的相关系数：（3）按下式将全色波段图像的信息融合到多光谱图像各波段中第21页/共81页第二十一页，共82页。分量替换融合法多光谱数据LMS全色数据HRP正变换空间分量LRS光谱分量TC融合图像HMS逆变换空间分量HRS第22页/共81页第二十二页，共82页。基于彩色空间变换的影像融合方法-彩色变换遥感图像融合方法的关键技术之一是彩色变换，下面首先简单介绍彩色变换。彩色变换又称为彩色编码，所谓彩色变换即为两种彩色模型编码系统之间的变换。彩色模型指的是某个三维彩色空间的一个可见光子集。它包含某个彩色域的所有彩色，彩色模型的用途是在某个彩色域内方便地指定彩色。由于任何一个彩色都只是可见光的子集，所以任何一个彩色模型都无法包含所有的可见光。第23页/共81页第二十三页，共82页。基于彩色空间变换的影像融合方法-IHS彩色变换从色度学可知，颜色可用三基色来表示，例如，用红、绿、蓝所含成分的多少来表示颜色（即RGB系统）。颜色RGB编码具有方法简单，便于彩色显示和彩色扫描的优点。因此目前常用于彩色显示器和彩色扫描仪上。同样，颜色也可用色品度方式来表示，IHS系统是常用的一种色品度表示颜色的方式。其中:强度I仅表示照度的大小；色度H代表颜色色纯的程度；饱和度S代表具有相同明亮的颜色离开中性灰色的程度。第24页/共81页第二十四页，共82页。基于彩色空间变换的影像融合方法-IHS彩色变换饱和度的概念可描述如下：假设你有一桶纯红的颜料，它对应的色度为0，饱和度为1。混入白色染料后使红色变得不再强烈，减少了它的饱和度，但没有使它变暗。粉红色对应于饱和度值为0.5左右。随着更多白色染料加入到混合物中，红色变得越来越淡，饱和度降低，最后接近于零（白色）。相反地，如果你将黑色染料与纯红色混和，它的亮度将降低（变黑），而它的色度和饱和度保持不变。IHS编码的优点是能把强度和颜色区分开。第25页/共81页第二十五页，共82页。基于彩色空间变换的影像融合方法-IHS彩色变换下面介绍RGB系统与IHS三角形系统之间的彩色变换。正变换公式：第26页/共81页第二十六页，共82页。基于彩色空间变换的影像融合方法-步骤首先，必须将图像进行严格的几何校正，使不同的遥感图像在几何上能完全匹配，并且分辨率一致。将多波段图像由RGB彩色系统变换到IHS彩色系统中；用高分辨率的图像代替I分量，进行彩色逆变换，就可以得到融合图像

第27页/共81页第二十七页，共82页。基于彩色空间变换的影像融合法-流程用全色影像替代多光谱影像的I分量进行IHS反变换

基于IHS的融合流程融合结果ZYc

ZYbZYaIHS变换提取I分量全色波段直方图匹配第28页/共81页第二十八页，共82页。基于彩色空间变换的影像融合方法北京地区资源一号卫星影像

北京地区SPOT卫星PAN影像

第29页/共81页第二十九页，共82页。基于彩色空间变换的影像融合方法

IHS变换融合结果图第30页/共81页第三十页，共82页。基于彩色空间变换的影像融合法-光谱扭曲HIS融合模式多用于特征增强和特征差异大的数据间融合，提高多光谱图像的空间分辨率。适合于彩色图像处理，但可能融合结果的光谱特征会有扭曲。1、将低分辨率多光谱影像之尺寸调整至与高分辨率全色影像Pan相同。2、、.第31页/共81页第三十一页，共82页。基于彩色空间变换的影像融合法-光谱扭曲3、使用全色影像Pan取代HIS的强度影像I.4、从（3）、（4）式可看出，融合后影像颜色值取决于全色影像与IHS变换后的I影像之差。

第32页/共81页第三十二页，共82页。基于彩色空间变换的影像融合方法-直方图匹配的意义新疆地区资源一号卫星影像

新疆地区SPOT卫星PAN影像

第33页/共81页第三十三页，共82页。基于彩色空间变换的影像融合方法-直方图匹配的意义

不进行直方图修正

进行直方图修正第34页/共81页第三十四页，共82页。基于彩色空间变换的影像融合方法-直方图匹配的意义原图

不进行直方图修正

进行直方图修正第35页/共81页第三十五页，共82页。基于PCA变换的影像融合法

彩色图像的RGB三波段彼此之间的相关性较强。第36页/共81页第三十六页，共82页。基于PCA变换的影像融合法-步骤将多光谱图像进行PCA正变换 将原始图像的R、G、B经过PCA变换，形成按能量排序的正交分量：第1主分量、第2主分量、…第n主分量用高分辨率影像代替第1主分量；将合成的数据进行PCA逆变换，获得高分辨率的多光谱融合图像。

第37页/共81页第三十七页，共82页。基于PCA变换的影像融合法-流程基于PCA的融合流程用全色影像替代多光谱影像第一主分量进行PCA反变换ZYcZYbZYaPCA变换提取主分量全色波段融合结果第38页/共81页第三十八页，共82页。基于PCA变换的影像融合法北京地区资源一号卫星影像

北京地区SPOT卫星PAN影像

第39页/共81页第三十九页，共82页。基于PCA变换的影像融合法第40页/共81页第四十页，共82页。高通滤波法图像融合-流程融合结果ZYcZYbZYa全色波段单波段高通滤波融合

HPF法融合流程第41页/共81页第四十一页，共82页。高通滤波法图像融合-频率域例如对于SPOT全色波段的图像和多光谱图像，可先对多光谱图像进行几何校正，使其在图像大小方面和全色波段的图像相一致。然后对三个波段的多光谱实施FFT正变换，并用10m分辨率的全色波段图像替换经FFT正变换以后得到经过直方图匹配后的多光谱图像的高频部份,然后进行FFT逆变换可得到10m分辨率的多光谱图像。第42页/共81页第四十二页，共82页。高通滤波法图像融合新疆地区资源一号卫星影像

新疆地区SPOT卫星PAN影像

第43页/共81页第四十三页，共82页。高通滤波法图像融合

新疆地区融合结果图(窗口大小为33)

新疆地区融合结果图(窗口大小为55)第44页/共81页第四十四页，共82页。基于小波变换的图像融合

基于小波变换的数据融合对同一地区的不同传感器影像来说，其差别不在低频部分，而在高频部分。换言之，对其空间频谱的低频部分是相同的或相近的，而有显著差别的只是高频部份.第45页/共81页第四十五页，共82页。基于小波变换的图像融合-小波变换LLLHHHHLHLLHHHLLLHHLHH一级小波变换结果二级小波变换结果

小波变换结果示意图

第46页/共81页第四十六页，共82页。基于小波变换的图像融合-流程将多光谱影像和高分辨率影像进行小波分解将多光谱图像重采样成尺度大小一致的图像,并进行小波分解获得低频分量和高频分量;同时,将高分辨率影像也进行小波分解获得低频分量和高频分量用高频分量进行信息融合

将合成的数据进行小波重构，获得高分辨率的多光谱融合图像。第47页/共81页第四十七页，共82页。基于小波变换的图像融合高分辨率影像多光谱影像分解分解融合准则融合结果逆变换基于小波变换的图像融合框图第48页/共81页第四十八页，共82页。像素级融合结果比较北京地区资源一号卫星影像

北京地区SPOT卫星PAN影像

第49页/共81页第四十九页，共82页。PCA融合结果小波融合结果IHS融合结果HPF融合结果第50页/共81页第五十页，共82页。像素级融合结果比较新疆地区资源一号卫星影像

新疆地区SPOT卫星PAN影像

第51页/共81页第五十一页，共82页。IHS融合结果HPF融合结果PCA融合结果小波融合结果第52页/共81页第五十二页，共82页。基于小波的HIS融合针对IHS融合中，融合结果的光谱特征扭曲的现象，利用小波变换的优势，将两者结合起来，更大程度上保留了多光谱信息，且在提高空间分辨率方面也有很好的效果。基于小波的IHS融合是将多光谱图像的IHS变换后的Ｉ分量与高分辨率图像先进行直方图匹配，然后再分别进行小波变换，用高分辨率图像的高频替换I分量的高频，再对I分量进行小波反变换，而后经过IHS反变换，获得融合后的图像。融合影像与原始影像相比，其空间分辨率都有不同程度的提高，且可有效保留多光谱图像的光谱信息。第53页/共81页第五十三页，共82页。基于小波的HIS融合用全色影像高频替代I分量高频部分，进行小波反变换

基于小波的IHS融合流程融合结果ZYc

ZYbZYaIHS变换提取I分量全色波段直方图匹配（全色波段与I分量）小波分解小波分解新亮度分量I与H、S一起做IHS->RGB变换第54页/共81页第五十四页，共82页。密云水库地区雷达影像图密云水库地区TM4影像第55页/共81页第五十五页，共82页。HIS变换融合影像图小波变换融合影像图第56页/共81页第五十六页，共82页。基于HIS滤波—小波变换的融合影像第57页/共81页第五十七页，共82页。应用—基于影像融合的去云将多源遥感数据进行空间配准，必要时可进行直方图匹配；对多源遥感数据分别进行小波分解；对多源遥感数据小波分解的低频部分进行分析，结合云的高灰度特征，阴影的低灰度特征制定融合图像的低频带数据；将多源图像的高频带数值融合并与低频带数值一起作小波变换逆变换得到结果图像。第58页/共81页第五十八页，共82页。应用—基于影像融合的去云去云融合第59页/共81页第五十九页，共82页。应用—基于影像融合的去云有云的源图像无云的源图像第60页/共81页第六十页，共82页。应用—基于影像融合的去云融合去云处理的图像第61页/共81页第六十一页，共82页。洪水监测研究中的影像数据融合针对具体问题常常有不同的融合方案。研究洪水监测，可选择的遥感数据源有TM图像：TM图像光谱数据丰富，几何性能好，空间分辨率较高，有利于分析洪水数据；侧视雷达图像：侧视雷达图像较易观察水体和线性地物，并且可全天候获取数据，有利于实地监测洪峰。气象卫星图像：多时相的NOAA气象卫星图像地面分辨率低（1.1km），但时相分辨率高，数据及时，可昼夜获取，同步性强，有利于动态监测；将TM与侧视雷达图像融合，既可获得洪水、水田、旱地情况，也可获得大堤、水渠等线性地物情况；将TM与气象卫星图像融合，可以克服云层影响和气象卫星分辨率低的不足。因此融合图像在洪水监测中更具实用意义。第62页/共81页第六十二页，共82页。特征级融合-流程ROI确定ROI确定特征提取特征提取融合推理融合推理特征层融合应用目标监测目标监测变化检测变化检测目标识别目标识别外部信息融合性能评估融合性能评估信息生成第63页/共81页第六十三页，共82页。特征级融合-特征提取几何特征，例如直线、曲线、边缘、脊、角，等；结构特征，包括面积、相对定位等；统计特征，包括目标表面的数目、平面的周长、纹理特征等；谱特征，如色彩、谱信号等。第64页/共81页第六十四页，共82页。特征级融合-特征提取包含港口的横须贺海滨IRS1-C影像使用基于形态和区域增长的海岸分割算法提取的海岸线特征第65页/共81页第六十五页，共82页。特征级融合-特征提取(c)、(d)使用模板匹配方法确定的港口ROI第66页/共81页第六十六页，共82页。特征级融合-特征提取前图(c)边缘提取结果；(a)图中的航母边缘特征；不同时刻的IRS1-C影像的航母边缘特征。第67页/共81页第六十七页，共82页。3、遥感与非遥感数据的融合第68页/共81页第六十八页，共82页。遥感与非遥感数据融合的意义遥感数据来源于地球表面物体对太阳辐射的反射（被动遥感），某些波段还具有一定的穿透能力，由此可得到具有一定地表深度的数据。通过不同地物的相关性，还可间接地获得数据，例如植被和土壤相关，通过覆盖在土壤上的植被数据，可间接地分析出土壤的情况。还可通过不同遥感数据源的优势互补，进行融合增加数据量。尽管如此，仅通过遥感手段获取数据仍感到不够，不能解决遇到的全部问题，因此将地形、气象、水文等专题数据，行政区划、人口、经济收入等人文与经济数据作为遥感数据的补充，可有助于综合分析问题，发现客观规律，提高解译的效果，因此遥感数据与地理数据的融合也是遥感分析过程中不可缺少的手段。

第69页/共81页第六十九页，共82页。遥感与非遥感数据融合

遥感数据是以栅格格式记录的，而地面采集的地理数据常呈现出多等级，多量纲的特点，数据格式也多样化。因此，为了使各种地理数据能与遥感数据兼容，首先需要将获取的非遥感数据按照一定的地理网格系统重新量化和编码，以完成各种地理数据的定量和定位，产生出新的数据格式。甚至可以将其制作成与遥感数据类似的若干独立的波段，以便和遥感数据融合。这样，遥感数据与非遥感数据可在空间上对应一致，又可在成因上互相说明，以达到深入分析的目的。

第70页/共81页第七十页，共82页。遥感与非遥感数据的融合步骤地理数据的网格化为了使非遥感的地理数据与遥感数据融合，前提条件是必须使地理数据可作为遥感数据的一个“波段”，这就是说通过一系列预处理：①使地理数据成为网格化的数据；②地面分辨率与遥感数据一致；③对应地面位置与遥感影像配准。第71页/共81页第七十一页，共82页。遥感与非遥感数据的融合步骤最优遥感数据的选取融合时的遥感数据常常只需一个或二个波段，如为使分辨率优化，可选取SPOT数据的全色波段，当用TM数据时，则可选用K－L变换后的前两个波段，以达到减少数据量，保持数据量的目的。因此选取适合需要的遥感波段十分重要。配准融合栅格数据与栅格数据：在完成分辨率与位置配准后，多采用两种方法：①非遥感数据与遥感数据共组成三个波段，实行假彩色合成；②两种数据直接叠加，波段之间可作加法或其他数学运算，也可在波段之间做适当的“与”、“或”等布尔运算。第72页/共81页第七十二页，共82页。遥感与非遥感数据的融合步骤栅格数据与矢量数据：常采用不同数据格式的融合和不同数据层的融合。只要坐标位置配准，栅格数据与矢量数据也可以叠加，如在遥感影像上加上行政边界或等高线等。不同层面的融合，这里的层面指计算和记录时将不同的图像记录到不同的层上，显示时可以分别显示，也可以一起叠合显示。达到融合的效果，如要想在遥感影像的背景上突出河流湖泊等水体部分，或突出其他地理特征，则被突出的部分可单独记录为一层。第73页/共81页第七十三页，共82页。遥感与非遥感数据的融合遥感数据和非遥感数据还可以在同一地理投影坐标系统下放到一起作综合分类分析，这种分析不限波段数目，例如分析盐渍土时可以采用TM1，2，3，4，5，7六个波段，再加上非遥感的地形数据、地下水埋深、地下水矿化度等重要的影响盐渍土的数据所形成的网格作为参与分类分析的“波段”。综合分析由于考虑了地理因素，使结果的可靠性和精确度得到提高。

总之，多源数据融合实现了遥感数据之间的