多源遥感数据融合

多源遥感数据融合第1页，共46页，2023年，2月20日，星期一报告内容安排Partone：多源遥感数据介绍Parttwo：多源遥感数据融合Partthree：融合算法探讨Partfour：IKONOS&QB融合效果Partfive：融合中的难点第2页，共46页，2023年，2月20日，星期一

Partone：多源遥感数据介绍第3页，共46页，2023年，2月20日，星期一

1972年7月23日美国发射第一颗地球资源卫星ERTS-1；

1975年发射ERTS-2，改名Landsat-2；

1978年发射Landsat-3；

1982年在Landsat1-3的基础上改进设计并发射Landsat-4；

1984年发射Landsat-5；

1993年发射Landsat-6卫星，上天后由于故障陨落；

1999年发射Landsat-7。数据特点：光谱信息丰富覆盖面积大空间分辨率相对较高覆盖面积为185×185km2，回归周期为16天或者18天。影像的空间分辨率从多光谱扫描仪MSS的80米－>专题制图仪TM影像的30米－>增强性专题制图仪ETM+的全色Pan波段的15米。Multi-sensordataSensorone：Landsat第4页，共46页，2023年，2月20日，星期一RGB321Sensorone：Landsat

RGB752Multi-sensordata第5页，共46页，2023年，2月20日，星期一1986年发射SPOT-1；1989年发射SPOT-2；1993年发射SPOT-3；1996年发射SPOT-4；2002年发射SPOT-5;该系列卫星特点（1）前3颗SPOT卫星搭载的是两台高分辨率传感器HRV(highresolutionvisibleimagesystem)其2个可见光和一个近红外的XS波段空间分辨率为20米，全色PA分辨率为10米；（2）4号卫星搭载的是HRVIR和“植被”VI传感器；（3）5号卫星在4号卫星的基础上加了一个高分辨率(10米)立体成像装置（HRS）,和前4颗卫星相比其空间分辨率几乎提高了一个数量级：单色波段为10米，全色波段为2.5米；（4）SPOT系列卫星的重复周期26天(369圈)，由于采用倾泄观测技术，可以对同一个地区用4～5天间隔观测；一幅影像最少可以覆盖117×60km2。Multi-sensordataSensortwo：SPOT

第6页，共46页，2023年，2月20日，星期一RGB432Multi-sensordataSensortwo：SPOT

第7页，共46页，2023年，2月20日，星期一CBERS系列卫星：即中巴资源卫星（China-BrazilEarthResourceSatellite）1999年10月CBERS-1发射2003年11月CBERS-2发射该卫星特点（1）20米分辨率的5谱段CCD(chargecoupleddevice)相机,其采用推帚式扫描,扫描宽度113km；（2）80米分辨率的3波段多光谱扫描仪（MSS），扫描宽度120km；（3）160米分辨率的1个波段热红外扫描仪，扫描宽度120km；（4）256分辨率的2个波段宽视场成像仪（WFI），扫描宽度890km；（5）重复观测周期是26天，由于CCD相机具有侧视功能，观测同一地区的最短周期可以为3天。Multi-sensordataSensorthree：CBERS第8页，共46页，2023年，2月20日，星期一RGB432(2006)Multi-sensordataSensorthree：CBERS第9页，共46页，2023年，2月20日，星期一高分辨率商业卫星Quick-Bird单波段星下分辨率为2.44米,全色分辨率为0.61米,其一副图象可以覆盖16.5×16.5km2.IKONOS单波段星下分辨率为4米,全色分辨率为1米,其一副图象可以覆盖11×11km2低分辨率卫星MODIS卫星

其可见分辨率比陆地卫星低,光谱分辨率高,回归周期短,最多一天可以获得4条过境图象,共有36个波段数据。Multi-sensordataSensorfour：Quick-Bird&IKONOS&MODIS第10页，共46页，2023年，2月20日，星期一Parttwo：

多源遥感数据融合

第11页，共46页，2023年，2月20日，星期一多源遥感影象数据特点：冗余性：表示多源遥感影像数据对环境或目标的表示、描述或解译结果相同

互补性：指信息来自不同的自由度且相互独立合作性：不同传感器在观测和处理信息时对其它信息有依赖关系

融合目的：将单一传感器的多波段信息或不同类别传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，加以互补，改善遥感信息提取的及时性和可靠性，提高数据的使用效率。融合实质：

在统一地理坐标系中将对同一目标检测的多幅遥感图像数据采用一定的算法，生成一幅新的、更能有效表示该目标的图像信息。DataFusion第12页，共46页，2023年，2月20日，星期一遥感数据融合发展和应用

数据融合（datafusion）最早被应用于军事领域。融合数据的特点：融合产生的数据具有原始影像的优点，其可以减少识别目标的模糊性和不确定性，提高遥感图像整体质量和综合分析精度同时又能满足定量遥感需要更多的光谱信息和空间纹理信息的要求。融合模型要求：具有良好的信息保真度。分类：像素级、特征级和决策级主要应用领域有：多源影像、机器人和智能仪器系统、战场和无人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等。DataFusion第13页，共46页，2023年，2月20日，星期一Partthree：融合算法探讨第14页，共46页，2023年，2月20日，星期一遥感数据融合流程图

问题：低分辨率影像如何选择？

问题：高分辨率影像如何选择？第15页，共46页，2023年，2月20日，星期一数据预处理

包括几何纠正、大气订正、辐射校正及空间配准

（1）几何纠正、大气订正及辐射校正的目的主要在于去处透视收缩、叠掩、阴影等地形因素以及卫星扰动、天气变化、大气散射等随机因素对成像结果一致性的影响；（2）影像空间配准的目的在于消除由不同传感器得到的影像在拍摄角度、时相及分辨率等方面的差异。空间配准

空间配准中最关键、最困难的问题寻找地面控制点（GCP,GroundControlPoint）。

(1）GCP选择：如边界、线状物交叉点、区域轮廓线等明显的特征。

（2）插值：根据映射关系，对非参考影像进行重采样，获得同参考影像配准的影像。插值法有：邻近点插值法、双线性插值法和立方卷积插值法三种，精度要求：空间配准的精度一般要求在0~2个像元内，融合精度一般在一个像元以内。

同一传感器数据融合不需配准。（JianGuoLiu,2000）DataPreparation第16页，共46页，2023年，2月20日，星期一融合分类：按照信息抽象程度可以分为像素层、特征层和决策层像素级：优点：

保留了尽可能多的信息，具有最高精度，三级融合层中为研究最成熟的一级，已经成了丰富的融合算法。

局限性：1.效率低下。由于处理的传感器数据量大，所以处理时间较长，实时性差2.对参与融合遥感影像配准精度要求很高。特征级融合

特征级融合是一种中等水平的融合。其先是将各遥感影像数据进行特征提取，提取的特征信息应是原始信息的充分表示量或充分统计量，然后按特征信息对多源数据进行分类、聚集和综合，产生特征矢量，而后采用一些基于特征级融合方法融合这些特征矢量，作出基于融合特征矢量的属性说明。决策级融合决策级融合是最高水平的融合，融合的结果为指挥、控制、决策提供依据。在这一级别中，首先对每一数据进行属性说明，然后对其结果加以融合，得到目标或环境的融合属性说明。决策级融合的优点时具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强。而由于对预处理及特征提取有较高要求，所以决策级融合的代价较高。第17页，共46页，2023年，2月20日，星期一表1三级融合层次的特点第18页，共46页，2023年，2月20日，星期一像素级特征级决策级代数法熵法专家系统IHS变换表决法神经网络小波变换聚类分析Bayes估计K-T变换Bayes估计模糊聚类法主成分变换神经网络法可靠性理论回归模型法加权平均法基于知识的融合法Kalman滤波法Dempater-shafer推理法Dempater-shafer推理法表2三级融合层次下的融合方法第19页，共46页，2023年，2月20日，星期一像素级融合主要分类（1）基于光谱（彩色）域变换的融合技术

亮度－色调－饱和度变换（Intensity-Hue-Saturation，IHS）变换和比值变换(BroveyTransform,BT)和主成分变换(PrincipleComponentTransform,PCT)等特点：每次该类技术每次只能对3个波段数据融合（2）基于空间域信号分解和重构的融合技术小波变化（Wavelettransform,WT）基于亮度平滑滤波变换(SmoothingFilter-basedIntensityModulation,SFIM)高通滤波变换（HighPassFilter,HPT）等特点：其能对任意波段进行融合（3）基于算术运算的融合技术乘积变换(MultiplicationTransform,MT)和加法变换等

特点：模型简单可以对任意波段进行融合FusionMethods第20页，共46页，2023年，2月20日，星期一IHS变换

3个波段合成的RGB颜色空间是一个对物体颜色属性描述系统，而IHS色度空间提取出物体的亮度I，色度H，饱和度S，它们分别对应3个波段的平均辐射强度、3个波段的数据向量和的方向及3个波段等量数据的大小。RGB颜色空间和IHS色度空间有着精确的转换关系。以TM和SAR为例，变换思路是把TM图像的3个波段合成的RGB假彩色图像变换到IHS色度空间，然后用SAR图像代替其中的I值，再变换到RGB颜色空间，形成新的影像。FusionMethods第21页，共46页，2023年，2月20日，星期一比值法融合模型（BroveyTransform，BT）

特点：它将参与RGB组合的每个波段与该组合波段总和做比值计算进行正规化，以保持低分辨率影像的光谱分辨率，然后将比值结果乘以高分辨率波段的亮度以获取高频空间信息。具有很高的光谱信息保真度。

缺点：对中高光谱的低空间分辨率RGB组合选择比较麻烦。如TM/ETM+的RGB组合多大20种。问题：如何改进？FusionMethods第22页，共46页，2023年，2月20日，星期一小波变换

小波变换（Wavelettransform,WT）是一种新兴的数学分析方法，已经受到了广泛的重视。小波变换是一种全局变换，在时间域和频率域同时具有良好的定位能力，对高频分量采用逐渐精细的时域和空域步长，可以聚焦到被处理图像的任何细节，从而被誉为“数学显微镜”。

WT方法首先对参与融合的遥感图像数据进行小波正变换，将图像分解为高频信息和低频信息。分别抽取来自高空间分辨率影像分解后的高频信息和低空间分辨率的低频信息进行小波逆变换，生成融合图像。

特点：可以对任意波段融合

缺点：小波基选择比较麻烦，融合速度不理想

小波变换示意图见下图

FusionMethods第23页，共46页，2023年，2月20日，星期一第24页，共46页，2023年，2月20日，星期一SFIM融合算法

SFIM(SmoothingFilter-basedIntensityModulationTransform),即基于平滑滤波的亮度变换，其融合算法为：

特点：该算法可以视为在低分辨率影像中仅引入了高分辨率影像的纹理信息，它能很好保持低分辨率影像的光谱特性。

优点：能对任意波段融合，光谱保真度好

缺点：融合效果中存在“胡椒面现象”问题：如何改进？FusionMethods第25页，共46页，2023年，2月20日，星期一乘法融合模型MT（MultiplicationTransform）变换采用乘法融合运算，其算法公式为：

特点：该算法采用乘法能反映低分辨率和高分辨率影像的混和信息，为了避免生产后影像的亮度值过大采用开平方。

优点：能对任意波段融合，算法简单

缺点：光谱保真度不好FusionMethods第26页，共46页，2023年，2月20日，星期一高通滤波（加法）融合算法

HPF（High-PassFilter）变换该算法采用高通滤波融合算法，算法公式为：

特点：该算法采用高通滤波来抑制高分辨率影像中的低频光谱信息和增强高频空间信息，处理后的高分辨率影像和低分辨率影像相加可以达到提高低分辨率影像的空间分辨率。

优点：可以对任意波段融合

FusionMethods第27页，共46页，2023年，2月20日，星期一ModifiedBroveyTransform(MBT)

特点：计算简单可以对任意波段融合

优点：具有高高频信息融入度

缺点：光谱信息保证度比较查点问题：n任何选择？FusionMethods第28页，共46页，2023年，2月20日，星期一融合效果评价评价融合影像的质量是遥感图像融合的一个重要步骤。评价融合效果主要包括定性和定量评价两种。定性评价一般选用目视法解译。定量评价选择：均值、标准差、熵、光谱偏差度、均方根差和相关系数等定量评价分为：融合图像的整体质量、融合图像和低分辨率图像的光谱信息保真度和融合图像与高分辨率图像的高频信息保真度（纹理信息）三个方面。Evaluation第29页，共46页，2023年，2月20日，星期一融合图像的整体质量评价指标均值：均值越大说明影像含信息量越高标准差：反映图象灰度相对于灰度均值的离散情况。标准差大，则图像灰度级分散，图像反差大，信息量丰富熵：熵越大说明整体图像的信息含量高Evaluation第30页，共46页，2023年，2月20日，星期一光谱保真度评价1.保真度D

F为融合影像均值，B为原始影像均值，MN为像元总数。D反映了融合图像和原始图像在光谱信息上的差异和光谱特性变化的平均程度，值越小说明光谱信息损失少,在理想情况下D=0。2.原始图像和融合后图像的光谱曲线Evaluation第31页，共46页，2023年，2月20日，星期一高频信息保真度评价相关系数F为融合生成图像的灰度值，f为融合图像的均值；A为源图像灰度值，a为源图像的均值，通过计算融合图像和高空间分辨率图像之间的相关系数，相关系数越大说明高频信息融入越高。

Evaluation第32页，共46页，2023年，2月20日，星期一高频信息保真度评价方均根误差(RootMeanSquareError,RMSE)

RMSE能灵敏地检测出n维空间中任意两个向量的相似性，故该方法能定量评价融合方法的高频信息（纹理）融入度

.

其中F为融合产生图像的亮度均值；B为融合前图像的亮度均值，此处为高空间分辨率波段；n为参与融合的波段数。RSME值越小，说明高分辨率图像的高频信息融入度越高。Evaluation第33页，共46页，2023年，2月20日，星期一Partfour：IKONOS&QB融合效果第34页，共46页，2023年，2月20日，星期一IKONOS融合结果原始全色波段Originalda