数据融合原理与方法

1、数据融合(data fusion)原理与方法2007年01月21日 星期日18:41数据融合(data fusion) 原理与方法数据融合(data fusion)最早被应用于军事领域。现在数据融合的主要应用领域有：多源影像复合、机器人和智能仪器系统、战场和无人 驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等等。在遥感中，数据融合属 于一种属性融合，它是将同一地区的多源遥感影像数据加以智能化合成，产生比单一信息源 更精确、更完全、更可靠的估计和判断数据融合基本涵义数据融合(data fusion)最早被应用于军事领域。现在数据融合的主要应用领域有：多源影像复合、机器人和智能仪器系统、

2、战场和无人 驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等等。在遥感中，数据融合属 于一种属性融合，它是将同一地区的多源遥感影像数据加以智能化合成，产生比单一信息源 更精确、更完全、更可靠的估计和判断。相对于单源遥感影象数据，多源遥感影象数据所提 供的信息具有以下特点：冗余性：表示多源遥感影像数据对环境或目标的表示、描述或解译结果相同；互补性：指信息来自不同的自由度且相互独立合作性：不同传感器在观测和处理信息时对其它信息有依赖关系；信息分层的结构特性:数据融合所处理的多源遥感信息可以在不同的信息层次上出现， 这些信息抽象层次包括像素层、特征层和决策层，分层结构和并行处理机制还可保证系

3、统的 实时性。实质：在统一地理坐标系中将对同一目标检测的多幅遥感图像数据采用一定的算法，生成一幅新的、更能有效表示该目标的图像信息。目的：将单一传感器的多波段信息或不同类别传感器所提供的信息加以综合，消除多传 感器信息之间可能存在的冗余和矛盾，加以互补，改善遥感信息提取的及时性和可靠性，提 高数据的使用效率。二、数据融合原理及过程一般来说，遥感影像的数据融合分为预处理和数据融合两步预处理：主要包括遥感影像的几何纠正、大气订正、辐射校正及空间配准几何纠正、大气订正及辐射校正的目的主要在于去处透视收缩、叠掩、阴影等地形因 素以及卫星扰动、天气变化、大气散射等随机因素对成像结果一致性的影响；影像空间

4、配准的目的在于消除由不同传感器得到的影像在拍摄角度、时相及分辨率等 方面的差异。影像的空间配准时遥感影像数据融合的前提空间配准一般可分为以下步骤：特征选择：在欲配准的两幅影像上，选择如边界、线状物交叉点、区域轮廓线等明显 的特征。特征匹配：采用一定配准算法，找处两幅影像上对应的明显地物点，作为控制点。空间变化：根据控制点，建立影像间的映射关系。插值：根据映射关系，对非参考影像进行重采样，获得同参考影像配准的影像。空间配准的精度一般要求在12个像元内。空间配准中最关键、最困难的一步就是通过 特征匹配寻找对应的明显地物点作为控制点。数据融合根据融合目的和融合层次智能地选择合适的融合算法，将空间配准

5、的遥感影像数据（或 提取的图像特征或模式识别的属性说明）进行有机合成，得到目标的更准确表示或估计。对于各种算法所获得的融合遥感信息，有时还需要做进一步的处理，如匹配处理和 类型变换等，以便得到目标的更准确表示或估计。三、数据融合分类及方法1数据融合方法分类遥感影像的数据融合方法分为三类：基于像元（pixel）级的融合、基于特征（feature） 级的融合、基于决策（decision ）级的融合。融合的水平依次从低到高。1.1像元级融合像元级融合是一种低水平的融合。像元级融合的流程为：经过预处理的遥感影像数据一一数据融合特征提取一一融 合属性说明。优点：保留了尽可能多的信息，具有最高精度。局限性

6、：效率低下。由于处理的传感器数据量大，所以处理时间较长，实时性差。分析数据限制。为了便于像元比较，对传感器信息的配准精度要求很高，而且要求 影像来源于一组同质传感器或同单位的。分析能力差。不能实现对影像的有效理解和分析纠错要求。由于底层传感器信息存在的不确定性、不完全性或不稳定性，所以对融 合过程中的纠错能力有较高要求。抗干扰性差。像元级融合所包含的具体融合方法有:代数法、IHS变换、小波变换、主成分变换（PCT）、 K-T变换等1.2特征级融合特征级融合是一种中等水平的融合。在这一级别中，先是将各遥感影像数据进行特征提 取，提取的特征信息应是原始信息的充分表示量或充分统计量，然后按特征信息对

7、多源数据 进行分类、聚集和综合，产生特征矢量，而后采用一些基于特征级融合方法融合这些特征矢 量，作出基于融合特征矢量的属性说明。特征级融合的流程为：经过预处理的遥感影像数据特征提取特征级融合 （融合）属性说明。1.3决策级融合决策级融合是最高水平的融合。融合的结果为指挥、控制、决策提供了依据。在这一级 别中，首先对每一数据进行属性说明，然后对其结果加以融合，得到目标或环境的融合属性 说明。决策级融合的优点时具有很强的容错性，很好的开放性，处理时间短、数据要求低、分 析能力强。而由于对预处理及特征提取有较高要求，所以决策级融合的代价较高。决策级融合的流程：经过预处理的遥感影像数据特征提取一一属性

8、说明一一属性融 合一一融合属性说明。2数据融合方法介绍2.1代数法代数法包括加权融合、单变量图像差值法、图像比值法等。（1）加权融合法（2）单变量图象差值法（3）图象比值法2.2 图像回归法（Image Regression）图像回归法是首先假定影像的像元值是另一影像的一个线性函数，通过最小二乘法来进 行回归，然后再用回归方程计算出的预测值来减去影像的原始像元值，从而获得二影像的回 归残差图像。经过回归处理后的遥感数据在一定程度上类似于进行了相对辐射校正，因而能 减弱多时相影像中由于大气条件和太阳高度角的不同所带来的影响。2.3主成分变换（PCT）也称为W-L变换，数学上称为主成分分析（PCA

9、）。PCT是应用于遥感诸多领域的一种方 法，包括高光谱数据压缩、信息提取与融合及变化监测等。PCT的本质是通过去除冗余，将 其余信息转入少数几幅影像（即主成分）的方法，对大量影像进行概括和消除相关性。PCT 使用相关系数阵或协方差阵来消除原始影像数据的相关性，以达到去除冗余的目的。对于融 合后的新图像来说各波段的信息所作出的贡献能最大限度地表现出来。PCT的优点是能够分离信息，减少相关，从而突出不同的地物目标。另外，它对辐射差 异具有自动校正的功能，因此无须再做相对辐射校正处理。2.4 K-T变换即Kauth-Thomas变换，简称K-T变换，又形象地成为缨帽变换14 0它是线性变换的 一种，

10、它能使座标空间发生旋转，但旋转后的坐标轴不是指向主成分的方向，而是指向另外 的方向，这些方向与地面景物有密切的关系，特别是与植物生长过程和土壤有关。以此，这 种变换着眼于农作物生长过程而区别于其他植被覆盖，力争抓住地面景物在多光谱空间的特 征。通过这种变换，既可以实现信息压缩，又可以帮助解译分析农业特征，因此 有很大的实际应用意义。目前对这个变换在多源遥感数据融合方面的研究应用主要集中在MSS与TM两种遥感数据 的应用分析方面。2.5小波变换小波变换是一种新兴的数学分析方法，已经受到了广泛的重视。小波变换是一种全局变 换，在时间域和频率域同时具有良好的定位能力，对高频分量采用逐渐精细的时域和空

11、域步 长，可以聚焦到被处理图像的任何细节，从而被誉为数学显微镜。小波变换常用于雷达影像SAR与TM影像的融合。它具有在提高影像空间分辨率的同时又 保持色调和饱和度不变的优越性。2.6 IHS变换3个波段合成的RGB颜色空间是一个对物体颜色属性描述系统，而IHS色度空间提取出 物体的亮度I，色度H，饱和度S，它们分别对应3个波段的平均辐射强度、3个波段的数据 向量和的方向及3个波段等量数据的大小。RGB颜色空间和IHS色度空间有着精确的转换关 系。以TM和SAR为例，变换思路是把TM图像的3个波段合成的RGB假彩色图像变换到IHS 色度空间，然后用SAR图像代替其中的I值，再变换到RGB颜色空间

12、，形成新的影像。2.7贝叶斯（Bayes）估计2.8 D-S 推理法（Dempster-Shafter）2.9人工神经网络（ANN）2.10专家系统遥感数据融合存在问题及发展趋势遥感影像数据融合还是一门很不成熟的技术，有待于进一步解决的关键问题有：（1）空间配准模型（2）建立统一的数学融合模型（3）提高数据预处理过程的精度（4）提高精确度与可信度随着计算机技术、通讯技术的发展，新的理论和方法的不断出现，遥感影像数据融合技 术将日趋成熟，从理论研究转入到实际更广泛的应用，最终必将向智能化、实时化方向发展， 并同GIS结合，实现实时动态融合用于更新和监测。图像融合效果的评价方法2007年01月21

13、日星期日18:44 当前融合效果的评价问题一 直未得到很好的解决，原因是：同一融合算法，对不同类型的图像，其融合效果不同；同一 融合算法，对同一图像，观察者感兴趣的部分不同，则认为效果不同；不同的应用方面，对 图像各项参数的要求不同，导致选取的评价方法不同。因而，需要寻找一种比较客观评价融合图像效果的方法，使计算机能够自动选取适合当 前图像的、效果最佳的算法。从而为不同场合下选择不同较优算法提供依据。1客观评价1.1基于信息量的评价1.1.1 熵3图像的熵是衡量图像信息丰富程度的一个重要指标。如果融合图像的熵越大，说明融合 图像的信息量增加。1.1.2交叉熵交叉熵直接反映了两幅图像对应像素的差

14、异，是对两幅图像所含信息的相对衡量。1.1.3相关熵（互信息）相关熵（互信息）是信息论中的一个重要基本概念，它可作为两个变量之间相关性的量 度，或一个变量包含另一个变量的信息量的量度，因此，融合图像与原始图像的相关熵（互 信息）越大越好。1.1.4偏差熵偏差熵反映了两幅图像像素偏差的程度，同时也反映了两幅图像信息量的偏差度，分别 有：单一偏差熵、总体平方平均偏差熵、总体算术平均偏差熵、总体几何平均偏差熵、总体 调和平均偏差熵。1.1.5联合熵联合熵也是信息论中的一个重要基本概念，它可作为三幅图像之间相关性的量度，同时 也反映了三幅图像之间的联合信息，因此，融合图像与原始图像的联合熵越大越好。1

15、.2基于统计特性的评价1.2.1均值1.2.2标准差标准差反映了灰度相对于灰度均值的离散情况，标准差越大，则灰度级分布越分散，有 标准差、对数标准差。1.2.3偏差度偏差度用来反映融合图像与原始图像在光谱信息上的匹配程度，如果偏差指数较小，则 说明融合后的图像R在提高空间分辨率的同时，较好地保留7F的光谱信息，有：绝对偏差 度、相对偏差度。1.2.4均方差1.2.5平均等效视数平均等效视数8 可以用来衡量噪声的抑制效果、边缘的清晰度和图像的保持性。1.2.6协方差1.3基于信噪比的评价图像融合后去噪效果的评价原则为：（1）信息量是否提高；（2）噪声是否得到抑制；（3） 均匀区域噪声的抑制是否得

16、到加强；（4）边缘信息是否得到保留；（5）图像均值是否提高。 因此可以从下面几个方面评价。1.3.1信噪比1.3.2峰值信噪比1.4基于梯度值的评价1.4.1清晰度（平均梯度）清晰度11反映图像质量的改进，同时还反映出图像中微小细节反差和纹理变换特征。1.4.2空间频率空间频率反映了一幅图像空间域的总体活跃程度。1.7基于小波能量的评价1415对图像进行小波分解后，对小波系数处理，然后重构得到融合图像，这种方法融合图像 的效果评价可以采用小波系数平均能量的办法。2评价指标的选取评价指标的选取一般根据融合的目的选取，图像融合的目的主要有以下几个方面。2.1去噪一般而言，从传感器得到的图像都是有噪

17、图像，而后续的图像处理一般要求噪声在一定 范围内，因此，可以采用融合的方法来降低噪声，提高信噪比。对于这种方法一般采用基于 信噪比的评价。2.2提高分辨率提高分辨率也是图像融合的一个重要目的，有时从卫星得到的红外图像的分辨率不高， 这就要求用其它传感器得到图像（如光学图像，合成孔径图像）与红外图像进行融合来提高 分辨率。对于这种方法的融合效果评价可采用基于统计特性及光谱信息的评价方法。2.3提高信息量在传输图像，图像特征提取等方面需要提高信图像的信息量。图像融合是提高信息量的 一个重要手段。对于融合图像的信息量是否提高，我们可采用基于信息量的评价方法。2.4提高清晰度在图像处理中，往往需要在保

18、持原有信息不丢失的情况下，提高图像的质量、增强图像 的细节信息和纹理特征、保持边缘细节及能量，这对于一般的图像增强很难办到，因此需要 采用图像融合的办法，这时，对融合效果的评价可采用基于梯度的方法及模糊积分的办法和 小波能量的评价方法.2.5特殊要求在有些方面融合的目的既不是提高信息量，也不是提高分辨率和降低噪声。这就需要根 据特殊的要求来加以衡量。2.6定性描述定性描述就是主观评价法，也就是目测法。这种方法主观性比较强，但对一些明显的图 像信息进行评价直观、快捷、方便；对一些暂无较好客观评价指标的现象可以进行定性的说 明。其主要用于判断融合图像是否配准，如果配准不好，那么图像就会出现重影，反过来通 过图像融合也可以检查配准精度；判断色彩是否一致；判断融合图像整体亮度、色彩反差是 否合适，是否有蒙雾或马赛克现象；判断融合图像的清晰度是否降低，图像边缘是否清楚； 判断融合图像纹理及色彩信息是否丰富，光谱与空间信息是否丢失等。几何校正就是将图像数据投影到平面上，使其符合地图投影系统的过程，而将地图坐标系统赋予图像 数据的过程，称为地理参考。由于所有地图投影系统都遵从于一定的地图坐标系统，所以几 何校正过程包含了地理参考过程。多项式纠正模型：最少控制点计算公式(t+1)(t+2