光电图像处理：第八章 图像融合及应用

第八章图像融合及应用Charpter08ImageFusionanditsApplication主要内容信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价1.什么是信息融合(informationFusion)？

数据融合技术是随雷达信息处理及C3I系统的发展而发展起来的。它对各种数据源进行综合、过滤、相关、识别和融合，得出战场态势图、进行态势威胁与判别，制定出作战行动方案，供指挥员决策参考。数据融合的过程就是各种信息源处理、控制及决策的一体化过程。C3I——Command（指挥），Control（控制）、Communication（通信），intelligence（情报）。Ｃ3I系统，1953年首先在美国研制和建立，由于其对提高军队指挥效能和作战能力具有重要作用，因而受到世界各国高度重视。

C4I——C3I+Computers一、信息融合概述2.什么是图像融合？

图像融合(ImageFusion)是用特定的算法将两幅或多幅图像综合成一幅新的图像。融合结果由于能利用两幅(或多幅)图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器的自动探测。图像传感器A图像传感器B冗余信息互补信息一、信息融合概述起源：20世纪70年代初3.图像融合技术的研究现状及发展一、信息融合概述20世纪70年代初，美国研究机构发现，利用计算机技术对多个独立的连续声纳信号进行融合后，可以自动检测出敌方潜艇的位置。这一尝试使得信息融合作为一门独立的技术首先在军事应用中得到青睐。发展：20世纪80年代－20世纪末3.图像融合技术的研究现状及发展一、信息融合概述20世纪80年代后，对信息融合技术的研究更加活跃；国际上，关于信息融合的专著论文等数量可观；图像融合在军事和民用等诸多领域得到广泛的应用。完善：20世纪末－今3.图像融合技术的研究现状及发展一、信息融合概述由于其研究领域覆盖范围的广泛性、多传感器数据形式的多样性以及融合处理的多样性和复杂性，信息融合理论至今尚未形成系统的理论框架和有效的通用融合模型和算法。大部分研究工作都是针对特定应用领域的问题来展开的。国内出版物参考书国内出版物国内出版物[1]覃征等,数字图像融合,西安交通大学出版社,2005年[2]张永生等,天基多源遥感信息融合—理论算法与应用系统,科学出版社,2005[3]韩崇昭等,多源信息融合,清华大学出版社,2006[4]那彦,焦李成等,基于多分辨分析理论的图像融合方法(研究生系列教材),西安电子科技大学出版社,2007[5]李振华等,图像融合—理论与应用,高等教育出版社,2007[6]胡良梅等,基于信息融合的图像理解方法研究,合肥工业大学出版社,2007.[7]郭雷,李晖晖等,图像融合,电子工业出版社,2008[8]刘卫光等,图像信息融合与识别,电子工业出版社,20084.图像融合的应用领域一、信息融合概述近年来，图像融合(ImageFusion)技术得到迅猛发展，在遥感探测、安全导航、医学图像分析、反恐检查、环境保护、交通监测、清晰图像重建、灾情检测与预报等领域都有着重大的应用价值。AnatomicalimagingprovidedbyCTandMRFunctionalimagingprovidedbyPET一、信息融合概述医学图像分析：一、信息融合概述PETCTFusedimagePatientwithhepatoceullularcarcinomaCTscan(left)showsonlyliverdiseasePET/CTfusion(right)showsmultiplediseasesitesintheabdomenSinglescannerstudyFusedPET/CT遥感遥测：一、信息融合概述SpatialSpectral

+panchromatic&highgeometricresolutionmulti-/hyperspectralimage&lowgeometricresolutionmulti-/hyperspectral&highgeometricresolution遥感遥测SurveillanceandTargetingNavigationSatellitesGuidance/DetectionSystems一、信息融合概述一、信息融合概述Multi

View

Blander(MVB)

喀什天山2号反恐演习一、信息融合概述天府广场高清全景一、信息融合概述主要内容信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价1、不同成像传感器图像的融合电视图像(TV/VisibleImage)红外/紫外图像(Infrared/UVImage)合成孔径雷达(SyntheticApertureRadar，SAR)超声图像(UltrasonicImage)X-RAY,CT,PET核磁共振(Magneticresonanceimaging,MRI)二、图像融合简介因此，红外图像融合包括与不同成像传感器图像的融合，及不同波段的红外图像的融合。2、图像融合的层次（或级）二、图像融合简介①像素（pixels)级融合

——对应像素的融合。②特征(Feature)级融合

——对应特征的融合③决策(decision-making)级融合

——在①、②级基础上，通过分类、识别和综合评价，进行的最后决策。像素级融合决策级融合特征级融合二、图像融合简介可见光图像远红外图像融合结果一融合结果二二、图像融合简介可见光图像红外图像融合结果一融合结果二二、图像融合简介FocusonrightpartFocusonleftpartImagetakenusingautofocusfunctionFusedimage二、图像融合简介3、图像融合的基本流程图像预处理二、图像融合简介主要内容信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价WhatisImageRegistration/Alignment/Matching?Theaboveimageisrotatedandshiftedwithrespecttotheleftimage.ChangeDetection19752000SatelliteimagesofDeadSea,UnitedNationsEnvironmentProgramme(UNEP)websiteApplicationExamples

19902005SatelliteimagesofAmonahilltop,PeaceNowwebsiteChangeDetection(cont’d)IRMMWRADARSATIRSMRT2CTPETMRT1Multi-modalityRegistrationExamples2图像配准(ImageRegistration)简介

图像配准是是像素级图像融合的先决条件，从不同探测器、不同时间、不同角度所获得的两幅或多幅图像在空间上的最佳匹配。其中一幅是参考图像数据，其它图像作为待配准图像与之匹配。

图1待配准图像图2参考图像三、图像配准方法配准原理图1与图2之间存在一个旋转(Rotation)、平移(Translation)、缩放(Scaling)的关系，图像配准的目标就是找到这三种变换的对应关系。即：其中T表示二维空间坐标变换。配准的目的就是要找出最佳坐标，灰度变换参数。三、图像配准方法FeatureDetectionFeatureMatching(ImagesadaptedfromZitova,2003)ImageRegistrationImageRegistrationTransformationModelEstimationImageResamplingandTransformation配准步骤图像配准的过程也就是“确定空间变换模型——求解变换模型参数”的过程。

1.搜索空间2.特征空间

3.搜索策略

4.相似度量

待配准的图像坐标之间所有可能存在的变换关系。例如：刚体变换仿射变换投影变换

…三、图像配准方法配准步骤图像配准的过程也就是“确定空间变换模型——求解变换模型参数”的过程。

1.搜索空间2.特征空间

3.搜索策略

4.相似度量

从待配准的图像中提取用于匹配的特征，如：亮度(灰度)；特征点：角点、边缘、轮廓、交叉点、高曲率的点等；人工选取的控制点。三、图像配准方法配准步骤图像配准的过程也就是“确定空间变换模型——求解变换模型参数”的过程。

1.搜索空间2.特征空间

3.搜索策略

4.相似度量

在搜索空间寻找最佳的变换模型参数的过程中所采用的方法。

全视场搜索(FS)

2D对数搜索(2DLS)三步搜索(3SS)

菱形搜索(ds)三、图像配准方法配准步骤图像配准的过程也就是“确定空间变换模型——求解变换模型参数”的过程。

1.搜索空间2.特征空间

3.搜索策略

4.相似度量

衡量搜索空间中不同的参数变换模型的优异程度。

互相关均方差互信息HausdorffDistance三、图像配准方法图像几何变换

对图像进行重新采样和插值

配准实例待匹配图像

参考图像匹配图像

与参考图像的叠加效果三、图像配准通过相关判据求出匹配点求解仿射变换参数

特征点匹配点三、图像配准(c)OriginalimagesResultsExample1OriginalimagesResultsExample2主要内容信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价简单组合式图像融合方法逻辑滤波器法数学形态法图像代数法空间域融合方法HIS变换PCA变换高通滤波法(HPF)塔式分解法变换域融合方法小波变换法四、图像融合方法常用的融合方法四、图像融合方法1、空间域融合方法常见的融合规则：

对应像素取最大值对应像素取最小值对应像素取平均值加权平均法逻辑运算加权融合实例（未配准）简单组合融合（取小）融合实例对应像素取平均融合实例对应像素加权平均融合实例

RGB-IHS变换法。

Brovery变换法。四、图像融合方法2、颜色空间变换法IHS(Intensity，Hue，Saturation)

四、图像融合方法(1)RGB-IHS变换法

IRBG

IHS柱形空间对任何3个[0,1]范围内的R、G、B值都可以用下面的公式转换到对应IHS模型中的I、H、S分量：

（5）RGB-IHS变换法

RGB

R’G’B’

HIp’S

彩色合成

HISIHS变换Ip’代替I

IHS逆变换高空间分辨率全色影像IP代替I分量。逆变换过程中可有不同的变换模式,HIS变换过程也有多种模式,因此该方法有多种模型。四、图像融合方法(1)RGB-IHS变换法

(2)Brovery变换法Brovery变换是一种颜色归一化变换方法，它将RGB影像进行多光谱波段颜色归一化，并将高分辨率全色影像与各个波段灰度值分别相乘得到融合影像。原波段影像的灰度值高分辨率影像的灰度值融合后的第i个波段影像的灰度值四、图像融合方法

四、图像融合方法3、小波变换法将已经配准后的两幅（或多幅）图像分别进行小波变换，分解为小波系数；将其对应的小波系数依据一定的准则进行融合；最后，将融合的系数进行逆变换，进行图像重构，即可获得融合后的图像。该方法充分利用了小波分解的多尺度、多分辨特性。基本步骤四、图像融合方法

小波1级及2级分解图示小波变换图像融合流程四、图像融合方法融合规则四、图像融合方法取最大值加权平均法

方差协方差准则

梯度准则局部能量法多数融合算法都是基于这样的假设，即图像中的特征都表现在小波系数绝对值大的地方。因此，出现了以下一些基本规则：小波变换图像融合Malab代码四、图像融合方法[X,map]=imread('E:\Fusion_img\TV_002.bmp');X1=X;map1=map;subplot(2,2,1);image(X1);colormap(map1);title('电视图像');[X,map]=imread('E:\Fusion_img\IR_002.bmp');X2=X;map2=map;subplot(2,2,2);image(X2);colormap(map2);title('红外图像');[c1,l1]=wavedec2(X1,1,'sym4');[c2,l2]=wavedec2(X2,1,'sym4');c=0.5*(1.2*c1+0.8*c2);XX=waverec2(c,l1,'sym4');subplot(2,2,3);image(XX);title('融合结果一');Csize1=size(c1);fori=1:Csize1c1(i)=0.8*c1(i);endCsize2=size(c2);forj=1:Csize2c2(j)=1.2*c2(j);endc=0.6*(c1+c2);XXX=waverec2(c,l2,'sym4');subplot(2,2,4);image(XXX);title('融合结果二');小波单尺度分解融合举例四、图像融合方法PanchromaticImageMultispectralImageRGBBasis:IHStransformandfilteringintheFourierdomain.FFTFourier

SpectrumFFTFourier

SpectrumHPFPanHPLPFILPIHSR‘G‘B‘IHS-1ILP+PanHPHSFFT-14、EhlersFusion四、图像融合方法OriginalpanchromaticimagePanchromaticSpectrum四、图像融合方法4、EhlersFusion|F(u)|Cut-offFrequencyfnFilteredPanchromaticSpectrumFiltersettingeffectsFilteredpanchromaticimageFusedimageEffectsinthespatialdomainFilteredPanchromaticSpectrum|F(u)|Cut-offFrequencyfnFiltersettingeffectsFilteredpanchromaticimageFusedimageEffectsinthespatialdomainFilteredPanchromaticSpectrum|F(u)|Cut-offFrequencyfnFiltersettingeffectsFilteredpanchromaticimageFusedimageEffectsinthespatialdomain主要内容信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价五、融合效果评价经过各种方法融合后的图像质量，需要客观的评价，评价方法大致可以分为：主观评价定量评价

依靠人的主观感觉对融合图像效果进行评价。由于受到人的视觉特性、心理状态、感兴趣目标不同等因素的影响，采用主观评价方法对图像融合效果进行客观的评价十分困难。

五、融合效果评价经过各种方法融合后的图像质量，需要客观的评价，评价方法大致可以分为：主观评价定量评价

定量评价可以对图像融合质量进行客观定量的分析，通过不同的评价指标来区分融合结果的优劣。如：基于统计特性基于信息量基于清晰度(1)灰度偏差：融合图象与原始图象间的灰度差异，较小则表明融合后的图象较好地保留了原始图象的灰度信息。五、融合效果评价1.基于统计特性的评价指标(2)均方差：理想图像和融合图像之间的差异。五、融合效果评价

2.基于信息量的评价指标(1)熵(Shannon)：衡量图像中信息量的丰富程度。(2)交叉熵：反映了两幅图像所含信息量的相对差异。对称形式的交叉熵称为对称交叉熵,即交叉熵越小，融合图像从原始图像中得到的信息量越多。五、融合效果评价(4)互信息(MutualInformation,MI)：反映了两幅图象间的信息联系。(3)相关熵：衡量图像中信息量的丰富程度。

2.基于信息量的评价指标其中五、融合效果评价(2)空间频率(1)平均梯度

3.基于清晰度的评价指标五、融合效果评价(2)峰值信噪比（PSNR）(1)信噪比（SNR）

4.基于信噪比的评价指标图像融合实例(a)可见光图像