图像融合报告课件

Multifocusimagefusionusingregionsegmentationandspatialfrequencyxoulongxia专业：计算机科学与技术Multifocusimagefusionusing1一研究背景二研究动态三研究内容四文章理解五想法一研究背景二研究动态三研究内容四文章理解五想法2研究背景定义

图像融合（ImageFusion）是通过对源图像间冗余信息和互补信息进行处理，使得到的融合图像可靠性增强，能更客观地、更精确地和更全面地对某一场景进行图像描述，更加适合人眼和机器视觉感知，更加有利于图像分割、特征提取和目标识别等更深层次的图像处理任务。研究背景定义3高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强图像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。

高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有4例如，对于聚集不同的多幅对准图像，如果图像中的一些景物在其中的一幅图像中很清晰，而在别的图像中较为模糊的话，那么可以采取图像融合的方法获得一幅新的图像，融合后的图像比融合前的任意一幅图像具有更多的信息量。图一：左聚焦图像图二：右聚焦图像图三：融合图像例如，对于聚集不同的多幅对准图像，如果图像中的一些景物在其中5研究动态图像融合近年来在很多领域都有了越来越多的应用和发展。在医学上，医学图像的配准和融合为医生提供更加丰富、可靠的图像依据，以便更加直观地利用这些信息并结合临床经验做出准确诊断；随着遥感技术的发展，高空间分辨率、波谱分辨率和时间分辨率的图像数据已经问世；根据各种不同类型的多光谱数据信息之间存在着重叠和互补，利用图像融合技术对遥感图像进行融合，近年来在土地动态监测、防洪防灾和军事侦察方面得到应用。研究动态图像融合近年来在很多领域都有了越来越多的应用和发展。6

在图像融合目标识别方面，国外从70年以已开始研究被动微波／红外复合的双模(双传感器)寻的系统，进入80年代后，更多型式的双模(双传感器)寻的系统如：半主动雷达／红外、主动毫米波／雷达、激光／红外等型式的双模寻的系统大量出现，其主要的目的就是企图通过多种不同类型的传感器系统的组合和信号的综合利用使整个系统在性能上取得互补，以提高寻的系统总的性能指标。在图像融合目标识别方面，国外从70年以已开始研究被动微波7研究内容目前，国内外学术界在图像融合领域已取得了丰硕的研究成果。在理论和方法方面主要有主成分分析法、演化计算法、神经网络法、小波变换法和模糊逻辑等图像融合方法：在融合效果客观评价方面，有shannon提出的信息熵、交叉熵、互信息、联合熵以及均方根误差、均值、标准差、平均误差、偏差、相对偏差、空间频率、灰度标准差、相关系数、信噪比和峰值信噪比等客观评价标准。研究内容目前，国内外学术界在图像融合领域已取得了丰硕的研究成8一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。像素级融合是在严格配准的条件下，直接在传感器采集所得的图像原始数据层上进行处理，可用来提高信号的灵敏度与信噪比，以利于目视观测与特征提取。像素级图像融合具有明显的局限性：它要处理的图像数据量太大，处理代价高；这种融合是在信息的最低层进行，传感器原始信息的不确定性、不完全性和不稳定性要求在进行融合时有较高的纠错处理能力；要求各传感器信息之间有精确到一个像素的配准精度；数据通信量大，抗干扰能力差。一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级9特征级图像融合是中间层次上的融合，它是先提取来自传感器的原始信息的特征，产生特征矢量,然后对特征矢量进行融合处理。一般来说，提取的特征信息应该是像素信息的充分表示量或充分估计量，然后按照特征信息对多传感器数据进行综合分析和处理。特征级图像融合的主要优点有：由于提取传感器原始信息的特征信息，信息得到了压缩，有利于实时处理。特征级图像融合是中间层次上的融合，它是先提取来自传感器的原始10决策级图像融合是最高层次的融合，包含检测、分类、识别和融合，在决策级图像融合之前，每种传感器已经被独立完成了决策和分类任务，融合工作实质上是做出全局的最优决策。决策级图像融合的优点主要表现为：它能在增加或减少一个或多个传感器的情况下工作，对传感器没有特殊的要求，因此，它具有很强的容错性、很好的开放性、融合中心处理代价小，较短的处理时间等特点。同时由于处理的数据量较小，信息通信量小，抗干扰能力强，还能有效的反映环境或目标各个侧面的不同类型信息。由于是最高级别的融合，需要以前面级别的融合结果作为输入，所以预处理的代价非常高。决策级图像融合是最高层次的融合，包含检测、分类、识别和融合，11文章理解本文中，我们提出一种在空间域实行的并且适合多聚焦图像的融合。直观的想法是图像被人们理解为区域或对象级别用来代替像素级别。这包含三个步骤：图像的分割、区域的明确计算和融合图像的构建。第一步，通过简单的求均值的方法合并两个源图像。第二步，被融合的图像使用归一化分割(Ncut)方法分割，根据这个结果图像被划分开。第三步，两个源图像相匹配的区域使用空间频率的方法相融合。文章理解本文中，我们提出一种在空间域实行的并且适合多聚焦图像12实验方案▽1、Regionsegmentationusingnormalizedcuts（基于归一化分割方法的区域分割）被分割的图像是由点集组成的，节点之间的相互联系就构成了加权无向图G=(V,E)。我们给出normalizedcuts（Ncut）的定义：其中，表示所有从节点A到节点B的连接，表示从节点A到所有结点的连接。实验方案13计算流程（1）定义一个给定的图像和权重函数的特征描述矩阵；（2）假定一个加权图G=（V,E），计算边缘权值，得出的W和D的信息矩阵的W表达式如下：X(i)为节点i的位置空间，F(i)=I(i)为强度值，矩阵D是N×N的对角矩阵，对角线上的d(i)=ΣW(i,j)；计算流程14（3）解答(D-W)X=λDX特征向量的最小特征值；（4）使用特征向量找出第二小的特征值，并找出划分的点以便于把Ncut的值减小至最低范围；（5）检查Ncut的值，最简单的是依据第一个计算特征向量的柱状图，然后计算在最大值和最小值之间的二进特征向量的比率，在实验中，设置一个像上述的比率阈值，小于阈值的特征向量是不稳定的（本实验设置阈值为0.06）。我们还可以按照第（2）进一步的细化。（3）解答(D-W)X=λDX特征向量的最小特征值；15▽2、Spatialfrequency（空间频率）空间频率源于人们的目视系统，表明在一个图像中的全部活动程度，一个图像块的空间频率定义如下：假定一个像素为M×N的图像，行频率RF(rowfrequencies)，列频率CF(columnfrequencies),则

F(m,n)是图像F在位置(m,n)的像素灰度值图像的总的空间频率：▽2、Spatialfrequency（空间频率）16▽3、Multifocusimagefusionusingregions’clarity（区域明确的多聚焦图像融合）融合的过程（1）获得检录图像A和B的临时融合图像平均值；（2）使用归一化的分割算法把临时融合图像分割为几个区域；（3）使用第(2)步的结论划分图像A和B；（4）计算每一个划分的A和B区域的空间频率；（5）比较两个源图像相匹配的区域空间频率，以决定哪一部分用于构建融合图像，是第i个区域的融合图像，和是图像A和B的第i个区域的空间频率。▽3、Multifocusimagefusionusi17（6）挑选所有相融后的区域组建最后的图像。如果有三个或更多的源图像，使用第(2)步的结论划分所有的源图像，然后计算每个区域的空间频率，选择具有最大值的空间频率，最后按照(6)重建所有区域相融后的图像。

（6）挑选所有相融后的区域组建最后的图像。18▽4、Experimentalresults（实验处理）通过对不同源融合图像组合的比较得出我们实验的好坏，这里有三种方法可供我们选择：a.wavelet-basedfusionmethod（基于小波的融合方法）b.Region-basedactivitymeasurement（基于区域的放射性活度测量）用于反映已分解系数的活动程度，系数是通过选择最大值组合成的。c.Window-basedverification（基于窗口的验证）本文的图像融合是由normalizedcutsalgorithm和wavelet-basedapproach来完成的。本文设定参数为：▽4、Experimentalresults（实验处理）19评价指标本文使用和交互信息(mutualinformaton(MI))标准来度量实验结果的。其中A，B为输入的源图像，F为输出的融合图像。（在这里对两个性能指标不做详细说明）评价指标20想法1.对SF(空间频率)我们可以结合新的特征计算方法，提取特征更加显著的分块图像，使融合后的图像更加清晰平滑；2.在图像分割之前我们可以先用小波进行分解，在低频部分进行分割，消除块效应，最终达到更好的融合效果。想法1.对SF(空间频率)我们可以结合新的特征计算方法，提取21谢谢敬请批评指正

图像融合报告课件22Multifocusimagefusionusingregionsegmentationandspatialfrequencyxoulongxia专业：计算机科学与技术Multifocusimagefusionusing23一研究背景二研究动态三研究内容四文章理解五想法一研究背景二研究动态三研究内容四文章理解五想法24研究背景定义

图像融合（ImageFusion）是通过对源图像间冗余信息和互补信息进行处理，使得到的融合图像可靠性增强，能更客观地、更精确地和更全面地对某一场景进行图像描述，更加适合人眼和机器视觉感知，更加有利于图像分割、特征提取和目标识别等更深层次的图像处理任务。研究背景定义25高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强图像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。

高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有26例如，对于聚集不同的多幅对准图像，如果图像中的一些景物在其中的一幅图像中很清晰，而在别的图像中较为模糊的话，那么可以采取图像融合的方法获得一幅新的图像，融合后的图像比融合前的任意一幅图像具有更多的信息量。图一：左聚焦图像图二：右聚焦图像图三：融合图像例如，对于聚集不同的多幅对准图像，如果图像中的一些景物在其中27研究动态图像融合近年来在很多领域都有了越来越多的应用和发展。在医学上，医学图像的配准和融合为医生提供更加丰富、可靠的图像依据，以便更加直观地利用这些信息并结合临床经验做出准确诊断；随着遥感技术的发展，高空间分辨率、波谱分辨率和时间分辨率的图像数据已经问世；根据各种不同类型的多光谱数据信息之间存在着重叠和互补，利用图像融合技术对遥感图像进行融合，近年来在土地动态监测、防洪防灾和军事侦察方面得到应用。研究动态图像融合近年来在很多领域都有了越来越多的应用和发展。28

在图像融合目标识别方面，国外从70年以已开始研究被动微波／红外复合的双模(双传感器)寻的系统，进入80年代后，更多型式的双模(双传感器)寻的系统如：半主动雷达／红外、主动毫米波／雷达、激光／红外等型式的双模寻的系统大量出现，其主要的目的就是企图通过多种不同类型的传感器系统的组合和信号的综合利用使整个系统在性能上取得互补，以提高寻的系统总的性能指标。在图像融合目标识别方面，国外从70年以已开始研究被动微波29研究内容目前，国内外学术界在图像融合领域已取得了丰硕的研究成果。在理论和方法方面主要有主成分分析法、演化计算法、神经网络法、小波变换法和模糊逻辑等图像融合方法：在融合效果客观评价方面，有shannon提出的信息熵、交叉熵、互信息、联合熵以及均方根误差、均值、标准差、平均误差、偏差、相对偏差、空间频率、灰度标准差、相关系数、信噪比和峰值信噪比等客观评价标准。研究内容目前，国内外学术界在图像融合领域已取得了丰硕的研究成30一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。像素级融合是在严格配准的条件下，直接在传感器采集所得的图像原始数据层上进行处理，可用来提高信号的灵敏度与信噪比，以利于目视观测与特征提取。像素级图像融合具有明显的局限性：它要处理的图像数据量太大，处理代价高；这种融合是在信息的最低层进行，传感器原始信息的不确定性、不完全性和不稳定性要求在进行融合时有较高的纠错处理能力；要求各传感器信息之间有精确到一个像素的配准精度；数据通信量大，抗干扰能力差。一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级31特征级图像融合是中间层次上的融合，它是先提取来自传感器的原始信息的特征，产生特征矢量,然后对特征矢量进行融合处理。一般来说，提取的特征信息应该是像素信息的充分表示量或充分估计量，然后按照特征信息对多传感器数据进行综合分析和处理。特征级图像融合的主要优点有：由于提取传感器原始信息的特征信息，信息得到了压缩，有利于实时处理。特征级图像融合是中间层次上的融合，它是先提取来自传感器的原始32决策级图像融合是最高层次的融合，包含检测、分类、识别和融合，在决策级图像融合之前，每种传感器已经被独立完成了决策和分类任务，融合工作实质上是做出全局的最优决策。决策级图像融合的优点主要表现为：它能在增加或减少一个或多个传感器的情况下工作，对传感器没有特殊的要求，因此，它具有很强的容错性、很好的开放性、融合中心处理代价小，较短的处理时间等特点。同时由于处理的数据量较小，信息通信量小，抗干扰能力强，还能有效的反映环境或目标各个侧面的不同类型信息。由于是最高级别的融合，需要以前面级别的融合结果作为输入，所以预处理的代价非常高。决策级图像融合是最高层次的融合，包含检测、分类、识别和融合，33文章理解本文中，我们提出一种在空间域实行的并且适合多聚焦图像的融合。直观的想法是图像被人们理解为区域或对象级别用来代替像素级别。这包含三个步骤：图像的分割、区域的明确计算和融合图像的构建。第一步，通过简单的求均值的方法合并两个源图像。第二步，被融合的图像使用归一化分割(Ncut)方法分割，根据这个结果图像被划分开。第三步，两个源图像相匹配的区域使用空间频率的方法相融合。文章理解本文中，我们提出一种在空间域实行的并且适合多聚焦图像34实验方案▽1、Regionsegmentationusingnormalizedcuts（基于归一化分割方法的区域分割）被分割的图像是由点集组成的，节点之间的相互联系就构成了加权无向图G=(V,E)。我们给出normalizedcuts（Ncut）的定义：其中，表示所有从节点A到节点B的连接，表示从节点A到所有结点的连接。实验方案35计算流程（1）定义一个给定的图像和权重函数的特征描述矩阵；（2）假定一个加权图G=（V,E），计算边缘权值，得出的W和D的信息矩阵的W表达式如下：X(i)为节点i的位置空间，F(i)=I(i)为强度值，矩阵D是N×N的对角矩阵，对角线上的d(i)=ΣW(i,j)；计算流程36（3）解答(D-W)X=λDX特征向量的最小特征值；（4）使用特征向量找出第二小的特征值，并找出划分的点以便于把Ncut的值减小至最低范围；（5）检查Ncut的值，最简单的是依据第一个计算特征向量的柱状图，然后计算在最大值和最小值之间的二进特征向量的比率，在实验中，设置一个像上述的比率阈值，小于阈值的特征向量是不稳定的（本实验设置阈值为0.06）。我们还可以按照第（2）进一步的细化。（3）解答(D-W)X=λDX特征向量的最小特征值；37▽2、Spatialfrequency（空间频率）空间频率源于人们的目视系统，表明在一个图像中的全部活动程度，一个图像块的空间频率定义如下：假定一个像素为M×N的图像，行频率RF(rowfrequencies)，列频率CF(columnfrequencies),则

F(m,n)是图像F在位置(m,n)的像素灰度值图像的总的空间频率：▽2、Spatialfrequency（空间频率）38▽3、Multifocusimagefusionusingregions’clarity（区域明确的多聚焦图像融合）融合的过程（1）获得检录图像A和B的临时融合图像平均值；（2）使用归一化的分割算法把临时融合图像分割为几个区域；（3）使用第(2)步的结论划分图像A和B；（4）计算每一个划分的A和B区域的空间频率；（5）比较两个源图像相匹配的区