室4上午1机器学习

基于GA优化自适应NSCT_PCNN图像融合汇报人:中国矿业大学朱强波

2015/08/18提纲一、引言二、相关理论三、算法过程四、实验探究与验证五、实验结果评价引言图像融合：是指将几幅含有同一空间多种信息特征的图像，根据融合算法的综合处理，最终得到一幅包含该空间更为全面的图像信息的图像。目前图像融合技术已广泛应用于军事遥感图像处理、医学病变图像识别分析、机器视觉等领域。传统图像融合算法具有良好的空域和频域，适用于表示具有各向同奇异性的对象，但是不能精确表达图像边缘的方向信息Contourlet变换除了具有多尺度、时频局部特性外，还具有方向特性，但该变换不具备平移不变性，在融合过程中会产生吉布斯现象，导致图像失真非下采样Contourlet变换，具有平移不变性，多分辨，多方向的图像表达能力，可提取图像的轮廓特征，能有效的表示图像的边缘信息引言概述本文结合非下采样Contourlet变换(NSCT)及脉冲耦合神经网络(PCNN)的优点来对图像进行融合处理，主要是通过由遗传算法优化的PCNN来确定图像经过NSCT变换分解后的各带通子带的融合系数相关理论NSCT由两部分组成:1)NSP,它类似于拉普拉斯塔形分解,使得NSCT具备了多尺度性;2)采用à

Trous算法实现的NSDFB,它使得NSCT具备了多方向性。1.非下采样Contourlet变换（NSCT）结构示意图相关理论非下采样Contourlet变换（NSCT）非下采样Contourlet变换是Contourlet变换平移不变性的版本，是利用一个双滤波器组结构，即非采样塔形滤波器组(Nonsubsampled

PyramidFilter

Bank,NSPFP)和非采样方向滤波器组(Nonsubsampled

DirectionalFilter

Bank,

NSDFB)将图像多尺度分解和方向分解结合到一起。由于没有对图像进行下采样和上采样操作，所有分解子带的大小都与源图像相同，消除了Contourlet变换的频率混叠现象，使NSCT获得了平移不变性。相关理论2.脉冲耦合神经网络（PCNN）脉冲耦合神经网络（PCNN）Fij

[n]

=

SijLij

[n]

=

WijklYkl

[n

-1]klUij

[n]

=

Fij

[n]{1

+bLij

[n]}{ijY

[n

]

=ijq

qa

dq

[n]

=

eqij

[n-1]

+

Vq

Yij

[n-1]1

U

ij

[n

]>

q

ij

[

n]0

其他

当向一个PCNN神经网络输入一幅图像时，某个神经元被点火，激发兴奋，它会通过邻域神经元的耦合连接子系统对邻域神经元产生作用,当邻域像素的灰度值相近时,又会引起邻域像素的点火，激励并促使它们发生脉冲点火。相关理论相关理论PCNN引入图像融合中的原因：PCNN被用在图像融合中的核心原因就是全局耦合神经元的脉冲同步特性，这些生物学特性充分利用了本地图像的信息，而不像大多数基于多尺度分解图像融合算法那样简单使用图像系数信息。相关理论3.遗传算法（GA）相关理论遗传算法（GA）利用遗传算法的解空间最优随机搜索与PCNN的生物视觉特征，将遗传算法巧妙运用到PCNN模型数学公式的阈值求解中，减

少了PCNN中需要凭借人工经验来设置参数的个数，能够在每

一次的迭代中找到最佳阈值。算法过程流程图算法过程Step1：图像多尺度分解，对原始输入的图像A和B进行NSCT分解，得到不同尺度和方向的子带系数Step2：融合，对低频子带系数和各带通子带系数分别采用不同的融合规则得到融合图像的NSCT系数。1)低频子带系数融合规则传统方法采用平均法，（图像A的系数+图像B的系数）/22)带通子带系数融合规则与传统的PCNN模型不同，本文的PCNN模型神经元的链接强度并没有取相同的固定常数值，而是由对应的像素特征所决定。本文将采取像素的拉普拉斯能量及可见度作为神经元的链接强度Step3：逆变换，对得到的NSCT系数进行非下采样Contourlet逆变换，得到融合后的图像。算法过程遗传算法优化实验验证从红外与可见光图像融合以及医学图像融合（图像来源于标准图像库）进行实验研究，并将本文算法图像融合的结果与常见的融合算法作对比红外图像可见光图像CT图像MRI图像实验验证Laplace融合方法小波融合方法PCNN_NSCT融合方法本文方法实验结果评价边缘强度，清晰度（平均梯度），图像熵等客观评价指标对融合效果进行评估。图像熵的大小反映了融合图像包含的信息量的多少；清晰度(平均梯度)可以敏感地