多模态医学影像配准与融合技术的研究课件

1、多模态医学影像配准与融合技术的研究 导师：高立群 教授 学生：葛 雯多模态医学影像配准与融合技术的研究 导师：高立群 教授主要内容基于的图像融合算法总结与展望基于小波变换的图像融合算法基于的特征级图像融合算法医学图像配准算法课题背景2主要内容基于的图像融合算法总结与展望基于小波变换的图像融合算一、课题背景由于医学图像仪器的成像机理的不同，使得不同模态的医学图像反映人体信息不同，从单一源图像是无法对病人进行全面诊断。图像配准和融合能将多模态的图像信息进行互补，融合成一幅新的影像。目前医学图像融合技术还处于起步阶段，故本文针对多模态医学图像的融合方法及配准算法方面展开研究。3一、课题背景由于医学图

2、像仪器的成像机理的不同，使得不同模3二、医学图像配准算法医学图像配准的定义：是寻求两幅图像间的几何变换关系，通过这一几何变换，使两幅医学图像上的对应点达到空间上的一致，这种一致是指人体上的同一解剖点在两张匹配图像上具有相同的空间位置。 4二、医学图像配准算法医学图像配准的定义：是寻求两幅图像间的几最大互信息配准方法的基本思想 在多模医学图像配准中，基于两幅图像中的相同目标在空间上对齐时相关性最强，对应像素灰度的互信息达到最大，从而可以根据最大互信息的位置找到最佳配准。缺点：由于互信息函数不是分布良好的凸函数，从而导致误配准，同时计算量较大，耗时较长。 5最大互信息配准方法的基本思想5输入图像提

3、取图像的边缘特征信息计算特征点集合的互信息归一化处理 配准提取的特征图像优化搜索根据配准参数配准原图像采用基于算子和小波提升变换的边缘检测方法采用归一化互信息为测度采用改进的鲍威尔算法，寻找最大归一化互信息的位置改进算法的流程图6输入图像提取图像的边缘特征信息计算特征点集合的互信息归一化处仿真实验 (a)图像 (b)图像 (c) 最大的互信息配准法 (d) 所提方法7仿真实验 (a)图像 图像各配准方法的配准参数及性能比较 传统的互信息配准方法所提方法19.4315.32R0.92160.9812水平和垂直偏移量（9.02 8.52）（9.93 9.56）角度偏移量9.5979.9608图像各

4、配准方法的配准参数及性能比较 传统的互信息配准方法所提三、基于小波变换的图像融合算法小波变换具有良好的时频局域化特性及多尺度分析能力,非常适合于图像处理。基于小波变换的影像融合算法被广泛应用于图像融合处理中，其性能优于传统的图像融合方法。 9三、基于小波变换的图像融合算法小波变换具有良好的时频局域化特（一）基于可分离小波变换的图像融合算法具体步骤：对待融合的医学源图像分别进行小波变换分解；对于尺度系数，使用下式合并医学源图像对应的尺度系数； (3.1)10（一）基于可分离小波变换的图像融合算法具体步骤：(3.1)1对于小波系数，首先使用下式确定医学源图像高频分量的边缘点和非边缘点，保护边缘点对

5、应的小波系数；(3.2)(3.3)(3.4)11(3.2)(3.3)(3.4)11对非边缘点用式(3.5)进行小波系数融合。然后用式(3.6)获得融合图像的小波系数。 (3.5)(3.6)12对非边缘点用式(3.5)进行小波系数融合。然后用式(3.6)将融合图像的小波系数和尺度系数进行小波逆变换，即可得到重构后的医学融合图像。 仿真实验 (a) 图像 (b) 图像 (c)拉普拉斯金字塔 融合算法13将融合图像的小波系数和尺度系数进行小波逆变换，即可得到重构后(d)梯度金字塔融合 (e)形态学金字塔融合 (f)小波变换融合算法 算法 算法(g) 所提算法14(d)梯度金字塔融合 (e)形态学金字

6、塔融合 实验结果的质量评价拉普拉斯金字塔融合算法梯度金字塔融合算法 形态学金字塔融合算法 小波变换融合算法 所提算法信息熵 10.911212.678512.835214.264617.5947平均交叉熵 7.83255.37265.14624.52163.2514平均梯度 31.589233.012335.542837.256739.5492相关系数 0.598450.60520.616430.640300.706715实验结果的质量评价拉普拉斯金字塔融合算法梯度金字塔融合算法 低频分量的融合规则 (3.7)(3.8)(3.9)（二）基于不可分离小波变换的图像融合算法16低频分量的融合规则

7、(3.7)(3.8)(3.9)（二）基于高频分量的融合规则 亮度信息细节信息 (3.10)(3.11)17高频分量的融合规则 (3.10)(3.11)17或当其中， ， 调节图像的占优比例 (3.12)(3.13)(3.14)18或当其中， ， 调节图像的占优比例 (3.1因子 调节图像的亮度 (3.17)(3.18)(3.16)(3.15)19因子 调节图像的亮度 (3.17)(3.18)(3.1通过调整这些因子可以消减模糊边缘，突出细节并调节图像的亮度对比度。在临床应用中，为了得到强调不同特征信息的图像，医生既可以根据上面公式计算它们，也可以根据经验手动设定这些参数。 因子 决定图像的边缘

8、(3.19)20通过调整这些因子可以消减模糊边缘，突出细节并调因子 决仿真实验 (a) 图像 (b) 图像 (c)对比度金字塔融合算法(d)基于像素融合算法 (e)基于区域融合算法 (f)所提算法21仿真实验 (a) 图像 实验结果的质量评价对比度金字塔融合算法基于像素融合算法基于区域融合算法所提算法平均交叉熵6.34236.02653.46242.0598标准差12.89655.37265.146219.9356平均梯度 41.675242.125645.326948.5486相关系数 0.48410.51660.61230.796422实验结果的质量评价对比度金字塔融合算法基于像素融合基于

9、区域融基于区域模糊熵和区域亮度细节占优的融合算法设计 (3.20)(3.21)23基于区域模糊熵和区域亮度细节占优的融合算法设计 (3.20)仿真实验 (a) 图像 (b) 图像(c)对比度金字塔融合算法 (d)基于像素融合算法24仿真实验 (a) 图像 (g)所提算法(e)基于区域融合算法 (f)模糊集和小波变换 融合算法25 (g)所提算法(e)基于区域融合算法 实验结果的质量评价对比度金字塔融合算法基于像素融合算法 基于区域融合算法 模糊集和小波变换融合算法 所提算法平均交叉熵9.01438.23266.45785.02313.4956标准差26.312428.657130.98744.

10、521635.2587平均梯度 36.234538.562140.897237.256745.1789相关系数 0.47580.49320.52340.640300.767126实验结果的质量评价对比度金字塔融合算法基于像素融合算法 基于四、基于的图像融合算法小波变换方法针对性都很强，根据不同情况采用不同的融合规则。基于神经网络方法对输入不同类型的图像得到的融合结果不会有很大差别，且其融合规则往往简单易行，故基于神经网络的融合算法适应性要更好一些。因此将具有生物学背景的神经网络应用到医学图像融合中。 27四、基于的图像融合算法小波变换方法针对性都很强，根据不同情况具体融合步骤：1、对每一幅医学

11、图像分别进行两层小波提升分解，提取图像的近似细节、水平、垂直、对角方向的小波系数矩阵。2、对低频和高频子图像分别采用改进的网络，网络大小与相应子图像大小相同，每个内的所有神经元均采用8邻域连接方式。3、将来自医学图像A和B的子图像分别输入相应的网络，并按照如下步骤进行融合处理： 28具体融合步骤：28初始化。设 和 分别表示第k对子图像中像素()的灰度值，将其归一化到01范围内，令内部链接输入矩阵、内部行为矩阵和阈值矩阵的初值分别为: ， ，此时，所有神经元都处于熄火状态: ，为最大迭代次数，点火时刻记录矩阵 ；(2) 根据下式计算 ， ， 和 ；29初始化。设 和 分别表示第k对子图像中像其

12、中： 或 (4.1)30其中： 或 (4.1)30(3)累计网络每次迭代运行的输出:(4) 重复步骤(2)和(3)直到，此时网络迭代运行停止；(5) 根据下式选择融合图像的小波系数: (4.2)(4.3)31(3)累计网络每次迭代运行的输出:(4.2)(4.3)31(6) 为了避免出现某一区域与其相邻的区域分别来源于不同输入源图像的情况，这里采用一致性检测校验步骤(5)得到的结果。即如果神经网络判定某一区域来自于图像而它周围的区域来自图像，则将这个区域用图像中的对应区域像素替换。(7) 最后小波提升逆变换，获得最终的融合图像。32(6) 为了避免出现某一区域与其相邻的区域分别32仿真实验 (a

13、) 图像 (b) 图像 (c)梯度金字塔融合算法(d)基于区域融合算法 (e) (f)所提算法33仿真实验 (a) 图像 (a) 图像 (b) 图像(c)梯度金字塔 (d)基于区域融合 融合算法 算法34 (a) 图像 (g) 所提算法 (e)模糊集和小波 (f) 变换融合算法35 (g) 所提算法 (e)模糊集和小波 11实验结果的质量评价梯度金字塔融合算法 基于区域融合算法 所提方法平均交叉熵5.90132.94565.25482.3487标准差31.332444.948934.567245.1435平均梯度 8.638918.257810.237818.5678相关系数 0.60810.

14、84230.65870.84523611实验结果的质量评价梯度金字塔融合基于区域融合 所提方法平梯度金字塔融合算法 基于区域融合算法 模糊集和小波变换融合算法 所提方法平均交叉熵9.83769.45765.59255.14733.8271标准差29.264530.167433.980734.768439.5867平均梯度 18.974520.867524.987325.635429.3526相关系数 0.43870.48620.60710.61820.764622实验结果的质量评价37梯度金字塔融合算法 基于区域融合算法 模糊集和小波变换融合算基于像素级的医学图像融合可以使融合后的图像包含更全

15、面、更精确的信息，但是所要处理的图像数据量大，故融合速度慢，同时对配准精度的要求非常高。基于特征级的医学图像融合由于对多模医学图像提取的特征信息进行融合，故可以大大加快融合速度，且对图像配准的要求没有像素级严格，但其融合精度比像素级融合差 。 五、基于的特征级图像融合算法38基于像素级的医学图像融合可以使融合后的图像五、基于的特征级图将像素级和特征级融合方法有效地结合起来，利用BP神经网络的优点，提出了基于BP神经网络的特征级图像融合方法。具体步骤：1、 将两幅图像进行图像分割得到一组分割区域，用Ai和Bi分别表示第i个区域对。2、根据灰度共生矩阵，从每个区域抽取五个反映图像纹理的特征。Ai和

16、Bi的特征矢量分别表示为( )和( )。 39将像素级和特征级融合方法有效地结合起来，利393、训练一个用于判断分析Ai和Bi区域纹理特征的神经网络。神经网络的输入是差异矢量( )，网络的输出如下式：4、用训练好的神经网络在所有分割区域（第一步得到的）上进行检测、判断。融合图像的第i个区域按下式构建： (5.1)(5.2)403、训练一个用于判断分析Ai和Bi区域纹理特征的(5.1)(5、采用一致性检测来校验步骤(4)得到的结果。如果神经网络判定某一区域来自于图像1而它周围的区域来自图像2，则将这个区域用图像2中的对应区域像素替换。这样，保证在构成合成系数时，邻域内系数的选择基于相同的规则。

17、415、采用一致性检测来校验步骤(4)得到的结果。41仿真实验 (a) 图像 (b) 图像 (c)基于像素融合算法 (d)小波变换融合算法 (e)基于区域融合算法 (f)所提算法 42仿真实验 (a) 图像 实验结果的质量评价基于像素融合算法 小波变换融合算法 基于区域融合算法 所提算法平均交叉熵15.352614.589414.08945.4983标准差14.856713.996516.527628.5257平均梯度 18.566218.965822.217527.2782相关系数 0.45410.48760.50280.714743实验结果的质量评价基于像素融合小波变换融合基于区域融合所提算总 结1、提出了一种基于边缘特征点的互信息配准方法;2、提出了一种基于可分离小波变换的