多模态医学影像配准与融合技术研究

1、多模态医学影像配准与融合多模态医学影像配准与融合 技术研究技术研究 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 主要内容 基于基于PCNN的图像融合算法的图像融合算法 总结与展望 基于小波变换的图像融合算法基于小波变换的图像融合算法 基于基于BP的特征级图像融合算法的特征级图像融合算法 医学图像配准算法医学图像配准算法 课题背景 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 一、课题背景 由于医学图像仪器的成像机理的不同，使得不同模由于医学图

2、像仪器的成像机理的不同，使得不同模 态的医学图像反映人体信息不同，从单一源图像是态的医学图像反映人体信息不同，从单一源图像是 无法对病人进行全面诊断。图像配准和融合能将多无法对病人进行全面诊断。图像配准和融合能将多 模态的图像信息进行互补，融合成一幅新的影像。模态的图像信息进行互补，融合成一幅新的影像。 目前医学图像融合技术还处于起步阶段，故本文针目前医学图像融合技术还处于起步阶段，故本文针 对多模态医学图像的融合方法及配准算法方面展开对多模态医学图像的融合方法及配准算法方面展开 研究。研究。 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配

3、准与融合技术研 究究 二、医学图像配准算法二、医学图像配准算法 v医学图像配准的定义：是寻求两幅图像间的几何医学图像配准的定义：是寻求两幅图像间的几何 变换关系，通过这一几何变换，使两幅医学图像变换关系，通过这一几何变换，使两幅医学图像 上的对应点达到空间上的一致，这种一致是指人上的对应点达到空间上的一致，这种一致是指人 体上的同一解剖点在两张匹配图像上具有相同的体上的同一解剖点在两张匹配图像上具有相同的 空间位置。空间位置。 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 v最大互信息配准方法的基本思想最大互信息配准方

4、法的基本思想 在多模医学图像配准中，基于两幅图像中的相在多模医学图像配准中，基于两幅图像中的相 同目标在空间上对齐时相关性最强，对应像素同目标在空间上对齐时相关性最强，对应像素 灰度的互信息达到最大，从而可以根据最大互灰度的互信息达到最大，从而可以根据最大互 信息的位置找到最佳配准。信息的位置找到最佳配准。 v缺点：由于互信息函数不是分布良好的凸函数，缺点：由于互信息函数不是分布良好的凸函数， 从而导致误配准，同时计算量较大，耗时较长。从而导致误配准，同时计算量较大，耗时较长。 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研

5、究究 输入图像输入图像 提取图像的边缘特征信息提取图像的边缘特征信息 计算特征点集合的互信息计算特征点集合的互信息 归一化处理归一化处理 配准提取的特征图像配准提取的特征图像 优化搜索优化搜索 根据配准参数根据配准参数配准配准原图像原图像 采用基于采用基于Canny算子和小波算子和小波 提升变换的边缘检测方法提升变换的边缘检测方法 采用归一化互信采用归一化互信 息为测度息为测度 采用改进的鲍威尔算法，寻采用改进的鲍威尔算法，寻 找最大归一化互信息的位置找最大归一化互信息的位置 改进算法的流程图改进算法的流程图 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研

6、多模态医学影像配准与融合技术研 究究 v仿真实验仿真实验 (a)CT图像图像 (b)MRI图像图像 (c) 最大的最大的互信息配准法互信息配准法 (d) 所提方所提方法法 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 CT/MRI图像各配准方法的配准参数及性能比较图像各配准方法的配准参数及性能比较 传统的互信息配准方法传统的互信息配准方法所提方法所提方法 RMSE19.4315.32 R0.92160.9812 水平和垂直偏移量水平和垂直偏移量（9.02 8.52）（9.93 9.56） 角度偏移量角度偏移量9.597

7、9.960 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 三、基于小波变换的图像融合算法三、基于小波变换的图像融合算法 小波变换具有良好的时频局域化特性及多尺度分析小波变换具有良好的时频局域化特性及多尺度分析 能力能力, ,非常适合于图像处理。基于小波变换的影像非常适合于图像处理。基于小波变换的影像 融合算法被广泛应用于图像融合处理中，其性能优融合算法被广泛应用于图像融合处理中，其性能优 于传统的图像融合方法。于传统的图像融合方法。 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多

8、模态医学影像配准与融合技术研 究究 （一）基于可分离小波变换的图像融合算法（一）基于可分离小波变换的图像融合算法 具体步骤：具体步骤： l对待融合的医学源图像分别进行小波变换分解；对待融合的医学源图像分别进行小波变换分解； l对于尺度系数，使用下式合并医学源图像对应的对于尺度系数，使用下式合并医学源图像对应的 尺度系数；尺度系数； 1 12 2F LLL(3.1) 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 l对于小波系数，首先使用下式确定医学源图像对于小波系数，首先使用下式确定医学源图像 高频分量的边缘点和非边缘点

9、，保护边缘点对高频分量的边缘点和非边缘点，保护边缘点对 应的小波系数；应的小波系数； 12 i i E EE 2 () () ii m,nw EPm,n (3.2) (3.3) )()( 1 BfBfMG (3.4) 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 l对非边缘点用式对非边缘点用式(3.5)进行小波系数融合。然后进行小波系数融合。然后 用式用式(3.6)获得融合图像的小波系数。获得融合图像的小波系数。 ),(),(),( 2 21 2 1 21 1 jiDjiDjiD H F (3.5) 2max1max

10、2max1max2 2max1max1 2max1max21 ,),( ,),( ,),( ),(),(max( ),( hhhhjiD hhhhjiD hhhhjiD hhhjiDjiD jiD H F F (3.6) 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 l将融合图像的小波系数和尺度系数进行小波逆变将融合图像的小波系数和尺度系数进行小波逆变 换，即可得到重构后的医学融合图像。换，即可得到重构后的医学融合图像。 v仿真实验仿真实验 (a) CT图像图像 (b) MRI图像图像 (c)拉普拉斯金字塔拉普拉斯金字

11、塔 融合算法融合算法 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 (d)梯度金字塔融合梯度金字塔融合 (e)形态学金字塔融合形态学金字塔融合 (f)小波变换融合算法小波变换融合算法 算法算法 算法算法 (g) 所提算法所提算法 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 CT/MRI实验结果的质量评价实验结果的质量评价 拉普拉斯金字拉普拉斯金字 塔融合算法塔融合算法 梯度金字塔融梯度金字塔融 合算法合算法 形态学金字塔形态学金字塔 融合算法

12、融合算法 小波变换融合小波变换融合 算法算法 所提算法所提算法 信息熵信息熵 10.911212.678512.835214.264617.5947 平均交叉熵平均交叉熵 7.83255.37265.14624.52163.2514 平均梯度平均梯度 31.589233.012335.542837.256739.5492 相关系数相关系数 0.598450.60520.616430.640300.7067 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 低频分量的融合规则低频分量的融合规则 MRI FMRICT CTMR

13、ICTMRI =+ + fCTf ffff HH LLL HHHH M i N j ijijf PPH 11 2 log 11 ( , )/( , ) MN ij ij PI i jI i j (3.7) (3.8) (3.9) （二）基于不可分离小波变换的图像融合算法（二）基于不可分离小波变换的图像融合算法 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 l高频分量的融合规则高频分量的融合规则 亮度信息亮度信息 细节信息细节信息 M m N n N nj M mif NM jiI 11 ) 2 1 , 2 1 ( 1

14、),( 11 11 111 ( , )(,) 2211 (,) 22 MN MN mn mn MN D i jf imjn MN f imjn ) 2 1 1, 2 1 1( N nj M mif (3.10) (3.11) 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 MRIMRICTCTCT F MRIMRIMRICTCT ( , )( , ),( , )( , ) ( , )( ,j),( , )( , ) HIi jIi j Di jDi j H HIi jIiDi jDi j MRIMRICTCT ( , )

15、( , ),( , )( , )Ii jIi j Di jDi j或或 MRIMRICTCT ( , )( , ),( , )( , )Ii jIi j Di jDi j 当当 FMRIMRICT1CT2 ()HHK HHK H ),(),(/(),( 1 jiKjiKjiKK DII 其中，其中， ， 调节调节CT/MRI图像的占优比例图像的占优比例 1 K 2 K (3.12) (3.13) (3.14) 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 MRIMRICTCT MRIMRICTCT ( , )/( ,

16、)( , )( , ) ( , )/( , )( , )( , ) D Di jDi jDi jDi j K Di jDi jDi jDi j 因子因子 调节图像的亮度调节图像的亮度 MRIMRICTCTCT MRIMRIMRICTCT ( , )/( , )( , )( , )( , ) ( , )/( , )( , )( , )( , ) Ii jIi jIi jIi jIi j Ii jIi jIi jIi jIi j (3.17) (3.18) MRIMRICTCT MRIMRICTCT ( , )/( , )( , )( , ) ( , )/( , )( , )( , ) I Ii

17、jIi jIi jIi j K Ii jIi jIi jIi j (3.16) 2 ( , )/( , )( , ) DID KKi jK i jKi j (3.15) 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 通过调整这些因子可以消减模糊边缘，突出细节并调通过调整这些因子可以消减模糊边缘，突出细节并调 节图像的亮度对比度。在临床应用中，为了得到强调节图像的亮度对比度。在临床应用中，为了得到强调 不同特征信息的图像，医生既可以根据上面公式计算不同特征信息的图像，医生既可以根据上面公式计算 它们，也可以根据经验手动设

18、定这些参数。它们，也可以根据经验手动设定这些参数。 因子因子 决定图像的边缘决定图像的边缘 MRIMRICTCTCT MRIMRIMRICTCT ( , )/( , )( , )( , )( , ) ( , )/( , )( ,)( , )( , ) Di jDi jDi jDi jDi j Di jDi jDi j)Di jDi j (3.19) 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 v仿真实验仿真实验 (a) CT图像图像 (b) MRI图像图像 (c)对比度金字塔融合算法对比度金字塔融合算法 (d)基于像

19、素融合算法基于像素融合算法 (e)基于区域融合算法基于区域融合算法 (f)所提算法所提算法 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 CT/MRI实验结果的质量评价实验结果的质量评价 对比度金字塔对比度金字塔 融合算法融合算法 基于像素融合基于像素融合 算法算法 基于区域融合基于区域融合 算法算法 所提算法所提算法 平均交叉熵平均交叉熵6.34236.02653.46242.0598 标准差标准差12.89655.37265.146219.9356 平均梯度平均梯度 41.675242.125645.326948.

20、5486 相关系数相关系数 0.48410.51660.61230.7964 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 l基于区域模糊熵和区域亮度细节占优的融合算法基于区域模糊熵和区域亮度细节占优的融合算法 设计设计 112 F 212 ( )( ) ( )( ) KK KK LHxHx L LHxHx 1 ( )(x ) 2 nijijK i M j N HxS MNln (3.20) (3.21) 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研

21、 究究 v仿真实验仿真实验 (a) CT图像图像 (b) MRI图像图像 (c)(c)对比度金字塔融合算法对比度金字塔融合算法 (d)(d)基于像素融合算法基于像素融合算法 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 (g)所提算法所提算法 (e)(e)基于区域融合算法基于区域融合算法 (f)(f)模糊集和小波变换模糊集和小波变换 融合算法融合算法 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 CT/MRI实验结果的质量评价实验结果的质量评价

22、 对比度金字塔对比度金字塔 融合算法融合算法 基于像素融合基于像素融合 算法算法 基于区域融合基于区域融合 算法算法 模糊集和小波模糊集和小波 变换融合算法变换融合算法 所提算法所提算法 平均交叉熵平均交叉熵9.01438.23266.45785.02313.4956 标准差标准差26.312428.657130.98744.521635.2587 平均梯度平均梯度 36.234538.562140.897237.256745.1789 相关系数相关系数 0.47580.49320.52340.640300.7671 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融

23、合技术研多模态医学影像配准与融合技术研 究究 四、基于四、基于PCNN的图像融合算法的图像融合算法 小波变换方法针对性都很强，根据不同情况采用小波变换方法针对性都很强，根据不同情况采用 不同的融合规则。基于神经网络方法对输入不同不同的融合规则。基于神经网络方法对输入不同 类型的图像得到的融合结果不会有很大差别，且类型的图像得到的融合结果不会有很大差别，且 其融合规则往往简单易行，故基于神经网络的融其融合规则往往简单易行，故基于神经网络的融 合算法适应性要更好一些。因此将具有生物学背合算法适应性要更好一些。因此将具有生物学背 景的景的PCNNPCNN神经网络应用到医学图像融合中。神经网络应用到医

24、学图像融合中。 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 具体融合步骤：具体融合步骤： 1 1、对每一幅医学图像分别进行两层小波提升分对每一幅医学图像分别进行两层小波提升分 解，提取图像的近似细节、水平、垂直、对角方解，提取图像的近似细节、水平、垂直、对角方 向的小波系数矩阵。向的小波系数矩阵。 2 2、对低频和高频子图像分别采用改进的、对低频和高频子图像分别采用改进的PCNNPCNN网网 络，络，PCNNPCNN网络大小与相应子图像大小相同，每个网络大小与相应子图像大小相同，每个 PCNNPCNN内的所有神经元均

25、采用内的所有神经元均采用8 8邻域连接方式。邻域连接方式。 3 3、将来自医学图像、将来自医学图像A A和和B B的子图像分别输入相应的子图像分别输入相应 的的PCNNPCNN网络，并按照如下步骤进行融合处理：网络，并按照如下步骤进行融合处理： 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 初始化。设初始化。设 和和 分别表示第分别表示第k对子图像中对子图像中 像素像素(i, ,j)的灰度值，将其归一化到的灰度值，将其归一化到01范围范围 内，令内部链接输入矩阵、内部行为矩阵和内，令内部链接输入矩阵、内部行为矩阵和 阈

26、值矩阵的初值分别为阈值矩阵的初值分别为: ， ， 此时，所有神经元都处于熄火状态此时，所有神经元都处于熄火状态: ， Nmax为最大迭代次数，点火时刻记录矩阵为最大迭代次数，点火时刻记录矩阵 ； (2) 根据下式计算根据下式计算 ， ， 和和 ； , k A ij I , k B ij I (0)(0)0 kk ijij LU(0)1 k ij (0)0 k ij Y (0)0 k ij T ( ) k ij L n( ) k ij Un ( ) k ij n( ) k ij Yn 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术

27、研 究究 ( ) ( )(1) ( )( )*(1( ) ,:( )( ) ( ) 0, ( )exp()(1)( ) kk ijij k ijijklkl k,l kkk ijijij kk ijijijk ij kkk ijijij FnI L nMYn UnFnL n if Unn Yn otherwise nnV Yn 1,1aii1,1bjj其中：其中： ijI K * ijI K 或或 (4.1) 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 (3)累计网络每次迭代运行的输出累计网络每次迭代运行的输出: (

28、4) 重复步骤重复步骤(2)和和(3)直到，此时网络迭代运行停直到，此时网络迭代运行停 止；止； (5) 根据下式选择融合图像的小波系数根据下式选择融合图像的小波系数: ( )(1)( ) kkk ijijij TnTnYn , ,max,max ,max,max,max,max ,max,max,max ( , )( , ) ,()() 2 ( , )( , ),()(),()() ( , ),()(),() k CTk MRIkk ij CTij MRI kkkk k Fk CTij CTij MRIij CTij MRI kkk k MRIij CTij MRIij CTi Di jDi

29、 j TNTN Di jDi jTNTNTNTN Di jTNTNTNT 且 且 ,max () k j MRI N (4.2) (4.3) 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 (6) 为了避免出现某一区域与其相邻的区域分别为了避免出现某一区域与其相邻的区域分别 来源于不同输入源图像的情况，这里采用一致性来源于不同输入源图像的情况，这里采用一致性 检测校验步骤检测校验步骤(5)得到的结果。即如果神经网络得到的结果。即如果神经网络 判定某一区域来自于图像判定某一区域来自于图像CT而它周围的区域来而它周围的区域来

30、 自图像自图像MRI，则将这个区域用图像，则将这个区域用图像MRI中的对应中的对应 区域像素替换。区域像素替换。 (7) 最后小波提升逆变换，获得最终的融合图最后小波提升逆变换，获得最终的融合图 像。像。 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 v仿真实验仿真实验 (a) CT图像图像 (b) MRI图像图像 (c)梯度金字塔融合算法梯度金字塔融合算法 (d)基于区域融合算法基于区域融合算法 (e) PCNN (f)所提算法所提算法0.7 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与

31、融合技术研多模态医学影像配准与融合技术研 究究 (a) CT图像图像 (b) MRI图像图像 (c)梯度金字塔梯度金字塔 (d)基于区域融合基于区域融合 融合算法融合算法 算法算法 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 (g) 所提算法所提算法 (e)模糊集和小波模糊集和小波 (f) PCNN 变换融合算法变换融合算法 0.7 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 CT1/MRI1实验结果的质量评价实验结果的质量评价 梯度金字塔

32、融合梯度金字塔融合 算法算法 基于区域融合基于区域融合 算法算法 PCNN 所提方法所提方法 平均交叉熵平均交叉熵5.90132.94565.25482.3487 标准差标准差31.332444.948934.567245.1435 平均梯度平均梯度 8.638918.257810.237818.5678 相关系数相关系数 0.60810.84230.65870.8452 0.7 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 梯度金字塔融梯度金字塔融 合算法合算法 基于区域融合基于区域融合 算法算法 模糊集和小波模糊集

33、和小波 变换融合算法变换融合算法 PCNN 所提方法所提方法 平均交叉熵平均交叉熵9.83769.45765.59255.14733.8271 标准差标准差29.264530.167433.980734.768439.5867 平均梯度平均梯度 18.974520.867524.987325.635429.3526 相关系数相关系数 0.43870.48620.60710.61820.7646 CT2/MRI2实验结果的质量评价实验结果的质量评价 = 0.7 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 基于像素级的医

34、学图像融合可以使融合后的图像基于像素级的医学图像融合可以使融合后的图像 包含更全面、更精确的信息，但是所要处理的图包含更全面、更精确的信息，但是所要处理的图 像数据量大，故融合速度慢，同时对配准精度的像数据量大，故融合速度慢，同时对配准精度的 要求非常高。基于特征级的医学图像融合由于对要求非常高。基于特征级的医学图像融合由于对 多模医学图像提取的特征信息进行融合，故可以多模医学图像提取的特征信息进行融合，故可以 大大加快融合速度，且对图像配准的要求没有像大大加快融合速度，且对图像配准的要求没有像 素级严格，但素级严格，但其融合精度比像素级融合差其融合精度比像素级融合差 。 五、基于五、基于BP

35、的特征级图像融合算法的特征级图像融合算法 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 将像素级和特征级融合方法有效地结合起来，利将像素级和特征级融合方法有效地结合起来，利 用用BPBP神经网络的优点，提出了基于神经网络的优点，提出了基于BPBP神经网络的神经网络的 特征级图像融合方法。特征级图像融合方法。 具体步骤：具体步骤： 1、 将两幅图像进行图像分割得到一组分割区将两幅图像进行图像分割得到一组分割区 域，用域，用Ai和和Bi分别表示第分别表示第i个区域对。个区域对。 2、根据灰度共生矩阵，从每个区域抽取五个反映

36、、根据灰度共生矩阵，从每个区域抽取五个反映 图像纹理的特征。图像纹理的特征。Ai和和Bi的特征矢量分别表示为的特征矢量分别表示为 ( )和和( )。 12345 , iiiii AAAAA51234 , iiiii BBBBB 东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准与融合技术研多模态医学影像配准与融合技术研 究究 3、训练一个用于判断分析、训练一个用于判断分析Ai和和Bi区域纹理特征的区域纹理特征的 神经网络。神经网络的输入是差异矢量神经网络。神经网络的输入是差异矢量 ( )，网，网 络的输出如下式：络的输出如下式： 4、用训练好的神经网络在所有分割区域（第一、用训练好的神经网络在所有分割区域（第一 步得到的）上进行检测、判断。融合图像的第步得到的）