医学图像的配准与融合

1、第八章第八章 医学图像的配准与融合医学图像的配准与融合 8.1 配准与融合的应用背景介绍配准与融合的应用背景介绍 8.2 医学图像配准概述医学图像配准概述 8.3 图像配准的理论基础图像配准的理论基础 8.4 常用的医学图像配准方法常用的医学图像配准方法 8.5 图像配准的评估图像配准的评估第八章第八章 医学图像的配准与融合医学图像的配准与融合 8.6 图像融合概述图像融合概述 8.7 常用的图像融合方法常用的图像融合方法 8.8 图像融合效果的评价图像融合效果的评价 随着计算机技术的高速发展，医学成像技术日随着计算机技术的高速发展，医学成像技术日新月异，新月异，为临床医学提供了各种形态和功能

2、的影像为临床医学提供了各种形态和功能的影像信息。信息。 但是各种成像技术和检查方法都有它的优势与但是各种成像技术和检查方法都有它的优势与不足，并非一种成像技术可以适用于人体所有器官不足，并非一种成像技术可以适用于人体所有器官的检查和疾病诊断，也不是一种成像技术能取代另的检查和疾病诊断，也不是一种成像技术能取代另一种成像技术，而是相辅相成、相互补充。一种成像技术，而是相辅相成、相互补充。 8.1 8.1 应用背景介绍应用背景介绍根据医学图像所提供的信息内涵，分为两大类：根据医学图像所提供的信息内涵，分为两大类：l 解剖结构图像（解剖结构图像（CTCT、MRIMRI、B B超等）超等）l 功能图像

3、（功能图像（SPECTSPECT、PETPET等）等）解剖图像以较高的分辨率提供了脏器的解剖形态信息（功能解剖图像以较高的分辨率提供了脏器的解剖形态信息（功能图像无法提供脏器或病灶的解剖细节），但无法反映脏器的图像无法提供脏器或病灶的解剖细节），但无法反映脏器的功能情况。功能情况。功能图像分辨率较差，但它提供的脏器功能代谢信息是解剖功能图像分辨率较差，但它提供的脏器功能代谢信息是解剖图像所不能替代的；图像所不能替代的；8.1 8.1 应用背景介绍应用背景介绍n 目前这两类成像设备的研究都已取得了很大的进步，图像的目前这两类成像设备的研究都已取得了很大的进步，图像的空间分辨率和图像质量有很大的提

4、高，但由于成像原理不同所空间分辨率和图像质量有很大的提高，但由于成像原理不同所造成的图像信息局限性造成的图像信息局限性, ,使得单独使用某一类图像的效果并不使得单独使用某一类图像的效果并不理想。理想。n 因此，为了提高诊断正确率，需要综合利用患者的各种图像因此，为了提高诊断正确率，需要综合利用患者的各种图像信息。信息。 8.1 8.1 应用背景介绍应用背景介绍n 最有效的解决方法：以医学图像配准技术为基础，利用信息最有效的解决方法：以医学图像配准技术为基础，利用信息融合技术，将这两种图像结合起来，利用各自的信息优势，在融合技术，将这两种图像结合起来，利用各自的信息优势，在一幅图像上同时表达来自

5、人体的多方面信息。一幅图像上同时表达来自人体的多方面信息。n 更加直观地提供了人体解剖、生理及病理等信息。其中配准更加直观地提供了人体解剖、生理及病理等信息。其中配准技术是图像融合的关键和难点。技术是图像融合的关键和难点。8.1 8.1 应用背景介绍应用背景介绍8.2 8.2 医学图像配准概述医学图像配准概述一、医学图像配准的概念一、医学图像配准的概念 二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用 三、医学图像配准的基本过程三、医学图像配准的基本过程 四、医学图像配准方法的分类四、医学图像配准方法的分类 一、医学图像配准的概念一、医学图像配准的概念 医学图像配准是指对于一幅医学

6、图像寻求一种（或一医学图像配准是指对于一幅医学图像寻求一种（或一系列）空间变换，使它与另一幅医学图像上的对应点达到系列）空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置（位置一致，角度一致、大匹配图像上有相同的空间位置（位置一致，角度一致、大小一致）。小一致）。 配准的结果应使两幅图像上所有的解剖点，或至少是配准的结果应使两幅图像上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。所有具有诊断意义的点及手术感兴趣的点都达到匹配。 医学图像配准示意图医学图

7、像配准示意图一、医学图像配准的概念一、医学图像配准的概念二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用 医学图像配准具有很重要的临床应用价值。对使用各医学图像配准具有很重要的临床应用价值。对使用各种不同或相同的成像手段所获得的医学图像进行配准不仅种不同或相同的成像手段所获得的医学图像进行配准不仅可以用于医疗诊断，还可用于手术计划的制定、放射治疗可以用于医疗诊断，还可用于手术计划的制定、放射治疗计划的制定、病理变化的跟踪和治疗效果的评价等各个方计划的制定、病理变化的跟踪和治疗效果的评价等各个方面。面。临床应用举例临床应用举例 1 1、计算机辅助手术中，外科医生根据配准的、计算机辅助

8、手术中，外科医生根据配准的CT/MR/DSACT/MR/DSA图图像精确定位病灶及周围相关的解剖结构信息，设计出缜密像精确定位病灶及周围相关的解剖结构信息，设计出缜密的手术计划。在手术过程中，利用三维空间定位系统使术的手术计划。在手术过程中，利用三维空间定位系统使术前计划的虚拟病人、手术台上的真实病人和手术器械三者前计划的虚拟病人、手术台上的真实病人和手术器械三者精确联系起来进行手术跟踪。精确联系起来进行手术跟踪。 二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用临床应用举例临床应用举例 2 2、在癫痫病的治疗中，一方面需要通过、在癫痫病的治疗中，一方面需要通过CTCT，MRIMR

9、I等图像等图像获得病人的解剖信息，另一方面又需要通过获得病人的解剖信息，另一方面又需要通过SPECTSPECT或或PETPET等等得到病人的功能信息，这两方面的结合将有助于对病人的得到病人的功能信息，这两方面的结合将有助于对病人的精确治疗。精确治疗。二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用临床应用举例临床应用举例 3 3、放射治疗中，应用、放射治疗中，应用CTCT和和MRMR图像的配准和融合来制定放图像的配准和融合来制定放疗计划和进行评估，用疗计划和进行评估，用CTCT图像精确计算放射剂量，用图像精确计算放射剂量，用MRMR图图像描述肿瘤的结构，用像描述肿瘤的结构，用PET

10、PET和和SPECTSPECT图像对肿瘤的代谢、免图像对肿瘤的代谢、免疫及其他生理方面进行识别和特性化处理，整合的图像可疫及其他生理方面进行识别和特性化处理，整合的图像可用于改进放射治疗计划或立体定向活检或手术。用于改进放射治疗计划或立体定向活检或手术。 二、医学图像配准在临床上的应用二、医学图像配准在临床上的应用三、医学图像配准的基本过程三、医学图像配准的基本过程 1 1、根据待配准图像（浮动图像）、根据待配准图像（浮动图像）I I2 2与参考图像（基准图与参考图像（基准图像）像）I I1 1，提取出图像的特征信息组成特征空间；，提取出图像的特征信息组成特征空间； 2 2、根据提取出的特征空

11、间确定出一种空间变换，使待、根据提取出的特征空间确定出一种空间变换，使待配准图像配准图像I I2 2经过该变换后与参考图像经过该变换后与参考图像I I1 1能够达到所定义能够达到所定义的相似性测度；的相似性测度； 3 3、在确定变换的过程中，还需采取一定的搜索策略也、在确定变换的过程中，还需采取一定的搜索策略也就是优化措施以使相似性测度更快更好地达到最优值。就是优化措施以使相似性测度更快更好地达到最优值。NY待配准图像I2几何变换T变换后的图像I*=T(I2)相似性测度评价T最优？最优T更新T初始变换T参考图像I1图像配准的流程图图像配准的流程图三、医学图像配准的基本过程三、医学图像配准的基本

12、过程四、医学图像配准方法的分类四、医学图像配准方法的分类 到目前为止，图像配准方法的分类始终没有一个统到目前为止，图像配准方法的分类始终没有一个统一的说法。目前比较流行的是一的说法。目前比较流行的是19931993年年Van den ElsenVan den Elsen等等人对医学图像配准进行的分类，归纳了七种分类标准。人对医学图像配准进行的分类，归纳了七种分类标准。（一）按图像维数分类（一）按图像维数分类 按图像维数分为按图像维数分为2D/2D2D/2D，2D/3D2D/3D，以及，以及3D/3D3D/3D配准。配准。2D/2D2D/2D配准通常指两个断层面间的配准；配准通常指两个断层面间的

13、配准；2D/3D2D/3D配准通常配准通常指空间图像和投影图像（或者是单独的一个层面）间的指空间图像和投影图像（或者是单独的一个层面）间的直接配准；直接配准；3D/3D3D/3D配准指配准指2 2幅三维空间图像间的配准。幅三维空间图像间的配准。四、医学图像配准方法的分类四、医学图像配准方法的分类（二）根据医学图像的模态分类（二）根据医学图像的模态分类 单模态医学图像配准：是指待配准的两幅图像是用同一单模态医学图像配准：是指待配准的两幅图像是用同一种成像设备获取的。一般用在生长监控、减影成像等。种成像设备获取的。一般用在生长监控、减影成像等。 多模态图像配准：是指待配准的两幅图像来源于不同的多模

14、态图像配准：是指待配准的两幅图像来源于不同的成像设备，主要应用于神经外科的诊断、手术定位及放成像设备，主要应用于神经外科的诊断、手术定位及放疗计划设计等。疗计划设计等。 四、医学图像配准方法的分类四、医学图像配准方法的分类（三）根据变换性质分类（三）根据变换性质分类 刚性变换：只包括平移和旋转。刚性变换：只包括平移和旋转。 仿射变换：将平行线变换为平行线。仿射变换：将平行线变换为平行线。 投影变换：将直线映射为直线。投影变换：将直线映射为直线。 曲线变换：将直线映射为曲线曲线变换：将直线映射为曲线。四、医学图像配准方法的分类四、医学图像配准方法的分类（四）根据用户交互性的多少分类（四）根据用户

15、交互性的多少分类 自动配准：用户只需提供相应的算法和图像数据。自动配准：用户只需提供相应的算法和图像数据。 半自动配准：用户需初始化算法或指导算法半自动配准：用户需初始化算法或指导算法( (如拒绝或如拒绝或接受配准假设接受配准假设) )； 交互配准：用户在软件的帮助下进行配准交互配准：用户在软件的帮助下进行配准 四、医学图像配准方法的分类四、医学图像配准方法的分类（五）根据配准所基于的图像特征分类（五）根据配准所基于的图像特征分类 基于外部特征的图像配准：是指在研究对象上设置一些基于外部特征的图像配准：是指在研究对象上设置一些 标志点，使这些标记点能在不同的影像模式中标志点，使这些标记点能在不

16、同的影像模式中 显示，然后再用自动、半自动或交互式的方法显示，然后再用自动、半自动或交互式的方法 用标记将图像配准。用标记将图像配准。 基于内部特征的配准：主要包括三个方面：基于标记的基于内部特征的配准：主要包括三个方面：基于标记的 配准方法、基于分割的配准方法、基于像素特配准方法、基于分割的配准方法、基于像素特 性的配准性的配准。 四、医学图像配准方法的分类四、医学图像配准方法的分类（六）根据配准过程中变换参数确定的方式分类（六）根据配准过程中变换参数确定的方式分类 1 1、通过直接计算公式得到变换参数的配准：限制在基于特征信息、通过直接计算公式得到变换参数的配准：限制在基于特征信息( (例

17、如小数目的特征点集、二维曲线、三维表面例如小数目的特征点集、二维曲线、三维表面) )的配准应用中。的配准应用中。 2 2、通过在参数空间中寻求某个函数的最优解得到变换参数的配准：、通过在参数空间中寻求某个函数的最优解得到变换参数的配准： 所有的配准都变成一个能量函数的极值求解问题。所有的配准都变成一个能量函数的极值求解问题。 四、医学图像配准方法的分类四、医学图像配准方法的分类（七）根据主体分类（七）根据主体分类 1 1、同一患者、同一患者(Intrasubject)(Intrasubject)的的 配准：指将来自同一个病配准：指将来自同一个病人的待配准图像，用于任何种类的诊断中；人的待配准图

18、像，用于任何种类的诊断中； 2 2、不同患者、不同患者(Intersubject) (Intersubject) 的配准：指待配准图像来自的配准：指待配准图像来自不同病人，主要用在三维头部图像不同病人，主要用在三维头部图像(MR(MR、CT)CT)的配准中的配准中 3 3、 患者与图谱的患者与图谱的(Atlas)(Atlas)图像配准。是指待配准图像一图像配准。是指待配准图像一幅来自病人，一幅来自图谱。幅来自病人，一幅来自图谱。四、医学图像配准方法的分类四、医学图像配准方法的分类8.3 图像配准的理论基础图像配准的理论基础一、图像配准原理一、图像配准原理 二、空间变换二、空间变换 三、参数的优

19、化搜索三、参数的优化搜索 四、插值方法四、插值方法 五、相似性测度五、相似性测度 一、图像配准原理一、图像配准原理 对于在不同时间或对于在不同时间或/ /和不同条件下获取的两幅图像和不同条件下获取的两幅图像A(x)A(x)和和B(x)B(x)的配准，就是要定义一个相似性测度并寻找的配准，就是要定义一个相似性测度并寻找一个空间变换关系，使得经过该空间变换后两幅图像间一个空间变换关系，使得经过该空间变换后两幅图像间的相似性达到最大（或者差异性最小）。即使图像的相似性达到最大（或者差异性最小）。即使图像A A上上的每一个点在图像的每一个点在图像B B上都有唯一的点与之对应，并且这上都有唯一的点与之对

20、应，并且这两点应对应同一解剖位置。两点应对应同一解剖位置。 )(),()(XTBXASTSS S是相似性测度，配准的过程归结为寻求最佳空间变换的过程。是相似性测度，配准的过程归结为寻求最佳空间变换的过程。 公式表示公式表示: : )(maxargTST 由于空间变换包含多个参数，是一个多参数最优化问题，一由于空间变换包含多个参数，是一个多参数最优化问题，一般由迭代过程实现：般由迭代过程实现：TTTdTTdST)(一、图像配准原理一、图像配准原理二、空间变换二、空间变换 图像图像A A和和B B的配准就是寻找一种映射关系的配准就是寻找一种映射关系T T：X XAAX XB B，使得使得X XA

21、A上的每一点在上的每一点在X XB B上都有唯一的点与之对应。上都有唯一的点与之对应。 这种映射关系表现为一组连续的空间变换，如整幅图像这种映射关系表现为一组连续的空间变换，如整幅图像应用相同的空间变换，则称之为全局变换（应用相同的空间变换，则称之为全局变换（global global transformationtransformation），否则，称之为局部变换（），否则，称之为局部变换（local local transformationtransformation）。）。 图像配准的基本变换图像配准的基本变换二、空间变换二、空间变换二、空间变换二、空间变换刚体变换刚体变换 刚体：刚体：

22、是指物体内部任意两点间的距离保持不变。是指物体内部任意两点间的距离保持不变。 刚体变换：刚体变换：使得一幅图像中任意两点间的距离在变换前使得一幅图像中任意两点间的距离在变换前 后保持不变。后保持不变。 例如：人体的头部由坚硬的颅骨支撑，在处理时通常忽例如：人体的头部由坚硬的颅骨支撑，在处理时通常忽 略头部皮肤的微小变形，将整个人脑看作是一个略头部皮肤的微小变形，将整个人脑看作是一个 刚体。刚体。两幅图像之间的刚体变换可由一个刚体模型描述：两幅图像之间的刚体变换可由一个刚体模型描述：TsRUVs s是比例变换因子是比例变换因子。 ,）（zyxtttT 是图像之间沿是图像之间沿x x，y y，z

23、z方向上的平移量。方向上的平移量。R R是是3 33 3的旋转矩阵，满足约束条件：的旋转矩阵，满足约束条件： IRRRRtt1)det(R二、空间变换二、空间变换刚体变换刚体变换相对笛卡尔坐标系的三个坐标轴，相对笛卡尔坐标系的三个坐标轴，R R有三种不同的形式：有三种不同的形式： xxxxxRcossin0sincos0001yyyyyRcos0sin010sin0cos1000cossin0sincoszzzzzRxyz分别表示围绕分别表示围绕XYZ坐标轴的旋转角度坐标轴的旋转角度 二、空间变换二、空间变换刚体变换刚体变换二、空间变换二、空间变换- -仿射变换仿射变换仿射变换：仿射变换：将直

24、线映射为直线，并保持平行性。将直线映射为直线，并保持平行性。TsRUV不满足：不满足：IRRRRtt1)det(R在笛卡儿坐标系下，二维仿射变换的旋转矩阵在笛卡儿坐标系下，二维仿射变换的旋转矩阵RR表示为：表示为：100232221131211mmmmmmR1000343332312423222114131211mmmmmmmmmmmmR三维：三维：二、空间变换二、空间变换- -仿射变换仿射变换二、空间变换二、空间变换投影变换投影变换投影变换：投影变换：将直线映射为直线，但不保持平行性质。将直线映射为直线，但不保持平行性质。投影变换主要用于二维投影图像与三维体积图像的配准。投影变换主要用于二维

25、投影图像与三维体积图像的配准。 二维投影变换按照下式将图像二维投影变换按照下式将图像),(11yxA映射至图像映射至图像),(22yxB：33132131131121112ayaxaayaxax33132131231221212ayaxaayaxayija是依赖于图像本身的常数。是依赖于图像本身的常数。 二、空间变换二、空间变换非线性变换非线性变换非线性变换是把直线变换为曲线。它反映的是图像中组织非线性变换是把直线变换为曲线。它反映的是图像中组织或器官的严重变形或位移。典型的非线性变换是多项式函或器官的严重变形或位移。典型的非线性变换是多项式函数，如二次、三次函数及薄板样条函数。有时也使用指数

26、数，如二次、三次函数及薄板样条函数。有时也使用指数函数。非线性变换多用于使解剖图谱变形来拟合图像数据函数。非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。或对有全局性形变的胸、腹部脏器图像的配准。二、空间变换二、空间变换非线性变换非线性变换1. 1. 二阶多项式变换二阶多项式变换 20908210706052104103102101002zayzayaxzaxyaxazayaxaax21918211716152114113112111102zayzayaxzaxyaxazayaxaay22928212726252124123122121202zayzaya

27、xzaxyaxazayaxaaz2. 2. 薄板样条变换薄板样条变换 |)(|)(1XPUWBAXXfinii其中：其中：X X是坐标向量，是坐标向量， A A与与B B定义一个仿射变换，定义一个仿射变换， U U是径向基函数。是径向基函数。可以表示为仿射变换与径向基函数的线性组合：可以表示为仿射变换与径向基函数的线性组合：二、空间变换二、空间变换非线性变换非线性变换在二维图像配准中：在二维图像配准中：22log)(rrrU22yxr在三维图像配准中：在三维图像配准中：|)(rrU222zyxr二、空间变换二、空间变换非线性变换非线性变换三、参数的优化搜索三、参数的优化搜索配准的几何变换参数根

28、据求解方式可分成两类：配准的几何变换参数根据求解方式可分成两类：一、根据获得的数据用联立方程组直接计算得到的，这一一、根据获得的数据用联立方程组直接计算得到的，这一 类完全限制在基于特征信息的配准应用中。类完全限制在基于特征信息的配准应用中。二、根据参数空间的能量函数最优化搜索得到。在这一类二、根据参数空间的能量函数最优化搜索得到。在这一类 中所有的配准都变成一个能量函数的极值求解问题。中所有的配准都变成一个能量函数的极值求解问题。因此图像配准问题本质上是多参数优化问题，优化算法的因此图像配准问题本质上是多参数优化问题，优化算法的选择至关重要。选择至关重要。常用的优化算法常用的优化算法: :

29、Powell Powell法、梯度下降法、法、梯度下降法、 遗传算法、模拟退火法、遗传算法、模拟退火法、 下山单纯形法、下山单纯形法、Levenberg-MarquadrtLevenberg-Marquadrt法等。法等。三、参数的优化搜索三、参数的优化搜索( (一一) Powell) Powell法法PowellPowell法是一种传统的确定性优化方法，又称为方向加速法是一种传统的确定性优化方法，又称为方向加速法，由法，由M.J.D.PowellM.J.D.Powell于于19641964年首先提出。年首先提出。基本含义是基本含义是: :对于对于n n维极值问题，首先沿着维极值问题，首先沿着

30、n n个坐标方向求个坐标方向求极小，经多极小，经多n n次之后得到次之后得到n n个共轭方向，然后沿个共轭方向，然后沿n n个共轭方个共轭方向求极小，经过多次迭代后便可求得极小值。向求极小，经过多次迭代后便可求得极小值。三、参数的优化搜索三、参数的优化搜索PowellPowell法的原理：法的原理：对于某一问题，将其归结为求取某一目标函数对于某一问题，将其归结为求取某一目标函数的极小值。其中的极小值。其中Y Y为一个向量：为一个向量： 。)(YJJ TnyyyY,21nnnnnnnDDDdddddddddD212122221112110,21iniiidddD设置一个满秩的步长矩阵：设置一个满

31、秩的步长矩阵：三、参数的优化搜索三、参数的优化搜索对于某一初始值对于某一初始值TnyyyYY,002010, ,迭代过程如下：迭代过程如下： 首先在首先在1D方向上搜索，求方向上搜索，求1，使，使)(110DYJJ为极小，为极小，1101DYY并令：并令：2.依次求依次求2，使，使)(221DYJJ为极小，并令为极小，并令2212DYY，如此下去，如此下去.3.最后求最后求n，使，使)(1nnnDYJJ为极小，并令为极小，并令nnnnDYY1，4.令令1iiDD1, 2 , 1ni)(0YYDnn ,在新的在新的nD方向上在搜索一方向上在搜索一 次，即求次，即求,使使)(nnDYJJ为极小，并

32、令新的为极小，并令新的0Y为为nnDYY0至此，完成了第一轮至此，完成了第一轮n+1次的搜索。接下去进行下一轮的搜索，次的搜索。接下去进行下一轮的搜索，直至性能指标满意或满足某种停止条件为止。直至性能指标满意或满足某种停止条件为止。 三、参数的优化搜索三、参数的优化搜索( (二二) ) 梯度下降法梯度下降法 该算法在求最小化过程中直接利用梯度信息，沿着该算法在求最小化过程中直接利用梯度信息，沿着起始点梯度方向的反方向，求出最小值点，然后移动到起始点梯度方向的反方向，求出最小值点，然后移动到最小值点，再重复上面的过程，直到前后点的函数值的最小值点，再重复上面的过程，直到前后点的函数值的差小于给定

33、的误差值，则结束迭代过程。差小于给定的误差值，则结束迭代过程。三、参数的优化搜索三、参数的优化搜索( (三三) )遗传算法遗传算法 遗传算法（遗传算法（Genetic AlgorithmGenetic Algorithm）是模拟达尔文的遗）是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，是一种传选择和自然淘汰的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法，它是由美国通过模拟自然进化过程搜索最优解的方法，它是由美国MichiganMichigan大学大学J.HollandJ.Holland教授于教授于19751975年首先提出来的。年首先提出来的。三、参数的优化搜

34、索三、参数的优化搜索( (三三) )遗传算法遗传算法 在求解优化问题时，遗传算法将优化问题当作一个生存在求解优化问题时，遗传算法将优化问题当作一个生存环境，问题的一个解当作生存环境中的一个个体，以目标函环境，问题的一个解当作生存环境中的一个个体，以目标函数值或其变化形式来评价个体对环境的适应能力，模拟由数值或其变化形式来评价个体对环境的适应能力，模拟由一定数量个体所组成的群体的进化过程，优胜劣汰，最终一定数量个体所组成的群体的进化过程，优胜劣汰，最终获得最好的个体，即问题的最优解。获得最好的个体，即问题的最优解。三、参数的优化搜索三、参数的优化搜索四、插值方法四、插值方法 在图像配准中，空间坐

35、标变换后得到的像素坐标位置在图像配准中，空间坐标变换后得到的像素坐标位置可能不在整数像素上，因此需要用灰度插值的方法对像素可能不在整数像素上，因此需要用灰度插值的方法对像素值进行估计。值进行估计。 常用的插值方法有常用的插值方法有: :最近邻插值法、双线性插值法和部最近邻插值法、双线性插值法和部分体积分布法等。分体积分布法等。(1)(1)最近邻插值（最近邻插值（NNNN）图8-4 最近邻插值示意图),()(vfnf),(minarginnndvi),(111vun),(222vun),(333vun),(444vun计算计算n n和邻近四个点之间的距离，并将与该点距离最小的点和邻近四个点之间的

36、距离，并将与该点距离最小的点的灰度值赋给的灰度值赋给n n。 (2)(2)双线性插值（双线性插值（BIBI）双线性插值法又称为一阶插值算法，它是用线性插值来求双线性插值法又称为一阶插值算法，它是用线性插值来求像素灰度的一种方法。具体计算方法为先沿着一个坐标轴像素灰度的一种方法。具体计算方法为先沿着一个坐标轴方向使用线性插值方法求出两点的插值灰度，然后沿另一方向使用线性插值方法求出两点的插值灰度，然后沿另一个坐标轴，利用这两个点对目标点进行线性插值来求灰度个坐标轴，利用这两个点对目标点进行线性插值来求灰度。 )()(iiinfnf)(inf灰度值灰度值, , i各相邻点的权重，与它们到各相邻点的

37、权重，与它们到n n的距离成反比。的距离成反比。 dydxdydxdydxdydx)1 ()1 ()1 ()1 (43211n3n2n4n3W4W2W1Wn(2)(2)双线性插值（双线性插值（BIBI）( (四四) )部分体积插值法（部分体积插值法（PVPV） 部分体积分布法是部分体积分布法是F.MaesF.Maes等人提出来的，是对双线性等人提出来的，是对双线性插值方法的一个改进。主要是为了克服双线性插值方法在图插值方法的一个改进。主要是为了克服双线性插值方法在图像中会产生新的灰度值而引起图像灰度分布发生变化的缺像中会产生新的灰度值而引起图像灰度分布发生变化的缺点，以便得到比较光滑的目标函数

38、，有利于优化搜索。点，以便得到比较光滑的目标函数，有利于优化搜索。 PV PV根据线性插值的权重分配原则，将每对像素对联合直根据线性插值的权重分配原则，将每对像素对联合直方图的贡献分散到联合直方图中与之相邻的各个像素对上，方图的贡献分散到联合直方图中与之相邻的各个像素对上，这样联合直方图上各个像素对的频度值以小数增加，因此这样联合直方图上各个像素对的频度值以小数增加，因此不会出现新的灰度值而破坏目标函数值分布的光滑性。不会出现新的灰度值而破坏目标函数值分布的光滑性。具体的计算公式为具体的计算公式为: :iiivfufhvfufh)(),()(),(i为权重，其取值同为权重，其取值同BIBI法。

39、法。 ( (四四) )部分体积插值法（部分体积插值法（PVPV） 五、五、相似性测度相似性测度 配准过程在得到几何变换后，进一步的工作就是要找到配准过程在得到几何变换后，进一步的工作就是要找到一种合适、最优的描述量，用以表征相似或者差异，称一种合适、最优的描述量，用以表征相似或者差异，称这种描述量为相似性测度。这种描述量为相似性测度。 （一）灰度均方差（一）灰度均方差设设 和和 分别表示参考图像和浮动图像中的数据，分别表示参考图像和浮动图像中的数据，两幅图像像素值的均方差可以表示为两幅图像像素值的均方差可以表示为: :)(xfR)(xfTxdxfQxfVFTRVx2)()(|1其中，其中，V

40、V表示参与计算的图像区域，表示参与计算的图像区域，|V表示参与计算的像素总量，表示参与计算的像素总量，)( fQ表示对图像数据的变换。表示对图像数据的变换。灰度均方差作为相似性测度适用于单模医学图像的配准。灰度均方差作为相似性测度适用于单模医学图像的配准。 （二）（二） 归一化互相关归一化互相关TjiTjifloflorefrefTjifloflorefrefIjiIIjiIIjiIIjiIR),(),(2),(),(),(),()(),(refIfloI分别是参考图和浮动图在分别是参考图和浮动图在Tji),(区域内的区域内的像素灰度平均值，像素灰度平均值，R R为相关系数。为相关系数。（三）

41、（三） 互信息互信息 相似测度形式多样，在基于全图像信息的图像配准中，相似测度形式多样，在基于全图像信息的图像配准中，以互信息量作为相似测度的方法以其计算复杂度低、鲁棒以互信息量作为相似测度的方法以其计算复杂度低、鲁棒性好等特性逐渐成为当前研究的热点。性好等特性逐渐成为当前研究的热点。下一节对基于互信息量的图像配准方法做详细的介绍。下一节对基于互信息量的图像配准方法做详细的介绍。8.4 8.4 图像配准的主要方法图像配准的主要方法 图像配准的方法有多种，目前主要的配准方法大体上可图像配准的方法有多种，目前主要的配准方法大体上可以分为两类以分为两类: : 基于特征的配准方法基于特征的配准方法 基

42、于灰度的配准方法。基于灰度的配准方法。 一、基于特征的配准方法一、基于特征的配准方法 配准过程：配准过程： 首先对待配准图像进行特征提取，常用到的图像特征首先对待配准图像进行特征提取，常用到的图像特征有有: :点、直线段、边缘、轮廓、闭合区域、特征结构以及点、直线段、边缘、轮廓、闭合区域、特征结构以及统计特征如矩不变量、重心等等。统计特征如矩不变量、重心等等。 然后利用提取到的特征完成两幅图像特征之间的匹配。然后利用提取到的特征完成两幅图像特征之间的匹配。（一）、基于点特征的配准（一）、基于点特征的配准 点特征是图像配准中最为常用的图像特征之一，分为点特征是图像配准中最为常用的图像特征之一，分

43、为外部特征点与内部特征点两种。外部特征点与内部特征点两种。 外部特征点：外部特征点：是成像时固定在患者身体上的标记物。是成像时固定在患者身体上的标记物。这种方法的配准变换被限制为刚性变换。这种方法的配准变换被限制为刚性变换。 侵入性标记物侵入性标记物 非侵入性标记物非侵入性标记物 （一）基于点特征的配准（一）基于点特征的配准 内部特征点：内部特征点：是一些有限的可明显识别的点集，可以是解是一些有限的可明显识别的点集，可以是解剖点剖点( (一般由用户识别出一般由用户识别出) )，也可以是几何点，也可以是几何点( (包括边缘点、包括边缘点、角点、灰度的极值点、曲率的极值点、两个线性结构的角点、灰度

44、的极值点、曲率的极值点、两个线性结构的交点或某一封闭区域的质心等交点或某一封闭区域的质心等) )。 这种方法主要求解刚体或仿射变换，如果标记点数目足这种方法主要求解刚体或仿射变换，如果标记点数目足 够多，也能用来更复杂的非刚体变换。够多，也能用来更复杂的非刚体变换。 （二）基于直线特征的配准（二）基于直线特征的配准 线段是图像中另一个易于提取的特征。一般利用线段是图像中另一个易于提取的特征。一般利用HoughHough变变 换提取图像中的直线。换提取图像中的直线。 建立两幅图像中分别提取的直线段的对应关系。建立两幅图像中分别提取的直线段的对应关系。 利用直线段的斜率和端点的位置关系，可以构造一

45、个这些利用直线段的斜率和端点的位置关系，可以构造一个这些信息指标的直方图，并通过寻找直方图的聚集束达到直线信息指标的直方图，并通过寻找直方图的聚集束达到直线段的匹配。段的匹配。（三）基于轮廓与曲线特征的配准（三）基于轮廓与曲线特征的配准 近年来，随着图像分割、边缘检测等技术的发展，近年来，随着图像分割、边缘检测等技术的发展，基于边缘、轮廓的图像配准方法逐渐成为配准领域的基于边缘、轮廓的图像配准方法逐渐成为配准领域的研究热点。研究热点。 分割和边缘检测技术是这类方法的基础，目前已分割和边缘检测技术是这类方法的基础，目前已报道的有很多图像分割方法可以用来做图像配准需要报道的有很多图像分割方法可以用

46、来做图像配准需要的边缘轮廓和区域的检测，比如的边缘轮廓和区域的检测，比如CannyCanny边缘提取算子，边缘提取算子，拉普拉斯拉普拉斯- -高斯算子高斯算子(LoG )(LoG )，动态阈值技术，区域增长等。，动态阈值技术，区域增长等。（三）基于轮廓与曲线特征的配准（三）基于轮廓与曲线特征的配准在特征提取的基础上，很多学者针对轮廓、边缘等进行了配在特征提取的基础上，很多学者针对轮廓、边缘等进行了配准研究。准研究。 1 1、GovinduGovindu等采用轮廓上点的切线斜率来表示物体轮廓，等采用轮廓上点的切线斜率来表示物体轮廓， 通过比较轮廓边缘的分布确定变换参数。通过比较轮廓边缘的分布确定

47、变换参数。2 2、DavatzikosDavatzikos等提出了一种二阶段大脑图像配准算法，等提出了一种二阶段大脑图像配准算法， 在第一阶段使用活动轮廓算法建立一一影射，第二阶段在第一阶段使用活动轮廓算法建立一一影射，第二阶段 采用弹性变换函数确定轮廓的最佳变换。采用弹性变换函数确定轮廓的最佳变换。（三）基于轮廓与曲线特征的配准（三）基于轮廓与曲线特征的配准 3 3、李登高等提出了一种对部分重叠的图像进行快速配准的、李登高等提出了一种对部分重叠的图像进行快速配准的 方法，该方法是基于轮廓特征的随机匹配算法。通过提方法，该方法是基于轮廓特征的随机匹配算法。通过提 取轮廓上的取轮廓上的“关键点关

48、键点”作为特征点，随机选择若干特征点作为特征点，随机选择若干特征点 对得到候选变换，随后的投票阶段对其变换参数进行检对得到候选变换，随后的投票阶段对其变换参数进行检 验和求精。验和求精。 4 4、赵训坡等提出一种基于证据积累的图像曲线粗匹配方法，、赵训坡等提出一种基于证据积累的图像曲线粗匹配方法， 比较有效地解决了将图像中提取的一条曲线比较有效地解决了将图像中提取的一条曲线( (较短较短) )与一与一 条参考曲线条参考曲线( (较长较长) )相匹配的问题。相匹配的问题。（四）基于面特征的配准（四）基于面特征的配准基于面的配准方法中最典型的算法是由基于面的配准方法中最典型的算法是由Pelizza

49、riPelizzari和和 ChenChen提出的提出的“头帽法头帽法”（Head-Hat MethodHead-Hat Method）。）。从一幅图像中提取一个表面模型称为从一幅图像中提取一个表面模型称为“头头”(Head)(Head)，从另外一幅图，从另外一幅图像轮廓上提取的点集称为像轮廓上提取的点集称为“帽子帽子”(Hat)(Hat)。用刚体变换或选择性的仿。用刚体变换或选择性的仿射变换将射变换将“帽子帽子”的点集变换到的点集变换到“头头”上，然后采用优化算法使得上，然后采用优化算法使得“帽帽子子”的各点到的各点到“头头”表面的均方根距离最小。表面的均方根距离最小。（四）基于面特征的配准

50、（四）基于面特征的配准 头帽法最初用于头部的头帽法最初用于头部的SPECTSPECT和和CT (CT (或或MRI)MRI)配准，参考配准，参考特征是头部的皮肤表面；然后用于头部的特征是头部的皮肤表面；然后用于头部的SPECTSPECT图像之间的图像之间的配准，参考特征是头颅骨表面和大脑表面。配准，参考特征是头颅骨表面和大脑表面。 优化算法目前一般用优化算法目前一般用PowellPowell法。均方距离是六个待求法。均方距离是六个待求刚体变换参数的函数，其最小时可得刚体变换参数。刚体变换参数的函数，其最小时可得刚体变换参数。 （四）基于面特征的配准（四）基于面特征的配准 比较常用的配准方法还有

51、迭代最近点算法比较常用的配准方法还有迭代最近点算法(ICP)(ICP)。迭代最近点（。迭代最近点（ICPICP）配准算法由配准算法由BeslBesl和和MckayMckay提出的，它将一般的非线性最小化问题归结为基提出的，它将一般的非线性最小化问题归结为基于点的迭代配准问题。于点的迭代配准问题。 迭代最近点算法迭代最近点算法(ICP)(ICP)中必须先采样出图像结构上的特征点，然后用中必须先采样出图像结构上的特征点，然后用迭代的方法不断求出一幅图中相对于另一幅图中所有采样点的最近点，直迭代的方法不断求出一幅图中相对于另一幅图中所有采样点的最近点，直到两个点集的均方差低于设定阈值，这时可得到匹配

52、变换参数。到两个点集的均方差低于设定阈值，这时可得到匹配变换参数。二、基于灰度的配准方法二、基于灰度的配准方法n基于灰度的配准方法是目前研究得较多的一种方法，它直接利用图像基于灰度的配准方法是目前研究得较多的一种方法，它直接利用图像的灰度信息进行配准，从而避免了因分割带来的误差，因而具有精度的灰度信息进行配准，从而避免了因分割带来的误差，因而具有精度较高、稳健性强、不需要预处理而能实现自动配准的特点。较高、稳健性强、不需要预处理而能实现自动配准的特点。n 基于灰度的配准有两类主要的方法，一类是通过图像灰度直接计算基于灰度的配准有两类主要的方法，一类是通过图像灰度直接计算出代表性的比例和方向等要

53、素；另一类是配准过程中使用全部的灰度出代表性的比例和方向等要素；另一类是配准过程中使用全部的灰度信息。信息。n第一种方法以力矩和主轴法为代表，第二种方法一般称为体素相似性。第一种方法以力矩和主轴法为代表，第二种方法一般称为体素相似性。（一）（一） 力矩和主轴法力矩和主轴法 力矩和主轴法是指先用经典力学物体质量分布的原理计力矩和主轴法是指先用经典力学物体质量分布的原理计算出两幅图像的质心和主轴，再通过平移和旋转变换使两幅算出两幅图像的质心和主轴，再通过平移和旋转变换使两幅图像达到配准。利用此方法，图像可以模型化为椭圆形区域图像达到配准。利用此方法，图像可以模型化为椭圆形区域的点分布。这样的分布可

54、以用这些点的位置的一阶和二阶矩的点分布。这样的分布可以用这些点的位置的一阶和二阶矩描述。描述。 （一）（一） 力矩和主轴法力矩和主轴法缺点：缺点：该方法对数据的缺失较敏感，要求整个物体必须完整该方法对数据的缺失较敏感，要求整个物体必须完整 地出现在两幅图像中。从整体上来说，配准精度较差，地出现在两幅图像中。从整体上来说，配准精度较差， 所以目前它更多地用来进行粗配准，使两幅图像初步所以目前它更多地用来进行粗配准，使两幅图像初步 对齐，以减少后续主要配准方法的搜索步骤。对齐，以减少后续主要配准方法的搜索步骤。（二）（二） 体素相似性法：体素相似性法： 体素相似性法是目前研究较多的一类方法。它是利

55、用体素相似性法是目前研究较多的一类方法。它是利用图像中的所有灰度信息，这种方法一般都较为稳定，并能图像中的所有灰度信息，这种方法一般都较为稳定，并能获得相当准确的结果。获得相当准确的结果。 该方法是完全自动的，不需要特殊的预处理，但这种该方法是完全自动的，不需要特殊的预处理，但这种方法由于需要大量的复杂计算，因此最近几年才转入实际方法由于需要大量的复杂计算，因此最近几年才转入实际应用。应用。（二）（二） 体素相似性法：体素相似性法：常见的基于体素相似性的配准方法有：常见的基于体素相似性的配准方法有： 互相关法互相关法 基于傅立叶域的互相关法和相位相关法基于傅立叶域的互相关法和相位相关法 灰度比

56、的方差最小化法灰度比的方差最小化法 直方图的互信息最大化法等。直方图的互信息最大化法等。主要讨论主要讨论。 最大互信息法最大互信息法 最大互信息法以互信息作为相似性测度。最大互信息法以互信息作为相似性测度。 19951995年分别被年分别被Viola Viola 和和CollignonCollignon等首次用于医学图像配准中等首次用于医学图像配准中。 互信息互信息 (Mutual Information(Mutual Information， MI)MI)是信息论中的一个基是信息论中的一个基本概念，用于描述两个系统间的统计相关性，或者是在一个系本概念，用于描述两个系统间的统计相关性，或者是在

57、一个系统中包含的另一个系统的信息的多少，一般用熵来表示，表达统中包含的另一个系统的信息的多少，一般用熵来表示，表达的是一个系统的复杂性或不确定性。的是一个系统的复杂性或不确定性。对于概率分布函数为对于概率分布函数为 的随机变量集的随机变量集A A，其熵：，其熵： )(apAaapapAH)(log)()(BbAabapbapBAH),(log),(),()/()()/()(),()()(),(ABHBHBAHAHBAHBHAHBAI)|(BAH表示已知系统表示已知系统B B时时A A的条件熵。的条件熵。 最大互信息法最大互信息法 在医学图像配准中，虽然两幅图像来源于不同的成像设在医学图像配准中

58、，虽然两幅图像来源于不同的成像设备，但是它们基于共同的人体解剖信息，所以当两幅图像的备，但是它们基于共同的人体解剖信息，所以当两幅图像的空间位置达到完全一致时，其中一幅图像表达的关于另一幅空间位置达到完全一致时，其中一幅图像表达的关于另一幅图像的信息，也就是对应像素灰度的互信息应为最大。图像的信息，也就是对应像素灰度的互信息应为最大。 通常用联合概率分布和完全独立时的概率分布间的广通常用联合概率分布和完全独立时的概率分布间的广义距离来估计互信息：义距离来估计互信息：)()(),(log),(),(bpapbapbapBAI 最大互信息法最大互信息法 对于离散的数字图像，联合概率分布对于离散的数

59、字图像，联合概率分布 可以用归一可以用归一化的联合直方图表示：化的联合直方图表示：),(bapABjiABjihjihjip,),(),(),(jABAjipip),()(iABBjipjp),()(边缘概率分布边缘概率分布)(apA表示为：表示为： )(bpBjiBAABABjpipjipjipBAI,)()(),(log),(),( 最大互信息法最大互信息法接下来寻找一个变换使得一幅图像经过此变换后和另一幅接下来寻找一个变换使得一幅图像经过此变换后和另一幅图像的互信息最大。一般采用刚体变换，即在三维空间中图像的互信息最大。一般采用刚体变换，即在三维空间中寻找三个方向上的平移值和旋转角度。对

60、于大规模断层扫寻找三个方向上的平移值和旋转角度。对于大规模断层扫描医学图像来说，三维体积数据集包含的数据量极大无法描医学图像来说，三维体积数据集包含的数据量极大无法满足临床上实时处理的要求，因此必须采取优化措施。满足临床上实时处理的要求，因此必须采取优化措施。常用无需计算梯度的常用无需计算梯度的PowellPowell多参数优化算法。多参数优化算法。 最大互信息法最大互信息法8.5 8.5 图像配准的评估图像配准的评估 医学图像配准，特别是多模医学图像配准结果的评估一医学图像配准，特别是多模医学图像配准结果的评估一直是件很困难的事情。由于待配准的多幅图像基本上都是直是件很困难的事情。由于待配准