医学图象配准

本章研究内容图像配准的概述图像配准与融合的概念图像基本空间变换：刚体、仿射、透视、非线性配准类型：同一对象、不同对象；主要配准方法：点法、曲线法、表面法、矩和主轴法、相关法、最大互信息法、图谱法、非线性变换技术；图像基本空间变换模型基于基准点的配准法倒角匹配图像配准法基于最大互信息的多模医学图像配准法第1页/共60页第一页，共61页。一、图象配准概述1.两种模式的医学图象各有所长：描述生理形态的解剖成像描述人体功能或代谢的功能成像X-Ray;DSAX-CTMRI;MRAUltrasoundSPECTPETfMRIEEGMRS图象配准必要性：基于多种原因，临床上通常需要对同一个病人进行多种模式或同种模式的多次成像。即同时从几幅图像获得信息，进行综合分析。2.对于一个病人群的统计研究，或对于某个病人不同时期的评估研究的需要。第2页/共60页第二页，共61页。图象的配准(imageregistration)：

对几幅不同的图象作定量分析，首先要将图象转换到一个公共的坐标框架内研究，解决图象的严格对齐问题，这就是图像配准。图象的融合(imagefusion)：

几幅图象信息综合的结果。图象配准与融合的概念:一、图象配准概述第3页/共60页第三页，共61页。1、医学图象配准的概念医学图象配准：对于一幅医学图象寻求一种(或—系列)空间变换，使它与另一幅医学图象上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图象上有相同的空间位置。配准的结果应使两幅图象上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。一、图象配准概述第4页/共60页第四页，共61页。医学图象配准示意图第5页/共60页第五页，共61页。2、医学图象基本变换：刚体、仿射、投影、非线性（1）刚体变换(Rigidbodytransformation)（2）仿射变换(Affinetransformation)一、图象配准概述第6页/共60页第六页，共61页。（3）投影变换(Projectivetransformation)（4）非线性变换(Nonlinear

transformation)一、图象配准概述2、医学图象基本变换：刚体、仿射、投影、非线性第7页/共60页第七页，共61页。刚体变换指物体内部任意两点之间的距离保持不变，可以分解成旋转与平移；仿射变换将直线映射为直线，并保持平行性；投影变换将直线映射为直线，但不再保持平行性质；非线性变换将直线映射为曲线；2、医学图象基本变换：刚体、仿射、投影、非线性一、图象配准概述第8页/共60页第八页，共61页。刚体变换

仿射变换 投影变换

非线性变换全局变换局部变换2、医学图象基本变换：刚体、仿射、投影、非线性一、图象配准概述第9页/共60页第九页，共61页。常用的空间几何变换的图示：第10页/共60页第十页，共61页。3、图象配准类型（1）同一对象(intra—subject)的图象配准不同MR加权像间的配准图象序列的配准fMRI图象序列的配准胸、腹部脏器的图象配准同一部位，不同时间图象的配准单模(monomodality)多模(multimodality)CT和MRI图象CT(或MRI)与SPECT(或PET)配准SPECT/ECT与CT/MRI/DSA配准CT、MRI速度、C-Arm与定位装置的配准一、图象配准概述第11页/共60页第十一页，共61页。（2）不同对象间(inter—subject)的图象配准 将被试的图象与典型正常人相同部位的图象对比，以确定被试者是否正常。如果异常，也许还要与一些疾病的典型图象对比，确定患者是否属于同类（3）图象与图形（图谱）配准或与物理空间的图象配准3、图象配准类型一、图象配准概述第12页/共60页第十二页，共61页。4、主要配准方法一、图象配准概述点法(PointMethod)－界标配对曲线法(CurveMethod)－边界曲线的匹配表面法(SurfaceMethod)，如“头帽法”(HeadandHatmethod)矩和主轴法(MomentandPrincipalAxesMethod)

交叉相关方法(CorrelationMethod)

最大互信息配准法(MaximizationofMutualInformation)

图谱法(AtlosMethod)与非线性变换技术第13页/共60页第十三页，共61页。主要配准方法点法（PointMethod）：分为内部点法与外部点法。标志点一旦确定，图象配准问题就归结为求解对应点集的刚体变换；对准了这些标志点，图象也就配准内部点：解剖标志点；耳蜗尖端拐点处；两个线性结构的交点；血管的分叉或相交处等；优点：对受试者友好；缺点：难以识别，需要一定的经验。外部点：在受试着颅骨嵌入的螺钉；在皮肤上作记号；其他在两幅图像都可以检测到的附加标记物：如充有硫酸铜的管子、玻璃珠、铬合金球、明胶球等。优点：容易识别；缺点：受试者在扫描装置内要求严格不动；第14页/共60页第十四页，共61页。主要配准方法曲线法(CurveMethod)：边界曲线的匹配用人工方法在两幅配准图象中寻找对应的开曲线，再在两条开曲线局部曲率最佳拟合的线段用相同的采样率找出一组对应点对这组对应点使用点法匹配两幅图象第15页/共60页第十五页，共61页。主要配准方法表面法(SurfaceMethod)：又称头帽法

(HeadandHatmethod)“头帽法”（head-hatmethod）是由Pelizzari和Chen提出的一个典型算法。从一幅图像轮廓中提取的点集称作“帽子”（hat），从另一幅图像轮廓提取的表面模型叫做“头”（head），用刚体变换将“帽”的点集变换到“头”上。一般用体积较大的病人图像，或在图像体积大小差不多时用分辨率较高的图像来产生头表面模型。Powell搜索算法被用来寻求所需的几何变换，即使帽点和头表面间的距离平均平方值最小。许多学者对该算法做了改进，例如用多分辨金字塔技术克服局部极值问题；用距离变换拟合两幅图像的边缘点等等。第16页/共60页第十六页，共61页。主要配准方法矩和主轴法(MomentandPrincipalAxesMethod)

根据力学中物理质量分布的概念：先计算两幅图象象素点的质心和主轴；再通过平移和旋转使两幅图象的质心和主轴对齐，从而达到配准。缺点：对数据缺失敏感；对神经医生感兴趣的某些病案效果不佳。应用：粗配准；初步对齐；第17页/共60页第十七页，共61页。主要配准方法相关法对图象序列采用使图象间相似性最大化的原理进行配准；通过优化两幅图象间相似性准则来估计变换参数，主要是刚体的平移和旋转；主要限于单模图象的配准最大互信息配准法用互信息作为多模医学图象配准的测度，如果两幅图象几何上对齐的话，它们对应体素对的强度值的互信息量最大；广泛应用于CT/MR，PET/MR的配准第18页/共60页第十八页，共61页。主要配准方法图谱法针对不同人脑的解剖结构的大小与形状方面具有的共性，使我们有可能构造一个解剖图谱；利用脑图谱进行配准，就可以利用图谱所包含的先验知识对病人或其他人的图象进行自动识别和正确的分割非线性变换基于物理模型的配准方法基于空间变换的配准方法第19页/共60页第十九页，共61页。二、基本空间变换模型1、刚体变换

医学图象配准中常采用刚体变换模型，该模型假定图象内部的距离和角度在配准过程中保持不变。二维刚体变换三维刚体变换第20页/共60页第二十页，共61页。1、刚体变换

（1）二维刚体变换三个变换参数：两个方向的平移和绕坐标原点的旋转沿x轴方向的平移：矩阵形式：其中，P是刚体变换参数。定义x轴为水平方向轴，正方向：从左到右；第21页/共60页第二十一页，共61页。1、刚体变换

（1）二维刚体变换三个变换参数：两个方向的平移和绕坐标原点的旋转沿y轴方向的平移：矩阵形式：其中，q是刚体变换参数。定义y轴为垂直方向轴，正方向：从下到上；第22页/共60页第二十二页，共61页。1、刚体变换

（1）二维刚体变换三个变换参数：两个方向的平移和绕坐标原点的旋转绕坐标原点的旋转：矩阵形式：其中，是刚体变换参数；定义为顺时针旋转方向；第23页/共60页第二十三页，共61页。1、刚体变换

（1）二维刚体变换性质1：对于变换矩阵，不同的变换顺序，其变换结果也不同。变换顺序1：先x轴后y轴再旋转第24页/共60页第二十四页，共61页。1、刚体变换

（1）二维刚体变换性质1：对于变换矩阵，不同的变换顺序，其变换结果也不同。变换顺序2：先旋转后x轴再y轴第25页/共60页第二十五页，共61页。1、刚体变换

（1）二维刚体变换性质2：给定一个变换结果，可以有多种不同的变换途径。同一刚体变换结果实现的两种方法：1、先旋转10度，后x轴平移4单位，再y轴平移9单位；2、先x轴平移2.3764单位，后y轴平移9.5579单位，再旋转10度；对于刚体变换无须关心其实际的旋转与平移顺序。第26页/共60页第二十六页，共61页。1、刚体变换（1）二维刚体变换性质3：给定一个变换任务，总的变换矩阵唯一确定刚体变换结果。应用逆矩阵运算或组合矩阵变换可以很容易地实现多种形式的图象配准例：第一幅图a1,第二幅图a2,第三幅图a3;1、a2=x1*a1;则a1=inv(x1)*a2；2、a2=x1*a1且a3=x2*a2，则a3=x2*x1*a1;3、a2=x1*a1且a3=x*a1，则a3=x*inv(x1)*a2;第27页/共60页第二十七页，共61页。性质1：对于变换矩阵，不同的变换顺序，其变换结果也不同。性质2：给定一个变换结果，可以有多种不同的变换途径。性质3：给定一个变换任务，总的变换矩阵唯一确定刚体变换结果。性质4：二维刚体变换基本矩阵顺序改变后仅涉及平移参数的改变。1、刚体变换（1）二维刚体变换第28页/共60页第二十八页，共61页。1、刚体变换（1）二维刚体变换：判据判断一个二维变换矩阵是否为刚体变换的依据：1、变换矩阵的左上角2x2子矩阵具有明显的对称性；2、变换矩阵的左上角2x2子矩阵行列式的值为1。第29页/共60页第二十九页，共61页。1、刚体变换（2）三维刚体变换三维刚体变换涉及到6个变换参数：沿三个坐标轴方向的平移和绕三个坐标轴的旋转沿x轴方向的平移：矩阵形式：其中，P是刚体变换参数。第30页/共60页第三十页，共61页。1、刚体变换（2）三维刚体变换三维刚体变换涉及到6个变换参数：沿三个坐标轴方向的平移和绕三个坐标轴的旋转沿y轴方向的平移：矩阵形式：其中，q是刚体变换参数。第31页/共60页第三十一页，共61页。1、刚体变换（2）三维刚体变换三维刚体变换涉及到6个变换参数：沿三个坐标轴方向的平移和绕三个坐标轴的旋转沿z轴方向的平移：矩阵形式：其中，r是刚体变换参数。第32页/共60页第三十二页，共61页。1、刚体变换（2）三维刚体变换三维刚体变换涉及到6个变换参数：沿三个坐标轴方向的平移和绕三个坐标轴的旋转绕x轴的旋转：矩阵形式：第33页/共60页第三十三页，共61页。1、刚体变换（2）三维刚体变换三维刚体变换涉及到6个变换参数：沿三个坐标轴方向的平移和绕三个坐标轴的旋转绕y轴的旋转：矩阵形式：第34页/共60页第三十四页，共61页。1、刚体变换（2）三维刚体变换三维刚体变换涉及到6个变换参数：沿三个坐标轴方向的平移和绕三个坐标轴的旋转绕z轴的旋转：矩阵形式：第35页/共60页第三十五页，共61页。1、刚体变换（2）三维刚体变换性质1：对于变换矩阵，不同的变换顺序，其变换结果也不同。性质2：给定一个变换结果，可以有多种不同的变换途径。性质3：给定一个变换任务，总的变换矩阵唯一确定刚体变换结果。性质4：二维刚体变换基本矩阵顺序改变后仅涉及平移参数的改变，在三维刚体变换中旋转角度也发生变化。第36页/共60页第三十六页，共61页。2、全局尺度变换在三维刚体变换基础上增加一个新参数m（尺度变换系数）以描述不同条件下获取的图象缩放倍数全局尺度变换对三个方向的缩放倍数相同尺度变换的顺序也对变换结果有影响7个参数：平移x，y，z；旋转x，y，z；全局尺度参数m第37页/共60页第三十七页，共61页。3、九参数仿射变换9参数仿射变换对三个方向的缩放倍数都不同，这意味着待配准的两幅图象存在固有的不对称性9个参数：平移x，y，z；旋转x，y，z；第38页/共60页第三十八页，共61页。4、一般仿射变换对于二维，可以通过奇异值分解将任意仿射变换分解为一个变换序列。该序列包括某个适当取向的尺度变换，之后是刚体变换。所以，可以看作是待变换的物体在一个特殊的参考框架里做尺度变换，而参考框架自身做刚体变换；二维仿射变换：6个独立参数第39页/共60页第三十九页，共61页。4、一般仿射变换三维与二维情况类似，可以看作物体沿参考框架中坐标轴的各向异性尺度变换，而该参考框架在三维空间内绕原点旋转三维仿射变换：12个独立参数第40页/共60页第四十页，共61页。5、透视变换（投影变换）线性变换的最一般形式直线经变换后仍然为直线，但平行性不再保持第41页/共60页第四十一页，共61页。6、非线性空间变换非线性空间变换可以用于校正图象获取过程中由仪器引起的畸变，也可以用于图象配准常用的非线性变换模型有低阶多项式变形基于薄板样条函数的变换基于B样条的变换第42页/共60页第四十二页，共61页。三、基于基准点的配准法 基于特征的配准的思路：先从三维图象中提取一个表面，然后从该表面上提取基准线，甚至再从这些基准线上选取基准点； 只要能找出表面上的边缘脊线，脊线上表面上的轨迹，其主曲率在相应的主方向达到局部最大。脊线可通过计算图象强度的三阶导数来提取。第43页/共60页第四十三页，共61页。1、极值线与极值点极值线：定义为极值函数e的零交叉点的轨迹；极值点：定义为三个隐含表面的交点。这些表面是f=I，e1=0，e2=0。第44页/共60页第四十四页，共61页。2、极值点的自动提取从三维图象提取极值点可以首先对图象中所有体素计算e1、e2，然后单独考虑每个由8个相邻体素构成的小立方体元具体提取极值点的步骤：提取等值表面提取脊线计算极值点的位置第45页/共60页第四十五页，共61页。3、极值点的随机提取首先选取一些种子单元然后按自动提取的方法依次剔除8个角点f-I值符号相同的单元，同时剔除8个角点e1值符号相同的单元提取脊线和极值点第46页/共60页第四十六页，共61页。4、基于曲线的刚体配准通过对两幅图象分别提取极值线，再设法找到两组极值线之间的关系，计算出能使这些匹配线段重叠的最佳刚体变换适合于同一对象不同时间采集的单一模式的图象配准第47页/共60页第四十七页，共61页。4、基于曲线的刚体配准典型的技术：几何散列表与Hough变换结合具体步骤：建立散列表搜寻配对脊线点Hough变换确定候选变换拟合最佳变换第48页/共60页第四十八页，共61页。5、基于极值点的刚体配准仅使用脊线上的极值点来进行配准不足：采集位置不同，某些脊线和极值点在两幅图象中可能不是同时存在的噪声的影响形成虚假的脊线和极值点第49页/共60页第四十九页，共61页。6、基于基准点的刚体配准利用人为地加信号，或识别出图象中明显的解剖标志点来作为基准点进行配准特点是仅依靠基准点的空间坐标而无须计算复杂的微分几何特性适合于各种图象的配准第50页/共60页第五十页，共61页。四、倒角匹配图象配准法倒角匹配是一种对分割特征进行匹配的经典图象配准方法，其基本思想是将线条图与图象匹配；倒角匹配包括几个内容：对图象进行分割距离变换代价函数优化算法第51页/共60页第五十一页，共61页。五、基于最大互信息的多模图象配准法互信息作为一种相似性测度应用于图象配准，主要是因为当两幅图象空间位置一致时，对应象素灰度的互信息最大配准原理：对于不同的两幅图象A和B，需要定义一个相似性测度并寻找一个空间变换关系，使得经过该空间变换后两幅图象间的相似性达到最大。也就是使A中的每一个点在图象B中都有唯一的点与之对应，并且这两个点对应同一个解剖位置第52页/共60页第五十二页，共61页。关键技术格点采样子集从原有数据格点中有规律的每隔几点选取一点PV插值技术该算法不通