医学图像配准课件

一、配准的基本概念二、配准的临床应用三、配准的核心框架四、医学图像配准的分类五、关键技术讨论内容提要一、配准的基本概念内容提要一、配准的基本概念

医学图像配准是指对于一幅医学图像寻求一种或者一系列的空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。一致是指人体上的同一解剖点或者至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。保持不动的图像叫参考图像；做变换的图像称作浮动图像。一、配准的基本概念医学图像配准是指对于一幅医一、Basicconceptionofregistration

Imageregistration,alsocalledimagematchingoralignment,isaprocesstoregisteroneimagetoothers,sothatthetransformationmatrixbetweentwoofthemaredeterminedsothattheyarecorrespondingeachotherinspace.

Imageregistrationistheprocessofestimatinganoptimaltransformationbetweentwoimages.一、Basicconceptionofregistra一、配准的基本概念q=T(p)R：参考图像，F：浮动图像，T:变换

T’=argmaxS(R,T(F))T一、配准的基本概念q=T(p)R：参考图像，F：浮动一、配准的基本概念第二幅图像中少了一部分，原因可能是：成像设备，成像模式差别病变组织发生变化（如术前，术后）不同对象的成像一、配准的基本概念第二幅图像中少了一部分，原因可能是：一、配准的基本概念四种基本的变换刚体变换仿射变换投影变换弯曲变换一、配准的基本概念四种基本的变换二、配准的临床应用

两个时期的同种类图像比较病灶生长情况；治疗效果分析；动——静对比收缩——舒张对比发作——间歇对比对某一病人二、配准的临床应用两个时期的同种类图像比较病灶生长情况；对二、配准的临床应用

数字减影血管造影

Digitalsubtractionangiography，DSA

1977年．Nudelman成功地获得了第一张DSA影像<<脑血管疾病--MR.CT.DSA.与临床>>

二、配准的临床应用数字减影血管造影1977年．Nudelm二、配准的临床应用LiQiang,etc,Improvedcontralateralsubtractionimagesbyuseofelasticmatchingtechnique,Med.Phys.27.8.,August2000(a)箭头所指为节结二、配准的临床应用LiQiang,etc,Improv二、配准的临床应用于劲：基于特征的肝脏病理切片显微图像拼接（硕士论文）二、配准的临床应用于劲：基于特征的肝脏病理切片显微图像拼接二、配准的临床应用

多模态图像融合疾病诊断放射治疗计划外科手术导航系统对某一病人

图像与物理世界配准二、配准的临床应用多模态图像融合疾病诊断对某一病人图像与2005年，北美核医学年会的最佳图像奖：三维立体图像融合图像

二、配准的临床应用2005年，北美核医学年会的最佳图像奖：二、配准的临床应用PET显示食道癌二、配准的临床应用PET显示食道癌二、配准的临床应用罗述谦，医学图像处理与分析二、配准的临床应用罗述谦，医学图像处理与分析二、配准的临床应用二、配准的临床应用图像与图谱的比较不同人被试图像与典型正常人相同部位的图像比较：

——确定是否正常被试图像与一些疾病的典型图像对比：

——确定患者是否同类Talairach脑图谱Ono脑沟回图谱哈佛全脑图谱二、配准的临床应用图像与图谱的比较不同人被试图像与典型正常人二、配准的临床应用三维重建虚拟数字人二、配准的临床应用三维重建三、配准的核心框架变换：Transform度量：Metric优化:Optimizer插值：InterpolatorRegistrationistreatedasanoptimizationproblemwiththegoaloffindingthespatialmappingthatwillbringthemovingimageintoalignmentwiththefixedimage.三、配准的核心框架变换：TransformRegistra三、配准的核心框架3.1变换刚性变换仿射变换透视或投影变换非线性变换（弯曲变换）三、配准的核心框架3.1变换刚性变换三、配准的核心框架3.2插值插值的原因：分辨率不同

图像变换引起的像素点不对应三、配准的核心框架3.2插值插值的原因：三、配准的核心框架3.2插值插值方法：最近邻插值线性插值

B样条插值

WindowedSinc插值

三、配准的核心框架3.2插值插值方法：三、配准的核心框架3.3配准程度的度量可能是配准框架中最关键的部分选择度量方法与要解决的配准问题有关三、配准的核心框架3.3配准程度的度量可能是配准框架中最•

Meansquares•Normalizedcorrelation•Meanreciprocalsquareddifference•MutualinformationbyViolaandWells•MutualinformationbyMattes•KullbackLieblerdistancemetric•Normalizedmutualinformation•Meansquareshistogram•Correlationcoefficienthistogram•CardinalityMatchmetric•KappaStatisticsmetric•GradientDifferencemetric三、配准的核心框架3.3配准程度的度量•Meansquares三、配准的核心框架3.3配准三、配准的核心框架3.4优化•

Amoeba:Nelder-Meadedownhillsimplex.

•

ConjugateGradient:Fletcher-Reevesformoftheconjugategradientwithorwithoutpreconditioning.•

GradientDescent:Advancesparametersinthedirectionofthegradientwherethestepsizeisgovernedbyalearningrate。三、配准的核心框架3.4优化•Amoeba:Neld三、配准的核心框架3.4优化•Powell法下山单纯形法

Arent法

Levenberg-Marquadrt法

Newton-Raphson迭代法随机搜索法梯度下降法遗传算法模拟退火法几何hash法半穷尽搜索法三、配准的核心框架3.4优化•Powell法四、医学图像配准的分类4.1分类的依据图像的主体图像的模态图像的客体(人体的部位)

图像空间的维数配准所基于的图像信息变换的模型变换参数的确定方式配准方法的交互性四、医学图像配准的分类4.1分类的依据四、医学图像配准的分类4.2图像的主体（Subject）

IntraSubjectInterSubjectAtlas4.3图像的模态(Modalities)MonomodalMultimodalModalitytomodalPatienttomodality四、医学图像配准的分类4.2图像的主体（Subject）44.3图像的模态描述生理形态的解剖成像模式：X光、CT(ComputedTomography)MRI(MagneticResonanceImaging)US(UltraSound)MRA(MagneticResonanceAngiography)DSA(DigitalSubtractionAngiography)光纤内窥镜四、医学图像配准的分类4.3图像的模态描述生理形态的解剖成像模式：X光、CT描述人体功能或代谢功能的成像模式：SPECT(SinglePhotonEmissionComputedTomography，单光子发射断层扫描)PET(PositronEmissionTomography，正电子发射断层扫描)fMRI(functionalMRI，功能磁共振成像)EEG(Electro-EncephaloGraphy,脑电图)MEG(Magneto-EncephaloGraphy，脑磁图)光子内源成像四、医学图像配准的分类4.3图像的模态描述人体功能或代谢功能的成像模式：SPECT(Single4.5图像的维度

二维，三维，时间维4.4图像的客体（Object）

Head(Brainorskull,Eye,Dental)Thorax(Entire,Caridac,Breast)Abdomen(General,Kidney,Liver)Limbs(General,Femur,Humerus,Hand)SpineandvertebratePelvisandperineum四、医学图像配准的分类4.5图像的维度4.4图像的客体（Object）四、医

无需图像信息

4.6配准中使用的信息特征点侵入性的非侵入性的内部标志点四、医学图像配准的分类

像素或体素

特征曲线或曲面外部标志点特征空间无需图像信息4.6配准中使用的信息特征点侵入性的内部标蒋大介，实用神经外科手术学，第四章，定向手术

华工超星图书，以“神经外科”搜索，72本书

4.6配准中使用的信息——外部标志点立体框架蒋大介，实用神经外科手术学，第四章，定向手术华工超星图书，陈炳桓，《立体定向放射神经外科学》，r刀

4.6配准中使用的信息——外部标志点陈炳桓，《立体定向放射神经外科学》，r刀4.6配准中使Brown–Roberts–Wells(BRW)框架Cosman-Roberts-Wells(CRW)框架Gill-Thomas-Cosman（GTC）框架该类框架主要用于神经外科手术的定位和导航以及放射治疗随着计算机技术的快速发展，无框架立体定向在图像引导的颅内手术中使用得更加广泛

4.6配准中使用的信息——外部标志点Brown–Roberts–Wells(BRW)框架4.韩锦华等，影像导航中的配准问题，国外医学耳鼻喉科学分册，2004.3

4.6配准中使用的信息——外部标志点外部标记物韩锦华等，影像导航中的配准问题，国外医学耳鼻喉科学分册，20MatthewY.Wang,AnAutomaticTechniqueforFindingandLocalizingExternallyAttachedMarkersinCTandMRVolumeImagesoftheHead,IEEEtransactionsonBiomedicalEngineering.Vol.43,No.6,1996

4.6配准中使用的信息——外部标志点外部标记点MatthewY.Wang,4.6配准中使用的信息周振环等，医学图像标志点的自动配准,

中国生物医学工程学报，2003,No.5

4.6配准中使用的信息——外部标志点外部标记点周振环等，医学图像标志点的自动配准,4.6配准中使用的信

4.6配准中使用的信息——外部标志点外部标志点它与图像本身无关。选用外部标志点的好处是简单快速，不需要复杂的优化算法，而且精度较高。只要图像中标志点能够被检测出来，任何模态的图像都能进行配准。确定外部标志点的位置要比确定内部标志点的位置容易得多，图像空间和物体空间的配准也很难用内部标志点来实现。4.6配准中使用的信息——外部标志点外部标志点它与图像本

4.6配准中使用的信息——外部标志点外部标志点

会给病人带来很大不适；注入病人体内的外来元素往往对人体有些损害；完全无损的又很难达到满意的精度；这种方法不包括病人本身的相关图像信息，因而它的变换方式只限于刚性变换。4.6配准中使用的信息——外部标志点外部标志点会给病人

4.6配准中使用的信息——内部标志点内部标志点

解剖标志点(AnatomicLandmarks)

几何极值点

线的交点脐点(umbilicpoint)

脊点灰度的极值点轮廓上曲率的极值点两个线形结构的交点某一封闭区域的质心形状特征点4.6配准中使用的信息——内部标志点内部标志点解剖标志

4.6配准中使用的信息——内部标志点IgorD.Grachev,etc,AMethodforAssessingtheAccuracyofIntersubjectRegistrationoftheHumanBrainUsingAnatomicLandmarks，NeuroImage9,250–268(1999)解剖标志点4.6配准中使用的信息——内部标志点IgorD.Gr

4.6配准中使用的信息——内部标志点解剖标志点4.6配准中使用的信息——内部标志点解剖标志点

4.6配准中使用的信息——内部标志点Detectedpointlandmarksina2DsagittalMRimageofahumanbrainKarlRohr，On3Ddifferentialoperatorsfordetectingpointlandmarks，ImageandVisionComputing15(1997)219-233角点4.6配准中使用的信息——内部标志点Detectedp

4.6配准中使用的信息——内部标志点周永新，罗述谦，基于形状特征点最大互信息的医学图像配准，计算机辅助设计与图形学学报，Vol.14,No.7，2002形状特征点4.6配准中使用的信息——内部标志点周永新，罗述谦，基于

4.6配准中使用的信息——内部标志点两幅图像中选取出的控制点应当具有唯一性。对于图像的局部失真有较好的鲁棒性。由于变换的确定依赖于这些控制点，因而控制点的数量不能太少；同时若控制点的数量太多，匹配又会比较困难。所以控制点的数量选择是一个很重要的问题，它将影响到配准的质量与效率。内部控制点的选取原则4.6配准中使用的信息——内部标志点两幅图像中选取出的控

4.6配准中使用的信息——内部标志点选取内部控制点的好处是很灵活，从理论上说适用于任何模态的图像，而且对病人完全友好。控制点一般用来确定刚性变换或仿射变换，如果控制点数量足够多，也可用来确定其他一些更复杂的变换。这种方法的一个缺点是控制点的确定往往需要人工干预，很难实现完全自动。内部控制点的优缺点4.6配准中使用的信息——内部标志点选取内部控制点的好处

4.6配准中使用的信息——表面先进行图像分割，提取轮廓曲线、物体表面等内部特征。图像配准简化为曲线或曲面匹配。变换的形式既可以是刚体变换，也可以是形变变换最大缺点是配准精度受限于分割步骤的精度，除了分割阶段，整个算法可以做到全自动化，分割阶段经常也是半自动实现的。4.6配准中使用的信息——表面先进行图像分割，提取轮廓曲

4.6配准中使用的信息——表面阈值分割边缘检测区域增长聚类分割轮廓表面的提取方法边界跟踪曲面拟合4.6配准中使用的信息——表面阈值分割轮廓表面的提取方法刚体变换仿射变换投影变换4.7图像变换方法非线性变换四、医学图像配准的分类刚体变换仿射变换投影变换4.7图像变换方法非线性变换四、交互的半自动化自动化参数计算参数搜索4.9优化过程4.8求解过程的交互性四、医学图像配准的分类交互的半自动化自动化参数计算参数搜索4.9优化过程4.85.1图像的基本变换

对于在不同时间或/和不同条件下获取的两幅图像I1(x1,y1,z1)和I2(x2,y2,z2)配准，就是寻找一个映射关系P：(x1,y1,z1)→I2(x2,y2,z2)，使I1的每一个点在I2上都有唯一的点与之对应，并且这两点对应同一解剖位置。映射关系P表现为一组连续的空间变换。五、配准的关键技术5.1图像的基本变换对于在不同时间或/和不同条件5.1.1刚体变换RigidBodyTransformation刚体：指物体内部任意两点间的距离保持不变。刚体变换：旋转、平移二维：沿x轴平移:x’=x+p,y’=y

沿y轴平移:x’=x,y’=y+q

绕坐标原点旋转:x’=xcosθ+ysinθy’=-xsinθ+ycosθxyθ为顺时针旋转的角度用矩阵的形式表达？5.1图像的基本变换5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换RigidBodyTransformation5.1图像的基本变换绕坐标原点顺时针旋转θ沿x轴平移p沿y轴平移q5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换RigidBodyTransformation5.1图像的基本变换

对一个点先沿x轴平移p,再沿y轴平移q,最后绕原点顺时针旋转θ5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换RigidBodyTransformation5.1图像的基本变换

对一个点先绕原点顺时针旋转θ,

再沿x轴平移p,最后沿y轴平移q5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换RigidBodyTransformation5.1图像的基本变换

对于相同的变换参数p、q、θ,由于变换过程不同，变换的结果也不同。对于给定的变换结果，可以有不同的变换途径。使用矩阵表示，无需关心旋转与平移的顺序。应用逆矩阵运算或组合矩阵变换易于实现多种形式的图像配准。结论：5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换RigidBodyTransformation5.1图像的基本变换

如何判定一个给定的矩阵是否为刚体变换矩阵？问题：5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换三维：（6个参数）沿x轴平移p

沿y轴平移q

沿z轴平移r

绕x轴旋转θ

绕y轴旋转ω

绕z轴旋转Φ

只考虑旋转，有六种不同的组合:结合先旋转、后平移，及先平移后旋转，有12种组合。5.1图像的基本变换5.1.1刚体变换三维：（6个参数）只考虑旋转，有六种5.1.1刚体变换刚体变换矩阵的特性：

P(u)=Au+BU=(x,y,z)是像素的空间位置；A是旋转变换矩阵B是平移向量矩阵A满足条件：

ATA=IAT是矩阵A的转值，I是单位矩阵。5.1图像的基本变换5.1.1刚体变换刚体变换矩阵的特性：5.1图像的基本5.1.2仿射变换将直线映射成直线，并保持平行性。具体表现：各个方向尺度变换系数一致的均匀尺度变换；变换系数不一致的非均匀尺度变换；

剪切变换。AffineTransformation应用：校正由物体与光学仪器间的距离引发的尺度变化；校正由CT台架倾斜引起的剪切；校正MR梯度线圈不完善产生的畸变。5.1图像的基本变换5.1.2仿射变换将直线映射成直线，并保持平行性。Aff5.1.2仿射变换三维：（9参数）沿x轴平移p

沿y轴平移q

沿z轴平移r

绕x轴旋转θ

绕y轴旋转ω

绕z轴旋转Φ

x轴向的尺度mxy轴向的尺度myz轴向的尺度mz5.1图像的基本变换5.1.2仿射变换三维：（9参数）x轴向的尺度m5.1.2仿射变换

更一般的仿射变换，二维有6个独立参数，三维有12个独立参数。x’y’z’1e11e12e13e14e21e22e23e24e31e32e33e340001xyz1=对于eij，无小于1的约束。5.1图像的基本变换5.1.2仿射变换更一般的仿射变换，二维有6个独5.1.2仿射变换5.1图像的基本变换

几种基本的二维仿射变换变换矩阵的矩阵对数的对角元素对称时，产生全局尺度变换（6）；不对称时，产生相应轴的缩放尺度变换（5，7）。非对角元素对称，相当整体旋转(2)，不对称，产生沿某个轴的剪切(1,3)12345675.1.2仿射变换5.1图像的基本变换几种基本的变5.1.3透视或投影变换特性：直线经变换后，仍然是直线，但是平行的直线经变换后却可能相交。应用：

(1)点源与物体作用，在一个平面上产生投影图像的放射成像。

(2)对于照片，采集光线全部通过透镜的焦点。对于断层成像数据处理一般不用透视变换。PerspectiveorProjectiveTransformation5.1图像的基本变换5.1.3透视或投影变换特性：Perspective5.1.3透视或投影变换x’y’1e11e12pe21e22qfg1xy1=二维情况下的变换矩阵：x’=(e11*x+e12*y+p)/(f*x+g*y+1)5.1图像的基本变换5.1.3透视或投影变换x’e11e125.1.4非线性变换NonlinearTransformation又称：弯曲变换，curvedtransformation特性：将直线变成曲线。变换方法：多项式函数（二次、三次、薄板样条函数）指数函数应用：多用于使解剖图谱变形来拟合图像数据；对有全局性形变的胸、腹部脏器图像的配准。5.1图像的基本变换5.1.4非线性变换NonlinearTrans5.1.4非线性变换二阶多项式变形模型：

x’=e00+e01x+e02y+e03z+e04x2+e05xy+e06xz+e07y2+e08yz+e09z2y’=e10+e11x+e12y+e13z+e14x2+e15xy+e16xz+e17y2+e18yz+e19z2z’=e20+e21x+e22y+e23z+e24x2+e25xy+e26xz+e27y2+e28yz+e29z2薄板样条函数变换：仿射变换与径向基函数的线性组合。

nf(X)=AX+B+ΣWiU(|Pi-X|)

i=1基于B样条的变换5.1图像的基本变换参见《数值分析》，有关样条插值5.1.4非线性变换二阶多项式变形模型：薄板样条函数变换5.1.5基本变换的可视化5.1图像的基本变换平移旋转5.1.5基本变换的可视化5.1图像的基本变换平移旋转5.1.5基本变换的可视化5.1图像的基本变换5.1.5基本变换的可视化5.1图像的基本变换5.1.5基本变换的可视化5.1图像的基本变换5.1.5基本变换的可视化5.1图像的基本变换

差绝对值和误差均方根误差马氏距离

Hausdroff距离

基于距离的测度优点：原理简单、实现方便缺点：速度较慢，精度较低应用：主要用于单模态图像配准,

应用范围不是很广泛方法：5.2相似性测度差绝对值和误差基于距离的测度优点：原理简单、实现方便方法

相关比率(Correlationratio)

相关系数(Correlationcoefficient)PIU(Partitionedintensityuniformity)

梯度互相关

基于相关法的测度缺点：计算量庞大应用：主要用于单模态图像的刚体配准,精度较高不适用于多模态非刚体配准。同一物体较小的改变和图像获取条件有较小变化方法：5.2相似性测度相关比率(Correlationratio)基于相关法

条件熵联合熵互信息归一化互信息散度

基于熵的测度优点：无需预处理、精确性、鲁棒性较好，适应面广。缺点：速度较慢，互信息函数不光滑方法：5.2相似性测度条件熵基于熵的测度优点：无需预处理、精确性、鲁棒性较好，5.3基于分割的配准方法基于刚体模型的方法

头帽法迭代最近点(ICP)法加权的几何特征（WGF）算法基于形变模型的方法5.3基于分割的配准方法基于刚体模型的方法头帽法基于形变5.3基于分割的配准方法—头帽法

“头帽法”（head-hatmethod）是由Pelizzari和Chen提出的一个典型算法。从一幅图像轮廓中提取的点集称作“帽子”（hat），从另一幅图像轮廓提取的表面模型叫做“头”（head），用刚体变换将“帽”的点集变换到“头”上。一般用体积较大的病人图像，或在图像体积大小差不多时用分辨率较高的图像来产生头表面模型。

Powell搜索算法被用来寻求所需的几何变换，即使帽点和头表面间的距离平均平方值最小。许多学者对该算法做了改进，例如用多分辨金字塔技术克服局部极值问题；用距离变换拟合两幅图像的边缘点等等。5.3基于分割的配准方法—头帽法“头帽法”（head-h5.3基于分割的配准方法—ICP法

迭代最近点（ICP）配准算法是由Besl和Mckay提出的，它将一般的非线性最小化问题归结为基于点的迭代配准问题。

ICP算法是一种非常通用的配准方法，可用于许多几何形状的配准，如点、线、面、复杂实体等等。对于基于面的配准，则先将其中一个实体定为"数据"，而将另一个定为"模块"，然后通过搜索各"数据"点在"模板"上的最近点，调整坐标变换矩阵并用其对"数据"点进行变换，同时对变换的结果进行评估，重复以上步骤直到满足条件为止。5.3基于分割的配准方法—ICP法迭代最近点（ICP）配一、配准的基本概念二、配准的临床应用三、配准的核心框架四、医学图像配准的分类五、关键技术讨论内容提要一、配准的基本概念内容提要一、配准的基本概念

医学图像配准是指对于一幅医学图像寻求一种或者一系列的空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。一致是指人体上的同一解剖点或者至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。保持不动的图像叫参考图像；做变换的图像称作浮动图像。一、配准的基本概念医学图像配准是指对于一幅医一、Basicconceptionofregistration

Imageregistration,alsocalledimagematchingoralignment,isaprocesstoregisteroneimagetoothers,sothatthetransformationmatrixbetweentwoofthemaredeterminedsothattheyarecorrespondingeachotherinspace.

Imageregistrationistheprocessofestimatinganoptimaltransformationbetweentwoimages.一、Basicconceptionofregistra一、配准的基本概念q=T(p)R：参考图像，F：浮动图像，T:变换

T’=argmaxS(R,T(F))T一、配准的基本概念q=T(p)R：参考图像，F：浮动一、配准的基本概念第二幅图像中少了一部分，原因可能是：成像设备，成像模式差别病变组织发生变化（如术前，术后）不同对象的成像一、配准的基本概念第二幅图像中少了一部分，原因可能是：一、配准的基本概念四种基本的变换刚体变换仿射变换投影变换弯曲变换一、配准的基本概念四种基本的变换二、配准的临床应用

两个时期的同种类图像比较病灶生长情况；治疗效果分析；动——静对比收缩——舒张对比发作——间歇对比对某一病人二、配准的临床应用两个时期的同种类图像比较病灶生长情况；对二、配准的临床应用

数字减影血管造影

Digitalsubtractionangiography，DSA

1977年．Nudelman成功地获得了第一张DSA影像<<脑血管疾病--MR.CT.DSA.与临床>>

二、配准的临床应用数字减影血管造影1977年．Nudelm二、配准的临床应用LiQiang,etc,Improvedcontralateralsubtractionimagesbyuseofelasticmatchingtechnique,Med.Phys.27.8.,August2000(a)箭头所指为节结二、配准的临床应用LiQiang,etc,Improv二、配准的临床应用于劲：基于特征的肝脏病理切片显微图像拼接（硕士论文）二、配准的临床应用于劲：基于特征的肝脏病理切片显微图像拼接二、配准的临床应用

多模态图像融合疾病诊断放射治疗计划外科手术导航系统对某一病人

图像与物理世界配准二、配准的临床应用多模态图像融合疾病诊断对某一病人图像与2005年，北美核医学年会的最佳图像奖：三维立体图像融合图像

二、配准的临床应用2005年，北美核医学年会的最佳图像奖：二、配准的临床应用PET显示食道癌二、配准的临床应用PET显示食道癌二、配准的临床应用罗述谦，医学图像处理与分析二、配准的临床应用罗述谦，医学图像处理与分析二、配准的临床应用二、配准的临床应用图像与图谱的比较不同人被试图像与典型正常人相同部位的图像比较：

——确定是否正常被试图像与一些疾病的典型图像对比：

——确定患者是否同类Talairach脑图谱Ono脑沟回图谱哈佛全脑图谱二、配准的临床应用图像与图谱的比较不同人被试图像与典型正常人二、配准的临床应用三维重建虚拟数字人二、配准的临床应用三维重建三、配准的核心框架变换：Transform度量：Metric优化:Optimizer插值：InterpolatorRegistrationistreatedasanoptimizationproblemwiththegoaloffindingthespatialmappingthatwillbringthemovingimageintoalignmentwiththefixedimage.三、配准的核心框架变换：TransformRegistra三、配准的核心框架3.1变换刚性变换仿射变换透视或投影变换非线性变换（弯曲变换）三、配准的核心框架3.1变换刚性变换三、配准的核心框架3.2插值插值的原因：分辨率不同

图像变换引起的像素点不对应三、配准的核心框架3.2插值插值的原因：三、配准的核心框架3.2插值插值方法：最近邻插值线性插值

B样条插值

WindowedSinc插值

三、配准的核心框架3.2插值插值方法：三、配准的核心框架3.3配准程度的度量可能是配准框架中最关键的部分选择度量方法与要解决的配准问题有关三、配准的核心框架3.3配准程度的度量可能是配准框架中最•

Meansquares•Normalizedcorrelation•Meanreciprocalsquareddifference•MutualinformationbyViolaandWells•MutualinformationbyMattes•KullbackLieblerdistancemetric•Normalizedmutualinformation•Meansquareshistogram•Correlationcoefficienthistogram•CardinalityMatchmetric•KappaStatisticsmetric•GradientDifferencemetric三、配准的核心框架3.3配准程度的度量•Meansquares三、配准的核心框架3.3配准三、配准的核心框架3.4优化•

Amoeba:Nelder-Meadedownhillsimplex.

•

ConjugateGradient:Fletcher-Reevesformoftheconjugategradientwithorwithoutpreconditioning.•

GradientDescent:Advancesparametersinthedirectionofthegradientwherethestepsizeisgovernedbyalearningrate。三、配准的核心框架3.4优化•Amoeba:Neld三、配准的核心框架3.4优化•Powell法下山单纯形法

Arent法

Levenberg-Marquadrt法

Newton-Raphson迭代法随机搜索法梯度下降法遗传算法模拟退火法几何hash法半穷尽搜索法三、配准的核心框架3.4优化•Powell法四、医学图像配准的分类4.1分类的依据图像的主体图像的模态图像的客体(人体的部位)

图像空间的维数配准所基于的图像信息变换的模型变换参数的确定方式配准方法的交互性四、医学图像配准的分类4.1分类的依据四、医学图像配准的分类4.2图像的主体（Subject）

IntraSubjectInterSubjectAtlas4.3图像的模态(Modalities)MonomodalMultimodalModalitytomodalPatienttomodality四、医学图像配准的分类4.2图像的主体（Subject）44.3图像的模态描述生理形态的解剖成像模式：X光、CT(ComputedTomography)MRI(MagneticResonanceImaging)US(UltraSound)MRA(MagneticResonanceAngiography)DSA(DigitalSubtractionAngiography)光纤内窥镜四、医学图像配准的分类4.3图像的模态描述生理形态的解剖成像模式：X光、CT描述人体功能或代谢功能的成像模式：SPECT(SinglePhotonEmissionComputedTomography，单光子发射断层扫描)PET(PositronEmissionTomography，正电子发射断层扫描)fMRI(functionalMRI，功能磁共振成像)EEG(Electro-EncephaloGraphy,脑电图)MEG(Magneto-EncephaloGraphy，脑磁图)光子内源成像四、医学图像配准的分类4.3图像的模态描述人体功能或代谢功能的成像模式：SPECT(Single4.5图像的维度

二维，三维，时间维4.4图像的客体（Object）

Head(Brainorskull,Eye,Dental)Thorax(Entire,Caridac,Breast)Abdomen(General,Kidney,Liver)Limbs(General,Femur,Humerus,Hand)SpineandvertebratePelvisandperineum四、医学图像配准的分类4.5图像的维度4.4图像的客体（Object）四、医

无需图像信息

4.6配准中使用的信息特征点侵入性的非侵入性的内部标志点四、医学图像配准的分类

像素或体素

特征曲线或曲面外部标志点特征空间无需图像信息4.6配准中使用的信息特征点侵入性的内部标蒋大介，实用神经外科手术学，第四章，定向手术

华工超星图书，以“神经外科”搜索，72本书

4.6配准中使用的信息——外部标志点立体框架蒋大介，实用神经外科手术学，第四章，定向手术华工超星图书，陈炳桓，《立体定向放射神经外科学》，r刀

4.6配准中使用的信息——外部标志点陈炳桓，《立体定向放射神经外科学》，r刀4.6配准中使Brown–Roberts–Wells(BRW)框架Cosman-Roberts-Wells(CRW)框架Gill-Thomas-Cosman（GTC）框架该类框架主要用于神经外科手术的定位和导航以及放射治疗随着计算机技术的快速发展，无框架立体定向在图像引导的颅内手术中使用得更加广泛

4.6配准中使用的信息——外部标志点Brown–Roberts–Wells(BRW)框架4.韩锦华等，影像导航中的配准问题，国外医学耳鼻喉科学分册，2004.3

4.6配准中使用的信息——外部标志点外部标记物韩锦华等，影像导航中的配准问题，国外医学耳鼻喉科学分册，20MatthewY.Wang,AnAutomaticTechniqueforFindingandLocalizingExternallyAttachedMarkersinCTandMRVolumeImagesoftheHead,IEEEtransactionsonBiomedicalEngineering.Vol.43,No.6,1996

4.6配准中使用的信息——外部标志点外部标记点MatthewY.Wang,4.6配准中使用的信息周振环等，医学图像标志点的自动配准,

中国生物医学工程学报，2003,No.5

4.6配准中使用的信息——外部标志点外部标记点周振环等，医学图像标志点的自动配准,4.6配准中使用的信

4.6配准中使用的信息——外部标志点外部标志点它与图像本身无关。选用外部标志点的好处是简单快速，不需要复杂的优化算法，而且精度较高。只要图像中标志点能够被检测出来，任何模态的图像都能进行配准。确定外部标志点的位置要比确定内部标志点的位置容易得多，图像空间和物体空间的配准也很难用内部标志点来实现。4.6配准中使用的信息——外部标志点外部标志点它与图像本

4.6配准中使用的信息——外部标志点外部标志点

会给病人带来很大不适；注入病人体内的外来元素往往对人体有些损害；完全无损的又很难达到满意的精度；这种方法不包括病人本身的相关图像信息，因而它的变换方式只限于刚性变换。4.6配准中使用的信息——外部标志点外部标志点会给病人

4.6配准中使用的信息——内部标志点内部标志点

解剖标志点(AnatomicLandmarks)

几何极值点

线的交点脐点(umbilicpoint)

脊点灰度的极值点轮廓上曲率的极值点两个线形结构的交点某一封闭区域的质心形状特征点4.6配准中使用的信息——内部标志点内部标志点解剖标志

4.6配准中使用的信息——内部标志点IgorD.Grachev,etc,AMethodforAssessingtheAccuracyofIntersubjectRegistrationoftheHumanBrainUsingAnatomicLandmarks，NeuroImage9,250–268(1999)解剖标志点4.6配准中使用的信息——内部标志点IgorD.Gr

4.6配准中使用的信息——内部标志点解剖标志点4.6配准中使用的信息——内部标志点解剖标志点

4.6配准中使用的信息——内部标志点Detectedpointlandmarksina2DsagittalMRimageofahumanbrainKarlRohr，On3Ddifferentialoperatorsfordetectingpointlandmarks，ImageandVisionComputing15(1997)219-233角点4.6配准中使用的信息——内部标志点Detectedp

4.6配准中使用的信息——内部标志点周永新，罗述谦，基于形状特征点最大互信息的医学图像配准，计算机辅助设计与图形学学报，Vol.14,No.7，2002形状特征点4.6配准中使用的信息——内部标志点周永新，罗述谦，基于

4.6配准中使用的信息——内部标志点两幅图像中选取出的控制点应当具有唯一性。对于图像的局部失真有较好的鲁棒性。由于变换的确定依赖于这些控制点，因而控制点的数量不能太少；同时若控制点的数量太多，匹配又会比较困难。所以控制点的数量选择是一个很重要的问题，它将影响到配准的质量与效率。内部控制点的选取原则4.6配准中使用的信息——内部标志点两幅图像中选取出的控

4.6配准中使用的信息——内部标志点选取内部控制点的好处是很灵活，从理论上说适用于任何模态的图像，而且对病人完全友好。控制点一般用来确定刚性变换或仿射变换，如果控制点数量足够多，也可用来确定其他一些更复杂的变换。这种方法的一个缺点是控制点的确定往往需要人工干预，很难实现完全自动。内部控制点的优缺点4.6配准中使用的信息——内部标志点选取内部控制点的好处

4.6配准中使用的信息——表面先进行图像分割，提取轮廓曲线、物体表面等内部特征。图像配准简化为曲线或曲面匹配。变换的形式既可以是刚体变换，也可以是形变变换最大缺点是配准精度受限于分割步骤的精度，除了分割阶段，整个算法可以做到全自动化，分割阶段经常也是半自动实现的。4.6配准中使用的信息——表面先进行图像分割，提取轮廓曲

4.6配准中使用的信息——表面阈值分割边缘检测区域增长聚类分割轮廓表面的提取方法边界跟踪曲面拟合4.6配准中使用的信息——表面阈值分割轮廓表面的提取方法刚体变换仿射变换投影变换4.7图像变换方法非线性变换四、医学图像配准的分类刚体变换仿射变换投影变换4.7图像变换方法非线性变换四、交互的半自动化自动化参数计算参数搜索4.9优化过程4.8求解过程的交互性四、医学图像配准的分类交互的半自动化自动化参数计算参数搜索4.9优化过程4.85.1图像的基本变换

对于在不同时间或/和不同条件下获取的两幅图像I1(x1,y1,z1)和I2(x2,y2,z2)配准，就是寻找一个映射关系P：(x1,y1,z1)→I2(x2,y2,z2)，使I1的每一个点在I2上都有唯一的点与之对应，并且这两点对应同一解剖位置。映射关系P表现为一组连续的空间变换。五、配准的关键技术5.1图像的基本变换对于在不同时间或/和不同条件5.1.1刚体变换RigidBodyTransformation刚体：指物体内部任意两点间的距离保持不变。刚体变换：旋转、平移二维：沿x轴平移:x’=x+p,y’=y

沿y轴平移:x’=x,y’=y+q

绕坐标原点旋转:x’=xcosθ+ysinθy’=-xsinθ+ycosθxyθ为顺时针旋转的角度用矩阵的形式表达？5.1图像的基本变换5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换RigidBodyTransformation5.1图像的基本变换绕坐标原点顺时针旋转θ沿x轴平移p沿y轴平移q5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换RigidBodyTransformation5.1图像的基本变换

对一个点先沿x轴平移p,再沿y轴平移q,最后绕原点顺时针旋转θ5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换RigidBodyTransformation5.1图像的基本变换

对一个点先绕原点顺时针旋转θ,

再沿x轴平移p,最后沿y轴平移q5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换RigidBodyTransformation5.1图像的基本变换

对于相同的变换参数p、q、θ,由于变换过程不同，变换的结果也不同。对于给定的变换结果，可以有不同的变换途径。使用矩阵表示，无需关心旋转与平移的顺序。应用逆矩阵运算或组合矩阵变换易于实现多种形式的图像配准。结论：5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换RigidBodyTransformation5.1图像的基本变换

如何判定一个给定的矩阵是否为刚体变换矩阵？问题：5.1.1刚体变换RigidBodyTransfo5.1.1刚体变换三维：（6个参数）沿x轴平移p

沿y轴平移q

沿z轴平移r

绕x轴旋转θ

绕y轴旋转ω

绕z轴旋转Φ

只考虑旋转，有六种不同的组合:结合先旋转、后平移，及先平移后旋转，有12种组合。5.1图像的基本变换5.1.1刚体变换三维：（6个参数）只考虑旋转，有六种5.1.1刚体变换刚体变换矩阵的特性：

P(u)=Au+BU=(x,y,z)是像素的空间位置；A是旋转变换矩阵B是平移向量矩阵A满足条件：

ATA=IAT是矩阵A的转值，I是单位矩阵。5.1图像的基本变换5.1.1刚体变换刚体变换矩阵的特性：5.1图像的基本5.1.2仿射变换将直线映射成直线，并保持平行性。具体表现：各个方向尺度变换系数一致的均匀尺度变换；变换系数不一致的非均匀尺度变换；

剪切变换。AffineTransformation应用：校正由物体与光学仪器间的距离引发的尺度变化；校正由CT台架倾斜引起的剪切；校正MR梯度线圈不完善产生的畸变。5.1图像的基本变换5.1.2仿射变换将直线映射成直线，并保持平行性。Aff5.1.2仿射变换三维：（9参数）沿x轴平移p

沿y轴平移q

沿z轴平移r

绕x轴旋转θ

绕y轴旋转ω

绕z轴旋转Φ

x轴向的尺度mxy轴向的尺度myz轴向的尺度mz5.1图像的基本变换5.1.2仿射变换三维：（9参数）x轴向的尺度m5.1.2仿射变换

更一般的仿射变换，二维有6个独立参数，三维有12个独立参数。x’y’z’1e11e12e13e14e21e22e23e24e31e32e33e340001xyz1=对于eij，无小于1的约束。5.1图像的基本变换5.1.2仿射变换更一般的仿射变换，二维有6个独5.1.2仿射变换5.1图像的基本变换

几种基本的二维仿射变换变换矩阵的矩阵对数的对角元素对称时，产生全局尺度变换（6）；不对称时，产生相应轴的缩放尺度变换（5，7）。非对角元素对称，相当整体旋转(2)，不对称，产生沿某个轴的剪切(1,3)12345675.1.2仿射变换5.1图像的基本变换几种基本的变5.1.3透视或投影变换特性：直