图像识别技术发展状况及前景

1、医学图像配准技术罗述谦综述首都医科大学生物医学工程系(100054)吕维雪审浙江大学生物医学工程研究所(310027)摘要医学图像配准是医学图像分析的基本课题,具有重要理论研究和临床应用价值。本文较全面地介绍了医学图像配准的概念、分类、配准原理、主要的配准技术及评估方法。关键词医学图像配准多模医学图像配准的概念在做医学图像分析时,经常要将同一患者的几幅图像放在一起分析,从而得到该患者的多方面的综合信息,提高医学诊断和治疗的水平。对几幅不同的图像作定量分析,首先要解决这几幅图像的严格对齐问题,这就是我们所说的图像的配准。医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换,使它与另一幅医

2、学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相的空间位置。配准的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。医学图像配准技术是90年代才发展起来的医学图像处理的一个重要分支。涉及“配准”的技术名词除registration夕卜,mapping、matching、co-registration、integration、align-ment和fusion等说法也经常使用。从多数文章的内容看mapping偏重于空间映射;fu-sion指图像融合，即不仅包括配准,而且包括数据集成后的图像显示。虽然在成像过程之前也可以采取

3、一些措施减小由身体移动等因素引起的空间位置误差,提高配准精度(称作数据获取前的配准preacquisition),但医学图像配准技术主要讨论的是数据获取后的(post-acquisition)配准，也称作回顾式配准(retrospectiveregistration)。当前，国际上关于医学图像配准的研究集中在断层扫描图像(tomographicimages,例如CT、MRI、SPECT、PET等)及时序图像(timeseriesimages,例如fMRI及4D心动图像)的配准问题。医学图像基本变换对于在不同时间或/和不同条件下获取的两幅图像I1(x1,y1,z1)和I2(x2,y2,z2)配准

4、，就是寻找一个映射关系P:(x1,y1,z1)(x2,y2,z2),使I1的每一个点在I2上都有唯一的点与之相对应。并且这两点应对应同一解剖位置。映射关系P表现为一组连续的空间变换。常用的空间几何变换有刚体变换(Rigidbodytransformation)、仿射变换(Affinetransformation)、投影变换(Projec-tivetransformation)和非线性变换(Nonlin-eartransformation)。(1)刚体变换:所谓刚体,是指物体内部任意两点间的距离保持不变。例如,可将人脑看作是一个刚体。处理人脑图像,对不同方向成像的图像配准常使用刚体变换。刚体变换

5、可以分解为旋转和平移:p(x)=Ax+b(1)x=(x,y,z)是像素的空间位置;A是3X3的旋转矩阵,b是3X1的平移向量。矩阵A满足约束条件：ATA=Idet1=1(2)AT是矩阵A的转值,1是单位矩阵。(2)仿射变换：当(2)式的约束条件不满足时,方程式(1)描述的是仿射变换。它将直线映射为直线,并保持平行性。具体表现可以是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均匀尺度变换及剪切变换等。均匀尺度变换多用于使用透镜系统的照相图像,在这种情况下,物体的图像和该物体与成像的光学仪器间的距离有直接的关系,一般的仿射变换可用于校正由CT台架倾斜引起的剪切或MR梯度线圈不完善产生

6、的畸变。投影变换：与仿射变换相似,投影变换将直线映射为直线,但不再保持平行性质。投影变换主要用于二维投影图像与三维体积图像的配准。非线性变换：非线性变换也称做弯曲变换(curvedtransformation),它把直线变换为曲线。使用较多的是多项式函数,如二次、三次函数及薄板样条函数。有时也使用指数函数。非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。医学图像配准的类型根据成像模式的不同,以及配准对象间的关系等,医学图像配准可有多种不同的分类方法。3.1按成像的模式分类由于成像的原理和设备不同,存在有多种成像模式(imagingmodalities)。从

7、大的方面来说，可以分为描述生理形态的解剖成像模式(anatomicalimagingmodality)和描述人体功能或代谢的功能成像模式(functionalimagingmodality)。表1给出几种主要的成像模式。表1多种成像模式解剖成像模式功能成像模式X光照相术CT计算机断层扫描技术MRI磁共振成像U岭超声成像光纤内窥镜图像MRA磁共振血管适影术DSA数字减影血管造影述SPECT单光子发射断层扫描像PET正电子发射断层扫描像fMRI功能磁共振成像单模(monomodality)医学图像配准：是指待配准的两幅图像是用同一种成像设备获取的。单模医学图像配准的典型应用如下。不同MR加权像间的

8、配准：由于使用的射频脉冲序列以及成像参数的设置不同,磁共振图像会有很大的不同。对自旋回波(SpinEcho)脉冲序列主要有三种不同类型的磁共振图像，即T1加权像、2加权像及质子密度(PD)加权像。人体不同的组织在这些图像上表现为不同的强度。例如，很多肿瘤、炎症及病灶都会增加组织中的自由水成分，在T1加权像中表现为低强度;而骨、纤维及钙化组织不含自由水，在T2加权像中呈低强度;亚急性出血在T1和T2像中同时表现为高强度等。不同加权MR图像的信息可以互补，临床上，它们的结合可提供更全面的诊断信息。配准后的图像还可用于脑内组织的分类(如白质、灰质及CSF等)。由于该分类方法的原理与利用卫星遥感图像处

9、理地面资源的方法相似,这种分类方法又称做多谱医学图像分析电镜图像序列的配准:在不同时间采集的多幅物体图像，构成沿时间轴的2D/3D图像的集合,称为时间序列图像。生物医学方面,在显微镜下观察组织结构,可分析微生物、细胞和亚细胞粒子的移动及其引起的形态变化,研究它们的生长和变态现象。对系列微循环图像分析还可得到微血流变化的情况。fMRI图像序列的配准:fMRI(功能磁共振成像,functionalMRI)也是时间序列图像。大脑活动过程中，会产生氧摄取量与脑血流间的不平衡,这种不平衡必然会引起脑血管周围MRI信号的改变。在对磁场不均匀性很敏感的MRI图像序列中就可以测得这些信号的改变。由于该方法无须

10、对比增强剂,也无辐射剂量,又能反映脑功能,因此在神经科学的认知研究中得到普遍的重视。功能测试要求受试者做出某种反映,很大程度上会引起头部的移动,产生伪像。因此,在fMRI序列图像研究中图像配准更是严重的问题11。脑、腹部脏器的图像配准:如果被分析的图像本身就是3D图像，这样的图像序列就成为4D图像，例如4D心动图像分析。要进行定量的分析，往往要求确定各幅图像中的公共参考点位置,即要解决图像定位问题。还要解决目标物体处于运动过程可能存在的局部变形和严重的噪声问题，例如在心动周期中的不同时刻，心脏的形状、大小、位置都会发生变化，介于3D图像间的时间插值图像是常用的方法。多模(multimodali

11、ty)医学图像配准：是指待配准的两幅图像来源于不同的成像设备。例如,CT和MR图像都有较高的空间分辨率,前者对密度差异较大的组织效果好，后者则可识别软组织；SPECT、PET能反映人体的功能和代谢信息，但空间分辨较差。因此在临床应用中，常需要将CT(或MR)与SPECT(或PET)配准。二者的结合能够同时提供功能的与解剖的信息,具有临床应用价值。由于扫描设备的原理不同,扫描参数条件各异,所以两种断层图像间并不存在着简单的一一对应关系。多模医学图像配准是医学图像配准的重点研究课题。在PET与MR图像的配准问题中，目前国际上用的较多的是AIR法(AutomaticImageRegistration

12、)、准标法(FiducialMarks)和双模板变换法。最近,最大互信息法又倍受推崇和关注。3.2按受试对象分类待配准的图像可以是同一个人的，属于患者自身图像配准(intra-subject)。对同一病人在不同时间获取同一器官或解剖部位的图像,可以用于对比,从而监视疾病的发展及治疗过程。如果没有局部的组织切除,这种配准一般用刚体变换就可以了。除此之外,有时要将被试者的图像与典型正常人相同部位的图像对比,以确定被试者是否正常;如果异常,也许还要与一些疾病的典型图像对比,确定患者是否属于同类。这些都属于不同人间的图像配准(inter-subject)8。由于个体解剖的差异，后者的配准显然要难于前者

13、。3.3图像与图谱配准(AtlasMethod或与物理空间配准由于不同人在生理上存在差异，同一解剖结构的形状、大小、位置都会很不相同,这就使不同人的图像配准问题成为当今医学图像分析中的最大难题。在对比和分析不同的医学图像时,很难精确找出对应的解剖信息。这要求有一个详细标记人体各个解剖位置的计算机化的标准图谱。常见的方法大致有两类:一是借助一个共同的标准来比较，例如要对两个病人的PET或MR图像进行比较，首先要把二者的图像都映射到一个共同的参考空间去,然后在此空间中对二者进行比较,目前使用较多的是Talairach标准空间,可以对不同的人脑图像进行比较;二是非线性形变法,模仿弹性力学方法，将一个

14、人的3D图像逐步变换，使它最终能较好地与另一个人的3D图像最佳匹配。在立体定向装置或图像引导的手术导航系统中18,则是将图像像素与物理空间中探针或手术器械或实况摄像的位置配准。医学图像配准方法4.1配准原理医学图像的配准过程本质上是一个多参数最优化问题。用的较多的是使两个图像对应像素特征值差值平方和最小化。一般可用Gauss-Newton最优化算法实现。设di(p)是两个图像上体素I间的差值,p是参数向量,t是参数向量的增量，使用Taylor公式可得:t)二d；(p)+ti+t2al(p)关于参数p的迭代公式:其中更广义的情况是对两组参数优化除空间变换(ps)外,还对强度变换(pt)优化。(L

15、(p)=f(s(xi,p)-t(xi,pi)其中f是物体图像,xi是第i个采样值的坐标,s是描述参数为ps的空间变换的向量函数,t是描述参数为pt的强度变换的标量函数。较简单的情况是空间变换包括12个参数,若模板图像g,强度变换只是简单的换算关系，则t(xi,pt)等于p13g(xi)。比如说我们的目标是使图像f与另一图像g配准，后者称作模板图像(templateim-age)。仿射变换有12个参数(pl到p12),二者的强度换算系数是p13。于是,从图像f的像素x变换到图像g的点y:但是,一个图像的强度并不总是按线性规律随另一图像变化的,有时须使用多项式函数，使用二次函数的最小化函数为:工i

16、(f(xi,ps)-(p13g(xi)+p14g(xi)2)2若强度还随空间位置变化，例如MRI扫描设备的空间不均匀性，则待最小化的函数为：工i(f(xi,ps)-(p13x1ig(xi)+p14x2ig(xi)+p15x3ig(xi)2根据不同的配准问题,需要选用不同的相似性测度,并极大化测度。这仍然是多参数优化问题。4.2主要配准方法点法(PointMethod):又分内部点(Intrinsicpoints)及外部点(Extrinsicpoin-ts)。内部点是从与病人相关的图像性质中得到的,如解剖标志点(anatomicallandmarkpoints)。解剖标志点必须是在三维空间定义的

17、,并在两种扫描模式的图像中可见。典型的解剖标志点可以是一个点状的解剖结构,例如:耳蜗尖端拐点处;两个线形结构的交点;血管的分叉或相交处;某一表面上特定拓扑属性;一个沟回的可识别部分等。外部点则是在受试者颅骨嵌入的螺钉、在皮肤上做的记号或其他在两幅图像都可检测到的附加标记物,例如充有硫酸铜的管子、玻璃珠、铬合金珠、明胶球等。原则上外部点法可用于配准任何模式的图像,而且外部点在医学图像中要比内部点好识别得多,通过比较图像中记号的位置对配准结果也易于视觉检测;缺点是在使用这些记号时,受试者都要在扫描装置内严格保持不动,有些还是介入性的。相比起来,内部点法则对受试者比较友好,而且是全回顾式配准;缺点是

18、内部点的寻找相当困难、费事,要求有一定的经验,方法带有一些主观性。无论内部点还是外部点,一经确定,两图像的配准问题就归结为求解对应点集的刚体变换了。对准了这些标志点,两幅图像也就配准了。(2)曲线法(CurveMethod):Batler3对二维投影放射照片首先用人工的方法在两幅图像中寻找对应的开曲线(Opencurve),再在两条曲线局部曲率最佳拟合的线段用相同的采样率找出一组对应点来以后继续用点法匹配两幅图像Gueziec和Ayache2配准CT体积图像系列时，用图像强度的导数自动提取脊线(ridgeorcrest)。然后，用连续的样条近似这些离散的曲线并计算曲率和扭矩。曲线的对应关系是用

19、几何散列表(geo-metrichashing)检索和表决技术确定的。对应曲线及图像间的配准是通过刚体变换实现的。表面法(SurfaceMethod)基于表面的配准技术典型的例子是Pelizzari和Chen17研究的“头帽法”从一幅图像轮廓提取的点集称作帽子(hat),从另一幅图像轮廓提取的表面模型叫作头(head)。一般用体积较大的病人图像或在图像体积大小差不多时用分辨较高的图像来产生头表面模型。Powell探索算法被用来寻求所需的几何变换,即使帽点和头表面间的距离平均平方值最小。许多学者对该算法作了重要改进,例如用多分辨金字塔技术克服局部极值问题;用距离变换拟合两幅图像的边缘点(edge

20、points),斜面匹配技术(chamferingmethod)可有效地计算距离变换。(4)矩和主轴法(MomentandPrincipalAxesMethod)借用经典力学中物体质量分布的概念计算两幅图像像素点的质心和主轴,再通过平移和旋转使两幅图像的质心和主轴对齐,从而达到配准的目的1。该方法对数据的缺失较敏感,即要求整个物体必须完整的出现在两幅图像中,此外,该方法还对神经医生感兴趣的某些病案效果不佳。例如,PET图像中大的周边低代谢肿瘤可能引起较大的MRPET配准误差。学者们更多地是使用主轴变换法作粗配准使两幅图像初步对齐,可以减少后续主要配准方法的搜索步骤。相关法(Correlatio

21、mMethod)对于同一物体由于图像获取条件的差异或物体自身发生的小的改变而产生的图像序列,采用使图像间相似性最大化的原理实现图像间的配准22,即通过优化两幅图像间相似性准则来估计变换参数,主要是刚体的平移和旋转。对照相序列,考虑到棱镜系统的使用,还要作必要的尺度变换。还须对曝光时间不同引起的强度差异作修正。对核医学图像也要作强度换算来修正因获取时间、注入活性及背景等因素产生的影响。所使用的相似性测度可以是多种多样的,例如相关函数、相关系数、差值的平方和或差的绝对值和等。由于要对每种变换参数可能的取值都要计算一次相似性测度,相关法的计算量十分庞大,一些学者在这方面做出了努力。例如,用相位相关傅

22、立叶法估算平移和旋转参数;用遗传算法和模拟退火技术减少搜索时间和克服局部极值问题,及用傅立叶不变性和对数变换分解变量的互相关技术。相关法主要限于单模图像配准,特别是对一系列图像进行比较,从中发现由疾病引起的微小改变。最大互信息配准法(MaximizationofMutualInformation)互信息是信息论的一个基本概念是两个随机变量统计相关性的测度。Woods24使用给出参考像后测试图像的条件熵作为配准的测度。他研究的AIR是一种广泛应用于PET到MR图像配准的算法，但缺点是依赖对MR图像的予处理,这通常涉及很费功夫的剔除非脑组织的手工编辑工作。Collignon7、Viola和Well

23、s23、Studholme19等人用互信息作为多模医学图像的配准的测度。如果两幅图像几何上对齐的话,它们对应体素对的强度值的互信息最大。由于该方法不需要对两种成像模式中图像强度间关系的性质作任何假设,也不需要对图像作分割或任何予处理,所以被广泛地用于CT/MR、PET/MR等多种配准工作。最大互信息法几乎可以用在任何不同模式图像的配准,特别是当其中一个图像的数据部分缺损时也能得到很好的配准效果。图谱法(AtlasMethod)与非线性变换技术:不同人脑图像的配准远比同一个人的不同模式图像的配准困难得多,这是因为每个人脑的形状、尺寸都有很大的差异。如果我们将脑图像作一定的尺度变换,并对深度内部结

24、构适当取向后,就会发现不同人脑的解剖结构的大小和形状方面还是具有一定的共性的。这就使我们有可能构造一个解剖图谱,其前提是受试者间脑的拓扑结构具有不变性。由于在脑图谱构建过程中有神经解剖学专家直接参与,利用脑图谱进行配准,就可以利用图谱所包含的先验知识来对病人或其他人的图像自动识别和正确地分割。一个最著名的方案是建立一个标准的脑坐标系统。Talairach203D正交栅格系统为大家广泛接受,从图谱到脑图像的配准归结为逐段仿射变换问题。但仿射变换不能解决人脑形态的复杂非线性问题，故一些学者研究了用非线性变换的配准技术。Evans10构建了一个三维的计算机化脑图谱。他们用手工方法从一个高分辨的MR体

25、积图像的所有层片的每半球中都提取60个解剖结构的轮廓线，然后用贴片算法(tilingalgorithm)将这些结构转化为闭合的多面体使用时，通过全局仿射变换或薄板样条函数交互地使图谱变形去拟合图像数据。Greitz13构建的图谱则是从冷冻尸体脑切片的数字化照片中人工提取250个结构,配准方法是先用仿射变换粗定位,再用非线性变换精细对齐,整个配准过程是交互式的。Bajcsy4等人首先用弹性形变方法使三维的计算机化脑图谱变形，用于配准CT和MR体积图像。他们还应用从粗到细的多分辨匹配策略减少计算的复杂性和提高配准精度。Bookstein5的薄板样条法和非线性形变理论、Moshfeghi16等人的弹性匹配方法、Davatzikos9的活动轮廓模型都是独有特色的非线性形变配准方法。Christensen6用粘滞流体模型(ViscousFlu-idModel)控制形变,模板图像被建模为厚的流体,流体在内力作用下流动去拟合待配准的体积图像,经过一段时间后,流体停止活动。该法可以实现任何复杂形状的形变,被认为是当前最高级的图像配准算法,缺点是算法所须计算量太大，使用DECmpp128x64MasPar计算机作3D配准需要26小时，在MIPSR4400处理机上执行