ch09基于深度学习的医学图像配准

第九章基于深度学习的医学图像配准新工科建设·人工智能与智能科学系列深度学习在数字图像处理中的应用01医学图像配准概述PARTONE医学图像配准概述1.概念

（一）概念医学图像分析(Me山calImageAnalysis)是综合医学成像、数学建模、数字图像处理、人工智能和数值算法等学科的交叉领域。医学图像配准技术是20世纪90年代才发展起来的一项重要医学图像分析技术当前，国际上关于医学图像配准的研究集中在断层扫描图像及时序图像上。1基本概念医学图像配准概述1.刚体变换

指物体内部任意两点间的距离保持不变。例如，可将人脑看作一个刚体。处理人脑图像，对不同方向成像的图像配准常使用刚体变换。刚体变换可以分解为平移变换、旋转变换和反转（镜像）变换。2基本变换医学图像配准概述2.仿射变换

（一）概念仿射变换将直线映射为直线，并保持平行性。仿射变换在图形中的变换包括平移、缩放、旋转、斜切及它们的组合形式。（二）特点平行关系和线段的长度比例保持不变。仿射变换可用于校正由CT台架倾斜引起的剪切或MR梯度线圈不完善产生的畸变。2基本变换医学图像配准概述2基本变换3.投影变换（一）定义与仿射变换相似，投影变换将直线映射为直线，但不再保持平行性质。投影变换主要用于二维投影图像与三维体积医像的配准。医学图像配准概述4.非线性变换(一)定义非线性变换也称作弯曲变换(CurvedTransformation)，它把直线变换为曲线。使用较多的是多项式函数，如二次、三次函数及薄板样条函数，有时也使用指数函数。非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。2基本变换医学图像配准概述1.按成像模式分类由于成像的原理和设备不同，存在多种成像模式。从大的方面来说，可以分为描述生理形态的解剖成像模式和描述人体功能或代谢的功能成像模式，因此可分为单模医学图像配准（指待配准的两幅图像是用同一种成像设备获取的）和多模医学图像配准（指待配准的两幅图像来源于不同的成像设备）。3方法分类医学图像配准概述3方法分类2.按受试对象分类如果待配准的图像是同一个人的，则属于自身配准。如果待配准图像是不同人的，则属于图谱配准。医学图像配准概述1.点法

点分为内部点(IntrinsicPoints)及外部点(ExtrinsicPoints)。内部点是从与患者相关的图像性质中得到的；外部点法包含皮肤标记点和利用外置固定框等方法。4典型配准方法医学图像配准概述2.曲线法

Batler等人对首先用人工的方法在两幅二维投影放射图像中寻找对应的开曲线(OpenCurve)，再在两条曲线局部曲率最佳拟合的线段用相同的采样率找出一组对应，点以后继续用点法匹配两幅图像。4典型配准方法医学图像配准概述3.表面法

基于表面的配准技术典型的例子是Pelizzari和Chen研究的“头帽法”。从一幅图像轮廓提取的点集称作帽子(Hat)，从另一幅图像轮廓提取的表面模型称作头(Head)。一般用体积较大的患者图像，或在图像体积大小差不多时用分辨率较高的图像来产生头表面模型。4典型配准方法医学图像配准概述4.矩和主轴法

矩和主轴法(MomentandPrincipalAxesMethod)借用经典力学中物体质量分布的概念风计算两幅图像像素点的质心和主轴，再通过平移和旋转，使两幅图像的质心和主轴对齐，从而达到配准的目的。4典型配准方法医学图像配准概述5.相关法

相关法(CorrelationMethod)，对于同一物体由于图像获取条件的差异或物体自身发生的小的改变而产生的图像序列，采用使图像间相似性最大化的原理实现图像间的配准。4典型配准方法6.最大互信息配准法互信息是信息论的一个基本概念，是两个随机变量统计相关性的测度。他据此提出AIR配准法，这是PET到MR图像配准的算法。医学图像配准概述4典型配准方法7.图谱法图谱法利用人类解剖结构的一致性来配准两幅图像。虽然每个人的形体都有很大的差异，但如果将人体图像进行恰当的尺度变换，就会发现不同人的解剖结构具有一定的共性。这就使我们有可能构造一个解剖结构的标准图谱。可利用此图谱对不同患者的解剖结构进行识别，从而完成配准过程。医学图像配准概述4典型配准方法1.体模(Phantom)法体模又有硬件体模和软件体模之分，后者是计算机图像合成的结果。体模法用已知的图像信息验证新配准算法的精度。优点：可以在各种实际成像环境广泛使用，性能已知，而且稳定；缺点：由于太稳定，很难对其形状和材料做些变动。医学图像配准概述5评估方法2.准标(FiducialMarks)法立体定向框架系统(StereotacticFrameSystems)包括立体定向参考框架、立体定向图像获取、探针或手术器械导向等部分。其优点是定位准确，不易产生图像畸变。使用立体定向框架系统获取的体积距像数据可以用来评估其他配准方法的精度。使用人工记号做准标的方法有很多。一种准标是使9用根棍棒组成的3个方向的N字型结构。在做CT测试时，棒内充以硫酸铜溶液；做PET测试时，则填充氝18。这样，在两组图像中都可见此N字型准标，从而可对图像进行准确空间定位。医学图像配准概述5评估方法医学图像配准概述5评估方法3.图谱(A伽s)法UCLA的Thompson用随机向量场变换构造一个可变形的概率图，谱包括血管等组织结构。VisibleHumanCD的CT骨窗图像、MR图像及彩绘的冷冻切片由于具有清晰的解剖结构和高度的分辨(1毫米／层片），近来也被用来做新配准方法精度的评估。医学图像配准概述5评估方法2.准标(FiducialMarks)法对医学图像配准的结果请领域专家用目测方法进行验证，虽然听起来有些主观，但也是一种相当可信的方法。医学专家用肉眼对CT/MR配准结果的评估准确度可达2mm。02基于分形沙漏网络由MV-DR合成kV-DRRPARTTWO基于分形沙漏网络由MV-DR合成kV-DRR图像合成可以作为密集像素预测任务的一个实，例它对于图像分割、边界检测和图像恢复等都具有重要意义。1引言基于分形沙漏网络由MV-DR合成kV-DRR用于图像合成的深度神经网络通常由在学习全局表示的同时逐渐降低空间分辨率的编码器组成。2分形沙漏网络由于深度神经网络的高模型容量，成功的深度神经网络训练需要数于个有标记的样本。为了解决这个问题，本书作者提出了一个由软组织DRR和骨组织DRR图像对组成的辅助数据集来模拟原始数据集的数据分布，然后通过迁移学习的原理在辅助数据集上对网络进行预训练。

基于分形沙漏网络由MV-DR合成kV-DRR根据从某省肿瘤医院收集的图像评估本书作者提出的网络。收集的图像共有646个kV-DRR和MV-DR图像，辅助数据集包含3040个图像对。所有图像均调整为384x384分辨率，约有80%的图像用于训练，其余图像则留作评估。所有模型均使用Adam优化器进行训练，初始学习率为Jx!0-4。在TITANGPU上，训练和测试分别耗时约一周和800ms。1.分形设计的效果

为了衡量分形拓扑的影响，将本书方案与单沙漏网络和堆叠沙漏网络进行了比较。所有模型都采用迁移学习策略进行训练。3实验基于分形沙漏网络由MV-DR合成kV-DRR2.有迁移学习或没有迁移学习的比较

为评估迁移学习的影响，首先在辅助数据集上从头开始用5个沙漏模块训练一个分形网络。然后，使用较小的学习率Ix!05-在kV-DRR和MV-DR数据集上对其进行重新训练。当仅在kV-DRR和MV-DR数据集上训练网络时，会丢失精细的解剖细节，例如鼻中隔和眼眶轮廓。当仅在辅助数据集上训练网络时，迁移学习可以帮助模型检测这些轮廓，但是无法很好地预测另一个区域。当采用迁移学习时，从图中可以观察到快速收敛和显著的性能改进。3实验基于分形沙漏网络由MV-DR合成kV-DRR3.与目前最先进的方法进行比较本书提出的网络在所有指标上均胜过竞争网络。3实验03基于公共表征学习和几何约束的多模态医学图像配准PARTTHREE基于公共表征学习和几何约束的多模态医学图像配准当图像中存在强烈的外观变化和不精确的对齐方式时，多模态医学图像配准仍然是一个具有挑战性的问题。目标：建立多模态医学图像之间的对应关系.1引言基于公共表征学习和几何约束的多模态医学图像配准方法给定一对图像x和x'，目标是估计它们之间的空间变换T：炉熘一页研。首先在公共语义空间中提取图像表，示然后通过附加的几何约束在这些表示上预T测来实现此目标。

2方法基于公共表征学习和几何约束的多模态医学图像配准以某省肿瘤医院提供的3318幅图像为数据集，我们对所提出的方法进行训练。转换的结果表现在图像中，并由临床医生纠正。20％的图像用作评估。从成功率的角度来评价配准质量，如果图像任意方向的偏移误差小于2mm,那么就视作一个成功的配准。

3实验及算法比较04基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准PARTFOUR基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准电子平板成像设备CEPID)作为一种经济实惠的设备，广泛应用于放射治疗科，用于确定患者病灶的位置，以便进行精确的放射治疗。然而，在兆伏X射线下，这些设备往往生成视觉模糊和低对比度的平面数字X射线照片CMV-DR)，这给临床医生在MV-DR和于伏数字重建X射线照片(kV-DRR)之间进行多模式配准带来了巨大的挑战。此外，强烈外观变化的存在也使得现有的自动算法无法实现精确配准。1概述基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准核心思想：是首先从MV-DR中生成合成kV图像，然后将合成的kV-DRR与真实的kV-DRR进行配准。在模态转换后，使用基于MI的迭代优化方法进行简单的2D刚性配准来对齐图像。为了生成反映MV-DR解剖结构的合成kV图像，开发一个利用MV-DR和非对齐kV-DRR的生成网络。为了解决不完全对应的问题，在训练生成网络时引入对抗性损失，使真实分布和近似分布之间的差异最小化，从而在语义层而不是不完美的像素层提供训练监督。为了确保合成的kV图像真实地反映MV-DR的细节而不是未对齐的kV-DRR,对来自未对齐kV-DRR的信息流施加了信息瓶颈(IB)约束。IB强制生成网络丢弃未对齐的kV-DRR中与合成无关的所有可变性，从而减少来自非对齐kV-DRR的不相关信息。该模型可以看作条件生成对抗网络的信息瓶颈扩展，因此称为IB-cGAN。

1概述基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准1.数据在介绍模型之前，首先介绍训练和测试数据集。训练数据集包含2698个患者扫描图，扫描范围包括4个身体部位：头部、颈部、胸部和骨盆。每个患者扫描图包括两个图像对：0度（正视图）对和90度（侧视图）对。测试数据集包含208个患者扫描图，数据清洗横向(LAT入纵向(LNG)和垂直方向(VRT)的平移位移分布。2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准2.IB-cGAN结构编码器E将非对齐kV-DRRy编码为潜在表示z,以从y获取必要的信息。生成器G利用输入的MV-DRx和潜在表示z合成与x的骨骼解剖结构相对应的kV图像y。在训练过程中，使用了3种损失。形式上，设x是MV-DR,y是非对齐的kV-DRR,y是对齐的kV-DRR,y是合成图像。目标是通过学习发生器G(x,z)-y来简化MV-DRx和非对齐kV-DRRy之间的多模式配准。通过以下方法来实现这一目标：O最小化真实条件分布与估计的散度minGD[p（阳x)IIqa(YI(x,z)）］之间的差异，使得从估计分布qG（沪（x,z)）提取的样本与从真实分布p（阳x）提取的样本是不可区分的；＠通过强制一个IB来调节y和z之间的信息流，使它们之间的 M［最小化，I认z;y)即z对y的最大压缩。把这两个目标写在一起，得出min6,,L(G,E)=D[p(yIx)IIq6(j)I(x,z))]+21几(z;y)2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准3.对抗性损失我们依赖于J－散度[34]的对偶公式来估计D[p(jilx)llqG（引（x,z))]"f-散度是一类散度，著名的Kullback-Leibler(KL)散度和Jensen-ShannonOS)散度是J～散度的特殊情况。假设D现在是JS散度，影丘的研究[34]利用f散度的对偶表示，证明了JS散度的下界（含一些常数因子）为DJS[p（沪x）飞（们(x,z)）］江m严丘，y-p(x,y,y)[logD(y)+Ey-G(x,,),,-E(yi[log(l-D（沁）］］（9-12)其中，DEF,F是函数X-R的任意一类。对于足够大的F,界是紧的。为了估计真实分布和假分布之间的散度，可以使方程关于D的右边最大化。根据估计的散度，可以使关于G和E的散度最小化，使假分布接近真实分布。这些可选的优化可以写成两者的极小极大值，就像普通的GAN[32]一样，即LGAN(D,G,E)＝叨1m严互，y,y-p(x,y,y)[logD(y)+E,-G（立），,-E(y)[log(l-D(ji))]J(9-13)

2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准3.对抗性损失如果把D作为鉴别器，这就相当于GAN的目标，即训练鉴别器D将样本进行真假分类，而生成器G学习产生真实的样本来欺骗鉴别器。通常，可以用深度神经网络参数化生成器G、编码器E和鉴别器D,但这使它们具有确定性，需要一种随机编码器来提取样本z。为了解决这个问题，我们转向使z不仅随机且可微的重参数化技巧[36]。遵循重参数化技巧中的标准实践，假设参数化后验分布q忒砌）遵循近似对角协方差的近似高斯形式，qE(动）＝N(µ比＂i),其中，均值µE和方差矿将由网络E(y)从y进行预测。然后，使用下述方法[36]从包含噪声项8的qE(动）对z进行采样z=r(E(y),&)=µ,+&Ou,N(O,l)2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准5.Photoshop中的色彩模式其中，r表示重参数化技巧，O表示元素积。注意到最小化的差异是在普遍水平上而不是在个体水平上衡量的。在实践中，我们也进行了L2矩离和余弦距离的实验，但发现Ll矩离支持尖锐的真实样本。2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准4.信息瓶颈如前所述，要求编码器E产生潜在表示z,它可以捕获与对齐kV-DRRy相关的信息，同时减少对y没有贡献的无关信息。由于选择了可微估计量，对于从训练集中随机抽取的小批量样本，可以直接通过网络反向传播梯度来更新其参数。2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准5.网络结构我们基于U-Net[6]参数化生成器G。将下采样层和上采样层的数量设置为8,下采样层和上采样层分别实现为卷积层（滤波器尺寸为3x3,步长为2)和转置卷积层（滤波器尺寸为3x3,步长为2)。对于转置卷积层，卷积层的滤波器编号分别为64、128、256、512、512、512、512。所有的卷积层之后是批处理归一化和一个ReLU（斜率为0.01)。我们使用维数为8的潜在表示z。它首先在空间上复制到256x256x8大小，然后在通道轴上与256x256xl的输入图像连接。2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准5.网络结构鉴别器D采用PatchGAN架构[37J,该架构将注意力机制限制在局部补丁细节上，以抵消模糊效应，增强细节。PatchGAN网络由4个卷积层组成，滤波器大小为3x3,步长为2。滤波器编号分别为64、128、256和512。每个卷积层后面都是批处理归一化和一个ReLU（斜率为0.02)。最后一个输出层使用全局池化将空间大小减小到1，然后对普通GAN进行Sigmoid激活，对其他层使用线性激活。2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准5.网络结构基于ResN忒设计了编码器E。编码器从一个卷积层开始，有64个大小为4x4和步长为2的滤波器，然后是4个残差块。每个块体由层模式组成：卷积(3x3,步长I)－瞬间漏失CO.I)卷积(3x3,步长2)－瞬间漏失(0.l)。块中的滤波器编号为64xl28、128Xl92、192x256、256x256。编码器以一个8X8平均池化层和一个8路完全连接层结束。编码器预测由均值和方差组成的概率输出，可通过分割预测轴得到均值和方差。2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准6.训练和评估详情1.训练为了准备用于训练的输入图像，将480x480像素的对齐MV-DR和kV-DRR图像对随机裁剪为384x384像素，然后重采样到256x256像素，在训练过程中，图像被标准化为单位方差强度的零均值，并通过随机水平翻转进行增强。所有的网络都是用Xavier初始化器初始化的，用Adam优化器训练，学习率为2x)0-4,批量大小为4,采用200次遍历。在单个NVIDIATitanX(Pascal)GPU上训练大约需要2天。2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准6.训练和评估详情2.评估80x480像素的非对齐MV-DR和kV-DRR图像时在图像的中心区域首先被裁剪为384x384像素。然后，将384x384像素MV-DR重采样到256X256像素，并输入IB-cGAN以产生256x256像素的合成图像。为了评估配准的性能，将合成图像噩采样为384x384像素。然后，将384x384像素的真实和合成的kV图像输入下游配准算法中，以预测平移位移。最后，将预测的偏移量与真实偏移量进行比较，计算出配准成功率。该训练和评估流程如图9.12所示。如果在任意方向上的公差小于2mm,就认为配准是成功的。2mm公差是学术界和工业界科学家对这一具体任务的共识。AAPMTG-142报告[43]建议定位公差在2mm的精度范围内。方差[44]也使用2mm作为截止阙值。2材料和方法6.训练和评估详情2.评估基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准2材料和方法基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准6.训练和评估详情3.下