基于Attention机制的U-net的眼底渗出液分割

基于Attention机制的U-net的眼底渗出液分割摘要：糖尿病视网膜病变(DR)是一种严重的眼部异常，其严重情况下会导致视网膜脱落甚至失明。眼底的渗出液是由于高血糖毒性作用，导致血屏障破坏，血管内的脂质等漏出而造成的。是视网膜病变的并发症之一。由于患者与专业医生数量悬殊巨大，设计一个可以自动的检测渗出液的医疗助手是十分重要的任务。本文依托于深度学习方法，以U-Net架构为骨架网络，以准确度(Acc)、灵敏度(SE)、特异性(SP)以及AUC值作为模型性能的评估指标，先测试了原始U-Net在该任务上的分割能力，在该任务上达到99.8%的准确度，73.1%的灵敏度，98.0%的特异性以及0.973的AUC值。根据U-Net网络架构的固有问题，将Attention机制与U-Net结构，搭建AttentionU-Net。99.8%的准确度，81.5%的灵敏度，99.8%的特异性以及0.985的AUC值。实验结果表明，AttentionU-Net有更好的特征提取能力。关键词：视网膜病变；深度学习；AttentionU-Net；硬渗出液分割1引言糖尿病视网膜病变（DR）是一种严重的眼部异常，这种病变与慢性糖尿病相关，是糖尿病最常见的微血管病症之一，是慢性糖尿病导致的视网膜微血管渗漏和阻塞而引起的一系列的眼底病变，有微血管瘤、硬性渗出甚至视网膜脱落等等表现。患有它的患者可能会逐渐失去视力，甚至造成失明[1]。近年来，随着医学水平的不断提高，糖尿病视网膜病变（DR）可以通过及时诊断和干预来治疗，但是视力障碍的病变和症状很容易在疾病的早期阶段被忽视，这会导致之后治疗的成本和风险大大提高。与之应对的措施之一就是安排糖尿病患者进行定期检查以延迟或减轻失明的风险。但是，由于医护数量有限，且具有经验的临床医生目前远远不足以进行不间断的诊断庞大的糖尿病患者群体，截至目前，全球有超过4亿糖尿病患者。若想完成对每一位患者的周期性检查，几乎是不可能完成的。因此需要开发一种自动诊断技术帮助医学专家减轻负担，在保证检测效率的前提下提高精度。硬性渗出液是糖尿病视网膜病变的并发症之一。由于高血糖毒性作用，血屏障被破坏，血管内的脂质、蛋白成分漏到视网膜上，留下黄色的点状深处。图1.1为眼底硬性渗出液的示意图。如图1所示，红色框内部的点状异常为眼底渗出液。需要解决的问题就是将该区域的特征有效的提取出来，输出一个二值图片。图1眼底渗出液示意图实现眼底图像分割的方法具有两大方向[2-3]。一个方向是基于传统的机器学习以及机器视觉的方法。Fleming等人采用SVM的方法实现了对渗出液的分割[4]。他们首先使用均值和高斯滤波器对RGB图像的绿色通道进行矫正。采用多种线性结构元素用来检测渗出液的区域。最后检测到的区域使用SVM分类器将渗出液区域和背景区域分割出来。除此以外，Sopharak用朴素贝叶斯分类器实现了该任务[5]。Osareh等人用FCM的方法，实现了对渗出液位置的像素级精准定位[6]。传统机器学习的方法需要对问题进行特殊的定制，且泛化能力受算法限制，操作过程繁杂，具体问题需要具体分析。随着深度学习技术的发展以及GPU运算的速度持续加快，以神经网络为代表的图像分割方式逐渐完善。Gardner等人首次使用反向传播的神经网络来检测眼底渗出液[7]。深度学习发展后，模型对于大样本的需求很高。但在医学领域，病症图片的样本十分稀少。为了解决小样本的预测问题，OlafRonneberger等人提出了U-net[8]。U-net基于卷积神经网络搭建而成，卷积层的运算具有高并行性，且由于权值共享的机制拥有很少的参数量，却有很强的空间特征提取能力。本文基于U-net的架构，利用深度学习的方法将数据集分为训练集和测试集。经过数据预处理和网络训练调试，网络可以达到较好的预测结果。2方法2.1数据由于e-ophtha数据集中仅有47个标注数据，且数据的特征属于正负样本不均衡问题，为了扩充数据集，采用了两个方法。首先，进一步加入IDRiD官方的分割数据集。选用分割数据集中的硬分割数据。观察IDRiD的数据集可以发现，数据集中的标签格式为TIF格式，且图片中的渗出液用红色作为标注。为了与e-ophtha数据集的标注数据统一，则将其转化为黑白二值图像以及相同的图片格式。接下来进行数据集的扩充和增强。在实验过程中，一共采用了两种方式。第一种，单独对e-ophtha数据集进行处理，对单个图片切割成很多patches。首先将图片进行中心裁剪为960×960的图片，去掉大部分不感兴趣的区域。再将图片resize到512×512。之后对单个图片进行切割，尝试了32×32、64×64、128×128三种不同的patch。40张图片作为训练集，7张图片作为测试集。因此会分别得到10240：1792、2560：448、640：112这三种不同数量级的训练测试对。搭建U-net对其进行训练。最后结果输出时，将裁剪后的图片重新恢复成原状。第二种，融合e-ophtha数据集和IDRiD数据集进行数据中心裁剪为960×960，再resize到512×512。以64×64为1个patch对每一张图像进行切割，得到128×64张patches。Patches以32batchsize大小为单位，输入网络进行计算。Labels也做同样的处理，确保数据集一一对应。同时，对于RGB图像来说，红色通道更加饱和，蓝色通道则色调更暗，由于绿色通道有更强的对比度，所以选择该通道最为输入图像的通道，完成三通道数据到单通道数据的转换[13]。2.2模型架构2.2.1Encoder-Decoder架构Encoder-Decoder架构是计算成像领域中的一个经典的架构。在该计算框架下，Encoder负责图像的特征提取。Decoder负责图像的信息重建和分割任务。在图像分割领域中，U-net结构的卷积神经网络是一种典型的Encoder-Decoder架构。其相比于全连接型的Encoder-Decoder架构有巨大的优势。首先，全连接型神经网络是一种密集型连接，意味着每一个神经元之间都要进行连接和计算。这无疑在前向传播和反向传播的过程中会消耗巨大的计算资源。不仅如此，全连接的神经网络由于其参数量巨大，面对一些数据集较少的任务时，全连接神经网络面临着过拟合的问题。同时，当图片数据输入全连接神经网络时，需要将其打平成一维向量，这样会丢失相关的空间信息。由于上述原因，在本实验中采用卷积计算的方式作为神经网络的基本计算模块。卷积计算的优势在于，由于权值共享的机制，每一个卷积层所需要的参数量相比于全连接层要小得多。卷积核是一种稀疏的权重连接方式，能一定程度的减轻网络的过拟合现象。且能较好的根据图像的空间特征调整自己的权重。卷积核的多通道特性可以使网络在学习的过程中自己调整每一个通道的权重，每一个通道实质相当于一个特征选择器，能提取图片上的不同信息。更重要的是，卷积计算具有不变性。这样可以让网络有更好的泛化性能。卷积核的大小也对网络的特征提取能力有一定的影响。图2展示了不同卷积核大小的感受野。图2.不同大小的卷积核的感受野表2.2.1比较了全连接层与卷积层的计算性能。层FLOPs[1]参数量[2]全连接层7,750,6567,750,656卷积层162,81681表2.2.1比较两者时需要控制输入变量的大小。这里假设输入3×32×32大小的RGB图像，因此全连接层的输入神经元个数为3072。令卷积核的大小为3，通道数为1，步长为1，padding为0，则卷积计算后的图像大小为29×29。则全连接神经网络的输出为841。根据本页下方的计算公式，可以计算得到全连接层的浮点操作数和参数量。当前的U-net正是基于卷积操作的基础上提出的处理医学领域图像分割的有效模型。本文在当前的U-net上进行了一些改进，即加入了Attention机制，训练时采用BCEWithLogitsLoss作为损失函数。本文进行了一个对比实验，首先搭建U-net网络直接进行训练。其次加入了Attention机制，进行第二次训练，效果比原U-net结构明显提升。下面分别对Attention机制、U-net以及BCE损失函数进行介绍。2.2.2Attention机制Attention机制顾名思义是注意力机制。即将重点集中注意力在某一个区间而不是全部。这最初借鉴于人类视觉。人类观察一幅图片的时候并不会关注每一个细节部位，而是重点聚焦在图片的核心内容上。将Attention机制引入计算机视觉、NLP等等领域，都增强了网络对于重点信息的关注能力和提取能力。在卷积神经网络处理图像的问题上，很多人也提出了不同角度的注意力机制。例如，JieHu等人在SEnet网络提出通道注意力机制[9]；SanghyunWoo等人提出CBAM模块时，引入了空间注意力机制[10]。注意力机制的本质，就是在通道或者空间维度，根据当前信息的计算，得到多个可学习的权重，并附加到对应的通道或者空间上，让网络自动根据目标寻找感兴趣的通道或区域。2.2.2U-net本文中U-net结构设计如图3所示。图3U-net架构U-net结构参考OlafRonneberger等人提出的标准框架[8]。该结构的三个重要的机制分别为下采样、上采用和跳层连接。下采样会以2为倍数对图片大小进行缩减，这样做的好处是可以在保持kernel-size不变的情况下，增大卷积核的感受野，能让卷积操作在不同的视野范围内提取图片的特征。上采样一般有三种方法：最邻近插值、二次线性插值以及反卷积。在本文实验时采用的方式为二次线性插值法，这种方法相比与最邻近插值会有更加精确的结果，同时比用反卷积的网络有更少的参数量。跳层连接可以结合高维信息和低维信息，实现信息的融合，有效的防止了在上采样过程中信息的损失。在本文的U-net的卷积计算时，分别采用64、128、256、512、1024五种通道数逐步降采样。升采样的过程则以对称的方式，将图片和通道数恢复到输入的形式。2.2.3AttentionU-netAttentionU-net由OzanOkatay等人在2018年提出[11]。图4展示了在本文中采用的AttentionU-net的基本框架。图4AttentionU-net网络架构在该网络中，每一个模块由DoubleConv层、BatchNormalization层、ReLU层组成。通道数变化为1、64、128、256、512、1024。下采样采用MaxPooling，上采样采用双线性插值法。同时加入了Skip-connection机制，加入该层的目的是为了更好的结合高维特征和低维特征，便于网络分割。AttentionGate机制加在Skip-connection路径中，AG的输入是对应的下采样的输出和上采样部分的输入。2.2.3AttentionGate机制OzanOkatay在文章中指出，级联框架提取感兴趣区域(ROI)并对该区域进行预测时现在大多数模型的基石。但这种方法导致过多和冗余地使用计算资源和模型参数。为了解决这个问题，文章提出了AttentionGate方法。该方法存在几个优势：1.CNN会自动关注有显著特征的区域；2.不会引入无关的计算量。其通过抑制无关区域中特征的激活来提高模型的灵敏度和准确性。图5示意了本文采用的AttentionGate机制。图5AttentionGate计算流程上图中的GateSignal来自还未进行上采样时的当前层，Skip-Input来自对应下采样层级的跳层输入信号。两种信号经过1×1的卷积核后进行加性融合。融合后的部分通过ReLU激活函数以及Sampler，计算得到α值，也即所谓的Attentioncoefficient。再将Attentioncoefficient与需要上采样的Skip-Input进行元素相乘。最后输出，公式1描述了AttentionGate的计算流程。4实验结果4.1评价指标图像分割的本质是像素级的二分类问题，因此可以用相关的评估指标对模型性能进行评判。这里选用准确度(Acc)、灵敏度(SE)、特异性(SP)以及AUC值，ROC曲线对两个网络的分割结果进行综合评判。其中，准确度、灵敏度、特异性的计算公式如下：公式中，TP(TruePositive)代表分类正确的像素个数；FP(FalsePositive)代表非渗出液区域但被分为渗出液的像素个数；TN(TrueNegative)代表分类正确的正常像素个数；FN(FalseNegative)代表渗出液区域被分为非渗出液区域的像素个数。ROC(ReceiverOperatingCharacteristic)，又称受试者工作特征曲线。ROC图像中，横坐标代表FP，纵坐标代表TP。AUC的值就是ROC覆盖区域的面积，可以代表模型分割结果的精准程度。AUC的值越大，则说明模型的效果越好。采用这种方式，可以直观的对两种模型进行比较。4.2模型比较表2展示了U-Net以及AttentionU-Net在测试数据集上的表现。可以明显观察到，加入Attention机制，使网络拥有了更好的特征提取能力，分割时会集中在感兴趣区域(ROI)上，有效的分割图片。但是，U-Net模型的参数量为3.38M，而AttentionU-Net模型的参数量高达34.88，要高一个数量级。所以训练时长要大于U-Net。模型AccSPSEAUCU-Net0.9980.9800.7310.973AttentionU-Net0.9980.9990.8150.985表2不同模型的训练结果图11ROC曲线4.3实验结果实验过程中共搭建了两种不同的网络，在统一数据集上运行相同的Epoch数量。Batchsize为32，学习率为0.0001，设置ratio-decay，每12个epoch减少为原来的0.9倍。最终的实验结果如图12所示，其中(a)为输入图像，(b)为groundtruth，(c)为U-Net预测结果，(d)为AttentionU-Net预测结果。图12渗出液分割结果5结论在本研究中，首先分析了卷积操作的可行性，基于该分析，采用卷积形式的Encoder-Decoder架构，以U-Net为骨架进行实验。实验过程中发现了U-Net在分割任务方面的不足，为了让模型能关注更重要的区域，减少对非渗出液区域的冗余计算和无意义的特征提取，将Attention机制应用于U-Net网络架构中。实验结果表明，Attention的U-Net网络模型的特征提取能力、分割能力以及泛化性能要比U-Net优越。由于加入Attention机制后，网络的参数量会比原U-Net的网络有所增多。在未来的实验中，将采用Bottleneck机制，在不影响网络性能的前提下，尽可能的使AttentionU-Net轻量化。此外，实验仍然表明，增大kernelsize会提升网络的精度。可以采用DoubleConv与Bottleneck结合的方式，并加入残差结构，进一步提升模型的性能。6参考文献1.H.Wang,G.Yuan,X.Zhao,L.Peng,Z.Wang,Y.He,C.Qu,andZ.Peng,‘‘Hardexudatedetectionbasedondeepmodellearnedinformationandmulti-featurejointrepresentationfordiabeticretinopathyscreening,’’Comput.MethodsProgramsBiomed.,vol.191,Jul.2020,Art.no.105398.2.FO,AUR,NEYK,etal.AlgorithmsfortheAutomatedDetectionofDiabeticRetinopathyUsingDigitalFundusImages:AReview[J].JournalofMedicalSystems,2012,36(1):145–157.3.MMRK,AUR,CCK,etal.Computer-aideddiagnosisofdiabeticretinopathy:Areview[J].ComputersinBiologyandMedicine,2013,43(12):2136–2155.4.A.D.Fleming,S.Philip,K.A.Goatman,G.J.Williams,J.A.Olson,P.F.Sharp,Automateddetectionofexudatesfordiabeticretinopathyscreening,Phys.Med.Biol.52(24)(2007)7385.5.A.Sopharak,K.ThetNew,Y.N.AyeMoe,M.Dailey,B.Uyyanonvara,AutomaticexudatedetectionwithanaïveBayesclassifier,in:InternationalConferenceonEmbeddedSystemsandIntelligentTechnology,2008,pp.139-142.6.A.Osareh,B.Shadgar,R.Markham,Acomputational-intelligence-basedapproachfordetectionofexudatesindiabeticretinopathyimages,IEEETrans.Inf.Technol,Biomed.13(4)(2009)535-545.7.G.G.Gardner,D.Keating,T.H.Williamson,A.T.Elliott,Automaticdetectionofdiabeticretinopathyusinganartificialneuralnetwork:ascreeningtool,Br.J.Ophthalmol,80(1996)940-944.8.OlafRonneberger,PhilippFischer,andThomasBrox,U-Net:ConvolutionalNetworksforBiomedic