基于轻量化神经网络的皮肤病灶分割设计

[10]的思想,编码阶段，输入大小为H×W×3的彩色皮肤图像，经过三次二维卷积（核大小为3）和最大池化操作后，再进行三次GHPA和两次最大池化；同时SCB做桥接，解码阶段进行三次DGA、IEA操作和两次双线性插值后，再进行三次二维卷积操作和两次双线性插值后，最后最大池化输出一个二元掩膜分割图像。1）DGA（DilatedGatedAttentionBlock）图17DGA模块示意图如图17是DGA模块示意图。模块的前半段SDC（SplitDilatedConvUnit）将输入图像按照通道划分为四个区域，并利用扩张率分别为7、5、2、1的深度可分离卷积来获取图像整体和部分特征；连接操作后，实现图像尺寸重构，卷积再融合信息，后半段GA（GatedAttentionUnit）通过深度可分离卷积（DW）产生符合图像特征的图像，去除无关的信息，使得模型关注更加关键的信息，最终残差连通输出结果，数学公式如公式14-17。 x1,x2 x1' X'= Att=σ(DW(X' Out=DWDWX'其中Clunk4是将输入图片沿通道分为4部分（x1,x2,x3,x4），Wi扩张卷积且2）IEA（InvertedExternalAttentionBlock）模块是基于外界关注来表征数据集,增强样本之间联系。ExternalAttention指的是外部注意力，如图18是IEA模块示意图。图18IEA模块示意图该方法采用两个储存单元(Conv1D共用参数)，来描述整体的特性。给定的输入X（尺寸C×H×W）经过1*1卷积核复制操作后，改变他的大小为C×HW。MemoryUnit1是内存单元1，可以将特征图通道数量扩大到原来4倍（尺寸变为4C×HW）。MemoryUnit2还原尺寸大小，再将图像恢复到C×HW，最后1*1卷积后残差运算，将图像特征信息融合融合特征信息。3）SCB（SpatialandChannelAttentionBridgeBlock）模块由SAB（SpatialAttentionBridge）和CAB（ChannelAttentionBridgeBlock）两部分组成，两部分分别对特征图进行不同的信息提取和融合操作，从而获得图像更有代表性的特征。SAB通过共享二维卷积，对特征图多阶段信息融合，生成空间轴上的特征图。如图19是SAB结构图。图19SAB示意图如上图，每个阶段的特征图，沿通道维度分别采用最大池化和平均池化，再将其串联得到具有两个通道的特征图（宽度和高度保持不变）。然后，利用共享的扩张卷积（扩张率是3）和sigmoid激活函数生成每个阶段的空间注意力图，最后空间注意力图和原始特征图内积后残差连接输出。CAB可以将图像分割过程中各阶段特征进行整体和局部融合，生成通道上的特征图，如图20是CAB结构示意图。图20CAB示意图如上结构GAP是全局平均池化，Concat连接后，Con1D将多阶段信息融合，FC全连接输出后sigmoid回归操作，最后残差输出。4）GHPA(Groupmulti-axisHadamardProductAttentionmodule) 模块沿着通道维度将输入均分为四组，并对前三组的高度-宽度、通道-高度、通道-宽度轴分别进行HPA（HadamardProductAttention），最后一组则只在特征映射上使用DW。最后，沿着通道维度将四组连接起来，并应用另外一个DW从不同角度整合信息。其中,DW的所有核大小为3，如公式19-22。 x1,x4= x2=x x3=x Out=DW(LN(cat([x1,x2 其中，BI是双线性插值（BilinearInterpolation）；permute是将tensor的维度换位的操作；Pxy是随机初始化张量大小[1,C//4,a,b]；Pzx是随机初始化张量大小[1,1,C//4,a]；Pzy是随机初始化张量大小[1,1,C//4,b]；LN如上公式所示，模块的HPA操作就是给定一个输入x和一个随机初始化可学习张量p，首先对p进行双线性插值操作，以调整p的大小适应于x，然后对p进行DW运算，最后x和p进行标准积运算获得输出。3.4模型损失函数 皮肤病分割是一个二分类分类任务，因此用到的损失函数是BceLoss（BinaryCrossEntropyLoss），但医疗图像中常出现类别不均衡的情况，因此训练结果常会被像素更多的类别主导，对于较小的类别学习不到位，从而降低了网络的有效性，而DiceLoss正好可以解决这个问题，但对反向传播会造成不利影响，因此研究人员将两者融合在了一切，提出了BceDiceLoss函数，如公式23-25。 LBce=−1 LDice=1−2 LBceDice=λ其中，λ1和λ4结果分析本章将使用malunet模型在ISIC2018数据集上进行训练，并对训练结束后的损失函数和模型性能指标进行评价，另外对所使用的四个模块进行功能对比，证明所用方案的合理性，最后将测试结果和其他模型比较，验证所用模型在皮肤病灶分割轻量化方面的优势。4.1数据集预处理Pytorch中的torchvision主要用于对图像进行处理，为了提高模型的泛化能力，我们使用torchvision中的transforms模块对数据进行预处理,比如：归一化（ToTensor）、水平翻转（RandomHorizontalFlip）、垂直翻（RandomVerticalFlip）和缩放（Resize）等。数据集结构如图：，train是训练数据集，分为图像和相应二元掩膜存放，测试集和验证数据集共用val文件数据。数据集结构如图21。图21数据集结构图4.2训练和测试4.2.1对比实验 关于每个模块在实验中的分割效果这里做出可视化对比，如图。通过图示对比发现,GHPA、IEA和DGA在提取全局信息上都有一定的优势，但GPHA在局部信息提取优势更加突出，因此GHPA则单独用于编码部分，提取更多更据有代表性的信息，IEA和DGA置于解码阶段，桥接模块SCB在局部信息提出优势大其余三者，因此保持原有功能结构不变，如图22是模块分割效果对比图。原图PredDGAIEAGHPASCB组合图22模块分割效果对比图4.2.2训练结果训练开始前需要设置的初始参数如表1。表1网络各参数设定值超参数设定值学习率0.005最大训练轮次300批尺寸8优化器种类AdamW权重衰减1e-5损失函数BceDiceloss训练数据和测试数据的实验后得到的损失和性能指标如下：图23(a)模型训练集和测试集损失变化图23(b)模型训练集和测试集mIoU变化由图23(a)模型训练集和测试集损失变化图可知，随着训练次数的增加模型训练损失和测试损失下降速度越来越快，越往后下降速度越来越慢，因为测试数据较少，所以两者的损失差距会比较大。由图23(b)模型训练集和测试集mIoU变化图可知，随着训练次数增加，模型的mIoU逐渐增加，最终可达到80%左右，结果表明，分割结果和真实情况非常相似。表2各模型在ISIC2018上的性能指标对比ModelParamsGFLOPsmIoUDSCUNetUNet++Attention-UnetUNeXt-SMyUnet7.7713.7877.8687.559.1634.9078.3187.838.7316.7478.4387.910.300.1079.0988.330.120.06779.2688.67从表2各模型在ISIC2018上的性能指标对比表可知，MUnet的Params和GFLOP相比于Unet缩减了64x和205x，同时相比于近年的轻量化网络UNeXt-S减小了0.18M和0.033GFLOPs,而MyUnet的分割精度都比其余网络有少量的提升。5总结与展望5.1总结本文就目前皮肤病灶分割算法在临床下的应用情况和发展现状为依据，设计了一套基于多种注意力机制的轻量化分割模型，在原有的Unet框架上加入了四个模块，作用分别是：1)提取整体和局部特征；2)描述整个数据集的特征，加强样本之间的联系；3)将多阶段，多尺度的特征信息融合在一起；4）将不同轴的特征信息融合。通过搭建此模型，本文实现了在平衡模型分割精度的同时，降低模型参数量和计算复杂度，从而达到轻量化的目标。对训练后的模型进行测试，相比于原始的UNet模型的参数量降低了64倍，计算复杂度降低了205倍；同时，mIoU和DSC增加了1.7%和1.27%。5.2展望虽然目前的设计能够实现轻量化目标，但它在分割精度上的提升并不是很显著，且仅可用于皮肤病灶分割，不可用于其他医疗分割场景。因此，在未来的研究中，期望能结合更多优越的方法，在其他分割领域设计出更多性能优越的轻量化神经网络模型模型。参考文献邓辉.基于深度学习的黑色素瘤分类算法研究[D].南京邮电大学,2023.DOI:10.27251/ki.gnjdc.2023.002076.蒋宏达,叶西宁.一种改进的I-Unet网络的皮肤病图像分割算法[J].现代电子技术,2019,42(12):52-56.DOI:10.16652/j.issn.1004-373x.2019.12.013.LONGJ,SHELHAMERE,DARRELLT.Fullyconvolutionalnetworksforsemanticsegmentation[C];Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Piscataway:IEEE,2015:3431-3440.RONNEBERGERO,FISCHERP,BROXT.U-net:Convolutionalnetworksforbiomedicalimagesegmentation[C];Proceedingsofthe2015InternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention.Cham:Springer,2015:234-241.MILLETARIF,NAVABN,AHMADISA.V-net:Fullyconvolutionalneuralnetworksforvolumetricmedicalimagesegmentation[C];Proceedingsofthe2016fourthInternationalConferenceon3DVision(3DV).Piscataway:IEEE,2016:565-571.曹玉红,徐海,刘荪傲等.基于深度学习的医学影像分割研究综述[J].计算机应用,2021,41(08):2273-2287.高明昊,逯洋.皮肤病灶图像分割方法的分析与探讨[J].福建电脑,2024,40(03):24-29.DOI:10.16707/ki.fjpc.2024.03.005.HuisiW,ShihuaiC,GuilianC,etal.FAT-Net:FeatureAdaptiveTransformersforAutomatedSkinLesionSegmentation[J].MedicalImageAnalysis,2021,76(prepublish):102327-.EGH,SimonO,Yee-WhyeT.Afastlearningalgorithmfordeepbeliefnets.[J].Neuralcomputation,2006,18(7):1527-54.RUANJ,XIANGS,XIEM,etal.MALUNet:AMulti-AttentionandLight-weightUNetforSkinLesionSegmentation[C].2022IEEEInternationalConferenceonBioinformatics