《采用深度学习的肺癌辅助诊断系统的设计与实现》14000字

PAGE1采用深度学习的肺癌辅助诊断系统的设计与实现TOC\o"1-2"\h\z\u1绪论 11.1研究背景和意义 11.2国内外研究现状 11.2.1深度学习 11.2.2肺癌辅助诊断系统 21.3研究内容与章节安排 51.3.1主要研究内容 51.3.2本文章节安排 52相关理论知识 62.1肺癌辅助诊断系统 62.2深度学习方法 62.2.1卷积神经网络 62.2.2YOLO理论基础 82.3本章小结 103基于卷积神经网络的肺部CT图像去噪 103.1图像去噪方法 103.1.1去噪模型建立 103.1.2算法步骤 123.1.3评价指标 133.2实验及结果分析 133.2.1数据集 133.2.2实验环境 133.2.3参数设置 143.2.4实验结果分析 143.3本章小结 154基于卷积神经网络的肺结节检测 154.1结节检测方法 154.1.1检测模型建立 154.1.2算法步骤 164.1.3评价指标 174.2实验及结果分析 184.2.1数据集 184.2.2实验环境 184.2.3参数设置 184.2.4实验结果分析 184.3本章小结 225系统设计与实现 225.1整体结构 225.1.1图像去噪模块 285.1.2结节检测模块 245.2用户界面设计 245.3本章小结 25结论 26参考文献 271-1绪论研究背景和意义肺癌是目前公认的死亡率最高的人类疾病之一。由于肺癌患者在早期时自身几乎没有感觉，当出现一些明显症状而就诊时，患者往往已经处于肺癌晚期，治疗起来更加困难。因此，尽早地发现并及时进行治疗是非常重要的[1-2]。肺癌在早期主要表现为肺结节，因此尽早地发现肺结节对肺癌的医治具有至关重要的作用。肺癌检查主要有X线胸片与CT成像两种，而低剂量螺旋CT检查中明显减少了X射线剂量，降低了对人体的伤害，并且检测效率较高[3]。但肺结节具有种类繁多、形状复杂等特点，使得肺结节图像形式很多，加上每个病人的CT图像切片都有上百张，医生需要反复观察切片，找到肺结节并对其进行分析，从而得到诊断结果，这无疑给医生们带来了很大的负担，难免出现漏诊、误诊等问题[4-5]。针对此问题，研究者们提出可以利用计算机辅助诊断系统对肺结节进行检测。传统的计算机辅助诊断系统通常包括预处理、分割检测、特征提取、分类四个部分[6]，提高了检测效率，但是对于一些复杂结节分类效果差，缺乏自我学习能力。近几年，深度学习技术在处理图像、语音、文本等方面有着明显的优势[7]，其模型与方法有很多，最常见的就是卷积神经网络（ConvolutionalNeuralNetwork,CNN），可以非常有效地解决图像分类、目标检测等问题[8]。这也使我们认识到可以基于卷积神经网络对肺癌进行诊断。所以本文将结合深度学习技术设计一个肺癌辅助诊断系统对肺结节进行检测和诊断。国内外研究现状1.2.1深度学习深度学习属于机器学习领域，主要是通过人工神经网络来模拟人脑的工作，对图像、语音及文本进行处理。Hinton在2016年给出了深度学习的概念，并指出深度学习技术具有自我学习能力，不需要手动对特征进行提取，就可以自动提取数据特征，在图像分类、目标检测等方面得到了广泛发展。在图像分类方面，Huang等[9]提出了DenseNet网络，以前馈的方式将网络的每一层与每一层互相连接起来，缓解了消失梯度的问题，加强了特性传播，使网络参数较少，提高了图像识别的准确度。Xie等[10]提出了一种ResNeXt网络结构用于图像分类，将结构设置为多个模块，并增加了一个新的维度：基数（转换集的大小），通过增加基数来提高分类的准确率。Chen等[11]提出一种简单、高效的双路径网络DPN，构建了一种新的内部连接路径拓扑结构，结合了ResNet网络的特征重用和DenseNet网络探索新特征的优势，在各类应用中性能始终优于DenseNet、ResNet和ResNeXt模型。在目标检测方面，Ross等[12]提出了R-CNN网络，通过将卷积神经网络与目标候选区域相结合，提高了目标检测的精度。之后，快速区域卷积神经网络（FastRegionalConvolutionalNeuralNetwork,FastR-CNN）、FasterR-CNN[13]相继被提出，其中FasterR-CNN网络在FastR-CNN的基础上增加了区域建议网络（RegionalProposalNetwork,RPN），使得在检测时分为两个步骤。首先由RPN提取候选目标区域，再由FastR-CNN对候选目标区域进行分类，将网络的起点和终点连接在一起，实现端到端的检测，准确率和速度都得到了提高。相比于FasterR-CNN采用RPN的方法，YOLO[14]采用回归算法进行目标检测，之后出现了YOLOv2[15]、YOLOv3[16]、SSD等网络模型用于检测，提高检测速度。除了图像分类、目标检测等方面的应用，深度学习在其他领域也得到了广泛发展。例如，Abdel-Hamid等[17]基于卷积神经网络提出一种有限权值共享方案，使用网络的局部连通性、权值共享和池化等特殊结构对语音进行识别，降低识别错误率。Bogdanova等[18]提出了一种卷积神经网络来识别语义等价性，采用域内词嵌入的方法验证了在训练数据有限的情况下也可以得到较高的性能。1.2.2肺癌辅助诊断系统肺癌辅助诊断系统主要由四部分组成：数据加载、数据预处理、肺实质分割以及肺结节检测。其中数据预处理主要包括图像归一化和图像去噪。本节主要对图像去噪和结节检测两个方面的研究现状进行阐述。（1）图像去噪由于CT扫描的射线会对患者带来辐射危害，故在医学中会将辐射剂量降低，进行低剂量螺旋CT检查，这样导致了CT图像的质量下降，对医生的诊断可能会产生影响。为了改善CT图像的质量，对图像进行去噪成为医学的主要研究方向。现有的CT去噪方法主要有图像后处理法、投影域滤波算法和迭代重建算法[19]。与后两类不同的是图像后处理方法是直接对CT图像进行处理，恢复图像中的边缘信息，去除掉其中的噪声，提高图像质量，该方法使用低剂量CT检查得到的图像，非常容易获取实验数据。然而，低剂量CT图像中的噪声并不服从均匀分布。因此，传统方法很难完全去除图像中的噪声和伪影。深度学习去噪方法具有强大的特征学习与映射能力，相比传统方法具有明显的优势。Hu等[20]提出了一种浅层CNN用于对CT图像去噪，为了避免在深度加深时容易出现网络性能退化的问题，该网络仅仅包含三层。针对这一问题，Kang等[21]在小波域构造了一个深度网络，该网络由卷积、批量归一化和残差学习的整流线性单元组成，应用定向小波变换检测噪声的方向向量，具有很好的去噪效果。Maryam等[22]设计了一种深度去噪网络将低剂量CT图像转换成正常剂量CT图像，该网络采用扩张卷积代替标准卷积，使用残差学习结构，添加一个边缘层帮助更好的捕捉图像，避免了像素优化带来的过度平滑和细节丢失问题，也不会出现感知损失优化时出现的网格状伪影，更好地实现了对低剂量CT图像的去噪。（2）结节检测传统的肺结节检测方法主要是通过提取肺结节的大小、纹理、形状等特征信息，使用传统机器学习算法对肺结节进行检测。陈数越等[23]提出了一种肺结节检测算法，提取离散度、紧凑度和类圆度等几何信息，采用K-means聚类算法对几何信息进行分类，从而检测出肺结节。刘银凤等[24]提出了一种肺结节检测模型，首先设计网格寻优算法对支持向量机核函数进行优化，再使用支持向量机核函数对CT图像的灰度、纹理、形状等特征进行提取，从而实现自动检测肺结节。上述算法仅仅利用了肺部CT图像的二维特征信息，没有充分利用CT图像的三维空间信息，检测效果不好。因此董林佳等[25]基于三维空间提出了一种肺结节检测方法，提取肺部CT图像的各体素点，通过设计三维类球形滤波器对肺结节进行检测。传统的肺结节检测算法需要手动对肺结节特征进行标注，任务量大，且容易出现误诊。随着不断的研究发现卷积神经网络非常适用于图像分类领域。为了克服传统计算机辅助诊断系统需要人工进行特征提取导致误诊率较高的缺点，研究人员将CNN应用于肺结节检测当中，提高分类正确率。在肺结节检测方面，CNN可以自主学习肺部CT图像中的高级特征，有效地将结节筛选出来，并且可以将更多的数据放入CNN，通过不断提高训练次数，最大限度的检测肺结节区域，提高检测效率[26]。故越来越多的研究人员将CNN应用于肺结节检测中。Setio等[27]提出了一种利用多视角2D-CNN卷积网络进行肺结节检测的降假阳性操作。该网络分为两部分：第一部分采用三种检测算法结合起来候选结节，提高了检测性能，但是含有大量的假阳性；第二部分则对候选结节提取各个方向上的信息，进行假阳性去除操作，具有很好的检测效率。用2D-CNN需要将CT图像以Z轴切片为平面图，再送入网络模型进行训练，只能提取到切片的平面特征，导致肺结节的立体信息丢失。因此2D-CNN检测并不能够充分读取CT图像信息，检测效率不能实现明显提升[28]，3D-CNN在2D-CNN基础上多了一个维度，在CT图像上进行连续切片，保证了特征信息的充分提取，故产生了3D-CNN实现肺结节检测。Dou等[29]提出一种三维卷积神经网络3D-CNN，通过三维样本训练编码更多信息，提取具有代表性的特征，使其对可疑结节进行检测筛选，降低假阳性。Cicek等[30]基于U-Net网络提出了一种3DU-Net网络结构，包括编码器和解码器两部分，训练中有效地增强数据，实现了部分数据标注，提高了训练效率，之后周晨芳等[31]在此基础上提出了一种改进3DU-Net网络模型，用残差网络作为3DU-Net的主干网络，并在编码器中引入空间卷积，将两个网络的优点结合在一起，获取到更多的空间信息，降低漏检率。Ren等[13]提出的一种FasterR-CNN目标检测系统，是目前目标检测算法中精度较高的一种，在检测大结节上取得了很好的效果，但是对于一些很小的结节，FasterR-CNN网络的能力较弱，存在一定的漏检率与假阳性。针对此情况，高璇等[32]提出了一种改进型FasterR-CNN检测算法，该算法的优势在于加入了残差网络对图像中的特征进行提取，并融合SENet和二阶响应变换算法进行检测，提取到更小区域的结节特征，提高肺结节检测精度。胡新颖等[33]鉴于FasterR-CNN并不能够完全的将肺结节特征提取出来，提出在FasterR-CNN网络上加入反卷积层并优化相关参数，可以得到更精确的结节候选区域，降低假阳性，提高检测精度。除了改进FasterR-CNN网络模型，研究人员还将用于目标检测的网络模型用于肺结节检测。George等[34]将经典目标检测模型YOLO用于肺结节检测，该模型可以实时对肺部CT图像进行检测，并用矩形边界框标出结节位置。综上所述，在肺结节检测中，2D-CNN进行图像处理时计算量小，但是由于只在二维空间提取了图像特征信息，缺少一个维度，导致检测质量较差；而3D-CNN则是在三维空间上更加全面地提取图像特征信息，检测效果更好，但是计算量相对较大。改进型的FasterR-CNN可以实现端到端的检测，测试时间明显减少，检测准确率及效率大大提高。研究内容与章节安排1.3.1主要研究内容主要研究内容如下：基于卷积神经网络的肺部CT图像去噪。针对肺部CT图像中存在噪声的问题，构建基于DRL-E-MP网络的图像去噪模型，并通过实验验证该模型的有效性。基于卷积神经网络的肺结节检测。针对于现有检测模型复杂且运算速度慢的问题，研究一种基于YOLOv3_spp网络的肺结节检测方法，并通过实验验证该方法的有效性。系统设计与实现。针对现有图像去噪模型以及检测模型，设计一种肺癌辅助诊断系统，主要包括用户界面设计，肺部CT图像加载，图像去噪，肺实质分割以及肺结节检测等操作，实现辅助医生进行肺癌诊断的功能。1.3.2本文章节安排本文章节安排如下：第一章，绪论。主要描述课题研究的背景和意义，阐述深度学习以及肺癌辅助诊断系统的国内外研究现状，并阐述本文的研究内容及章节安排。第二章，相关理论知识。首先阐述肺癌辅助诊断系统的基本组成，然后描述深度学习方法，包括基础的卷积神经网络的结构和组成，以及YOLO的基本原理，包括YOLOv1与YOLOv2网络模型的基本结构与改进。本章为后续章节提供理论基础。第三章，基于卷积神经网络的肺部CT图像去噪。首先构建DRL-E-MP网络模型以及算法步骤，描述模型的评价指标，针对实验数据集设置去噪模型参数，对模型进行训练，得到实验结果，验证图像去噪模型的有效性。第四章，基于卷积神经网络的肺结节检测。首先设计YOLOv3_spp网络模型以及算法步骤，描述模型的评价指标，针对实验数据集设置检测模型参数，对模型进行训练，得到实验结果，验证结节检测模型的有效性。第五章，系统设计与实现。构建系统的总体结构与工作步骤，详细描述图像去噪和结节检测模块的设计方法与工作流程，主要包括用户界面设计，肺部CT图像加载，图像去噪，肺实质分割以及肺结节检测等操作，实现辅助医生进行肺癌诊断的功能。最后是结论与展望。2相关理论知识2.1肺癌辅助诊断系统在医学图像上充分发挥计算机的优势，辅助医生分析诊断病灶区域，客观性地得出诊断结果的技术称为计算机辅助诊断技术。将计算机辅助诊断技术应用于肺结节检测方面，构成一个肺癌辅助诊断系统，辅助医生判断是否患有癌症。肺癌辅助诊断系统主要实现数据加载、数据预处理、肺实质分割和肺结节检测等功能。在肺癌辅助诊断系统中，首先加载原始CT图像，由于成像设备不同，肺部CT图像中可能存在噪声影响了CT图像的质量，因此需要对CT图像进行去噪；之后为了更好地对肺结节进行检测，将图像中肺部以外的地方去掉，对肺实质进行分割，得到感兴趣区域，为肺结节检测打好基础；最后对肺结节进行特征提取，选择合适的结节检测模型对肺部CT图像进行检测，得到检测结果，辅助医生进行诊断。2.2深度学习方法2.2.1卷积神经网络图2.1LeNet-5网络结构图[35]卷积神经网络具有自我学习能力，可以自动对图像进行特征提取，广泛应用在图像分类、目标检测等问题中。卷积神经网络中包含有输入层、卷积层、池化层、全连接层和输出层，根据网络搭建的不同分为很多种，较为典型的有LeNet-5网络，其结构[35]如图2.1所示。（1）卷积层卷积层由多个卷积核组成，输入数据中和卷积核大小相同的区域称为“感受野”，将输入数据与卷积核进行卷积计算，提取数据的特征。卷积计算主要有线性卷积、反卷积和扩张卷积。卷积层中通过改变卷积核大小、卷积步长以及填充层数目，从而改变卷积层特征图的输出。卷积核大小通常不能大于输入数据的尺寸，卷积步长决定前后两次卷积计算之间的距离，同时特征图在进行卷积计算之前进行0填充或重复边界填充。卷积操作实际为线性操作，为了增加非线性，提取更加复杂的特征，经常在卷积层之后加入激活函数。常用的激活函数主要有以下几种：Sigmoid函数、tanh函数、ReLU函数以及LeakyReLU函数，其数学表达式分别为等式2-1至等式2-4。 （2-1） （2-2） （2-3） （2-4）Sigmoid函数是单调连续函数，值域范围为(0,1)，当输入很大或很小时，就会导致梯度消失，函数达到饱和，在反向传播时几乎没有输入；tanh函数比Sigmoid函数的收敛速度更快，值域范围为(-1,1)；为了解决梯度消失问题，引入了ReLU函数，该函数仅需要确定阈值就可以被激活，但在输入小于0时梯度为0，会导致神经元坏死，是不可逆的，为此提出了LeakyRelu函数，在输入小于0时，给出了一个斜率a，斜率a的值并不固定，可以改变。随着特征在隐含层之间的传输，其均值和标准差会随之发生变化，为了解决这一问题，引入批量归一化（BatchNormalization,BN），对特征进行标准化。（2）池化层在卷积计算之后，通常添加池化层对卷积层输出的特征信息进行降采样，主要有最大池化和平均池化两种操作。通过池化操作在空间上对数据降维，减少参数运算量，防止出现过拟合现象，同时降低网络的复杂程度。全连接层全连接层位于隐含层的末端，将卷积层和池化层提取的特征信息加载到全连接层进行分类，一般情况下，全连接层的输出范围不在[0,1]之间，但是分类问题要求最后输出在[0,1]之间，因此往往和softmax逻辑回归结合起来使用。2.2YOLO理论基础目标检测算法[36]主要有两种，一种是首先检测目标可能存在的子区域，再在子区域中通过卷积神经网络对特征进行提取，进而实现检测；另一种是将目标检测视为一个回归问题，直接将图片输入到网络中进行训练，是一种端到端的目标检测网络。YOLO就是一种端到端的目标检测算法，将目标检测任务分为目标检测概率以及边框回归两部分，不需要提取候选区域，直接检测到目标的边框回归以及置信度，训练速度相对较快。YOLOv1[14]通过提取图像的特征信息来进行检测，对每个类别产生预测边界框。首先将输入图像分成一个网格，在进行检测时，观察对象的中心在哪个网格中心，就由哪个网格对该对象进行检测。每个网格根据，，，和置信度这五个参数预测B个边界框，其中表示预测边界框的中心坐标，和共同决定预测边界框的尺寸大小，置信度表示预测框和真实框之间的IoU。模型损失函数由等式2-5计算： （2-5）其中表示检测对象在第i个网格中，而表示第i个网格中的第j个边界框对该对象进行预测，一二项计算边界框损失、三四项计算置信度损失和最后一项计算类别损失。YOLOv1主要包含卷积层和全连接层，将图像加载到YOLOv1网络中，首先通过卷积层提取图像特征，在经过全连接层对图像中的对象进行预测，得到预测边界框的置信度及坐标位置。其网络结构如图2.2所示。图2.2YOLOv1网络结构图[14]YOLOv2[15]在YOLOv1的基础上做了一系列尝试[37]：（1）对所有的卷积层增加批量标准化，加速了模型的收敛；（2）加入高分辨率的分类器，使预训练与实际训练的分辨率相同；（3）去掉所有的全连接层，采用K-means聚类算法预测边界框；（4）进行多尺度训练；（5）采用Darknet-19网络模型，结构如图2.3所示，通过卷积层和池化层交替出现，提取图像特征信息，加快模型的训练速度。图2.3Darknet-19网络结构图2.3本章小结本章首先阐述了肺癌辅助诊断系统，包括肺癌辅助诊断系统的基本组成以及工作步骤。然后描述了深度学习方法，主要包括卷积神经网络的基本原理以及构成和YOLO网络的相关理论知识。本章内容为本文后续研究内容提供理论基础。3基于卷积神经网络的肺部CT图像去噪3.1图像去噪方法3.1.1去噪模型建立对肺部CT图像进行去噪是一项非常具有挑战性的任务。本文采用DRL-E-MP网络[38]来去除CT图像中的噪声，网络结构如图3.1所示，该网络结合了扩张卷积、残差学习、边缘检测和感知损失的优点来执行去噪，尽可能地在不增加网络复杂性的情况下提高网络效率，对CT图像进行去噪。首先，采用扩张卷积代替标准卷积设计了一个网络，并且通过添加对称快捷连接来使用残差学习。再加入一个边缘检测层，作为sobel算子，有助于更好地捕捉图像中的边界。将均方误差损失和感知损失联合起来作为目标函数进行优化，提供了更好的视觉结果，避免遭受过度平滑和细节损失。图3.1DRL-E-MP网络模型结构图（1）扩张卷积采用扩张卷积[39]可以更快的增加感受野，捕获到更多的输入图像的上下文信息。在该本文中，采用了8层扩张卷积网络来去除肺部CT图像中的噪声，如图3.1所示，对于层1至层8，所使用的扩张速率分别为1、2、3、4、3、2、1和1。（2）残差学习残差学习[40]在一组层的输入和输出之间添加身份映射，在不增加网络深度的情况下获取更多的信息，加快训练速度，提高网络性能。本文选择在底层和顶层之间添加对称的快捷方式，将输入图像、2层和3层的输出分别与7层、6层、5层的输出相连，因为第一层的特征映射包含了更多的特征信息，所以这些连接将图像的细节传递到更高层。（3）边缘检测边缘检测指的是找到图像中对象的边界。本文采用sobel边缘检测算子计算图像强度的二维梯度，并通过用3×3滤波器卷积图像来强调具有高空间频率的区域。边缘检测层是一个卷积层，它有四个索贝尔核作为不可训练的滤波器。输出边缘图与输入图像连接，并提供给网络，有利于提供更清晰准确的边缘，提高网络的性能。（4）感知损失均方误差（MSE）用于计算输出图像与真实图像之间的亮度差，在图像去噪或图像增强等图像处理任务中被广泛应用于目标函数，可以生成平滑区域，并影响纹理中的细节，用在肺部CT图像中，并不能够表达出CT图像的所有细节。使用感知损失可以达到视觉上吸引人的效果，使网络的输出在感知上类似于基本事实，但是单独用于CT图像中，会在输出图像中产生网格状伪影。本文结合均方误差损失Lmse和感知损失LP来优化网络。使用在自然图像上预先训练好的VGG-19网络[41]计算感知损失，其中，VGG-19网络包含了19个隐藏层（16个卷积层和3个全连接层），其中全连接层主要用于分类，在本文中并未使用。从不同层次的VGG-19网络中提取了5组特征映射，并使用它们计算感知损失。如图3.2所示，在块1、2、3、4和5中使用最后一个卷积层（ReLU激活之后、池化层之前）的输出来计算。将均方误差损失与感知损失结合在一起作为目标函数，避免过度平滑和细节损失，保存了纹理中的大部分细节，并提供了更好的视觉效果。图3.2VGG-19网络模型结构图总损失函数由等式3-1计算： （3-1）其中，λmse和λP分别是均方误差损失和感知损失的加权标量。均方误差损失函数由等式3-2计算： （3-2）感知损失函数由等式3-3、等式3-4计算： （3-3） （3-4）其中，指的是从大小为的第i块提取的特征图。3.1.2算法步骤图像去噪模型的算法步骤如下：首先加载数据，对肺部CT图像进行归一化；设置图像去噪模型参数，将归一化肺部CT图像加载到图像去噪模型中进行训练；增加迭代次数，保存最优图像去噪模型权重；将最优的模型权重加载到模型中对测试图像进行预测，得到去噪结果，并与噪声图像进行对比。3.1.3评价指标实验过程中为了对去噪模型的性能进行有效评估，对去噪前后的图像分别计算峰值信噪比（PSNR）和结构相似性（SSIM）。其中PSNR数值越大，图像重建效果越好，SSIM数值越大，去噪效果越好。PSNR和SSIM分别由等式3-5、等式3-6计算： （3-5）其中，MAX为图像点颜色的最大数值，为图像的尺寸大小，x和y为原始图像和去噪后图像。 （3-6）其中，和分别为x和y的均值，和是x和y的标准差，是x和y的协方差，和为常数。3.2实验及结果分析3.2.1数据集数据集选取LUNA16数据集，共有888张CT图像，由最大公用肺结节数据集LIDC-IDRI删除掉切片厚度大于3mm和肺结节小于3mm的CT图像组成。这些图像通过.mhd格式文件和.raw文件进行存储，标注有1186个肺结节。选取其中部分数据集进行训练、验证及测试。首先我们加载数据集并对图像进行归一化，采用原始CT图像加上高斯噪声来生成噪声图像，并对噪声图像进行去噪。去噪过程中选取了2000张512×512大小的CT图像，将其切片成128×128大小并去除空气含量大于50%的图像，剩下的80%用作训练，20%用作测试。3.2.2实验环境本章实验的硬件环境是window10系统，CPU型号为InterCorei7-9700KCPU，内存16G，显卡型号为NVIDIARTX2070s，显存为8G；软件环境使用语言为Python（Python3.7版本）。3.2.3参数设置表3.1为实验参数设置表。表3.1参数设置实验参数设置0.80.2batchsize32迭代次数1003.2.4实验结果分析训练过程中记录了去噪模型的损失，如图3.3所示，在迭代了20次之后，损失趋于收敛，训练趋于稳定。将训练好的网络模型用于噪声图像进行去噪，如图3.4所示，可以看出，去噪后的CT图像更像原始CT图像，保存了纹理中的大部分细节，提供了更好的视觉效果。同样，由表3.2数据可以看出，去噪后相比于去噪前的图像，与原始CT图像的结构相似性指数更高，峰值信噪比更大，图像质量明显提升。表3.2去噪前后参数峰值信噪比（PSNR）/dB结构相似性指数（SSIM）噪声图像24.940.54去噪图像32.330.79图3.3去噪模型损失函数曲线（a）原始CT图像（b）噪声图像（c）去噪图像图3.4去噪结果3.3本章小结本章主要针对因为成像机器的不同，肺部CT图像中可能会存在噪声影响CT图像的质量，构建基于DRL-E-MP网络的图像去噪模型对肺部CT图像进行去噪。首先对图像进行归一化，然后对图像进行去噪。经LUNA16公开数据集实验，结果表明所构建的图像去噪模型可以很好地改善肺部CT图像的质量。4基于卷积神经网络的肺结节检测4.1结节检测模型4.1.1检测模型建立YOLOv3[36]具有较高的检测速度以及准确率，在检测过程中，将一个单神经网络应用于整张图像，提取图像各个区域的特征信息，对每个区域的边界框进行预测，得到概率较高的区域就可以视为检测结果。YOLOv3[37]在YOLOv2上主要做了以下改进：（1）采用独立逻辑的分类器代替softmax分类器；（2）采用与金字塔相似的概念从多个尺度中提取特征；（3）采用新的基础网络架构Darknet-53（53个卷积层），并加入了残差网络。YOLOv3使用K-means聚类方法[38]得到9个不同大小的聚类中心，分别应用于3种尺度上进行预测，每种尺度预测3个不同大小的边界框。YOLOv3和GooLeNet网络[39]模型结构类似，都是以Darknet53为基础网络。尺度1的预测特征层大小是16×16，用于检测大目标；尺度2的预测特征层大小是32×32，用于检测中等目标；尺度3的预测特征层大小是64×64，用于检测小目标。YOLOv3_spp网络是在YOLOv3的基础上加以改进的，结构如图4.1所示，在Darknet53输出与预测层1之间加入了一个spp结构，如图4.2所示，实现了不同尺度的特征融合，丰富最终特征图的表达能力，从而提高检测准确率。其网络结构主要包括三部分：Darknet-53层、预测特征层和分类层。Darknet-53层：有53层卷积层，对图像进行特征提取，加入BN层对特征进行标准化，同时为了增加非线性，采用LeakyReLU激活函数。其中使用了残差学习技术，通过添加快捷键获取更多的浅层信息，加强网络的学习能力。预测特征层：Darknet-53层的输出通过快捷键连接后拼接，输入到预测特征层。分类层：将预测特征层的输出作为输入，通过卷积层产生模型的最终输出，最后一层通道数（Filters）大小为Filters=3×(classes+5)。其中classes是类别数。图4.1YOLOv3_spp网络模型结构图图4.2SPP结构图4.1.2算法步骤结节检测模型的算法步骤如下：首先加载数据，对肺部CT图像进行肺实质分割，得到肺实质图像；设置结节检测模型参数，将肺实质图像加载到结节检测模型中进行训练；增加迭代次数，保存最优的结节检测模型权重；将最优的模型权重加载到模型中对测试图像进行预测，得到检测结果，并与标签信息进行对比。4.1.3评价指标为了验证检测模型的准确性，对测试集的检测结果与标签信息进行对比，采用IoU（交并比）来判断预测是否正确。当IoU>0.5时预测正确，否则预测错误。其中IoU表示原标签边界框与预测边界框的重叠度，计算方式如图4.3和等式4-1所示；GIoU在IoU的基础上改进而来，对标签边界框与预测边界框的非重叠区域也有所关注，可以更好地反映两者的重合度，计算方式如图4.4和等式4-2所示。图4.3IoU计算示意图图4.4GIoU计算示意图 （4-1） （4-2）IoU损失和GIoU损失由等式4-3、等式4-4计算： （4-3） （4-4）准确率（Precision）、召回率（Recall）由等式4-5、等式4-6计算： （4-5） （4-6）其中，RT表示检测出的结节与标记结节位置相同的CT图像数目，FP表示检测出的结节与标记结节位置不同的CT图像数目，FN表示未检测出结节但标记存在结节的CT图像数目。4.2实验及结果分析4.2.1数据集本实验仍采用LUNA16公开数据集。在LUNA16数据集中选取了450张肺部CT图像，将其按80%、15%、5%的比例分为训练集、验证集和测试集，用于后续实验。4.2.2实验环境为了加快训练速度，本章实验的硬件环境是ubuntu20.04，CPU型号为Inter®Xeon（R）Sliver4114CPU@2.20GHz×40，内存64G，显卡型号为NVIDIAGeForceGTX1080Ti；软件环境使用语言为Python（Python3.6版本）。4.2.3参数设置在训练过程中，设置了六组实验，参数设置如表4.1所示。表4.1参数设置实验编号batchsize迭代次数14450023225003324500432700053212000632150004.2.4实验结果分析为了验证基于YOLOv3_spp网络的肺结节检测方法的有效性，设置不同的batchsize和迭代次数对结节检测模型进行训练。首先为了排除肺部CT图像中背景对肺结节检测的影响，对肺实质进行分割，只有在CT图像中提取出肺实质，才能够进一步更好的检测肺结节。本文采用阈值分割法对肺部CT进行肺实质分割，首先根据肺部和背景在灰度值上的差异，设定合适的阈值，扫描CT图像的像素点值进行比较，判断属于背景还是待提取的肺实质，产生二值图像，然后计算图像的连通域，获得最大连通域，采用腐蚀和膨胀操作分别滤除图像中的颗粒以及吞噬肺部区域的血管，去除黑色噪声，最后提取肺实质mask，通过掩码操作将肺实质分割出来，分割好的肺实质如图4.5所示。（a）原始CT图像（b）获得掩码（c）得到肺实质图4.5肺实质分割图像将切割好的肺实质图像与肺结节标签放入YOLOv3_spp网络模型训练，得到六组实验结果如图4.6至图4.11所示。（a）IoU=0.50时mAP曲线图（b）GIoU_Loss曲线图图4.6batchsize=4时迭代4500次训练结果（a）IoU=0.50时mAP曲线图（b）GIoU_Loss曲线图图4.7batchsize=32时迭代2500次训练结果（a）IoU=0.50时mAP曲线图（b）GIoU_Loss曲线图图4.8batchsize=32时迭代4500次训练结果（a）IoU=0.50时mAP曲线图（b）GIoU_Loss曲线图图4.9batchsize=32时迭代7000次训练结果（a）IoU=0.50时mAP曲线图（b）GIoU_Loss曲线图图4.10batchsize=32时迭代12000次训练结果（a）IoU=0.50时mAP曲线图（b）GIoU_Loss曲线图图4.11batchsize=32时迭代15000次训练结果由图4.6至图4.11可以看出，设置IoU=0.5。当batchsize=4时，迭代4500次，mAP=0.42，损失值在前100次迭代迅速下降，GIoU_Loss降到了0.8。而当batchsize=32时，迭代2500次，mAP=0.75，GIoU_Loss降到了0.8。batchsize表示在每次迭代过程中一次性最多放入的样本数量，增大batchsize，可以增加内存利用率，减少每次迭代运行次数，提高模型的优化程度和速度，同时减小训练震荡，但仍然需要根据运行机器的内存合理设置batchsize的大小。实验中将batchsize由4增大到32，加速了模型的优化，训练速度加快，准确率有所提高。当batchsize=32时再次迭代至4500次，mAP=0.85，GIoU_Loss降到了0.7。再次迭代至7000次，mAP=0.88，GIoU_Loss降到了0.6。迭代至12000次，mAP=0.9，GIoU_Loss降到了0.45。迭代至15000次，mAP=0.9，GIoU_Loss降到了0.38。可以看出随着迭代次数的增加，平均准确率不断提高至0.9，GIoU_Loss不断减小，并逐渐趋于收敛。最后将训练好的权重加载到模型中用于肺结节检测，得到图4.12所示的检测结果，可以看出，正确检测出了肺结节。将测试集输入检测模型，得到测试数据如记录在表4.2中。可以得出该检测网络模型的准确率为89.3%，召回率为92.6%，平均检测时间为1.08s。表4.2测试结果评价指标测试数据准确率/%89.3召回率/%92.6平均检测时间/s1.08（a）标签图像1（b）检测结果1（c）标签图像2（d）检测结果2图4.12检测结果4.3本章小结针对于现有检测模型复杂且运算速度慢的问题，提出了基于YOLOv3_spp网络的肺结节检测方法。首先对肺部CT图像进行肺实质分割，再将分割好的肺实质图像加载到检测模型，最后对结节进行检测。经LUNA16公开数据集实验，结果表明所提出的检测方法是非常有效的，其准确率高达89.3%，召回率达到92.6%。5系统总体设计5.1整体结构肺癌辅助诊断系统主要由四部分组成：数据加载、数据预处理、肺实质分割以及肺结节检测。首先读取患者对应的编号文件加载CT图像，对CT图像进行归一化、图像去噪等操作，然后对CT图像进行肺实质分割，最后对分割好的肺实质图像进行结节检测。系统设计流程如图5.1所示。图5.1系统设计流程图5.1.1图像去噪模块首先加载数据，对CT图像进行归一化，采用DRL-E-MP网络来去除肺部CT图像中的噪声，训练DRL-E-MP网络的模型权重使模型达到最优，并将训练好的权重载入模型用于肺部CT图像去噪。具体实验步骤如下：数据预处理：加载数据，对CT图像进行归一化，得到归一化图像，并将归一化图像分为训练集和测试集；模型训练：将训练集图像输入到图像去噪模型中进行训练，通过增加迭代次数，调整模型参数，得到最优去噪模型，具体训练流程图如图5.2（a）所示；模型测试：将测试集加载到训练好的图像去噪模型上进行测试，得到测试集的去噪图像，将测试集的去噪图像与噪声图像进行对比，得到模型评价指标，验证模型的性能。（a）去噪模型（b）检测模型图5.2模型训练流程图5.1.2结节检测模块将肺部CT图像进行肺实质分割，得到肺实质图像，然后将肺实质图像放入YOLOv3_spp网络模型中训练，得到最优的模型权重，将权重加载到模型用于肺结节检测。具体实验步骤如下：数据预处理：加载数据，对CT图像进行肺实质分割，得到肺实质图像，并将肺实质图像分为训练集、验证集和测试集；模型训练：将训练集和验证集图像输入结节检测模型中进行训练，通过增加迭代次数，得到最优检测模型，具体训练流程图如图5.2（b）所示；模型测试：将测试集加载到训练好的结节检测模型上进行测试，得到测试集的检测结果，将测试集的检测结果与标签信息进行对比，得到模型评价指标，验证模型的性能5.2用户界面设计本系统通过Python3.7语言设计，使用tkinter库设计用户界面，允许用户通过选择命令、调用程序来执行任务。实现人机交互，辅助医生进行肺癌诊断。用户界面设计如图5.3所示。其中，设置了开始、上一张、下一张和结束四个按钮，用于判断是否执行程序以及执行哪位患者的CT图像，同时在上方患者姓名处会显示患者对应的文件名称。之后设置了原始CT图像、去噪CT图像、肺实质分割以及肺结节检测四个按钮，通过点击按钮分别得到原始CT图像、去噪CT图像、肺实质图像以及肺结节检测图像并输出程序运行结果。图5.3用户界面设计示意图通过点击开始按钮启动程序，输入第一张CT图像，并在患者姓名下方显示患者CT图像对应的文件名，分别点击原始CT图像、去噪CT图像、肺实质分割以及肺结节检测四个按钮，如图5.4所示得到原始CT图像、去噪CT图像、肺实质图像以及肺结节检测图像，并在右下方显示程序运行的结果。点击上一张或下一张按钮，将更改CT图像，得到其他CT图像的运行结果。最后通过点击结束按钮关闭程序。图5.4用户界面显示示意图5.3本章小结本章针对现有图像去噪模型和检测模型，设计出一种肺癌辅助诊断系统，主要包括用户界面设计，肺部CT图像加载，图像去噪，肺实质分割以及肺结节检测等操作，实现辅助医生进行肺癌诊断的功能。结论本文主要研究工作和所获结论如下：基于卷积神经网络的肺部CT图像去噪。由于肺部CT图像中可能会存在噪声，构建基于DRL-E-MP网络的图像去噪模型对肺部CT图像进行去噪。首先对图像进行归一化，再对图像进行去噪处理。经LUNA16公开数据集实验，结果表明所构建的图像去噪模型可以很好地改善肺部CT图像的质量。基于卷积神经网络的肺结节检测。针对于现有检测模型复杂且运算速度慢的问题，研究基于YOLOv3_spp网络的肺结节检测方法，首先对肺部CT图像进行肺实质分割，再将分割好的肺实质图像加载到检测模型，最后对结节进行检测。经LUNA16公开数据集实验，结果表明所提出的检测方法是非常有效的，其准确率高达89.3%，召回率达92.6%。系统设计与实现。针对现有图像去噪模型以及检测模型，设计一种肺癌辅助诊断系统，主要包括用户界面设计，肺部CT图像加载，图像去噪，肺实质分割以及肺结节检测等操作，实现辅助医生进行肺癌诊断的功能。下一步的工作展望：本文采用LUNA16公开数据集，数据集正负样本不平衡，仅包含正样本（有肺结节），接下来可以增加数据集数量，加入一些很多类似肺结节但不是肺结节的例子，继续优化检测模型，提高检测准确率。本文针对肺癌辅助诊断系统中的关键技术进行了研究，完成了系统的设计与实现，但本文是基于二维空间对肺部CT图像进行研究分析，接下来应该将二维空间转化到三维空间上，充分利用肺部CT图像的空间信息，完善系统的性能。参考文献ValenteI,CortePC,NetoEC,etal.Automatic3DpulmonarynoduledetectioninCTimages:Asurvey[J].ComputerMethods&ProgramsinBiomedicine,2016,124(C):91-107.邓忠豪,陈晓东.基于深度卷积神经网络的肺结节检测算法[J].计算机应用,2019,39(07):2109-2115.赵锡鹏,徐辉,黄卓,等.低剂量CT肺部扫描患者剂量与图像质量研究[J].中国辐射卫生,2020,29(05):575-579.赵清一,孔平,闵建中,等.肺结节检测与分类的深度学习方法综述[J].生物医学工程学杂志,2019,36(06):1060-1068.苗光,李朝锋.二维和三维卷积神经网络相结合的CT图像肺结节检测方法[J].激光与光电子学进展,2018,55(05):135-143.武盼盼.基于肺部CT图像的肺结节检测技术研究[D].天津:河北工业大学,2017.田娟秀,刘国才,谷珊珊,等.医学图像分析深度学习方法研究与挑战[J].自动化学报,2018,44(03):401-424.唐思源,刘燕茹,杨敏,等.基于CT图像的肺结节检测与识别[J].中国医学物理学杂志,2019,36(07):800-807.HuangG,LiuZ,LaurensV,etal.DenselyConnectedConvolutionalNetworks[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(CVPR),2017:4700-4708.XieS,GirshickR,PDollár,etal.AggregatedResidualTransformationsforDeepNeuralNetworks[C]//2017IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2017:5987-5995.ChenY,LiJ,XiaoH,etal.DualPathNetworks[C]//ConferenceandWorkshoponNeuralInformationProcessingSystems(NIPS),2017:4470-4478.GirshickR,DonahueJ,DarrellT,etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//IEEEConferenceonComputerVisionandPatternRecognition,2014:580-587.RenS,HeK,GirshickR,etal.FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2017,39(6):1137-1149.RedmonJ,DivvalaS,GirshickR,etal.Youonlylookonce:unified,real-timeobjectdetection[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,2016:779-788.RedmonJ,FarhadiA.YOLO9000:Better,Faster,Stronger[C]//2017IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2017:6517-6525RedmonJ,FarhadiA.YOLOv3:AnIncrementalImprovement[J].arX,2018．Abdel-HamidO,Abdel-Rahman,etal.Convolutionalneuralnetworksforspeechrecognition[J].IEEE/ACMTransactionsonAudio,SpeechandLanguageProcessing(TASLP),2014,22(10):1533-1545.BogdanovaD,SantosCD,BarbosaL,etal.DetectingSemanticallyEquivalentQuestionsinOnlineUserForums[C]//NineteenthConferenceonComputationalNaturalLanguageLearning,2015:123-131.YangQ,YanP,ZhangY,etal.Low-DoseCTImageDenoisingUsingaGenerativeAdversarialNetworkWithWassersteinDistanceandPerceptualLoss[J].IEEETransactionsonMedicalImaging,2018,37(6):1348-1357.HuC,ZhangY,ZhangW,etal.Low-doseCTviaconvolutionalneuralnetwork[J].BiomedicalOpticsExpress,2017,8(2):679-694.KanE,MinJ,YeJC.Adeepconvolutionalneuralnetworkusingdirectionalwaveletsforlow-doseX-rayCTreconstruction[J].AmericanAssociationofPhysicistsinMedicine,2017,44(10):360-375.Maryam,Gholizadeh-Ansari,Javad,etal.Low-doseCTDenoisingUsingEdgeDetectionLayerandPerceptualLoss[C]//201941stAnnualInternationalConferenceoftheIEEEEngineeringinMedicine&BiologySociety(EMBC),2019:6247-6250.陈树越,晁亚,邹凌.基于几何特征的孤立性肺结节检测[J].生物医学工程学杂志,2016,33(04):680-685.刘银凤,张俊杰,周涛,等.基于多维特征和支持向量机核函数优化的自动化肺结节检测模型[J].生物医学工程研究,2016,35(02):75-80.董林佳,强彦,赵涓涓,等.基于三维形状指数的肺结节自动检测方法[J].计算机应用,2017,37(11):3182-3187.谭雨蒙,刘毛,傅旭鹏,等.基于FasterR-CNN的肺结节检测改进方法[J].浙江师范大学学报(自然科学版),2020,43(04):396-402.SetioA,CiompiF,Litjens