结合高效通道注意模块的残差网络骨龄评估

1、结合高效通道注意模块的残差网络骨龄评估摘要：本文针对现有骨龄评估数据集数据规模小，样本分布不均匀以及现有方法评估准确度较低 的问题，提出了一种新的结合高效通道注意模块的残差网络骨龄评估模型&通过结合深度残差 网络和高效通道注意模块来提高卷积效率，并改进损失函数，缓解样本分布不均匀问题的影响; 然后运用迁移学习的方法微调训练骨龄评估模型，提高模型训练效率；最后引入随机深度算法提 高模型泛化能力&实验结果表明，该方法在RSNA数据集和DHA数据集上的平均绝对误差分别 14. 69个月和5. 98个月，当容忍度为12个月时，骨龄评估的准确率可以达到98. 3 6 %和 94.88%，说明本文方法能够

2、明显地提高骨龄评估的准确率，一定程度上缓解数据规模小和数据分 布不均匀带来的影响。关键词：骨龄评估；残差网络；高效通道注意模块；随机深度算法；损失函数Bone age assessment based on residual network combined with efficiency channel attention moduleAbstract:In this paper,a new residual network bone age assessment model combined with high-e任iciency channel attention module was

3、proposed to address the problems of small data size, uneven sample distribution and low accuracy of existing methods for bone age assessment. Firstly,the deep residual network is selected as the basic convolutional neural network model, the convolution e任iciency is improved by combining the high-e 任

4、 iciency channel attention module, and the loss functon is improved to alleviate the inlluence of the uneven distribution of samples. Then, the model in this paper is prtrained on the Ima4 geNet data set to obtain the basic feature expression of the image. Fnally, the open data set was finetuned wth

5、 the random depth algorthm,and the accuracy of bone age assessment was obtaned by cross validation. The results showed that the mean absolute error of this method on RSNA and DHA data sets was 4. 69 months and 5. 98 months, respectively. When the tolerance was 12 months, the accuracy of bone age ass

6、essment was 98. 36% and 94. 88%. This indicates that this paper can significantly improve the accuracy of bone age assessment,allevate the ?mpact of small data sze and uneven data dstrbuton to a certan extent,and restran overfttng whle ?mprovng network learnng ablty.Key words:bone age assessment； re

7、sidual network； efficient channel attention module; Random depth algorithm； loss function1引言骨龄评估是一种应用于临床诊断和医学治疗 的技术！基于患者非优势手的X射线图像，医生 使用骨龄评估方法得到患者的骨骼年龄，通过比 较人的骨骼年龄与实际年龄之间的差异来判断患 者的生长发育问题！在临床上，骨龄评估的过程通常采用 Greulich&Pyle (G&P)方法或者 Tanner-Whitehouse (TW)方法%GbP方法是基于一组手图 集，医生通过比较患者的X射线图像与手图集中 的模版图像，选择最为接近

8、的匹配模版作为患者 的等效骨龄。但是，GbP方法依赖于放射科医生 的经验，其结果的准确率无法得到保证，评估的结 果会因为放射科医生的不同而有很大差异！与 GbP方法不同,TW方法针对左手手骨中一些特 定部位的骨骼(Regions of Interest, ROIs)，分析患 者手骨上的20个ROIs,并逐个为其打分，然后将 各个分数整合，得到总成熟度分数，最终利用成熟 度评分和相关矩阵将该分数转换为预估的骨骼年 龄。虽然TW方法比GbP方法能更加准确地评 估骨龄，但是它消耗更多的时间，依赖于更专业的 知识。为了解决人工方法的问题，计算机被用来辅 助医生进行自动化的骨龄评估！在过去的二十年 时间

9、里，计算机辅助的骨骼年龄自动评估方法在 医学图像分析领域已经成为一个活跃的话题，各 种各样的自动骨龄评估方法被提出Lm等 人提出一种基于指骨图像粗分割的模糊神经网 络骨骼年龄聚类评估系统，将手部X射线图像分 配到一个合适的骨骼年龄簇，并证明新定义的骨 年龄簇的合理?。Kashif等人从左手X射线图 像的ROIs中提取特征，并使用支持向量机 (SVM )进行分类。Giordano等人通过图像处理 技术处理.端和干.端ROI,并利用隐马尔科夫 模型为每个ROI分配年龄标签，但是该方法只能 够提供0-6年范围内的准确骨龄评估。Sabeti等 人%0&将三种不同版本的粒子群优化算法(PSO)和 图像处

10、理方法应用于左手X射线图像，实现骨龄 评估的自动化。这些方法通常将骨龄评估问题处 理为一个分类或回归问题，涉及到手工分割、ROI 检测、特征提取、分类器或回归器设计等关键步 骤。但是这些自动骨龄评估方法的性能很难满足 实际应用的要求，而且都是通过提取临床方法中 常用的骨骼特征来进行骨龄评估，限制了低阶方 法去直接使用高阶视觉描述符，所以这些传统的 自动骨龄评估方法泛用性不高。近年来，深度学习技术，特别是卷积神经网 络(convolutional neural networks, CNNs)10,11在 医学图像分析问题上取得了巨大成功口2在 过去的三年中，一些基于CNN的方法被提 出%!;22

11、&用于进行自动化骨龄评估。Mathew Chen17首次尝试利用(积神经网络直接提取整 个X射线图像的特征进行骨龄估计。Iglovikov等 人使用几种不同的深度学习架构针对手的不 同部位的图像进行训练和推断。i等人%22&提出 PRSNet 6型，根据提取到的整体特征、局部特征 以及性别特征来估计骨骼年龄。但是这些方法都 只是利用深度学习技术来提取相关数据的特征 并没有充分考虑数据集规模小以及分布不均匀的 影响！针对上诉问题，本文提出一种新的结合高效 通道注意模块的残差网络W骨龄评估模型！ 首先选用深度残差网络作为基础卷积神经网络模 型，通过结合高效通道注意模块来提高特征提取 效率，并改进损

12、失函数，缓解样本分布不均匀问题 的影响！然后在公开数据集上结合随机深度算法 进行微调,抑制数据规模小带来的过拟合问题！ 通过大量对比实验，验证了本文方法的有效性！2研究方法2. 1结合高效通道注意模块的残差网络骨龄评估 模型随着深度卷积神经网络(DCNN)层数越来越深, 梯度消失问题和网络退化问题严重影响网络的性 能。为了解决深度增加而带来的网络退化问题,He 等人提出 了 残差网络(residual networks, ResNets) 结构，采用残差块作为基本组成单元，结构如图1所 示。ResNets在原始(积层外部加入短路连接 (shortcut connection)支路构成基本残差块

13、，使原始 的映射H(X )被表示为H(5)=F(5)+5,其中，F (5)被称为残差映射,5为输入特征。ResNets通过 残差块结构将卷积层对H5)的学习转化为对F(5) 的学习。当残差映射为0时，残差块仅仅做了恒等 映射，网络性能不会下降，这也使得残差块在输入特 征基础上学习到新的特征，从而拥有更好的性能，成 功地通过顺序累加残差块缓解了 DCNN的退化 问题。为了进一步提高ResNets的学习能力，本文引 入高效通道注意模块(ECA),构建ECA-ResNets模 型。ECA模块避免降维，有效地捕获跨信道的交互。 如图3所示，在不降低维数的通道全局平均池化之 后,ECA模块通过考虑每个通

14、道及其k个相邻通道 来捕获本地跨通道交互。实验表明,ECA-ResNets在ImageNet等数据集上取得较原始ResNets更好 的分类效果！图1图2高效通道注意残差块结构图Fig. 2 ECA-ResNet block structure残差块结构图Fig. 1 Residual block structure图3高效通道注意模块结构图Fig. 3 Efficient channel attention module为了提高骨龄评估的准确率，本文采用ECA- ResNets作为基础模型构建用于骨龄评估的DCNN 模型。本文在构建ECA-ResNets时采用ResNets- 50模型作为基础

15、模型。ResNets-50共包括4组残差 块，每个残差块组分别包含数量为3,4,6和3个残差 块,并且每组中的残差块输出维度相同，分别为256, 512,1 024 和 2 040 图 2 所示为 ECA-ResNets 的基 本结构，在ResNets每个残差块的基础上加入ECA 模块。ECA模块使用不降维的全局平均池化（GAP） 在ImageNet等数据集上取得较原始ResNets更好 的分类效果！图1图2高效通道注意残差块结构图Fig. 2 ECA-ResNet block structure残差块结构图Fig. 1 Residual block structure图3高效通道注意模块结构

16、图Fig. 3 Efficient channel attention module2.2随机深度算法ECA-ResNets在加入额外ECA模块的同时加 宽了网络，并加入更多参数，可能导致在小规模数据 集条件下过拟合问题更加严重，为了在发挥ECA- ResNets 优势的同时克服其缺陷,本文使用随机深度 （SD）算法%26&来抑制过拟合问题。与Dropout%25类 似，随机深度算法可以看作是训练一个不具有不同 深度的网络集合，取得比具有相同深度的网络集合 更高的多样?。与Dropout不同的是,SD算法在训 （时缩小网络的深度，在测试时保持网络的深度不 变，通过在训练期间随机丢弃整个ResN

17、et模块并通 过跳连接来实现，目的是解决不同的问题。由于 shortcut支路是ECA-ResNets模型中信息的主要传 递通路，随机断开shortcut支路会造成训练不收敛 的结果，因此在训练过程中会随机断开残差映射支 路。SD算法采用线性衰减规则，令 表示ResNets 中第/个残差块的残差映射支路畅通的概率,Q表示 残差块的个数：Pl = 1 一 1 （1 一 Q）（1）根据线性衰减规则随网络深度增加而线? 递减，Pq表示ResNets中最后一个残差块残差映射 支路畅通的概率。图4%26所示为当pL = 0. 5,po = 1时,SD算法的结构图。其中，儿表示时,SD算法的结构图。其中，

18、儿表示残差映射函数, 表示第6个残差块的输出，0控制残差映射支路 的连通和闭合本文将SD算法引入到ECA-ResNets模型中， 在训练过程中以一定概率随机断开ECA-ResNet模块的残差映射支路。其中，0表示ECA-ResNets中 第/个ECA-ResNet模块的残差映射支路畅通的概 率Q则为ECA-ResNets模块的个数血 表示ECA- ResNets 中最后一个模块的残差映射支路畅通的 概率。图4随机深度算法示意图Fig. 4 Stochastic depth algorithm使用ResNets进行骨龄评估时，损失函数通常 定义如下：E(v ,b) = ) Loss (y ,y)

19、ed(w,b) (2) 其中，N表示训练样本数量,Loss (& )表示定义的误 差函数(如均方误差或者交叉3等)8九.与y)u(V, b)分别表示第6个样本的标签与预测结果V和b是 CNN网络的参数。ResNets训练时通过反向传播算 法27使损失值E(v,b)达到最小，获得最优参数 V* ,b* )#(v* ,b* ) = arg minE(v,b)(3)v ,b在式(2)定义的损失函数中，通常采用交叉3作为误 差函数,其公式为MLoss = )y6cgy雾u(v ,b)(4)& = !其中，J表示为类别的数量)y6c是指示变量,如果该 类别和样本6的类别相同就是1 ,否则就是0字 (V

20、,b)是样本6属于类别的概率。在骨龄评估中，由于不同骨龄类别的样本存在 严重不平衡性,式(2)和式(4)中包含较多样本的类 别会对整体损失值有决定性的影响,而含有较少样 本的类别对损失值的影响微乎其微，其必然导致最 终得到的分类器倾向于含有较多训练样本的类别进 行预测。本文针对样本分布不均与的问题,选取一个阈值，并引入单位阶跃函数：%1,50& (x) = $0.5,5 = 0(5)&0 ,x V 0将交叉3公式改为MLosscv = )+(ylnc ,y&u)y6lgy)u(v,b) (6)&=1其中+ (y&C ,ya) = 1 &(y)C $)d(yd $) 6(1 m y )6(1 m

21、 y)a )(7)改进后，当进入一个正样本时,y = 1,那么+ (1 ,y)u) = 1 - 6(y)a - m) 0 如果 y)a m ,那么 + (1) = 0 ,交叉3为0达到最小交叉3。如果y)aVm，则有+(1 ,y)d ) = 1 ,这时保存原交叉3不 变。类似地可以分析负样本的情形。3实验结果与分析3. 1实验设置为了验证本文算法的有效性,选择RSNA数据 集和DHA(Digit) Hand Atlas)数据集进行对比实 验RSNA数据集包括由美国研究机构提供的 12 480张手部X射线图像,所有的图像都参考了多 个专家观察员,有相应的骨骼年龄标签。DHA数据 集包含1 391

22、张左手X射线扫描图像,按性别和种族 划分，扫描对象是年龄在18岁以下的儿童。每次X 射线扫描都有两个骨龄值,由两位放射专家提供。本文RSNA数据集和DHA数据集分别划分为5 组，每组图像之间没有重叠。在训练和测试中采用交 叉验证方法,令其中1组作为测试集，剩余4组作为 训练集，共构成5种划分方式，分别对每种划分方式 进行训练和测试，计算5次测试结果的平均绝对误 差作为最终的骨龄评估结果。图5手部X射线图像示例图Fig. 5 Hand X-ray image samples为了综合评价本文方法的骨龄评估性能，使用 两种评价标准：平均绝对误差(Mean Average Error, MAE)和累积

23、分数(CS)。MAE计算准确骨龄和预 测骨龄之间的绝对误差(越低越好)，其公式为：MAE = 1! pt -gt(8)其中n为样本数量,g代表实际骨骼年龄，p,代 表预测的骨龄。ps表示在(-，+ )范围内正确分类 的数据的百分比(越大越)，其公式为：CS(L) = 1) 2 L(9)e,表示预测骨龄值与实际骨龄值之间的误差,N是 样本总数Q表示能忍受的误差值。He小于等于L 成立时，&e,L! 1,否则为0。本文实验使用的硬件配置是Inter(R)Xeon(R) Silver 4110 CPU 2. 10 GHz! 2, GPU NVIDIA TITAN XP,所用的操作系统为Ubuntu1

24、6. 04,采用 Python3. 6作为编程语言，使用Google开源的基于 数据流图的TensorFlow机器学习框架以及基于 TensorFlow和Theano的Keras深度学习库。在迭 代过程中，输入一批图片进行批处理，采用随机梯度 下降算法更新网络权重,batch的大小设置为8。当 在ImageNet数据集上进行预训练是，训练的最大迭 代次数设置为10,初始的学习率设置为0.001,迭代 5次之后学习率降为0.000 1。当在RSNA数据集和 DHA数据集上进行微时，需要将预训练获得的模型 中的全连接层fc-1 000替换为fc-228 , softmax分类 器的输出类别由1 0

25、00改为228,训练的最大迭代次 数设置为200,初始学习率设置为0.01。由于ImageNet 数据集规模大，所以在ImageNet数据集上进 行预训练的过程中不使用SD算法以及改进后的损 失函数，即令p=1, Pl = 1(当在RSNA数据集和 DHA数据集上进行训练时，采用SD算法来抑制过 拟合问题，令P0 = 1,Pl = 0. 5,并采用改进后的损失 函数来缓解数据分布不均的影响。3.2结果分析本文采用原始的ResNets和ECA-ResNets两 个模型进行对比，在ImageNet数据集上进行预训 (，分类结果如表1所示。可以看出采用ECA- ResNets 模型在ImageNet

26、数据集上进行预训练，所 获得的Top-1和Top-5分类准确率高于原始的 ResNets模型，表明在ImageNet数据集上，ECA- ResNets 模型较原始的ResNets网络表现出更好的 学习能力。表1 ImageNet数据集分类结果对比Tab. 1 Classification results on ImageNet datasetNetwork structureError rate/ %Top-1Top-5ResNets22. 856. 71ECA-ResNets22. 526. 32本文采用进一步，使用ECA-ResNets模型在 RSNA数据集和DHA数据集上进行骨龄评估训练

27、 和测试，采用消融实验的方式将第2节中的方法逐 一去除进行训练：不使用ECA模块(S1),不使用SD 算法(S2),不改进损失函数(S3)以及完整的ECA- ResNets 模型(S4)。以上4种方式的骨龄评估结果 如表2所示。可以看出，完整方案(S4)在RSNA数 据集和DHA数据集上的MAE值和CS值明显优于 不使用ECA模块的方案1(S1),表明在ECA模块能 够明显提高骨龄评估模型的评估性能。由于RSNA 数据集和DHA数据集的数据规模都比较小以及数据分布不均），过拟合问题是影响骨龄评估准确性 数的改进，模型的骨龄评估性能得到进一步提高，表 的主要问题。随着SD算法的引入以及相关损失函

28、 明SD算法和改进后的损失函数能够缓解数据集规表2不同实验方案在RSNA数据集和DHA数据集上的MAE值和CS值结果对比Tab. 2 Comparison of MAE values and CS values on RSNA and DHA data sets in different experimental schemesExperimental schemeS1S2S3S4ECA ModuleMethodsSD agorithmLoss functionResultsDHA9. 136. 569.085.98MAERSNA6. 04.895.934.69CS(L=12 months)D

29、HA82. 94%83.26%91.52%94.88%RSNA87. 78%88.58%97.23%98.36%(a) DHA(b) RSNA Our 1 Liang et al. Larson et al.Spampinato et al.Our f Wu et al. Ji et al.Iglovikov et al.6 不同方法在RSNA数据集和DHA数据集上的CS值结果对比：(a) DHA数据集结果；(b) RSNA数据集结果Fig. 6 CS value comparisons between multiple methods on RSNA and DHA datasets:(a) Results on DHA dataset； (b) Results on RSNA dataset表3不同方法在2个数据集上的MAE值结果对比Tab. 3 Comparison of MAE values on two datasetsMethodsDHARSNASpampinato et al.9.48Liang et al.6.12Larson et al.6.24Iglovikov et al.6.28Wu et al.7.38Ji et al.4.49Our method5.684