《神经网络压缩与加速研究的国内外文献综述》3400字

神经网络压缩与加速研究的国内外文献综述当前，针对深度神经网络的压缩与加速，其主要方法有网络剪枝、网络量化、低秩分解、紧凑卷积核和知识蒸馏。以下分别对这五种方法研究现状进行介绍。（1）网络剪枝网络剪枝可以去除深度网络模型中冗余的、不重要的参数来减少模型参数量。前期的剪枝方法，如基于非结构化的，精度理论上较高但需下层的硬件和计算库对其有比较好的支持。而结构化剪枝方法可以很好地解决上述问题，因此近年来的研究很多是集中在结构化上。对于非结构化剪枝，早在20世纪九十年代LeCun等人[8]提出了最优化脑损失策略，该方法基于二阶导数来判定参数是否裁剪，可以达到更高的准确度同时又降低网络复杂度，确保精度损失最小化。Sriniva等人[9]提出通过建立参数的显著性矩阵来删除不显著的参数，该方法无需使用训练数据和反向传播，运行速度较快。非结构化剪枝的代表性工作为Han等人[10]的工作，由权重的大小判断权值所含有的信息量进行修剪，剪去数值小于给定阈值的不重要连接及对应参数，大大减少网络参数量，该方法在AlexNet模型上实现了9倍的压缩，在VGG－16模型实现了3倍压缩。为解决非结构化修剪方法迭代收敛慢，运算效率不足的问题，众多研究开始转向结构化剪枝方法。这类方法通过度量滤波的显著性，将显性滤波移除进而实现网络预测加速。Li等人[11]使用滤波器参数的L1范数来判断滤波器权重的显著性，删除不显著的滤波器，从而达到模型压缩的目的。Molchanov等人[12]基于一阶泰勒展开寻找使损失函数变化最小的滤波器，并将其设定为显著性滤波器。Luo等人[13]提出了ThiNet网络结构，开始研究下一层滤波器输入通道的重要性，滤波器是否被剪去取决于下一层而不是直接只考虑当前层。此方法在ImageNet分类任务上，在ResNet-50模型中加速了2.26倍，模型大小压缩了2.06倍，仅增加了0.84%的分类误差。（2）网络量化网络模型量化目前包含两个研究方向：其一为权值共享，基本思想就是多个网络连接的权重共用一个权值，如聚类方式共享和哈希方式共享；其二为权值精简，即权值的低比特表示，主要是定点量化。在聚类方式共享方面，Gong等人[14]提出了一个加速和压缩CNN的方法（Q-CNN），主要思想是基于k-means聚类算法对模型的卷积层和全连接层中的权重进行量化，且最小化每层的输出响应误差。在哈希方式共享方面，Chen等人[15]提出了将网络权重随机分组到多个哈希桶中的方法，同个哈希桶内的所有连接共享相同的权重参数，从而实现参数共享。该法类似特征哈希，即将高维数据降到低维空间，以达到减小模型体积，减小精度损失的目的。

在定点量化中，使用定点数运算来代替浮点数运算，处理相对简单，执行效率也更高。Vanhoucke等人[16]将网络参数由32比特定点量化为8比特进行存储，内存占用降低的同时准确率基本不受影响。Gupta等人[17]则使用了16比特的定点数表达方法，并加入了随机约束的方法，使性能损失较小的同时又降低了模型资源消耗。Courbariaux等人[18]提出了BinaryConnect网络，权值如果大于0为+1，小于0为-1，该二值量化方法可以实现网络的32倍压缩。2016年，Li等人[19]提出了三值权值网络（TernaryWeightNetwork，TWN），当权值高于某个阈值为+1，高于正阈值却小于负阈值时为0，其余为-1。（3）低秩分解低秩分解的核心思想是将原来大的权重矩阵分解成多个小的矩阵。由于权值向量多分布于低秩子空间,因此可用少数的基向量来重构卷积核矩阵,达到减少模型内部冗余性的目的。Deni等人[20]最早使用低秩分解的思想来对神经网络模型进行压缩与加速，即利用低秩分解技术分析模型的大量冗余信息。在2015年，Kim等人[21]提出基于Tucker分解的方法，通过变分贝叶斯矩阵进行Tucker分解，将一个张量表示成一个核心张量和若干个小张量的乘积，大大减少了计算量。之后，Lieven等人[22]采用张量分解的方法用五层复杂度更低的网络层重构原始网络，实现4.5倍的加速。（4）紧凑卷积核对深度网络模型的卷积核使用特殊的结构化卷积核或紧性的卷积核能有效地压缩深度网络。2016年，Iandola等人[23]提出SqueezeNet，其核心Fire模块，主要包含Squeeze层和Expand层。在Squeeze层使用1*1的卷积核减少输入通道的数量，在Expand层中把1*1和3*3卷积核得到的特征映射进行压缩，得到不同尺寸的卷积特征。该SqueezeNet在达到AlexNet识别精度的同时模型参数降低了50倍，大大压缩了深度网络模型。2017年，Howard等人[24]提出了MobileNet，一种专门针对移动端和嵌入式设备开发的轻量级卷积神经网络，将卷积运算分为深度卷积和点卷积，此法可减少大量的参数量和计算量。同年，Zhang等人[25]基于组卷积（GroupConvolution，GC）和通道重排（ChannelShuffle，CS）操作，提出了ShuffleNet，相比MobileNet能更好地减少模型的计算复杂度。（5）知识蒸馏知识蒸馏的核心思想是让较小的学生网络学习大的教师网络的输出类别分布。先将大型复杂的教师网络训练达到较高的性能，再使用轻量级学生网络对其进行拟合，从而把大型网络学到的知识迁移到轻量型网络中，达到网络压缩的目的。2006年，Bucilua等人[26]首先提出知识迁移引入，利用预训练好的复杂模型生成伪数据，训练带有伪数据标记的强分类器的压缩模型来复制原始分类器的输出。基于此，2015年Hinton等人[27]提出知识蒸馏的概念，将教师网络Softmax层的输出作为“软目标”加入到学生网络的损失函数中，指导学生网络训练，达到知识迁移的目标，Hinton的方法能够将网络有效的压缩，但基于输出信息监督的蒸馏学习方法忽略了对教师网络的中间层的特征层信息。因此Romero等人[28]提出了FitNets，该模型同时融合了教师网络的中间特征层信息和教师网络的输出来指导学生网络训练，使学生网络模拟教师网络的全部特征映射图。You等人[29]也利用了中间层信息，他们设置多个教师网络来同时训练一个轻量化的学生神经网络。2018年，Heo等人[30]基于分类决策边界，利用对抗攻击策略转化样本以诱导学生网络对决策边界学习。首先利用对抗攻击策略将基准类样本转为目标类样本、且位于决策边界附近，进而利用对抗生成的样本诱导学生网络的训练，可有效提升学生网络对决策边界的鉴别能力。当前的模型压缩与加速方法中，其中低秩分解技术虽然在某些特定应用中效果不错，但由于无法做到一次全局压缩，增加了网络训练时长。同时该技术增加了网络的层数，容易在训练过程时出现梯度消失的问题，故不具备普适性。而基于紧凑卷积核的神经网络通过采用紧凑卷积核的方式,大大减少了模型中的参数,降低了模型的大小，但由于难以和其他模型压缩方法结合，比原先的网络通用性更弱。此外，网络剪枝虽然通过修剪一些冗余参数量降低了网络复杂度，但由于所有的剪枝方法都需要手动设置层的超参数，且多次迭代模型才能收敛，因此不利于实际运用。网络量化通过减少每个权重编码的比特数来压缩原始网络，可以在准确率损失极小的同时实现网络大幅加速，这种硬件适用性的压缩机制使该方法非常适合部署在体域网体系的可穿戴移动等设备上。知识蒸馏法通过迁移学习的方法可使深层网络变浅,极大地降低了计算成本。同时，针对数据规模有限的公开心电数据集，知识蒸馏方法可以在通用任务上进行预训练后再进行实际模型的训练，从而解决数量不足的问题。因此，本文分别采用网络量化和知识蒸馏这两种技术对模型进行压缩与加速。参考文献Z.Cai,M.Seyedi,W.Zhang,etal.CharacterizationofImpulseRadioIntrabodyCommunicationSystemforWirelessBodyAreaNetworks[J].JournalofMedicalandBiologicalEngineering,2017,37(1)：74-84.S.Ullah,H.Higgins,B.Braem,etal.Acomprehensivesurveyofwirelessbodyareanetworks[J].JournalofMedicalSystems,2012,36(3):1065-109S.Movassaghi,M.Abolhasan,J.Lipman,etal.Wirelessbodyareanetworks:asurvey[J].IEEECommunicationsSurvey&Tutorials,2014,16(3):1658–168王丽苹.融合领域知识的心电图分类方法研究[D].华东师范大学，2013.AQO,XuQA,ClA,etal.AutomatedECGclassificationusinganon-localconvolutionalblockattentionmodule[J].ComputerMethodsandProgramsinBiomedicine,2021.AmirshahiA,HashemiM.ECGClassificationAlgorithmBasedonSTDPandR-STDPNeuralNetworksforReal-TimeMonitoringonUltraLow-PowerPersonalWearableDevices[J].IEEETransactionsonBiomedicalCircuitsandSystems,2020,13(6):1483-1493.ShakerAM,TantawiM,ShedeedHA,etal.GeneralizationofConvolutionalNeuralNetworksforECGClassificationUsingGenerativeAdversarialNetworks[J].IEEEAccess,2020,8:35592-35605.YLCun,JSDenker,SASolla.Optimalbraindamage[M].MorganKaufmannPublishersInc.1990.SrinivasS,BabuRV.Data-freeparameterpruningforDeepNeuralNetworks[J].ComputerScience,2015:2830-2838.HanS,PoolJ,TranJ,etal.LearningbothWeightsandConnectionsforEfficientNeuralNetworks[J].MITPress,2015.LiH,KadavA,DurdanovicI,etal.PruningFiltersforEfficientConvNets.2016.MolchanovP,TyreeS,KarrasT,etal.PruningConvolutionalNeuralNetworksforResourceEfficientTransferLearning[J].2016.LuoJH,WuJ,LinW.ThiNet:AFilterLevelPruningMethodforDeepNeuralNetworkCompression[C]//2017IEEEInternationalConferenceonComputerVision(ICCV).IEEE,2017.WuJ,CongL,WangY,etal.QuantizedConvolutionalNeuralNetworksforMobileDevices[J].2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2016.WenlinChen,JamesWilson,StephenTyree,KilianWeinberger,andYixinChen.Compressingneuralnetworkswiththehashingtrick.InInternationalConferenceonMachineLearning,pages2285–2294,2015.VanhouckeV,SeniorA,MaoMZ.ImprovingthespeedofneuralnetworksonCPUs[J].2011.GuptaS,AgrawalA,GopalakrishnanK,etal.DeepLearningwithLimitedNumericalPrecision[J].Computerence,2015.MatthieuCourbariaux,YoshuaBengio,andJean-PierreDavid.Binaryconnect:Trainingdeepneuralnetworkswithbinaryweightsduringpropagations.InAdvancesinNeuralInformationProcessingSystems,pages3123–3131,2015.LiF,LiuB.TernaryWeightNetworks[J].2016.DenilM,ShakibiB,DinhL,etal.PredictingParametersinDeepLearning[C]//NIPS.CurranAssociatesInc.2013.KimYD,ParkE,YooS,etal.CompressionofDeepConvolutionalNeuralNetworksforFastandLowPowerMobileApplications[J].ComputerScience,2015,71(2):576-584.De,Lathauwer,Lieven,etal.OntheBestRank-1andRank-(R1,R2.RN)ApproximationofHigher-OrderTensors[J].SIAM.J.MatrixAnal.&Appl.2000,21(4):1324-1342.IandolaFN,HanS,MoskewiczMW,etal.SqueezeNet:AlexNet-lev