基于深度卷积神经网络的图像分类

11?人工神经网?课程论文MACROBUTTONMTEditEquationSection2SEQMTEqn\r\hSEQMTSec\r1\hSEQMTChap\r1\hSHANGHAIJIAOTONGUNIVERSITY论文题目：基于卷积神经网络的自然图像分类技术研究姓名:高小宁专业：控制科学与工程11)其中，，分别是对梯度的一阶矩估计和二阶矩估计，可以看作对期望，的估计；，是对，的校正，这样可以近似为对期望的无偏估计。可以看出，直接对梯度的矩估计对内存没有额外的要求，而且可以根据梯度进行动态调整，而对学习率形成一个动态约束，而且有明确的范围。特点如下：具有善于处理稀疏梯度和非平稳目标的优点对内存需求较小为不同的参数计算不同的自适应学习率适用于大多非凸优化问题，也适用于大数据集和高维空间通常情况下且迭代速度快于SGD，但是其收敛精度一般不如SGD2.6Dropout权值衰减(L2正那么化)是通过修改代价函数来实现的，但是Dropout通过修改神经网络结构来实现的，它是在训练神经网络时用的一种优化方法。Dropout是指在模型训练时随机让网络局部隐含层单元的不工作，不工作的那些单元可以暂时不作为网络的局部计算，但保存它的权重(暂时不更新)，因为下次样本输入时它可能又工作。在训练过程中，Dropout是以一定概率将隐含层节点的输出清0，而用反向传播更新权值时，不再更新与该节点相连的权值，未设置Dropout与设置Dropout的神经网络结构如下：〔a〕无Dropout的神经网络结构〔b〕设置Dropout的神经网络结构图2-4Dropout示意图2.7BatchNormalization我们知道，在训练深度神经网络时，常常会发生“梯度弥散〞问题,即当我们使用反向传播方法计算梯度导数的时候，随着网络深度的增加，反向传播的梯度〔从输出层到网络的最初几层〕的幅度值会急剧地减小。一个简单的例子就是：，结果就造成了整体的代价函数对最初几层网络的权值的导数非常小。这样，当使用梯度下降法的时候，最初几层的权重变化非常缓慢，以至于它们不能够从样本中进行有效的学习。为了解决梯度弥散问题，Google在2021年的ICML大会上提出了BatchNormalization的方法。BatchNormalization嘛，即“批标准化〞，即在每次进行随机梯度下降时，通过mini-batch来对相应的激活输出做标准化操作，使得结果〔输出信号各个维度〕的均值为0，方差为1。具体的“批标准化〞算法如下：在BatchNormalization中，通过将激活函数的输出标准为均值和方差一致的手段使得原本会减小的输出的变大，从而在很大程度上解决了梯度弥散问题，并加快了深度神经网络的训练。3模型设计与实验分析CIFAR-10数据集CIFAR-10数据集含有6万张的自然图像，共分为10种类型，由AlexKrizhevsky,VinodNair和GeoffreyHinton收集而来。包含50000张训练图片，10000张测试图片，数据集的数据存在一个的数组中〔按行存储，每一行表示一副图像〕，前1024位是R值，中间1024位是G值，最后1024位是Ｂ值，数据集样例如图3-1所示。我们对实验数据集仅作简单的裁剪与白化处理后将像素值送入神经网络中进行训练。图3-1CIFAR-10数据集样例3.2模型设计在上一章中我们对卷积神经网络性能的影响因素进行了分析，如何选择感受野大小、核个数、池化大小、网络的层数等。对此，我们根据这些影响因素并结合CIFAR-10数据集，设计了两个模型。一种是浅层卷积网络模型，一种是深度卷积网络模型，浅层卷积网络模型受GoogleTensorFlow的教学手册启发，深度卷积网络模型是结合了影响卷积网络性能的影响因素设计而成。浅层卷积网络与深度卷积网络的结构图分别如图3-2与图3-3所示。图3-2浅层卷积网络图3-3深度卷积网络两个网络的架构图分别如表3-1与表3-2所示。表3-1浅层卷积网络架构图typePatchSize/stridesFeatureMapsdepthactivationlearningruleconvolution3×3321ReLuSGD+Momentummaxpool3×3/[1,2,2,1]320convolution3×3641maxpool3×3/[1,2,2,1]640Fullconnection1×3384/1922softmax101表3-2深度卷积网络架构图typePatchSize/stridesFeatureMapsdepthactivationlearningruleconvolution3×3322ReLuSGD+Momentummaxpool3×3/[1,2,2,1]320convolution3×3642maxpool3×3/[1,2,2,1]640convolution3×31282maxpool3×3/[1,2,2,1]1280convolution3×32562maxpool3×3/[1,2,2,1]2560Fullconnection1×3384/1922softmax101假设我们将下采样层(pooling)与归一化层〔BatchNormalization〕不计入网络层数的计算，那么我们设计的浅层网络的深度为5，深度网络的深度为11。3.3实验结果与分析实验环境与根本参数设置：实验中我们采用Python+tensorflow进行编程，tensorflow是Google开发的一种深度学习框架，其提供了C++与Python接口，主要支持Linux与MacOS，这种框架主要采用先进的图计算，即使用有向图的节点和边共同描述数学计算。graph中的nodes代表数学操作，也可以表示数据输入输出的端点。边表示节点之间的关系，传递操作之间互相使用的多位数组〔tensors，张量〕，tensor在graph中流动——这也就是TensorFlow名字的由来。一旦节点相连的边传来了数据流，节点就被分配到计算设备上异步的〔节点间〕、并行的〔节点内〕执行，这种灵活的架构允许我们使用相同的API在单或多CPUs或GPU，效劳器及移动设备上进行计算。本文的编程环境处于Linux之中，具体的实验室环境如表3-3所示：表3-3实验环境CPUGPUGTX750ti@2GB内存8GB操作系统Linuxmint18深度学习框架GoogleTensorFlow〔〕编程语言为了后续进行比照实验，我们配置了根本的实验参数，后续相关的实验参数也是在根本参数上进行变动。权值衰减的实现是在代价函数中增加惩罚项，随机训练样本会造成这惩罚项产生较大的随机突变，干扰梯度更新方向的稳定性，同时增大训练误差，故；另外，对神经元随机失能的比例不能太大，否那么随机噪声会淹没训练集的作用；批处理尺寸〔batchsize〕不能太大，负责会造成迭代过慢及内存溢出问题，我们在CNN的训练时间、准确率和稳定性之间进行折中后的根本实验参数如表3-4所示。表3-4根本实验参数参数取值输入图像尺寸〔image_size〕批处理尺寸〔batchsize〕128初始学习速率〔〕学习速率衰减率〔〕衰减间隔〔NUM_EPOCHS_PER_DECAY〕350动量系数〔〕Dropout比例〔〕权值衰减项权重〔〕[0,0.001]最大迭代步数〔max_steps〕10003.3.2不同batchsize比照实验我们采取不同的batchsize，并选取随机梯度下降学习算法，在CIFAR-10数据集上进行了比照实验，各种不同batchsize对应的代价函数曲线如图3-4所示。(a)batchsize=128(b)batchsize=256(c)batchsize=512(d)batchsize=1024图3-4不同batchsize的代价函数曲线从图3-4可以看出，batchsize为128与256时，代价函数的震荡较剧烈，随着batchsize增大到512与1024，代价函数的下降变得相对平稳，这是由于batchsize越大越能代表总体的训练集样本分布，但是batchsize越大，每次迭代所需时间就近线性增长，在实验室中，不同的batchsize对应的处理速度如表3-5。表3-5不同batchsize的处理速度batchsize处理速度〔sec/batch〕1282565121024在后续实验中，为了加快收敛速度，我们取batchsize=128。3.3.3不同激活函数比照实验我们分别选择三种激活函数，均采取Adam学习算法，经过1000次迭代后的代价函数曲线如图3-5所示。(a)sigmoid(b)tanh(c)ReLu图3-5不同激活函数的代价函数曲线从上图中我们可以看出，在相同的迭代次数下，sigmoid型激活函数对应的代价函数值降低到，而tanh型激活函数的代价函数下降到一个更小的值〔〕，最后ReLu激活函数的震荡更小，对应代价函数下降到一个比tanh型函数更小的值，这与其特性〔①单侧抑制②相对宽阔的兴奋边界③稀疏激活性〕有关，所以ReLu型激活函数更适用于深度神经网络，后续我们的实验也是默认采用ReLu激活函数。不同学习算法比照实验在保持根本实验参数设置的情况下，三种不同的学习算法的代价函数曲线如图3-6所示。从曲线图我们可以看出，SGD〔随机梯度下降法〕收敛速度最慢，而且曲线震荡明显；SGD+Momentum(随机梯度下降加动量因子)震荡减小且收敛速度加快，如果迭代次数足够多，可以收敛到一个比拟理想的值；Adam(自适应矩估计法)收敛速度最快，且震荡较小，如果对精度没有严格要求话，Adam是一个较理想的选择〔后续比照实验也默认采用Adam学习算法〕。(a)SGD(b)SGD+Momentum(c)Adam图3-6不同学习算法的代价函数曲线3.3.5不同特征图个数比照实验我们以之前设计的浅层卷积网络为基础，分别设置两层卷积层的特征图〔FeatureMaps〕个数为16-16,32-32,64-64，卷积核尺寸为5×5，pooling窗口尺寸为3×3，其他层保持不变，迭代10000步后，不同数目的特征图对应的测试集分类精度如表3-6所示。表3-6不同FeatureMaps对应的测试集精度FeatureMapsPresion16-1670.0%32-3275.0%64-6479.5%由表3-5可知，在一定范围内，随着特征图〔FeatureMaps〕个数的增多，对应的分类精度就越大，这是由于特征图个数越多，从输入图像中提取到的特征也就越多，模型的表达能力也就越强，所以在计算能力允许的情况下我们应该尽量增加特征图的数目，提高图像特征的提取质量进而增强模型的表达能力。不同池化方式比照实验我们保持根本实验参数不变，分别采用averagepooling〔均值采样〕与maxpooling〔最大采样〕两种池化方式，迭代10000次后的对应的测试集分类精度如表3-6所示，相应的代价函数曲线如图3-7所示。表3-7不同池化方式对应的测试集精度PoolingPresionAveragepoling77.9%Maxpooling79.5%(a)averagepooling(b)maxpooling图3-7不同pooling方式对应的代价函数曲线从表3-6可以看出采用maxpooling取得了更高的分类精度，从两者的代价函数曲线也可以看出maxpooling可以将代价函数降到更低，这是由于maxpooling减小了卷积层参数误差造成的估计均值偏移，所以后续的实验中我们也将采用maxpooling的方式。不同卷积层数比照实验我们在之前设计的浅层卷积网络的基础上增加两层卷积层，并与浅层卷积网络、深度卷积网络一起进行比照实验，保持根本的实验参数不变，采用Adam学习算法，迭代10000次后的分类精度如表3-8所示。表3-8不同卷积层数对应的测试集精度卷积层数Presion279.5%683.1%8%由表3-8可知，随着卷积层数的增多相应的分类精度也在提高，这是由于卷积层数越多，对特征的抽象能力也就越强大，最后提取到的特征质量也就越高，所以一般来说，深度卷积网络比浅层卷积网络的性能要好。深度卷积网络模型实验我们设置最大迭代次数为50000次，采用SGD+Momentum的学习算法，初始化学习率，每隔125次Epoch学习率衰减为上一次的0.1倍，其他参数保持根本参数不变，对应的代价函数曲线如图3-8所示。图3-8深度卷积网络模型代价函数曲线经过50000次迭代后，代价函数大约稳定在0.20左右，最低为0.10，最后的分类精度为%，CIFAR-10局部论文的分类精度如图3-9所示。从图中可以看出，本文的分类精度优于许多论文得到的分类精度，但是由于本文的方法并未对训练集图像做精细的预处理，所以本文的分类精度比一些做过相应预处理的论文结果要低；观察代价函数曲线可知，假设迭代次数再增大，代价函数可以再进一步下降，但由于本文中使用的计算机计算能力有限，假设迭代更多的次数需要的时间会很长，就不做进一步的迭代。图3-9CIFAR-10局部论文分类精度4结论本文通过分析影响卷积神经网络模型的各个因素〔网络层数、学习算法、卷积核大小、pooling方式、激活函数、Dropout、BatchNormalization等〕，针对CIFAR-10图像数据集，设计了两个卷积网络模型〔浅层网络模型与深度网络模型〕，经过实验比照，本文设计的深度网络模型的分类精度更高，并取得了%的分类精度，比CIFAR-10官网上公布的大局部论文的分类精度要高，假设想进一步提高分类精度，可以从以下几个方面进行改良：对学习率进行更加精细的设计，使得在代价函数降低时可以有更加适合的学习率与之对应。对输入图像进行精细的预处理〔比方滤波、白化等〕原数据集进行数据增强，并进行更屡次的迭代。参考文献[1]李晓普.基于卷积神经网络的图像分类[D].大连理工大学,2021.[2]楚敏南.基于卷积神经网络的图像分类技术研究[D].湘潭大学,2021.[3]张弛.基于卷积神经网络的鞋印图像分类算法研究[D].大连海事大学,2021.[4]龚丁禧,曹长荣.基于卷积神经网络的植物叶片分类[J].计算机与现代化,2021,04:12-15+19.[5]杨莹,张海仙.基于卷积神经网络的图像分类研究[J].现代计算机(专业版),2021,05:67-71.[6]AlexKrizhevsky,IlyaSutskever,GeoffHinton.Imagenetclassificationwithdeepcon-volutionalneuralnetworks[J].AdvancesinNeuralInformationProcessingSystems25,2021：1106-1114[7]IoffeS,SzegedyC.BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShift[J].ComputerScience,2021.[8]SimonM,RodnerE,DenzlerJ.ImageNetpre-trainedmodelswithbatchnormalization[J].2021.[9]DanCC,MeierU,GambardellaLM,etal.ConvolutionalNeuralNetworkCommitteesforHandwrittenCharacterClassification[C]//InternationalConferenceonDocumentAnalysisandRecognition.IEEEXplore,2021:1135-1139.

论大学生写作能力写作能力是对自己所积累的信息进行选择、提取、加工、改造并将之形成为书面文字的能力。积累是写作的基础，积累越厚实，写作就越有基础，文章就能根深叶茂开奇葩。没有积累，胸无点墨，怎么也不会写出作文来的。写作能力是每个大学生必须具备的能力。从目前高校整体情况上看，大学生的写作能力较为欠缺。一、大学生应用文写作能力的定义那么，大学生的写作能力究竟是指什么呢？叶圣陶先生曾经说过，“大学毕业生不一定能写小说诗歌，但是一定要写工作和生活中实用的文章，而且非写得既通顺又扎实不可。”对于大学生的写作能力应包含什么，可能有多种理解，但从叶圣陶先生的谈话中，我认为：大学生写作能力应包括应用写作能力和文学写作能力，而前者是必须的，后者是“不一定”要具备，能具备则更好。众所周知，对于大学生来说，是要写毕业论文的，我认为写作论文的能力可以包含在应用写作能力之中。大学生写作能力的体现，也往往是在撰写毕业论文中集中体现出来的。本科毕业论文无论是对于学生个人还是对于院系和学校来说，都是十分重要的。如何提高本科毕业论文的质量和水平，就成为教育行政部门和高校都很重视的一个重要课题。如何提高大学生的写作能力的问题必须得到社会的广泛关注，并且提出对策去实施解决。二、造成大学生应用文写作困境的原因：（一）大学写作课开设结构不合理。就目前中国多数高校的学科设置来看，除了中文专业会系统开设写作的系列课程外，其他专业的学生都只开设了普及性的《大学语文》课。学生写作能力的提高是一项艰巨复杂的任务，而我们的课程设置仅把这一任务交给了大学语文教师，可大学语文教师既要在有限课时时间内普及相关经典名著知识，又要适度提高学生的鉴赏能力，且要教会学生写作规律并提高写作能力，任务之重实难完成。（二）对实用写作的普遍性不重视。“大学语文”教育已经被严重地“边缘化”。目前对中国语文的态度淡漠，而是呈现出全民学英语的大好势头。中小学如此，大学更是如此。对我们的母语中国语文，在大学反而被漠视，没有相关的课程的设置，没有系统的学习实践训练。这其实是国人的一种偏见。应用写作有它自身的规律和方法。一个人学问很大，会写小说、诗歌、戏剧等，但如果不晓得应用文写作的特点和方法，他就写不好应用文。（三）部分大学生学习态度不端正。很多非中文专业的大学生对写作的学习和训练都只是集中在《大学语文》这一门课上，大部分学生只愿意被动地接受大学语文老师所讲授的文学经典故事，而对于需要学生动手动脑去写的作文，却是尽可能应付差事，这样势必不能让大学生的写作水平有所提高。（四）教师的实践性教学不强。学生写作能力的提高是一项艰巨复杂的任务，但在教学中有不少教师过多注重理论知识，实践性教学环节却往往被忽视。理论讲了一大堆，但是实践却几乎没有，训练也少得可怜。阅读与写作都需要很强的实践操作，学习理论固然必不可少，但是阅读方法和写作技巧的掌握才是最重要的。由于以上的原因，我们的大学生的写作水平着实令人堪忧，那么如何走出这一困境，笔者提出一些建议，希望能对大学生写作水平的提高有所帮助。三、提高大学生应用写作能力的对策（一）把《应用写作》课设置为大学生的必修课。在中国的每一所大学，《应用写作》应该成为大学生的必修课。因为在这个被某些人形容为实用主义、功利主义甚嚣尘上的时代，也是个人生存竞争最激烈的时代，人们比任何时代都更需要学会写作实用性