基于神经网络BP神经网络CNN和集成学习的手写字符识别

CONTENTSONE研究意义TWO研究相关神经网络识别文字研究的意义，目的，识别文字能够进行的相关工作。研究主要涉及的领域、研究中所使用的相关理论、以及研究所使用的技术和方法。THREE研究结果FOUR算法改进到目前为止，研究的结果，使用神经网络对字符进行识别能达到的效果。对前面所述的研究进行创新性的改进，使得能够更高效地识别，主要有四种改进。FIVE扩展及实际运用对算法的进行实际运用性的扩展，以及实际运用。01研究意义神经网络识别文字研究的意义，目的，识别文字能够进行的相关工作。简化文字输入字符识别能够将字符高速、快效的输入到计算机系统，实现人机交互，减轻人们的劳动，将人力从枯燥冗杂的工作中解放出来，提高处理效率，因而具有重要的研究价值。车牌号码识别车牌智能自动识别作为智能交通管理系统中的重要组成部分，应用非常广泛，高速公路收费管理、超速违章自动拍照、停车场管理、小区进出车辆管理、交通数据采集等许多系统中都需要识别车牌号码。快递信息录入快递信息录入能够极大地减轻快递工作人员文字信息录入的工作，使得工作人员能够从辛苦、单一无聊的工作中解放出来，有效地加速中国快递业的发展。邮件文字录入在传统模式邮件寄送过程中，邮件的分类主要靠人工阅读并分类，再往各个地区发送，整个过程费时耗力。近年来，着计算机理论与技术为背景的人工智能运用的不断普及，使得机器录入成为现实。SIGNIFICANCEOFRESEARCH研究意义SR02研究相关研究主要涉及的领域、研究中所使用的相关理论、以及研究所使用的技术和方法。DOMAINOFKNOWLEDGE领域DK机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心。人工智能(ArtificialIntelligence,AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。21世纪，已经取得了长足的进步，但是到目前为止，还没有一台计算机能产生“自我”的意识。深度学习深度学习(DeepLearning,DL)是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。机器学习人工智能集成学习集成学习(ensemblelearning)集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。。THETWONEURALNETWORKOFRECGNIZATION两种神经网络MR反向传播神经网络向传播(backpropagation,BP)算法是1986年由Hinton和McClelland为首的科学家提出的概念。BP神经网络是一种采用这种算法进行高效训练的多层前馈神经网络，是目前应用最强大最广泛的神经网络之一。卷积神经网络卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。一般包括卷积层(convolutionallayer)、池化层(poolinglayer)和全连接层(denselayer)。THETWOFRAMEOFNEURALNETWORK两种框架FNTensorFlowTensorFlow是一个采用数据流图（dataflowgraphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。KerasKeras是一种高度模块化，使用简单上手快，合适深度学习初学者使用的深度学习框架。Keras由纯Python编写而成并以Tensorflow、Theano以及CNTK为后端。Keras为支持快速实验而生，能够把你的idea迅速转换为结果。03研究结果到目前为止，研究的结果，使用神经网络对字符进行识别能达到的效果。BP-NNBP神经网络BNCONVOLUTIONALNEURALNETWORK卷积神经网络BNCOMMITTEEOFNEURALNETWORKS神经网络集成CNTHECURVEOFERROR误差曲线(mnist)ERTHEERRORRATEOFRECOGNITION误差率(mnist)ER97.3%搭建BP-NN搭建组合BP-NN搭建CNN+调参搭建组合CNNInput(Batch_size*28*28)->Dense(1024)->Reluactivation->Dense(10)->Softmaxactivation->Output(10)Input->Conv2d->Pooling->relu->Conv2d->Pooling->relu->Flat->dense->dense->OutputMulti-(Input->Conv2d->Pooling->relu->Conv2d->Pooling->relu->Flat->dense->dense->Output)->Combination->FinaloutputMulti-(Input->Dense(1024)->Reluactivation->Dense(10)->Softmaxactivation->Output(10))->Combination->Finaloutput98.3%99.1%99.4%04算法改进对前面所述的研究进行创新性的改进，使得能够更高效地识别，主要有四种改进。在传统CNN上添加了DropOut、Regularization、BatchNormalization优化层。优化层传统为sigmod、tanh，本文采用ReLU、PReLU、LeaklyReLU等激活函数激活函数传统优化器为SGD、Momentum，采用Adam优化器进行神经网络的优化优化器010203IMPROVEMENTOFALGORITHM神经网络参数改进IA残差网络(residualnetwork,ResNet)，通过残差网络，可以把网络层弄的很深，现在达到了1000多层，最终的网络分类的效果也是令人十分满意。ResNet紧接卷积神经网络(DenselyConnectedConvolutionalNetworks,DenseNet)，可以看做是ResNet的一个特例，通过紧密连接，能够减轻梯度消失。DenseNetHarmonica算法是优秀一种调参算法，十分高效，并且能够适应于几乎一切场景。在机器学习里面，调参尤其重要。HarmonicaBagging算法是一种集成学习算法。因为单一模型具有局限性，任何一种模型，都有其缺陷，通过多模型组合能够趋近完美。尽管是很简单的思想，但其所带来的效果令人惊叹。Bagging01020304IMPROVEMENTOFALGORITHM算法改进IA

原因/理由：单一模型具有局限性。任何一种模型，都有其缺陷，通过多模型组合能够趋近完美。

启发：某一次听说有人用多分类器跑mnist到100%正确率。一个计算天才去算10000道四则运算题，很大某一道题可能会犯错，那么他就只能算是趋近完美。但如果十个计算天才一起去做这10000道题，每道题由多数人投票决定，那么，最终的效果必定是更优秀的。尽管是很简单的思想，但其所带来的效果令人惊叹。(Error:0.9%->0.6%）因为单一模型的就已经足够优秀，所以数字上反应并不明显CONBINATIONCLASSIFICATIONMODEL集成学习--BaggingCM1.在参数空间中，随机采样（比如）100个点2.对每个点计算低度数傅里叶基的特征向量，捕捉参数之间的相关性3.对于计算好的100个特征向量，跑拉锁算法，得到（比如）5个重要的特征，以及这些特征对应的参数4.固定这些参数的值，得到了新的调参数问题（参数个数减少，搜索空间降低）。5.回到第一步。重复若干轮之后，固定了很多参数的值，得到令人满意的参数Harmonica

调参算法HA论文：《HyperparameterOptimization:ASpectralApproach》/abs/1706.00764 Insteadofhopingeachfewstackedlayersdirectlyfitadesiredunderlyingmapping,weexplicitlylettheselayersfitaresidualmapping.Formally,denotingthedesiredunderlyingmappingasH(x),weletthestackednonlinearlayersfitanothermappingofF(x):H(x)-x.TheoriginalmappingisrecastintoF(x)+x.

并不通过简单的stack的方式把网络的深度增加就可以提高performance(因为梯度消失/弥散问题、神经退化问题(神经元或其他失效))。假设原本期望的映射函数为H(x)，我们让堆叠的非线性层去拟合另一个映射F(x):H(x)-x，而原来函数映射则变为F(x)+x。学习到的F(x)即为残差。

残差：残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。“残差”蕴含了有关模型基本假设的重要信息。如果回归模型正确的话，我们可以将残差看作误差的观测值。RESIDUALNETWORK残差网络RN论文：《DeepResidualLearningforImageRecognition》CVPR2015/2016最佳论文/abs/1512.03385Foreachlayer,thefeaturemapsofallprecedinglayersaretreatedasseparateinputswhereasitsownfeaturemapsarepassedonasinputstoallsubsequentlayers.一个词概括就是：Dense，多层神经网络组合成一个DenseBlock，每一个DenseBlock都紧密相连。DENSELYCONNECTEDCONVOLUTIONNETWORK紧