深度学习综述

目录深度学习的概念 0卷积神经网络模型 1深度信任网络模型 21。3堆栈自编码网络模型 3深度学习算法 4深度费希尔映射方法 4非线性变换方法 4稀疏编码对称机算法 5迁移学习算法 52。5自然语言解析算法 52。6学习率自适应方法 5深度学习的实际应用 5语音识别 53。2视频分析 63。3人脸识别 63。4图像识别和检索 6深度学习的问题及发展趋势 7总结 8参考文献 9深度学习综述领域的应用，最后说明深度学习的问题及发展趋势。关键字：深度学习,神经网络,机器学习ReviewofDeepLearningAbstract:Deepleaningisanewfieldinmachinelearningresearch。Itisawhichsimulatesthehumanbraintoanalyzeandstudythemechanismofthehumantointerpretthedata。Inrecentyears，deepleaninghasachievedfruitfulresultsinvariousfields。Thispaperbrieflydiscussestheconcept，model,algorithmandapplicationinvariousfieldsofdeeplearning。Finally,explainstheproblemsanddevelopmenttrendofdeeplearning。Keywords：Deeplearning，neuralnetwork,machinelearning深度学习的概念特征，以发现数据的分布式特征表示.G.E.Hinton2006提出非监督贪心训练逐层算法，为解决深层结构相关的优化难题带来希望,随后Lecun同机器学习方法一样，深度机器学习方法也有有监督学习和无监督学习之监督学习下的机器学习模型，而就是一种无监督学习下的机器学习模型.0等，下面对这些模型进行描述.卷积神经网络模型的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模为明显,使图像可以直接作为网络的输入，避免了传统算法中复杂的特征提取和网络结构对平移、比例缩放、倾斜或是其他形式的变形具有高度不变形。Lecun同一组权值和不同输入矩形块与不同位置的神经元关联。下图是一个用于手写体字符识别的卷积神经网络,由一个输入层、四个隐层卷积神经网络通过使用接收域的局部连接，限制了网络结构.卷积神经网络的另用于手写体字符识别的卷积神经网络知的模式对卷积神经网络加以训练,就可以使网络具有输入输出之间的映射能1力。卷积神经网络执行的是有监督训练,在开始训练前，用一些不同的小随机数对网络的所有权值进行初始化。卷积神经网络中这种层间联系和空域信息的紧密关系,使其适于图像处理和理解。而且,在其自动提取图像的显著特征方面还表现出了比较优异的性能。在的目的,目前卷积神经网络通过一个时间想干性去训练，但这个不是卷积神经网络特有的.深度信任网络模型深度信任网络可以解释为贝叶斯概率生成模型,由多层随机隐变量组成，上最底层单元的状态为可见输入数据向量。深度信任网络由若干结构单元堆栈组1—2所示，结构单元通常为RBM。堆栈中每个RBM单元的可视层神RBM单元的隐层神经元数量。根据深度学习机制，采用输入RBMRBMRBMRBM图1—2 DBN的生成过程RBM1—3DBNRBM与每一层DBN享参数。2图1—3RBM的无向图模型RBM有可见层节点与隐层节点之间有连接权值，而可见层节点与可见层节点以及隐层节点与隐层节点之间无连接。1。3堆栈自编码网络模型堆栈自编码网络的结构与深度信任网络类似,由若干结构单元堆栈组成，不同之处在于其结构单元为自编码模型而不是RBM。c（·）xg（·）c（x）r（x)=g（c(x))。因此,L(x）r（x）,x）=‖r（x），x‖2是平方误差时,c(x）PCA；PCA图1—4自编码模型结构3PAGEPAGE4自编码模型的重构误差的梯度与深度信任网络的CD更新规则表达式存在对应关系。堆栈自编码网络的结构单元除了上述的自编码模型之外,还可以使用数据中重构真实的原始输入.降噪自编码模型使用由少量样本组成的微批次样本执行随机梯度下降算法,这样可以充分利用图处理单元的矩阵到矩阵快速运算深度学习算法2。1深度费希尔映射方法WongFisher学习变化很大的数据集中的特点，显示出比核方法更强的特征识别能力，同时RDFM运用无监督正则化的必要性。非线性变换方法RaikoMLPshorteutFisher非线性变换方法实现的深度无监督自编码模型进行图像分类和学习图像的低维化性能更好的分类器。稀疏编码对称机算法RanzatoMNIST数据集和实际图像数据集上进行实验，表明该方法的优越性。2。4迁移学习算法测试数据集中的相似性进行迁移学习.Mesnil等人研究了用于无监督迁移学习场法用于五个学习任务,并研究了用于少量已标记训练样本的简单线性分类器堆栈不同数据分布得到的样例上的预测问题。自然语言解析算法Collobert基于深度递归卷积图变换网络提出一种快速可扩展的判别算法用升。学习率自适应方法学习率自适应方法可用于提高深度结构神经网络训练的收敛性并且去除超DuchiSchaul然梯度的对角低秩在线近似方法,并说明该算法在一些学习场景中能加速训练过程。深度学习的实际应用3。1语音识别2011201361815%，该技术模仿人类大脑对沟通理解3。2视频分析imageNet也有研究工作利用深度编码器以非线性的方式提取动态纹理.在最新的研究工作3.3人脸识别的类间变化。这两种变化的分布是非线性的，且极为复杂,传统的线性模型无法将它们有效区分开。深度学习的目的是通过多层的非线性变换得到新的特征表于二分类问题。人脸辨别是将一张人脸分为N个类别之一，类别是由人脸的身份定义的。这个是多分类问题，更具有挑战性,其难度随着类别数的增加而增大。两种任务都可以通过深度模型学习人脸的特征表达。3。4图像识别和检索Nair等人提出改进的深度信任网络,该模型的顶层模型用三阶BM，他们将这种模型用于三维目标识别任务NORB数据集上，实验结果显示出训练得到了很低的预测误差率。Tang深度学习的问题及发展趋势（究:无标记数据的特征学习目前,标记数据的特征学习仍然占据主导无标记数据的特征学习，以及将无标记数据进行自动添加标签技术的研究。非线性变换、GPU训练精度的前提下，提高训练速度,依然是深度学习方向研究的课题之一。与其他方法的融合 从上述应用实例中可发现，单一的深度学习方法，往往并不能带来最好的效果，通常融合其他方法或多种方法进行平均打分会带来更高的精确率。因此,深度学习方法与其他效果通常融合其他方法或多种方法进行平均打分会带来更高的精确率.因此深度学习方法与其他方法的融合，具有一定的研究意义.方法的融合,具有一定的研究意义。总结究.模型方面是否有其他更为有效且有理论依据的深度模型学习算法，探索新的特征提取模型是值得深入研究的内容.此外有效的可并行训练算法也是值得研究行训练。通常办法是利用图形处理单元加速学习过程，然而单个机器GPU对大规模数据识别或相似任务数据集并不适用.在深度学习应用拓展方面,如何充分合理地利用深度学习在增强