深度学习综述

深度学习综述目录TOC\o"1-3"\h\u291231深度学习的概念 深度学习综述摘要：深度学习是机器学习研究中的一个新领域，在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。近年来，深度学习在各领域上也取得了丰硕的研究成果。本文简要论述了深度学习的概念、模型、算法以及在各领域的应用，最后说明深度学习的问题及发展趋势。关键字：深度学习，神经网络，机器学习ReviewofDeepLearningAbstract:Deepleaningisanewfieldinmachinelearningresearch.Itisawhichsimulatesthehumanbraintoanalyzeandstudythemechanismofthehumantointerpretthedata.Inrecentyears,deepleaninghasachievedfruitfulresultsinvariousfields.Thispaperbrieflydiscussestheconcept,model,algorithmandapplicationinvariousfieldsofdeeplearning.Finally,explainstheproblemsanddevelopmenttrendofdeeplearning.Keywords:Deeplearning,neuralnetwork,machinelearning1深度学习的概念深度学习是机器学习领域一个新的研究方向，近年来在图像识别与检索、语言信息处理、语音识别等多领域中都取得较为成功的发展。深度学习应用的发展基础在于建立模型来模拟人类大脑的神经连接结构,在处理图像、声音和文本这些信号时,通过多个变换阶段分层对数据特征进行描述,进而给出数据的解释。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念最早G.E.Hinton等于2006年提出。基于深信度网（DBN）提出非监督贪心训练逐层算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。同机器学习方法一样，深度机器学习方法也有有监督学习和无监督学习之分，不同的学习框架下建立的学习模型不同。例如卷积神经网络就是一种深度练网络将输入投影到数据的主分量空间中，此时自编码模型的作用等效于PCA；当隐层非线性时与PCA不同，得到的表示可以堆栈成多层，自编码模型能够得到多模态输入分布。重构误差的概率分布可以解释为非归一化对数概率密度函数这种特殊形式的能量函数，意味着有低重构误差的样例对应的模型具有更高的概率。图1—4自编码模型结构自编码模型的重构误差的梯度与深度信任网络的CD更新规则表达式存在对应关系。堆栈自编码网络的结构单元除了上述的自编码模型之外，还可以使用自编码模型的一些变形，如降噪自编码模型和收缩自编码模型等。降噪自编码模型避免了一般的自编码模型可能会学习得到无编码功能的恒等函数和需要样本的个数大于样本的维数的限制，尝试通过最小化降噪重构误差，从含随机噪声的数据中重构真实的原始输入。降噪自编码模型使用由少量样本组成的微批次样本执行随机梯度下降算法，这样可以充分利用图处理单元的矩阵到矩阵快速运算使得算法能够更快地收敛。降噪自编码模型与得分匹配方法直接相关。得分匹配是一种归纳原理，当所求解的问题易于处理时，可以用来代替极大似然求解过程。2深度学习算法2.1深度费希尔映射方法Wong等人提出一种新的特征提取方法——正则化深度费希尔映射方法，学习从样本空间到特征空间的显式映射，根据Fisher准则用深度结构神经网络提高特征的区分度。深度结构神经网络具有深度非局部学习结构，从更少的样本中学习变化很大的数据集中的特点，显示出比核方法更强的特征识别能力，同时RDFM方法的学习过程由于引入正则化因子，解决了学习能力过强带来的过拟合问题。在各种类型的数据集上进行试验，得到的结果说明了在深度学习微调阶段运用无监督正则化的必要性。2.2非线性变换方法Raiko等人提出了一种非线性变换方法，该变换方法使得多层感知器网络的每个隐神经元的输出具有零输出和平均值上的零斜率，使学习MLP变得更容易。将学习整个输入输出函数的线性部分和非线性部分尽可能分开，用shorteut权值建立线性映射模型，令Fisher信息阵接近对角阵，使得标准梯度接近自然梯度。通过实验证明非线性变换方法的有效性，该变换使得基本随机梯度学习与当前的学习算法在速度上不相上下，并有助于找到泛化性能更好的分类器。用这种非线性变换方法实现的深度无监督自编码模型进行图像分类和学习图像的低维表示的实验，说明这些变换有助于学习深度至少达到五个隐层的深度结构神经网络，证明了变换的有效性，提高了基本随机梯度学习算法的速度，有助于找到泛化性能更好的分类器。2.3稀疏编码对称机算法Ranzato等人提出一种新的有效的无监督学习算法——稀疏编码对称机，能够在无须归一化的情况下有效产生稀疏表示。稀疏编码对称机的损失函数是重构误差和稀疏罚函数的加权总和，基于该损失函数比较和选择不同的无监督学习机，提出一种与文献算法相关的迭代在线学习算法，并在理论和实验上将稀疏编码对称机与深度信任网络和PCA进行比较，在手写体数字识别MNIST数据集和实际图像数据集上进行实验，表明该方法的优越性。2.4迁移学习算法在许多常见学习场景中训练和测试数据集中的类标签不同，必须保证训练和测试数据集中的相似性进行迁移学习。Mesnil等人研究了用于无监督迁移学习场景中学习表示的不同种类模型结构，将多个不同结构的层堆栈使用无监督学习算法用于五个学习任务，并研究了用于少量已标记训练样本的简单线性分类器堆栈深度结构学习算法。叫研究了无监督迁移学习问题，讨论了无监督预训练有用的原因，如何在迁移学习场景中利用无监督预训练，以及在什么情况下需要注意从不同数据分布得到的样例上的预测问题。2.5自然语言解析算法Collobert基于深度递归卷积图变换网络提出一种快速可扩展的判别算法用于自然语言解析，将文法解析树分解到堆栈层中，只用极少的基本文本特征，得到的性能与现有的判别解析器和标准解析器的性能相似，而在速度上有了很大提升。2.6学习率自适应方法学习率自适应方法可用于提高深度结构神经网络训练的收敛性并且去除超参数中的学习率参数，其中包括全局学习率、层次学习率、神经元学习率和参数学习率等。最近研究人员提出了一些新的学习率自适应方法，如Duchi等人提出的自适应梯度方法和Schaul等人提出的学习率自适应方法；Leroux等人提出自然梯度的对角低秩在线近似方法，并说明该算法在一些学习场景中能加速训练过程。3深度学习的实际应用3.1语音识别2011年，微软语音识别采用深度学习技术降低语音识别错误20-30%，是该领域十多年来最大的突破性进展。2013年6月18日，微软宣布已经研发出一种新型语音识别技术，可提供“接近即时”的语音至文本的转换服务，比目前的语音识别技术快两倍。同时，准确率提高了15%，该技术模仿人类大脑对沟通理解的方式。深度神经网络技术能够像人类大脑一样工作，该技术将会取代谷歌等竞争对手在搜索和安卓产品中常用的技术。在国际上，IBM、google等公司都快速进行了深度学习语音识别研究，并且速度飞快。国内方面，科大讯飞、百度、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。3.2视频分析描述视频的静态图像特征可以采用从imageNet上学习的得到的深度模型。以往的视觉研究方法对动态特征的描述往往依赖于光流估计、对关键点的跟踪和动态纹理。如何将这些信息体现在深度模型中是个难点。最直接的做法是将视频是为三维图像，直接应用卷积网络在每一层学习三维滤波器。但是这一思路显然没有考虑到时间维和空间维的差异性。另外一种简单更加有效的思路是，通过与处理计算光流场或其它动态特征的空间厂分布，作为卷及网络的一个输入通道。也有研究工作利用深度编码器以非线性的方式提取动态纹理。在最新的研究工作中，长短时记忆网络受到广泛关注，它可以捕捉长期依赖性，对视频中复杂的动态建模。3.3人脸识别深度学习在物体识别上的另一个重要突破就是人脸识别。人脸识别的最大挑战是如何区分由于光线、姿态和表情等因素引起的类内变化和由于身份不同产生的类间变化。这两种变化的分布是非线性的，且极为复杂，传统的线性模型无法将它们有效区分开。深度学习的目的是通过多层的非线性变换得到新的特征表示。这些特征须尽可能多地去掉内变化，而保留类间变化。人脸识别包括人脸确认和人脸辨识两种任务。人脸确认是判断两张人脸照片是否属于同一个人的，属于二分类问题。人脸辨别是将一张人脸分为N个类别之一，类别是由人脸的身份定义的。这个是多分类问题，更具有挑战性，其难度随着类别数的增加而增大。两种任务都可以通过深度模型学习人脸的特征表达。3.4图像识别和检索深度信任网络和堆栈自编码网络在单个图像识别任务中表现出很好的性能，成功用于生成紧凑而有意义的图像检索表示形式，并且已用于大型图像检索任务中，得到非常好的结果。图像识别方面比深度信任网络更一般的方法。Taylor等人将条件深度信任网络用于视频排序和人类动作合成，条件深度信任网络使得深度信任网络的权值与之前的数据相关联，可以提高训练的有效性。Lee和Raina等人用稀疏编码和深度信任网络从自然图像中学习有效特征表示。Nair等人提出改进的深度信任网络，该模型的顶层模型用三阶BM，他们将这种模型用于三维目标识别任务NORB数据集上，实验结果显示出训练得到了很低的预测误差率。Tang等人提出两种策略来提高深度信任网络的鲁棒性，首先将深度信任网络的第一层具有稀疏连接结构引入正则化方法，接着提出一种概率降噪算法，这些技术在高噪声图像识别任务和随机噪声的鲁棒性方面显示出其有效性。Lee等人提出一种深度学习方法使脑图像分割自动化，用卷积神经网络建立用于脑图像分割的判别特征，能自动从人类专家提供的类标签中进行学习，通过实验验证该方法在自动多类脑图像分割方面显示出优越的性能，表明该方法可以替代已有的模板图像分割方法，减少了图像分割过程对人类专家的干预和对先验信息的需求。4深度学习的问题及发展趋势深度学习算法在计算机视觉(图像识别、视频识别等)和语音识别中的应用,尤其是大规模数据集下的应用取得突破性的进展,但仍有以下问题值得进一步研究:（1）无标记数据的特征学习目前,标记数据的特征学习仍然占据主导地位,而真实世界存在着海量的无标记数据,将这些无标记数据逐一添加人工标签,显然是不现实的.所以,随着数据集和存储技术的发展,必将越来越重视对无标记数据的特征学习,以及将无标记数据进行自动添加标签技术的研究。（2）模型规模与训练速度、训练精度之间的权衡一般地,相同数据集下,模型规模越大,训练精度越高,训练速度会越慢。例如一些模型方法采用ReLU非线性变换、GPU运算,在保证精度的前提下,往往需要训练。虽然离线训练并不影响训练之后模型的应用,但是对于模型优化,诸如模型规模调整、超参数设置、训练时调试等问题,训练时间会严重影响其效率。故而,如何在保证一定的训练精度的前提下,提高训练速度,依然是深度学习方向研究的课题之一。（3）与其他方法的融合从上述应用实例中可发现,单一的深度学习方法,往往并不能带来最好的效果,通常融合其他方法或多种方法进行平均打分,会带来更高的精确率。因此,深度学习方法与其他效果,通常融合其他方法或多种方法进行平均打分,会带来更高的精确率。因此,深度学习方法与其他方法的融合,具有一定的研究意义.方法的融合,具有一定的研究意义。（4）与其他方法的融合从上述应用实例中可发现,单一的深度学习方法,往往并不能带来最好的效果,通常融合其他方法或多种方法进行平均打分,会带来更高的精确率。因此,深度学习方法与其他方法的融合,具有一定的研究意义。5总结深度学习已成功应用于多种模式分类问题。这一领域虽处于发展初期，但它的发展无疑会对机器学习和人工智能系统产生影响。同时它仍存在某些不适合处理的特定任务，譬如语言辨识，生成性预训练提取的特征仅能描述潜在的语音变化，不会包含足够的不同语言间的区分性信息；虹膜识别等每类样本仅含单个样本的模式分类问题也是不能很好完成的任务。深度学习目前仍有大量工作需要研究。模型方面是否有其他更为有效且有理论依据的深度模型学习算法，探索新的特征提取模型是值得深入研究的内容。此外有效的可并行训练算法也是值得研究的一个方向。当前基于最小批处理的随机梯度优化算法很难在多计算机中进行并行训练。通常办法是利用图形处理单元加速学习过程，然而单个机器GPU对大