深度学习简介

深度学习简介翟岩慧山西大学计算机与信息技术学院目录背景理论根底深度学习式神经网络深度学习应用进一步解释深度学习背景背景为了让机器自动学习,需要提取特征,而特征提取一般由人工进行,并且非常困难特征的有效性对学习算法可能有决定性的作用背景要描述右图中的图像,需要对图像像素进行分析,提取边缘特征并分割分析边缘特征,生成局部形状特征和人体局部部位特征分析局部部位特征,生成人体部位特征分析部位特征,完成图像语义识别背景无监督特征提取:Hinton,G.E.,Osindero,S.andTeh,Y.,Afastlearningalgorithmfordeepbeliefnets.NeuralComputation18:1527-1554,2006(基于RestrictedBoltzmannMachine(RBM)的DeepBeliefNetworks(DBN),采用逐层学习特征的无监督特征提取算法)YoshuaBengio,PascalLamblin,DanPopoviciandHugoLarochelle,GreedyLayer-WiseTrainingofDeepNetworks,inJ.Plattetal.(Eds),AdvancesinNeuralInformationProcessingSystems19(NIPS2006),pp.153-160,MITPress,2007(比较了RBM和Auto-encoder)Marc’AurelioRanzato,ChristopherPoultney,SumitChopraandYannLeCun.EfficientLearningofSparseRepresentationswithanEnergy-BasedModel,inJ.Plattetal.(Eds),AdvancesinNeuralInformationProcessingSystems(NIPS2006),MITPress,2007(将稀疏自编码用于卷积结构)背景深度学习应用:分类回归维数约简纹理建模行动建模对象分割信息获取机器人自然语言处理协同过滤背景:深度学习深度学习:可以进行自动特征提取,并生成具有层次结构特征集合组.深度的意义表达在特征的层次结构上,目前的学习根本上都是浅层学习,如SVM(2),线性回归和逻辑回归(1),深度学习的生物根底:大脑的运作方式是深度模式.如,视觉系统(5-10)...背景:深度学习理论根底理论根底:深度的有效性多层神经网络中,层次更少的神经网络近似某一函数会比层数较多的神经网络需要更多的(指数阶)参数.逻辑门问题:2层逻辑门可以表示任意布尔函数.已经证明,某些需要多项式个逻辑单元的k层电路来表示的函数需要指数个逻辑单元的k-1层电路才能表示.理论根底:深度的有效性解释结论的解释:因子化理论根底:深度的有效性解释因子化在图像处理中的解释:第一层可以学习如何将图像中的像素组合在一起来检测边缘第二层可以将边缘组合起来检测更长的轮廓或者简单的“目标的部件〞在更深的层次上，可以将这些轮廓进一步组合起来以检测更为复杂的特征理论根底:深度的有效性解释深度学习式神经网络深度学习式神经网络深度网络的简洁性和较强的表达能力训练深度网络有一些困难(主要指BP算法)数据获取问题(需要的样本过多)局部极值问题(太多的局部极值)梯度弥散问题(BP算法对前面层次的训练效果较差)深度学习式神经网络解决的方法——逐层贪婪算法每次只训练网络中的一层：首先训练一个只含一个隐藏层的网络，然后训练一个有两个隐藏层的网络，以此类推。每一层的训练可以是有监督的〔例如，将每一步的分类误差作为目标函数〕，但更通常使用无监督方法〔如自动编码器〕。这些各层单独训练所得到的权重被用来初始化最终〔或者说全部〕的深度网络的权重，然后对整个网络进行“微调〞〔即把所有层放在一起来优化有标签训练集上的训练误差〕深度学习式神经网络深度稀疏自编码〔Deepsparseautoencoders〕深度信念网〔DeepBeliefNetwork(DBN)〕深度稀疏自编码无标签数据

参数学习目标限制:隐层维数(降维)隐层表示稀疏性x4x5x6+1Layer1Layer2x1x2x3x4x5x6x1x2x3+1Layer3a1a2a3深度稀疏自编码

ReconstructionerrortermL1sparsitytermx4x5x6+1Layer1Layer2x1x2x3+1a1a2a3

深度稀疏自编码x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3Trainparameterssothat,subjecttobi’sbeingsparse.深度稀疏自编码x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3Newrepresentationforinput.深度稀疏自编码x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3+1c1c2c3Newrepresentationforinput.Use[c1,c3,c3]asrepresentationtofeedtolearningalgorithm.深度稀疏自编码已标注训练集两种表示方式:替代表示级联表示深度信念网由RBM〔RestrictedBoltzmannMachine〕栈式组合而成生成模型RBM输入[x1,x2,x3,x4]隐层[a1,a2,a3]服从玻尔兹曼联合分布〔马尔科夫随机场分布〕给定x,极大似然估计:x4x1x2x3a2a3a1RBMRBMGibbs采样推理：[xiaj]obs：固定x,由P(a|x)采样得到a.[xiaj]prior：持续采样直至收敛得到x和a.约束ai的稀疏性可以提高性能.输入[x1,x2,x3,x4]隐层[a1,a2,a3]x4x1x2x3a2a3a1深度信念网输入[x1,x2,x3,x4]第2层[a1,a2,a3]第3层[b1,b2,b3]RBM

DBN第4层[c1,c2,c3]深度学习式神经网络逐层贪婪算法优点数据获取(自学习方法使用无标签样本来学习特征)更好的局部极值(使用逐层训练好的权值作为网络初值)深度学习应用ConvolutionalDBNonfaceimagespixelsedgesobjectparts(combinationofedges)objectmodelsNote:Sparsityimportantfortheseresults.ExamplesoflearnedobjectpartsfromobjectcategoriesLearningofobjectpartsFacesCarsElephantsChairsTrainingonmultipleobjectsPlotofH(class|neuronactive)Trainedon4classes(cars,faces,motorbikes,airplanes).Secondlayer:Shared-featuresandobject-specificfeatures.Thirdlayer:Morespecificfeatures.InputimagesSamplesfromfeedforwardInference(control)SamplesfromFullposteriorinferenceHierarchicalprobabilisticinferenceGeneratingposteriorsamplesfromfacesby“fillingin〞experiments(cf.LeeandMumford,2003).Combinebottom-upandtop-downinference.深度学习应用TIMITPhoneclassificationAccuracyPriorart(Clarksonetal.,1999)79.6%StanfordFeaturelearning80.3%TIMITSpeakeridentificationAccuracyPriorart(Reynolds,1995)99.7%StanfordFeaturelearning100.0%AudioImagesMultimodal(audio/video)CIFARObjectclassificationAccuracyPriorart(YuandZhang,2010)74.5%StanfordFeaturelearning75.5%NORBObjectclassificationAccuracyPriorart(Ranzatoetal.,2009)94.4%StanfordFeaturelearning96.2%AVLettersLipreadingAccuracyPriorart(Zhaoetal.,2009)58.9%StanfordFeaturelearning63.1%VideoUCFactivityclassificationAccuracyPriorart(Kalseretal.,2008)86%StanfordFeaturelearning87%Hollywood2classificationAccuracyPriorart(Laptev,2004)47%StanfordFeaturelearning50%进一步解释深度学习:稀疏性深度学习:限制生成特征为〔稀疏〕分布表示.特征的分布表示意味着每一个特征都包含尽可能多的信息,因此生成的特征之间相对于原样本不是互斥的.特征的分布表示意味着信息的非局部性和容错性特征的稀疏分布表示表达在可以使用很少的(稀疏)特征来组合生成