深度学习课件

深度学习----许洛1.深度学习（DL）1深度学习介绍1DL历程2BP缺点2CNN应用1手写字体识别2语音识别3CNN原理卷积池化反向传输2.深度学习（DL）60、70年代，神经网络（NNs）最早可以追溯的时期，构建出连续非线性层的神经元模型；随后，建立带有梯度下降的BP模型，1981年首次NN得到应用；

80年代末，基于BP训练的深度神经网络（DeepNNs）依然很难实现，90年代开始成为研究主体；1991，

通过无导学习的深度学习（DeepLearning，DL）在实际中可以运用；

2009，有导师学习的DL在大部分国际模式识别竞赛中领先于其他机器学习方法，并且第一个实现超人视觉模式识别，从此赢得广泛关注。文献参考：Deeplearninginneuralnetworks:Anoverview3.深度学习（DL）BP神经网络（BPNNs）网络存在的主要问题：1.一般要得到较好的训练效果，隐层数目不能太少，当图片大的时候，需要的权值会非常多；2.对平移、尺度变化敏感（比如数字偏左上角，右下角时即识别失败）；3.图片在相邻区域是相关的，而这种网络只是一股脑把所有像素扔进去，没有考虑图片相关性。4.深度学习（DL）

最早的DL：前馈神经网络feedforward(acyclic)NNs(FNNs)和周期神经网络

recurrent(cyclic)NNs(RNNs)；目前应用较普遍的是深度置信网络(deepbeliefnetwork,DBN)和卷积神经网络（CNN），DBN网络可以看作是由多个受限玻尔兹曼机叠加而成，CNN通过localreceptivefields（感受野），sharedweights（共享权值），subsampling（下采样）概念来解决BP网络的三个问题。5.深度学习（DL）1深度学习介绍1DL历程2BP缺点2CNN应用1手写字体识别2语音识别3CNN原理卷积池化反向传输6.手写字体识别由手写字体组成图像样本经典数据库：mnist，共60000训练样本，10000个预测样本；训练样本维度：28*28*60000训练标签维度：10*60000图例：CNN经典程序下载:https:///rasmusbergpalm/DeepLearnToolbox7.语音识别参考：《基于深度学习的语音识别应用研究_张建华》该文献通过深度神经网络提取语音特征的方法、深度神经网络提取声韵母属性的方法、深度学习搭建声学模型的方法对比；一般的语音识别多提取每帧长25ms、帧移10ms的语音对应的MFCC特征,该文提取使用fBank特征。8.CNNCNN结构图：9.CNN在Toolbox的实现中，C1共有6个卷积核，则卷积结果6个特征map;卷积层的一个map与上层的所有map都关联，如上图的S2和C3，即C3共有6*12个卷积核，C1有156个可训练参数（每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器，共(5*5+1)*6=156个参数）。最后一层将4*4的map平铺成一条特征数组，用于训练。输入图像：28*28卷积层：均为5*5采样核大小：均为2*2。10.卷积层卷积层的每一个特征map是不同的卷积核在前一层所有map上作卷积并将对应元素累加后加一个偏置，再求sigmod得到的。假设上一层的map大小是n*n、卷积核的大小是k*k，则该层的map大小是(n-k+1)*(n-k+1)，比如上图的24*24的map大小24=（28-5+1）。参见网址：http:///lu597203933/article/details/4657587111.采样层是对上一层map的一个采样处理，相当于对上一层map的相邻小区域进行聚合统计，区域大小为scale*scale，有些是取小区域的最大值，而ToolBox里面的实现是采用2*2小区域的均值。CNNToolBox里面也是用卷积来实现采样的，卷积核是2*2，每个元素都是1/4。池化层12.反向传输反向传输过程是CNN最复杂的地方，虽然从宏观上来