深度卷积神经网络课件

目录神经网络简要介绍冫经典深度神经网络模型·LeNetAlexNet·VGGNetNetworkinNetwork(MIN)GoogLeNet·ResNet深度学习框架及实例深度学习在计算机视觉中的应用目录神经网络简要介绍产经典深度神经网络模型AlexNetVGGNetNetworkinNetwork(MINResNet深度学习框架简介在计算机视觉中的应用神经网络简要介绍多层神经网路第一次兴起(1958年)神经网络兴衰史知机,由于没有引入不能求解异或问题。单己经网络第二次兴起(1986年):将BP(BackPropagation)算法用于AN的训练过程第三次兴起(2012年):深度卷积神经网络的兴起直到现在定BP算法:信号的正向传播和误差的反向传播。深度卷积神经网络介绍机器学习机器学习,神经网络,神经网络深度学习之间的关系深度学习CNN/RNN人工神经网络发展历程第二次高潮:第三次浪潮GE.Hintonr第次高潮:1SVYlecur萌芽期ibOostingAndrewSchapire95Robfergus1940s196s1980s200s模型感知器模型|Hopfield网络深度网络阈值加和自适应Boltzman机DBN模型线性单元BP算法Heb学习LeCun98DeepCNn规则RNN低谷人工神经网络发展历程DeepLearning,Science2006(vol.313,pp504-507)ReducingtheDimensionalityofDatawithNeuralNetworksGE.Hinton'andR.R.Salakhutdinoy两个重要的信息1.具有多个隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类2.深度神经网络在训练上的难度,可以通过“逐层初始化”Layer-wisePre-training))来有效克服Neuralnetworksarecomingback!人工神经网络发展历程在语音识别取得重大突破2011年以来,错误率降低20-30%!2012年11月,微软在天津的一次活动上公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译,以及中文语音合成,效果非常流畅。人工神经网络发展历程ooglebraini项目(纽约时报2012年6月报道)Diagona:水吴恩达2011年开始,GoogleBrain项目采用1500CPUCorep的并行计算平台训练“深层神经网络”,在图像识别等领域获取巨大成功!人工神经网络发展历程AlphabetAlphaGoMaster90柯洁A0elo100:0战胜Lee版本,89:11战胜Master版本harAn2017年12017年10AlphaGoLee64李世石AlphaZero:最大特点是无需人类棋谱,仅利用围棋规AlphaGoFan5:0樊麾人工神经网络发展历程flickrEiteramazon发展基础:BE'FILI3)bayou√数据爆炸:图像数据、文本数据、语音数REUTERS9据、社交网络数据、科学计算等A√计算性能大幅提高为什么有效浅层神经网络可以近似任意函数,为何多层?√深层网络结构中,高层可以综合应用低层信息√低