人工神经网络-深度学习54张课件

人工神经网络及其应用第七讲深度学习主讲人:方涛人工神经网络及其应用1第七讲深度学习主讲内容§7.1研究背景§7.2从BP网络看深度学习§7.3几种典型的深度学习模型§7.4开源深度学习框架§7.5深度学习的未来第七讲深度学习2571研究背景2019年--人工智能(AI)莫基60周年约翰·麦卡锡(1927-201)sP之父一不走寻常路的常识逻辑学家1956年,约翰麦卡锡召集了一次会议来讨论人工智能末来的发展方向,开启了A的发展21世纪初,深度学习”的出现,A研究获得了长足的进步没有大数据,没有“大计算”,就没有人工智能的今天!571研究背景3571研究背景MarvinMinsky人工智能之父和框架理论的创立者MITALLab创始人之1970年获得图灵奖美国工程院和美国科学院院士1969:Perceptron(感知器)--神经网络的局限性(深度学习的前身在近60年的人工智能历史中,马文明斯基一直是一位闪耀着耀眼光彩的杰出的人工智能权威,是当之无愧的人工智能」父。(李德毅院士)1927-2019明斯基在1950年进入普林斯顿大学攻读数学系的博士硏究生学位,比我晚一年。我们很快意识到,我们两人都对人王智能很感兴趣。事实上,当时明斯基已经对如何实现人工智能颇有想法了,这一点在之后他设计和建造的世界上第一个神经网络模拟器Snare上得到了证实JohnMcCarthy人工智能先驱,LISP语言之父,图灵奖获得者)571研究背景457I研究背景2019年阿尔法狗(AlphaGo)4:1大胜围棋9段李世石高手,AI重大历史时刻主要设计者--位于伦敦Google旗下DeepMind公司大卫·席尔瓦(DavidSilver)-剑桥大学计算:机科学学士,顾士,加拿大间尔伯塔大学计算机科「学博士黄士杰(Aiahuang),台澚交通大学计算机科学学一士,台湾师范大学计算机科学硕士和博士,加拿大可尔伯塔大学计算机科学博士后“监督学习的策略网络(PolicyNetwork)通过13层全连接网络,反复训练围棋棋盘布局,调整参数,以最佳概率预测落子选择(Movepicker),如何下棋子“价值网络(Valuenetwork)给定棋子位置,预测每一个棋手赢棋的可能,就是计算局面57I研究背景557I研究背景专注于神经网络几十年1985年,提出Boltzmann机1986年,提出受限Bo|tzmann机、BP算法2019年,提出神经网络进行降维开启了深度学习时代,并在随后的mageNet图片识别的比赛,取得了非常有说服力的结果一Geoffrey-.Hinton(74%->85%),震撼了学术界加拿大多伦多大学教授QHinton,Gandsalakhutdinov,R(2019).Reducingthedimensionalityofdatawithneuralnetworks.Science,3B3(9Hinton,G.E(2019).TrainingproductsofexpertsbyminimizingcontrastivedivergenceNeuralComp.,14(8):1771-1800QHinton,G.E,Dayan,P,Frey,B.J.,andNeal,R.M.(2019).Thewake-sleep._algorithmforunsupervisedneural-networks.Science,268:1158-1160QHinton,G.EandSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDistributedProcessing,volumeI,pages282-317.MITPressoRumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-53657I研究背景657I研究背景2019年6月,《纽约时报》披露了AndrewnGooglebrain.项目斯坦福大学教授用16000个CPUCorel的并行计算平台训练一种称为“深度大规模计算机系统方神经网络”(DNN,DeepNeuralNetworks)的机器学面的世界顶尖专家习模型(内部共有10亿个节点)-effDean在语音识别和图像识别等领获得了巨大的成功57I研究背景757I研究背景2019年11月,微软公开演示全自动同声传译系统深度学习讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成,效果非常流畅—一57I研究背景857I研究背景百度2019年1月,百度创始人兼CEO李彦宏高调宣布成立“深度学习研究所(IDL,InstitueofDeepLearning57I研究背景957I研究背景机器学习解决目标识别与分类问题的思路Low-levelPre-Featureterencesensingprocessingextract.-FeatureselectionEpredictionrecognition三个主要组成部分FeatureLearningRepresentationalgorithmInputE.g,SIFT,HoG,etc.中间的特征提取部分将很大程度上决定最终的效果,如何提取特征?“巧妇难为无米之炊57I研究背景10人工神经网络-深度学习54张课件11人工神经网络-深度学习54张课件12人工神经网络-深度学习54张课件13人工神经网络-深度学习54张课件14人工神经网络-深度学习54张课件15人工神经网络-深度学习54张课件16人工神经网络-深度学习54张课件17人工神经网络-深度学习54张课件18人工神经网络-深度学习54张课件19人工神经网络-深度学习54张课件20人工神经网络-深度学习54张课件21人工神经网络-深度学习54张课件22人工神经网络-深度学习54张课件23人工神经网络-深度学习54张课件24人工神经网络-深度学习54张课件25人工神经网络-深度学习54张课件26人工神经网络-深度学习54张课件27人工神经网络-深度学习54张课件28人工神经网络-深度学习54张课件29人工神经网络-深度学习54张课件30人工神经网络-深度学习54张课件31人工神经网络-深度学习54张课件32人工神经网络-深度学习54张课件33人工神经网络-深度学习54张课件34人工神经网络-深度学习54张课件35人工神经网络-深度学习54张课件36人工神经网络-深度学习54张课件37人工神经网络-深度学习54张课件38人工神经网络-深度学习54张课件39人工神经网络-深度学习54张课件40人工神经网络-深度学习54张课件41人工神经网络-深度学习54张课件42人工神经网络-深度学习54张课件43人工神经网络-深度学习54张课件44人工神经网络-深度学习54张课件45人工神经网络-深度学习