深度学习发展史

深度学习发展史近几年深度学习发展迅猛，更是由于前段时间的AlphaGo而轰动一时，国内开始迎来这一技术的研究热潮。极验也算是国内研究深度学习比较早的公司，那这么火的深度学习到底是经历了一段怎样的发展过程呢？今天小编就来给大家扒一扒深度学习的发展史。1943年卜神经科学家麦卡洛克(卜神经科学家麦卡洛克(W.S.McCulloch)和数学家皮兹(W.Pitts)建立了神经网络和数学模型，称为MP模型。所谓M-P模型，其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型，人工神经网络的大门由此开启。1949年加拿大著名心理学家唐纳德•赫布提出了Hebb学习规则，这是一

种无监督的学习规则，网络模型根据大量的训练样本提取相应的统计特征，从而按照样本的相似程度进行分类，这和我们人类认知事物很相似。Hebb学习规则表明了网络是可以学习的，这启发了后面一系列关于神经网络的研究工作。1958年计算机科学家罗森布拉特(Rosenblatt)提出了两层神经元组成的神经网络，称之为“感知器”。感知器可以说是最早的人工神经网络，也算是具有学习功能M-P模型，这种学习功能表现为神经元连接权值可以被调节。两层神经网络的提出引起了科学界对于神经网络的研究热潮，整个1958年~1969年期间，有许多科学家和学者都投入到了两层神经网络的研究。但是由于当时的计算水平相对落后，两层的神经网络的计算也显得很吃力。1969年马文.明斯基(MarvinMinsky)就证明了感知器的致命弱点，感知器并不能够解决异或问题，并且指出两层神经网络的计算相当复杂，解决是几乎不可能的。马文.明斯基（MarvinMinsky）在人工智能研究方面的权威性还是相当高的，他是第一个图灵奖的获得者，由于他这样的悲观态度导致了神经网络的研究一下子冷却下来，进入了10年的冰河时期。1986年Rumelhar和Hinton提出了反向传播算法（英：Backpropagationalgorithm，简称：BP算法）是一种监督学习算法，解决了两层神经网络计算的复杂性。到这里不得不说一下，深度学习之父杰弗里•辛顿（GeoffreyHinton）,在计算条件不发达以及数据水平也不够的条件下，很多人都放弃了对神经网络的研究，而是想跳过大脑直接从行为上进行人工智能的研究。能够坚持对神经网络研究的人很少，辛顿就是其中一人。反向传播算法的提出，引起了人工神经领域的研究热潮。90年代中期机器学习领域内，支持向量机算法诞生（SVM算法），这也是一种有监督的学习模型，应用于模式识别，分类以及回归分析等。支持向量机以统计学为基础，和神经网络有明显的差异，支持向量机算法的提出再次将大家的研究方向带离了神经网络。2006年GeofferyHinton一直专注于神经网络研究的领域，他提出了深度学习（多层神经网络），并且带领着他的深度学习小组在2012年的ImageNet竞赛中一举夺冠，秒杀了很多当时参赛的大公司。这个时候，深度学习已经开始在语音识别，图像识别以及自动驾驶方面发力，引起了全世界巨头公司的关注GeofferyHinton和第一次将BP算法用在CNN上并成功应用到手写数字识别任务上的YannLecun以及开创了神经网络做语言模型先河的Bengio算是目前深度学习中世界顶尖级的三大领军人物。Hinton在Google工作，YannLecun则去了Facebook,Bengio则一直活跃在学术界。

GeoffreyHintonYannLecunBengioEHGoogle是2011年开始的大脑计划，到目前已经有很多让大家惊叹的成果，包括无人驾驶和AlphaGo。而国内的深度学习研究则相对要落后一些，百度在2013年成立了深度学习研究院，开始发力。EH域，并且现在已经将比较成