人工智能基础-第四章-人工神经网络与深度学习

第四章

人工神经网络与深度学习YOURcompany4.1神经网络的发展概括4.2神经元4.3人工神经网络目录案例导读4.4深度学习

案例导读案例一：苹果解密：如何在手机上用深度神经网络进行人脸识别

苹果首次将深度学习应用于人脸识别是在iOS10上，并且苹果首次公开发布人脸检测API，这个API也用在“照片”等苹果的App中，开发者现在可以在App中将该技术与其他很多计算机视觉算法进行整合。当下典型的高端智能手机并不是运行深度学习视觉模型的一个可行平台。业界的绝大多数解决方案是深度学习云端API，在这些方案中，图像被发送到云端的服务器，并借助深度学习推理完成人脸的分析和检测。云服务通常使用内存巨大的桌面级GPU。非常大型的模型及其集成能够运行在云服务器端，从而客户端（移动手机）也具备了在本地端不可能实现的深度学习能力。案例导读案例二：深度神经网络的应用：帮助人们更好地识别声音

对于一些听力有障碍的人来说，在一些嘈杂的环境下很难分辨声音。新的深度神经网络技术有助于提升助听器的收听效果，它能够在未知的环境下让助听器展现出其作用，目前该算法的适用性要比我们目前看到的技术强很多，可以解决日常生活中复杂的声音环境。这种算法成功的关键在于它能够从数据中学习，然后构建能够代表复杂聆听情景的强大统计模型。目前该项目已经处理了两个不同的倾听场景。内置的算法帮助助听器来降低噪音，研究人员称这个算法的方法为“深度学习”，属于机器学习类别，更具体的说，这是一种深度神经网络技术，通过它来在现实生活中遇到的信号进行训练并反馈给相应的机器。案例导读案例三：奥迪：自动驾驶的成功关键是深度学习

德国奥迪于2015年1月，利用以“A7”为原型的试制车开展验证试验，从硅谷自动驾驶至拉斯维加斯。该公司表示，在此次自动驾驶实证实验中，利用深度学习技术的形状识别能力十分有效。汽车要想自动驾驶，就必须具备与人类一样的形状识别能力，从而掌握周围的情况。汽车通过深度学习提高形状识别能力的处理过程与孩童的学习相似。婴儿通过身边的人经常传授来学习其感知到的物体的颜色、形状及名称等。作为物体边缘的脊线对于识别物体的不同形状以及具有意义的形状是十分重要的。比如，消防车虽然采用红色的特定形状，但婴儿不会感觉出卡车与消防车有什么区别。而进入幼儿期后，随着对卡车种类的学习，孩子就能区别这些车辆了。案例导读案例四：计算机视觉与医疗领域

深度学习在计算机视觉领域（CV）的成就是令人惊喜的！CV主要研究图像和视频理解，处理目标分类、检测和分割等任务，这些在判断病人射线照片中是否包含恶性肿瘤时非常有用。卷积神经网络（CNN）用来处理具备空间不变性的数据，也因此成为该领域的重要技术。深度学习方法在大量诊断任务上取代了医生级别的准确率，包括识别黑痣和黑色素瘤，从眼底图像和光学相干断层扫描(OCT)图像中检测糖尿病性视网膜病变、判断心血管风险，提供转诊建议，以及从乳房X光片中检测乳腺病变、使用核磁共振成像进行脊柱分析。甚至有研究证明单个深度学习模型在多个医疗模态中都很有效（如放射科和眼科）。4.1神经网络的发展概况从层次增加看神经网络的发展简史

从20世纪40年代的MP神经元和Hebb学习规则，到20世纪50年代的感知机(Perceptron)兴起，比如HodykinHuxley方程感知器模型与自适应滤波器，再到20世纪60年代，由于各种预言的失败，研究经费被大量削减甚至取消，人工智能进入被称为“AIWinter”的人工智能之冬。直到20世纪80年代，Hopfield神经网络、Kohonen神经网络等的出现，特别是BP网络及算法的提出，将神经网络推向第二次发展高潮。在此之后，支持向量机SVM的应用、双路径网络DPN的设计，特别是借助现代计算机计算能力的提升，卷积神经网络CNN将神经网络推向第三次发展高潮。2020年又会是新的冰河期么？4.2神经元生物神经元结构

神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度时释放出化学递质，作用于下一级神经元的树突，树突受到递质作用后产生出电信号，从而实现了神经元间的信息传递。一个神经元可以通过轴突作用于成千上万的神经元，也可以通过树突从成千上万的神经元接受信息。4.3人工神经网络人工神经网络是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。神经元模型的三要素为：(1)突触或联接，一般用表示神经元和神经元之间的联接强度，常称之为权值。(2)反映生物神经元时空整合功能的输入信号累加器。(3)一个激活函数用于限制神经元输出，可以是阶梯函数、线性或者是指数形式的函数（Sigmoid函数）等。

为输入信号，对应于生物神经元的树突输入，其他神经元的轴突输出；为神经元的内部状态；为阀值；为神经元和神经元的连接权值，其正负分别表示兴奋和抑制；为激活函数，也称变换函数或传递函数；为输出。4.3人工神经网络具有联想存储功能具有自组织自学习能力信息处理和信息存储的集成并行分布处理非线性映射.软件硬件的实现人工神经网络的基本特征4.3人工神经网络典型的人工神经网络模型 --反向传播（BP）神经网络

BP(backpropagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络。BP网络主要用于以下四个方面。1)函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。2)模式识别：用一个待定的输出向量将它与输入向量联系起来。3)分类：把输入向量所定义的合适方式进行分类。4)数据压缩：减少输出向量维数以便于传输或存储。4.3人工神经网络典型的人工神经网络模型 --Hopfield神经网络

和BP同一时期的另外一个神经网络也很重要，那就Hopfield神经网络，他是反馈式类型。这个网络比BP出现的还早一点，他的学习规则是基于灌输式学习，即网络的权值不是通过训练出来的，而是按照一定规则计算出来的，Hopfield神经网络就是采用了这种学习方式，其权值一旦确定就不在改变，而网络中各神经元的状态在运行过程中不断更新，网络演变到稳定时各神经元的状态便是问题之解。联想记忆功能是离散Hopfield网络的一个重要应用范围。

Hopfield网络具有最优计算功能，然而网络只能严格按照能量函数递减方式演化，很难避免伪状态的出现，且权值容易陷入局部极小值，无法收敛于全局最优解。4.3人工神经网络典型的人工神经网络模型 --随机神经网络

典型的随机神经网络有：模拟退火(SimulatedAnnealing)与玻尔兹曼机(BoltzmannMachine)。模拟退火算法是随机网络中解决能量局部极小问题的一个有效方法，其基本思想是模拟金属退火过程，金属退火过程大致是，先将物体加热至高温，使其原子处于高速运动状态，此时物体具有较高的内能；然后，缓慢降温，随着温度的下降，原子运动速度减慢，内能下降；最后，整个物体达到内能最低的状态。G.E.Hinton等于1983~1986年提出一种称为Boltzmann机的随机神经网络。在这种网络中神经元只有两种输出状态，即单极性二进制的0或1。状态的取值根据概率统计法则决定，由于这种概率统计法则的表达形式与著名统计力学家Boltzmann提出的Boltzmann分布类似，故将这种网络取名BoltzmannMachine(BM).

4.4深度学习深度学习的定义

深度学习的概念并不新鲜，它已经存在好几年了。深度学习的定义：深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习可以理解为“深度”和“学习”这两个名词的组合。“深度”体现在神经网络的层数上，一般来说，神经网络的层数越多，也就是越深，则学习效果越好；“学习”体现为神经网络可以通过不断地灌溉数据来自动校正权重偏置等参数，以拟合更好的学习效果。4.4深度学习深度学习之卷积神经网络

这几年深度学习快速发展，在图像识别、语音识别、物体识别等各种场景上取得了巨大的成功，例如AlphaGo击败世界围棋冠军，iPhoneX内置了人脸识别解锁功能等等，很多AI产品在世界上引起了很大的轰动。在这场深度学习革命中，卷积神经网络（ConvolutionalNeuralNetworks，简称CNN）是推动这一切爆发的主力，在目前人工智能的发展中有着非常重要的地位。

卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括输入层、卷积层、池化层、全连接层及输出层。4.4深度学习深度学习的应用给黑白照片自动上色

为黑白照片添加颜色又叫做图像着色。很久以来，这项工作都是由人工完成，是一项颇为艰巨的任务。现在人们可以用深度学习技术利用物体及它们在照片里的环境来给图像着色，与人工完成的效果几无差别。4.4深度学习深度学习的应用自动机器翻译

这种应用也就是能把一种语言的词汇、短语和句子自动翻译成另一种语言。其实这种自动机器翻译技术很久前就应用了，但是深度学习可以在如下两个细分方面达到登峰造极的成果：一是自动翻译文本；二是自动翻译图片。4.4深度学习深度学习的应用对照片中物体进行分类和检测

将照片中的物体进行分类，归为人们已知的物体。利用大型卷积神经网络在这方面已经取得