第3章-人工神经网路与深度学习

深度学习DEEPLEARNING第3章人工神经网路与深度学习3.1

探秘大脑的工作原理3.2人脑神经元模型3.3M-P模型3.4人脑神经网路的互联结构3.5人工神经网络的学习3.6人工神经网络的特点3.7神经网路基本概念与功能3.1探秘大脑的工作原理第三章人工神经网路与深度学习of3133.1.1人类活动抽象与深度学习模型人工神经元的数学模型、互联结构和学习规则（算法）是决定人工神经网络模型的信息处理性能的3个关键特性。人工神经元的结构与功能

人工神经元中的树突接收来自其他神经元的输入，轴突将神经元的输出传递给其他神经元，神经元之间通过突出互相连接。神经元对不同突触接收的输入信号进行整合，在一定条件下触发产生输出信号。人工神经元模型

人工神经元是对生物神经元结构和功能的模拟，一般是一个多输入单输出的非线性器件，其功能是：对输入信号进行处理以确定其强度（加权）；

确定所有输入信号的组合效果（求和）；

确定其输出（激活特性）3.1探秘大脑的工作原理第三章人工神经网路与深度学习of3143.1.1人类活动抽象与深度学习模型人工神经网络的互连结构

通过一定的规则将多个神经元连接成网络，才能实现对信息的处理和存储。根据人工神经网络中各个神经元是否按层次排列，同层神经元之间是否有相互连接，以及人工神经网络中是否存在反馈环路，通常可以将人工神经网络的互连结构分为无反馈的层内无互连层次结构、有反馈的层内无互连层次结构、无反馈的层内互连层次结构和有反馈的层内互连层次结构。人工神经网络的学习规则

只有具有学习能力，人工神经网络才具有智能特性。人工神经网络的学习过程实际上就是是对网络连接权值的调整过程。常见的人工神经网络学习方式可分为：有监督学习、无监督学习和强化学习（灌输式学习）。最早提出的人工神经网络学习规则的是Hebb学习规则。纠正学习规则、相关学习规则、随机学习规则、胜者为王学习规则等也是人工神经网络中常用学习规则。3.1探秘大脑的工作原理第三章人工神经网路与深度学习of3153.1.1人类活动抽象与深度学习模型深度学习算法人的活动过程模型人的活动过程伴随信息传递、知识处理和智能的行程过程，其信息传输模型如图所示3.1探秘大脑的工作原理第三章人工神经网路与深度学习of3163.1.1人类活动抽象与深度学习模型深度学习算法人的活动过程的信息模型人的活动过程伴随信息传递、知识处理和智能的行程过程，其信息传输模型如图所示3.1探秘大脑的工作原理第三章人工神经网路与深度学习of317神经网路没有一个严格的正式定义，它试图模仿大脑的神经元之间传递，处理信息的模式，特点有三个方面3.1探秘大脑的工作原理第三章人工神经网路与深度学习of3183.1.2人脑神经元的结构神经元的基本结构包括细胞体和凸起两部分。细胞体包括细胞核、细胞质、细胞膜。细胞膜内外点位差成为膜电位。神经元的凸起一般包括数条短而呈树状分支的树突和一条长而分支少的轴突。长的突起外表大都套有一层鞘，组成神经纤维，神经纤维末端的细小分支叫做神经末梢。神经纤维集结成束，外面包有膜，构成一条神经。1.1人工智能的思想、流派与发展起落第一章深度学习的来源与应用of3191树突是树状的神经纤维接收网络，是细胞的输入端，它将电信号传送到细胞体，细胞体对这些输入信号进行整合并进行阈值处理。2轴突是单根长纤维，它把细胞体的输出信号导向其它神经元，是细胞的输出端。3一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触，它是一个细胞的输出（轴突）与另一个细胞的输入（树突）的接口。生物神经元在结构上由四部分组成：细胞体（Cellbody）、树突（Dendrite）、轴突（Axon）、突触（Synapse）用来完成神经元间信息的接收、传递和处理。3.1探秘大脑的工作原理第三章人工神经网路与深度学习of31103.1.3人脑神经元功能在生物神经元中，树突作为输入端，轴突作为输出端，突触作为输出和输入的接口，细胞体称为一个微型信息处理器，能接收来自其它神经元的信号，进行组合后，通过膜电位的作用产生输出信号，并沿轴突传递至其它神经元。轴突：细胞的输出端树突：细胞的输入端突触：轴突与树突的接口3.1探秘大脑的工作原理第三章人工神经网路与深度学习of3111大脑神经细胞的工作流程3.1探秘大脑的工作原理第三章人工神经网路与深度学习of3112生物神经元的信息处理流程3.1探秘大脑的工作原理第三章人工神经网路与深度学习of31133.1.4人脑视觉机制视觉形成的过程视觉信息通过视觉细胞、双极细胞、水平细胞和神经节细胞，并经视神经以“串行”的信息模式传递至外侧膝状体进行解码成“点阵”形式再由视放射传递到初级视皮质不同功能区，最后向高级区域的相应分工区域传递，在不同皮质区整合以产生对视觉信息的完整认知。视觉的中枢通路与皮层定位人的视觉系统的信息处理是分级的。如下图，从低级1区提取边缘特征，再到2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。第3章人工神经网路与深度学习3.1

探秘大脑的工作原理3.2人脑神经元模型3.3M-P模型3.4人脑神经网路的互联结构3.5人工神经网络的学习3.6人工神经网络的特点3.7神经网路基本概念与功能3.2人脑神经元模型第三章人工神经网路与深度学习of31153.2.1人脑神经元模型人工神经元模型有以下三个基本要素连接加权求和单元激活函数神经元的数学模型3.2人脑神经元模型第三章人工神经网路与深度学习of31163.2.2激活函数常用激活函数主要有：线性函数、非线性函数（sigmoid型函数）、概率型函数第3章人工神经网路与深度学习3.1

探秘大脑的工作原理3.2人脑神经元模型3.3M-P模型3.4人脑神经网路的互联结构全国高校标准教材《云计算》姊妹篇，剖析深度学习核心技术和实战应用of3117习题3.5人工神经网络的学习3.6人工神经网络的特点3.7神经网路基本概念与功能3.8深度学习其它网络结构3.3

M-P模型第三章人工神经网路与深度学习of31183.3.1标准M-P模型M-P模型是一个非常简单的人工神经网络模型，并且在它被提出时，也并没有给出相应的学习算法来调整神经元之间的连接权值，因此不具备学习能力。但是在实际应用中可以根据需要采用一些常用的学习算法来调整神经元之间的连接权值，使其具备学习能力。3.3

M-P模型第三章人工神经网路与深度学习of31193.3.2改进的M-P模型标准M-P模型，没有考虑到神经元的突触延迟特性和突触传递的不应期以及生物神经元的事件整合特性，改进的M-P模型为：每个神经元都是一个多输入单输出的信息处理单元神经元输入分兴奋性输入和抑制性输入两种类型神经元具有空间整合特性和阈值特性神经元输入与输出间有固定的时滞，主要取决于突触延迟忽略时间整合作用和不应期神经元本身就是非时变的，即其突触时延和突触强度均为常数第3章人工神经网路与深度学习3.1

探秘大脑的工作原理3.2人脑神经元模型3.3M-P模型3.4人脑神经网路的互联结构3.5人工神经网络的学习3.6人工神经网络的特点3.7神经网路基本概念与功能3.4人脑神经网路的互联结构第三章人工神经网路与深度学习of31213.4.1前馈神经网络前馈神经网络（feedforwardneutralnetwork），简称前馈网络，是人工神经网络的一种。在此种神经网络中，各神经元从输入层开始，接收前一级输入，并输入到下一级，直至输出层。整个网络中无反馈，可以用一个有向无环图表示。特点：输入节点无计算能力，只是为了表征输入矢量各元素值；以后各层节点表示具有计算功能的神经元，称为计算单元。3.4人脑神经网路的互联结构第三章人工神经网路与深度学习of31223.4.2反馈网络反馈网络（feedbackneutralnetworks）中，输入信号决定反馈系统的初始状态，系统经过一些列状态转换以后，逐渐收敛于平衡状态，这一状态就是反馈神经网络计算后输出的结果。第3章人工神经网路与深度学习3.1

探秘大脑的工作原理3.2人脑神经元模型3.3M-P模型3.4人脑神经网路的互联结构of3123习题3.5人工神经网络的学习3.6人工神经网络的特点3.7神经网路基本概念与功能3.8深度学习其它网络结构3.5人工神经网络的学习第三章人工神经网路与深度学习of31243.5.1神经网络的学习方式人工神经网络的工作过程主要分为两个阶段第一阶段是学习期，对它进行训练，即让其学会它要做的事情，此时各个计算单元状态不变，学习过程就是各连接上的权值不断调整的过程。学习结束，网络连接权值调整完毕，学习的知识就分布记忆（存储）在网络中的各个连接上。第二阶段是工作期，此时各个连接权值固定，计算单元变化，以达到某种稳定状态3.5人工神经网络的学习第三章人工神经网路与深度学习of31253.5.1神经网络的学习方式第一阶段学习期连接权值调整过程3.5人工神经网络的学习第三章人工神经网路与深度学习of31263.5.1神经网络的学习方式神经网络的学习算法一般可分为有监督、无监督和强化学习三类有监督的学习有监督学习（有导师）算法要求同时给出输入和正确的输出。无监督学习无监督学习（无导师）算法只需给出一组输入，网络能够逐渐演变到对输入的某种模式做出特定的反映，也即事先不给定标准样本，直接将网络“置于”环境中，学习（训练）阶段与应用（工作）阶段为一体。强化学习强化学习（reinforcementlearning）介于上述两种情况之间，外部环境只给出评价（奖励或惩罚）而不是给出正确答案，学习系统通过强化哪些受奖励的动作来完善自身的性能。强化学习算法并不是训练于一个固定的数据集上，它会和环境进行交互，所以学习系统和它的训练过程会有反馈回路。3.5人工神经网络的学习第三章人工神经网路与深度学习of31273.5.1神经网络的学习方式有监督的学习3.5人工神经网络的学习第三章人工神经网路与深度学习of31283.5.1神经网络的学习方式无监督学习3.5人工神经网络的学习第三章人工神经网路与深度学习of31293.5.1神经网络的学习方式强化学习3.5人工神经网络的学习第三章人工神经网路与深度学习of31303.5.2神经网络的学习规则自联想器首先重复提供一系列的模式样本，并使网络记住这些样本，然后给网络提供学习样本的部分信息，或提供与原来样本类似的样本信息，其目的是要“找出”原来的样本。模式联想器给网络提供一系列的成对样本，网络学习可以记住样本对之间的对应关系，当提供样本对中的某一样本时，应能生成样本对中的另一样本。模式分类器把要输入的刺激样本划分到一个固定的聚类集合中，其学习的目的是能正确对输入的刺激进行分类，在使用时输入的刺激少许变形时，仍能将其划分到正确的类别中。正则探测器系统要通过学习找到这些大量输入的统计显著特征，与模式分类不同这里没有预先划分的模式聚类，系统必须找到输出模式的显著特征，以形成相应的聚类关系。3.5人工神经网络的学习第三章人工神经网路与深度学习of31313.5.3人工神经网络算法基本要求一个神经网络的学习算法，最基本的要求准确性自适应性收敛性与收敛速度必须规定是有监督的学习还是无监督的（自组织）学习可推广性第3章人工神经网路与深度学习3.1

探秘大脑的工作原理3.2人脑神经元模型3.3M-P模型3.4人脑神经网路的互联结构of3132习题3.5人工神经网络的学习3.6人工神经网络的特点3.7神经网路基本概念与功能3.8深度学习其它网络结构3.6人工神经网络的特点第三章人工神经网路与深度学习of3133神经网络模型用户模拟人脑神经元的活动过程，期中包括对信息的加工、处理、存储和搜索等过程。人工神经网络具有的基本特点：高度的并行性高度的非线性全局作用联想记忆功能和良好的容错性良好的自适应、自学习功能知识的分布存储非凸性神经网络损失函数具有非凸性3.6人工神经网络的特点第三章人工神经网路与深度学习of3134人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。人工神经网络在功能上具有智能特点：联想记忆分类与识别优化计算非线性映射第3章人工神经网路与深度学习3.1

探秘大脑的工作原理3.2人脑神经元模型3.3M-P模型3.4人脑神经网路的互联结构of3135习题3.5人工神经网络的学习3.6人工神经网络的特点3.7神经网路基本概念与功能3.8