第二章 神经网络基础课件

第二章神经网络基础

本章简单地介绍生物神经元、神经元模型、人工神经网络模型及其学习算法。第二章神经网络基础第二章神经网络基础§2.1生物神经元模型§2.2人工神经元模型§2.3网络拓扑结构类型§2.4人工神经网络模型§2.5神经网络的学习§2.6小结2第二章神经网络基础§2.1生物神经元模型神经元是脑组织的基本单元，是神经系统结构与功能的单元。据统计大脑大约包含个神经元，每个神经元于大约个其他的神经元相连接，构成一个极为庞大而复杂的网络，即生物神经元网络。生物神经元网络中各神经元之间连接的强弱，按照外部的刺激信号做自适应变化，而每个神经元又随着所接受的的多个激励信号的综合结果呈现出兴奋与抑制状态。大脑的学习过程就是神经元之间连接强度随外部刺激信息做自适应变化的过程，大脑处理星系的结果有个圣经元状态的整体效果确定。3第二章神经网络基础生物神经元基本结构细胞体（Cellbody）树突(Dendrite)轴突（Axon）突触（Synapse）每一个神经元都通过突触与其他神经元联系，突触的“连接强度”可随系统受到训练的强度而改变。生物神经元结构4第二章神经网络基础生物神经元功能兴奋与抑制传入神经元的冲动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。传入神经元的冲动经整和后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。学习与遗忘由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此神经元具有学习和遗忘的功能。

返回5第二章神经网络基础§2.2人工神经元模型人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反应人脑某些特性的计算结构。它不是人脑神经系统的真实描写，只是特的某种抽象、简化和模拟。人工神经元是对生物圣经元的一种形式化描述，他对生物神经元的信息处理过程进行抽象，应用数序语言予以描述，对生物神经元的结构与功能进行模拟，并用模型图予以表达。6第二章神经网络基础1943年，McCulloch-Pitts(麦克洛奇－皮兹)根据生物神经元的动作原理提出了神经元模型，即M-P模型，经过不断改进，形成目前广泛应用的形式神经元模型。对于神经元的处理机制，该模型在简化的基础上提出以下6点假设进行描述：1.每个神经元都是一个多输入单输出的信息处理单元2.突触分兴奋性和抑制性两种类型3.神经元具有空间整合特性和阈值特性4.神经元输入与输出间有固定的时滞，主要取决于突触的延迟5.忽略时间整合作用和不应期6.神经元本身是非时变的，即其突触时延和突触强度均为常数7第二章神经网络基础人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。下图显示了一种简化的人工神经元结构。它是一个多输入、单输出的非线性元件。人工神经元结构模型8第二章神经网络基础人工神经元输入输出关系可描述为其中xj(j=1,2,…,n)是从其它神经元传来的输入信号

wji表示从神经元j到神经元i的连接权值

θi

为阈值

f(·)称为激发函数或作用函数(2-1)

有时为了方便起见，常把看成是恒等于1的输入x0的权值，这时式(2-1)的和式可写成9第二章神经网络基础输出激发函数f(·)又称为变换函数，它决定神经元(节点)的输出。该输出为1或0，取决于其输入之和大于或小于内部阈值。函数一般具有非线性特征。下面几个图表示了几种常见的激发函数。

(1)阈值函数(见图(a),(b))

当yi取0或1时，f(x)为图(a)所示的阶跃函数：10第二章神经网络基础当yi取-1或1时，f(x)为图(b)所示的sgn函数：

(2)饱和型函数(见图(c))

11第二章神经网络基础(4)双曲函数(见图(d))(5)S型函数(见图(e))

神经元的状态与输入作用之间的关系是在(0,1)内连续取值的单调可微函数，称为Sigmoid函数，简称S型函数。当趋于无穷时，S型曲线趋于阶跃函数，通常情况下，取值为1。12第二章神经网络基础(6)高斯型函数(见图(f))

在径向基函数构成的神经网络中，神经元的结构可用高斯函数描述如下：

返回13第二章神经网络基础§2.3网络拓扑结构类型层次型结构互联型结构网络的学习算法将在今后的小节中介绍。14第二章神经网络基础神经网络的连接模式层内连接本层内部神经元之间的连接，可用来加强层内神经元之间的竞争。循环连接指神经元到自身的连接。用于不断增强自身的激活值，使本次的输出与上次的输出相关。层间连接指不同层之间的连接。这种连接用来实现信号传递。可以是前向的也可以是反向的。

返回15第二章神经网络基础§2.4人工神经网络模型人工神经网络是以工程技术手段来模拟人脑神经网络的结构与特征的系统。利用人工神经元，可以构成各种不同拓扑结构的神经网络。就神经网络的主要连接形式而言，目前已有数十种不同的神经网络模型，其中前馈网络和反馈网络是两种典型的结构模型。16第二章神经网络基础(1)前馈神经网络前馈神经网络，又称前向网络。如下图所示，神经元分层排列，有输入层、隐层(亦称中间层，可有若干层)和输出层，每一层的神经元只接受前一层神经元的输入。17第二章神经网络基础目前，大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、误差反向传播(BP)网络等。18第二章神经网络基础

(2)反馈型神经网络反馈神经网络的结构如图所示。若总节点（神经元）数为N，则每个节点有N个输入和一个输出，即所有节点都是一样的，它们之间都可相互连接。19第二章神经网络基础

Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能，如果将Lyapunov函数定义为寻优函数，Hopfield神经网络还可以用来解决快速寻优问题。

返回20第二章神经网络基础§2.5神经网络的学习人工神经网络最有吸引力的特点就是它的学习能力。学习方法是体现人工神经网络智能特征的主要指标，离开了学习算法，人工神经网络就失去了自适应、自组织和自学习的能力。人工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将由样本向量构成的样本集合输入到人工神经网路的过程中，按照一定方式去调整神经元之间的连接权。使网络能将样本集的内涵以连接权矩阵的方式存储起来，从而使网络在数据输入时可以给出适当的输出。21第二章神经网络基础目前神经网络的学习方法有多种，按有无教师信号来分类，可分为有教师学习、无教师学习和再励学习等几大类。在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方式。22第二章神经网络基础有教师学习有教师学习，也称有监督学习，假设教师和神经网络同时要对从周围环境中抽取出来的训练向量（即例子）做出判断，教师可以根据自身掌握的一些知识为神经网络提供期望响应。期望响应一般都代表着神经网络完成的最优动作。神经网络的参数可以在训练向量和误差信号的综合影响下进行调整。误差信号可以定义为神经网络实际响应与预期响应之差。这种调整可以逐步而又反复地进行，其最终目的就是要让神经网络模拟教师信号。23第二章神经网络基础有教师学习24第二章神经网络基础利用这种手段，教师对环境掌握的知识就可以通过训练最大限度的传授给神经网络。当条件成熟时，就可以将教师信号排除在外，让网络完全自主地应对环境。可以采用训练样本的平方误差作为性能测试标准，它可以定义为系统的一个带自由参数的函数，该函数可以看作一个多维误差-性能曲面，简称误差曲面。后面将要讨论的Delta学习算法属于有教师学习。它是一种闭环反馈系统，但未知的环境不包含在循环中。25第二章神经网络基础实际误差曲面是所有可能的输入输出的平均。有教师学习系统能够处理有用信息，根据系统当前的行为计算出误差曲面的梯度。误差曲面上任何一点的梯度指的是指向最速下降方向的向量。给定一个设计好的算法来使代价函数最小，而且有足够的输入-输出数据集，那么有教师学习往往可以很好地完成诸如模式分类、函数逼近等任务。

26第二章神经网络基础无教师学习在无教师学习范例中，没有教师监视学习过程，即神经网络没有任何例子可以学习。无教师学习又可分为两类：自组织学习无监督竞争学习27第二章神经网络基础无教师学习28第二章神经网络基础(1)自组织学习即网络的学习过程完全是一种自我学习的过程，不存在外部教师的示教，也不存在来自外部环境的反馈指示网络应该输出什么或者是否正确。自组织学习过程中，网络根据某种规则反复地调整连接权以响应输入模式的激励，直到网络最后形成某种有序状态。也就是说，自组织学习是靠神经元本身对输入模式的不断适应，抽取输入信号的规律(如统计规律)。一旦网络显现出输入数据的统计特征，则网络就实现了对输入特征的编码，即把输入特征“记忆”下来。而且在记忆之后，当它再出现时，能把它识别出来。29第二章神经网络基础

自组织学习能对网络的学习过程进行度量，并优化其中的自由参数。可以认为，这种学习的评价准则隐含于网络内部。神经网络的这种自组织特性来源于其结构的可塑性。(1)自组织学习30第二章神经网络基础(2)无监督竞争学习在无监督竞争学习系统中，没有外部的教师或则评价来监督学习的过程。要求网络学习该度量而且自由参数将根据这个度量来逐步优化。为了完成无监督竞争学习规则，神经网络包括两层：输入层和竞争层。输入层接受有用的数据。竞争层由相互竞争的神经元组成，采用“胜者全得”的策略，具有最大总输入的神经元的输出置1，赢得竞争而被激活，其它神经元置0，连接权的调整仅在获胜神经元与输入之间进行，其他皆不变。31第二章神经网络基础再励学习把学习看作试探评价（奖或惩）过程，学习机选择一个动作（输出）作用于环境之后，使环境的状态改变，并产生一个再励信号（奖或惩）反馈至学习机。学习机依据再励信号与环境当前的状态选择下一动作作用于环境，选择的原则是使受到奖励的可能性增大。32第二章神经网络基础常用学习规则Hebb规则Delta规则（最小均方差规则）概率式学习规则竞争式学习规则梯度下降规则Kohonen(克豪南)学习规则逆误差传播规则33第二章神经网络基础(1)Hebb学习规则Hebb学习规则是一种联想式学习方法1949年生物学家D.O.Hebbian基于对生物学和心理学的研究，提出了学习行为的突触联系和神经群理论。认为突触前与突触后二者同时兴奋，即两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则Hebb学习规则是一种无教师的学习算法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习34第二章神经网络基础Hebb学习规则权向量的调整公式为权值的调整量与输入输出的乘积成正比。经常出现的模式对权向量有最大的影响。为此，Hebb学习规则需预先设定权饱和值，以防止输入和输出正负始终一致时出现权值无限制增长。学习信号简单的等于神经元的输出35第二章神经网络基础Hebb学习过程框图36第二章神经网络基础(2)Delta规则（最小均方差规则）由美国Standford大学的Windrow教授于60年代提出常用的规则之一改变单元间的连接权重来减小系统实际输出与期望输出之间的误差，也称为最小方差规则适用于自适应信号处理、非线性系统控制、线性系统辨识等37第二章神经网络基础其中，dp代表期望的输出(教师信号)yp=f(WXp)网络的实际输出

W是网络的所有权值组成的向量：假设误差准则函数为：Xp为输入模式：训练样本数38第二章神经网络基础现在的问题是如何调整权值W

，使准则函数最小。可用梯度下降法来求解，其基本思想是沿着E的负梯度方向不断修正W值，直到E达到最小，这种方法的数学表达式为其中39第二章神经网络基础用表示,则有W的修正规则为上式称为学习规则，又称误差修正规则。40第二章神经网络基础定义误差传播函数为

规则实现了E中的梯度下降，因此使误差函数达到最小值。但学习规则只适用于线性可分函数，无法用于多层网络。误差反向传播(BackPropagation,简写为BP)

网络的学习算法称为BP算法，是在规则基础上发展起来的，可在多层网络上有效地学习。41第二章神经网络基础概率式学习的典型代表是Boltzmann机学习规则。它是基于模拟退火的统计优化方法，因此又称模拟退火算法Boltzmann机模型是一个包括输入、输出和隐层的多层网络，但隐层间存在互联结构且网络层次不明显由于模拟退火过程要求高温使系统达到平衡状态，而冷却（即退火）过程又必须缓慢地进行，否则容易造成局部最小，所以这种学习规律的算法收敛速度较慢。(3)概率式学习规则42第二章神经网络基础

Boltzmann机的训练过程，就是根据规则：对神经元i，j

间的连接权值进行调整的过程。式中，为学习速率

pij表示网络受到学习样本的约束且系统达到平衡状态时第i个和第j个神经元同时为1的概率表示系统为自由运转状态且达到平衡状态时第i个和第j个神经元同时为1的概率43第二章神经网络基础调整权值的原则是：当时，则权值增加，否则减少权值。这种权值调整公式称为Boltzmann机学习规则，即

当小于一定值时，学习结束。44第二章神经网络基础竞争学习属于无教师学习方式。这种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。在这种联接机制中引入竞争机制的学习方式称为竞争式学习。它的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别。(4)竞争式学习规则45第二章神经网络基础竞争式学习的思想来源于人脑的自组织能力。大脑能够及时地调整自身结构，自动地向环境学习，完成所需执行的功能而并不需要教师训练。竞争式神经网络亦是如此，所以又把这一