人工神经网络讲稿

1、主要内容主要内容多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法人工神经元网络人工神经元网络神经元的数学模型神经元的数学模型 生物神经元生物神经元引言引言1、引言、引言工业革命以来，人类大量采用机器来减轻人们的体力工业革命以来，人类大量采用机器来减轻人们的体力劳动，并获得巨大效益。同样，人类为了通过使用某劳动，并获得巨大效益。同样，人类为了通过使用某种机器来减轻脑力劳动，也一直进行着不懈努力。种机器来减轻脑力劳动，也一直进行着不懈努力。20世纪世纪40年代，由于计算机的发明和使用，使人类的文明年代，由于计算机的发明和使用，使人类的文明进入计算机时代，在一定程度上减轻了人们的脑力劳动进入

2、计算机时代，在一定程度上减轻了人们的脑力劳动神经元网络作为人工智能的一个分支，在神经元网络作为人工智能的一个分支，在近几十年来，受到人们的广泛重视。近几十年来，受到人们的广泛重视。智能计算的核心问题是关于人脑功能的模拟问题。目前认为，人类智能计算的核心问题是关于人脑功能的模拟问题。目前认为，人类的大脑中的神经元对于人脑的智能起着关键的作用，这些神经元的的大脑中的神经元对于人脑的智能起着关键的作用，这些神经元的数量非常多，组成了十分复杂的神经网络。数量非常多，组成了十分复杂的神经网络。 1、引言、引言智能的定义众所周知人类是具有智能的，因为人类能够记忆事物，能够有目地进行一些活动，能够通过学习获

3、得知识，并能在后续的学习中不断地丰富知识，还有一定的能力运用这些知识去探索未知的东西，去发现、去创新。粗略地讲，智能智能是个体有目的的行为，合理的思维，以及有效的适应环境的综合能力。也可以说，智能是个体认识客观事物和运用知识解决问题的能力。1、引言、引言感知和认识感知和认识客观事物、客观世界和自我的能力客观事物、客观世界和自我的能力感知是智能的基础感知是智能的基础最基本的能力最基本的能力通过通过学习学习取得经验与积累知识的能力取得经验与积累知识的能力这是人类在世界中能够不断发展的最基本能力这是人类在世界中能够不断发展的最基本能力联想、推理、判断、决策语言的能力联想、推理、判断、决策语言的能力理

4、解理解知识，知识，运用运用知识和经验知识和经验分析分析、解决解决问题的能力问题的能力这一能力可以算作是智能的高级形式这一能力可以算作是智能的高级形式是人类对世界进行适当改造、推动社会不断发展的能力是人类对世界进行适当改造、推动社会不断发展的能力这是智能高级形式的又一方面这是智能高级形式的又一方面主动与被动之分。联想、推理、判断、决策的能力是主动的基础。主动与被动之分。联想、推理、判断、决策的能力是主动的基础。按照上面的描述，人类个体的智能是一种综合能力。具体来讲，可以包按照上面的描述，人类个体的智能是一种综合能力。具体来讲，可以包括一下八个方面的能力：括一下八个方面的能力：1、引言、引言通过通

5、过学习学习取得经验与积累知识的能力取得经验与积累知识的能力发现、发明、创造、创新的能力发现、发明、创造、创新的能力实时、迅速、合理地应付复杂环境的能力实时、迅速、合理地应付复杂环境的能力预测，洞察事物发展、变化的能力预测，洞察事物发展、变化的能力人工智能的定义人工智能的定义人工智能（人工智能（Artificial Intelligence，AI）最初是在）最初是在1956年被引入的。它研究怎样让计算机模仿人脑从事推理、年被引入的。它研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题，设计、思考、学习等思维活动，以解决和处理较复杂的问题，简单地来说，人工智能就

6、是研究如何让计算机模仿人脑进行简单地来说，人工智能就是研究如何让计算机模仿人脑进行工作。工作。2、生物神经元、生物神经元 图图2-1 神经元的解剖神经元的解剖在人体内，神经元的结在人体内，神经元的结构形式并非是完全相同构形式并非是完全相同的；但是，无论结构形的；但是，无论结构形式如何，神经元都是式如何，神经元都是 由一些基本的成份组成由一些基本的成份组成的。的。从图中从图中 可以看出：神可以看出：神经元是由细胞体，树突经元是由细胞体，树突和轴突三部分组成和轴突三部分组成2、生物神经元、生物神经元突触，是一个神经元与另一突触，是一个神经元与另一个神经元之间相联系并进行个神经元之间相联系并进行信息

7、传送的结构。信息传送的结构。突触的存在说明：两个神经突触的存在说明：两个神经元的细胞质并不直接连通，元的细胞质并不直接连通，两者彼此联系是通过突触这两者彼此联系是通过突触这种结构接口的。有时也把种结构接口的。有时也把突触看作是神经元之间的连突触看作是神经元之间的连 接。接。 图图2-2 突触结构突触结构2生物神经元生物神经元 目前，根据神经生理学的研究，已经发现神经元及其间的突触有4种不同的行为。神经元的4种生物行为有： u 能处于抑制或兴奋状态能处于抑制或兴奋状态；u 能产生爆发和平台两种情况能产生爆发和平台两种情况u 能产生抑制后的反冲能产生抑制后的反冲u 具有适应性。具有适应性。 突触的

8、4种生物行为有：u 能进行信息综合能进行信息综合u 能产生渐次变化的传送能产生渐次变化的传送u 有电接触和化学接触等多种连接方式有电接触和化学接触等多种连接方式u 会产生延时激发。会产生延时激发。 目前，人工神经网络的研究仅仅是对神经元的第一种行为和突触的第一种行为进行模拟，其它行为尚未考虑。 2生物神经元生物神经元2.1神经元的兴奋与抑制神经元的兴奋与抑制 2.2神经元的信息传递及阀值特性神经元的信息传递及阀值特性2.3神经元的信息综合特性神经元的信息综合特性图2-3.神经元的兴奋过程电位变化3神经元的数学模型神经元的数学模型 iiWWO()f( )iiiiXXOfW X输入权值，表示连接强

9、度激活值阈值输出式中表示激活函数或输出函数从神经元的特性和功能可以知道，神经元是一个从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且，它对信息多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。根据神经元的特性和功能，的处理是非线性的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。可以把神经元抽象为一个简单的数学模型。v9、 人的价值，在招收诱惑的一瞬间被决定。人的价值，在招收诱惑的一瞬间被决定。2022-3-62022-3-6Sunday, March 06, 2022v10、低头要有勇气，抬头要有低气。、低头要有勇气，抬头要有低气。2022

10、-3-62022-3-62022-3-63/6/2022 8:05:19 PMv11、人总是珍惜为得到。、人总是珍惜为得到。2022-3-62022-3-62022-3-6Mar-226-Mar-22v12、人乱于心，不宽余请。、人乱于心，不宽余请。2022-3-62022-3-62022-3-6Sunday, March 06, 2022v13、生气是拿别人做错的事来惩罚自己。、生气是拿别人做错的事来惩罚自己。2022-3-62022-3-62022-3-62022-3-63/6/2022v14、抱最大的希望，作最大的努力。、抱最大的希望，作最大的努力。2022年年3月月6日星期日日星期日2

11、022-3-62022-3-62022-3-6v15、一个人炫耀什么，说明他内心缺少什么。、一个人炫耀什么，说明他内心缺少什么。2022年年3月月2022-3-62022-3-62022-3-63/6/2022v16、业余生活要有意义，不要越轨。、业余生活要有意义，不要越轨。2022-3-62022-3-6March 6, 2022v17、一个人即使已登上顶峰，也仍要自强不息。、一个人即使已登上顶峰，也仍要自强不息。2022-3-62022-3-62022-3-62022-3-63神经元的数学模型神经元的数学模型vW权矢量（权矢量（weight vector）vX输入矢量（输入矢量（input

12、 vector）12nWWWW12nXXXX()activation functionTf W X 激活函数（）()TnetW Xf net设是权与输入的矢量积（标量）这样激活函数可以写成 ，这里为了表达简单没有写出阈值3神经元的数学模型神经元的数学模型 比较常用的是激活函数可归结为三种比较常用的是激活函数可归结为三种形式：阀值型、形式：阀值型、S型和线性型。型和线性型。10()00netf netnet10()10netf netnet激活函数：激活函数：阈值型：阈值型：3神经元的数学模型神经元的数学模型 S型（型（Sigmoid）激活函数）激活函数S 2()1,() (0,1)1 exp(

13、)f netf netnet单 极 型 型 激 活 函 数 ：S 2(),()( 1,1)1 exp()f netf netnet 双 极 型 型 激 活 函 数：3神经元的数学模型神经元的数学模型线性型激活函数线性型激活函数()f netnet神经元的特点：神经元的特点：u是一多输入、单输出元件是一多输入、单输出元件u具有非线性的输入输出特性具有非线性的输入输出特性u具有可塑性，其塑性变化的变化部分主要是权值（具有可塑性，其塑性变化的变化部分主要是权值（Wi）的变）的变 化，这相当于生物神经元的突触变化部分化，这相当于生物神经元的突触变化部分u神经元的输出响应是各个输入值的综合作用结果神经元

14、的输出响应是各个输入值的综合作用结果u输入分为兴奋型（正值）和抑制型（负值）两种。输入分为兴奋型（正值）和抑制型（负值）两种。4.人工神经网络人工神经网络 人工神经网络（人工神经网络（Artificial Neural Network ANN）是对人类大脑系统的一阶特性的一种描述，简单地讲，它是对人类大脑系统的一阶特性的一种描述，简单地讲，它是一个数学模型可以用电子线路来实现也可以用计算是一个数学模型可以用电子线路来实现也可以用计算机程序来模拟，是人工智能研究的一种方法。机程序来模拟，是人工智能研究的一种方法。 人工神经网络的提出人工神经网络的提出：u信息的分布表示信息的分布表示u运算的全局并

15、行和局部操作运算的全局并行和局部操作u处理的非线性处理的非线性人工神经网络的三大特点人工神经网络的三大特点：人工神经网络的定义人工神经网络的定义： 人工神经网络是一个人工神经网络是一个并行，分布处理结构并行，分布处理结构，它由处理单元及称为联接，它由处理单元及称为联接的无向信号通道互连而成。这些处理单元的无向信号通道互连而成。这些处理单元(PEProcessing Element)具有局部内存，并可以完成局部操作、每个处理单元有一个单具有局部内存，并可以完成局部操作、每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，一的输出联接，这个输出可以根据需要被分支成

16、希望个数的许多并行联接，且这些并行联接都输出且这些并行联接都输出相同的信号相同的信号，即相应处理单元的信号，信号的大小，即相应处理单元的信号，信号的大小不因分支的多少而变化，处理单元的输出信号可以是不因分支的多少而变化，处理单元的输出信号可以是任何需要的数学模型任何需要的数学模型，每个处理单元中进行的操作必须是每个处理单元中进行的操作必须是完全局部的完全局部的。也就是说，它必须仅仅依。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。元局部内存中的值。4.人工神经网络人工神经网

17、络4.人工神经网络人工神经网络 按照网络的结构区分，则有前向网络和反馈网络按照网络的结构区分，则有前向网络和反馈网络 按照学习方式区分，则有有教师学习和无教师学习网络按照学习方式区分，则有有教师学习和无教师学习网络 按照网络性能区分，则有连续型和离散性网络，随机型和按照网络性能区分，则有连续型和离散性网络，随机型和确定型网络确定型网络 按照突触性质区分，则有一阶线性关联网络和高阶非线性按照突触性质区分，则有一阶线性关联网络和高阶非线性关联网络关联网络 按对生物神经系统的层次模拟区分，则有神经元层次模型，按对生物神经系统的层次模拟区分，则有神经元层次模型，组合式模型，网络层次模型，神经系统层次模

18、型和智能型组合式模型，网络层次模型，神经系统层次模型和智能型模型。模型。人工神经网络的分类人工神经网络的分类：4.人工神经网络人工神经网络第一种：前馈网络（第一种：前馈网络（Feedforward Network）1212ij1,Wijiji(1,2,)( )( )TnTmniijjjXXXXOO OOnetW XimOWXO tWX t 输入矢量：输出矢量：表示神经元 与 之间的连接权， 为目的神经元， 为源神经元第 个神经元的激活值为：经非线性映射可得到神经元的输出：下面介绍几种常见的神经网络。下面介绍几种常见的神经网络。 表示一个非线性激活函数，每个神经元的激活函表示一个非线性激活函数，

19、每个神经元的激活函数是算子的分量，激活函数是标量，是输入矢量数是算子的分量，激活函数是标量，是输入矢量和权矢量之积。和权矢量之积。 前馈网络没有反馈，可以连成多层网，前馈网络前馈网络没有反馈，可以连成多层网，前馈网络通常是有教师提供信息，提供期望值，可以从误通常是有教师提供信息，提供期望值，可以从误差信号来修正权值，直到误差小于允许范围。差信号来修正权值，直到误差小于允许范围。( )00111210( )02122200( )11fWWW nfWWW nWfWmWmWmn其中：算子，权矩阵：( )f4.人工神经网络人工神经网络 对于输入对于输入X（t）仅在初始时刻不为零的情况，这种网）仅在初始

20、时刻不为零的情况，这种网络也可以保持有输出信号。所以络也可以保持有输出信号。所以 ，即，即 在在t0时，输入可以取消或被系统自动保持。如果我时，输入可以取消或被系统自动保持。如果我们这里只考虑们这里只考虑 ，则在，则在t0时，没有输入的情时，没有输入的情况，可将下一时刻的输出写成：况，可将下一时刻的输出写成： ，为，为方便起见，也可将网络的输出状态表示成：方便起见，也可将网络的输出状态表示成： (0)(0)OX(0)0X()( )O ttFWO t 1(1,2,3,)kkOF WOk第二种：反馈网络第二种：反馈网络4.人工神经网络人工神经网络第三种：相互结合型网络第三种：相互结合型网络 相互结

21、合型网络的结构如图所示，它是网状结构相互结合型网络的结构如图所示，它是网状结构网络，构成网络中的各个神经元都可能相互双相网络，构成网络中的各个神经元都可能相互双相联接，所有的神经元即作输入，同时也用输出。联接，所有的神经元即作输入，同时也用输出。这种网络如果在某一时刻从外部加一个输入信号，这种网络如果在某一时刻从外部加一个输入信号，各个神经元一边相互作用，一边进行信息处理，各个神经元一边相互作用，一边进行信息处理，直到收敛于某个稳定值为止。直到收敛于某个稳定值为止。4.人工神经网络人工神经网络第四种：混合型网络第四种：混合型网络 前面所讲的前馈网络和上述的相互结合型网络分前面所讲的前馈网络和上

22、述的相互结合型网络分别是典型的层状解构网络和网状结构网络，介于别是典型的层状解构网络和网状结构网络，介于两种网络中间的一种连接方式，如图所示：它是两种网络中间的一种连接方式，如图所示：它是在前馈网络的同一层间各神经元又有互联的结构，在前馈网络的同一层间各神经元又有互联的结构，所以称为混合型网络。这种在同一层内互联的目所以称为混合型网络。这种在同一层内互联的目的是为了限制同层内神经元同时兴奋或抑制的数的是为了限制同层内神经元同时兴奋或抑制的数目，已完成特定功能。例如：视网膜的神经元网目，已完成特定功能。例如：视网膜的神经元网络就有许多这种连接形式。络就有许多这种连接形式。4.人工神经网络人工神经

23、网络学习是神经系统的本能，人的神经系统是最发达的，所以人的学习能力也最强。模仿人的学习过程人们提出多种神经网络的学习方法。u有教师学习u无教师学习4.人工神经网络人工神经网络神经网络的学习过程神经网络的学习过程：4.人工神经网络人工神经网络211()QMkjkjkjyyEMQ关于综合误差有各种不同的定义，但本质上都是一致的。这里介绍两种：关于综合误差有各种不同的定义，但本质上都是一致的。这里介绍两种：第一种：均方根标准误差（第一种：均方根标准误差（Root-mean-square normalized error, RMS误差误差）式中：式中： 模式模式k第第j个输出单元的期望值；个输出单元的

24、期望值； 模式模式k第第j个输出单元的实际值；个输出单元的实际值； M样本模式对个数；样本模式对个数； Q输出单元个数。输出单元个数。kjykjy第二种：误差平方和第二种：误差平方和式中：式中：M样本模式对个数；样本模式对个数；Q输出单元个数。输出单元个数。2111()2QkkjkjjMkkEyyEE神经元网络的学习规则神经元网络的学习规则 神经元网络的最大特点就是它具有神经元网络的最大特点就是它具有学习的能力学习的能力，在学习，在学习过程中，主要是网络的连接权的值产生了相应的变化，学过程中，主要是网络的连接权的值产生了相应的变化，学习到的内容也是记忆在连接权之中。习到的内容也是记忆在连接权之

25、中。 (,)iirr W X d令为令为Wij第第i个神经元的第个神经元的第j个输入连接权，这个输入可以是个输入连接权，这个输入可以是外来的输入信号，也可以试来自其他神经元的输出。学习信外来的输入信号，也可以试来自其他神经元的输出。学习信号号r是是Wi和和X的函数，有时也包括教师信号的函数，有时也包括教师信号di，所以有，所以有权矢量的变化是由学习步骤按时间权矢量的变化是由学习步骤按时间t，t+1，一步一步进行计算的。在，一步一步进行计算的。在时刻时刻t连接权的变化量为：连接权的变化量为：( )( ),( ),( )( )iiiiW tcr W tX t d t X t其中其中c是一个正数，称

26、为学习常数，决定学习的速率。是一个正数，称为学习常数，决定学习的速率。神经元网络的学习规则神经元网络的学习规则离散学习步骤可写成：离散学习步骤可写成：1,kkkkkkiiiiWWcr WXdX(1)( )( ),( ),( )( )iiiiiW tW tcr W tX t d t X t从时刻从时刻t到下一个时刻（到下一个时刻（t+1），连接权按下式计算），连接权按下式计算:其中其中c是一个正的常数，称为学习常数，决定学习的速率。是一个正的常数，称为学习常数，决定学习的速率。Hebb学习规则学习规则权分量用下式调整：权分量用下式调整：或或 abWab()()TiTiirf W XWcf W X

27、 X()TijijWcf W X X(1,2, )ijijWcO Xjn当两个神经元同时兴奋时，突触的传递效率加强，那么在人工神经网络当两个神经元同时兴奋时，突触的传递效率加强，那么在人工神经网络中就表现为连接权的增加。以中就表现为连接权的增加。以a表示神经元表示神经元A的激活值（输出），的激活值（输出），b表示表示神经元神经元B的激活值，的激活值，Wab表示两个神经元的连接权，则表示两个神经元的连接权，则Hebb学习规则学习规则的数学表达式为：的数学表达式为：根据根据Hebb学习规则，学习信号学习规则，学习信号r等于神经元的输出：等于神经元的输出：感知机（感知机（Perceptron）学习规

28、则）学习规则这一规则是有监督学习，学习信号是期望值与神经这一规则是有监督学习，学习信号是期望值与神经元实际响应之差学习规则如下图所示。元实际响应之差学习规则如下图所示。sgn()sgn()sgn()(1,2, )iiTiiTiiijTiiijrdOOW XWcdW X XWcdW X Xjn注意：这个规则仅能用于双极二进制神经响应。注意：这个规则仅能用于双极二进制神经响应。感知机（感知机（Perceptron）学习规则）学习规则在这一规则下，在这一规则下，Oi仅当不正确的情况下才进行权调整，误差仅当不正确的情况下才进行权调整，误差是学习的必要条件。由于期望值（是学习的必要条件。由于期望值（di

29、）与响应值（）与响应值（ Oi ）均为均为+1或者或者-1，所以权调整量为：，所以权调整量为：2iWcX 1 sgn()1TiidW X ，1 sgn()1TiidW X ，sgn()TiidW X这里这里“”号，号，“”号，号，当当权值无变化。初始权可为任意值。权值无变化。初始权可为任意值。Delta学习规则学习规则仅对连续激活函数，并只对有监督学习模型有效。仅对连续激活函数，并只对有监督学习模型有效。学习信号为：学习信号为： ()()TTiiirdf W Xf W X()()TTiif W Xf netnetW X是激活函数对的导数221()21()2iiTiiEdOEdf W X21()

30、()2TiiiEdOf W X X 误差梯度矢量：误差梯度矢量：这个学习规则可从这个学习规则可从Oi与与di最小方差得出。最小方差得出。方差：方差：Delta学习规则学习规则这个规则是与离散感知器学习规则是并行的，可以称为连续感知器训练这个规则是与离散感知器学习规则是并行的，可以称为连续感知器训练规则，它可以进一步推广到多层。规则，它可以进一步推广到多层。一般要求一般要求c取较小的值，是在权空间，按负的方向转动权矢量。取较小的值，是在权空间，按负的方向转动权矢量。()()(1,2, )TiiijijEdO f W X XjnW iWc E 2()()iiiiWc dOfnet XTiinetW

31、 X2()()(1,2, )ijiiijWc dOfnet Xjn梯度矢量分量：梯度矢量分量：由于最小误差要求权变换是负梯度方向，所以取式由于最小误差要求权变换是负梯度方向，所以取式中中c正常数。正常数。神经元网络的工作过程：神经元网络的工作过程：这里主要介绍两种最常用的形式：这里主要介绍两种最常用的形式：第一种：回想（第一种：回想（recall） 自动联想自动联想 异联想异联想第二种：分类（第二种：分类（classification）异联想的一种特殊情况异联想的一种特殊情况识别识别自动联想过程自动联想过程 异联想过程异联想过程分类过程分类过程 识别过程识别过程5多层网络的误差逆传播校正方法多

32、层网络的误差逆传播校正方法v误差逆传播校正方法是利用实际输出与期望输出误差逆传播校正方法是利用实际输出与期望输出之差对网络的各层连接权由后向前进行校正的一之差对网络的各层连接权由后向前进行校正的一种计算方法。理论上讲，这种方法可以适用于任种计算方法。理论上讲，这种方法可以适用于任意多层的网络。意多层的网络。5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v 为计算方便，我们首先把网络的变量设置如下：为计算方便，我们首先把网络的变量设置如下：v 输入模式向量：输入模式向量：v 希望输出向量：希望输出向量： v 中间层各单元输入激活值向量：中间层各单元输入激活值向量：v 中间层各单元输出

33、向量：中间层各单元输出向量：v 输出层各单元输入激活值向量：输出层各单元输入激活值向量：v 输出实际值向量：输出实际值向量：v 输入层至中间层的连接权：输入层至中间层的连接权：v 中间层至输出层的连接权：中间层至输出层的连接权：v 中间层各单元的阈值：中间层各单元的阈值：v 输出层各单元的阈值：输出层各单元的阈值：v 其中其中12,kkkknAaaa12,kkkkqYyyy12,kkkkpSsss12,kkkkpBbbb12,kkkkqLlll12,kkkkqCcccijWjtVjt1,2, ;1,2, ;1,2, ;1,2,in jp tq km5多层网络的误差逆传播校正方法多层网络的误差逆

34、传播校正方法v 激活函数才用激活函数才用S型函数：型函数：v 激活函数的导数为：激活函数的导数为：v 这里的学习规则实际上是一种这里的学习规则实际上是一种Delta学习规则，即利用误学习规则，即利用误差的负梯度来调整连接权，使其输出误差单调减少。利用差的负梯度来调整连接权，使其输出误差单调减少。利用Delta学习规则，应该先求出误差函数的梯度，因此有以学习规则，应该先求出误差函数的梯度，因此有以下推导过程：下推导过程：v 对第对第k个学习模式，网络的希望输出与实际输出的偏差设个学习模式，网络的希望输出与实际输出的偏差设为：为： 1(1)1xfxe 1(2)fxf xf x()1,2,(3)kk

35、kjjjycjp5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v采用平方和误差进行计算：采用平方和误差进行计算：v按梯度下降原则，中间层至输出层连接权的调整按梯度下降原则，中间层至输出层连接权的调整量应为：量应为：v展开：展开：2211() / 2() / 2(4)qqkkkkjjjttEyc(5)kjtjtEVV (6)kktjtktjtEcVcV 5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v利用（利用（4）式可得：）式可得：v因为输出层第因为输出层第t个单元的激活值为：个单元的激活值为：v输出层第输出层第t个单元的输出值为：个单元的输出值为：v由式（由式（2）可

36、得对于输出函数的导数：）可得对于输出函数的导数：()(7)kkkktttktEycc 1(1,2, )(8)ptjtjtjlVbtq( )(9)ttcf l( )(1)(10)tttflcc5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v所以：所以：v因此，由式（因此，由式（6）（）（7）和（）和（11）可得：）可得：( )(1)(11)kkkkkttttjttjkjttjtcclflbccbVlV(1)(12)kkjttttjVccb 为进一步简化，(1)(13)kkkkkttjttttkkktttEE cdVcclcl011 ,2, , ;1 ,2, , ;1 ,2, ,(14

37、)kkjttjVd btq jpkm 所以：5多层网络的误差逆传播校正方法多层网络的误差逆传播校正方法v同理，由输入层至中间层连接权的调整，仍按梯同理，由输入层至中间层连接权的调整，仍按梯度下降法的原则进行度下降法的原则进行 ：011,2, ;1,2,kkkijjiijEWeain jpW 同样也可求出阈值的调整量：同样也可求出阈值的调整量：为中间层各单元的校正误差kje(1,2, )kttdtq(1,2, )kjjejp以上的推导仅是针对某一组学习模式进行的，其误差也是某一组的误差。以上的推导仅是针对某一组学习模式进行的，其误差也是某一组的误差。对于全部的输入模式，我们有网络的全局误差对于全

38、部的输入模式，我们有网络的全局误差E：2111() / 2qmmkkkttkktEEyc BP网络的学习规则与计算方法网络的学习规则与计算方法u输入模式顺传播（输入模式由输入层经中间层输入模式顺传播（输入模式由输入层经中间层向输出层传播计算），这一过程主要是利用输入向输出层传播计算），这一过程主要是利用输入模式求出它所对应的实际输出模式求出它所对应的实际输出u输出误差逆传播（输出的误差由输出层经中间输出误差逆传播（输出的误差由输出层经中间层传向输入层），当这些实际的输出值与希望的层传向输入层），当这些实际的输出值与希望的输出值不一样时或者说其误差大雨所限定的数值输出值不一样时或者说其误差大雨所

39、限定的数值时，就要对网络进行校正。时，就要对网络进行校正。u循环记忆训练（模式顺传播与误差逆传播的计循环记忆训练（模式顺传播与误差逆传播的计算过程反复交替循环进行）算过程反复交替循环进行）u学习结果判别（判定全局误差是否趋向极小学习结果判别（判定全局误差是否趋向极小值）。值）。BP网的学习过程利用前面求得的对各个连接权和阀值进行校正利用前面求得的对各个连接权和阀值进行校正的数学表达式，可构成的数学表达式，可构成BP网络的学习规则。网络的学习规则。BP网络的应用举例网络的应用举例 “异或异或”（XOR）问题：例如有一个）问题：例如有一个BP网络，它由输入、中间和输出网络，它由输入、中间和输出层这

40、三层构成，如图所示。输入层和中间层各有两个神经元，输出层有层这三层构成，如图所示。输入层和中间层各有两个神经元，输出层有一个神经元。先要求训练这一网络，使其具有解决一个神经元。先要求训练这一网络，使其具有解决“异或异或”问题的能力。问题的能力。首先给网络的连接权及首先给网络的连接权及其阈值赋予其阈值赋予-0.1,0.1区间的随机数，如上图区间的随机数，如上图所示。在初始状态下的所示。在初始状态下的输入、输出结果如下表输入、输出结果如下表所示所示X1 X2 希望输出实际输出0 000.50 110.51 010.51 100.5X2X1X10.08010.06050.05430.0579-0.0

41、2910.099910.070320.0939BP网络的应用举例网络的应用举例X1 X2 希望输出实际输出0 000.1190 110.7271 010.7341 100.415这时的平方和误差可用下式计算：2411()2jjjEyc由于对应四个输入模式的实际输出均为由于对应四个输入模式的实际输出均为0.5左右，所以全局误差为左右，所以全局误差为0.5。下面。下面采用采用BP网络的学习算法进行训练，取。当进行网络的学习算法进行训练，取。当进行8000次学习后得到下图所示次学习后得到下图所示的网络参数。的网络参数。这时的全局误差为0.16584。若输出小于0.5判为0，大于0.5判为1，则可认为

42、此时网络已经完成了模式记忆，已有正确的分类能力。X2X1X13.6631-5.6523-1.7169-1.8367-5.7174-5.649421.098112.0454BP网络的应用举例网络的应用举例若当进一步学习达若当进一步学习达11050次后，全局误差减小为次后，全局误差减小为0.0078。若输出小于若输出小于0.1为为0，大于，大于0.9为为1，则可认为该网络完，则可认为该网络完全学会了解决全学会了解决“异或异或”问题。问题。X1 X2 希望输出实际输出全局误差0 000.050.00780 110.9411 010.9411 100.078X2X1X1X17.3022-7.7033-

43、3.7261-3.7286-602163-6.177522.243015.4312BP网络的应用举例网络的应用举例u学习收敛速度太慢学习收敛速度太慢u不能保证收敛到全局最小点不能保证收敛到全局最小点u网络的中间层数及它的单元数的选取无理论上的指导，网络的中间层数及它的单元数的选取无理论上的指导，而是根据具体经验确定的，因此网络设计有时不是最而是根据具体经验确定的，因此网络设计有时不是最佳佳u网络的学习、记忆具有不稳定性等。网络的学习、记忆具有不稳定性等。BP网络的缺点：网络的缺点：改进：改进：u累积误差校正法累积误差校正法uS函数输出限幅法函数输出限幅法u惯性校正法惯性校正法themegalleryv感知