典型人工神经网络ppt课件

1、版权所有版权所有 复制必究复制必究 20092009第五章典型人工神经网络第五章典型人工神经网络版权所有版权所有 复制必究复制必究 20092009版权所有版权所有 复制必究复制必究 20092009版权所有版权所有 复制必究复制必究 200920091niiiNetw x1000NetyNet0w 01x T01,nxxxxT01,nww ww1000TNetw xNetyNet版权所有版权所有 复制必究复制必究 200920091niiiNetw x1000NetyNet1-1yNete版权所有版权所有 复制必究复制必究 20092009nxR0,1y0Tw x 0Tw x 版权所有版权所

2、有 复制必究复制必究 20092009jnjjxwu 0 ufy 01x1x2xnw1w2wn.X0 = 1w0n M-P感知机是一个多输入单输出的模型，虽然构造简感知机是一个多输入单输出的模型，虽然构造简单，但具有一定的计算才干。单，但具有一定的计算才干。n 经过学习权重，它可以正确地分类样本二分类经过学习权重，它可以正确地分类样本二分类，但只能线性分类。，但只能线性分类。 ifif00 uuy单一人工神经元单一人工神经元单层感知机单层感知机版权所有版权所有 复制必究复制必究 20092009 000010100111 0000111011111x2x02211xwxw00021ww0102

3、1ww00121ww01121ww1x2x5 . 1121ww02211xwxw00021ww01021 ww00121 ww01121 ww1x2x2x1x与与逻逻辑辑或或逻逻辑辑分类才干分析分类才干分析5 . 0121ww版权所有版权所有 复制必究复制必究 200920091x 0000111011101x2x02211xwxw00021ww01021 ww00121 ww01121ww2x1x2x1x21120wwww异异或或逻逻辑辑2x2x1xandorxor02211xwxw版权所有版权所有 复制必究复制必究 20092009单层感知机单层感知机 经过适当的选择权重，单层感知机可以实

4、现经过适当的选择权重，单层感知机可以实现and, or, not布尔逻辑。布尔逻辑。l单层感知机找不到相应的权重来实现单层感知机找不到相应的权重来实现XOR逻辑逻辑l单层感知机不具备非线性分类才干！单层感知机不具备非线性分类才干！版权所有版权所有 复制必究复制必究 20092009版权所有版权所有 复制必究复制必究 20092009版权所有版权所有 复制必究复制必究 20092009x1x2xni1ijw2kiwy1y2onyhnhni, 2 , 1inj, 2 , 1onk, 2 , 112版权所有版权所有 复制必究复制必究 20092009隐含层输出：隐含层输出：111iniijjijow

5、 x11XWO输出层输出：输出层输出：221hnkkiikiyw o211122211222XWWXWWOWY版权所有版权所有 复制必究复制必究 20092009x1x2xniy1y2ynoLlkw1hn)1( Lhn1ijwL1L1inonLLLLLLLLXWWWY12111211版权所有版权所有 复制必究复制必究 20092009nRmR版权所有版权所有 复制必究复制必究 20092009前向传播网络本质上表示的是一种从输入空间到输出空前向传播网络本质上表示的是一种从输入空间到输出空间的映射。间的映射。网络的训练本质上是对突触权阵的调整，以满足当输入网络的训练本质上是对突触权阵的调整，以满

6、足当输入为为XpXp时其输出应为时其输出应为YdYd。思想：前向计算得到网络的输出思想：前向计算得到网络的输出, , 反向计算得到误差的积反向计算得到误差的积累，由梯度下降法调整权值。累，由梯度下降法调整权值。版权所有版权所有 复制必究复制必究 20092009神经网络神经网络W期望期望输出输出dYpY网络输出网络输出pX输入输入信号信号权值调整权值调整+-前向计算前向计算反向计算反向计算版权所有版权所有 复制必究复制必究 20092009onipidipyyE1221误差的平误差的平方和方和梯度下降法：权值的变化与误差梯度的下降成正比，使误差梯度下降法：权值的变化与误差梯度的下降成正比，使误

7、差目的不断减小。目的不断减小。WJWNpnipidiNppoyyEJ111正定的、可微正定的、可微的凸函数的凸函数N个个样本样本版权所有版权所有 复制必究复制必究 20092009x1x2xno1o2om3lkwpq1ijw3l1inm2k2kiwiykzjikl学习算法学习算法版权所有版权所有 复制必究复制必究 20092009学习算法续学习算法续nTxxxX,21mToooO,21神经网络输入神经网络输入神经网络输出神经网络输出pTyyyY,21qTzzzZ,21隐层输出隐层输出 qmlkpqkinpijwww321,加权矩阵加权矩阵 131211,mlqkpi阈值向量阈值向量kkzNet

8、f2iiyNetf1lloNetf3非线性作用函数激活函数非线性作用函数激活函数期望输出期望输出.,21mTdddD版权所有版权所有 复制必究复制必究 20092009;,2,1;,2,1pinj第一隐层输出：第一隐层输出：1111injjijiixwfNetfy学习算法续学习算法续2122kpiikikkywfNetfz第二隐层输出：第二隐层输出：1, 2,kq1, 2,lm3133lqkklkllzwfNetfo输出层输出：输出层输出：版权所有版权所有 复制必究复制必究 200920092112mlllJdo第一步：计算梯度第一步：计算梯度:,33JJWklkllllklllllklllk

9、zzNetfodwNetNetooJwNetNetJwJ333333333)()(33()()lllldo f Net333333333)()(lllllllllllllNetfodNetNetooJNetNetJJ学习算法续学习算法续版权所有版权所有 复制必究复制必究 20092009第二步：计算梯度第二步：计算梯度JJW22,222222223231332133221()()()()()()kkkkikikkikkkikmllkilllkmllllkkilmllkkikilNetzNetJJJJfNetywNetwzNetwzoNetJfNetyoNetzdofNetwfNetywfNet

10、yy .)(22132kkmllklkNetfwJ学习算法续学习算法续版权所有版权所有 复制必究复制必究 20092009第三步：计算梯度第三步：计算梯度:,11JJw学习算法续学习算法续1111111212122111()()iiiijiijiiijqkijkkiqkkiijijkNetyNetJJJwNetwyNetwNetJfNet xNetywfNet xx 11iiJ 版权所有版权所有 复制必究复制必究 20092009选定初始加权矩阵选定初始加权矩阵;,321WWW普通给一组较小的随机数。普通给一组较小的随机数。对每个样本反复下述过程，直到收敛：对每个样本反复下述过程，直到收敛：学

11、习算法描画学习算法描画123, , ,;Net Y NetZ Net O DO正向过程计算正向过程计算;,),(,),(,),(111122223333iijiikkikkllkllJwJNetfJwJNetfJwJNetf反向过程计算反向过程计算.3 , 2, 1,rWJWrrr rrrrWJtWtW1修正权值修正权值版权所有版权所有 复制必究复制必究 20092009ikkiywJ2222kkJ第二隐层与第一隐层衔接权值及阈值更新：第二隐层与第一隐层衔接权值及阈值更新：213322kmllklkkNetfwNetJjiijxwJ1111iiJ第一隐层与输入层衔接权值及阈值更新：第一隐层与输

12、入层衔接权值及阈值更新：)(112211iqkkikiiNetfwNetJkllkzwJ3333llJ输出层与第二隐层衔接权值及阈值更新：输出层与第二隐层衔接权值及阈值更新：)()(333lllllNetfodNetJ.3 ,2, 1,rWJWrrr rrrrWJtWtW1学习算法描画续学习算法描画续版权所有版权所有 复制必究复制必究 20092009 初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1调理输出层和隐层的衔接权值wJtwtw)()1( 改动训练样本训练样本终止？迭代终止？NoNoyy算法根本流程算法根本流程版权所有版权所有 复制必究复制必究 20092009权系数的初值

13、：权系数的初值：随机选较小的值，尽量均匀覆盖权值空间，防止出现初始随机选较小的值，尽量均匀覆盖权值空间，防止出现初始权值一样的情况。权值一样的情况。学习方式学习方式: : 增量型学习方法效果好；累积型学习方法速度快。增量型学习方法效果好；累积型学习方法速度快。鼓励函数：鼓励函数：非减可微函数。可经过调理非减可微函数。可经过调理SigmoidSigmoid函数的斜率或采用其它函数的斜率或采用其它鼓励函数来改善网络的学习性能。鼓励函数来改善网络的学习性能。学习速率：学习速率：学习速率小，训练速度慢；学习速率大，训练速度快，能学习速率小，训练速度慢；学习速率大，训练速度快，能够出现振荡景象。够出现振

14、荡景象。影响影响BPBP学习算法的要素学习算法的要素版权所有版权所有 复制必究复制必究 20092009非线性优化的部分极小，或振荡不收敛；非线性优化的部分极小，或振荡不收敛；收敛速度很慢；收敛速度很慢；新样本的参与会影响已学习过的老样本。新样本的参与会影响已学习过的老样本。BPBP学习算法的局限性学习算法的局限性版权所有版权所有 复制必究复制必究 20092009选用不同的作用函数、性能目的；选用不同的作用函数、性能目的；处理部分极小问题处理部分极小问题选用不同的初值迭代；鼓励函数参与斜率因子；模拟退选用不同的初值迭代；鼓励函数参与斜率因子；模拟退火方法；分解子网。火方法；分解子网。加快收敛

15、速度加快收敛速度采用不同的鼓励函数；变学习率方法；利用鼓励函数的采用不同的鼓励函数；变学习率方法；利用鼓励函数的二阶导数；最速下降法；组合学习方法；权值修正引入二阶导数；最速下降法；组合学习方法；权值修正引入动量因子；遗传算法；等等。动量因子；遗传算法；等等。BPBP学习算法的改良学习算法的改良版权所有版权所有 复制必究复制必究 20092009准那么：准那么：检查权值的修正值能否真正降低了误差函数，假设确实如检查权值的修正值能否真正降低了误差函数，假设确实如此，那么阐明所选取的学习速率值小了，可以对其添加一此，那么阐明所选取的学习速率值小了，可以对其添加一个量；个量；假设不是这样，而产生了过

16、调，那么就应该减小学习速率假设不是这样，而产生了过调，那么就应该减小学习速率的值。的值。调整公式：调整公式：其它)()(04. 1) 1()(7 . 0)() 1()(05. 1) 1(kkJkJkkJkJkk自顺应变学习率方法自顺应变学习率方法版权所有版权所有 复制必究复制必究 20092009在修正其权值时，不仅思索误差在梯度上的作用，而且思在修正其权值时，不仅思索误差在梯度上的作用，而且思索在误差曲面上变化趋势的影响。利用附加动量的作用那索在误差曲面上变化趋势的影响。利用附加动量的作用那么有能够滑过部分极小值。么有能够滑过部分极小值。该方法是在反向传播法的根底上，在每一个权值的变化上该方

17、法是在反向传播法的根底上，在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。来产生新的权值变化。) 1()(kwwJkwijijij权值调理公式：权值调理公式：动量因子，普动量因子，普通取通取0.950.95左右左右附加动量法附加动量法版权所有版权所有 复制必究复制必究 20092009网络的层数网络的层数隐含层的神经元数隐含层的神经元数初始权值的选取初始权值的选取学习速率的选取学习速率的选取期望误差的选取期望误差的选取BPBP网络的设计网络的设计版权所有版权所有 复制必究复制必究 20092009实际上

18、曾经证明：至少一个实际上曾经证明：至少一个S S型隐含层加上一个线性输出层型隐含层加上一个线性输出层的网络，可以逼近任何有理函数。的网络，可以逼近任何有理函数。添加层数主要可以更进一步的降低误差，提高精度，但同添加层数主要可以更进一步的降低误差，提高精度，但同时也使网络复杂化，从而添加了网络权值的训练时间。时也使网络复杂化，从而添加了网络权值的训练时间。普通情况下，应优先思索添加隐含层中的神经元数。普通情况下，应优先思索添加隐含层中的神经元数。能不能仅器具有非线性激活函数的单层网络来处理问题呢？能不能仅器具有非线性激活函数的单层网络来处理问题呢？结论是：没有必要或效果不好。结论是：没有必要或效

19、果不好。BPBP网络的层数网络的层数版权所有版权所有 复制必究复制必究 20092009网络训练精度的提高，可以经过采用一个隐含层，而添网络训练精度的提高，可以经过采用一个隐含层，而添加其神经元数的方法来获得。这在构造实现上，要比添加其神经元数的方法来获得。这在构造实现上，要比添加更多的隐含层要简单得多。加更多的隐含层要简单得多。 在详细设计时，比较实践的做法是经过对不同神经元数在详细设计时，比较实践的做法是经过对不同神经元数进展训练对比，然后适当地加上一点余量。进展训练对比，然后适当地加上一点余量。 BPBP网络隐含层的神经元数网络隐含层的神经元数初始权值的选取初始权值的选取普通取初始权值在

20、普通取初始权值在(-1(-1，1) 1)之间的随机数。之间的随机数。 版权所有版权所有 复制必究复制必究 20092009学习速率决议每一次循环训练中所产生的权值变化量。学习速率决议每一次循环训练中所产生的权值变化量。大的学习速率能够导致系统的不稳定。大的学习速率能够导致系统的不稳定。小的学习速率导致较长的训练时间，能够收敛很慢，不过小的学习速率导致较长的训练时间，能够收敛很慢，不过能保证网络的误差值不跳出误差外表的低谷而最终趋于最能保证网络的误差值不跳出误差外表的低谷而最终趋于最小误差值。小误差值。所以在普通情况下，倾向于选取较小的学习速率以保证系所以在普通情况下，倾向于选取较小的学习速率以

21、保证系统的稳定性。学习速率的选取范围在统的稳定性。学习速率的选取范围在0.01-0.80.01-0.8之间。之间。BPBP网络学习速率的选取网络学习速率的选取版权所有版权所有 复制必究复制必究 20092009在设计网络的训练过程中，期望误差值也该当经过对比训在设计网络的训练过程中，期望误差值也该当经过对比训练后确定一个适宜的值。练后确定一个适宜的值。这个所谓的这个所谓的“适宜，是相对于所需求的隐含层的节点数适宜，是相对于所需求的隐含层的节点数来确定，由于较小的期望误差值是要靠添加隐含层的节点，来确定，由于较小的期望误差值是要靠添加隐含层的节点，以及训练时间来获得的。以及训练时间来获得的。普通

22、情况下，作为对比，可以同时对两个不同期望误差值普通情况下，作为对比，可以同时对两个不同期望误差值的网络进展训练，最后经过综合要素的思索来确定采用其的网络进展训练，最后经过综合要素的思索来确定采用其中一个网络。中一个网络。BPBP网络期望误差的选取网络期望误差的选取版权所有版权所有 复制必究复制必究 20092009例例5.1.1 P128 BP5.1.1 P128 BP网络训练网络训练版权所有版权所有 复制必究复制必究 20092009Matlab 命令窗口输入命令窗口输入 “Help 函数名函数名 可得到相关函数的可得到相关函数的详细引见；详细引见；输入输入 Demop1 Demop1 利器

23、具有利器具有2 2个神经元个神经元的感知器实现对的感知器实现对5 5个个输入数据的两分类输入数据的两分类-0.8-0.6-0.4-0.6-1-0.500.511.5Vectors to be ClassifiedP(1)P(2)版权所有版权所有 复制必究复制必究 20092009常用指令：常用指令： P175 P175 表表.2P180 P180 例例.1% 感知器网络实验X=-0.5 -0.5 0.3 -0.1 0.2 0.6 0.8 0.6; -0.5 0.5 -0.5 1 0.5 -0.9 0.8 -0.6T=1 1 0 1 1 0 1

24、 0w,b=initp(X,T)w,b,epochs,erros=trainp(w,b,X,T)Y=simup(X,w,b)testX=-0.5 0.3 -0.9 0.4 -0.1 0.2 -0.6 0.8 0.1 0.4; -0.3 -0.8 -0.4 -0.7 0.4 -0.6 0.1 -0.5 -0.5 0.3y=simup(testX,w,b)figureplotpv(testX,y)plotpc(w,b)版权所有版权所有 复制必究复制必究 20092009-1.5-1-0.500.511.5-1-0.500.5Vectors to be ClassifiedP(1)P(2)00.511.5210-2010-1510-1010-5100105EpochSum-Squared ErrorSum-Squared N