人工神经网络课程-课件

2024/11/25马尽文1第2章前馈型人工神经网络M-P模型感知机模型与学习算法多层感知机网络自适应线性单元与网络非线性连续变换单元组成的前馈网络BP算法2024/11/25马尽文22.3非线性连续变换单元组成的网络由非线性连续变换单元组成的前馈网络，简称为BP(BackPropagation)网络。网络的结构与数学描述(i).非线性连续变换单元对于非线性连续变换单元，其输入、输出变换函数是非线性、单调上升、连续的即可。但在BP网络中，我们采用S型函数:2024/11/25马尽文32.3非线性连续变换单元组成的网络函数是可微的,并且这种函数用来区分类别时,其结果可能是一种模糊的概念。当时,其输出不是1,而是大于0.5的一个数,而当时,输出是一个小于0.5的一个数。若用这样一个单元进行分类,当输出是0.8时,我们可认为属于A类的隶属度（或概率）为0.8时,而属于B类的隶属度（或概率）为0.2。2024/11/25马尽文42.3非线性连续变换单元组成的网络(ii).网络结构与参数下面以四层网络为例来介绍BP网络的结构和参数,一般情况类似。2024/11/25马尽文52.3非线性连续变换单元组成的网络网络的输入输出关系为:显然可以将阈值归入为特别的权，从而网络的参数可用表示（为一个集合）。上述网络实现了一个多元连续影射:

2024/11/25马尽文62.3非线性连续变换单元组成的网络(iii).网络的学习问题学习的目标:通过网络(或)来逼近一个连续系统，即连续变换函数。学习的条件:一组样本（对）

对于样本对，存在使得对于所有样本的解空间为:

),(iiyx2024/11/25马尽文72.3非线性连续变换单元组成的网络(iv).Kolmogorov定理Kolmogorov定理(映射神经网络存在定理，1950s)给定任何连续函数，则能够被一个三层前馈神经网络所实现，其中网络的隐单元数为。注意:定理未解决构造问题。2024/11/25马尽文82.3非线性连续变换单元组成的网络2.BP学习算法(i).基本思想BP算法属于学习律，是一种有监督学习:对于辅助变量并将阈值归入权参数:则有:2024/11/25马尽文92.3非线性连续变换单元组成的网络考虑第个样本的误差:进一步得总误差:引入权参数矩阵:和总权参数向量:2024/11/25马尽文102.3非线性连续变换单元组成的网络根据总误差得到一般性的梯度算法:终止规则:这里用梯度法可以使总的误差向减小的方向变化，直到或梯度为零结束。这种学习方式使权向量达到一个稳定解，但无法保证达到全局最优，一般收敛到一个局部极小解。2024/11/25马尽文112.3非线性连续变换单元组成的网络(ii).BP算法的推导令为迭代次数，则得一般性梯度下降法:其中为学习率，是一个大于零的较小的实数。先考虑对于的偏导数:2024/11/25马尽文122.3非线性连续变换单元组成的网络在上式中，为第个样本输入网络时，的对应值。另外令则:为了方便，引入记号:2024/11/25马尽文132.3非线性连续变换单元组成的网络对于的偏导数，我们有:2024/11/25马尽文142.3非线性连续变换单元组成的网络这样我们有:类似的推导可得:(iii).BP算法Step1.赋予初值:Step2.在时刻，计算及其广义误差

2024/11/25马尽文152.3非线性连续变换单元组成的网络Step3.修正权值:

Step4.计算修正后的误差:若，算法结束，否则返回到Step2。2024/11/25马尽文162.3非线性连续变换单元组成的网络BP算法的讨论:a).这里的梯度是对于全部样本求的，因此是一种批处理算法，即Batch-way，它符合梯度算法，稳定地收敛到总误差的一个极小点而结束。(注意:按总误差小于可能导致算法不收敛.)b).实际中更常用的是对每个样本修改，即自适应算法，当每次样本是随机选取时，可通过随机逼近理论证明该算法也是收敛的。特点是收敛速度快。C).为了使得算法既稳定，又具有快的收敛速度，可以使用批处理与自适应相补充的算法，即选取一组样本（远小于全部样本）进行计算梯度并进行修正，其它不变。2024/11/25马尽文172.3非线性连续变换单元组成的网络3.BP网络误差曲面的特性BP网络的误差公式为:是一种非线性函数，而多层的BP网络中又是上一层神经元状态的非线性函数，用表示其中一个样本对应的误差，则有:可见，与有关，同时也与所有样本对有关，即与有关。2024/11/25马尽文182.3非线性连续变换单元组成的网络假定样本集给定，那么是的函数。在前面考虑的4层网络中，权值参数的总个数为:那么在加上这一维数，在维空间中，是一个具有极其复杂形状的曲面。如果在考虑样本，其形状就更为复杂，难于想象。从实践和理论上，人们得出了下面三个性质:(i).平滑区域

2024/11/25马尽文192.3非线性连续变换单元组成的网络(ii).全局最优解不唯一中的某些元素进行置换依然是全局最优解，这从右边的简单模型可以看出。(iii).局部极小一般情况下，BP算法会收敛到一个局部极小解，即:当，算法以希望误差收敛；当，算法不以希望误差收敛，但可按梯度绝对值小于预定值结束。2024/11/25马尽文202.3非线性连续变换单元组成的网络4.算法的改进(i).变步长算法（是由一维搜索求得）Step1.赋予初始权值和允许误差；Step2.在时刻，计算误差的负梯度（方向）:Step3.若，结束；否则从出发，沿做一维搜索，求出最优步长:Step4.，转Step2。2024/11/25马尽文212.3非线性连续变换单元组成的网络步长（学习率）的确定方法:(a).求最优解:对求导数，并令其为零，直接求解:(b).迭代修正法:令

2024/11/25马尽文222.3非线性连续变换单元组成的网络(ii).加动量项为了防止震荡并加速收敛，可采用下述规则:注意:上式类似于共轭梯度法的算式，但是这里不共轭。因此可能出现误差增加的现象，即，这时可令，即退回到原来的梯度算法。2024/11/25马尽文232.3非线性连续变换单元组成的网络(iii).加入因子当算法进入平坦区，即，则。为了消除或减弱这种现象，引入因子，使得:(iv).模拟退火方法在所有权上加一个噪声，改变误差曲面的形状，使用模拟退火的机制，使算法逃离局部极小点，达到全局最优而结束。2024/11/25马尽文242.3非线性连续变换单元组成的网络5.BP网络的设计(i).输入输出层的设计BP网络输入、输出层单元个数是完全根据实际问题来设计的，我们分三种情况讨论:A.系统识别这时输入单元个数为；输入单元个数为。nm2024/11/25马尽文252.3非线性连续变换单元组成的网络B.分类问题(a).若,则令,这样输出层仅需要一个单元。(b).若,则令:这样输出层则需要个单元。(c).二进制编码方法对进行二进制编码,编码位数为2024/11/25马尽文262.3非线性连续变换单元组成的网络,这样输出层仅需个单元。(ii).隐单元数与映射定理1989年,R.Hecht-Nielson证明了任何一个闭区间内的连续函数都可以用一个三层（仅有一个隐层）BP网络来逼近（任意给定精度）。引理2.1任意给定一个连续函数及精度,必存在一个多项式,使得不等式对任意成立。引理2.2任意给定一个周期为的连续函数及精度,必存在一个三角函数多项式,使得对于成立。2024/11/25马尽文272.3非线性连续变换单元组成的网络在维空间中,任一向量都可表示为

其中为的一个正交基。同样考虑连续函数空间或,必然存在一组正交函数序列,那么对,则],[bacp2c2024/11/25马尽文282.3非线性连续变换单元组成的网络当充分大时，对每个成立:进一步考虑中的多元连续函数:

根据傅立叶级数展开理论，若则同样存在一个步傅立叶级数和函数:2024/11/25马尽文292.3非线性连续变换单元组成的网络其中系数为:并且当时，满足即在可以完全收敛达到。现在考虑对一个任意连续映射:其中，则的每个分量也都可以用上面的傅立叶级数表示，依此就可以得到下面的影射定理（定理中所考虑的三层网络输出单元为线性单元）。n]1,0[)(xh2024/11/25马尽文302.3非线性连续变换单元组成的网络映射定理(Hecht-Nielsen):给定任意精度，对于一个连续影射，其中:那么必存在一个三层BP神经网络来逼近函数，使得在每点上的误差不超过。证明:由于输出单元是独立的，分别与的每个分量函数相对应，我们仅需要对单个输出单元和分量函数来证明。2024/11/25马尽文312.3非线性连续变换单元组成的网络根据傅立叶级数理论，对于的分量，则其中是的步傅立叶级数和函数:下面证明傅立叶级数中任意三角函数可以用三层BP子网络来逼近，那么通过傅立叶级数的线性组合就可以保证用三层BP网络来逼近函。考虑结构为的三层BP网络，其输出为:)(xh)(xhj)(xhj)(xhj2024/11/25马尽文322.3非线性连续变换单元组成的网络

我们来证明输出函数能够逼近任何三角函数:令考虑函数，当，趋向于单位阶跃函数（见右图），则为一些近似单位阶跃函数的线性叠加，故当充分

jau2024/11/25马尽文332.3非线性连续变换单元组成的网络大时，我们可将区间充分的细分，选取和，使得，或

即得:对于，我们有下面的展开:

2024/11/25马尽文342.3非线性连续变换单元组成的网络2024/11/25马尽文352.3非线性连续变换单元组成的网络使用充分多的隐单元,可得令2024/11/25马尽文362.3非线性连续变换单元组成的网络(iii).隐单元数的选择隐单元数:小，结构简单，逼近能力差，不收敛；大，结构复杂，逼近能力强，收敛慢。对于用作分类的三层BP网络，可参照多层感知机网络的情况，得到下面设计方法:(a).其中为样本个数，选取满足上式最小的。(b).©.2024/11/25马尽文372.3非线性连续变换单元组成的网络(iv).网络参数初始值的选取初试权:随机，比较小（接近于0），保证状态值较小，不在平滑区域内。6.BP网络的应用(i).模式识别、分类。用于语音、文字、图象的识别，用于医学图象的分类、诊断等。(ii).函数逼近与系统建模。用于非线性系统的建模，拟合非线性控制曲线，机器人的轨迹控制，金融预测等。2024/11/25马尽文382.3非线性连续变换单元组成的网络(iii).数据压缩。在通信中的编码压缩和恢复，图象数据的压缩和存储及图象特征的抽取等。例1.手写数字的识别由于手写数字变化很大，有传统的统计模式识别或句法识别很难得到高的识别率，BP网络可通过对样本的学习得到较高的学习率。为了克服字体大小不同，我们选取这些数字的一些特征值作为网络输入。（可提取）特征如:1，2，3，7:具有两个端点；0，6，8，9:具有圈；2:两个端点前后；2024/11/25马尽文392.3非线性连续变换单元组成的网络对于一个样本，若具有那个特征，所对应的特征输入单元取值为1，否则为0。我们可选择34个特征，即输入单元个数为34。输出可取10个单元，即1个输出单元对应一个数字（该单元输出为1，其它为0）。如果选取200个人所写的1000个样本进行学习，使用三层BP网络，隐层单元数应如何选择呢？根据前面的经验公式，可得到下面结果：2024/11/25马尽文402.3非线性连续变换单元组成的网