神经网络和模糊系统

神经网络和模糊系统第1页，共28页，2023年，2月20日，星期六12、监督学习流图

其关键之处，就是将教师信号加入到了网络中.第2页，共28页，2023年，2月20日，星期六二、有监督的函数估计(1)

在学习之前，神经网络犹如一个黑盒子，我们能做的，就是可以给它加一定的输入Xi，再给每个输入Xi提供一个期望输出Yi，即“教师信号”，从而形成了一系列的样本对（Xi,Yi）。有监督的函数估计，就是通过包含“教师信号”的样本对（Xi,Yi）,求出神经网络的传输函数f的近似表达式。第3页，共28页，2023年，2月20日，星期六二、有监督的函数估计(2)

采用的方法，就是利用误差函数E[J]（期望输出与实际输出的差值），不断调整ANN的突触权值，使E[J]达到最小，从而达到对ANN函数的估计。

第4页，共28页，2023年，2月20日，星期六二、有监督的函数估计(3)已知随机样本矢量对通过实验可以测出实际输出求出E[J]=-然后通过使E[J]最小而修改突触权值来求出f:

其中F是要估计的ANN函数；是输入空间；是输出空间。第5页，共28页，2023年，2月20日，星期六三、监督学习就是有效的训练

有效训练是指，对具有记忆功能的系统，当使用训练样本对其进行学习之后，系统能够记住所学的方法，并能处理类似的问题。对ANN进行有监督的学习就是有记忆功能的系统。也就是说，使用期望输出与实际输出的误差不断校正其突触权值，最终的结果，就是系统具备了一定的功能，训练取得了一定的成效。就像巴普洛夫条件反射试验一样。第6页，共28页，2023年，2月20日，星期六五、感知器学习算法（1）1、感知器拓扑结构

第7页，共28页，2023年，2月20日，星期六五、感知器学习算法（3）

由于层中每个单元只取值+1或-1，因此可将它视作输入模式(k=1,2…m)两个可能的分类。在学习开始时，由各连接权决定的超平面随机地被放到N维空间。随着学习的进行，这个超平面渐渐移动，直到它能将两类模式恰当划分为止。第8页，共28页，2023年，2月20日，星期六五、感知器学习算法（4）3、算法过程从随机的权值开始；反复应用每个训练样例到感知器，只要它误分样例，就修改感知器的权值；重复这个过程，直到感知器正确分类所有的训练样例为止。第9页，共28页，2023年，2月20日，星期六五、感知器学习算法（5）4、具体算法：（1）初始化连接权。将层到层的连接权,i=1,2,…n,j=1,2,…,p及层单元阈值j=1,2,…p赋予[-1，+1]间的随机值。

(2)对每一模式对（，）k=1,…m,完成下面操作：

A、将的值送到层单元，层单元的输出之加权和作为层单元的输入，计算层单元的输出：

第10页，共28页，2023年，2月20日，星期六五、感知器学习算法（6）上式中j=1…p，f(x)为双极阶跃函数B、计算层单元希望输出与实际输出间误差

第11页，共28页，2023年，2月20日，星期六五、感知器学习算法（7）C、调整层单元与层单元之间的连接权式中i=1…n,j=1…p,0<<1(3)重复步骤（2）直到误差（j=1…p且k=1…m）变得足够小或变为0为止。第12页，共28页，2023年，2月20日，星期六五、感知器学习算法（8）5、说明：感知器算法，如果输入模式是线性可分的，学习后能对输入模式正确分类；如果输入模式本身是线性不可分的，那么学习后的网络不能对输入模式正确分类。第13页，共28页，2023年，2月20日，星期六六、LMS算法(1)1、LMS就是最小均方误差算法。它采用的准则函数是均方误差函数。它通过调整单个神经元的权值，以使误差为最小，其数学基础是误差曲面上的梯度下降。其学习过程也是根据教师信号计算其均方误差，由均方误差调整突触向量，如此反复，最后达到学习的目的。第14页，共28页，2023年，2月20日，星期六六、LMS算法(2)2、权值调整公式：其中为下一次权值向量的取值，为现在的权向量，为现在的输入向量，为现在的误差，为系数，为输入向量的模.第15页，共28页，2023年，2月20日，星期六七、反向传播网络学习（1）1、定义：反向传播神经网络（Back-PropagationNetworks）简称BP模型。由于在这一神经网络模型中引入了中间隐含神经元层，所以，标准的BP模型由三个神经元层次组成，分别为输入层、隐层和输出层。各层次之间的神经元形成全互连接，各层次内的神经元之间没有连接。第16页，共28页，2023年，2月20日，星期六七、反向传播网络学习（2）

2、BP算法是通过使代价函数最小化的过程来完成输入到输出的映射。代价函数有多种，但通常在BP算法中，将代价函数定义为期望输出与实际输出的误差平方和。在本算法中，将代价函数（期望输出与实际输出的误差平方和）用与其等价的一般化误差来代替，从而减小了运算量。第17页，共28页，2023年，2月20日，星期六七、反向传播网络学习（3）3、BP算法分成两个阶段第一阶段：正向传播。在正向传播过程中，输入信息从输入层经隐层逐层处理，并传向输出层，获得各个单元的实际输出，每一层神经元的状态只影响下一层神经元的状态。第18页，共28页，2023年，2月20日，星期六七、反向传播网络学习（4）第二阶段：反向传播。如果在输出层未能得到期望的输出，则转入反向传播，计算出输出层各单元的一般化误差，然后将这些误差信号沿原来的连接通路返回，以获得调整各连接权所需的各单元参考误差，通过修改各层神经元的权值，使得误差信号最小。第19页，共28页，2023年，2月20日，星期六七、反向传播网络学习（5）4、BP网络拓扑结构

第20页，共28页，2023年，2月20日，星期六七、反向传播网络学习（6）5、BP算法：（1）初始化。将网络中所有权值及阈值赋予（-1，+1）之间的随机值；（2）对于样本模式对（,）（k=1…m）进行如下操作：

A）将的值送到输入层单元，通过连接权矩阵V送到隐层单元，产生隐层单元新的激活值式中i=1…p,f为S型函数：第21页，共28页，2023年，2月20日，星期六七、反向传播网络学习（7）

B)计算输出层单元的激活值

C)计算输出层单元的一般化误差式中j=1…q,为输出层单元j的期望输出；第22页，共28页，2023年，2月20日，星期六七、反向传播网络学习（8）D)计算隐含层单元对于每个的误差式中i=1…p;上式相当于将输出层单元的误差反向传播到隐含层；

E)调整隐含层到输出层的连接权为学习率，0<<1.第23页，共28页，2023年，2月20日，星期六七、反向传播网络学习（9）F)调整输入层到隐含层的连接权式中h=1…n,i=1…p,0<<1;G)调整输出单元的阈值式中j=1…q;第24页，共28页，2023年，2月20日，星期六七、反向传播网络学习（10）

H)调整隐含层单元的阈值（3）重复步骤（2），直到对于k=1,2,…,m,误差变得足够小或为0为止。

第25页，共28页，2023年，2月20日，星期六七、反向传播网络学习（11）6、BP算法的优点（1）BP算法是一个很有效的算法，许多问题都可由它来解决。BP模型把一组样本的I/O问题变为一个非线性优化问题，使用了优化中最普通的梯度下降法，用迭代运算求解权相应于学习记忆问题，加入隐节点使优化问题的可调参数增加，从而可得到更精确的解。第26页，共28页，2023年，2月20日，星期六七、反向传播网络学习（12）

（2）对平稳系统，从理论上说通过监督学习可以学到环境的统计特征，这些统计特征可被学习系统作为经验记住。如果环境是非平稳的，通常的监督学习没有能力跟踪这种变化，此时