关于前馈网络的综述ppt课件

1、 关于前馈网络的综述关于前馈网络的综述n引言引言神经网络计算的最显著的才干是可以进展监视神经网络计算的最显著的才干是可以进展监视式学习式学习(supervised learning)(supervised learning)，而能逼近恣，而能逼近恣意意BorelBorel可测函数的多层前馈可测函数的多层前馈(feedforward)(feedforward)网网络那么是实现这种学习的典型网络。作为前馈络那么是实现这种学习的典型网络。作为前馈网络的代表，反向传播网络网络的代表，反向传播网络(BP)(BP)在在19861986年的文年的文献提出后，因其概念的明晰和简单而引起了广献提出后，因其概念的

2、明晰和简单而引起了广泛留意；另一方面，作为网络学习的一种优化泛留意；另一方面，作为网络学习的一种优化算法，误差的反向传播机理早在算法，误差的反向传播机理早在19741974年文献就年文献就已发现，惋惜未引起留意，因此，已发现，惋惜未引起留意，因此，Werbos Werbos 以以为，为，BPBP称为多层感知器称为多层感知器 (MLP) (MLP)更为适宜。更为适宜。 MLP MLP的两个最明显的弱点是缓慢的收敛速的两个最明显的弱点是缓慢的收敛速度和对数法参数度和对数法参数( (如学习因子如学习因子) ) 的依赖性。自的依赖性。自MLPMLP问世以来，许多研讨试图经过对训练算法问世以来，许多研讨

3、试图经过对训练算法的进一步优化以处理上述的进一步优化以处理上述 问题，多数被冠以“加速技术，引入了诸如递推最小二乘法，共轭梯度法和扩展Kalman滤波等技术；与此同时，不少学者将MLP与各自的背景相结合，对前馈网络的构造进展了改造，提出了诸如子波网络，模糊网络和径向基函数等网络。 与围绕MLP的研讨相对照的是关于CMAC的研讨。CMAC能进展快速学习并具有某种程度的插值和逼近才干，但是，在1975年由Albus提出后的很长一段时间内被忽视了，直到近年来才逐渐得到注重，其中，最具有代表性的任务是由Miller等从1987年开场的关于机器人控制的研讨，其他研讨如过程控制，及学习收敛性的分析。 训练

4、算法，网络构造，和输入信息的表达是影响前馈网络学习性能的三个主要因数，输入信号的表达 决议着网络和训练样本集的大小，通常，在保证样本的特征性前提下应使样本数尽量减少，以使训练更容易进展。一旦样本集确定，训练算法和网络构培育成为决议网络性能的内在要素。下面将从这两个方面对前馈网络进展论述和分析。 1 训练算法 MLP的训练算法可分为两种，即批处置方式(batch-mode)和顺序处置方式(sequential-mode)。在批处置方式中，权值的修正只在对 训练样本集中的一切样本都处置过才进展，而顺序处置是对样本进展逐个学习,所以，有时也称为“在线学习方式。无论批处置还是顺序处置，都要用到误差性能

5、目的(E)的梯度，其中，(E)是指网络实践呼应与期望输出之间的差别，通常用对各个样本的误差的平方和来表示。 1.1 批处置算法 优化算法的一种常用分类方法是根据“阶来确定，即 的导数的阶次。第一类算法只用到 本身而毋需导数信息，如“多面体 (polytope)算法，其主要问题是如何使多面体不退变；第二类也称一阶算法，用到 的一阶导数，典型例子是“最速下降法和共轭梯度法.二者都近似线性收敛，但后者的收敛速度更快些，共轭梯度法的一个主要优点是不需求诸如学习因子等训练参数；第三类是以牛顿法为代表的二阶算法，由于需求计算复杂的Hessian矩阵，因此应遭到限制，于是有学者提出用修正的Cholesky分

6、解法来构造不确定的Hessian矩阵以简化计算。 由于求解二阶导数通常比较复杂且比较费时，于是就有了一些简化算法，如正割法 (或称准牛顿法)和一步正割法(OSS)，其中，OSS法可以说是正割法与共轭梯度法的一个折中。另外，为改善算法的全局收敛性，“跳蛙(leap-frog) 算法提供了一种可避开部分最优的基于梯度法的优化算法。 1.2 顺序处置算法 在这种方式中，网络权值的修正是随着样本的逐个出现而逐渐进展的，因此，各样本或多或少会有些误导作用，所以，在很大程度上可以说是随机梯度下降法的变形。顺序处置法的关键问题是，每一次权值的修正应该多大才干使 下降的“步长最为适宜？假设“步长不够小，在总体

7、上反而会上升，但假设太小，收敛时间又会很长。 为处理这个问题，Barnard以为有以下三种途径：训练的不同时辰采用不同的步长，并自顺应调整；对不同的网络参数 (如权值)采取不同的修正步长；引入“动量项(momentum)。 实践情况是，这几种方法经常混合一同运用，而且，大多数顺序处置方法都能很方便地用于对样本集的批处置。另外一些有效的算法如采用递推最小二乘和扩展Kalman滤波的训练算法。 2 网络构造 自MLP和CMAC问世以来，许多学者从各个不同的领域出发，提出了一系列的网络模型，比较典型的有，高阶网(HONN)，函数衔接网( FL)，随机向量函数衔接网(RVFL)，幂级数网(POWER)

8、，径向基函数网( RBF)，模糊神经网络(FNN)，子波网(WLN)，和部分衔接的多层感知器(PCMLP)等，上述各种网络的开展框架可用图(1)来阐明。 图1 前馈网络的开展框架感知器CMACMLPFLRBFFNNWLNPOWERPCMLPHONNRVFL 2.1 MLP，CMAC与PCMLP nMLP和CMAC都源于感知器(perceptron).nMLP和CMAC在构造和算法上都有较大差别。n 构造上: 前馈网络的两种不同的设计思想，n 全局性设计和部分性设计，nMLP全局性网络的代表，输出受一切权值的影响，因此学习缓慢而较适宜于对固定样本集的学习；nCMAC作为部分性网络的代表，输出在任

9、何时辰只与部分权值(即一个子网络)相关，所以学习较快而更适宜于实时控制。n当样本在部分区域存在较大差别时，MLP的训练通常变得困难，而CMAC那么能较好地处置这种学习的部分性问题。n在算法上MLP实现从输入到输出的“一到一的映射，而CMAC的每个子网络只能实现从每个输入子空间到输出的“多到一的映射，这是一种类似于A/D转换的映射关系，因此存在着“分辨率(resolution)的问题。 nPCMLP (Partly Connected Multi-Layer Perceptron) 是结合MLP和CMAC的各自特点而提出的n它由多个既相互关联又相对独立的子网络构成。PCMLP采用类似于CMAC确

10、定存储单元地址的方法来确定各子网络的隐单元在整个隐含层中的位置，而各子网均采用MLP或其变形。这样，从整体上讲，PCMLP是一种部分性网络，而对各个输入子空间又实现“一到一的映射，因此在对固定样本集和对复杂系统的学习控制中都表现出良好的学习性能。 2.2 HONN与FL，RVFL，和POWER网 常规的前馈网络(如MLP)的内部表达方式均采用一阶节点并运用诸如反向传播算法的学习规那么，其第I个节点的输出可由下式表达：其中，x=X(j)是输入向量，W(I,j)代表权值，N是输入变量个数，而 那么为sigmoid函数。HONN采用如下式表示的高阶节点，)(),()(jXjiwsxnjiy)1( S

11、 jjjikXkjijXjiiSxwwwy)(),()(),()()(210)2( FL，RVFL，和POWER网都源于高阶网络，但其构造都与常规的MLP有所不同。在图2所示的网络中，原先的隐含层都下移作为加强的输入节点，并且在原来的输入节点和输出节点之间添加了直接结合。 FL最初是为了学习时间顺序而设计的。图2中，Xk代表第K时辰的形状。网络输出为，RVFL那么是在FL的根底上，引入随机向量实际而构造的，网络的输出为， 其中， 为第个个输出节点相关的极向量， 为相互加强节点的阀值， 为sigmoid函数，与常规网络的不同之处在于，加强节点的参数向量 不是经过学习而是随机产生的。 mjimjN

12、jjiijkXjkXjkXy1,111)3(iNjJjjjNjjiiibaXyxg,11)()4(ji bj g aj 图2 FL、RVFL和POWER网的原理图xxxx10201kxxxkx22011xx201xxxNmkx22011 ba1121g1xkxkxxxbaxxxgkxkx220221 2 1RVFLPOWERFL2221baxxJJxgyii 1i2jiji POWER网的根本思想是，经过一个幂级数展开式来表示恣意一个函数，输入节点的个数就等于该展开式的项数所以，对于一个具有两个输入变量的系统，假设用二阶幂级数表示，那么其输出为， 由于都用到高阶节点，并且采用一样的网络构造，所

13、以，FL，RVFL，和POWER网表现出很大的类似性。ibjjjjijjjijjkklliklixxxxxxxxwxxy,2202120, 3212200122,1,2,1 5 2.3 RBF，FNN和小波网 这三种网络是从不同的背景提出的。小波网络(WLN)基于小波(wavelet)变换实际，并采用BP类的学习方法；FNN基于模糊集合实际，是模糊规那么的网络化表现；关于RBF的出处，有一些不同的看法，poggio等以为RBF源于经典逼近实际中的调整(regularization)算法，而如今通常说的Gaussian型的RBF只是一种特例，Amari那么以为RBF和MLP同属随机梯度下降法。

14、虽然源于不同的实际，产生于不同的年代，但是，无论在构造和算法上，它们都表现出极大的类似性。 一维情况。当只需一个输入变量时，这三种网络都可以用图(3)来表示(图中只保管x1)，它们的前向计算法如下： RBF： FNN：WLN：其中，对于RBF和FNN，取为零。显然，对于一维情况，三者的差别仅在于激发函数的略为不同，RBF和FNN都采用“Gaussian型函数，且在FNN的一个扩展方式ANFIS中，激发函数同样可取为(7)的方式，而WLN那么采用Gaussian的导数方式。jjjxgwy)(1 0,exp121cbaxcxgjjjjj baxxgjjj121exp baxbaxxgjjjjj12

15、1121exp 6 7 8 9 图 (3) RBF和WLN原理图+gix1x2wj 二维情况。当有两个输入变量时，RBF和WLN仍采用图(3)的网络构造，而FNN的构培育不同了。如图(4)所示，假设变量x1和x2分别有N1和N2个模糊子集，那么，总的隐节点数，也即模糊规那么总数N就是， 假设x1的第i个子集与x2的第k个子集构成第j条规那么，那么，其中， 和 仍采用式(8)的方式，为模糊算子，可以为“与，“或，或者“算术乘等。RBF和WLN的隐节点个数就不存在式(10)所示的关系，其第j个隐节点的输出表示为，其中， 仍为式(7)和式(9)的方式，“为算术乘。NNN2110 xgxgxxgjkj

16、ij2121, 11 gji gjk xgxgxxgjjj2121,12 gj 图4 FNN原理图二维gjkgjigi+yx1x2 多维情况。当有三个或以上的输入变量时，由于子波变换基函数选折的困难，因此子波网未见运用报导，而RBF和FNN那么是二维情况的推行。FNN的扩展方式有ANFIS和弹性模糊逻辑(EFL)，有关RBF的新的研讨是关于其中心点的个数和分布方面的任务。 RBF，FNN和子波网代表着一类采器具有中心点的激发函数(Gaussian及其导数)的部分性网络，因此能较好的处置样本在部分区域的突变性，这是采用sigmoid函数的MLP的缺乏之处。中心点和模糊子集的引入，其实是将输入空间

17、进展子空间的划分，这与前面引见的CMAC和PCMLP有很类似，因此充分思索网络的部分性，对改善学习性能是有益的。 3 讨论 从训练算法和网络构造两方面对前馈网络进展了引见和分析，由于资料和篇幅的局限，不能够涉及全部，而只能就其最具代表性的进展讨论。另外，只适宜于模糊识别的网络也不在讨论范围之内。 目前，前馈网络研讨所需思索的问题主要有以下几个方面：现行的各种优化算法缺乏生物学根据。目前普遍以为，生物学上的神经网络并不实行“反向传播，并且，对学习中能否有一个优化过程也尚不清楚。这就引出这样一个问题，既人工神经网络能否要与自然神经网络完全一致？假设可以不一致，那么就给研讨者更多的自在度去探寻各种优化算法；训练过度(overtraining)问题。这是指，网络参数和训练次数的添加有