多层神经网络解析课件

第六章多层神经网络第六章多层神经网络16.1引言神经网络定义一个神经网络是一个由简单处理元构成的规模宏大的并行分布式处理器。天然具有存储经验知识和使之可用的特性。神经网络与人脑的相似性：

a.神经网络获取的知识是从外界环境中学习得来。

b.互连神经元的连接强度，即突触权值，用于存储获取的知识。6.1引言神经网络定义神经元模型

a.突触权值

b.加法器—净激活

c.激活函数输入信号突触权值偏置输出求和结点激活函数输入信号突触权值偏置输出求和结点激活函数6.2前馈运算和分类前馈运算定义：

a.无反馈，可用一有向无环图表示。

b.图的节点分为两类，即输入节点与计算单元。

c.每个计算单元可有任意个输入，但只有一个输出，而输出可耦合到任意多个其他节点的输入。前馈网络通常分为不同的层，第i层的输入只与第i-1层的输出相联。

d.输入和输出节点由于可与外界相连，直接受环境影响，称为可见层，而其他的中间层则称为隐层。如图。6.2前馈运算和分类前馈运算定义：激活函数：隐单元对它的各个输入进行加权求和运算而形成标量的“净激活”（netactivation，或简称net）。也就是说，净激活是输入信号与隐含层权值的内积。

下面介绍几种常用的激活函数：符号函数：netk0激活函数：符号函数：netk0netk－0.50.5

分段线性函数：

Ｓigmoid函数：0netk－0.50.5分段线性函数：Ｓigmoid函6.2.1一般的前馈运算显然，我们可以把之前的讨论推广为更多的更多的输入单元、其他的非线性函数、任意多个输出单元。在分类方面，我们有c个输出单元，每个类别一个，每个输出单元产生的信号就是判别式函数gk(x).判别函数如下：6.2.2多层网络的表达能力戈尔莫戈罗夫证明了：只要选取适当的函数，任何连续函数g(x)都呆以定义在单位超立方体上,即可以表示为：可惜的是，上述构造性的描述确实显示任期望函数都可以通过一个三层网络来执行，但它更多的价值在理论方面，而实用意义不大。6.2.1一般的前馈运算显然，我们可以把之前的讨论推广为更6.3反向传播算法误差反向传播学习分为四个过程:

a.模式顺传播：一个输入向量作用于网络感知节点，它的影响经过网络一层接一层的传播。最后，产生一个输出作为网络的实际响应。在前向通过中，网络的突触权为固定的。

b.误差逆传播：在反向通过中，突触权值全部根据误差修正规则调整。

c.记忆训练：反复学习过程，也就是根据教师示教的希望输出与网络实际输出的误差调整连接权的过程。

d.学习收敛：网络全局误差收敛于极小值的过程。6.3反向传播算法误差反向传播学习分为四个过程:

神经元j的输出神经元j的净激活连接权初始化学习模式提供给网络计算输出层的输入输出模式顺传播:

神经元j的输出神经元j的净激活连接权初始化学习模式提供给网络误差传播阶段（1）计算训练误差：（2）按与LMS算法类似的方式对突触权值w应用一个修正值隐含层到输出层学习规则：输入层到隐含层学习规则：

误差传播阶段更新学习模式计算输出层各神经元的误差计算隐含层各神经元的误差调整输出层到隐含层的连接权调整隐含层到输入层的连接权更新学习次数判断误差或学习次数更新学习模式计算输出层各神经元的误差计算隐含层各神经元的误差6.3.3

BP网络——学习曲线6.3.2训练协议

广义地说，有监督的训练就是给出一个类别标记已知的模式——训练集——找到网络输出，并调整权值以使实际输出更加接近于期望的目标值。三种最有用的“训练协义”是：随机训练、成批训练和在线训练。6.3.3BP网络——学习曲线6.3.2训练协议

6.4误差曲面小型的网络：6.4误差曲面小型的网络：

较大型的网络：

高维空间里局部极小值问题有所不同：在学习中，高维空间可以给系统提供更多的方式（维数、或自由度）以“避开”障碍或局部极小值。权值数越过剩，网络越不可能陷入局部极小值。但存在过拟和问题。关于多重极小：

局部极小问题，当误差较低时，非全局极小是可以接受的。关于多重极小：6.5反向传播作为特征映射隐含层到输出层是一个线性判别函数，多层神经网络所提供的新的计算能力可以归因于输入层到隐含层单元上的表示的非线性弯曲能力。随着学习的进行，输入层到隐含层的权值在数量上增加，隐含层单元的非线性弯曲扭曲了从输入层到隐含层单元的空间映射。6.5反向传播作为特征映射隐含层到输出层是一个线性判别函数6.6反向传播、贝叶斯理论及概率贝叶斯理论与神经网络尽管多层神经网显得有点专门化，我们可以证明，当采用均方差准则进行反向传播训练，且样本数量趋于无穷极限时，多层神经网可产生一个相应于贝叶斯理论判别函数的最小二乘判别。

作为概率的输出实际生活时常不满足无限个训练数据，这时可以作概率逼近。其中一个方法是softmax方法，即选择指数型的办理出单元非线性函数，并对每种模式将输出和归一化为1.0,并用0-1目标信号进行训练：

6.6反向传播、贝叶斯理论及概率贝叶斯理论与神经网络投影寻踪回归：广义叠加模型：多元自适应回归样条（MARS）：6.7相关统计技术投影寻踪回归：6.7相关统计技术6.8改进反向传播的一些实用技术激活函数

BP网络中每一个神经元的需要关于神经元的激活函数的导数知识。要导数存在，则需要函数连续。常用的例子为sigmoid函数，主要有两种形式：

1.logistic函数

2.双曲正切函数6.8改进反向传播的一些实用技术激活函数冲量项

实验表明：增加隐含层的层数和隐含层神经元个数不一定总能够提高网络精度和表达能力。

BP网一般都选用三层网络。冲量项权值初始化

a.初始权值的选择对于局部极小点的防止和网络收敛速度的提高均有一定程度的影响，如果初始权值范围选择不当，学习过程一开始就可能进入“假饱和”现象，甚至进入局部极小点，网络根本不收敛。

b.在前馈多层神经网络的BP算法中，初始权、阈值一般是在一个固定范围内按均匀分布随机产生的。一般文献认为初始权值范围为-1～＋1之间，初始权、阈值的选择因具体的网络结构模式和训练样本不同而有所差别，一般应视实际情况而定。

c.本书中考虑有d个输入单元，假设用相同的分布初始化权值，那么输入权值的范围为：

d.隐含层输出权值：权值初始化学习率学习率参数越小，从一次迭代到下一次迭代的网络突触权值的变化量就越小，轨迹在权值空间就越光滑。然而，这种改进是以减慢学习速度为代价的。另一方面，如果我们让的值太大以加速学习速度的话，结果有可能使网络的突触权值的变化量不稳定。学习率冲量项一个既要加快学习速度又要保持稳定的简单方法是修改delta法则，使它包括冲量项（惯量项）：

a是冲量常数，通常是正数。冲量项权值衰减

网络的权值大致分两类：对网络具有很大影响的权值和对网络影响很少或者根本没有影响的权值。后者常常造成网络推广性差。复杂性正则化的使用鼓励多余权值取得接近0，提高泛化能力。

训练方式

a.随机训练：模式是随机地从训练集中取出的，权值也根据不同的模式进行更新b.成批训练：所有的模式已在训练之前全部送往网络中。

c.在线训练：每种模式只提供一次，不需要存储器来保存模式权值衰减训练方式误差准则函数原来的平方误差准则是最常见的训练准则，然而，其他的训练准则有时候也有一些好处。下面介绍两个有用的准则函数：

互熵（crossentropy）：（可用来度量概率分布间的“距离”）基于闵可夫斯基误差：可通过选择R值来调节分类器的局部性：R值越小，分类器的局部性越强。误差准则函数牛顿法：在梯度下降中使用牛顿法，可利用下式迭代计算w的值：

（其中H为赫森矩阵）Quickprop算法:

Quickprop算法中权值假设为独立的。可以证明，这种方法可导出如下的权值更新规则：

其中的导数是由m和m-1次迭代估计得出6.9二阶技术牛顿法：6.9二阶技术共轭梯度法共轭条件：，其中H为赫森矩阵

在第m步的下降方向是梯度方向加上一个沿着前面的下降方向的元素：

各项间的相互比例由控制。通常它可以用如下两个公式中的一个来计算：

Fletcher-Reeves:Polak-Ribiere:共轭梯度法径向基函数网络径向基函数（radialbasisfunction，RBF）网络的设计可以看作是一个高维空间中的曲线拟和（逼近）问题。这里考虑插值函数（内核）的通用形式，该函数的变量是从中心到输入变量的欧氏距离，称为RBF。函数可以有多种形式，例如：6.10其他网络和训练算法径向基函数网络6.10其他网络和训练算法卷积网络卷积网络递归网络递归网络级数相关