多层神经网络.x-

第第页多层神经网络.pptx1、第六章多层神经网络6.1引言神经网络定义一个神经网络是一个由简洁处理元构成的规模宏大的并行分布式处理器。自然 具有存储阅历学问和使之可用的特性。神经网络与人脑的相像性：a.神经网络获取的学问是从外界环境中学习得来。b.互连神经元的连接强度，即突触权值，用于存储获取的学问。生物神经元示意图神经元在结构上由细胞体、树突、轴突和突触四部分组成。1.细胞体(cellbody)神经元的主体，由细胞核、细胞质和细胞膜3部分组成。细胞体的外部是细胞膜，将膜内外细胞液分开。由于细胞膜对细胞液中的不同离子具有不同的通透性，这使得膜内外存在着离子浓度差，从而出现内负外正的静息电位。这种电位差称为膜电位。2.树突(dendrite)从细胞体向外延长出很多突起的神经纤维。负责接收来自其他神经元的输入信号

2、，相当于细胞体的输入端(input)。3.轴突(axon)由细胞体伸出的最长的一条突起称为轴突。轴突比树突长而细。轴突也叫神经纤维，末端处有许多细的分支称为神经末梢，每一条神经末梢可以向四面八方传出信号，相当于细胞体的输出端(output)。4.突触(synapse)一个神经元通过其轴突的神经末梢和和另一个神经元的细胞体或树突进行通信连接，称为突触。人工神经网络神经网络的进展基本功能应用领域神经元模型a.突触权值b.加法器—净激活c.激活函数输入信号突触权值偏置输出求和结点激活函数6.2前馈运算和分类前馈运算定义：a.无反馈，可用一有向无环图表示。b.图的节点分为两类，即输入节点与计算单元。c.每个计算单元可有任意个输入，但只有一个输出，而输出可耦合到任意多

3、个其他节点的输入。前馈网络通常分为不同的层，第i层的输入只与第i-1层的输出相联。d.输入和输出节点由于可与外界相连，直接受环境影响，称为可见层，而其他的中间层则称为隐层。如图。每一个二维输入向量都提供给输人层，而每一个输入单元的输出结果则等于输入向量中对应的那个重量。隐单元对它的各个输入进行加权求和运算而形成“净激活〔netactivation〕”简称为net。为简洁起见，我们增广输入向量和权向量可将净激活写成如下形式下表i是输入层单元的索引值，j是隐含层单元的索引，表示输入层单元i到隐含层单元j的权值，，类比于神经元，这种权被称为“突触”，连接的值叫“突触权”。每一个隐含层单元激发出一个输出重量，这个重量是它激活的非线性函数，常用的激活函数符号函数：netk0netk－0.

4、50.5分段线性函数：Ｓigmoid函数：0最简洁的神经网络-单层感知器单层感知器拓扑结构单层感知器仅对线性问题具有分类能力线性问题：简洁来讲，就是用一条直线可分的图形。比方：1.规律“与”2.规律“或”我们可以用一条直线来分隔0和1。规律“与”的真值表及二维样本分类图规律“或”的真值表及二维样本分类图为什么感知器就可以解决线性问题呢？这是由它的传递函数确定的。这里以两个输入重量x1和x2组成的二维空间为例，此时节点j的输出为所以，方程确定的直线就是二维输入样本空间上的一条分界线“异或”的真值表及二维样本分类图假如要让它来处理非线性的问题，单层感知器网就无能为力了。例如下面的“异或”，就无法用一条直线来分割开来，因此单层感知器网就没方法实现“异或”的功能。解决异或问题的多层感知器

5、输入层隐含层输出层6.2.1一般的前馈运算明显，我们可以把之前的商量推广为更多的更多的输入单元、其他的非线性函数、任意多个输出单元。在分类方面，我们有c个输出单元，每个类别一个，每个输出单元产生的信号就是判别式函数gk(x).判别函数如下：6.2.2多层网络的表达能力戈尔莫戈罗夫证明了：只要选取适当的函数，任何连续函数g(x)都呆以定义在单位超立方体上,即可以表示为：惋惜的是，上述构造性的描述的确显示任期望函数都可以通过一个三层网络来执行，但它更多的价值在理论方面，而有用意义不大。虽然一个两层网络分类器只能实现一个线性判决边界，假如给出足够数量的隐单元，三层，四层及更多层网络就可以实现任意的判决边界6.3反向传播算法〔BP算法〕怎样训练输入层到隐含层的权值？反向传播算法允许我们

6、对每一个隐单元计算有效误差，并且由此推导出一个输入层到隐含层权值的学习法则关键问题：依据训练样本和期望输出来设置合适的权值神经元j的输出神经元j的净激活连接权初始化学习模式提供给网络计算输出层的输入输出模式顺传播:对于隐层利用式〔11〕可得随机反传算法6.3.2训练协议1.随机训练：模式积累地从训练集中取出，网络权值也依据不同的模式进行更新2.成批训练：全部模式在训练之前全部送往网络中。3.在线训练：每种模式只提供一次，不需要存储器来保存模式目前我们只考虑了训练集中单个模式的的误差，但事实上我们要考虑一个定义在训练集里所以模式的误差。我们可以吧这个总训练误差写成n个单独模式误差的总和在随机训练中，一个权值的更新可能削减某个单模式的误差，然而却增加了训练全集上的误差。但是假如大量

7、的这种单词更新，却可以降低上述的总误差成批反传算法权值在全部模式出现一次后才更新学习曲线显示的是误差准则函数作为训练总量的一个函数。每个模式的“验证误差”和“测试误差”事实上总是比“训练误差”大。在有些协议中，训练在验证集误差最小的时候停止。〔比方图中靠近5的位置〕6.3.3BP网络——学习曲线6.3.4误差曲面网络初始权值随机，通过随机训练，误差降到全局微小值。这里存在一个低误差的解，它对应的判决边界把训练点正确的分为两类。这里误差曲面有一个单一微小值。误差曲面上不同的平坦区域粗略的对应不同数量的恰当分类面模式；这个例子中错误分类的模式的数目最大是4.用上面的三层非线性网络来解决一个一维线性不行分问题。可以发觉误差曲面总比上图的稍高一些，因为无论怎么分都会导致一个模式被错误分

8、类。从曲面上可以看到两种形式的微小误差解；分别对应-2x-1和1x2,其中一个模式被误分。通过这些例子能清晰的显示出权值，判决边界以及误差之间的对应关系。可以发觉当存在一组权对应几乎相同的判决边界时就会出现平坦区。6.4.3较大型的网络高对于一个具有许多权值，解决较冗杂的高维分类问题的网络，随单个权值的改变，误差的改变将十分缓慢。尽管低维空间里局部微小值特别多，高维空间里局部微小值却不同：在学习过程中，高维空间可以给系统提供更多的方式〔维数，自由度〕以“避开”障碍或局部极大值。权值个数越过剩，网络越不行能陷入局部微小值。6.4.4关于多重微小在高维权值空间中，找到一个全局微小值的可能性很小，我们不盼望网络陷入具有高的训练误差的局部微小值，在许多问题

9、中，当误差较低时，非全局微小是可以接受的。6.5反向传播作为特征映射6.5.1隐含层的内部表示-权值底部图为一个二维两类非线性可分分类问题的7种模式。左上图是一个已经把误差训练到全局微小值的2-2-1S型网络〔含偏置〕的隐单元表示。右上图是模拟一个完全训练的2-3-1网络。由于隐含层的高维表示能力，如今类别变的线性可分，学习过的隐含层到输出层的权值的确得出了一个将类别分开的平面右图所示为输入层到隐含层的权值，显示为图像，用来完成简洁的字符识别。上部的图形表示的是从用来训练对3个字符进行分类的64-2-3S型网络的训练集中选出的一些模式。下部的图形显示的是训练后两个隐单元的输入层到隐含层的权值。但是在大型网络中，这些学习后的权值的模式却很难用上述方式解释。6.6反向传播贝叶斯理论及

10、概率6.10其他网络和训练算法6.10.1径向基函数网络正则化RBF网络的学习算法6.10.3匹配滤波器如何对某个特定的已知模式设计一个最优检测器？6.10.4卷积神经网络卷积神经网络(ConvolutionalNeuralNetwork,CNN)是人工神经网络的一种，已成为当前语音分析和图像识别领域的讨论热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的冗杂度，削减了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避开了传统识别算法中冗杂的特征提取和数据重建过程。CNN是第一个真正胜利训练多层网络结构的学习算法。它利用空间关系削减需要学习的参数数目以提高一般前向BP算法的训练性能。在CNN中，图像的一小部分〔局部感受区域

11、〕作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允