《人工神经网络II》ppt课件

1、Artificial Neural Networks ANN第六章 人工神经网络(II)内 容前向神经网络模型前向神经网络用途前向神经网络训练BP算法前向神经网络多层前向网络一个M层的多层前向网络可描画为：网络包含一个输入层定义为第0层和M-1个隐层，最后一个隐层称为输出层；第 l 层包含 个神经元和一个阈值单元定义为每层的第0单元，输出层不含阈值单元； lN前向神经网络第 层第 个单元到第个单元的权值表为 ；第 层 0第 个 0神经元的输入定义为 ，输出定义为 ，其中 为隐单元鼓励函数，常采用Sigmoid函数，即 。输入单元普通采用线性鼓励函数 ，阈值单元的输出一直为1； 1lillij,

2、1lljj101,1lNilillijljyx)(ljljxfy )(f1)exp(1 )(xxfxxf)(前向神经网络x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn前向神经网络用途弄这么个东西有用么？怎样用呢？前向神经网络用途用途非常广泛非线性映照才干：神经网络能以恣意精度逼近任何非线性延续函数。在建模过程中的许多问题正是具有高度的非线性。并行分布处置方式：在神经网络中信息是分布储存和并行处置的，这使它具有很强的容错性和很快的处置速度。自学习和自顺应才干：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化才干，即将这组权值运用于普通情形的

3、才干。神经网络的学习也可以在线进展。多变量系统：神经网络的输入和输出变量的数目是恣意的，对单变量系统与多变量系统提供了一种通用的描画方式，不用思索各子系统间的解耦问题。前向神经网络用途Bool 函数任何bool函数都可以用一个单隐层的网络来表示但是能够要求指数级的隐层单元个数延续函数每一个有界的延续函数都可以有一个两级的网络以恣意小的误差在有限的范数下逼近恣意函数恣意函数都可以被一个由三级的网络以恣意精度逼近前向神经网络训练神经网络的训练给定一组样本，即一组神经网络的输入输出，不断调整网络中的权重使得网络最终可以很好的满足样本所给定的输入输出关系。最根本的算法: BP算法其它方法Hebb学习概

4、率式学习竞争学习前向神经网络训练本质：优化如下目的函数 其中P为样本数， 为第p个样本的第j个输出分量。是理想输出和实践输出的误差函数 PpNjpjMpjPppMtyEE112,1,11)(21pjt,BP算法BP算法-前向网络的训练算法BP算法的出现1974年，Werbos已提出了该方法1982年，Paker完成了类似的任务UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描画BP算法算法实施过程根据输入输出形状维数决议网络的输入层和输出层神经元的个数根据问题特点和阅历决议隐层层数和神经元个数普通选择 M=2设定网络的初始参数按

5、照梯度下降法极小化目的函数，逐渐伐整权重矩阵直到称心为止梯度下降算法)(minxf,.1 , 0 ),()() 1(kkxfkxkx求解函数优化问题可按照如下公式迭代其中序列初值任取BP算法PplpilpjllijllijllijllijkykkkEkk11, 1, 1, 1, 1)()()()(/)()1(1111,1 , 2),()()(1),()()(lNmljmlpmlpjlpjpjlpjlpjMlkkkxfMlkxftkyk梯度下降法BP算法特点：网络权重的调理上用的是梯度下降算法容易推行到恣意有向网络训练的时候迭代的次数能够很多，慢训练后运用网络会非常快问题收敛性和部分极小值过拟和

6、的问题:指网络训练精度很高,但推行检验样本精度较差,也称为网络的泛化才干差算法设计输入/输出变量确实定及其数据的预处置网络的输入变量即为待分析系统的内生变量影响因子或自变量数，普通根据专业知识确定。假设输入变量较多，普通可经过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。输出变量即为系统待分析的外生变量系统性能目的或因变量，可以是一个，也可以是多个。普通将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。算法设计样本数据搜集和整理分组采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本

7、。为训练过程使之不发生“过拟合和评价建立的网络模型的性能和泛化才干，必需将搜集到的数据随机分成训练样本、检验样本10%以上和测试样本10%以上3部分。此外，数据分组时还应尽能够思索样本方式间的平衡。算法设计 由于采用Sigmoid转换函数，为提高训练速度和灵敏性以及有效避开Sigmoid函数的饱和区，普通要求输入数据的值在01之间。因此，要对输入数据进展预处置。假设输出层节点也采用Sigmoid转换函数，输出变量也必需作相应的预处置，否那么，输出变量也可以不做预处置。 预处置的方法有多种多样，各文献采用的公式也不尽一样。预处置的数据训练完成后，网络输出的结果要进展反变换才干得到实践值。为保证建

8、立的模型具有一定的外推才干，最好使数据预处置后的值在0.20.8之间。算法设计隐层数普通以为，添加隐层数可以降低网络误差也有文献以为不一定能有效降低，提高精度，但也使网络复杂化，从而添加了网络的训练时间和出现“过拟合的倾向。应优先思索3层BP网络即有1个隐层。普通地，靠添加隐层节点数来获得较低的误差，其训练效果要比添加隐层数更容易实现。对于没有隐层的神经网络模型，实践上就是一个线性或非线性取决于输出层采用线性或非线性转换函数型式回归模型。因此，普通以为，应将不含隐层的网络模型归入回归分析中，技术已很成熟，没有必要在神经网络实际中再讨论之。算法设计隐层节点数隐层节点数的选择非常重要，它不仅对建立

9、的神经网络模型的性能影响很大，而且是训练时出现“过拟合的直接缘由，但是目前实际上还没有一种科学的和普遍确实定方法。目前多数文献中提出确实定隐层节点数的计算公式都是针对训练样本恣意多的情况，而且多数是针对最不利的情况，普通工程实际中很难满足，不宜采用。确定隐层节点数的最根本原那么是：在满足精度要求的前提下取尽能够紧凑的构造，即取尽能够少的隐层节点数。研讨阐明，隐层节点数不仅与输入/输出层的节点数有关，更与需处理的问题的复杂程度和转换函数的型式以及样本数据的特性等要素有关。算法设计在确定隐层节点数时必需满足以下条件：隐层节点数必需小于N-1其中N为训练样本数，否那么，网络模型的系统误差与训练样本的

10、特性无关而趋于零，即建立的网络模型没有泛化才干，也没有任何适用价值。同理可推得：输入层的节点数变量数必需小于N-1。训练样本数必需多于网络模型的衔接权数，普通为210倍，否那么，样本必需分成几部分并采用“轮番训练的方法才能够得到可靠的神经网络模型。算法设计折衷选择假设隐层节点数太少，网络能够根本不能训练或网络性能很差；假设隐层节点数太多，虽然可使网络的系统误差减小，但一方面使网络训练时间延伸，另一方面，训练容易堕入部分极小点而得不到最优点，也是训练时出现“过拟合的内在缘由。合理隐层节点数应在综合思索网络构造复杂程度和误差大小的情况下用节点删除法和扩张法确定。算法设计迄今为止还没有构造性结论，即

11、在给定有限个训练样本的情况下，如何设计一个合理的BP网络模型并经过向所给的有限个样本的学习训练来称心地逼近样本所蕴含的规律函数关系，不仅仅是使训练样本的误差到达很小的问题。经过训练样本的学习训练建立合理的BP神经网络模型的过程，在国外被称为“艺术发明的过程，是一个复杂而又非常烦琐和困难的过程。 算法设计学习率学习率影响系统学习过程的稳定性。大的学习率能够使网络权值每一次的修正量过大，甚至会导致权值在修正过程中超出某个误差的极小值呈不规那么腾跃而不收敛；但过小的学习率导致学习时间过长，不过能保证收敛于某个极小值。所以，普通倾向选取较小的学习率以保证学习过程的收敛性稳定性，通常在0.010.8之间

12、。算法设计初始衔接权值误差函数普通存在很多个部分极小点，不同的网络初始权值直接决议了BP算法收敛于哪个部分极小点或是全局极小点。要求计算程序必需可以自在改动网络初始衔接权值。由于Sigmoid转换函数的特性，普通要求初始权值分布在-0.50.5之间比较有效。算法设计网络模型的性能和泛化才干训练神经网络的首要和根本义务是确保训练好的网络模型对非训练样本具有好的泛化才干推行性，即有效逼近样本蕴含的内在规律，而不是看网络模型对训练样本的拟合才干。从存在性结论可知，即使每个训练样本的误差都很小可以为零，并不意味着建立的模型已逼近训练样本所蕴含的规律。仅给出训练样本误差通常是指均方根误差RSME或均方误

13、差、AAE或MAPE等的大小而不给出非训练样本误差的大小是没有任何意义的。算法设计 分析模型泛化才干，应该也必需用非训练样本误差的大小来表示和评价。判别建立的模型能否已有效逼近样本所蕴含的规律,最直接和客观的目的是从总样本中随机抽取的非训练样本检验样本和测试样本误差能否和训练样本的误差一样小或稍大。非训练样本误差很接近训练样本误差或比其小，普通可以为建立的网络模型已有效逼近训练样本所蕴含的规律。算法设计由于训练样本的误差可以到达很小，因此，用从总样本中随机抽取的一部分测试样本的误差表示网络模型计算和预测所具有的精度网络性能是合理的和可靠的。判别网络模型泛化才干的好坏，主要不是看测试样本误差大小

14、的本身，而是要看测试样本的误差能否接近于训练样本和检验样本的误差。算法设计合理网络模型确实定对同一构造的网络，由于BP算法存在很多个部分极小点，因此，必需经过多次通常是几十次改动网络初始衔接权值求得相应的极小点，才干经过比较这些极小点的网络误差的大小，确定全局极小点，从而得到该网络构造的最正确网络衔接权值。算法设计收敛误差界值在网络训练过程中应根据实践情况预先确定误差界值。误差界值的选择完全根据网络模型的收敛速度大小和详细样本的学习精度来确定。中选择较小时，学习效果好，但收敛速度慢，训练次数添加。获得较大时那么相反。算法改良 由于BP网络采用误差反传算法，其本质是一个无约束的非线性最优化计算过程，在网络构造较大时不仅计算时间长，而且很容易限入部分极小点而得不到最优结果。目前已有改良BP法、遗传算法GA和模拟退火算法等多种优化方法用于BP网络的训练。题 目： 基于自顺应BP神经网络的构造损伤检测 题 目： 基于BP神经网络的企业技术创新才干评价及