第5章 人工神经网络_matlab工具箱

1、模式识别讲义模式识别讲义第第5章章 人工神经网络人工神经网络嘉应学院 matlab神经网络工具箱神经网络工具箱l0 引例引例:神经网络函数拟合神经网络函数拟合(预测预测)l1 matlab神经网络工具箱神经网络工具箱l2 人工神经网络人工神经网络(ANN)简介简介l3 前馈神经网络前馈神经网络(BP网络网络)l4 实例：多元神经网络预测实例：多元神经网络预测l5 实验：神经网络分类实验：神经网络分类试构造合适的神经网络模型拟合如下数据点试构造合适的神经网络模型拟合如下数据点,并预测并预测x=10的值的值:x00.511.522.533.544.5y00.430.690.740.610.360.

2、08-0.17-0.34-0.4x55.566.577.588.599.5y-0.35-0.23-0.080.060.160.210.20.150.07-0.01lx=0:0.5:9.5;ly=0, 0.43, 0.69, 0.74, 0.61, 0.36, 0.08, -0.17, -0.34, -0.4, -0.35, -0.23, -0.08, 0.06, 0.16, 0.21, 0.2, 0.15, 0.07;lnet = newff(0,9.5,5, 1);lnet.trainParam.epochs=100; lnet.trainParam.goad=0.000001;lnet =

3、 train(net,x,y);lx1=0:0.1:10;ly1=sim(net,x1);lfigure; plot(x,y,.);hold on; plot(x1,y1,r);ffffffxyw11w12w13w14w15w21w22w23w24w25b1b2b3b4b5b221( )1xxef xey = f(w21*f(w11*x+b1) + + w25*f(w15*x+b5)+ b ) w1=net.IW1;w2=net.LW2;b1=net.b1;b2=net.b2;a = tansig(w1*x0 + b1);y = tansig(w2*a + b2)Sigmoid函数函数net=

4、newff(xm,xM,h1,hk,f1,fk);lxm,xM分别为列向量分别为列向量(行数为变量个数行数为变量个数)，分别，分别存储每个变量的最小值和最大值。存储每个变量的最小值和最大值。lh1,hk表示网络各层的节点数表示网络各层的节点数, 一共有一共有k层层.lf1,fk表示各层使用的传输函数，默认表示各层使用的传输函数，默认为为tansig，即，即Sigmoid函数。还可使用函函数。还可使用函数数purelin，即，即f(x)=x。l其它可看其它可看matlab帮助帮助: help newfflnet.IW：来自输入层的加权矩阵。：来自输入层的加权矩阵。BP网络网络只用只用net.IW

5、1,表示各个输入变量对第表示各个输入变量对第1层各层各节点的加权矩阵。节点的加权矩阵。lnet.LW：来自中间层的加权向量。：来自中间层的加权向量。 BP网络网络用用net.IW2,1表示第表示第1隐层个节点向下一层隐层个节点向下一层个节点的加权矩阵；个节点的加权矩阵； net.IW3,2表示第表示第2隐隐层向下一层的加权矩阵层向下一层的加权矩阵lnet.b：各层的偏移。：各层的偏移。Net.b1表示第表示第1隐层隐层个节点的偏移个节点的偏移lnet.trainParam.epochs：最大训练步数。不过：最大训练步数。不过当误差准则满足时，即使没达到此步数也停当误差准则满足时，即使没达到此步

6、数也停止训练。缺省为止训练。缺省为100。lnet.trainParam.goad：网络误差准则，当误差：网络误差准则，当误差小于此准则时停止训练，缺省为小于此准则时停止训练，缺省为0。lnet.trainFcn：训练算法。缺省为：训练算法。缺省为 trainlm，即即Levenberg-Marquardt算法。还可使用算法。还可使用traingdx，即带动量的梯度下降算，即带动量的梯度下降算法；法；traincgf，即共轭梯度法。，即共轭梯度法。l其它可看其它可看matlab帮助帮助:help-contents- Neural Network Toobox- Network Object R

7、eference;lhelp(net.trainFcn)lhelp newfflCaution: trainlm is the default training function because it is very fast, but it requires a lot of memory to run. If you get an out-of-memory error when training try doing one of these: Slow trainlm training, but reduce memory requirements by setting net.trai

8、nParam.mem_reduc to 2 or more. (See help trainlm.) Use trainbfg, which is slower but more memory-efficient than trainlm. Use trainrp, which is slower but more memory-efficient than trainbfg. net,tr,Y1,E=train(net,X,Y);lnet是函数是函数newff建立的数据对象。建立的数据对象。lX为为n*m的矩阵的矩阵, n为输入变量个数为输入变量个数, m为样为样本数本数(即把每个样本是一个

9、列向量即把每个样本是一个列向量)。lY为为k*m的矩阵的矩阵, k为输出变量个数。为输出变量个数。ltr返回训练的跟踪信息返回训练的跟踪信息, tr.epochs为训练为训练步数步数, tr.perf为各步目标函数的值。为各步目标函数的值。lY1和和E返回网络最终的输出和误差。返回网络最终的输出和误差。l训练结束后可以用训练结束后可以用plotperf(tr)来绘制目标来绘制目标值随着训练步数变化的曲线。值随着训练步数变化的曲线。Y=sim(net,X);lnet是函数是函数newff建立的数据对象。建立的数据对象。lX为为n*m的矩阵的矩阵, n为输入变量个数为输入变量个数, m为样为样本数

10、本数(即把每个样本是一个行向量即把每个样本是一个行向量)。lY为为k*m的矩阵的矩阵, k为输出变量个数。为输出变量个数。l（1）理论研究理论研究：ANN模型及其学习算法，试图从模型及其学习算法，试图从数学上描述数学上描述ANN的动力学过程，建立相应的的动力学过程，建立相应的ANN模模型，在该模型的基础上，对于给定的学习样本，找型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的互连权值，使系统达到稳定状态，满足学习要求的算法。算法。l（2）实现技术的研究实现技术的研究：

11、探讨利用电子、光学、生：探讨利用电子、光学、生物等技术实现神经计算机的途径。物等技术实现神经计算机的途径。l（3）应用的研究应用的研究：探讨如何应用：探讨如何应用ANN解决实际问解决实际问题，如模式识别、故障检测、智能机器人等。题，如模式识别、故障检测、智能机器人等。l(1)(1)通过揭示物理平面与认知平面之间的映射，了解通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。质，探索智能的本源。l(2)(2)争取构造出尽可能与人脑具有相似功能的计算机，争取构造出尽可能与人脑具有相似功能的计算机，

12、即即ANNANN计算机。计算机。l(3)研究仿照脑神经系统的人工神经网络，将在模式研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。难以达到的效果。 l（1）ANN研究受到脑科学研究成果的限制。研究受到脑科学研究成果的限制。 l（2）ANN缺少一个完整、成熟的理论体系。缺少一个完整、成熟的理论体系。l（3）ANN研究带有浓厚的策略和经验色彩。研究带有浓厚的策略和经验色彩。l（4）ANN与传统技术的接口不成熟。与传统技术的接口不成熟。 l l 一般而言一般而言, ANN与经典计算方法相比与经典计算

13、方法相比并非优越并非优越, 只有当常规方法解决不了或效果不佳时只有当常规方法解决不了或效果不佳时ANN方法才方法才能显示出其优越性。尤其对问题的机理不甚了解或能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统不能用数学模型表示的系统,如故障诊断、特征提取如故障诊断、特征提取和预测等问题和预测等问题,ANN往往是最有利的工具。另一方面往往是最有利的工具。另一方面, ANN对处理大量原始数据而不能用规则或公式描述对处理大量原始数据而不能用规则或公式描述的问题的问题, 表现出极大的灵活性和自适应性。表现出极大的灵活性和自适应性。3 前馈神经网络前馈神经网络(BP网络网络)3.1 前

14、馈神经网络前馈神经网络(BP网络网络)的特点的特点l非线性映照能力非线性映照能力：神经网络能以任意精度逼：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。多问题正是具有高度的非线性。l并行分布处理方式并行分布处理方式：在神经网络中信息是分：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。错性和很快的处理速度。l 自学习和自适应能力自学习和自适应能力：神经网络在训练时，能：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，从输入、输出的数据

15、中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。学习也可以在线进行。l 数据融合的能力数据融合的能力：神经网络可以同时处理定量：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处技术（数值运算）和人工智能技术（符号处理）。理）。l 多变量系统多变量系统：神经网络的输入和输出变量的数：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供目

16、是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间了一种通用的描述方式，不必考虑各子系统间的解耦问题。的解耦问题。3.2 输入输入/输出变量的确定输出变量的确定lBP网络的输入变量即为待分析系统的内生网络的输入变量即为待分析系统的内生变量（影响因子或自变量）数，一般根据专变量（影响因子或自变量）数，一般根据专业知识确定。业知识确定。若输入变量较多，一般可通过若输入变量较多，一般可通过主成份分析方法压减输入变量主成份分析方法压减输入变量，也可根据剔，也可根据剔除某一变量引起的系统误差与原系统误差的除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。比值的大

17、小来压减输入变量。l输出变量即为系统待分析的外生变量（系统输出变量即为系统待分析的外生变量（系统性能指标或因变量），可以是一个，也可以性能指标或因变量），可以是一个，也可以是多个。一般将一个具有多个输出的网络模是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。会更好，训练也更方便。3.3 数据的预处理数据的预处理l 由于由于BP神经网络的隐层一般采用神经网络的隐层一般采用Sigmoid转换函数，为提高训练速度和灵敏性以及转换函数，为提高训练速度和灵敏性以及有效避开有效避开Sigmoid函数的饱和区函数的饱和区

18、(即输入值即输入值若大于若大于1，则取为，则取为1)，一般要求输入数据的一般要求输入数据的值在值在01之间之间(每个数都除于最大值每个数都除于最大值)。l如果输出层节点也采用如果输出层节点也采用Sigmoid转换函数，转换函数，输出变量也必须作相应的预处理，为保证输出变量也必须作相应的预处理，为保证建立的模型具有一定的外推能力，最好使建立的模型具有一定的外推能力，最好使数据预处理后的输出变量的值在数据预处理后的输出变量的值在0.20.8之之间间。l预处理的数据训练完成后，网络输出的结预处理的数据训练完成后，网络输出的结果要进行果要进行反变换反变换才能得到实际值。才能得到实际值。3.4 BP网络

19、隐层数的确定网络隐层数的确定l 一般认为，一般认为，增加隐层数可以降低网络误差增加隐层数可以降低网络误差（也有文（也有文献认为不一定能有效降低），提高精度，但也使网献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现络复杂化，从而增加了网络的训练时间和出现“过过拟合拟合”的倾向。的倾向。l Hornik等早已证明：若输入层和输出层采用线性转等早已证明：若输入层和输出层采用线性转换函数，隐层采用换函数，隐层采用Sigmoid转换函数，则含一个隐层转换函数，则含一个隐层的的MLP网络能够以任意精度逼近任何有理函数。显网络能够以任意精度逼近任何有理函数。显然，这是一个

20、存在性结论。在设计然，这是一个存在性结论。在设计BP网络时可参考网络时可参考这一点，这一点，应优先考虑应优先考虑3层层BP网络网络(即有即有1个隐层个隐层+输入输入层输出层层输出层)。一般地，靠增加隐层节点数来获得较低。一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。的误差，其训练效果要比增加隐层数更容易实现。l 对于对于没有隐层的神经网络模型没有隐层的神经网络模型，实际上就是一个线，实际上就是一个线性或非线性（取决于输出层采用线性或非线性转换性或非线性（取决于输出层采用线性或非线性转换函数型式）回归模型。函数型式）回归模型。3.5 BP网络隐层节点数的确定网络隐

21、层节点数的确定l在在BP 网络中，隐层节点数的选择非常重要，网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现很大，而且是训练时出现“过拟合过拟合”的直的直接原因，但是接原因，但是目前理论上还没有一种科学目前理论上还没有一种科学的和普遍的确定方法的和普遍的确定方法。l确定隐层节点数的最基本原则是：在满足确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，精度要求的前提下取尽可能紧凑的结构，即即取尽可能少的隐层节点数取尽可能少的隐层节点数。l研究表明，隐层节点数不仅与输入研究表明，隐层节点数不仅与输

22、入/输出层输出层的节点数有关，更与需解决的问题的复杂的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特程度和转换函数的型式以及样本数据的特性等因素有关。性等因素有关。在确定隐层节点数时必须满足下列条件：在确定隐层节点数时必须满足下列条件：l(1)隐层节点数必须小于隐层节点数必须小于N-1（其中（其中N为训练为训练样本数），否则，网络模型的系统误差与训样本数），否则，网络模型的系统误差与训练样本的特性无关而趋于零，即建立的网络练样本的特性无关而趋于零，即建立的网络模型没有泛化能力，也没有任何实用价值。模型没有泛化能力，也没有任何实用价值。同理可推得：输入层的节点数（变量数）

23、必同理可推得：输入层的节点数（变量数）必须小于须小于N-1。l(2) 训练样本数必须多于网络模型的连接权训练样本数必须多于网络模型的连接权数，一般为数，一般为210倍，否则，样本必须分成几倍，否则，样本必须分成几部分并采用部分并采用“轮流训练轮流训练”的方法才可能得到的方法才可能得到可靠的神经网络模型。可靠的神经网络模型。 l 由于由于BP网络采用误差反传算法，其实质是一个无网络采用误差反传算法，其实质是一个无约束的非线性最优化计算过程，在网络结构较大时约束的非线性最优化计算过程，在网络结构较大时不仅计算时间长，而且很容易限入局部极小点而得不仅计算时间长，而且很容易限入局部极小点而得不到最优结

24、果。不到最优结果。l 目前虽已有改进目前虽已有改进BP法、遗传算法（法、遗传算法（GA）和模拟退）和模拟退火算法等多种优化方法用于火算法等多种优化方法用于BP网络的训练网络的训练(这些方这些方法从原理上讲可通过调整某些参数求得全局极小法从原理上讲可通过调整某些参数求得全局极小点点)，但在应用中，这些参数的调整往往因问题不，但在应用中，这些参数的调整往往因问题不同而异，较难求得全局极小点。同而异，较难求得全局极小点。l 这些方法中应用最广的是增加了冲量（动量）项的这些方法中应用最广的是增加了冲量（动量）项的改进改进BP算法。算法。 l 学习率学习率影响系统学习过程的稳定性。大的学习影响系统学习过

25、程的稳定性。大的学习率可能使网络权值每一次的修正量过大，甚至会率可能使网络权值每一次的修正量过大，甚至会导致权值在修正过程中超出某个误差的极小值呈导致权值在修正过程中超出某个误差的极小值呈不规则跳跃而不收敛；但过小的学习率导致学习不规则跳跃而不收敛；但过小的学习率导致学习时间过长，不过能保证收敛于某个极小值。所以，时间过长，不过能保证收敛于某个极小值。所以，一般倾向选取较小的学习率以保证学习过程的收一般倾向选取较小的学习率以保证学习过程的收敛性（稳定性），通常在敛性（稳定性），通常在0.010.8之间。之间。l 增加冲量项增加冲量项的目的是为了避免网络训练陷于较浅的目的是为了避免网络训练陷于较

26、浅的局部极小点。理论上其值大小应与权值修正量的局部极小点。理论上其值大小应与权值修正量的大小有关，但实际应用中一般取常量。通常在的大小有关，但实际应用中一般取常量。通常在01之间，而且一般比学习率要大。之间，而且一般比学习率要大。 l BP算法决定了误差函数一般存在（很）多个局部极算法决定了误差函数一般存在（很）多个局部极小点，不同的网络初始权值直接决定了小点，不同的网络初始权值直接决定了BP算法收敛算法收敛于哪个局部极小点或是全局极小点。因此，要求计于哪个局部极小点或是全局极小点。因此，要求计算程序算程序(matlab)必须通过多次（通常是几十次）改变必须通过多次（通常是几十次）改变网络初始

27、连接权值求得相应的极小点，才能通过比网络初始连接权值求得相应的极小点，才能通过比较这些极小点的网络误差的大小，确定全局极小点。较这些极小点的网络误差的大小，确定全局极小点。由于由于Sigmoid转换函数的特性，一般要求转换函数的特性，一般要求初始权值分初始权值分布在布在-0.50.5之间比较有效之间比较有效。l 神经网络的训练过程本质上是求非线性函数的极小神经网络的训练过程本质上是求非线性函数的极小点问题，因此，即使网络误差相同，各个网络连接点问题，因此，即使网络误差相同，各个网络连接权值也可能有较大的差异，这有时也会使各个输入权值也可能有较大的差异，这有时也会使各个输入变量的重要性发生变化，

28、检验样本和测试样本的网变量的重要性发生变化，检验样本和测试样本的网络计算结果会产生很大变化，即多模式现象。络计算结果会产生很大变化，即多模式现象。l因为训练样本的误差可以达到很小，因此，因为训练样本的误差可以达到很小，因此，用从总样本中随机抽取的一部分测试样本用从总样本中随机抽取的一部分测试样本的误差表示网络模型计算和预测所具有的的误差表示网络模型计算和预测所具有的精度（网络性能）是合理的和可靠的。精度（网络性能）是合理的和可靠的。l值得注意的是，判断网络模型泛化能力的值得注意的是，判断网络模型泛化能力的好坏，主要不是看测试样本误差大小的本好坏，主要不是看测试样本误差大小的本身，而是要看测试样本的误差是否接近于身，而是要看测试样本的误差是否接近于训练样本和检验样本的误差。训练样本和检验样本的误差。实验号实验号臭氧浓度臭氧浓度(mg/L)入口入口UV254UV254去除率去除率(%)11.160.11650.221.350.10459.531.720.07858.841.860.10766.251.970.13665.562.150.08264