matlab人工神经网络实用教案

1、目录(ml) 2、人工神经网络 3、BP神经网络神经网络 4、BP神经网络在实例神经网络在实例(shl)中的应用中的应用 1、引例、引例(yn l)第1页/共48页第一页，共49页。 1 1、引例(yn l) (yn l) 1981年生物学家格若根（W Grogan）和维什（WWirth）发现(fxin)了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长 触角(chjio)长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56

2、 Af翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af第2页/共48页第二页，共49页。 问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80); ，1.84)；（，）问它们应分别属于(shy)哪一个种类？ 解法(ji f)一： 把翼长作纵坐标，触角(chjio)长作横坐标；那么每个蚊子的翼长和触角(chjio)决定了坐标平面的一个点.其中 6个蚊子属于 APf类；用黑点“”表示；9个蚊子属 Af类；

3、用小圆圈“。”表示 得到的结果见图1 第3页/共48页第三页，共49页。 图1 飞蠓的触角(chjio)长和翼长 第4页/共48页第四页，共49页。 思路：作一直线(zhxin)将两类飞蠓分开 例如；取A（，）和 B，1.16)，过A B两点作一条直线： y ， 其中(qzhng)X表示触角长；y表示翼长 分类规则：设一个(y )蚊子的数据为（x, y）, 如果y，则判断蚊子属Apf类； 如果y；则判断蚊子属Af类 第5页/共48页第五页，共49页。 分类(fn li)结果：，1.80)，1.84)属于Af类；，）属于 Apf类图2 分类(fn li)直线图 第6页/共48页第六页，共49页。

4、 缺陷：根据什么(shn me)原则确定分类直线？ 若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类(fn li)直线变为 分类(fn li)结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类 哪一分类直线才是正确的呢？ 因此如何来确定这个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的数据信息来确定判别直线第7页/共48页第七页，共49页。 再如，如下的情形已经不能用分类(fn li)直线的办法： 新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型(lixng)作为输出，研究输入与输出的关系。第8

5、页/共48页第八页，共49页。2、人工神经网络 人工神经网络是由大量的、简单的处理单元（称为神经元）广泛地相互连接而形成的复杂网络系统，它反映(fnyng)了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。2.1 人工神经网络概述(i sh)第9页/共48页第九页，共49页。2.2 神经网络的研究(ynji)内容 （1）生物原型研究：研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。 （2）建立理论模型：根据生物圆形的研究，建立神经元、神经网络的理论模型，其中包括概念模型、知识模型、物理化学模型、数学模型等。 （3）网络模型与算法研究：在理论模型研究的基础(jch)上构成具

6、体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。 （4）神经网络应用系统：在网络模型与算法研究的基础(jch)上，利用神经网络组成实际的应用系统。第10页/共48页第十页，共49页。2.3 神经网络的应用(yngyng) 神经网络理论特别是在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别、等方面都有重大的应用(yngyng)实例。下面列出一些主要应用(yngyng)领域： （1）模式识别和图像处理。印刷体和手写字符识别、语音识别、指纹识别、人体病理分析、目标检测与识别、图像压缩和图像复制等。 （2）控制和优化。机器人运动控制、半导体生产过程控制、石油精炼优

7、化控制、超大规模集成电路布线设计等。第11页/共48页第十一页，共49页。 （3）预报和智能信息管理。股票市场预测、地震预报、借贷风险(fngxin)分析、IC卡管理和交通管理。 （4）通信。自适应均衡、回波抵消、路由选择和ATM网络中的呼叫接纳识别和控制。 （5）空间科学。空间交汇对接控制、导航信息智能管理、飞行器制导和飞行程序优化管理等。第12页/共48页第十二页，共49页。2.4 神经元与神经网络结构(jigu) 大脑可视作为(zuwi)1000多亿神经元组成的神经网络 图1 神经元的解剖图第13页/共48页第十三页，共49页。 神经元的信息传递和处理是一种电化学活动。树突由于电化学作用

8、接受外界的刺激；通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元从控制论的观点来看；这一过程可以(ky)(ky)看作一个多输入单输出非线性系统的动态过程第14页/共48页第十四页，共49页。2.5 2.5 神经网络基本(jbn)(jbn)模型第15页/共48页第十五页，共49页。 归纳一下生物神经元传递信息的过程：生物神经元是一个多输入、单输出单元(dnyun)。常用的人工神经元模型可用图2模拟。图2 2 人工(rngng)(rngng)神经元（感知器）示意图 第16页/共48页第十六页，共49页。当神经元j有多个输入(shr)

9、(i=1，2,m)和单个输出 时，输入(shr)和输出的关系可表示为: 其中 为阈值(y zh)， 为从神经元i到神经元j的连接权重因子，f( )为传递函数，或称激励函数。ixjy)(1jjjmiiijjsfyxwsjijw第17页/共48页第十七页，共49页。例如(lr)(lr)，若记 取激发(jf)(jf)函数为符号函数 miiixwz1. 0, 0, 0, 1)sgn(xxx第18页/共48页第十八页，共49页。则 S型激发(jf)函数： miiimiiixwxwzfy11, 0, 1)(,11)(xexf; 1)(0 xf第19页/共48页第十九页，共49页。2.6 神经网络分类(fn

10、 li)神经网络有分层网络、层内连接的分层网络、反馈连接的分层网络、互连网络等四种结构，其神经网络模型有感知器网络，线性神经网络，BP神经网络，径向基函数网络，反馈神经网络等，本文主要学习研究了BP神经网络，以及BP神经网络在函数逼近和样本含量(hnling)估计等实例中的应用分析。 第20页/共48页第二十页，共49页。3、BP神经网络（Back Propagation network） 3.1 BP神经网络概述(i sh) BP神经网络是一种多层前馈神经网络，该网络的主要神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传递，误差反向传递。在前向传递中，特点是信号前向传递，误差反向

11、传递。在前向传递中，输入信号从输入层经隐输入信号从输入层经隐 含层逐层处理，直至含层逐层处理，直至(zhzh)输出层。每一层的神经元状态只影响下一层神经元状输出层。每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，态。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络权值和阀值，从而使根据预测误差调整网络权值和阀值，从而使BP神经网神经网络预测输出不断逼近期望输出。络预测输出不断逼近期望输出。第21页/共48页第二十一页，共49页。3.2 BP神经网络的主要(zhyo)应用 目前，在人工神经网络的实际应用中。绝大部分的神经网络模型都采用BP神经网络

12、及其变化形式。它也是前向网络的核心部分，体现了人工神经网络的精华。BP网络主要用于以下四方面： 1)函数逼近：用输入向量和相应的输出(shch)向量训练一个网络以逼近一个函数。 2)模式识别：用一个待定的输出(shch)向量将它与输入向量联系起来。 3)分类：把输入向量所定义的合适方式进行分类。 4)数据压缩：减少输出(shch)向量维数以便传输或存储。第22页/共48页第二十二页，共49页。3.3 BP神经网络模型(mxng)结构 BP神经元模型(mxng) 第23页/共48页第二十三页，共49页。 上图给出一个基本的BP神经元模型，它具有R个输入，每个输入都通过一个适当的权值w和上一层相连

13、，网络输出可表示为： a=f (w*p+b)f就是(jish)表示输入/输出关系的传递函数。BP网络中隐层神经元的传递函数通常用log-sigmoid型函数logsig()、tan-sigmoid型函数tansig()以及纯线性函数purelin()。 如果BP网络的最后一层是sigmoid型神经元，那么整个网络的输出就限制在一个较小的范围内；如果BP网络的最后一层是purelin型线性神经元，那么整个网络的输出可以取任意值。 下图(上半部) 是一个典型的BP网络结构。具有S个神经元，R个输入和S个输出，神经元采用S型传递函数logsig() 。可见，就单层网络而言，除传递函数不同外，与前面(

14、qin mian)所介绍的感知器和线性神经网络没有什么不同。第24页/共48页第二十四页，共49页。第25页/共48页第二十五页，共49页。 上图(下半部) 是一个典型两层BP网络 (一个隐层和一个输出层)。前馈型网络通常(tngchng)有一个或多个隐层，隐层中的神经元均采用S型传递函数，输出层的神经采用线性传递函数。隐层的非线性传递函数神经元可以学习输入输出之间的线性和非线性关系，线性输出层是为了拓宽网络输出。如果需要限定网络输出(例如约束在0和1之间)，则可以采用S型传递函数(例如logsig()。 第26页/共48页第二十六页，共49页。 3.4 BP神经网络的训练(xnlin)过程

15、BP神经(shnjng)网络拓扑结构图第27页/共48页第二十七页，共49页。第28页/共48页第二十八页，共49页。第29页/共48页第二十九页，共49页。3.5 基于(jy)MATLAB的BP神经网络工具箱函数 最新版本的神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器和BP网络等。对于各种不同的网络模型，神经网络工具箱集成了多种学习(xux)算法，为用户提供了极大的方便。Matlab R2007神经网络工具箱中包含了许多用于BP网络分析与设计的函数，BP网络的常用函数如表1所示。第30页/共48页第三十页，共49页。表1 BP网络(wnglu)的常用函数表函数类型函数类型函

16、数名称函数名称函数用途函数用途前向网络创建函数前向网络创建函数newcf创建级联前向网络创建级联前向网络Newff创建前向创建前向BP网络网络传递函数传递函数logsigS型的对数函数型的对数函数tansigS型的正切函数型的正切函数purelin纯线性函数纯线性函数 学习函数学习函数learngd基于梯度下降法的学习函数基于梯度下降法的学习函数learngdm梯度下降动量学习函数梯度下降动量学习函数性能函数性能函数 mse均方误差函数均方误差函数msereg均方误差规范化函数均方误差规范化函数 显示函数显示函数plotperf绘制网络的性能绘制网络的性能plotes绘制一个单独神经元的误差曲

17、面绘制一个单独神经元的误差曲面plotep绘制权值和阈值在误差曲面上的位置绘制权值和阈值在误差曲面上的位置errsurf计算单个神经元的误差曲面计算单个神经元的误差曲面第31页/共48页第三十一页，共49页。3.5.1 BP网络创建(chungjin)函数1) newff该函数用于创建一个BP网络。调用格式为：net=newffnet=newff(PR,S1 S2.SN1,TF1 TF2.TFN1,BTF,BLF,PF)其中(qzhng)：net=newff;用于在对话框中创建一个BP网络。net为创建的新BP神经网络；PR为网络输入向量取值范围的矩阵；S1 S2SNl表示网络隐含层和输出层神

18、经元的个数；TFl TF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默认为learngdm；PF表示性能数，默认为mse。2）newcf函数用于创建级联前向BP网络，newfftd函数用于创建一个存在输入延迟的前向网络。 第32页/共48页第三十二页，共49页。3.5.2 神经元上的传递函数 传递函数是BP网络的重要组成部分。传递函数又称为激活函数，必须是连续可微的。BP网络经常(jngchng)采用S型的对数或正切函数和线性函数。 1) logsig：该传递函数为S型的对数函数。调用格式为： A

19、=logsig（N） info=logsig（code） 其中，N：Q个S维的输入列向量；A：函数返回值，位于区间（0，1）； 2）tansig：该函数为双曲正切S型传递函数。调用格式为： A=tansig（N） info=tansig（code） 其中，N：Q个S维的输入列向量；A：函数返回值，位于区间（-1，1）。 3）purelin：该函数为线性传递函数。调用格式为： A=purelin（N） info=purelin（code） 其中，N：Q个S维的输入列向量；A：函数返回值，A=N。第33页/共48页第三十三页，共49页。3.5.3 BP网络(wnglu)学习函数 1）learngd

20、 该函数为梯度下降权值/阈值学习函数，它通过神经元的输入和误差，以及权值和阈值的学习效率，来计算权值或阈值的变化率。调用格式(g shi)为： dW,ls=learngd(W,P,Z,N,A,T,E,gW,gA,D,LP,LS) db,ls=learngd(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS) info=learngd(code) 2) learngdm函数为梯度下降动量学习函数，它利用神经元的输入和误差、权值或阈值的学习速率和动量常数，来计算权值或阈值的变化率。第34页/共48页第三十四页，共49页。3.5.4 BP网络训练(xnlin)函数 1）trai

21、n 神经网络训练函数，调用其他训练函数，对网络进行训练。该函数的调用格式(g shi)为： net,tr,Y,E,Pf,Af=train(NET,P,T,Pi,Ai) net,tr,Y,E,Pf,Af=train(NET,P,T,Pi,Ai,VV,TV) 2) traingd函数为梯度下降BP算法函数。traingdm函数为梯度下降动量BP算法函数。第35页/共48页第三十五页，共49页。3.6 BP神经网络在实例(shl)中的应用 %输入(shr)两种飞蠓的参数 p=1.78 1.96 1.86 1.72 2.00 1.96 1.74 1.64 1.82 1.90 1.70 1.82 2.0

22、8; 1.14 1.18 1.20 1.24 1.26 1.28 1.30 1.36 1.38 1.40 1.48 1.54 1.56; t=1 1 1 0 1 1 1 0 0 0 0 0 0 0 0 ;%两种飞蠓的类别 plot(p(1,find(t0.5),p(2,find(t0.5),o);hold on; plot(p(1,find(t=0.5),p(2,find(t0.5),pp(2,find(y0.5),ro); plot(pp(1,find(y=0.5),pp(2,find(y=0.5),r*);%画出三只飞蠓的分布图 plot(1.7 2.1,1.1 1.5,k)%画出判别直线

23、Matlab运行(ynxng)第37页/共48页第三十七页，共49页。 要求设计一个BP网络，逼近(bjn)以下函数：g(x)=1+sin(k*pi/4*x)，实现对该非线性函数的逼近(bjn)。其中，分别令k=1，2，4进行仿真，通过调节参数（如隐藏层节点个数等）得出信号的频率与隐层节点之间，隐层节点与函数逼近(bjn)能力之间的关系。3.6 BP神经网络在实例(shl)中的应用3.6.1 问题(wnt)的提出第38页/共48页第三十八页，共49页。3.6.2 基于BP神经网络逼近(bjn)函数 步骤1：假设频率参数(cnsh)k=1，绘制要逼近的非线性函数的曲线。函数的曲线如下图所示： k

24、=1; p=-1:.05:8; t=1+sin(k*pi/4*p); plot（p，t，-)； title(要逼近的非线性函数); xlabel(时间); ylabel(非线性函数);Matlab实现(shxin)第39页/共48页第三十九页，共49页。 步骤2：网络的建立 应用newff()函数建立BP网络结构。隐层神经元数目(shm)n可以改变，暂设为n=3，输出层有一个神经元。选择隐层和输出层神经元传递函数分别为tansig函数和purelin函数，网络训练的算法采用Levenberg Marquardt算法trainlm。n=3;net = newff(minmax(p),n,1,ta

25、nsig purelin,trainlm);对于初始网络，可以应用sim（）函数观察网络输出。y1=sim(net,p);figure;plot(p,t,-,p,y1,:)title(未训练网络的输出结果);xlabel(时间(shjin);ylabel(仿真输出-原函数-);Matlab实现(shxin)第40页/共48页第四十页，共49页。 其中 “ ” 代表要逼近的非线性函数曲线； “” 代表未经训练(xnlin)的函数曲线； 因为使用newff( )函数建立函数网络时，权值和阈值的初始化是随机的，所以网络输出结构很差，根本达不到函数逼近的目的，每次运行的结果也有时不同。第41页/共48页第四十一页，共49页。 步骤3：网络(wnglu)训练 应用train（）函数对网络(wnglu)进行训练之前，需要预先设置网络(wnglu)训练参数。将训练时间设置为50，训练精度设置为，其余参数使用缺省值。训练后得到的误差变化过程如图所示。=50; (网络训练时间设置为50)=0.01;（网络训练精度设置为）net=train(net,p,t);（开始训练网络）从以上结果可以(ky)看出，网络训练速度很快，经过一次循环跌送过程就达到了要求的精度。第42页/共48页第四十二页，共49页。Matlab实现(