Matlab神经网络1学习课程

1、 随着Matlab版本的提高，其相应的神经网络工具箱的版本也相应的提高了。本课程主要以Matlab6.5作为讲解对象，对应的神经网络工具箱为NN Tool box4.0，其内容非常丰富，涵盖了很多现有的神经网络模型：u 感知器网络 (Perceptron network)；u 线性神经网络 (Linear network)；u BP网络 (Back propagation network, 简称BP网络)；u 径向基函数网络 (Radial Basis Function network，简称RBF网络)；u 反馈网络 (Recurrent Network): Hopfield网络和Elman网

2、络；u 自组织网络 (Self-organizing network)； 神经网络工具箱提供了很多经典的学习算法，使用它能够快速实现对实际问题的建模求解。由于其编程简单，给使用者节省了大量的编程时间，使其能够把更多的精力投入到网络设计而不是具体程序实现上。下面逐步介绍神经网络在Matlab语言环境下的设计应用，以及神经网络工具箱的使用试验等。 第1页/共28页第一页，编辑于星期六：七点 分。1.感知器感知器(Perceptron) 感知器是最早提出的一种神经网络模型，是一个具有单层神经元 的网络。网络的激活函数是线性阈值单元，1957年由美国学者罗森布拉特 (F.Rosenblatt)提出，目

3、的就是为了模拟人类大脑的感知和学习能力。 尽管这种方法有一定的局限性，但这种神经网络模型的出现对早期神经网络的研究，以及后来许多神经网络的出现产生了极大的影响。目前来看，它仍然是一种很有用的神经网络模型，尤其适用于简单的模式分类问题。 FRosenblatt已经证明，如果两类模式是线性可分的(只存在一个超平面将它们分 开)，则算法一定足收敛的。 1.1 感知器神经网络模型结构 第2页/共28页第二页，编辑于星期六：七点 分。第3页/共28页第三页，编辑于星期六：七点 分。1.2 生成网络 应用函数 newp() 可以生成一个感知器网络，调用方式如下：net=newp (PR , S)其中输入量

4、PR为一个R*2阶矩阵，每行表示输入元素得最大值和最小值；S为神经元得数目。 1.3 网络仿真 应用函数 sim() 可以对生成的感知器网络进行仿真，即给定确定输入p，求输出a:a1=sim (net , p1)其中net为一个已经生成的感知器网络，p1为R*1输入列向量，a1为S*1输出向量。 第4页/共28页第四页，编辑于星期六：七点 分。1.4 网络初始化 应用函数 init() 可以对生成的感知器网络进行阈值和权值进行初始化。主要作用是将神经网络的阈值和权值复原回生成时的初始值：net=init (net) ;1.5 网络训练 对感知器网络进行训练通常有两种方法。一种是用反复应用sim

5、()和learnp()调整网络的阈值和权值。另一种是直接使用函数train()或adapt()，其调用格式如下：net=train(net, p, t)或net=adapt(net, p, t)它可以自动更改网络的权值和阈值，以满足误差的要求。1.6 应用举例第5页/共28页第五页，编辑于星期六：七点 分。 设计一2输入感知器神经网络，将4个输入向量分为两类。5个输入向量都是两维向量，定义为P，以向量T表示对应的期望输出。P=-0.5 -0.5 +0.5 -0.1; -0.5 +0.5 -0.5 +1.0;T=1 1 0 0;plotpv(P, T) % PLOTPV: Plot percep

6、tron input/target vectors.hold on;+ 表示与期望值1对应的输入量。O 表示与期望值0对应的输入量。第6页/共28页第六页，编辑于星期六：七点 分。1). 构建初始网络net=newp(-1 1;-1 1,1);2). 网络训练net=adapt(net,P,T); % PLOTPC Plot a classification line on a perceptron vector plot.plotpc(net.IW1,net.b1)hold on; %见下页图3). 仿真p=0.7;1.2;a=sim(net,p);plotpv(p,a);hold on;

7、%见下页图第7页/共28页第七页，编辑于星期六：七点 分。(0.7,1.2)第8页/共28页第八页，编辑于星期六：七点 分。 由此可见，感知器网络能够做到对输入向量进行正确分类，同时验证了网络的可行性。问题：u 输入奇异样本对网络训练的影响。假定仍然使用二输入单神经元的感知器网络，所不同的是网络输入样本中存在奇异样本(即输入向量有远远大于其他所有的输入向量)，这样训练过程会耗费很长时间。(见下页图)u 线性不可分输入量。单层感知器的一个致命的弱点就是输入向量必须是线性可分的。如果输入向量线性可分，感知器可给出正确的分类结果。而对于线性不可分的输入向量，感知器就不能对输入向量进行正确分类。(见下

8、下页图) 第9页/共28页第九页，编辑于星期六：七点 分。第10页/共28页第十页，编辑于星期六：七点 分。第11页/共28页第十一页，编辑于星期六：七点 分。 线性神经网络是最简单的一种神经网络，可以由一个或者多个线性神经元组成。与感知器神经网络不同的是，线性神经网络的神经元传递函数是线性函数，因此线性神经网络的 输出可以取任意值，而感知器神经网络的输出只能是0或1。对于线性神经网络，需要一系列给定的输入向量和相应的期望输出向量，每个输入都有一个网络输出与之对应。参照输出量和期望输出的差别，调整网络权值和阈值，使得训练误差的平方和最小或者小于一定值。 2. 线性神经网络(Linear net

9、work) 线性神经网络采用Widrow-Hoff学习规则，称为LMS(Least Mean Square)算法。线性神经网络的学习算法比感知器网络的学习算法，在收敛速度和精度上面都有了较大的提高。 线性神经网络主要用于函数逼近、预测、信号处理滤波、模式识别和控制等方面。 第12页/共28页第十二页，编辑于星期六：七点 分。2.1 线性神经网络模型结构 线性传递函数线性神经元模型线性神经网络结构第13页/共28页第十三页，编辑于星期六：七点 分。 线性神经元模型如上图所示，其中R为输入向量元素的数目。从网络结构上看，和感知器神经网络结构类似，不同的是神经元的传递函数是线性传递函数purelin

10、()。 由于线性神经网络中神经元的传递函数为线性函数，其输入输出之间是简单的比例关系。单个线性神经元可以通过下式计算： a=purelin(n)=purelin(Wp+b)= Wp+b 上图中也给出一个具有R个输入，S个神经元的单层线性神经元网络的两种形式，输出向量数目和神经元数目相等，也是S个。权值矩阵为为w，阈值为b，这种 网络也称为Madaline网络。 这里介绍的是单层线性神经网络结构，它和多层线性神经网络一样有用。因为对于每一个多层线性神经网络而言，都可以设计出一个性能相当的单层线性神经网络。 第14页/共28页第十四页，编辑于星期六：七点 分。2.2 网络生成和仿真 应用newli

11、n()可以构造一个线性神经元网络，调用方式如下：net=newlin (PR , S)其中输入量PR为一个R*2阶矩阵，每行表示输入元素得最大值和最小值；S为神经元得数目。网络权值和阈值在神经网络创建时，初值自动设为0。2.3 线性神经网络设计 与感知器网络进行仿真的方法类似，应用函数 sim() 可以对生成的线性神经网络进行仿真，即给定确定输入p，求输出a:a1=sim (net , p1)其中net为一个已经生成的感知器网络，p1为R*1输入列向量，a1为S*1输出向量。第15页/共28页第十五页，编辑于星期六：七点 分。 不同于其他网络结构，如果输人和期望输出已知，线性神经网络可以直接设

12、计，应用newlind()可以设计出特定的神经网络，其权值和阈值能够保证均方差最小。 调用方式如下：net=newlind (P , T)其中输入量P和T为输入和期望输出。例：假定输入和期望输出为： P=1 2 3; % 输入T=2.0 4.1 5.9;% 期望输出net=newlind(P,T)% 设计网络Y=sim(net,P) % 验证网络的性能Y= 2.0500 4.0000 5.9500第16页/共28页第十六页，编辑于星期六：七点 分。2.4 应用举例应用线性网络进行预测1)问题的提出 设计一个线性网络，要求在每一个时间步长内，线性网络通过保留信号T前5次值，并能够预测出下一步的值

13、。这样，网络的输入信号P为信号T的前5次值，由信号T的延迟处理得到。 假设信号T，持续时间为5S，采样频率为40次/S，则信号输入为：% 确定输入信号：time=0:0.025:5;% 确定时间向量T= sin(time*4*pi); % 正弦信号，f=2Hz, =2*pi*f Q=length(T);% 求T的前5次值作为网络的输入：P= zeros(5,Q);% 形成5*Q输入矩阵P(1,2:Q)=T(1,1:(Q-1); % 输入向量的第一行第17页/共28页第十七页，编辑于星期六：七点 分。P(2,3:Q)=T(1,1:(Q-2); % 输入向量的第二行P(3,4:Q)=T(1,1:(

14、Q-3); % 输入向量的第三行P(4,5:Q)=T(1,1:(Q-4); % 输入向量的第四行P(5,6:Q)=T(1,1:(Q-5); % 输入向量的第五行% 绘制信号T的曲线plot(time,T);xlabel(时间);ylabel(目标信号);title(待预测信号)；2). 网络设计 网络有5个输入信号(过去值)和1个输出信号(预测值)，故采用有5个输入的单个线性神经元网络，网络结构如下页图所示。应用newlind()函数来设计这个网络，即可得到网络的权值和阈值，并且达到最小均方差。第18页/共28页第十八页，编辑于星期六：七点 分。% 设计网络net=newlind(P,T);%

15、 获得5输入线性神经网络3). 网络测试第19页/共28页第十九页，编辑于星期六：七点 分。 将上述5个延迟信号作为输入量，应用sim()函数求出相应的网络输出a，然后将。与信号目标值t进行比较，结果如下图所示。同时计算-出预算误差，结果也示于图中。a=sim(net, P)；figure(1);plot(time, a, time, T, +); xlabel(时间)； ylabel( 输出 - 目标 + )； title(输出信号和目标信号); figure(2);e=T- a; plot(time, e);xlabel(时间);ylable(误差);title(误差信号);第20页/共2

16、8页第二十页，编辑于星期六：七点 分。从上面预测误差曲线中可以看出，在最初的几步计算中，网络的预测误差很大。这是因为此时网络还没有产生信号的5次延迟值，5步计算以后才真正产生输入信号，因此难免出现初始误差。第5步以后，预测误差很快下降。由此可见，线性网络对于线性时间序列的预测问题是有实用价值的。 第21页/共28页第二十一页，编辑于星期六：七点 分。4). 结论 对于非线性系统，newlind()函数无法达到零误差，只能将均方差降到最小。但是通过增加延迟信号量，可以降低由模型非线性带来的预测误差，这样使得线性网络在许多情况下也能应用于非线性系统。当然，如果系统的非线性程度较强，或者期望精度较高

17、，则不适宜用线性网络解决。可采用BP网络或者径向基网络。 线性系统辨识 线性网络可以用于对实际系统建模。如果实际系统是线性的或者接近线性的，则线性系统辨识误差会很小。1) 问题提出 构造输入信号X周期为5S，采样周期为25mS。信号X为：time=0:0.025:5;X=sin(sin(time).*time*10);% x=sin(sint)*t*10 第22页/共28页第二十二页，编辑于星期六：七点 分。绘制信号X随时间变化的曲线如下图所示。plot(time,X);xlabel(时间);Ylabel(输入信号);Title(系统输入信号);第23页/共28页第二十三页，编辑于星期六：七点

18、 分。取网络输入是输入信号X当前值和前两次的值。 Q= size (X, 2)； P= zeros(3, Q); P(1,1:Q)=X (1,1:Q); P(2,2:Q)=X (1,1:(Q-1); P(3,3:Q)=X (1,1:(Q-2);如果系统输出可测，则系统输出的测量只可由下列语句得到：% 求系统1*y(n) = b(1)*x(n) + b(2)*x(n-1) + b(3)*x(n-2) 的响应T=filter(1 0.5 -1.5,1,X); % 绘制输出响应曲线plot (time, T);xlabel(时间);ylabel(输出信号);title(系统输出信号);系统输出响应曲线如下页示： 第24页/共28页第二十四页，编辑于星期六：七点 分。2) 网络设计 网络具有三个输入和一个输出，应用newlind()函数生成线性网络：net=newlind(P,T);% 生成网络 第25页/共28页第二十五页，编辑于星期六：七点 分。3) 网络测试 网络权值和