人工智能导论实验指导书

1、实验一 感知器的 MATLAB 仿真感知器 (Pereceptron)是一种特殊的神经网络模型，是由美国心理学家F.Rosenblatt 于 1958年提出的，一层为输入层，另一层具有计算单元，感知器特别适合于简单的模式分类问题， 也可用于基于模式分类的学习控制和多 模态控制中。一、感知器神经元模型感知器神经元通过对权值的训练， 可以使感知器神经元的输出能代表对 输入模式进行的分类，图 1.1 为感知器神经元模型。图 1.1 感知器神经元模型感知器神经元的每一个输入都对应于一个合适的权值， 所有的输入与其 对应权值的加权和作为阀值函数的输入。 由于阀值函数的引入， 从而使得感 知器可以将输入向

2、量分为两个区域，通常阀函数采用双极阶跃函数，如：f (x)1,x 00,x 01.1)1.2)R 个输入， Q而感知器神经元模型的实际输出为Ro fwi xi bi1其中 b 为阀值、感知器的网络结构图 1.2 所描述的是一个简单的感知器网络结构，输入层有 个输出，通过权值 wij 与 s个感知器神经元连接组成的感知器神经网络。R×QS×RnS×QS×QS×1图 1.2 感知器神经网络结构根据网络结构，可以写出感知器处理单元对其输入的加权和操作，即：R niwij p jj1（1.3）而其输出 ai 为ai=f (ni+bi)（1.4）由式 2

3、.1 易知1 ni bi0ai（1.5）0 ni bi0则当输入 ni+bi大于等于 0，即有 ni bi时，感知器的输出为 1；否则 输出为 0。上面所述的单层感知器神经网络是不可能解决线性不可分的输入向量 分类问题， 也不能推广到一般的前向网络中去。 为解决这一问题， 我们可以 设计多层感知器神经网络以实现任意形状的划分。图 1.3 描述了一个双层感知器神经网络。 其工作方式与单层感知器网络 一样，只不过是增加了一层而已，具体的内容这里不做讨论。P1ooa2图 1.3 感知器神经网络结构三、感知器神经网络的学习规则感知器的学习规则主要是通过调整网络层的权值和阀值以便能够地网 络的输入向量进

4、行正确的分类。如图 1.2 所示的输入向量 P、输出和量 a 和目标向量为 t 的感知器神经 网络，感知器的学习规则是根据以下输出矢量 a 可能出现的几种情况未进行 参与调整的：1）如果第 i 个神经元的输出是正确的，即有 ait1，则与第 i 个神经元 联接的权值和阀值保持不变。2）如果第 i 个神经元的输出是不正确，应该有两种情况。i）实际输出为 0，而理想输出为 1，即有 ai=0，而 ti 1，则所有的输入 j 对权值和阀值进行调整，修正值w1j=pj， bj=1 。ii） 实际输出为 1，而期望输出为 0，即有 ai=1，而 ti=0，则对所有的输 入 j 进行权值和阀值调整， w1

5、j=pj， bi=1。基于感知器误差 e=t a，感知器学习规则可望写为： w 1j =ei· pj可以证明当前输入样本来自线性可分的模式时， 上述学习算法在有限步 同收敛， 这时所得的权值能对所有样本正确分类， 这一结论被称为感知器收 敛定理。四、感知器神经网络的训练要使前向神经网络模型实现某种功能， 必须对它进行训练， 让它逐步学 会要做的事情， 并把所学到的知识记忆在网络的权值中。 感知器神经网络的 训练是采用由一组样本组成的集合来进行。 在训练期间， 将这些样本重复输 入，通过调整权值使感知器的输出达到所要求的理想输出。 感知器的训练主 要是反复对感知器神经网络进行仿真和学习

6、， 最终得到最优的网络阀值和权 值。我们可以用以下方法训练网络：1） 确定我们所解决的问题的输入向量P、目标向量 t，并确定各向量的维数， 以及网络结构大小、 神经元数目。 假定我们采用图 2.2 的网络结构。2）初始化：权值向量 w 和阀值向量 b 分别赋予 1,+1之间的随机值， 并且给出训练的最大次数。3）根据输入向量 P、最新权值向量 w 和阀值向量 b，计算网络输出向 量 a。4) 检查感知器输出向量与目标向量是否一致，或者是否达到了最大的 训练次数，如果是则结束训练，否则转入(5)。5) 根据感知器学习规则调查权向量，并返回3)。五、重要的感知器神经网络函数的使用方法对于感知器的初

7、始化、训练、仿真，在MA TLABP 神经网络工具箱中分别提供了 init( ), trainp( ) 和 sim( ) 函数。1初始化函数 init( )感知器初始化函数 init( ) 可得到 R 个输入， S个神经元数的感知器层的 权值和阀值，其调用格式为：w,b=init(R,S)另外，也可以利用输入向量 P和目标向量 t 来初始化。w ，b=init(p ，t)在介绍 trainp( ) 函数前，让我们先介绍一下训练的控制参数tp。tp=disp_freq max_epoch其中 disp_freq 指定两次显示间训练次数， 缺省值为 1；map_epoch 指定 训练的最大次数，缺

8、省值为 100。2. 训练函数 trainp( )调用训练函数 trainp( ) 函数后又得到新的权值矩阵，阀值向量以及误差 te。 trainp( )函数所需要的输入变量为： 输入向量 P、目标向量 t 以及网络的 初始权值和阀值 ， 训练的控制参数 tp。调用格式为：w,b,te=trainp(w,b,p,t,tp)由于函数 trainp( ) 并不能保证感知器网络所得到的网络权值和阀值达到 要求。因此，在训练完后，要用下列验证语句验证一下。a=sim(p, w, b);if all(a= =t),disp( It works! ),end假如网络不能成功运行， 就可以继续运用 trai

9、np( )函数对网络进行训练。 经足够的训练后， 网络仍达不到要求， 那么就应当认真分析一下， 感知器网 络是否适合于这个问题。3仿真函数 sim( )sim( )函数主要用于计算网络输出。它的调用比较简单。a=sim(p,w,b)六、感知器神经网络应用举例为了便于消化与理解感知器神经网络的四个问题， 下面将给出一个具体 的问题进行分析，问题的描述如下：两种蠓虫 Af 和 Apf 已由生物学家 W.L.Grogan 与 w. w. Wirth(1981) 根据 它们触角长度和翼长中以区分。 见表 1.1中 9Af 蠓和 6只 Apf 蠓的数据。 根 据给出的触角长度和翼长可识别出一只标本是 A

10、f 还是 Apf 。1给定一只 Af 或者 Apf 族的蒙，你如何正确地区分它属于哪一族？2将你的方法用于触角长和翼中分别为(1.24,1.80)、(1.28,1.84 )、(1.40,2.04)的三个标本表 1.1Af触重长1.241.361.381.3781.381.401.481.541.56翼长1.721.741.641.821.901.701.701.822.08Ap f触角长1.141.181.201.261.281.30翼长1.781.961.862.002.001.96输入向量为：p=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1

11、.14 1.18 1.20 1.26 1.281.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目标向量为：t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0Vectors to be Classified表示：plotpv(p ， t)1.71.61.51.40.9 1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 P(1)2.32.22.129)2(P图形显示，目标值 1 对应的用 +”、目标值 0 对应的用“ o”来为解决该问题，利用函数 newp

12、构造输入量在 0，2.5 之间的 感知器神经网络模型：net=newp(0 2.5 ；0 2.5 ，1)初始化网络：图 1.4 样本图形显示net=init(net)利用函数 adapt 调整网络的权值和阀值，直到误差为0 时训练结束：net, y, e=adapt(net, p, t) 训练结束后可得如图 1.5 的分类方式， 可见感知器网络将样本正确地分 成两类：Vectors to be Classified)2(P2图 1.5 网络训练结果可以利用函数 sim 进行仿真， 解决实际的分类感知器网络训练结束后， 问题：p1=1.24;1.80a1=sim(net,p1)p2=1.28;1

13、.84a2=sim(net,p2) p3=1.40;2.04 a3=sim(net,p3) 网络仿真结果为： a1=0 a2=0 a3=0实验二 线性神经网络的 MATLAB 实现线性神经网络是最简单的一种神经元网络， 由一个或多个线性神经元构 成。1959 年，美国工程师 B.widrow 和 M.Hoft 提出自适应线性元件 （ Adaptive linear element，简称 Adaline ）是线性神经网络的最早典型代表。它是感知 器的变化形式， 尤其在修正权矢量的方法上进行了改进， 不仅提高了训练收 敛速度， 而且提高了训练精度。 线性神经网络与感知器神经网络的主要不同 之处在于

14、其每个神经元的传递函数为线性函数， 它允许输出任意值， 而不是 象感知器中只能输出 0 或 1。此外，线性神经网络一般采用 Widrow Hoff （简称 WH ）学习规则或者最小场方差（ Least mean Square，简称 LMS ） 规则来调整网络的权值和阀值。线性神经网络的主要用途是线性逼近一个函数表达式，具有联想功能。 另外，它还适用于信号处理滤波、预测、模式识别和控制等方面。一、线性神经元模型线性神经元可以训练学习一个与之对应的输入输出函数关系， 或线性 逼近任意一个非线性函数，但它不能产生任何非线性的计算特性。图 2.1 描述了一个具有 R 个输入的由纯线性函数组成的线性神经

15、元。其输入与输出之间图 2.1 线性神经元模型 由于线性神经网络中神经元的传递函数为线性函数， 是简单的比例关系：a=g（w*p ， b）其中函数 g(x) 为线性函数。二、线性神经网络结构如图 2.2 描述了一个由 S 个神经元相并联形成一层网络， 这种网络也称 为 Madaline 网络。P1ooS×1图 2.2 线性神经元网络W H 学习规则只能训练单层的线性神经网络， 但这并不是什么严重问 题。因为对线性神经网络而言， 完全可以设计出一个性能完全相当的单层线 性神经网络。三、线性神经学习网络的学习规则前面我们提到过，线性神经网络采用W H 学习规则。 WH 学习规则是 Wid

16、row 是 Hoft 提出的用来求得权值和阀值的修正值的学习规则。首先要定义一个线性网络的输出误差函数：2.111E(w,b)= (t a)2= (t w*p) 222由式 2.1 可看出，线性网络具有抛物线型误差函数所形成的误差表面。 所以只有一个误差最小值。通过 WH 学习规则来计算权值和偏差的变化，E( w,b)的梯并使网络的误差平方和最小化， 总能够训练一个网络的误差趋于最小值。 这 可通过沿着相对于误差平方和最速下降方向连续调整网络的权值和阀值来 实现。根据梯度下降法，权矢量的修正值正比于当前位置上度，对于第 i 输出节点为：wijEwij(ti ai)pj2.2或表示为：wijip

17、j2.3bii 2.4这里 i 定义为第 i 个输出节点的误差： i=t i ai 2.5 式 2.3称为 WH 学习规则。 W H 学习规则的权值变化量正比于网络 的输出误差及网络的输入向量。 它不需求导数， 所以算法简单， 又具有收敛 速度快和精度高的优点。式 2.3 中的 称为学习率，学习率的选取可以适当防止学习过程中产生 振荡，提高收敛速度和精度。四、线性神经网络训练首先给线性神经网络提供输入向量P，计算线性网络层的输出向量 a，并求得误差 e=t a；然后比较输出的误差平方和是否小于期望的误差平方和， 如果是， 则停 止训练；否则，采用 WH 规则调整权值和阀值，反复进行。如果经过训

18、练网络不能达到期望目标， 可以继续对网络进行训练。 经过 足够的训练后，网络还是达不到要求。那么就仔细地分析一下， 所要解决 的问题，是否适合于线性神经网络。五、重要线性神经网络函数的使用方法在 MA TLAB 神经网络工具箱中提供了基于线性神经网络的初始化函数 initlin( ) 、设计函数 solvelin( ) 、仿真函数 simulin( ) 以及训练函数 trainwh 和 adaptwh。下面我们将分别介绍多种函数的使用方法。1初始化函数 initlin( )函数 initlin( ) 对线性神经网络初始化时，将权值和阀值取为绝对值很小 的数。其使用格式w,b=initlin(R

19、,S)R 为输入数， S 为神经元数。另外， R 和 S 也可用输入向量 P 和目标向量 t 来代替，即 w,b=initlin(p,t)2设计函数 solvelin( )与大多数其它神经网络不同，只要已知其输入向量 P 和目标向量 t，就可以直接设计出线性神经网络使得线性神经网络的权值矩阵误差最小。 其调 用命令如下：w,b=solve lin(p,t);3仿真函数 simulin( )函数 simulin( ) 可得到线性网络层的输出 a=simulin(p,w,b)其中 a为输出向量 ,b 为阀值向量4训练函数 trainwh 和 adaptwh( ) 线性神经网络的训练函数有两种： t

20、rainwh( )和 adaptwh( ) 。其中函数 trainwh 可以对线性神经网络进行离线训练；而函数 adaptwh( ) 可以对线性 神经网络进行在线自适应训练。利用 trainwh( ) 函数可以得到网络的权矩阵 w ，阀值向量 b，实际训练次 数 te 以及训练过程中网络的误差平方和lr 。w,b,te,lr=trainwh(w,b,p,t,tp) 输入变量中训练参数 tp 为：· tp(1)指定两次更新显示间的训练次数，其缺省值为25；· tp(2)指定训练的最大次数，其缺省值为100；· tp(3)指定误差平方和指标，其缺省值为0.02；

21、83; tp(4)指定学习速率，其缺省值可由 maxlinlr( ) 函数(此函数主要用于 计算采用 W H 规则训练线性网络的最大的稳定的分辨率)得到。而利用函数 adaptwh( )可以得到网络的输出 a、误差 e、权值矩阵 w 和 阀值向量 b。a,e,w,b=adaptwh(w,b,p,t,lr)输入变量 lr 为学习速率，学习速率 lr 为可选参数，其缺省值为 10。 另外，函数 maxlinlr( ) 的调用格式为：lr=maxlinlr(p);六、线性神经网络的应用举例为了理解线性神经网络的理论及其应用问题， 下面给出一个实际问题进行分析，设计一个线性神经网络，用于信号仿真及信号

22、预测。首先输入信号样本为： time=1 ： 0.0025： 5； p=sin(sin(time)*time*10) ； 目标信号为： t=p*2+2 ； 图形显示样本信号的规律为： plot(time, p, time, t, '- ') title( Input and Target Signals') xlabel( Time') ylabel( Input_ Target_')3.5Tnput and Target Signals 43 5 2 5 1 5 0 5 2 1 0 0. _tegraT_tupnI图 2.3 样本信号利用输入样本信号和

23、理想输出进行线性神经网络初始化：w ， b=initlin(p ，t) 然后利用函数 adaptwh 对构造的网络进行训练， lr=0.01 ； a, e, w, b=adaptwh(w, b, p, t, lr) 其中 lr 为学习率， a 为网络的输出， e 为误差。 仿真结果与目标信号对比分析： plot(time, a, time, t, - ') title( Output and Target Signals')xlabel( Time')；ylabel( Output_ Target_')4Output and Target Signals图 2.

24、4 仿真结果与目标信号对比分析 误差分析：plot(time,e)hold on ； plot(min(time) max(time),0 0,':r') xlabel('Time') ； ylabel('Error')-0.51.522.5 3 3.5Time4 4.5 5Error Signal53352rorE1图 2.5 误差分析实验三 BP 神经网络的 MATLAB实现感知器神经网络模型和线性神经网络模型虽然对人工神经网络的发展 起了很大的作用， 它们的出现也曾掀起了人们研究神经网络的热潮。 但它们 有许多不足之处。 人们也曾因此失去了

25、对神经网络研究的信心， 但 rumelhart 、 mcclellard 和他们的同事洞悉到网络信息处理的重要性，并致力于研究并行 分布信息处理方法，探索人类认知的微结构，于 1985 年发展了 BP 网络的 学习算法。 从而给人工神经网络增添了活力， 使其得以全面迅速地恢复发展 起来。BP 网络是一种多层前馈神经网络，其神经元的激励函数为S 型函数，因此输出量为 0到 1之间的连续量， 它可以实现从输入到输出的任意的非线 性映射。 由于其权值的调整是利用实际输出与期望输出之差， 对网络的各层 连接权由后向前逐层进行校正的计算方法，故而称为反向传播 （Back-Propogation ）学习算

26、法， 简称为 BP算法。 BP算法主要是利用输入、 输出样本集进行相应训练， 使网络达到给定的输入输出映射函数关系。 算法 常分为两个阶段： 第一阶段 （正向计算过程） 由样本选取信息从输入层经隐 含层逐层计算各单元的输出值； 第二阶段 （误差反向传播过程） 由输出层计 算误差并逐层向前算出隐含层各单元的误差，并以此修正前一层权值。 BP 网络主要用于函数逼近、模式识别、分类以及数据压缩等方面。 一、BP网络的网络结构3.1 所示的是一个具有 R 个输入输出层a2S2×qBP 网络通常至少有一个隐含层，如图 和一个隐含层的神经网络模型。隐含层P oW1R×QS1×

27、R1 oB1S1×1图 3.1 具有一个隐含层的 BP 网络结构感知器与线性神经元的主要差别在于激励函数上： 前者是二值型的， 而 后者是线性的。 BP 网络除了在多层网络上与已介绍过的模型有不同外，其主要差别也表现在激励函数上。图 3.2 所示的两种 S 型激励函数的图形，可以看到 f(· )是连续可微 的单调递增函数， 这种激励函数的输出特性比较软， 其输出状态的取值范围 为0 ， 1或者 -1 ， +1 ，其硬度可以由参数来调节。函数的输入输出关系 表达式如下所示：双极型的 S型激励函数： f (net)21 exp( net)f(net) ( -1，1)单极型的 S

28、 型激励函数：f(net)11 exp( net)f(net) ( 0，1)图 3.2 sigmoid 型函数图形对于多层网络， 这种激励函数所划分的区域不再是线性划分， 而是由一 个非线性的超平面组成的区域。因为 S 型函数具有非线性的大系数功能。 它可以把输入从负无穷到正无 穷大的信号变换成 1到 1之间输出，所以采用 S型函数可以实现从输入 到输出的非线性映射。二、BP网络学习规则BP 网络最为核心的部分便是网络的学习规则。用 BP 算法训练网络时 有两种方式： 一种是每输入一样本修改一次权值； 另一种是批处理方式， 即 使组成一个训练周期的全部样本都依次输入后计算总的平均误差。 这里我

29、们 主要探讨的是后一种方式。下面我们给出两层网络结构示意简图 4.3，并以此探讨 BP 算法。BP 网络的学习过程主要由以下四部分组成：1) 输入样本顺传播输入样本传播也就是样本由输入层经中间层向输出层传播计算。 这一过 程主要是输入样本求出它所对应的实际输出。 隐含层中第 i 个神经元的输出为Ra1i f1w1ij p j b1ij1i 1,2, ,s1(3.1)输出层中第k 个神经元的输出为：a2kS12w2 ki a1i b2k ,i1i 1,2, s2(3.2)其中 f1(·), f2 (·)分别为隐含层的激励函数。2) 输出误差逆传播 在第一步的样本顺传播计算中我

30、们得到了网络的实际输出值， 当这些实 际的输出值与期望输出值不一样时， 或者说其误差大于所限定的数值时， 就 要对网络进行校正。首先，定义误差函数1 2 2E(w,b)= (tk a2k )2(3.3)2k1其次，给出权值的变化 输出层的权值变化从第 i 个输入到第 k 个输出的权值为：w2kiEki 1w2ki其中：kiek f2ek lk a2k 隐含层的权值变化3.4)3.5)3.6)从第 j 个输入到第i 个输出的权值为：wijE w1ijij pj 01 （ 为学习系数 ）（3.7）其中：ij ei f1（3.8）s2eiki w2kik1（3.9）由此可以看出： 调整是与误差成正比

31、， 即误差越大调整的幅度就越大。 调整量与输入值大小成比例， 在这次学习过程中就显得越活跃， 所以与其 相连的权值的调整幅度就应该越大， 调整是与学习系数成正比。 通常学习 系数在 0.10.8 之间，为使整个学习过程加快，又不会引起振荡，可采用变 学习率的方法， 即在学习初期取较大的学习系数随着学习过程的进行逐渐减 小其值。最后，将输出误差由输出层经中间层传向输入层，逐层进行校正。3）循环记忆训练 为使网络的输出误差尽可能的小， 对于 BP 网络输入的每一组训练样本， 一般要经过数百次甚至上万次的反复循环记忆训练， 才能使网络记住这一样 本模式。这种循环记忆训练实际上就是反复重复上面介绍的输

32、入模式正向传播 和输出误差逆传播过程。4）学习结束的检验当每次循环记忆结束后， 都要进行学习是否结束的检验。 检验的目的主 要是检查输出误差是否已经符合要求。 如果小到了允许的程度， 就可以结束 整个学习过程，否则还要进行循环训练。三、BP 网络的训练对 BP 网络进行训练时，首先要提供一组训练样本，其中每个样本由输 入样本和输出对组成。 当网络的所有实际输出与其理想输出一致时， 表明训 练结束。否则，通过修正权值，使网络的实际输出与理想输出一致。实际上针对不同具体情况， BP 网络的训练有相应的学习规则，即不同 的最优化算法，沿减少理想输出与实际输出之间误差的原则，实现 BP 网络 的函数逼

33、近、向量分类和模式识别。以图 3.3 为例来说明 BP 网络训练的主 要过程。图 3.3 含一个隐含层的 BP 网络结构首先：网络初始化，构造合理的网络结构(这里我们采用图4.3 的网络结构)，取可调参数(权和阀值)为 -1 ，1 上服从均匀分布随机数，并取定 期望误差、最大循环次数和修正权值的学习率的初始值。其次，利用相应的 BP 网络学习规则对网络进行训练，求得权值修正后 的误差平方和。最后，检查网络误差平方和是否降低到期望误差之下，若是， 训练结束，否则继续。四、重要 BP神经网络函数的使用方法函数 initff( ) 和simuff可以用来初始化和仿真不超过三层的前馈型网络。 函数 t

34、rainbp( )、 trainbpx( ) 、 trainlm( )可用来训练 BP 网络。其中 trainlm( ) 的训练速度最快， 但它需要更大的存储空间， 也就是说它是以空间换取了时 间； trainbpx( ) 的训练速度次之； trainlm( ) 最慢。1初始化函数 initff( )函数 initff( ) 的主要功能就是对至多三层的 BP 网络初始化。 其使用格式 有多种，现列如下：w,b=initff(p, s, f)w1, b1, w2, b2=initff(p, s1, f1, s2, f2)w1, b1, w2, b2, w3, b3=initff(p, s1, f

35、1, f2, s3, f3)w, b=initff(p, s, t)w1,b1,w2,b2=initff(p, s1, f1, s2, t)w1, b1, w2, b2, w3, b3=initff(p, s1, f1, s2, f2, s3, t)w, b=initff(p, s, f) 可得到 s 个神经元的单层神经网络的权值和阀值，其 中 p 为输入向量， f 为神经元的激励函数。BP 网络有一个特点很重要，即 p 中的每一行中必须包含网络期望输入 的最大值和最小值，这样才能合理地初始化权值和阀值。2仿真函数 simuff( )BP 网络是由一系列网络层组成，每一层都从前一层得到输入数据

36、，函 数 simuff( ) 可仿真至多三层前馈型网络。对于不同的网络层数，其使用格式 为：a=simuff(p, w1, b1, f1)a=simuff(p, w1, b1, f1, w2, b2, f2)a=simuff(p, w1, b1, f1, w2, b2, f2, w3, b3, f3) 以上三式分别为单层、双层和三层网络结构的仿真输出。3训练函数关于前面所提到的几种 BP 网络训练函数，在这里只介绍其中之一： trainbp( ) 。函数 trainbp( ) 利用 BP 算法训练前馈型网络。 trainbp( ) 函数可以训练单 层、双层和三层的前馈型网络，其调用格式分别为：w, b, te, tr=trainbp(w, b, f ,p, t, tp)w1, b1, w2, b2, te, tr=trainbp(w1,b1, f1