智能控制考试

1、单层感知器的结构单层感知器属于单层前向网络，即除了输入层和输出层之外只拥有一层神经元节点。感知器(perception)的原理相对简单，是学习其他复杂神经网络的基础。由单个神经元组成的单层感知器只能用来解决线性可分的二分类问题。典型使用场景:将其用于两类模式分类时，就相当于在高维样本空间中，用一个超平面将样本分开。Rosenblatt证明，如果两类模式线性可分，则算法一定收敛。XiX2X1XN输入是一个N维向量向量。口 3, D3 口其中的每一个分量都对应于一个权值，隐含层的输出叠加为一个标量N值：V = x 3 i ii = 1随后在二值阈值元件中对得到的V值进行判断，产生二值输出:V =

2、sgn二维空间中的超平面是一条直线。在直线下方的点，输出-1 ；在直线上方的点，V 1输出1。分类面：3 x +3 x + b = 0输入权值在实际应用中，通常采用纠错学习规则的学习算法。将偏置作为一个固定输入x(n) = +1,x (n),x (n),x (n)h y (n) = sgn (w t (n) x (n)x =伽(n) x(n)单层感知器的学习算法（1）定义变量和参数。X为输入，y为实际输出，d为期望输出为偏置，w为权值。（2）初始化。n=0，将权值向量 设置为随机值或全零值。（3）激活。输入训练样本，对每个训练样本指定其期望输出x(n) = +1,x (n), x (n),x

3、(n)h12N计算实际输出。硕n) = fb(n),3 (n),w (),w (n)1更新权值向量。m(h +1) = m(h) +门d (n) 一 y (n) x (n)判断。若满足收敛条件，算法结束；若不满足，n自增1,转到 第3步继续执行。条件的混合使用， 防止出现算法不收敛两次迭代之间的权值变化已经很小设定最大迭代次数肱，当迭代了 M次之后算法就停止迭代误差小于某个预先设定的较小的值门确定学习率不应当过大，以便为输入向量提供一个比较稳定的权值估计不应当过小，以便使权值能够根据输入的向量x实时变化，体现误差对权值的修正作用 粗准焦螺旋和细准焦螺旋的类比。一一自适应学习率。感知器的局限性单

4、层感知器无法解决线性不可分问题，只能做近似分类。感知器的激活函数使用阈值函数，输出值只有两种取值，限制了 在分类种类上的扩展。如果输入样本存在奇异样本，网络需要花费很长的时间。感知器的学习算法只对单层有效。单层感知器应用实例坐标点的二类模式分类问题：二维平面坐标系中存在一系列坐 标点，已知部分坐标点属于第一类，部分坐标点属于第二类，求新坐手算标点的类别。使用工具箱序号Xy所属类型（期望输出）1-915021813-12404-4505011065911xy(2)初始化，将权值和偏置初始化为零。 w=0,0,0;(3)第一次迭代。 v=w*P %输出层的输入 y=hardlim(v)%计算网络的

5、输出根据整权值 e=(d-y) % 误差%计算误差的平 ee=mae(e)均绝对差 w=w+n*(T-y)*P % 调整w（4）第二次迭代。重复以上的步骤 v=w*P y=hardlim(v) e=(d-y) ee=mae(e)% 误差不为零! w=w+n*(T-y)*P第三次迭代，重复以上步骤。 v=w*P y=hardlim(v) e=(d-y) ee=mae(e) w=w+n*(T-y)*P第四次迭代。 v=w*P y=hardlim(v) e=(d-y) ee=mae(e) w=w+n*(T-y)*Pperception_hand.m误差为零，权值w不再更新，得到的分类超平面为：7 x

6、 - 3.4 y - 0.4程序:% perception_hand.m %清理（1）定义变量 定义输入 期望输出clear,clc close all%学习率% n=0.2;w=0,0,0;P= -9, 1,-12,-4,0, 5;.15, -8,4,5,11, 9;d=0,1,0,0,0,1;% 期望输出P=ones(1,6);P;111111-91-12-40515-845119figure;subplot(2,1,1);%显示待分类的点和分类结果plot(-9 , -12 -40,15, 4511,o);hold on;plot(1,5,-8,9,*);axis(-13,6,-10,1

7、6);legend(第一类,第二类)；title(6 个坐标点 的二分类 );6个坐标点的二分类 TOC o 1-5 h z 15 F 0 ,10 - +5 _ o0 -10 111111111-12-10-8-6-4-2024二第一类+ 第二类%(3)初始化w=0,0,0;%（4）第一次迭代计算V和y值v=w*P;vy=hardlim(v); % 实际输出y% y是实际输出，与期望输出d不一致需要根据误差d-y 调整权值和偏置e=(d-y);eee=mae(e);eew=w+n*(d-y)*P;000000y =111111e =-10-1-1-10ee =w =0.6667的值，计算V和y

8、值 v=w*P;v y=hardlim(v); % 实际输出y e=(d-y);eee=mae(e);还需要再88.80000ee %可以发现，实际输出与期望输出仍然不一致 次调整w向量w=w+n*(d-y)*P;wv = -150.800060.2000-55.8000 -77.8000 -38.8000y = 01000e = 00000ee = 0.1667 w =的值，计算V和y值 v=w*P;y=hardlim(v);%实际输出e=(d-y);ee=mae(e);ee %可以发现，mae值与前一次迭代相比没有变化，但是v值已经有了更新，继续调整权值和偏置w=w+n*(d-y)*P;4

9、7.0000-17.40000-93.4000wv =-132.6000 -50.6000 -57.8000 y = 0 e =0ee =0.1667 w = -0.4000v=w*P;vy=hardlim(v); % 实际输出ye=(d-y);eee=mae(e);ee%可以发现，程序在第四次迭代时就已经取得正确的结果，mae值为0，此时算法就收敛了，由于mae值为0，因此即使继续更新w向量，其值也保持不变：w=w+n*(d-y)*P;wv =-114.4000-45.4000 -37.8000y = 010e = 00033.8000-98.00004.0000000ee = 0程序在第4

10、次迭代时就已经取得了正确的结果,mae值为零。 此时算法就收敛了，由于mae值为零，因此继续更新w向 量，其值也保持不变。w=w+n*(d-y)*P;ww =-0.40007.0000-3.4000%显示figure;subplot(2,1,1);%显示待分类的点和分类结果plot(-9 , -12 -40,15, 4511,o);hold on;plot(1,5,-8,9,*);axis(-13,6,-10,16);legend(,第一类,第二类,);title(6个坐标点的二分类);x=-13:.2:6;y=x*(-w(2)/w(3)-w(1)/w(3);plot(x,y);hold of

11、f;总程序w=w+n*(d-y)*P;if (i=MAX)%达到最大迭代次% perception_hand.m数，退出%清理disp(MAX times loop);clear,clcdisp(w);close alldisp(ee(i+1);break;%endn=0.2;%学习率i= i+1;w=0,0,0;endP= -9, 1, -12, -4,0, 5;.%显示15, -8,4, 5,11, 9;figure;d=0,1,0,0,0,1;%期望输出subplot(2,1,1);%显示待分类的点和分类结果P=ones(1,6);P;plot(-9 ,-12-40,15, 45MAX=

12、20;%最大迭代11,o);次数为20次hold on;%训练plot(1,5,-8,9,*);i=0;axis(-13,6,-10,16);while 1legend （第一类,第二类）；v=w*P;title（6个坐标点的二分类）；y=hardlim(v);%实际输出x=-13:.2:6;%更新y=x*(-w(2)/w(3)-w(1)/w (3);e=(d-y);plot(x,y);ee(i+1)=mae(e);hold off;if (ee(i+1)X 22 -ov yo 12八o.22boXc _lk.3 c线性神经网络与感知器1的对比网络传输函数。感知器传输函数是一个二值阈值元件，而

13、线性神经网络的传输函数是线性的。这就决定了感知器只能做简单的分类，而线性神经网络还可以实现拟合或逼近。学习算法LMS算法得到的分类边界往往处于两类模式的正中间，而感知器学习算法在刚刚能正确分类的位置就停下来了，从而使分类边界离一些模式距离过近使系统对误差更敏感线性神经网络应用实例与o2网络的训练中共需确定3个自由变量，而输入的训练向量则有4个， 因此可以形成一个线性方程组：0 x x + 0 x j + 1x b = 0 0 x x + 1x j + 1x b = 0 1x x + 0 x j + 1x b = 0 1x x + 1x j + 1x b = 1由于方程的个数超过了自变量的个数，

14、因此方程没有精确解，只有近似解，用伪逆的方法可以求得权值向量的值: P=0,0,1,1；0,1,0,1 P=ones(1,4);P手算: d=0,0,0,1%定义 pinv(P)*d P=0,0,1,1;0,1,0,1 P=ones(1,4);P%包含偏置的输入向量 d=0,0,0,1%期望输出向量%初始化 w=0,0,0权值向量初始化为零向量 lr=maxlinlr(P)%根据输入矩阵求解最大学习率 MAX=200;%最大迭代次数，根据经验确定 for i=1:MAX.fprintf(第d 次迭代n, i);v=w*P;%求出输出y=v;disp（线性网络的二值输出：）;yy=y=0.5%将

15、模拟输出转化为二值输出，以0.5为阈值e=d-y;%误差m(i)=mse(e);%均方误差fprintf(均方误差：%fn,m (i);dw=lr*e*P;%权值向量的调整量fprintf(权值向量：n);w=w+dw%调整权值向量endplot(0,0,1,0,1,0,o);hold on;plot(1,1,d);x=-2:.2:2;y=1.5-x;plot(x,y)axis(-0.5,2,-0.5,2)xlabel(x);ylabel(ylabel);title(线性神经网络用于求解与逻辑)legend(0,1,分类面)；得到的分类超平面为：xBP神经网络的串行方式和批量方式串行方式。在线

16、方式，网络每获得一个新样本，就计算一次误差并更新权值，直到样本输入完毕。随机输入样本，不容易陷入局部最优陷阱。批量方式：离线方式。网络获得所有的训练样本，计算所有样本均方误差的和作为总误差。容易并行化，速度快。设计BP网络的方法BP网络的设计主要包括网络层数、输入层节点数、隐含层节点数、输 出层节点数及传输函数、训练方法、训练参数的设置等几个方面。网络层数。对于大部分应用场合，单个隐含层即可满足需要输入层节点数。输入层节点数取决于输入向量的维数。如果输入的是的图像，则输入向量应为图像中所有的像素形成的 4096维向量。如果待解决的问题是二元函数拟合，则输入向量应 为二维向量。隐含层节点数。较多

17、的隐含层节点数可以带来更好的性能，但可 能导致训练时间过长。经验公式：k为样本数n为输入层结点数n Cik M = log n M =n + m + a i=0输出层神经元个数输出层神经元的个数同样需要根据从实际问题中得到的抽象模型来确定。在模式分类问题中，如果共有n种类别，则输出可以采用nHog n2个神经元。也可以将节点个数设计为个，表示最小的不小于的整数。由于输出共有4种情况，因此采用二维输出即可覆盖整个输出空间，00、01、10和11分别表示一种类别。传递函数的选择一般隐含层使用Sigmoid函数，而输出层使用线性函数。如果输出层也采用Sigmoid函数，输出值将会被限制在01或-11

18、之间。训练方法的选择使用LM算法收敛速度最快，均方误差也较小。LM算法对于模式识别相关问题的处理能力较弱，且需要较大的存储空间模式识别问题，使用RPROP算法能收到较好的效果 SCG算法对于模式识别和函数逼近问题都有较好的性能表现。初始权值的确定通常将初始权值定义为较小的非零随机值，经验值为（一24/ F,24 / F ）F：权值输入端连接的神经元个数4.BP神经网络的局限性BP网络具有实现任何复杂非线性映射的能力，特别适合求解内部机制复杂的问题，但BP网络也具有一些难以克服的局限性 （1）需要的参数较多，且参数的选择没有有效的方法。隐含层结点个 数。（2）容易陷入局部最优。（3）样本依赖性。

19、如果样本集合代表性差、矛盾样本多、存在冗余样本，网络就很难达到预期的性能 （4）初始权重敏感性。训练的第一步是给定一个较小的随机初始权重， 由于权重是随机给定的，BP网络往往具有不可重现性。径向基神经网络的学习算法（正则化网络方法）确定隐含层结点中心隐含层中基函数的标准差网络权值（隐含层到输出层）正则化网络的一个特点就是：隐含节点的个数等于输入训练样本的个数。因此如果训练样本的个数N过大，网络的计算量将是惊人的， 从而导致过低的效率甚至根本不可实现。解决的方案是用Galerkin方法来减少隐含层神经单元的个数，此时求得的解是较低维数空间上的次优解。这就是广义网络径向基神经网络与多层感知器的比较径向基神经网络是三层网络（输入层、隐含层、输出层），只有一 个隐含层，而多层感知器则可以有多个隐含层径向基神经网络的隐含层和输出层完全不同，隐含层采用非线 性函数（径向基函数）作为基函数，而输出层采用线性函数，两 者作用不同径向基神经网络的基函数计算的是输入向量与基函数中心之间 的欧式距离（两者取差值，再取欧几里德范数），而多层感知器的隐单元的激励函数则计算输入向量与权值的