神经网络第三章感知器

单个感知器模型与解决问题的能力单层感知器模型与解决问题的能力单层感知器的学习算法单层感知器的局限性问题多层感知器的设计方法有关的几个问题的讨论单层感知器的MATLAB设计与实现第三章：感知器网络当前1页，总共57页。概述由美国学者Rosenblatt在1957年首次提出学习算法是Rosenblatt在1958年提出的包含一个突触权值可调的神经元属于前向神经网络类型只能区分线性可分的模式IEEE设立以其名字命名的奖项

当前2页，总共57页。第三章：感知器人的视觉是重要的感觉器官，人通过视觉接受的信息占全部信息量的80~85%。感知器是模拟人的视觉，接受环境信息，并由神经冲动进行信息传递的神经网络。感知器分单层与多层，是具有学习能力的神经网络。本章的重点：感知器的结构、表达能力、学习算法。本章的难点：感知器的表达能力。当前3页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力

图2-3-1单层感知器当前4页，总共57页。布尔函数的M-P神经元表示:

利用带阈值的M-P人工神经元可以很方便地实现布尔代数中的许多功能。在布尔代数中，and、or、Not、xoR关系如下表1所示：第三章：感知器3.1单个感知器模型与解决问题的能力andor

)

)xoR0000110010110110010111111000Not(Not(当前5页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力且、，模型来建立，可以将图用与、之间的关系：

上面几个人工神经元都满足M-P模型。

当前6页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力根据各个图及M-P模型，我们有

（1）（2）当前7页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力（3）显然是符合逻辑运算要求。当前8页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力

权系数和阈值不是0、1的M-P模型

若，则M-P模型比只允许取{-1，1}要灵活（或{1，0}），（或{1，0}），则对于这个M-P人工神经元来说：

的多，但此时仍限制但与相比并无多大改进。当前9页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力例：试说明下列两个M-P人工神经元是等价的。

分析：对于（a）

当前10页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力对与（b）当前11页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力此时感知器人工神经元结构及其数学描述如下：

当M-P人工神经元的输入X可以在R上取值时

——离散感知器(简称感知器)

若M-P人工神经元的输入，而其输出值为或模型就改进为离散感知器（因为其输出还是离散的），简称为感知器。。则此时的M-P当前12页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力

用图所示二输入/单输出单层感知器，输入输出描述：

îíì<·³·=·=-+=0,00,1)()(2211fuwuwfyq

即

qq<+³+îíì=22112211,0,1uwuwuwuwy

可见：输入输出为线性可分集合，一定可找到一条直线，将输入模式分为两类，此直线方程：

ywuwu=+-=11220q

则

uwwwu22121=-q

见图，此直线与权值及阈值有关。

当前13页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力

用图所示三输入/单输出的单层感知器，输入输出：

îíì<·³·=·=-++=0,00,1)()(332211fuwuwuwfyq即

qq<++³++îíì=332211332211,0,1uwuwuwuwuwuwy可见，输入输出为线性可分集合，一定可找到一个平面，将输入模式分为两类，平面方程：

0332211=-++=quwuwuwy则

23213133uwwuwwwu--=q此平面与权值及阈值有关,见图。当前14页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力

感知器的分类定义

作为数学模型，我们对感知器作出如下归纳：感知器是一个多输入、单输出的运算系统，表示一个神经元的运算特性，它的输入状态向量记为：权向量:2.感知器的状态值可以为感知器的输出值

当前15页，总共57页。

连续感知器

第三章：感知器3.1单个感知器模型与解决问题的能力连续感知器人工神经元结构及其数学描述如下：

若取，则其成为一类最简单的连续人工感知神经元。激活函数：当前16页，总共57页。第三章：感知器3.1单个感知器模型与解决问题的能力是不连续的:或都在{0，1}或{-1，1}上取值，的每个向量定义：

如果且激活函数那么这个感知神经元被成为M-P模型。是离散的，那么这个b)如果，但激励函数感知神经元被称为离散感知器——常简称为感知器。是连续函数，那么这个感知且C)如果神经元称为连续感知器。

由相应的感知神经元组成的网络就称为相应神经网络，如M-P神经网络、感知器神经网络、连续感知器神经网络。当前17页，总共57页。

例

线性不可分集合。

二维平面上的两类模式——异或（XOR）问题，见表。二维平面中不存在一条直线，将输入模式分为两类，此输入模式称线性不可分集合，见图。可见：单层感知器不能解决异或问题。第三章：感知器3.1单个感知器模型与解决问题的能力结论：单个感知器不能对线性不可分问题实现两类分类。当前18页，总共57页。单层感知器工作原理

对于只有两个输入的判别边界是直线（如下式所示）,选择合适的学习算法可训练出满意的和，当它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。第三章：感知器3.1单个感知器模型与解决问题的能力当前19页，总共57页。第三章：感知器3.2单层感知器模型与解决问题的能力

在上一节中指出了线性单个感知神经网络只能实现两类分类，如果要进行多于两类的分类将怎么办？生物医学已经证明：生物神经系统是由一些相互联系的，并能互相传递信息的神经细胞互连构成。因此这就使我们自然地想到是否可将单个的感知神经元连成网络形成一个单层的网络？结构当前20页，总共57页。第三章：感知器3.2单层感知器模型与解决问题的能力

例

线性不可分集合。

二维平面上的两类模式——异或（XOR）问题，见表。二维平面中不存在一条直线，将输入模式分为两类，此输入模式称线性不可分集合，见图。可见：单层感知器不能解决异或问题。结论：单层感知器不能对线性不可分问题实现两类分类。当前21页，总共57页。

感知器的学习目标

感知机的基本功能是对外部信号进行“感知”与识别，这就是当外部n个刺激信号或来自其它n个神经元（的信号）处于一定的状态时，感知器就处于“兴奋”状态，而当外部n个信号或n个神经元的输出处于另一些状态时，感知器就呈现“抑制”状态。若用

表示感知器的运算函数关系，那么它们的运算目标就是：即一个感知神经元只能实现两类的划分，且其中A，B是

中互不相交的集合。

第三章：感知器3.3单层感知器的学习算法当前22页，总共57页。定义：感知器的学习目标：我们称（A，B）为感知器的学习目标，如果A、B是

感知器的学习目标

中两个互不相交的集合，且下面方程成立。即一个感知神经元只能实现两类的划分，且其中A，B是

中互不相交的集合。

等价于如下描述：

第三章：感知器3.3单层感知器的学习算法当前23页，总共57页。第三章：感知器3.3单层感知器的学习算法

离散单个感知器的学习算法

设M-P模型的几何图形如右图：设为网络的广义权向量，为输入向量且是二值的，网络的训练样本集为M-P神经元的权（广义的）的学习的基本方式和原则如下：若M-P神经元的权值为，则M-P神经元的输出为：当前24页，总共57页。的值与此时对应的不一样，即如果的值与此时对应的一样，则说明此时权值将和正确分类；如果表示将此时的错误分类，则此时需要调整值。

。当时，说明此时实际值，即，说明计算得到的的值大小小于零，而实际上应该是大于零，对此修正权值为第三章：感知器3.3单层感知器的学习算法如此调整后当前25页，总共57页。使被减小了，故算法如下：增加了。否则，则表示实际，此时则取，调整后第三章：感知器3.3单层感知器的学习算法2.重复下列过程，直到训练完成：

2.1对样本集中的每一个样本与实际样本中所有都一样，则2.1.1输入初始化权向量（一般在一定范围内取）；,重复如下过程：2.1.2计算2.1.3如果计算得的退出；否则一样时才可退出循环。这里需要注意的是：只有当所有样本计算得到的与所有实际当前26页，总共57页。第三章：感知器3.3单层感知器的学习算法一样时才可退出循环。这里需要注意的是：只有当所有样本计算得到的与所有实际如果计算得的与实际样本中所有都一样，则输入2.重复下列过程，直到训练完成：

2.1对样本集中的每一个样本离散单层感知器的训练算法：初始化权向量（一般在一定范围内取）；，重复如下过程：计算退出；否则2.1.1对每一个神经元i作以下操作当前27页，总共57页。用公式wij=wij+α(yj-oj)xi取代离散单个感知器的学习算法中的权值调整方法，可以得到如下连续单个感知器的学习算法：

连续单个感知器的学习算法

第三章：感知器3.3单层感知器的学习算法2.重复下列过程，直到训练完成：

2.1对样本集中的每一个样本与实际样本中所有都一样，则2.1.1输入初始化权向量（一般在一定范围内取）；,重复如下过程：2.1.2计算2.1.3如果计算得的退出；否则wij=wij+α(yj-oj)xi说明：yj与oj之间的差别对wij的影响由α(yj-oj)xi表现出来：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽。当前28页，总共57页。

连续单层感知器的学习算法

第三章：感知器3.3单层感知器的学习算法如果计算得的与实际样本中所有都一样，输入2.重复下列过程，直到训练完成：

2.1对样本集中的每一个样本初始化权向量（一般在一定范围内取）；，重复如下过程：计算2.1.1对每一个神经元i作以下操作则退出；否则wij=wij+α(yj-oj)xi当前29页，总共57页。1.用适当的小伪随机数初始化权矩阵W；2.初置精度控制参数ε,学习率α,精度控制变量d=ε+1；3.Whiled≥εdo3.1d=0；

3.2for每个样本（X，Y）do 3.2.1输入X（X

=(x1，x2，…，xn)）；

3.2.2求O=F（XW）；

3.2.3修改权矩阵W：

fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi；

3.2.4累积误差

forj=1tomdo d=d+(yj-oj)2

连续单层感知器的学习算法

第三章：感知器3.3单层感知器的学习算法当前30页，总共57页。1、程序实现:ε、α、d、i、j、n、m为简单变量来表示，W为n行m列的二维数组。样本集(X,Y)是二维数组。2、Minsky在1969年证明，有许多基本问题是感知器无法解决的。3、很难从样本数据集直接看出问题是否线性可分。4、未能证明，一个感知器究竟需要经过多少步才能完成训练。

连续单层感知器的学习算法

第三章：感知器3.3单层感知器的学习算法当前31页，总共57页。第三章：感知器3.4单层感知器网络的局限性结论1：单个感知器不能对线性不可分问题实现两类分类。结论2：单层感知器不能对线性不可分问题实现两类分类。当前32页，总共57页。第三章：感知器3.4单层感知器网络的局限性从前面的结论：“单层感知器不能对线性不可分问题实现分类。”可以看出单层感知器是有局限性的。当前33页，总共57页。变量函数及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f16000000000011111111010000111100001111100011001100110011110101010101010101第三章：感知器3.4单层感知器网络的局限性单层感知器的二维分类能力如下表：当前34页，总共57页。第三章：感知器3.4单层感知器网络的局限性单层感知器的高维分类能力如下表：R.O.Windner1960年

自变量个数函数的个数线性可分函数的个数144216143256104465,536188254.3*10994,57261.8*10195,028,134当前35页，总共57页。用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来一个非凸域可以拆分成多个凸域。按照这一思路，三级网将会更一般一些，我们可以用它去识别出一些非凸域来。第三章：感知器3.5多层感知器的设计方法当前36页，总共57页。当wij=1,θ=1，右图可实现“与”运算，当wij=1,θ=n，右图可实现“或”运算，第三章：感知器3.5多层感知器的设计方法

本章第三节中讨论了单层的感知器网络，本章第四节中指出了单层感知神经网络的局限性，如果要实现非线性数据分类，有必要构造多层感知器网络。当前37页，总共57页。第三章：感知器3.5多层感知器的设计方法例100u1u2yW1=-1,1;-11θ1=0.5;-0.5W2=1,1θ2=1.5当前38页，总共57页。例3.1：假设某压力设备的正常与不正常运行状态是由设备内部的压力P和温度T决定的。当P和T位于图3.1的阴影部分（包括边界）时设备运行正常，否则该设备不正常。问能否用感知器网络来实现该设备运行状态的识别（即运行正常与运行不正常的分类）。P（Mpa）T(℃)4503900.20.5第三章：感知器3.5多层感知器的设计方法当前39页，总共57页。第三章：感知器3.6有关的几个问题M-P模型在人工神经网络中的地位

首先M-P模型是所有人工神经元中第一个被建立起来的，它在多个方面都显示出生物神经元所具有的基本特性。其次，目前其它形式的人工神经元已有很多，但大多数都是在M-P模型的基础上经过不同的修正，改进变换而发展起来。因此M-P人工神经元是整个人工神经网的基础。当前40页，总共57页。1、神经元的内部改造：对不同的人工神经元取不同的非线性函数F（·）；对人工神经元的输入和输出做不同的限制：离散的（某些离散点）和连续的（整个实数域）。2、人工神经元之间的联接形式上进行改造——神经网络的结构上的改造。3、在人工神经网络权值和阈值取求的方法上改造——算法的改进。4、其它形式的改造，譬如（1）与（2）结合起来改进；（2）与（3）结合起来改进等等。第三章：感知器3.6有关的几个问题对M-P人工神经元进行改进的主要方式当前41页，总共57页。1、单神经元（M-P模型、单感知器、单连续感知机）；2、单层前向连接的神经网络；3、多层前向连接的神经网络（BP、RBF）；4、单层带有反馈连接的神经网络（Hopfield网）；5、多层回归（递归）神经网络；6、局部连接的人工神经网络（细胞神经网、小脑模型等）。

第三章：感知器3.6有关的几个问题人工神经网络常见的连接形式有：方式当前42页，总共57页。MATLAB中单层感知器常用工具函数名称和基本功能

函数名功能newp()生成一个感知器hardlim()硬限幅激活函数learnp()感知器的学习函数train()神经网络训练函数sim()神经网络仿真函数mae()平均绝对误差性能函数plotpv()在坐标图上绘出样本点plotpc()在已绘制的图上加分类线第三章：感知器3.7单层感知器的MATLAB设计与实现当前43页，总共57页。newp()功能：创建一个感知器神经网络的函数格式：net=newp(PR，S，TF，LF)说明：net为生成的感知机神经网络；PR为一个R2的矩阵，由R组输入向量中的最大值和最小值组成；S表示神经元的个数；TF表示感知器的激活函数，缺省值为硬限幅激活函数hardlim；LF表示网络的学习函数，缺省值为learnphardlim()功能硬限幅激活函数格式A=hardlim(N)说明函数hardlim(N)在给定网络的输入矢量矩阵N时，返回该层的输出矢量矩阵A。当N中的元素大于等于零时，返回的值为l；否则为0。也就是说，如果网络的输入达到阈值，则硬限幅传输函数的输出为1；否则，为0。learnp()功能感知机的权值和阈值学习函数第三章：感知器3.7单层感知器的MATLAB设计与实现当前44页，总共57页。第三章：感知器3.7单层感知器的MATLAB设计与实现train()功能神经网络训练函数格式[net，tr，Y，E，Pf，Af]=train(NET，P，T，Pi，Ai，VV，TV)说明

net为训练后的网络；tr为训练记录；Y为网络输出矢量；E为误差矢量；Pf为训练终止时的输入延迟状态；Af为训练终止时的层延迟状态；NET为训练前的网络；P为网络的输入向量矩阵；T表示网络的目标矩阵，缺省值为0；Pi表示初始输入延时，缺省值为0；Ai表示初始的层延时，缺省值为0；VV为验证矢量（可省略）；TV为测试矢量（可省略）。网络训练函数是一种通用的学习函数，训练函数重复地把一组输入向量应用到一个网络上，每次都更新网络，直到达到了某种准则，停止准则可能是达到最大的学习步数、最小的误差梯度或误差目标等。当前45页，总共57页。第三章：感知器3.7单层感知器的MATLAB设计与实现sim()功能对网络进行仿真格式(1)[Y，Pf，Af，E，perf]=sim(NET，P，Pi，Ai，T)(2)[Y，Pf，Af，E，perf]=sim(NET，{QTS}，Pi，Ai，T)(3)[Y，Pf，Af，E，perf]=sim(NET，Q，Pi，Ai，T)说明Y为网络的输出；Pf表示最终的输入延时状态；Af表示最终的层延时状态；E为实际输出与目标矢量之间的误差；perf为网络的性能值；NET为要测试的网络对象；P为网络的输入向量矩阵；Pi为初始的输入延时状态（可省略）；Ai为初始的层延时状态（可省略）；T为目标矢量（可省略）。式(1)、(2)用于没有输入的网络，其中Q为批处理数据的个数，TS为网络仿真的时间步数。当前46页，总共57页。第三章：感知器3.7单层感知器的MATLAB设计与实现mae()功能平均绝对误差性能函数格式perf=mae(E，w，pp)说明perf表示平均绝对误差和，E为误差矩阵或向量(网络的目标向量与输出向量之差)，w为所有权值和偏值向量(可忽略)，pp为性能参数(可忽略)。

当前47页，总共57页。plotpv()功能绘制样本点的函数格式(1)plotpv(P，T)(2)plotpv(P，T，V)说明P定义了n个2或3维的样本，是一个2n维或3n维的矩阵；T表示各样本点的类别，是一个n维的向量；V=[x_minx_maxy_miny_max]，为一设置绘图坐标值范围的向量。利用plotpv()函数可在坐标图中绘出给定的样本点及其类别，不同的类别使用不同的符号。如果T只含一元矢量，则目标为0的输入矢量在坐标图中用符号＂o＂表示：目标为1的输入矢量在坐标图中用符号＂+＂表示。如果T含二元矢量，则输入矢量在坐标图中所采用的符号分别如下：[00]用＂o＂表示；[01]用＂+＂表示：[10]用＂*＂表示；[11]用＂＂表示。第三章：感知器3.7单层感知器的MATLAB设计与实现当前48页，总共57页。第三章：感知器3.7单层感知器的MATLAB设计与实现使用MATLAB实现神经网络的步骤如下：第一步根据应用创建一个神经网络；第二步设定神经网络的训练参数，利用给定样本对创建的神经网络进行训练；第三步输入测试数据，测试训练好的神经网络的性能。当前49页，总共57页。clearclffigure(gcf)%setfsize(300,300);echoon%NEWP——建立一个感知器神经元%INIT——对感知器神经元初始化%TRAIN——训练感知器神经元%SIM——对感知器神经元仿真pause%敲任意键继续clc%P为输入矢量P=[-0.5-0.5+0.3+0.0;-0.5+0.5-0.5+1.0];第三章：感知器3.7单层感知器的MATLAB设计与实现Example3.1当前50页，总共57页。%T为目标矢量T=[1100];pauseclc%绘制输入矢量图plotpv(P,T);pauseclc第三章：感知器3.7单层感知器的MATLAB设计与实现当前51页，总共57页。第三章：感知器3.7单层感知器的MATLAB设计与实现%定义感知器神经元并对其初始化net=newp([-0.50.5;-0.51],1);net.initFcn='initlay';net.layers{1}.initFcn='initwb';net.inputWeights{1,1}.initFcn='rands';net.layerWeights{1,1}.initFcn='rands';net.biases{1}.initFcn='rands';net=init(net);echooffk=pickic;%选择