第三章感知器

第三章感知器第1页，共26页，2023年，2月20日，星期三2023/5/31第3章

感知器3.1感知器与人工神经网络的早期发展

3.2感知器的学习算法

3.2.1离散单输出感知器训练算法

3.2.2离散多输出感知器训练算法

3.2.3连续多输出感知器训练算法3.3线性不可分问题3.3.1异或(Exclusive–OR)问题

3.3.2线性不可分问题的克服

第2页，共26页，2023年，2月20日，星期三2023/5/323.1感知器与ANN的早期发展McCulloch和Pitts1943年，发表第一个系统的ANN研究。1947年，开发出感知器，即阈值加权和模型单输出的感知器x2

x1o

xn…实质：一个典型的人工神经元激活函数：阶跃函数第3页，共26页，2023年，2月20日，星期三2023/5/333.1感知器与ANN的早期发展1962年，Rosenblatt宣布：人工神经网络可以学会它能表示的任何东西

o1多输出感知器x1x2o2omxn…

………输入层输出层Minsky证明了：单级网无法接解决“异或”等最基本的问题。第4页，共26页，2023年，2月20日，星期三2023/5/343.2感知器的学习算法

感知器的学习是有导师学习感知器的训练算法的基本原理：著名的Hebb学习律基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵。第5页，共26页，2023年，2月20日，星期三2023/5/353.2.1离散单输出感知器训练算法

二值网络：自变量及其函数的值、向量分量的值只取0和1函数、向量。权向量：W=（w1，w2，…，wn）输入向量：X=（x1，x2，…，xn）训练样本集：{（X，Y）|Y为输入向量X对应的输出}

第6页，共26页，2023年，2月20日，星期三2023/5/36算法3-1离散单输出感知器训练算法

1．初始化权向量W；2．重复下列过程，直到训练完成：

2．1对每个样本（X，Y），重复如下过程：

2．1．1输入X；

2．1．2计算o=F（XW）；

2．1．3如果输出不正确，则 当o=0时，取W=W+X， 当o=1时，取W=W-X第7页，共26页，2023年，2月20日，星期三2023/5/373.2.2离散多输出感知器训练算法

激活函数：F

权矩阵W=（wij）样本集：{(X,Y)|Y为输入向量X对应的输出}输入向量：X=（x1,x2,…,xn）理想输出向量：Y=（y1,y2,…,ym）

实际输出向量：O=（o1,o2,…,om）o1多输出感知器x1x2o2omxn…

………输入层输出层第8页，共26页，2023年，2月20日，星期三2023/5/38算法3-2离散多输出感知器训练算法

1．初始化权矩阵W；2．重复下列过程，直到训练完成：2．1对每个样本（X，Y），重复如下过程：

2．1．1输入X；

2．1．2计算O=F（XW）；

2．1．3fori=1tom执行如下操作：

ifoi≠yithen ifoi=0thenforj=1ton wij=wij+xi elseforj=1ton wij=wij-xi第9页，共26页，2023年，2月20日，星期三2023/5/39算法3-2离散多输出感知器训练算法算法思想：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。第1步:权矩阵的初始化(一系列小伪随机数)。

第10页，共26页，2023年，2月20日，星期三2023/5/310算法3-2离散多输出感知器训练算法第2步，循环控制。方法1：循环次数控制法：对样本集执行规定次数的迭代改进——分阶段迭代控制：设定一个基本的迭代次数N，每当训练完成N次迭代后，就给出一个中间结果(此时，程序需实现训练的暂停、继续、停止等控制)第11页，共26页，2023年，2月20日，星期三2023/5/311算法3-2离散多输出感知器训练算法方法2：精度控制法：给定一个精度控制参数要解决的两个问题：（1）精度度量实际输出向量与理想输出向量的对应分量的差的绝对值之和；实际输出向量与理想输出向量的欧氏距离的和（2）“死循环”：网络无法表示样本所代表的问题。（总达不到用户的精度要求）第12页，共26页，2023年，2月20日，星期三2023/5/312算法3-2离散多输出感知器训练算法方法3：综合控制法：将这两种方法结合起来使用

注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。（目的：避免测试阶段花费太多时间）第13页，共26页，2023年，2月20日，星期三2023/5/3133.2.3连续多输出感知器训练算法将各神经元的输出函数改成非阶跃函数，使输出值变成连续性的。采用第二种方法来实现对迭代次数的控制。ε：训练的精度要求。网络拓扑结构：第14页，共26页，2023年，2月20日，星期三2023/5/314算法3-3连续多输出感知器训练算法

1．

用适当的小伪随机数初始化权矩阵W；2．

初置精度控制参数ε，学习率α，精度控制变量

d=ε+1；3．

Whiled≥εdo3.1d=0；3.2for每个样本（X，Y）do 3.2.1输入X（=（x1，x2，…，xn））；

3.2.2求O=F（XW）；

3.2.3修改权矩阵W：

fori=1ton，j=1tomdo wij=wij+α（yj-oj）xi；

3.2.4累积误差

forj=1tomdo d=d+（yj-oj）2第15页，共26页，2023年，2月20日，星期三2023/5/3153.2.3连续多输出感知器训练算法

用公式wij=wij+α（yj-oj）xi取代了算法3-2第2.1.3步中的多个判断yj与oj之间的差别对wij的影响由α（yj-oj）xi表现出来好处：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽

第16页，共26页，2023年，2月20日，星期三2023/5/316算法3-3连续多输出感知器训练算法

值得注意的问题：1、Minsky在1969年证明，有许多基本问题是感知器无法解决的，这类问题被称为线性不可分问题。（样本集所代表的问题是否线性可分？）2、一个问题的线性可分性可能与时间有关3、很难从样本数据集直接看出问题是否线性可分4、未能证明，一个感知器究竟需要经过多少步才能完成训练。第17页，共26页，2023年，2月20日，星期三2023/5/3173.3线性不可分问题

3.3.1异或(Exclusive–OR)问题

（感知器无法解决）g（x，y）y01x001110第18页，共26页，2023年，2月20日，星期三2023/5/318用于求解XOR的单神经元感知器

无论如何选择a、b、θ的值，都无法使得直线将点（0,0）和点（1,1）与点（0,1）和点（1,0）划分开来。线性不可分问题：由单级感知器不能表达的问题。第19页，共26页，2023年，2月20日，星期三2023/5/319线性不可分函数变量函数及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f16000000000011111111010000111100001111100011001100110011110101010101010101第20页，共26页，2023年，2月20日，星期三2023/5/320线性不可分函数设函数有n个自变量，每个自变量的值只可以取0或1，所以函数有2n个输入模式。不同函数中，每个模式的值可以为0或1，则共有22n种不同的函数。R.O.Windner1960年给出n为1到6时二值函数的个数及其中线性可分函数的个数的研究结果。第21页，共26页，2023年，2月20日，星期三2023/5/321线性不可分函数自变量个数函数的个数线性可分函数的个数144216143256104465,536188254.3*10994,57261.8*10195,028,134n>=4，线性不可分函数的个数远大于线性可分函数的个数。随着n的增大，这种差距在数量级上越来越大。第22页，共26页，2023年，2月20日，星期三2023/5/3223.3.2线性不可分问题的克服一个单级网络可以将平面划分成两部分，用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来。第23页，共26页，2023年，2月20日，星期三2023/5/323两级单输出网在n维空间中划分出m边凸域…x1ANmAN1ANoxn…o“异或”运算的实现：第一层含两个神经元，第二层含一个神经元的网络。第24页，共26页，2023年，2月20日，星期三2023/5/324

线性不可