第三章感知器

1、1第三章第三章 前馈神经网络前馈神经网络3.13.1单层感知器单层感知器3.23.2多层感知器多层感知器23.1单层感知器单层感知器3.1.1感知器模型感知器模型 o1 oj om W1 Wj Wm x1 x2 xi xn3 3 前馈神经网络前馈神经网络3j=1,2,m Tni21,.,x,.x,xx)(XTmi21,.,o,.o,oo)(OTnjijj2j1j,.,w,.w,ww)(W3.1.13.1.1感知器模型感知器模型前馈神经网络前馈神经网络-单层感知器单层感知器4净输入：净输入：输出：输出：n1iiijjxwnet(3.1)()()(XWTjn0iiijjjjsgnxwsgnTnet

2、sgno(3.2)3.1.13.1.1感知器模型感知器模型前馈神经网络前馈神经网络-单层感知器单层感知器5(1)设输入向量设输入向量X=(x1 ,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j输出：输出：则由方程则由方程 wijx1+w2jx2-Tj=0 (3.3)确定了二维平面上的一条分界线。确定了二维平面上的一条分界线。ojx1-1x2前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能6（1 1）输入是二维）输入是二维wij x1+w2j x2 Tj = 0wij x1 = Tj - w2j x2x1 = (Tj -w2j x2

3、) / wij = - ( w2j/ wij ) x2 +Tj / wij = a x2 +c x1 * * * * O * * O * * O O * O x2 * * O O O O7感知器的功能（二维）感知器的功能（二维）0TjXW x1 * * * * O * * O * * O O * O x2 * * O O O O0TjXW0TjXW0TjXW0TjXW0TjXW8 x1 * * * * O * * O * * O O * O x2 * * O O O O前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能9(2)设输入向量设输入向量X=(x

4、1,x2,x3)T0101332211332211jjjjjjjjjTxwxwxwTxwxwxwo输出：输出：则由方程则由方程 wijx1+w2jx2+w3j Tj=0 (3.4) 确定了三维空间上的一个分界平面。确定了三维空间上的一个分界平面。 x2ojx1x3-1前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能10（2 2）输入是三维）输入是三维wij x1+w2j x2 +w3j x3 Tj = 0 x1 = a x2 +b x3 +c 0TjXW是什么？是什么？ x1 * * * * O * * O * * O O * O x2 * * O O

5、 O x311 x1 * * * * O * * O * * O O * O x2 * * O O O x3前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能12(3) 设输入向量设输入向量X=(x1，x2,，xn)T则由方程则由方程 wijx1+w2jx2+wnj Tj=0 (3.6) 确定了确定了n维空间上的一个分界平面。维空间上的一个分界平面。 输出：输出：wijx1+w2jx2+wnj Tj=0 (3.5)前馈神经网络前馈神经网络-单层感知器单层感知器3.1.23.1.2感知器的功能感知器的功能133.1.43.1.4感知器的学习感知器的学习p关

6、键问题就是求关键问题就是求0TjXW143.1.43.1.4感知器的学习算法感知器的学习算法pPerceptron(Perceptron(感知器感知器) )学习规则学习规则式中，当实际输出与期望值相同时，权值不需要调整。感式中，当实际输出与期望值相同时，权值不需要调整。感知器学习规则代表一种知器学习规则代表一种有导师学习有导师学习。15感知器学习规则的训练步骤：感知器学习规则的训练步骤：(1) 对各权值对各权值w0j(0),w1j(0),wnj(0)，j=1, 2,m （m为计算层的节点数）赋予较小的非零随机数；为计算层的节点数）赋予较小的非零随机数；(2) 输入样本对输入样本对Xp,dp，其

7、中，其中Xp=(-1,x1p,x2p,x,xn np p)， dp为期望的输出向量（教师信号），上标为期望的输出向量（教师信号），上标p代表代表 样本对的模式序号，设样本集中的样本总数为样本对的模式序号，设样本集中的样本总数为P， 则则p=1,2,P,P；前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法16感知器学习规则的训练步骤：感知器学习规则的训练步骤：(3)计算各节点的实际输出计算各节点的实际输出ojp(t)=sgnWjT(t)Xp, j=1,2,.,m；(4)调整各节点对应的权值，调整各节点对应的权值，Wj(t+1)= Wj(t)+dj

8、p-ojp(t)Xp, j=1, 2,m, 其中为学习率，用于控制调整速度，太大其中为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢，会影响训练的稳定性，太小则使训练的收敛速度变慢， 一般取一般取0 011；(5)返回到步骤返回到步骤(2)输入下一对样本，周而复始直到对所有输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。样本，感知器的实际输出与期望输出相等。前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法17Perceptron RulePerceptron Rule1819202122

9、23感知器学习规则的训练步骤：感知器学习规则的训练步骤：（1 1）权值初始化）权值初始化（2 2）输入样本对）输入样本对（3 3）计算输出）计算输出（4 4）根据感知器学习规则调整权值）根据感知器学习规则调整权值（5 5）返回到步骤）返回到步骤(2)(2)输入下一对样本，周而输入下一对样本，周而复始直到对所有样本，感知器的实际输出与复始直到对所有样本，感知器的实际输出与期望输出相等。期望输出相等。前馈神经网络前馈神经网络-单层感知器单层感知器24例三例三 单计算节点感知器，单计算节点感知器，3个输入。给定个输入。给定3对训练样对训练样本对如下：本对如下：X1 = (-1，1，-2，0)T d1

10、 = 1X2 = (-1，0，1.5，-0.5)T d2 = 1X3 = (-1，-1，1，0.5)T d3 =1 设初始权向量设初始权向量W(0)=(0.5,1,-1,0)T，=0.1=0.1。注意，注意，输入向量中第一个分量输入向量中第一个分量x0恒等于恒等于-1，权向量中第一个分，权向量中第一个分量为阈值，试根据以上学习规则训练该感知器。量为阈值，试根据以上学习规则训练该感知器。前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法25解：第一步解：第一步 输入输入X1，得得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2

11、.5 o1(0)=sgn(2.5)=1 W(1)= W(0)+d1- o1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法26第二步第二步 输入输入X2，得，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6 o2(1)=sgn(-1.6)=-1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5

12、)T =(0.7,0.8,-0.6,0)T由于由于d2= o2(1)，所以，所以W(2)= W(1)。前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法27第三步第三步 输入输入X3，得，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 O3(2)=sgn(-2.1=-1W(3)= W(2)+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步第四步 返回到第一步，继续训练直到返回到第一步，继续训练直

13、到dp- op=0，p=1,2,3。前馈神经网络前馈神经网络-单层感知器单层感知器3.1.43.1.4感知器的学习算法感知器的学习算法28Perceptron ClassificationPerceptron Classification29303132333.1.33.1.3单层感知器的局限性单层感知器的局限性p问题：能否用感知器解决如下问题？问题：能否用感知器解决如下问题？ x1 O O x2343.1.33.1.3单层感知器的局限性单层感知器的局限性p无法解决无法解决“异或异或”问题问题p只能解决线性可分问题只能解决线性可分问题“异或异或”的真值表的真值表x1x2y00001110111

14、035 o T3 y1 y2-1 w1 1 w2 1 w2 2 T1 T2 w12-1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或异或”问题分问题分类类例四例四 用两计算层感知器解决用两计算层感知器解决“异或异或”问题。问题。“异或异或”的真值表的真值表x1 x2y1 y2 o 0 01 1 00 11 011 00 111 11 1 0前馈神经网络前馈神经网络多层感知器多层感知器3.23.2多层感知器多层感知器363.2.13.2.1多层感知器的提出多层感知器的提出提出的动因提出的动因单计算层感知器的局限性：单计算层感知器的局限性：只能解决线性可分问题，而大量的分类问题是线性不可分的。只能解决线性可分问题，而大量的分类问题是线性不可分的。解决的有效办法解决的有效办法 在输入层与输出层之间引入隐层作为输入模式的在输入层与输出层之间引入隐层作为输入模式的“内部表示内部表示”，将单，将单计算层感知器变成计算层感知器变成多（计算）层感知器多（计算）层感知器。 采用采用非线性连续函数作为转移函数非线性连续函数作为转移函数，使区域边界线的基本线，使区域边界线的基本线素由直线变成曲线，从而使整个边界线变成连续光滑