前馈神经网络

前馈神经网络第1页/共40页23前馈神经网络3.1单层感知器3.1.1感知器模型净输入：(3.1)输出：(3.2)ojx1-1xn…第2页/共40页33前馈神经网络3.1单层感知器3.1.2感知器的功能(1)设输入向量X=(x1,x2)T输出：则由方程w1jx1+w2jx2-Tj=0

(3.3)确定了二维平面上的一条分界线。ojx1-1x2单计算节点感知器第3页/共40页43前馈神经网络3.1单层感知器3.1.2感知器的功能第4页/共40页53前馈神经网络3.1单层感知器3.1.2感知器的功能(2)设输入向量X=(x1,x2,x3)T输出：则由方程w1jx1+w2jx2+w3j

x3–Tj=0(3.4)确定了三维空间上的一个分界平面。x2ojx1x3-1第5页/共40页63前馈神经网络3.1单层感知器3.1.2感知器的功能第6页/共40页73前馈神经网络3.1单层感知器3.1.2感知器的功能(3)设输入向量X=(x1，x2,…，xn)T则由方程

w1jx1+w2jx2+…+wnj

xn–Tj=0(3.6)确定了n维空间上的一个分界平面。输出：sgn(w1jx1+w2jx2+…+wnjxn

–Tj)(3.5)第7页/共40页83前馈神经网络3.1单层感知器3.1.2感知器的功能

一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。第8页/共40页9例一用感知器实现逻辑“与”功能。x1 x2 y0 0 00 1 01 0 01 1 1逻辑“与”真值表感知器结构w1x1+w2x2-T=0

0.5x1+0.5x2-0.75=0第9页/共40页10例一用感知器实现逻辑“与”功能。第10页/共40页11例二用感知器实现逻辑“或”功能。x1 x2 y0 0 00 1 11 0 11 1 1逻辑“或”真值表感知器结构w1x1+w2x2-T=0

x1+x2-0.5=0第11页/共40页12例二用感知器实现逻辑“或”功能。第12页/共40页133前馈神经网络3.1单层感知器3.1.3感知器的局限性问题：能否用感知器实现“异或”功能？“异或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0第13页/共40页143前馈神经网络3.1单层感知器3.1.4感知器的学习算法感知器学习规则的训练步骤：(1)对各权值w0j(0),w1j(0),┄,wnj(0)，j=1,2,┄,m

（m为计算层的节点数）赋予较小的非零随机数；(2)输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)，

dp为期望的输出向量（教师信号），上标p代表样本对的模式序号，设样本集中的样本总数为P，则p=1,2,┄,P；第14页/共40页153前馈神经网络3.1单层感知器3.1.4感知器的学习算法感知器学习规则的训练步骤：(3)计算各节点的实际输出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)调整各节点对应的权值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,

j=1,2,┄,m,

其中为学习率，用于控制调整速度，太大会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取0＜η≤1；(5)返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。第15页/共40页163前馈神经网络3.1单层感知器3.1.4感知器的学习算法例三单计算节点感知器，3个输入。给定3对训练样本对如下：X1=(-1，1，-2，0)T

d1=1 X2=(-1，0，1.5，-0.5)T

d2=1X3=(-1，-1，1，0.5)T

d3=1

设初始权向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，输入向量中第一个分量x0恒等于-1，权向量中第一个分量为阈值，试根据以上学习规则训练该感知器。第16页/共40页173前馈神经网络3.1单层感知器3.1.4感知器的学习算法解：第一步输入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T第17页/共40页183前馈神经网络3.1单层感知器3.1.4感知器的学习算法第二步输入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。第18页/共40页193前馈神经网络3.1单层感知器3.1.4感知器的学习算法第三步输入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，继续训练直到dp-op=0，p=1,2,3。第19页/共40页203前馈神经网络3.2多层感知器双层感知器“异或”问题分类例四用两计算层感知器解决“异或”问题。“异或”的真值表x1x2y1y2o001011100111第20页/共40页213前馈神经网络3.2多层感知器双层感知器“异或”问题分类例四用两计算层感知器解决“异或”问题。“异或”的真值表x1x2y1y2o001010101111第21页/共40页223前馈神经网络3.2多层感知器双层感知器“异或”问题分类例四用两计算层感知器解决“异或”问题。“异或”的真值表x1x2y1y2o0011011010011111第22页/共40页233前馈神经网络3.2多层感知器双层感知器“异或”问题分类例四用两计算层感知器解决“异或”问题。“异或”的真值表x1x2y1y2o00110011011001111110第23页/共40页243前馈神经网络3.2多层感知器第24页/共40页253前馈神经网络3.2多层感知器具有不同隐层数的感知器的分类能力对比第25页/共40页263前馈神经网络3.4误差反传（BP）算法3.4.1基于BP算法的多层前馈网络模型第26页/共40页273前馈神经网络3.4误差反传（BP）算法3.4.1基于BP算法的多层前馈网络模型输入向量：

X=(x1,x2,…,xi,…,xn)T隐层输出向量：

Y=(y1,y2,…,yj,…,ym)T输出层输出向量：

O=(o1,o2,…,ok,…,ol)T期望输出向量：d=(d1,d2,…,dk,…,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl)第27页/共40页283前馈神经网络3.4误差反传（BP）算法3.4.1基于BP算法的多层前馈网络模型对于输出层：k=1,2,…,l(3.4.1)k=1,2,…,l(3.4.2)对于隐层：j=1,2,…,m(3.4.3)j=1,2,…,m

(3.4.4)第28页/共40页293前馈神经网络3.4误差反传（BP）算法3.4.1基于BP算法的多层前馈网络模型双极性Sigmoid函数：单极性Sigmoid函数：(3.4.5)第29页/共40页303前馈神经网络3.4误差反传（BP）算法3.4.2BP学习算法一、网络误差定义与权值调整思路输出误差E定义：(3.4.6)将以上误差定义式展开至隐层：(3.4.7)第30页/共40页313前馈神经网络3.4误差反传（BP）算法3.4.2BP学习算法一、网络误差与权值调整进一步展开至输入层：(3.4.8)第31页/共40页323前馈神经网络3.4误差反传（BP）算法3.4.2BP学习算法j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中负号表示梯度下降，常数η∈(0,1)表示比例系数。在全部推导过程中，对输出层有j=0,1,2,…,m;k=1,2,…,l对隐层有i=0,1,2,…,n;j=1,2,…,m第32页/共40页333.4.2BP学习算法二、BP算法推导对于输出层，式(3.4.9a)可写为(3.4.10a)对隐层，式(3.4.9b)可写为(3.4.10b)对输出层和隐层各定义一个误差信号，令

(3.4.11a)(3.4.11b)yjxi第33页/共40页34综合应用式(3.4.2)和(3.4.11a)，