《神经网络基础》

2.2连接主义方法

ParallelDistributedProcessing(PDP)主张智能出现于简单的通过相互连接作用的单元构成的系统中，且系统通过学习可以调整神经元之间的连接表达输入参数的建立输出结果的解释实现训练网络学习的过程输入输出单元连接编辑ppt

适用的任务

分类：判定输入数值属于哪一类

模式识别：辨识数据中的结构或模式

联想记忆：基于内容的记忆唤醒

预测：根据输入值，通过推理给出结果

优化：约束下的“最佳”状态编辑pptJohnVonNeuman(1903－1957)美籍匈牙利人数学家，对人工智能的贡献：细胞自动机celluarautomata

神经计算neurallyinspiredapproachestocomputationDonaldOldingHebb1904－1985,加拿大心理学家，对人工智能的贡献：细胞集合Cellassembly赫布律HebbianRule

编辑ppt1）神经网络基础

人工神经网络

ArtificialNeuralNetworks,ANN,NN脊椎动物神经元结构树突树突突触突触胞体胞体轴突编辑ppt神经细胞工作状态毫秒编辑ppt

人工神经元模型基本神经元模型k1k2kp∑(.)x1x2xpuk输出ykk激活函数输入基本神经元模型编辑ppt组成三要素：连接、求和、激活函数数学表达式：激活函数的类型：阈值函数：分段线性函数：编辑ppt激活函数Sigmoid函数：连续可导编辑ppt

有向图表示神经网络x0=-1x1x2xpykw1w2wnw0输入权重激活函数

有向图表示神经元

相关概念网络拓扑：独立神经元之间的连接模式学习算法：网络训练方法编码系统：输入数据和输出结果的解释编辑pptMP模型（McCulloch-PittsNeuron）yAND真值表x1x2y-1-1-11-1-1-11-1111yAND=x1x2w0

=-

2x1x2w1

=

1w2

=1x0

=1编辑pptyOR

真值表x1x2y-1-1-11-11-111111yOR=x1x2w0

=-

1x1x2w1

=

1w2

=1x0

=1编辑ppt

2）网络结构

前馈网络：各神经元接受前一层的输入，并输出给下一层，没有反馈输入节点输入层隐层输出层

前馈网络输出节点

计算单元

输入单元编辑ppt

反馈网络：所有节点都是计算单元，同时可接受输入，并向外界输出输入节点输出节点反馈网络编辑ppt3）ANN学习学习方式

有监督学习

环境教师学习系统误差信号∑-+环境状态信号期望响应实际响应训练样本集:一组给定的已知输入-输出的数据集合编辑ppt无监督学习（自组织学习）再励学习（强化学习）环境学习系统环境状态环境学习系统评价输出作用状态输入编辑ppt2）学习算法

感知器学习

学习规则：w0

=-

1x1x2w1

=

1w2

=1x0

=1ye=0，wi=0e＞0，wi＞

0e＜0，wi＜

0学习过程：通过权重调节，使得网络输出平均误差最小化e=d-ye=d-ye=d-y编辑ppt

感知器学习算法步骤设：p+1维输入向量

p+1维权向量实际输出：y(n)

期望输出：d(n)

学习步长：η<1

①初始化：置w(0)为小的随机数

②

输入x(n)，计算感知器的实际输出编辑ppt

③

按下式调节权系数：

④

令n=n+1，返回第2步已证明感知器学习算法对于线性可分模式，在有限步内收敛，所得权系数能对所有样本正确分类例如图所示的单层感知器学习已知：样本单变量样本4个，采用线性阈值单元：第一类：d=1，x1=1，x3=3

第二类：d=-1，x2=-0.5，x4=-2X1（n）x0=110Od0d=1d=-1编辑ppt求：经过学习后，4个样本分类器的权系数值解：考虑阈值输入变量：

利用感知器学习算法，选=1/2，得：

选初值

输入x(1):úûùêëé=111x)(编辑ppt输入x(2):编辑ppt输入x(3):输入x(4):训练结果：0d=1d=-1编辑ppt

广义误差学习规则GeneralizedDeltaRule：

sigmoid函数代替符号函数sgnsigmoid函数：wiEwiwi

梯度下降学习要求函数连续可导编辑ppt编辑ppt

反向传播学习算法（BP）原理工作状态：工作信号、误差信号

反向传播网络工作信号流编辑ppt

多层网络误差纠正：令神经元k的输入输出在n时刻的误差为寻找基于误差最小的目标函数优化问题常用目标函数：均方误差判据学习过程宽平稳瞬时误差：

编辑pptj单元误差信号：设j单元平方误差：y0=-1yk(n)ik(n)i(n)(·)yi(n)ji(n)j(n)(·)yj(n)-1dj(n)ej(n)反向传播网络单元j与下层单元i之间的信号流图编辑ppt输出端总平方误差：c包括所有输出单元设训练集样本总数为N，平方误差均值：目标函数EAVBP算法推导：对于节点j编辑ppt连接权重变化引起的均方误差变化率，即：权值修正量：

局部梯度编辑ppt①j为输出单元:②

i为隐元:

j为输出单元：yj(n)dj(n)ej(n)yi(n)yk(n)编辑ppt两种网络训练方式①每个样本修改一次权值②所有样本依次输入后，计算平均误差,根据平均误差修改权值yj(n)dj(n)ej(n)yi(n)yk(n)j(n)ik(n)编辑ppt训练周期：全部样本输入一次称为一个训练周期终止条件：网络以周期为单位进行训练，直到误差函数达到最小或小于一个给定值步骤：①初始化，选定结构合理的网络，置所有可调参数（权、阈值）为均匀分布的较小数值②对每个输入样本作如下计算：前向计算

设：l

层的j单元

激活函数选sigmoid函数编辑ppt编辑ppt如果j在l=0层：如果j在l=L层：②反向计算

输出单元：隐元：③修正权值

n=n+1，输入新的样本（或新一周期样本）直至EAV达到预定要求

训练时各周期样本要随机重新排序编辑pptXOR的一个简单网络解x1x2y3yx1x3-x2x1x2x3y000000101011110x0303132414342y040编辑ppt1400训练周期，结果：30=2.640=7.043=-11.031=-7.041=-5.032=-7.042=-4.0

x1x2x3y00f3(0-7.0+0-7.0+12.6)

f4(0-5.0+0-4.0+1-11.0+17.0)=00f3(1-7.0+0-7.0+12.6)f4(1-5.0+0-4.0+1-11.0+17.0)=101f3(0-7.0+1-7.0+12.6)f4(0-5.0+1-4.0+1-11.0+17.0)=

111f3(1-7.0+1-7.0+12.6)f4(1-5.0+1-4.0+0-11.0+17.0)=

0编辑ppt竞争学习赢者通吃Winner-Take-All

无监督学习赢者：最大激活测试x1x1xjxmABNwinner编辑ppt赢者通吃学习规则KohonenLearningRulex11.09.42.58.00.57.97.02.81.27.8x11.06.42.17.72.28.47.00.83.06.1O1-11-11-1-111-1K网学习KohonennetLearning

已知：数据表

求：K网无监督分类编辑ppt11122122x1x2o1o2初始化：A：W=[11,12]=[7,2]

B：W=[21,22]=[2,9]K网：自组织网络无监督学习

AB编辑ppt||X(n)-W(n)||

W(n+1)=W(n)+(X(n)-W(n))

竞争学习规则

①与X接近的节点，W调整，使得更接近X

②其他节点，W不变

||(x1,x2)-(11,12)||||(1,1)-(7,2)||=(1-7)2+(1-2)2=37||(1,1)-(2,9)||=(1-2)2+(1-9)2=65Winner→AW(2)=W(1)+(X(1)-W(1))编辑pptW(2)=W(1)+(X(1)-W(1))=(7,2)+0.5((1-7),(1-2))=(7,2)+(-3,-5)=(4,1.5)||(9.4,6.4)-(4,1.5)||=53.17||(9.4,6.4)-(2,9)||=60.15Winner→AW(3)=(4,1.5)+0.5((9.4-4),(6.4-1.5))=(6.7,4)||(2.5,2.1)-(6.7,4)||=21.25||(2.5,2.1)-(2,9)||=47.86Winner→AW(4)=(6.7,4)+0.5((2.5-6.7),(2.1-4))=(4.6,3.1)编辑pptOutstarNetworkOutstar学习：YXW-T-ALayerOLayerJI111000000000编辑ppt①

训练K网，找到Winnner，所有的Winner连接置1,其他神经元连接置0②如果所有输入为同一类，根据输出期望直接连接Winner与相应输出节点的连接值③如果输入类不同，利用监督矢量Y进行输出层学习，调整outstar层连接权重,规则如下：

W(n+1)=W(n)+(Y-W(n))例：已知：数据如表，表中+1→安全；-1→危险

x1---推进系统的引擎速度，数据范围[0,10]x2---推进系统的引擎温度，数据范围[0,10]

数据超范围时，报警编辑ppt[x1,x2,s,d]WinnerA:[x1,x2,1,0]WinnerB:[x1,x2,0,1]X1X2safedangerousSDABSADASBSB编辑ppt初始化:WA=[SA,DA]=[0,0]

WA(n+1)=WA(n)+(Y-WA(n))Y=[1,0],=0.2

WA(1)=[0,0]+0.2([1,0]-[0,0])=[0.2,0]

WA(2)=[0.2,0]+0.2([1,0]-[0.2,0])=[0.36,0]

WA(3)=[0.36,0]+0.2([1,0]-[0.36,0])=[0.49,0]WA(4)=[0.49,0]+0.2([1,0]-[0.49,0])=[0.59,0]

WA(5)=[0.59,0]+0.2([1,0]-[0.59,0])=[0.67,0]

WA(n)→[1,0]编辑ppt另一类竞争学习支持向量机SVMSupportVectorMachine支持向量：所学概念样本最大可分的最小数据集合线性分类器假设前提:数据独立同分布编辑ppt赫布机遇学习HebbianCoincidenceLearning赫布学习理论神经生理学的观察关键词：细胞集合Cellassembly

由成百个突触大规模连接的神经元细胞组

细胞集合的产生：简单而关键的特征重复输入传感器产生细胞集合，同时，细胞集合促进周围细胞集合响应而形成另外的细胞集合细胞集合激活：关键特征再次输入传感器，这组细胞集合都有可能被激活，继而，响应它们而形成的细胞集合也会激活

编辑ppt细胞集合之间的联系：有正有负，并可以被改变，一个细胞集合的激活将会提高与它有正相关的细胞集合的活动，而减弱那些与它们有负相关的细胞集合的活动细胞集合反映形式：任何时刻，被激活的细胞集合决定了传感器输入信息的反应

细胞集合的反映时间：细胞组合容易受到“需要满足”的影响（例如对饥饿、口渴的满足等等）而增强它们之间的联系细胞集合激活顺序：当前激活的细胞集合会预先把与它相联系的细胞集合作为后续者，使得它们激活后这些后续者很容易被激活

正联系细胞对负联系细胞对编辑pptHebbianLearningOiOjOiOj++++---+---+编辑ppt无监督

HebbianLearning条件反射学习随机选择的刺激作为希望的条件反射巴浦洛夫Pavlov实验模型训练：每次铃声，给狗食物无条件刺激反射：铃声引起狗的食欲有条件反射构建神经网络W(n+1)=W(n)+sgn(W(n)X(n))YX1X2X3X4X5X6wf(X)=sgn(WX)视觉听觉编辑ppt输入模式：[1,-1,1,-1,1,-1]

无条件刺激

新刺激假定：网络对无条件刺激响应为“正”权重向量：[1,-1,1]与输入无条件刺激相同权重向量：[0,0,0]与输入新刺激网络初始权重：[1,-1,1,0,0,0]

训练网络：输入模式训练，希望网络权重的学习对新刺激产生“正”响应

WX=[1,-1,1,0,0,0]

[1,-1,1,-1,1,-1]T

=1+1+1=3

sgn(3)=1编辑pptW(2)=[1,-1,1,0,0,0]+0.2[1,-1,1,-1,1,-1]=[1.2,-1.2,1.2,-0.2,0.2,-0.2]WX=[1.2,-1.2,1.2,-0.2,0.2,-0.2][1,-1,1,-1,1,-1]T=1.2+1.2+1.2+0.2+0.2+0.2=4.2sgn(4.2)=1W(3)=[1.2,-1.2,1.2,-0.2,0.2,-0.2]+0.2[1,-1,1,-1,1,-1]=[1.4,-1.4,1.4,-0.4,0.4,-0.4]再进行10次迭代后W(13)=[3.4,-3.4,3.4,-2.4,2.4,-2.4]编辑ppt测试网络无条件刺激：[1,-1,1,1,1,-1]sgn(WX)=sgn([3.4,-3.4,3.4,-2.4,2.4,-2.4]

[1,-1,1,1,1,-1]T)=sgn(3.4+3.4+3.4-2.4+2.4+2.4)=sgn(12.6)=1无条件刺激：[1,-1,1,1,-1,-1]sgn(WX)=sgn([3.4,-3.4,3.4,-2.4,2.4,-2.4]

[1,-1,1,1,-1,-1]T)=sgn(3.4+3.4+3.4-2.4-2.4+2.4)=sgn(7.8)=1产生正响应产生正响应网络对原始刺激的敏感增强了编辑ppt新刺激：[1,1,1,-1,1,-1]sgn(WX)=sgn([3.4,-3.4,3.4,-2.4,2.4,-2.4]

[1,1,1,-1,1,-1

]T)=sgn(3.4-3.4+3.4+2.4+2.4+2.4)=sgn(10.6)=1新刺激：[1,-1,-1,1,1,-1]新模式稍变新食物或铃声sgn(WX)=sgn([3.4,-3.4,3.4,-2.4,2.4,-2.4]

[1,-1,-1,1,1,-1

]T)=sgn(3.4+3.4-3.4-2.4+2.4+2.4)=sgn(5.8)=1新模式产生正响应！新模式稍变产生正响应！HebbianLearning产生了什么？新旧刺激不断重复产生，使得网络建立了在新刺激和旧响应之间的联想编辑ppt有监督HebbianLearning构建神经网络训练网络实现一组模式之间的联想x1x2x3…xny1y2…ym编辑ppt联想模式序列：{<X1,Y1>,<X2,Y2>,…<Xi,Yi>,…,<Xt,Yt>}学习规则：ij=djxiX=[x1,x2,……,xn]Y=[d1,d2,……,dm]W=YX期望输出编辑ppt线性吸引子linerassociator编辑ppt联想记忆和线性吸引子联想模式对{<X1,Y1>,<X2,Y2>,……<Xt,Yt>}联想记忆模式异联想heteroassociative：如果随机矢量X比任何其他样例更靠近Xi，则联想结果为