模式识别第八章人工神经网络

模式识别第八章人工神经网络1第一页，共八十二页，编辑于2023年，星期六主要内容引言人工神经元前馈神经网络及其主要算法竞争学习和侧抑制第二页，共八十二页，编辑于2023年，星期六8.1引言人工神经网络(artificialneuralnetwork,ANN)：由大量神经元经广泛互联组成的非线性网络（功能模块，数学模型）人工神经网络是模拟生物神经网络的工作机理、模仿人脑某些学习功能的一种计算结构。自底向上的综合方法：基本单元→功能模块→系统第三页，共八十二页，编辑于2023年，星期六神经网络发展简介第一阶段：开创40年代初，美国McCulloch和Pitts从信息处理的角度，研究神经细胞行为的数学模型表达，提出了二值神经元模型。MP模型的提出开始了对神经网络的研究进程。1949年心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。1957年，F.Rosenblatt提出感知器。1960年BernandWidrow和MarcianHoff提出自适应线性元件网络。第四页，共八十二页，编辑于2023年，星期六神经网络发展简介第二阶段：低潮1969年M.Minsky和S.Parpert对感知器的悲观理论使神经网络研究陷入低谷。他们分析了若干种简单感知器，并总结说明：简单感知器只能完成线性分类，对非线性分类无能为力，加上他们在人工智能领域的威望，他们这种悲观理论对当时人工神经网络的发展来说负面影响很大；而另一方面，当时计算机技术的发展使得传统人工智能理论在基于VonNeumann计算机平台上的发展趋势非常乐观；同时人们对当时人工神经网络的训练没有得到一种普适的学习算法；这样，人工神经网络的发展转入缓慢发展的低潮期。第五页，共八十二页，编辑于2023年，星期六神经网络发展简介第三阶段：复苏1982年生物物理学家J.J.Hopfield提出Hopfield网络模型，并将其成功应用于NP完全性的著名旅行商问题。1986年DavidE.和Rumelhart等的并行分布式处理(PDP)研究组完善了多层神经网络感知误差反向传播算法ErrorBackPropagation(简称BP算法，最早由Werbo于1974年提出)，特别是有效解决了网络权值在学习过程中自动调整的问题，人工神经网络的发展再次掀起研究高潮；1987年6月21日在美国圣地亚哥召开了第一届国际人工神经网络学术会议，宣告国际神经网络协会成立。

第六页，共八十二页，编辑于2023年，星期六神经网络的特点自学习自适应并行处理分布表达与计算第七页，共八十二页，编辑于2023年，星期六神经网络的应用NN本质上可以理解为函数逼近，可以应用到众多领域：优化计算信号处理智能控制模式识别机器视觉等第八页，共八十二页，编辑于2023年，星期六8.2人工神经元生物神经网络：BiologicalNeuralNetwork（BNN）神经元：neuron神经元经突触传递信号给其他神经元（胞体或树突）1011个神经元/人脑104个连接/神经元神经元基本工作机制：状态：兴奋与抑制互联，激励，处理，阈值信息加工信息输出信息输入信息传递第九页，共八十二页，编辑于2023年，星期六MP模型

MP模型属于一种阈值元件模型，是由美国McCulloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。8.2人工神经元第十页，共八十二页，编辑于2023年，星期六ynetA阈值函数(b)ynetSigmoid函数(c)fy……w1w2wnx1x2xnnet(a)其中：f是一个非线性函数，例如阈值函数或Sigmoid函数。神经元动作如下：神经元模型第十一页，共八十二页，编辑于2023年，星期六①

当f为阈值时，其输出为：其中sgn为符号函数，若②

当某些重要的学习算法要求输出函数f可微，通常选用Sigmoid函数：ynetA(b)第十二页，共八十二页，编辑于2023年，星期六a、则y（－1，1），即－1到1的开区间内的连续值。或b、ynet(c)则y（0，1），见图（c）。

选择Sigmoid函数作为输出函数，具有特性：①

非线性、单调性。②无限可微。③当权值很大时近似阈值函数。④当权值很小时近似线性函数第十三页，共八十二页，编辑于2023年，星期六8.3神经网络的学习方法神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练学习方式：监督学习非监督学习再励学习学习规则(learningrule)：Hebb学习算法误差纠正学习算法竞争学习算法第十四页，共八十二页，编辑于2023年，星期六监督学习教师神经网络比较环境实际输出输入期望输出误差信号对训练样本集中的每一组输入能提供一组目标输出网络根据目标输出与实际输出的误差信号来调节网络参数x(n)t(n)y(n)e(n)第十五页，共八十二页，编辑于2023年，星期六非监督学习与再励学习非监督学习：不存在教师，网络根据外部数据的统计规律来调节系统参数，以使网络输出能反映数据的某种特性再励学习：外部环境对网络输出只给出评价信息而非正确答案，网络通过强化受奖励的动作来改善自身的性能神经网络环境输入神经网络环境输入输出评价信息第十六页，共八十二页，编辑于2023年，星期六Hebb规则假定:当两个细胞同时兴奋时，他们之间的连接强度应该增强。这条规则与“条件反射”学说一致，后来得到了神经细胞学说的证实。几乎所有的神经网络学习算法可看成Hebb学习规则的变形。Hebb学习规则：Hebb学习学习常数第十七页，共八十二页，编辑于2023年，星期六误差纠正学习对于输出层第k个神经元：实际输出:ak(n)目标输出:tk(n)误差信号:ek(n)=tk(n)-ak(n)目标函数：基于误差信号ek(n)的函数，如误差平方和判据(sumsquarederror,SSE)，或均方误差判据(meansquarederror,MSE,即SSE对所有样本的期望)第十八页，共八十二页，编辑于2023年，星期六误差纠正学习梯度下降法：对于感知器和线性网络：delta学习规则对于多层感知器网络：扩展的delta学习规则，BP算法第十九页，共八十二页，编辑于2023年，星期六竞争学习无监督学习方法输出神经元之间有侧向抑制性连接，较强单元获胜并抑制其他单元，独处激活状态（Winnertakesall,WTA）wkjkpj第二十页，共八十二页，编辑于2023年，星期六竞争学习原理竞争学习规则——Winner-Take-All(胜者为王)网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为WinnerTakeAll。第二十一页，共八十二页，编辑于2023年，星期六竞争学习规则——Winner-Take-All1.向量归一化

首先将当前输入模式向量X和竞争层中各神经元对应的内星向量Wj全部进行归一化处理；(j=1,2,…,m)第二十二页，共八十二页，编辑于2023年，星期六向量归一化之前第二十三页，共八十二页，编辑于2023年，星期六向量归一化之后第二十四页，共八十二页，编辑于2023年，星期六竞争学习原理竞争学习规则——Winner-Take-All2.寻找获胜神经元

当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。欲使两单位向量最相似，须使其点积最大。即：第二十五页，共八十二页，编辑于2023年，星期六

从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：竞争学习规则——Winner-Take-All第二十六页，共八十二页，编辑于2023年，星期六竞争学习规则——胜者为王(Winner-Take-All)3.网络输出与权值调整

jj*步骤3完成后回到步骤1继续训练，直到学习率衰减到0。第二十七页，共八十二页，编辑于2023年，星期六竞争学习的几何意义☻第二十八页，共八十二页，编辑于2023年，星期六竞争学习的几何意义

*

1Wˆ

*ˆjW

*

)](ˆ)(ˆ)[()(*ttttjpWXW-=hD

*┆

)(ˆ*1tj+W

)(ˆtpX

jWˆ

mWˆ

*

…

***第二十九页，共八十二页，编辑于2023年，星期六例4.1用竞争学习算法将下列各模式分为2类：解：为作图方便，将上述模式转换成极坐标形式：竞争层设两个权向量，随机初始化为单位向量：O1O2W1=(w11,w12)W2=(w21,w22)x1x2第三十页，共八十二页，编辑于2023年，星期六第三十一页，共八十二页，编辑于2023年，星期六第三十二页，共八十二页，编辑于2023年，星期六第三十三页，共八十二页，编辑于2023年，星期六第三十四页，共八十二页，编辑于2023年，星期六第三十五页，共八十二页，编辑于2023年，星期六第三十六页，共八十二页，编辑于2023年，星期六第三十七页，共八十二页，编辑于2023年，星期六第三十八页，共八十二页，编辑于2023年，星期六第三十九页，共八十二页，编辑于2023年，星期六第四十页，共八十二页，编辑于2023年，星期六第四十一页，共八十二页，编辑于2023年，星期六1）单层感知器（Pereceptron）感知器是一种双层神经元网络模型，一层为输入层，另一层具有计算单元，可通过监督学习建立模式判别的能力。两层感知器只能解决线性问题。学习的目的：通过改变权值使神经元网络由给定的输入得到给定的输出。单层感知器的输出：从初始权wi(0)和阈值开始训练。8.4前馈神经元网络第四十二页，共八十二页，编辑于2023年，星期六训练过程：

设理想的输出为

实际输出:用已知类别模式向量或特征向量作为训练集：当输入为属于第j类特征向量x时，应使对应于该类的输出yj=1,而其它神经元的输出为0（或-1）。为使实际输出逼近理想输出，可反复依次输入训练集中的模式样本，并计算出实际输出,并对权值作如下修改：…………

y1y2…...ymx1x2…….xn输入层输出层第四十三页，共八十二页，编辑于2023年，星期六2）多层感知器

y1y2…...ymx1x2…….xn输出层隐含层输入层………………特点：多层感知器可解决非线性可分问题。设4层感知器：第1隐含层含n1个神经元，各神经元输出为(j=1,2,…,n1)第2隐含层含n2个神经元，各神经元输出为(k=1,2,…,n2)8.4前馈神经元网络第四十四页，共八十二页，编辑于2023年，星期六输出层神经元的输出为第2隐含层第k个神经元的输出为第1隐含层第j个神经元的输出为8.4前馈神经元网络第四十五页，共八十二页，编辑于2023年，星期六BP算法两个过程：正向计算和误差反向传播。正向过程：输入层经隐层单元逐层处理并传向输出层，每一层神经元的状态只影响下一层神经元状态，而不影响同一层。如果在输出层得不到期望的输出，则转入反向传播过程。反向过程：将误差信号沿原来的连接通路返回，通过修正各层神经元的连接权值，使得误差信号最小。多层前馈神经网络缺点：学习较复杂，因中间隐层不直接与外界连接，无法直接计算其误差。由此提出了反向传播（BP）。反向传播算法（BP）第四十六页，共八十二页，编辑于2023年，星期六图示为处于某一层的第j个计算单元，脚标i代表其前层第i个单元，脚标k代表后层第k个单元，Oj代表本层输出，是前层到本层的权值ik反向传播算法（BP）第四十七页，共八十二页，编辑于2023年，星期六为使式子简化，定义局部梯度（正向算法）当输入每个样本时，从前到后对每层各单元作如下计算设网络为单输出y，任一结点i的输出为Oi。(1)(2)(3)(4)ik则结点j的输入为：则结点j的输出为：第四十八页，共八十二页，编辑于2023年，星期六权值修正应使误差最快地减小，修正量为如果节点j是输出单元，则(5)(7)(6)第四十九页，共八十二页，编辑于2023年，星期六如果节点j不是输出单元，由前图可知，Oj对后面层的全部节点都有影响。因此，对于Sigmoid函数有(8)(9-1)第五十页，共八十二页，编辑于2023年，星期六或者当有为了加快收敛速度，往往在权值修正量中加上前一次的权值修正量，一般称为惯性项（步长、贯量系数

），即综上所述，反向传播算法步骤如下：（1）选定权系数初始值。（2）重复下述过程至此收敛（对各样本依次计算）。①从前向后各层计算各单元Oj（正向计算）(9-2)(10)第五十一页，共八十二页，编辑于2023年，星期六②

对输出层计算③从后向前计算各隐层④计算并保存各权值修正量第五十二页，共八十二页，编辑于2023年，星期六⑤

修正权值Note：初始权值选取：通常用较小的随机数（例），当计算不收敛时可改变初始值；步长对收敛性影响大，通常可在0.1-0.3之间试探，对于复杂的问题应取较大值；贯性项系数影响收敛速度，应用中常在0.9-1之间选择；中间隐层的单元数确定缺乏有效方法，一般问题越复杂，需要的隐层的单元越多；或对于同样问题，隐层的单元越多越容易收敛。第五十三页，共八十二页，编辑于2023年，星期六初始化给定输入向量和期望输出求隐层、输出层各单元输出求目标值与实际输出的误差ee<计算隐层单元误差误差反向传播修正权值全部ei满足YY结束NNBP算法框图第五十四页，共八十二页，编辑于2023年，星期六径向基函数网络径向基函数：radialbasisfunction,RBF只有一个隐层，隐层单元采用径向基函数。隐层把原始的非线性可分的特征空间变换到另一个空间（通常是高维空间），使之可以线性可分输出为隐层的线性加权求和。采用基函数的加权和来实现对函数的逼近第五十五页，共八十二页，编辑于2023年，星期六径向基函数网络结构径向基函数网络第五十六页，共八十二页，编辑于2023年，星期六RBF网络第i个隐层单元的输出为:式中x——n维输入向量ci——第i个隐节点的中心，——通常为欧氏范数——RBF函数，具有局部感受的特性，它有多种形式，体现了RBF网络的非线性映射能力，通常取为高斯函数，其形式为径向基函数网络第五十七页，共八十二页，编辑于2023年，星期六网络输出层第k个节点的输出，为隐节点输出的线性组合：式中

——qi到yk的联接权——第k个输出节点的阈值径向基函数网络第五十八页，共八十二页，编辑于2023年，星期六径向基函数网络的训练三组可调参数：隐单元的个数，隐单元基函数中心与方差xc,σ输出层权值wij估计方法：聚类的方法估计xc,σLMS方法估计wij第五十九页，共八十二页，编辑于2023年，星期六自组织特征映射SOM是由芬兰的Kohonen教授于1981年提出的一种神经网络模型，它的原理是基于生物神经细胞的如下二种功能:1.实际的神经细胞中有一种特征敏感细胞，在外界信号的刺激下，通过自学习形成对某一种特征特别敏感的神经元。2.生物神经细胞在外界的刺激下，会自动聚集而形成一种功能柱，一个功能柱的细胞完成同一种功能。8.5自组织映射网络SOM第六十页，共八十二页，编辑于2023年，星期六（1）SOM结构SOM网分两层：输入层：模拟感知外界输入信息的视网膜输出层（竞争层）：模拟做出响应的大脑皮层。第六十一页，共八十二页，编辑于2023年，星期六（1）SOM结构输入层神经元与输出层神经元为全互连方式，且输出层中的神经元按二维形式排列，它们中的每个神经元代表了一种输入样本。所有输入节点到所有输出节点之间都有权值连接，而且在二维平面上的输出节点相互间也可能是局部连接的。而对改变节点竞争结果起决定作用的还是输入层的加权和，所以在判断竞争网络节点胜负的结果时，可忽略竞争层节点之间的权值连接。第六十二页，共八十二页，编辑于2023年，星期六

SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。（2）SOM权值调整区域第六十三页，共八十二页，编辑于2023年，星期六以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。（2）SOM权值调整区域第六十四页，共八十二页，编辑于2023年，星期六Nc(t)随时间变化及形状（2）SOM权值调整区域第六十五页，共八十二页，编辑于2023年，星期六

设输入信号模式为,输出神经元i与输入神经元连接的权值为则输出神经元i

的输出为（8.5.1）但是只有满足最大输出条件的神经元才产生输出，即（8.5.2）（3）SOM工作原理第六十六页，共八十二页，编辑于2023年，星期六

对于输出神经元k以及其周围的8个相邻的神经元仍可按Hebb法则进行自适应权调整，即有（8.5.3）式中为学习系数，分母是分子的欧几里德距离，此时的权值被正则化。（3）SOM工作原理第六十七页，共八十二页，编辑于2023年，星期六自组织的过程就是通过学习，逐步把权向量旋转到一个合适的方向上，即权值的调整方向总是与X的方向一致(无须决策和导师)，使正比于。其数学表示为式中X为输出神经元的输入向量，Xb为输出神经元的阈值向量，O为输出神经元的输出向量，为学习系数。（3）SOM工作原理第六十八页，共八十二页，编辑于2023年，星期六正则化后有或者（8.5.4）（8.5.5）（8.5.6）由此可得SOM模型的权值修正规则为（3）SOM工作原理第六十九页，共八十二页，编辑于2023年，星期六上述介绍中的学习规则都是使用了最大输出的学习规则。但是事实上有两种学习规则。（3）SOM工作原理第七十页，共八十二页，编辑于2023年，星期六最大输出规则：

最小欧氏距离规则：

（8.5.7）（8.5.8）（3）SOM工作原理第七十一页，共八十二页，编辑于2023年，星期六训练阶段

w1w2w3

w4

w5（3）SOM工作原理第七十二页，共八十二页，编辑于2023年，星期六工作阶段（3）SOM工作原理第七十三页，共八十二页，编辑于2023年，星期六

SOM算法有三个关键点：对于给定的输入模式，确定竞争层上的获胜单元。按照学习规则修正获胜单元及其邻域单元的连接权值。逐步减小邻域及学习过程中权值的变化量。（4）SOM学习算法第七十四页，共八十二页，编辑于2023年，星期六(1)初始化对输出层各权向量赋小随机数并进行归一化处理，得到，j=1,2,…m；建立初始优胜邻域Nj*(0)；学习率赋初始值。(2)接受输入从训练集中随机选取一个输入模式并进行归一化处理，得到，p{1,2,…,P}。P是样本总数,p是样本编号。(3)寻找获胜节点计算与的点积，j=1,2,…m，从中选出点积最大的获胜节点j*。(4)定义优胜邻域Nj