自组织神经网络资料

人工神经网络及其应用第五讲自组织神经网络第五讲自组织神经网络主讲内容◆

§5.1竞争学习机制◆

§5.2自组织特征映射网络◆

§5.3

学习矢量量化LVQ网络◆§5.4自适应谐振理论网络§5.1竞争学习机制5.1.1神经元的侧向交互原理5.1.2二层结构的竞争网络与竞争学习5.1.3竞争子网络中连接权调整5.1.4层间连接权的几种学习规则§5.1竞争学习机制基本概念(1)自组织学习

通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。自组织网络的自组织功能是通过竞争学习实现的。(2)分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。(3)聚类无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。(4)相似性度量欧式距离§5.1竞争学习机制竞争学习原理

网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为WinnerTakeAll（竞争学习规则）。1.向量归一化2.寻找获胜神经元3.网络输出与权值调整§5.1竞争学习机制5.1.1神经元的侧向交互原理→大脑是由大量协同作用的神经元群组成的→大脑的神经网络是一个十分复杂的反馈系统:整体反馈，局部反馈，化学交互作用→聚类：大脑处理信息的过程中极其重要的功能，大脑通过聚类过程从而识别外界信号，并产生自组织过程

§5.1竞争学习机制5.1.1神经元的侧向交互原理①大脑皮层中神经元呈二维空间排列,包括外部区域输入和同一区域的反馈输入②侧向交互原则(邻近神经元信息的侧向交互方式)⑴以发出信号的神经元为圆心,对近邻神经元交互作用表现为兴奋性侧反馈━━近邻者相激励（半径约为50—500µm左右的神经元）⑵以发出信号的神经元为圆心,对远邻的神经元交互作用表现为抑制性侧反馈━━远邻者相抑制,更远的神经元为弱激励（半径为200µm—2mm左右的神经元）

经由侧向交互作用,使得邻近的神经元之间产生竞争,从而针对每个神经元自适应地形成具有特殊信息的组织结构━━特殊的信号检测器交互作用近距离的侧激励区侧向距离稍远些的抑制作用环弱激励区(可忽略不计)侧向交互作用模式(墨西哥帽表示)§5.1竞争学习机制5.1.2二层结构的竞争网络与竞争学习①匹配层子网络输入模式与已存的m类模式按某种规则(比如各节点受到的刺激大小)进行匹配计算与比较,实现信息的馈送。②竞争子网络（输出节点之间竞争）各输出节点之间产生相互抑制（连接权为负），单个节点产生兴奋（自身连接权为正），以实现节点之间的相互竞争━━采用的是横向自兴奋和邻抑制连接。匹配子网络竞争子网络………………m类模式n

输入模式与存储模式之间的匹配………………+++------竞争层匹配层层间连接权(自组织学习调整)竞争网络输入层输出层(侧抑制)§5.1竞争学习机制§5.1竞争学习机制5.1.3竞争子网络中连接权调整5.1.1.1连接权调整原则①输入模式样本充分大，使竞争子网络得到充分训练；②获胜节点才调整其连接权，未获胜节点连接权不调整；③连接权的调整使与该类模式输入相近的输入模式获胜的可能性更大。5.1.1.2连接权调整方法这样相近的输入模式肯定会得到激活、获胜。§5.1竞争学习机制5.1.4层间连接权的几种学习规则

在不同的自组织网络中采用不同的学习规则。5.1.4.2微分Hebb学习律§5.1竞争学习机制5.1.4.3竞争学习规律5.1.4.4微分竞争学习规律§5.2自组织特征映射网络5.2.1二维阵列的SOM模型5.2.2自组织特征映射SOM模型的学习算法5.2.3SOM模型学习的具体步骤5.2.4SOM模型学习的缺点§5.2自组织特征映射网络5.2.1二维阵列的SOM模型基于大脑皮层中神经元的侧向交互作用，使邻近神经元相互竞争，Kohonen（1981年）提出了自组织特征映射模型SOM。Kohonen认为人的大脑有如下特点:◆大脑的神经元虽然在结构上相同，但是它们的排序不同。排序不是指神经元位置的移动，而是指神经元的有关参数在神经网络受外部输入刺激而识别事物的过程中产生变动；◆大脑中神经元参数在变动之后形成特定的参数组织；具有这种特定参数组织的神经网络对外界的特定事物特别敏感；◆根据生物学和神经生理学，大脑皮层分成多种不同的局部区域，各个区域分别管理某种专门的功能，比如听觉、视觉、思维等；◆大脑中神经元的排序受遗传决定，但会在外界信息的刺激下，不断接受传感信号，不断执行聚类过程，形成经验信息，对大脑皮层的功能产生自组织作用，形成新功能。Kohonen的思想在本质上是希望解决有关外界信息在人脑中自组织地形成概念的问题。对于一个系统来说，就是要解决一个系统在受外界信息作用时在内部自组织地形成对应表示形式。这包括神经网络的权系数调整。§5.2自组织特征映射网络二维阵列SOM模型……输入层竞争层（输出层）§5.2自组织特征映射网络5.2.2自组织特征映射SOM模型的学习算法

SOM模型的自组织功能是通过调整连接权来实现的，并使神经元网络收敛于一种“表示形态”，这样的神经元只对特别的输入模式敏感，也就是自组织映射使神经元的连接权的表示形态间接模拟输入信号模式。（连接权向量对应于某一输入模式）

SOM模型的学习算法由两部分组成§5.2自组织特征映射网络5.2.2.1最优匹配神经元的选择就是选择特定输入模式对应的中心神经元C。“气泡”确定：

§5.2自组织特征映射网络5.2.2.2网络中神经元连接权系数的自组织过程

①连续系统的连接权系数调整方程输出层第j个神经元输出连接权系数自组织学习时，连接权系数调整方程：§5.2自组织特征映射网络§5.2自组织特征映射网络②离散系统的连接权系数调整方程

§5.2自组织特征映射网络③邻域

的选择刚开始时，邻域选择较宽，可设为网络宽度的一半，随着t增加，向以C为中心的小范围单调变小，最后终结于神经元C处，，即为处于气泡中心位置。C邻域的动态变化过程§5.2自组织特征映射网络

④增益函数随时间递减函数，一般要求增益函数随时间或采样周期的增加，其值减小，常在增益函数实际为学习速率，并随时间增加而渐趋于0，保证SOM学习算法一定收敛。每执行一次学习过程，SOM网络就会对外部输入模式执行一次自组织适应过程，就可以对现行模式的映射形态进行强化，弱化以往的模式的映射形态。§5.2自组织特征映射网络

5.2.3SOM模型学习的具体步骤①连接权系数初始化

n个输入和m个输出的SOM网络，连接权系数设定为很小的随机数a，，再设定邻近区域的初始半径，取增益函数②提供新的输入模式③求输入模式与所有输出神经元的欧式距离④选择最优匹配的输出神经元C

为最小的输出神经元就是最优匹配的输出神经元C⑤修正连接权系数⑥对于不同的,重新返回②步执行。§5.2自组织特征映射网络

5.2.4SOM模型学习的缺点①输入模式较少时，分类结果依赖于输入模式的输入先后次序；②没有经过完整的重新学习之前，不能加入新的类别。§5.3学习矢量量化LVQ网络矢量量化是一种高效的数据压缩技术，是在误差代价函数最小的情况下，用离散的确定矢量逼近连续的随机矢量。参考矢量输出层不同的分类输入向量输入层Kohonen神经元（隐含）层学习矢量量化网络拓扑结构

三层结构：输入层、Kohonen神经元（隐含）层、输出层。输入层与隐含层神经元全部互连；输出层神经元与不同的隐含层神经元组互连；连接权：输出层与隐含层之间的连接权固定为1；学习参考矢量：由每个隐含层神经元与输入神经元互连的连接权构成，并通过学习训练进行修正。隐含层和输出层神经元的输出为二值[0，1]。

LVQ在给定初始量化矢量的基础上，用有类别属性的训练样本，通过自监督、自适应学习的方法来校正这些初始量化矢量，形成的矢量基本反映了模式的统计分布。基于这些矢量估计模式的概率分布，并对未知模式进行分类判决，就构成了LVQ分类器。§5.3学习矢量量化LVQ网络原则：当隐含层神经元的学习参考矢量最接近于输入模式时，该隐含层神经元获胜，输出为1，其余隐含层神经元输出为0。与获胜的隐含层神经元组相对应的输出神经元输出也为1，其余输出神经元输出为0。

LVQ的训练步骤：①预置参考矢量初始连接权值；②为网络提供一个训练输入模式；③计算输入模式与每个参考矢量之间的Euclidean距离；④修正最接近输入模式的参考矢量（即获胜隐含层神经元的参考矢量）的连接权值；⑤转到②步重新输入新的模式，进行训练，直到全部训练模式被正确分类或者满足某个终止准则为止。§5.4自适应谐振理论网络5.4.1自适应谐振理论网络类型、优点和基本原理5.4.2ART-1网络5.4.3ART-2网络§5.4自适应谐振理论网络5.4.1自适应谐振理论网络类型、优点和基本原理6.4.1.1ART研究概述

AdaptiveResonanceTheory：AR,1976年Boston大学S.Grossberg提出。Grossberg研究用数学来描述人的心理和认知活动，目的是为人类的心理和认知活动建立统一的数学理论。

问题:

如何设计学习系统在响应重要事件保持自适应的或者可塑的,而在响应不相关的事件时保持平稳;

系统如何知道在平稳与可塑模式之间切换以达到不严格的平稳和没噪声的可塑性;

最重要的,学习系统如何保持以前的学习知识而继续学习新的知识?并且要防止新的学习冲掉过去学习的记忆? §5.4自适应谐振理论网络

ART网络的中心概念就是自适应谐振。自适应谐振是一个过程，通过前馈反馈网络竞争发生的过程。典型的ART网络包括几层计算单元或结点，其中通过慢变化加权路径连接STM层(Short-TermMemory).

输入STM层接收输入信息并通过前馈或自底向上路径到模板STM层，而这个模板STM又反馈或自上而下路径到输入STM。ART的谐振引起LTM(Long-TermMemory)的权的修正

§5.4自适应谐振理论网络该理论已提出的三个模型自适应谐振理论(ART)由Grossberg提出的，是一个根据可选参数对输入数据进行粗略分类的网络。ART-1用于二值输入，而ART-2用于连续值输入。ART的不足之处在于过份敏感，输入有小的变化时，输出变化很大。ART的一些应用:▬▬▬→导航与控制;▬▬▬→医学诊断;▬▬▬→模式识别;▬▬▬→信号处理;▬▬▬→地表覆盖分类;▬▬▬→

……..§5.4自适应谐振理论网络

5.4.1.2ART的主要优点①具有较大的灵活性，适应新的输入模式，避免对已学习模式的修正；（前者通过取向子系统实现，后者通过注意子系统实现）②不需要事先已知样本结果，可以非监督分类；③容量不受输入通道的限制，存储对象也不要求正交；④具有自归一能力，依据某些特征在全体中所占的比例，有时作关键特征，有时作噪声处理；⑤可以实时学习，适应非平稳环境。6.4.1.3ART的基本原理①输入新模式；②根据某种规则，计算输入模式与网络中已存储模式的相似度；③根据判别门限，确定如何处理输入的新模式；④如果相似度大于参考判别门限，则输入模式归入最相似的存储模式，否则，需要增加一个新的存储模式。自上而下连接权Tji

自下而上连接权

Bij二进输入--F2层,m个结点模板选择--F1层,n个结点

模板匹配+输出模式xiyjii注意子系统C取向子系统R增益控制G2增益控制G1Reset复位信号LTMSTMSTM输入模式X门限m个神经元n个神经元ART-1网络的基本结构6.4.2ART-1网络6.4.2.1ART-1网络的基本结构注意子系统C：比较层，短期记忆存储（STM）单元，对已有模式进行学习训练；取向子系统R：识别层，短期记忆存储（STM）单元，实现系统的可塑性或灵活性；在注意子系统与取向子系统之间的连接通路长期记忆（LTM）。

（内星）（外星）§5.4自适应谐振理论网络①注意子系统C（C层结构有三个输入控制）比较层，短期记忆存储（STM）单元；

n个神经元节点，每个节点接收三方面信号，比如第i个节点：

根据规则（服从多数），C层中第i个神经元节点产生输出:（a）刚开始时，取向子系统R层反馈回送信号为0，依规则可以保证C层的初始输出为;（b）反馈回送信号不为0，输出

输入信号与反馈信号“逻辑与”运算§5.4自适应谐振理论网络②取向子系统R（R层结构）识别层，短期记忆存储（STM）单元；

m个神经元节点，对应可动态地增加新的模式的m类不同输入模式由C层向上连接到R层第j个结点的内星连接权向量表示C层的输出向量C沿着m个内星权向量Bj(j=1,2,...,m)向前馈送，到达R层各结点，竞争产生获胜结点j*，即为当前输入模式对应类别获胜结点输出为1，其余结点为0.§5.4自适应谐振理论网络③增益控制信号(a)控制信号G1：ART刚运行时G1=1,其后G1=0,使得C层的输出由输入模式与反馈模式比较结果决定。(b)控制信号G2：检测输入信号是否为0：

④重叠复位信号Reset使得R层竞争获胜结点无效。

当前输入模式X与已存模式比较，未充分接近预定相似度，ART发出Reset信号使得R层竞争获胜结点无效

§5.4自适应谐振理论网络⑤规则

对三个输入控制,至少有二个为兴奋时,该神经元才处于兴奋状态,否则为抑制状态。比如C层中每个神经元有三个输入

§5.4自适应谐振理论网络5.4.2.2ART-1网络的工作原理①识别阶段§5.4自适应谐振理论网络②比较阶段（R层输出信号按外星规则返回C层）

如果输入模式X与已存模式之间相似度小于，则输入模式X不满足要求，ART网络发出Reset信号，使得第一阶段匹配失败，竞争获胜结点无效，这样使已通过竞争获胜的神经元受到抑制，ART进入搜索阶段，直到输入新的模式；如果输入模式X与获胜结点非常接近，称输入模式X与Tj*发生共振，第一阶段匹配有效，ART进入学习阶段§5.4自适应谐振理论网络③搜索阶段先利用Reset信号置上次获胜节点无效，即R层输出全为0，开始搜索。C层输出端输出仍为，网络又进入识别和比较阶段，以前获胜节点不参与竞争，从而寻找新的获胜节点k，并按外星返回的权向量与输入模式充分匹配，满足要求为止（相似性度量）。于是输入模式编入R层中k节点所对应类别之中，并对k节点的外星和内星连接权调整。如果搜索了所有的R层输出节点而没有与充分接近的外星权向量，则增设一个R层节点，表示新的类别。§5.4自适应谐振理论网络（4）学习阶段对发生共振的获胜结点对应的模式加强学习，使得以后出现的与该模式相似的输入能获得更大的共振。ART网络两种记忆方式：短期记忆（STM）：C层与R层输出信号为短期记忆，在运行中会不断发生变化长期记忆（LTM）：两层之间内外星权向量，在运行中不会变化二进输入--F2层,m个结点模板选择--F1层,n个结点

模板匹配+输出模式自上而下连接权Tji

自下而上连接权

BijxiyjiiDuifhuis§5.4自适应谐振理论网络5.4.2.3ART-1网络的学习算法连接权定义:

从右向左的连接权(R层第j个神经元外星连接权),对应一个模式类别;(外星)

从左向右的连接权;(内星)§5.4自适应谐振理论网络输入层C输出层R自右向左连接权(外星)Tji自左向右连接权(内星)Bij§5.4自适应谐振理论网络§5.4自适应谐振理论网络§5.4自适应谐振理论网络§5.4自适应谐振理论网络§5.4自适应谐振理论网络5.4.3ART-2网络中间层上层节点下层节点C层结构5.4.3.1ART-2网络的概述

输入是任意实数;

基本原理与ART-1类似;不同之处在比较层