《人工神经网络理论、设计及应用》课件第四章ART

4.5自适应共振理论思考并回答以下几个问题神经网络的学习和记忆特性学习过程的本质？网络将知识存储（记忆）在什么地方？对于感知器/BP网络/SOM网络学习时，当新样本输入时，权值的改变对旧样本的影响是什么？自适应共振理论（ART）历史1976年，美国Boston大学学者G.A.Carpenter提出自适应共振理论(AdaptiveResonanceTheory，缩写为ART)，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，ART就是这一理论的核心部分。随后G.A.Carpenter又与S.Grossberg提出了ATR网络。共振现象的一些例子自适应共振理论共振现象鱼洗寺院无人敲而响的磬军队过桥雪崩人类认知（图像）当双手策动力的频率跟物体的固有频率相等时，振幅最大，这种现象叫共振。水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的。

自适应共振理论ART网络学习算法的基本流程环境输入模式与储存的典型向量模式进行比较神经网络的连接权值选择最相似的作为该模式的代表类，并调整与该类别相关的权值，以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度。相似度的参考门限需要在网络中设立一个新的模式类，同时建立与该模式类相连的权值，用以代表和存储该模式以及后来输入的所有同类模式。C——

比较层R——

识别层Reset

——复位信号G1和G2——逻辑控制信号4.5.1.1网络系统结构4.5.1ARTⅠ型网络4.5.1.1网络系统结构(1)C层结构

该层有n个节点，每个节点接受来自3个方面的信号：来自外界的输入信号xi；来自R层获胜神经元的外星向量的返回信号Tj；来自G1的控制信号。

C层节点的输出ci是根据2/3的“多数表决”原则产生的，即输出值ci与xi、tij

、G13个信号中的多数信号值相同。

G1=1，反馈回送信号为0，C层输出应由输入信号决定，有C=X。反馈回送信号不为0，G1=0，C层输出应取决于输入信号与反馈信号的比较情况，如果xi=，则ci=xi。否则ci=0。网络系统结构4.5.1.1网络系统结构（2）R层结构R层有m个节点，用以表示m个输入模式类。m可动态增长，以设立新模式类。由C层向上连接到R第j个节点的内星权向量用Bj=（b1j，b2j，…,bnj）表示。C层的输出向量C沿m个内星权向量Bj(j=1,2,…,m)向前传送，到达R层各个神经元节点后经过竞争在产生获胜节点j*，指示本次输入模式的所属类别。获胜节点输出=1，其余节点输出为0。R层各模式类节点的典型向量。网络系统结构4.5.1.1网络系统结构(3)控制信号

控制信号G2的作用是检测输入模式X是否为0，它等于X各分量的逻辑“或”，如果xi(i=1,2,…,n)为全0，则G2=0，否则G2=1。控制信号G1的作用是在网络开始运行时为1，以使C=X，其后为0以使C值由输入模式和反馈模式的比较结果决定。设R层输出向量各分量的逻辑“或”用R0表示，则信号G1=，当R层输出向量R的各分量为全0而输入向量X不是零向量时，G1=1，否则G1=0。控制信号Reset的作用是使R层竞争获胜神经元无效，如果根据某种事先设定的测量标准，与X未达到预先设定的相似度ρ，表明两者未充分接近，于是系统发出Reset信号使竞争获胜神经元无效。网络系统结构4.5.1.2网络运行原理相似程度可能出现的两种情况：①相似度超过参考门限

选该模式类作为当前输入模式的代表类。权值调整规则是，相似度超过参考门限的模式类调整其相应的内外星权向量，以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度；对其它权值向量则不做任何变动。②相似度不超过门限值 需在网络输出端设立一个代表新模式类的节点，用以代表及存储该模式，以便于参加以后的匹配过程。网络运行原理4.5.1.2网络运行原理对于每一个输入，模式网络运行过程可归纳为四个阶段：(1)匹配阶段网络在没有输入之前处于等待状态，此时输入端X＝0，因此信号G2＝0，R0=0。当输入不全为0的模式X时，G2＝1，R0=0，使得G1==1。G1为1时允许输入模式直接从C层输出，并向前传至R层，与R层节点对应的所有内星向量Bj进行匹配计算：

j=1,2,…，m(4.22)选择具有最大匹配度(即具有最大点积)的竞争获胜节点：使获胜节点输出=1，其它节点输出为0。网络运行原理(2)比较阶段

R层输出信息通过外星向量返回到C层。R层获胜节点所连的外星权向量激活，从节点j*发出的n个权值信号返回到C层的n个节点。此时，R层输出不全为零，R0=1，而G1==0，所以C层最新输出状态C’取决于由R层返回的外星权向量和网络输入模式X的比较结果，即，i=1,2,…,n。由于外星权向量是R层模式类的典型向量，该比较结果C’反映了在匹配阶段R层竞争排名第一的模式类的典型向量与当前输入模式X的相似程度。相似程度的大小可用相似度N0反映，定义为：设输入模式样本中的非零分量数为：网络运行原理4.5.1.2网络运行原理4.5.1.2网络运行原理(2)比较阶段

用于比较的警戒门限为ρ，在0～1范围取值。检查输入模式与模式类典型向量之间的相似性是否低于警戒门限，如果有N0/N1<ρ则X与的相似程度不满足要求，网络发出Reset

信号使第一阶段的匹配失败，竞争获胜节点无效，网络进入搜索阶段。如果有N0/N1>ρ表明X与获胜节点对应的类别模式非常接近，称X与

发生“共振”，第一阶段的匹配结果有效，网络进入学习阶段。网络运行原理4.5.1.2网络运行原理(3)搜索阶段网络发出Reset重置信号后即进入搜索阶段，重置信号的作用是使前面通过竞争获胜的神经元受到抑制，并且在后续过程中受到持续的抑制，直到输入一个新的模式为止。由于R层中的竞争获胜的神经元被抑制，从而再度出现R0=0，G1=1，因此网络又重新回到起始的匹配状态。由于上次获胜的节点受到持续的抑制，此次获胜的必然是上次匹配程度排在第二的节点，将该节点对应的外星权向量与输入模式进行匹配计算。如果对R层所有的模式类，在比较阶段的相似度检查中相似度都不能满足要求，说明当前输入模式无类可归，需要在网络输出层增加一个节点来代表并存储该模式类，为此将其内星向量设计成当前输入模式向量，外星向量各分量全设为1。网络运行原理(4)学习阶段

在学习阶段要对发生共振的获胜节点对应的模式类加强学习，使以后出现与该模式相似的输入样本时能获得更大的共振。

ART网络运行中存在两种记忆方式：短期记忆：C层和R层输出信号称为短期记忆，用STM（Shorttimememory）表示，短期记忆在运行过程中会不断发生变化；长期记忆：两层之间的内外星权向量称为长期记忆，用LTM(Longtimememory)表示，长期记忆在运行过程中不会变化。网络运行原理4.5.1.2网络运行原理4.5.1.3网络的学习算法ARTⅠ网络可以用学习算法实现，学习算法从软件角度体现了网络的运行机制，与系统结构图并不一一对应。训练可按以下步骤进行：(1)网络初始化

从C层向R层的内星权向量Bj赋予相同的较小数值，如

(4.25)从R层到C层的外星权向量Tj各分量均赋1(4.26)4.5.1.3网络的学习算法(2)网络接受输入

给定一个输入模式，X＝(x1,x2,…，xn)，

xi

(0,1)n。(3)匹配度计算

对R层所有内星向量Bj计算与输入模式X的匹配度：，j=1,2,…，m。(4)选择最佳匹配节点

在R层有效输出节点集合J*内选择竞争获胜的最佳匹配节点j*，使得(5)相似度计算

R层获胜节点j*通过外星送回获胜模式类的典型向量，C层输出信号给出对向量和X的比较结果，i=1,2,…,n，由此结果可计算出两向量的相似度为4.5.1.3网络的学习算法(6)警戒门限检验

如果N0/N1<ρ，表明X与的相似程度不满足要求，本次竞争获胜节点无效，因此从R层有效输出节点集合J*中取消该节点并使，训练转入步骤(7)；如果N0/N1>ρ，表明X应归为代表的模式类，转向步骤(8)调整权值。4.5.1.3网络的学习算法(8)调整网络权值修改R层节点j*对应的权向量，网络的学习采用了两种规则，外星向量的调整按以下规则:

i=1,2,…,n；j*

J*(4.27)(7)搜索匹配模式类若有效输出节点集合J*不为空，转向步骤(4)重选匹配模式类；若J*为空集，需在R层增加一个节点。设新增节点的序号为nc，应使,i=1,2,…,n,此时有效输出节点集合为J*={1,2,…,m,m+1,…,m+nc},转向步骤(2)输入新模式。内星向量的调整按以下规则:

i=1,2,…,n(4.28)4.5.1.3网络的学习算法

ART网络的特点：

非离线学习即不是对输入集样本反复训练后才开始运行，而是边学习边运行实时方式。

每次最多只有一个输出节点为l

每个输出节点可看成一类相近样本的代表，当输入样本距某一个内星权向量较近时，代表它的输出节点才响应。

通过调整警戒门限的大小可调整模式的类数

小，模式的类别少，

大则模式的类别多。4个输入模式向量为：设

=0.7，取初始权值bij=1/(1+n)=1/26,tij=1.例一模式分类例一模式分类4.5.1.4

ARTⅠ网络的应用第1步：输入模式XA，将R层的4个节点中输出最大的一个命名为节点1，有j*=1。由于初始化后tij=1，所以相似度N0/N1=1，大于警戒门限

，故第一个模式被命名为第一类模式。按式(4.27)修改节点1的内星权向量，得按式(4.28)修改节点1的外星权向量，得其余仍为初始值1/26。对比输入模式X

A，可以看出，以上调整结果将模式X

A存储在神经元1的内外星权向量中。例一模式分类第2步：输入模式X

B

时，R层只有一个已存储模式，故不存在类别归属的竞争，只需判断该模式与已存储模式T1=X

A

的相似度，得N0/N1=5/9<

=0.7。从相似度可以看出，模式XB有9个黑象素，而XA与XB只有5个黑象素完全重合，故相似度检验不合格。由于R层已没有其它已存储模式类可供选择，需动用一个新节点，命名为节点2，用以代表新模式X

B。节点2的外星权向量为T2=X

B，内星权向量为其余分量均为初始值。例一模式分类第3步：输入模式XC时，节点1和节点2进行竞争

节点1净输入为1.217>

节点2净输入为1.101节点1获胜。计算T1与X的相似度，得N0/N1=5/13<

=0.7节点1失效后，网络应在其余的存储模式类节点中搜索，对于本例，只能取节点2作为获胜节点。于是计算XC与代表XB的T2的相似度，得N0/N1=9/13<

=0.7该结果仍不能满足要求，只能把模式视为第3类模式。并按式(4.27)和式(4.28)修改节点3的内外星权向量。例一模式分类第4步：输入模式X

D后，节点1、节点2和节点3参加竞争，结果是节点3

获胜，计算模式X

D与X

C的相似度，得N0/N1=13/17=0.765〉

=0.7于是X

D归入已存储的X

C类，并按式(4.27)和式(4.28)修改节点3的内外星权向量。例一模式分类例一模式分类例一模式分类注意！ρ值的选择对分类过程的影响很大。ρ值过大，导致分类剧增。ρ值太小，则不同的模式均划为同一类别。例一模式分类例二带噪声模式分类例二带噪声模式分类4.6本章小结4.6本章小结(1)竞争学习策略

竞争学习是自组织网络中最常采用的一种学习策略，胜者为王是竞争学习的基本算法。该算法将输入模式向量同竞争层所有节点对应的权向量进行比较，将欧式距离最小的判为竞争获胜节点，并仅允许获胜节点调整权值。按照胜者为王的竞争学习算法训练竞争层的结果必将使各节点的权向量成为输入模式的聚类中心。4.6本章小结(2)SOM神经网络SOM

网络模型中的竞争机制具有生物学基础。SOM网的结构特点是输出层神经元可排列成线阵或平面阵。在网络训练阶段，对某个特定的输入模式，输出层会有某个节点产生最大响应而获胜。获胜节点及其优胜邻域内的所有节点所连接的权向量均向输入向量的方向作不同程度的调整，调整力度依邻域内各节点距获胜节点的远近而逐渐衰减。网络通过自组织方式，用大量训练样本调整网络的权值，最后使输出层各节点成为对特定模式类敏感的神经细胞，对应的内星权向量成为各输入模式类的中心向量。当两个模式类的特征接近时，代表这两类的节点在位置上也接近。从而在输出层形成能够反映样本模式类分布情况的有序特征图。4.6本章小结(3)CPN神经网络

CPN神经网络是由Kohonen的自组织网和Grossberg的外星网组合而成的，其拓扑结构与三层BP网相同。CPN网的隐层为竞