我的人工神经网络-11 自适应共振理论

1、第11章 自适应共振理论lCarpenterCarpenter和和GrossbergGrossberg在在19861986年：年：4 4个样本组成个样本组成样本集。这样本集。这4 4个样本被周期性地提交给网络。网络个样本被周期性地提交给网络。网络是难以收敛是难以收敛 l网络的可塑性需要的网络的可塑性需要的4 4项功能项功能样本的分类功能样本的分类功能分类的识别功能分类的识别功能比较功能比较功能类的建立功能类的建立功能lGrossbergGrossberg等：自适应共振理论（等：自适应共振理论（Adaptive Adaptive Resonance TheoryResonance Theory，

2、简记为，简记为ARTART） 11.1 ART的结构 l稳定性与可塑性是不同的稳定性与可塑性是不同的 l保证可塑性的操作要求分析保证可塑性的操作要求分析不匹配的现存不匹配的现存模式不被修改模式不被修改新输入向量新输入向量与现存模式与现存模式 相似：修改相匹配的模式相似：修改相匹配的模式不相似：建立一个新模式不相似：建立一个新模式ART总体结构图 X识别层识别层C(B)P(T)RC复位复位G2G1识别控制识别控制比较控制比较控制比较层比较层复位控制复位控制精度控制参数精度控制参数11.1 ART的结构X=(x1，x2，xn)R=(r1，r2，rm) C=(c1，c2，cn)P=(p1，p2，pn

3、)Ti=(ti1，ti 2，ti n)Bi=(b1i，b2i，bni)11.1 ART的结构ltij表示识别层的第表示识别层的第i个神经元到比较层的第个神经元到比较层的第j个神经个神经元的联接权元的联接权lbij表示比较层的第表示比较层的第i个神经元到识别层的第个神经元到识别层的第j个神个神经元的联接权经元的联接权lpi为比较层的第为比较层的第i个神经元的网络输入个神经元的网络输入mjjijitrp1以比较层和识别层为中心讨论5个功能模块rmr2r1T1p1c1TBB1x1G1p2c2cnpn复位复位 G2复位复位 G2T2TmBmB2XnG1x2 G1复位复位 G2识别层识别层比较层比较层比

4、较层输出信号控制 G1= (r1r2rm) (x1x2xn) 识别层输出信号控制识别层输出信号控制 G2= x1x2xn 比较层 l执行二执行二-三规则三规则 ci= 1 xi+pi+G122 ci= 0 xi+pi+G122kikikm1jjijittrtrpC=X P=Tk ci=xipi 待命期待命期工作周期工作周期 识别层 l识别层实现竞争机制识别层实现竞争机制lBk与与C有最大的点积有最大的点积 n1iiikcb X的的“暂定暂定”代表代表RNk所获得的网络输入为所获得的网络输入为 mj1|cbmaxcbn1in1iiijiik与与RN1，RN2，RNm相对应相对应向量向量B1，B2

5、，Bm代表不同分类代表不同分类 系统复位控制 X与与C的相似度的相似度 s，当前处于激发态的，当前处于激发态的RNk所对应的所对应的Bk、Tk为为X的类表示；的类表示；s，此，此RNk所对应的所对应的Bk、Tk不能很好地代不能很好地代表表X，需要重新寻找，需要重新寻找 n1iin1iixcs11.2 ART的初始化 lT的初始化的初始化矩阵矩阵T的所有元素全为的所有元素全为1 lB的初始化的初始化b bijijL/(L-1+n) L/(L-1+n) n为输入向量的维数；为输入向量的维数；L为一个大于为一个大于1的常数，其值应该的常数，其值应该与输入向量的位数相关与输入向量的位数相关T Tk k

6、、B Bk k是是RNRNk k对应类的两种不同表示对应类的两种不同表示 l的初始化的初始化0,1 11.3 ART的实现 l四个阶段：识别、比较、查找、学习四个阶段：识别、比较、查找、学习l一、识别一、识别 X ( (非非0 0向量向量) )未被加在网上时未被加在网上时lG2=0 G2=0 lR=(rR=(r1 1，r r2 2，r rm m)=(0)=(0，0 0，0) 0) X( (非非0 0向量向量) )被加在网络上时被加在网络上时lG1=G2=1 G1=G2=1 lR=0R=0导致导致P=(pP=(p1 1，p p2 2，p pm m)= (0)= (0，0 0，0) 0) 11.3

7、 ART的实现l在识别层，每个在识别层，每个RNk完成的操作完成的操作计算计算bbikikc ci i 接收来自其它接收来自其它RN的抑制信号，并向其它的的抑制信号，并向其它的RN发出抑发出抑制信号制信号 确定自己的输出状态确定自己的输出状态 完成输出完成输出 lRNRN之间的抑制连接与抑制信号之间的抑制连接与抑制信号l如果如果RNRNk k输出输出1 1，则表明，在本轮识别中，则表明，在本轮识别中，X X暂时被暂时被认为认为是属于该是属于该RNRNk k所对应的类所对应的类 二、 比较 lX归于归于RNk，RNk的输出值的输出值1被分别以权重被分别以权重tkj传送传送到比较层到比较层 l向量

8、向量P就是向量就是向量Tk lT的初始化及学习保证了的初始化及学习保证了T的每个元素取值为的每个元素取值为0或或者者1 lBk与与T k根据根据RNk进行对应，互为变换形式进行对应，互为变换形式 l如果对于所有的如果对于所有的j，1jjn，pj=xj，则表示，则表示X获获得良好的匹配。如果存在得良好的匹配。如果存在j，使得，使得pjxj，则表明，则表明X与相应的与相应的“类类”的代表向量并不完全一致的代表向量并不完全一致 二、 比较l当系统复位控制模块计算当系统复位控制模块计算X和和C的相似度的相似度s l如果如果s，表明本轮所给出的类满足精度要求。，表明本轮所给出的类满足精度要求。查找成功，

9、系统进入学习周期查找成功，系统进入学习周期 l如果如果s，表明本轮所给类不满足精度要求。，表明本轮所给类不满足精度要求。复位模块要求识别层复位，使所有复位模块要求识别层复位，使所有RN输出输出0系统回到开始处理系统回到开始处理X的初态，重新进行搜索的初态，重新进行搜索复位信号屏蔽本次被激发的复位信号屏蔽本次被激发的RN，在下一轮匹配中，该，在下一轮匹配中，该RN被排除在外，以便系统能够找到其它更恰当的被排除在外，以便系统能够找到其它更恰当的RN 三、 查找 l如果如果s，认为网络查找成功，此时分类完成，认为网络查找成功，此时分类完成，无需再查找无需再查找 l如果如果s0.5时，选择时，选择RN

10、1就不能满足精度要求，此时网络就不能满足精度要求，此时网络就需要进入查找工作阶段就需要进入查找工作阶段1、 RN1获胜获胜2 2、C C取值（取值（1 1，0 0，0 0，0 0，0 0） 3 3、 5.05151iiiixcs三、 查找4、s，所以对网络进行学习：，所以对网络进行学习：T2=C。显然，其原值被破坏了。而当我们选择一个适当的显然，其原值被破坏了。而当我们选择一个适当的L，同时在调整，同时在调整B时保留，这个问题就可以避免了。时保留，这个问题就可以避免了。四、 学习 l网络的分类并不是一成不变的网络的分类并不是一成不变的 l继续使用上面例子中的输入向量，取继续使用上面例子中的输入

11、向量，取L=6，初始，初始化使化使B的所有元素均取值的所有元素均取值0.61、 X1的输入导致的输入导致RN1被激发；被激发；B1被学习后取值为被学习后取值为（1，0，0，0，0）2 2、输入、输入X2时，时，RN1 、RN2所获得的网络输入分别为所获得的网络输入分别为1和和1.8，这导致，这导致RN2被激发；被激发；B2被学习后取值为被学习后取值为（0.6，0，0，0.6，0.6）四、 学习3、如果如果X1再次被输入，再次被输入，RN1 、RN2所获得的网络所获得的网络输入分别为输入分别为1和和0.6，从而正确的神经元被激发；，从而正确的神经元被激发；如果如果X2再次被输入，再次被输入，RN

12、1 、RN2所获得的网络输所获得的网络输入分别为入分别为1和和1.8，从而也仍然有正确的神经元被，从而也仍然有正确的神经元被激发激发4 4、当、当X3被输入时，被输入时，RN1 、RN2所获网络输入分别为所获网络输入分别为1和和1.2，从而，从而RN2被激发，此时，被激发，此时，T2=（1，0，0，1，1）被送入比较层，使得）被送入比较层，使得C=T2X3=X3。从而。从而导致导致s=1四、 学习5、网络进入学习：网络进入学习：T2、B2被修改被修改T2=（1，0，0，1，0）B2=（6/7，0，0，6/7，0）6 6、当再次输入、当再次输入X2时，时，RN1 、RN2所获得的网络输入所获得的网络输入分别为：分别为