BP神经网络RBF神经网络自组织竞争型神经网络ppt课件

1、第五章 自组织竞争型神经网络5.1概述5.2竞争学习机制和自稳学习机制5.3自顺应共振实际神经网络ART BP网络虽已得到广泛运用，然而，它在构成网络时未能充分自创人脑任务的特点，因此其功能有许多缺乏之处： 对比之下，人脑的优越性就极其明显了。人的大脑是一个庞大、复杂的神经网络系统，它不仅可以记忆来自外界的各种信息，即具有可塑性，而且还可以将新、旧信息保管下来，即具有稳定性。人的脑神经系统既能结实地记住学得的各种知识又能顺应各种复杂多变的环境，可以经过“自学来认识未学习过的新事物并处理不熟习的新问题。因此，我们在研讨、设计和开发人工神经网络时，应该充分自创人脑的学习方法： 1BP神经网络只适用

2、于平稳的环境，这就是说，输入方式的各项统计特征不能随时间而变化各种客体、客体间的关系以及相应的察看矢量具有统计平衡性。但是，真实的世界不是或不完全是这样。 2BP网络的学习是在教师指点下的有监视学习，它不能自学；另一方面，网络的学习形状与任务形状是截然分开的，它不能边学习边任务。 3学习过程中神经网络的一切权值系数都要调整，而且为了防止振荡景象出现，学习的步幅必需取为较小的数值，这就使学习速度非常缓慢。 4在完成分类功能时假设被区分的客体类别数超出了神经网络可区分的最大极限，而学习方式仍按照原来方式进展，那么根本不能够给出正确的学习结果。 5有能够堕入均方误差的部分最小点，从而呵斥错误的分类结

3、果。 6误差准那么是固定的，不能随着环境的变化而进展相应的调整或改动。1自主的自治的；2自组织；3自学习；4联想双向。这正是自顺应谐振实际ART的研讨出发点。 竞争学习的原理可借助于图5.1给出的表示图加以描画。 第一步，我们暂且不思索图中虚线表示的自稳机制部分。假设输入察看矢量是一个N维二进矢量X，X=x0 x1xN-1，它的各个分量只能取0或1，即xj=0或1，j=0N-1。系统的输出是一个M维二进矢量Y，Y=y0y1yM-1，它的各个分量也只能取值为0或1。此系统分成三层，F2和F1分别称为上、下短期记忆层，并记之为STMSTM是“short time memory的缩写，F2和F1之间

4、是一个长期记忆层，记之为LTM“long time memory的缩写。各层的运算功能分别引见如下：F1层STM 此层的输入是察看矢量X，输出是N维矢量S，S=s0s1sN-1。在最简单的情况下，S的各个分量Sj可以用以下公式计算： j=0(N-1) 5-1 易于证明，矢量S的模为1, 。这就是说，F1层的作用是使任何输入察看矢量规格化，即使之成为具有同样模值的矢量。 F1和F2之间的中层LTM 在此层由矢量S计算出一个M维矢量，T=t0t1tM-1。T的各分量按下式计算： 5-2 由于其中的各权值系数wij的变化相对于F1、F2而言缓慢得多下面将指出，每输入一次察看矢量，它们只作微小的变化，

5、所以它们保管的是系统的长期记忆内容。 F2层STM 此层的作用是由矢量T计算输出矢量Y，其计算公式为 假设 5-3 可以看出，在输出层F2进展的是一种竞争抉择运算：在t0tM-1之间，有一个最大的分量，其对应输出即定为1，而一切其它分量所对应的输出皆定为0。 下面讨论此系统用于分类时的学习战略 在学习开场以前，首先需求对LTM层中的各个权值系数置以随机初值wij0，然后依次送入察看矢量Xk，随时按照以下公式将各个权重系数调整成一组新的数值： j=0(N-1),i=0(M-1) 5-4 其中是步幅值，取一个小正数值。可以看到，由于在y0(k)yM-1(k)之中只需一项等于1而其它各项皆为0，因此

6、只需与该非零项相应的权值系数才做调整，也就是说，只改动与竞争得胜者有关的各个权重系数，而其它一切权重值系数皆维持不变。对于竞争得胜者，与其有关的各权重系数的调整战略是使各wij此处设得胜者的编号为i=I与规格化输入矢量Sk的各分量Sjk趋于一致。假设设Wj= wI0 wI1 wIN-1，那么这种调整就是使WI趋向于Sk。 由于 ，所以调整的结果也是使 趋向于1。 由于这种算法中只需竞争得胜者的有关系数才有时机进展学习，所以称之竞争学习算法。假设经过学习，不同客体的察看矢量集合都找到了各自相应的得胜输出分量，因此根据得胜者的编号就能自然地对它们进展分类classification。这种经过竞争学

7、习完成分类功能的过程也可以用其它术语称之为聚类cluster、分割partition、编码coding、正交化orthogonalization或自顺应矢量量化adaptive VQ，在思想心思学中常称之为分类感知categorical perception。 可以看到，假设输入察看矢量所表示的客体类别数小于输出矢量Y的维数M，而且每个类别的察看矢量所占据的空间足够“紧凑这就是说，同一类别矢量所占空间内的察看矢量非常接近，而不同类别矢量所占空间的察看矢量相距较远，那么学习可以趋于稳定并收到很好的分类效果。但是，也可以举出一些反例，假设在相隔较远的两个时间点上两次输入同一察看矢量，而在其间插入假

8、设干其它察看矢量，那么第二次分类的结果会出现与第一次分类结果不一致的景象。这阐明第一次分类后新学习得到的记忆内容有能够冲掉原有的学习记忆内容，从而导致了第二次分类的错误。这也阐明简单的竞争学习机制不能保证记忆具有足够的结实性。 为理处理这个矛盾，可以在竞争学习算法中再加上一个由顶向下的自稳机制，如图5-1中的虚线所示。其任务原理引见如下：1竞争选择的原理不改动，即每输入一察看矢量Xk，输出矢量的各个分量是Y0k，Y1k，YM-1k，其中只需一项为1，其它各项均为零。设竞争胜利者即非零项为YIk。2对学习算法进展下述修正。首先，由输出矢量Yk产生一个由顶向下矢量Zk，Zk=z0kz1(k)zN-

9、1(k)，其中各分量zik按以下公式计算： j=0(N-1) (5-5) 其中 是由顶向下的权重系数，由于诸yi(k)中只需yI(k)为1，其它均为0，所以式5-5可以表示为 j=0(N-1) (5-6)此式中的各个由顶向下的权重系数 是在时序k以前的各次学习中“记忆下来的。后面将指出，记忆的算法是使得当某个yI为获胜输出端时，各个 与当时的规格化输入矢量S的各分量Sj趋于一致。设由顶向下的第I号权重矢量为 , ，由式5-6可知， Zk= 。为了判别本次即第k次输入的规格化矢量Sk与以前I输出端获胜时的规格化矢量S能否类似，我们只需比较Sk与Zk之间的类似度。两个空间矢量的类似度可以用它们之间

10、的夹角大小来衡量，而此夹角又与Sk和Zk的规格化点积有单调依存关系。的计算公式是 (5-7) 越接近于1那么两个矢量的类似度越高。需求阐明，当两个矢量的模对于衡量它们的类似度无关紧要时，利用是适宜的。假设模本身对于衡量类似度也是重要的，那么应采用两个矢量的欧氏间隔|S(k)-Z(k)|来衡量其类似度。但是，当这两个矢量的模都已规格化为1时，用欧氏间隔或规格化点积来衡量类似度是等价的。 根据Sk和Zk的类似度衡量值的不同，神经网络可以采取不同的运转战略，下面分步骤给出这些战略。 a假设两个矢量的类似度很高，即值很接近于1，那么神经网络立刻转入后面第3项规定的运算。 b假设两个矢量类似度不够高，从

11、而使低于某个阈值，这时就立刻摒弃第一次选择的优胜输出yI，再由所余的各个yi中选出一个优胜者。这就要回到前面第1项重新开场竞争选择。需求强调，在新一轮的竞争中前优胜者I已被排除在外。假设在过去的学习中F2 层的M个输出端中只需K个被占用且KM，那么搜索优胜者的竞争显然只能在这K个被占用输出端之间进展。一旦在这K个输出端中找到一个胜利者，它的由顶向下矢量Zk与Sk足够类似，那么立刻转入3。否那么，就一个一个找下去。假设K个端都搜遍了，仍找不到足够类似者，那么新开辟一个输出端作为新的一类。类别数从K增至K+1，然后转入第3项。 c假设开辟一个新端后仍坚持K+1M，那么允许在下一次学习时继续开辟新类

12、别。假设K+1=M，这阐明一切网络的容量都已占满，这时不再允许开辟新类别，以免破坏网络中已存储的记忆内容。3假设在已被占用的输出端中找到一个优胜者，它的由顶向下矢量Zk与Sk的类似度足够高，或者开辟了一个未被占用的新输出端，那么对于该端相应的由底向上和由顶向下权重系数进展调整。设此端的编号为L，那么被调整的系数是 和 。下面给出系数调整的计算公式： (5-8) 其中是步幅，其值取为一个小正实数。 可以看到，按照上面给出的算法，只需当新的输入矢量与已存入记忆中的某个矢量足够类似时，两者才干相互交融，即对有关的权重系数进展调整，从而使长期记忆得以改动。这呵斥一种自顺应谐振adaptive reso

13、nance形状，这就是ART这个称号的来源。需求指出，上面给出的1和2两项运算，其运算速度相对而言是快的，在运算时只需F1和F2这两个STM层的输出发生变化，而LTM层中的系数不产生改动。当进入自顺应谐振形状时即进入第3项运算时LTM层中的有关系数才发生变化。这类似于人的记忆过程，当输入一个察看矢量时，大脑必需在已有的记忆内容中搜索与之类似的矢量，假设得到了印证，那么对其记忆就会加强。另一方面，假设输入的是一个完全新奇的矢量，这也会呵斥深化的印象并被植入长期记忆库之中。 概括而言，按照ART也就是以竞争学习和自稳机制为原那么所建立的实际构成的ANN有如下特点： 1它能对任何输入察看矢量包括非平

14、衡输入进展“实时学习，这就是说，学习和任务是分不开的。这种学习保证可以到达稳定、可靠的结果，直至记忆容量全部用完为止。任何情况下都不会呵斥新记忆破坏老记忆的灾难性后果。 2学习是自治和自组织的，学习过程无需教师指点，因此是一种无监视unsupervised学习。3学习过程受由顶向下传送的方式矢量指点，因此可以构成“集中留意的形状，也就是说可以有选择地学习，把留意力集中于某些特定的内容包括过去学过的或新奇的。由于加权系数的修正只涉及少量系数，因此较之前向神经网络有更高的学习效率后者需调整一切系数。4此系统可以完全防止堕入部分最小点的问题 上面只给出了用ART构成ANN的粗略轮廓，为了详细实现一个

15、可实践运转的神经网络，尚有许多问题需求处理。S.Grrossberg和A.Carpenter提出的自顺应共振实际(Adaptive Resonance TheoryART)，使寻觅一个能完全模拟人脑记忆可塑性与稳定性的人工神经网络的努力获得了胜利。这一实际的特点是：用生物神经细胞自兴奋与侧抑制的动力学原理指点学习，让输入方式经过网络双向衔接权的识别与比较，最后到达共振来完本钱身的记忆，并以同样的方式实现网络的回想。当提供应网络的输入方式是一个网络已记忆的或与已记忆的方式非常类似时，网络会把这个方式回想出来，并提供正确的分类。假设输入方式是一个网络不曾记忆的新方式，那么网络将在不影响原有记忆的前

16、提下，将这个方式记忆下来，并分配一个尚未运用过的输出层神经元作为这一记忆方式的分类标志。下面对ART网络的构造、任务原理、学习方法及网络的性能进展分析。ART网络的构造及任务原理 ART网络主要有ART1和ART2两种模型。其主要区别是前者为二值输入，后者为模拟输入。下面主要引见ART1网络。ART1网络的构造如图5.2所示。输入层和输出层神经元数分别为n和m，二值输入方式和输出矢量分别为 ， ， k=1,2,p其中p为输入方式的个数。前馈衔接权和反响衔接权分别为wij和 (i=1,2,n;j=1,2,m)。 ART1网络的学习及任务，是经过反复地将输入学习方式由输入层向输出层自下而上地识别比

17、较来实现的。当这种识别的比较到达共振时，那么输出矢量可以正确地反映输入学习方式的分类，且网络原有的记忆不受影响。至此，对一个输入学习方式的分类和记忆即告完成。下面对ART1网络的任务过程做详细引见。1初始化阶段。ART1网络需求初始化的参数有三个，即wij, 和，其中为网络的警戒参数，其作用及取值后面再引见。wij和 的初始化不是取随机值，而是设置为一种固定方式。反响衔接权 经过比较最终将记忆已学的输入方式，故其值取0和1二值方式。为了使初始比较不丧失信息，故将 的初值全部设置为1，即 =1 i=1,2,n;j=1.2,m (5-9) 前馈衔接权wij是网络学习终了后，承当着对学习方式的记忆义

18、务。在对wij初始化时应给一切学习方式提供一个平等竞争的时机，然后经过对输入方式的竞争按一定规那么调整wij。wij的初值按下式设置： i=1,2,n;j=1.2,m (5-10) 2识别阶段。网络的识别阶段类似于前面引见的竞争型神经网络的学习过程。实践上假设去掉反响衔接权 ，ART1网络就与竞争型网络完全一样。ART1网络的学习识别过程就发生在输入学习方式 由输入层向输出层的传送过程中。这里假设输出层不存在神经元之间的相互抑制，在这一阶段，首先将输入学习方式 提供应输入层，然后用竞争学习算法寻觅输出层获胜神经元。故识别阶段实践上是输出层各 神经元竞争对输入方式的呼应过程。实现算法如下： (5

19、-11) (5-12) 当然，这种竞争也可经过抑制的方法来实现。至此，网络的识别过程只是暂告一段落，并未最后终了。此时获胜神经元j=g能否代表输入方式Uk的正确分类，还有待于下阶段进一步确定。 3比较阶段。是ART1网络学习任务过程中重要的最具特征的一个阶段，如前所述，ART1网络的最大特点在于它既能模拟人脑的可塑性，又能模拟人脑的稳定性，而比较阶段与寻觅阶段是ART1网络实现这一功能的两个主要阶段。假设ART1网络的学习任务只到识别阶段为止，那么它与前面引见的根本竞争型网络完全一样。在这种情况下，假设网络输出层m个神经元已分别代表了m个输入学习方式的分类，假设如今又让网络再记忆一个未学过的新

20、方式，按竞争规那么，它总能在输出层找到一个神经元j代表本人的分类。 然而这样做原来这个神经元j所代表的学习方式的分类那么被破坏。处理这一问题的方法是，每当给已学习终了的网络提供一个供识别的输入方式时，首先检查一下这个方式能否已学习过，假设是，那么让网络回想出这个方式的分类结果；假设不是，那么对这个方式加以记忆，并分配一个还未用过的输出层神经元来代表这个方式的分类结果。比较阶段主要就是完成这一检查义务。比较阶段的详细过程如下：把学习过的输入方式存储在反响衔接权 (j=1,2,m)中，即让矢量 与输出层第j个神经元所代表的某一输入学习方式 完全相等。当网络需求对某个输入方式进展回想时，这个输入方式

21、经过识别阶段，竞争到神经元g作为本人的分类结果。 此时要检查反响回来的矢量 能否与这个输入方式相等。假设相等，那么阐明这是一个已记忆过的学习方式，神经元g代表了这个方式的分类结果，即识别与比较产生了共振，网络不需求再经过寻觅阶段，直接进入下一个方式的识别阶段；假设不相等，那么放弃神经元g的分类结果，进入寻觅阶段，图5.3是比较检查表示图。 对于方式分类而言，同一类的方式不一定要求完全相等。因此，当用矢量 与输入方式Uk进展比较时，允许两者之间有一定的差距，允许差距的大小由警戒参数确定。在ART1网络中定义 (5-13) 作为差距的测度。 式中 表示矢量 与输入方式 逻辑“与。由于 和Uk都是二

22、值矢量，所以这个和式实践上就是 和Uk中同时为1的元素的个数， 表示uk中元素为1的个数。故式(5-13)的cg表示了 与Uk拟合度。当 = Uk时，cg=1阐明两个矢量完全相等；当cg时，阐明拟合度大于要求，没有超越警戒线，以上两种情况均可以成认其识别结果。 同时，当cg1且cg时，按下式对前馈衔接权矢量Wg=wg1,wg2,wgnT 和反响衔接权矢量 向着与Uk更接近的方向调整 (i=1,2,n) (5-14) (i=1,2,n) (5-15) 显然，式5-14的调整意图是要使 趋于Uk。对于式5-15后面还要做详细分析。当cg时，阐明拟合度未到达要求，超越了警戒线，那么回绝识别结果，将神

23、经元g重新置0，并将这个神经元排除在下次识别范围之外，网络转入寻觅阶段。4寻觅阶段。在这一阶段，网络将在余下的输出层神经元中搜索输入方式Uk的恰当分类。只需在输出矢量 中含有与这一输入方式Uk相对应的分类单元，那么网络总可以得到与记忆方式相符的结果。假设在已记忆的分类结果中找不到与该输入方式对应的分类，但在输出层中还有未运用过的单元，那么可以给这个输入方式分配一个新的分类单元，在以上两种情况下，网络的寻觅过程总能胜利，即共振终将发生。 2.ART1ART2网络的学习任务规那么 可总结归纳如下： 1初始化 (5-16) (i=1,2,n;j=1,2,m) (5-17) 2将输入方式 提供应网络的

24、输入层。 3计算输出层各神经元的输入加权和 (j=1,2,m) (5-18) 4选择Uk 的最正确分类结果 (5-19) 5计算以下三式，并进展判别 (5-20) (5-21) (5-22) 当上式成立时，转入步骤7，否那么转步骤6。 6取消识别结果，将输出层神经元g的输出置0，并将这个神经元排除在下次识别范围之外，前往步骤4，当一切已记忆过的神经元都不满足式5-22时，那么选择一个新的神经元作为分类结果，进入步骤7。 7成认识别结果，并按下式调整衔接权： (i=1,2,n) (5-23) (i=1,2,n) (5-24) 8将步骤6置0的一切神经元重新列入识别范围之内，前往步骤2，对下一输入方式进展识别。 下面对上述算法规那么做几点分析和阐明： 1网络的学习和回想都运用此规那么。只不过网络在运转时，只对那些与未运用过的输出神经元有关的衔接权wij和 才按式5-16和式5-17初始化。其他衔接权仍坚持网络学习的值不变。当输入方式是一个网络已记忆的学习方式时，不需求按步骤7进展衔接权的调整。但是，当输入方式是全新的学习方式，并需求网络对其加以