ART2 模拟输入模式的稳定类型识别编码的自组织网络

1、ART2: 模拟输入模式的稳定类型区别于类型会变化的？识别编码的自组织网络摘要：自适应谐振体系结构是一种可以实时响应任意序列输入模式的，自组织地进行稳定模式编码的神经网络。本文介绍了一种自适应谐振体系结构ART2，对于任意序列的模拟或二进制输入模式,这种结构能迅速自组织地进行模式识别并聚类。为了处理任意序列模拟输入模式，ART2体系结构将问题的解决方案整理，并表达为一组设计原则：如稳定性可塑性平衡，搜索直接存取平衡，以及匹配复位平衡。在这些体系结构中，自上而下学习期望和匹配机制在自稳定的编码过程中是至关重要的（code learning理解为Self-coding,因此译为编码）。随着学习进程

2、的开始,并行的搜索方案使ART2可以自我更新，并实现实时的假说建立、测试、学习和识别过程。经过学习自我稳定后，搜索过程可以自动脱钩，此后输入模式可直接访问他们的识别码而不需要再搜索搜索直接存取平衡。因此, 识别熟悉的输入所用的时间不随学习编码的复杂性而增加。如果新的输入模式与已熟知类别的样本集合具有共同的不变的属性,那么它可以直接访问这一类别。警戒值参数则决定了该分类的细致程度。如果由于环境反馈,警觉性增加（或减少），系统就会自动搜寻并更细（或更粗）地进行识别分类。增益调节参数能使ART2抑制噪音达到一定水平。尽管ART2网络具有高度的非线性，其的全局性设计仍使它能够有效地学习。I. 自适应谐

3、振体系结构自适应谐振体系结构是一种可以实时响应任意序列输入模式的，自组织地进行稳定模式编码的神经网络。在文1中,Grossberg提出了自适应谐振理论的基本原理。在文2和3中，Carpenter和Grossberg用一组常微分方程刻画了一类被命名为ART1的自适应谐振结构。对于任意序列的二进制输入模式，经证明的定理已能说明ART 1 网络实时动态特性。这些定理预示了搜索的顺序（可视为网络的学习过程的函数）和渐近分类结构是有任意序列的二进制输入模型自行组织的。这些定理也证明系统自稳定性能和说明了该体系的适应权重振动至多一次，而不会陷于伪存储状态或局部极小值。 本文介绍了一类新的自适应谐振结构，即

4、所谓的ART2。对于任意序列的模拟（灰度级，连续值）输入模式，以及二进制输入模式，ART 2网络能够自行组织，形成稳定的识别分类。本文将通过计算机仿真方法来说明系统的动态特性.例如图1，它展示了一个典型的ART2网络，在每个样本只输入系统一次后，快速把一组五十个样本自行聚类成三十四个稳态的识别种类。每个数字下面的图例被ART 2聚类为相同类别。仿真系统方程式将在中给出。ART网络通过修正连接权重,也就是自下而上的自适应过滤器第一个过滤器？的长期记忆系统（LTM）的迹，来对新的输入模式进行编码（图2）。这个过滤器包含在从特征表示场（F1）到类别表示场（F2）（它们的节点经过合作与竞争的相互作用后

5、）的通道中。这种自适应过滤和竞争的结合，有时也被称为竞争学习，在许多其他类型的自适应模式识别和相关学习中也存在。可参见Grossberg关于竞争学习模式发展的回顾4。然而，在ART网络中，自上向下的自适应过滤器(第2个过滤器)对编码自稳定性有着至关紧要的作用。这种自上而下自适应信号在ART系统中扮演着对学习的期望值。它们能使系统引发注意启动，模式匹配，和自我调节的并行搜索。ART设计的关键点之一是对于任意输入环境，必须有自上而下的注意和有意的机制(或称为期望)来保证自稳定的学习。像自下而上和自上而下的自适应过滤器一样，场F1和F2 也包含在ART的注意子系统（见图2 ）。当自下而上的F1层输入

6、与自上而下的期望值（F2中激活类别所输出）匹配失败时，调整子系统将被激活。在这种情况下，激活的调整子系统迅速地重置（抑制）F2层的激活类别。重置动作将自动引导注意子系统再次进行并行搜索。备选种类被一一测试，直到找到一个适当的匹配或建立一个新的类别。因为搜索策略在整个学习过程中是自适应地更新的，搜索保持有效如何做的？。相对学习速率，搜索过程更快。然而，只有当一个搜索结束和系统内部有一个匹配的F1模式共振时，自下而上和自上而下的自适应过滤器才会出现显著的变化。图1所示的仿真中，在最初的50种输入中，有许多ART2系统进行了一次搜索过程。自下向上自适应过滤、编码（或假说）的选择、自上向下的学习期望值

7、的输出、匹配和代码复位的循环过程表明，在ART系统中，自适应模式识别是更为一般的认知过程（发现，测试，搜索，学习，并证实假说）的一个特例。在ART系统的应用中，对大型抽象的知识基础的自适应处理是未来研究的一个重要目标。事实上，ART系统的学习只发生在谐振状态，这使得系统解决可塑性与稳定性的平衡成为可能。可塑性，或称快速改变LTM轨迹的趋势，能够无限期地保持完整是指可塑性永远存在？不会被饱和掉？，这使得ART体系结构能够学习以后不可预料的事件，直到耗掉所有的存储容量。在一个共振状态下学习，要么是基于输入模式可能含有的任何新的信息，对先前建立的编码进行更新，要么是在未定型的节点中开始进行编码快速定

8、型。举例说，假如在任何时间，将一个新的输入加入到图1所示的五十个输入集合，该系统将搜索已建立的类别。可能在最初的搜索周期中，就找到了匹配的模式，如果有必要，表征类别的LTM向量将被更新，以纳入新模式。如果没有找到匹配模式，在编码容量尚未用尽的情况下，系统会使用未定型的LTM向量trace我理解为LTM向量在不断学习过程中的变化轨迹。直接翻译不好理解对由输入建立的STM模式进行编码，从而建立一个新的类别。该体系结构的自适应搜索，可发现和了解恰当的识别编码，而不会陷入在虚假的记忆状态或局部最小值中。在其它的搜索模式，如搜索树，随着已知编码变得越来越复杂，搜索时间也会延长。与之相反，在一个ART结构

9、中，只有识别编码在被学习时，搜索才开始，而且随着学习的继续这种搜索保持其效率我未能理解这个能力是如何体现的。以前学习的自稳定性，是通过读出一个被由上而下的期望值提供的动态缓冲来实现，而不是由关掉可塑性或限制只有某类被允许输入来完成。例如图1的仿真中，在50个输入模式学习一次后，学习已经达到自稳定。一般说来，在一个ART结构中，对一个特定的识别种类，一旦学习已经达到自稳定，搜索机制就自动脱钩了。此后对任何隶属于此类别的输入，不需要进行搜索，就可以高速和可以直接地激活或访问类别信息。在一个ART结构中，输入模式和被选择的类别模板之间的匹配的标准是可以调整的。匹配准则是由控制调整子系统行为的警戒值参

10、数所决定的。所有其他情况是一样的，高警惕对应更严格的匹配标准，从而对输入集的聚类更为细致。低警戒值则在F1层能容忍更大的自上而下的或自下而上的匹配误差，从而导致分类粗糙（图3）。此外，在每一个警戒值水平下，匹配的标准也可自行缩放根据特征的数量（输入向量的长度、维数）：如果输入模式非常复杂，少量特征的不匹配可能是可以容忍的，但如果输入本身特征量就不多，同样数目的特征不匹配则会触发重置。图3. 较低的警惕意味着分组粗化.与图1相同的ART2网络将同样50个输入分为20个类别。例如,图1中的类别1和2被合并为类别1,类别14、15和32在这里被合并为类别10，类别19-22被合并为类别13. 图4.

11、 一种没有一个面向子系统的ART2模型学习分组.(a)将警戒值水平设置为0, 与图1、3相同的ART2网络将50个样本分为6个类别（每个样本仅输入一次）。没有了在不匹配时的重置功能，会出现短时分组。(b)在每个样本输入3次后，一个粗略但稳定的类别结构就已经建立了。即使没有任何搜索，当警惕性低或调整子系统被移除时本段讨论的重点是移除调整子系统后，系统的行为，ART2也能建立一个合理的聚类结构（图4 ）。不过在这种情况下，自上而下的学习期望值，通过产生注意焦点来缓冲突然发生的代码文字和含义都没有理解，来全面负责编码的自稳定性。虽然在F1层自下而上和自上而下的模式不匹配会削弱F1层的不匹配的特征，然

12、而这种不匹配，在学习发生前，并不会引发在F2层寻找一个更合适的编码。这种学习将未被削弱的F1层的特征纳入到最初被选定的类别的识别编码中而不管不匹配的不犯。在这种情况下，编码在自稳定之前可能需要更多的输入试验。在早期的试验中，由于原本通过可变的警戒值实现的灵活的匹配标准不在了，错误的分组可能会出现，例如图4（a）中第1类。尽管如此，自上而下的期望值能积极调节学习过程，以产生一个拥有可接受的属性的稳定的渐近编码。例如，尽管在图4（a）的例子中有最初的异常编码 ，图4（b）表明通过三轮的输入，可以建立一个稳定的聚类结构，在图4（a）中在1种类的聚类错误得到了纠正（将最初的并不相似的输入大致分裂成单独

13、的类别1和7）。自上而下的学习期望和调整子系统不是ART网络在学习过程进行主动调控的唯一手段。在F1和F2层注意增益控制注意找出位置也有利于这种活跃规则（sec. II） 。增益控制被用来综合此处overall不好理解adjust overall sensitivity调整对样本输入的灵敏度，和协调各个具有分离的、异步功能的ART子系统。可以调整对图案化的输入和协调分开的整体敏感性。增益控制在图2中表示为圆形的实心点（被填充的）。II. ART 1: 二进制输入模型图2显示了一个典型的ART1网络的主要特点。注意子系统中连续的两级 F1和F2 ，对短期记忆（STM）的活跃模式进行编码。在F1和

14、F 2之间的每个自下而上或自上而下的路径包含了一个自适应LTM向量，它会与在其路径中的信号的相乘。电路的其它部分调节这些STM和LTM计算过程。增益控制1的调制可以使F1层能够区分自下向上输入模式和自上而下的填装理解为从F2层经过选择得到的模式或模板模式，并能比较这些自下而上和自上而下的模式。特别是，自下向上的输入可以有意识地激活F2层；在没有自下而上的输入时，由上而下的期望值能有意识地强化或填装F1层; 根据2/3的规则，自下而上和自上而下输入的结合是相匹配，该规则在自下而上和自上而下的模式的交互作用下激活节点（图5）。因此，在自组织的ART系统下，意向性（或已知由上而下的期望的行动）暗示了

15、空间的逻辑匹配规则。Carpenter和Grossberg在文献3证明了在ART1响应任意序列的二进制输入模式时，2/3规则匹配对于学习自稳定是必要的。当自下而上输入模式和自上而下的模板模式在F1中不匹配，根据警戒值标准，调整子系统给F2层一个重置波。重置波选择性地长期抑制被激活的F2层节点（细胞），直至当前输入被移除。输入模式的偏移此处的offset，我理解为shut off的行为，这样比较容易解释这句话的意思终止了它在F1中的运算，并触发增益2的偏移量。增益2的偏移量引起F2层的STM记忆迅速衰变，从而F2层能够无偏差地对对下一个的输入模式进行编码。一个ART1系统完全可以由一个微分方程组

16、定义，这个方程组也决定STM和LTM对一个任意时间序列的二进制输入的动态响应。刻画这些动态特性的定理已经在快速学习的条件下得到证明，这里，为了使LTM轨迹接近平衡值，每个样本的试验时间必须足够长。ART 1的变形结构具有类似的动态特性。因此，术语ART1是指一族或一类功能上等效的结构，而不是单个模型。图5 搜索一个正确的F2编码。（a）当不明确地激活A,输入模式I在F1层产生一个明确的STM激活模式X，模式X抑制A的同时，产生一个输出信号S，S转变成T，T在F2层激活STM模式Y。（b）模式Y产生一个自上而下的模式U，它转化为模板模式V。如果V与F1层的模式I不匹配，在F1产生一个新的STM激

17、活模式X*，在X转化为X*时产生的总活跃度减少会导致F1层对A的抑制作用减弱。（c）A在输入模式作用下的行为会释放一个不明确的激活波到F2层，它将重置F2层的STM模式Y。（d）当Y被抑制，其自上而下的模板被消除，这样F1层的X模式被恢复，又产生一个模式T到F2层，但此时模式Y被抑制，T会激活另外一个F2层STM模式Y*,如果由Y*产生的自上而下的模板还是与I不匹配，搜索F2层合适编码的过程继续进行。III. ART2:模拟输入模型ART2体系结构是为处理模拟（也可以是二进制）输入模式而设计的。一个为模拟输入设计的种类代表系统，要能够把陷入在各种噪声背景里的近似信号挑出来并进行加强，如图1中的

18、第16类。图6 典型的ART2结构。空心箭头指示特定的不知如何理解specific和nonspecific模式输入指向目标节点。实心箭头指示非特定的增益控制输入。增益控制中心（实心圆圈）根据STM向量的L2范数，按比例非特定地抑制目标节点式(5), (6), (9),(20)和(21)。当场F2激活第J个节点，g(yJ)=d，其它的节点g(yJ)=0。与ART1相同，增益控制（未显示）随着输入呈现的速率来协调STM处理。图给出了一个典型的ART结构。图和图的比较说明了ART1 和 ART2 网络的一些主要的差异。为了ART能在一个稳定的方式下匹配和学习一系列模拟输入模式，它的特征表达层F1包括

19、若干处理级和增益控制系统。自下而上的输入模式和自上而下的信号在F1层不同地点被接收。F1层的正反馈回路可以增强突出的特征和抑制噪音。虽然ART2中的F1比ART1中的更复杂，但ART2中的LTM方程组更简单。对特定的应用，如何对信号的功能和各种ART2结构的参数进行最佳选择，以对特定类别的模拟输入模式进行分类，是这个课题的研究方向。特别是，由于ART2体系结构是为了分类任意序列的模拟或数字输入模式，所以一个任意预处理器可连接到ART2结构的前端。利用这个特性，为不变量的识别和回忆，可以用激光雷达，边界分割，和不变滤波方法来设计一个自组织结构，对ART2的输入进行预处理。IV. ART 2设计原

20、则ART2结构满足了神经网络分析所确定的一套设计原则，可对任意序列的模拟输入模式实现的类别辨识。ART2系统已经发展到满足多个设计原则或处理约束，这些导致结构的突出特性。至少ART2结构三个变化已经确定能够满足这些约束。事实上，ART2分析的核心包括发现网络机制的不同组合如何一起合作，以产生想要的突出特征的特别组合。这就是为什么ART2结构的理论已被证明是非常有用的，因为它们揭示了哪些紧急属性多余，哪些在减少结构中丢失。在每个ART2结构中，归一化，增益控制，匹配和学习机制的组合，在大致相同的方式下相互交织。虽然具体的实现方法可能在一定程度上会有修改,在所有的ART2变形结构中，我们已经发现：

21、 场F1需要包括不同层次以接收和转换自下而上输入模式和自上而下的期望模式，还要一个中间神经元作为交互层，它被用来比较自下而上和自上而下的信息，并将结果反馈到场F1的底层和顶层。我们图6中F1的各层如何工作。其他ART2模型将在和Ref. 5中说明。我们现在开始说明ART2的设计原则。A.稳定性可塑性平衡对任意序列的模拟输入模式，一个ART2系统必须能够形成稳定的识别编码。由于一个ART系统的可塑性总是存在，同时输入模式提交的持续时间长度是任意的，所以STM的处理过程必须按这样一种方式进行：即新的输入模式的长时间的持续我理解是作为模拟网络（电路）的形式存在的特点，如果离散化的计算形式，这个过程会

22、弱化很多。（不撤离）不会抹去以往学习过的信息。Sec. XII显示了对图6中场F1的内部反馈回路的一部份进行移除或消融，可能导致一种不稳定，在这种不稳定状况下，其中在特殊的输入顺序中的单一输入，可能不停地在分类之间跳转一会分入这个类，一会被分入另一个类。B.搜索直接访问平衡在学习过程中，ART2系统采用并行搜索来控制适当识别编码的选择行为，但如对一个输入模式已非常熟悉，将自动脱钩搜索过程。此后，无论总的已知识别结构有多复杂，熟悉的输入模式直接存取其识别编码，就像在我们的生活不同阶段，我们都可以迅速认出我们的父母。尽管随着我们成长，我们学习了更多的东西。C.匹配重置 平衡一个ART2系统需要能够

23、解决几个潜在冲突特性，这些冲突特性可以被理解为在敏感的匹配需求和新代码形成之间的设计权衡的变形未理解。该系统一方面应能够对活跃的场F1的STM模式及从一个已建立类别输出的LTM模式之间任意小的差别进行识别并作出反应。尤其是，如果警戒值高，通过一个自下而上的输入样本建立的F1的STM模式，应该与自上而下（F2-F1）的期望模式几乎相同，以便使得该样本能够被已建立的类别接受。在另一方面，当一个未定型F2节点第一次被激活，它应能保持活跃，而不被重置，以便使它能够在这种是没有自上而下/自下而上的模式匹配的情况下，对它的第一次输入样本进行编码。Sec. IX说明了一个合理选择的ART2重置规则和LTM初

24、始值是如何共同工作，以满足这两个处理的需要。事实上，可以通过选择ART2参数来满足更一般的性能，（这些性能学习）提高系统对自下而上和自上而下的模式之间不匹配的灵敏度。D. 在读出匹配的LTM下的STM不变性关于匹配复位平衡的进一步讨论阐明了为什么场F1是由若干内部处理层组成的。假设在一个未定型F2的节点第一次激活之前，其由上而下的F2F1的LTM向量（迹）选择等于零。在该节点的第一个学习试验，其LTM向量将逐步学习由F1顶层产生的STM模式。如上所述，因为LTM向量以前没有学习过任何其他的模式，这种学习一定不会由于不匹配重置场F2。这个属性是通过设计场F1的底层和中层实现的，所以当底层和中层学

25、习了他们的第一个正值时，（即使）读出这些LTM向量，他们的STM活跃模式也根本不会改变。更普遍的，F1被设计成：当F2读出一个与F1顶层的STM模式完全匹配的以前学习过的LTM模式，它并不改变在F1底层和中层循环的STM模式。因此，在一个完美的匹配情况下，或在一个LTM值的零矢量得到了一个完美的匹配的情况下，在F1底层和中层的STM活跃模式保持不变;因此，不发生重置。这不变特性使F1底层和中层，在学习期间，在保持稳定的方式下，将输入模式进行非线性变换。特别是，在输入的噪音将被抑制时，输入模式得到了对比增强。如果一个自上而下的LTM模式的输出可能改变在F1各层的活跃底线？（它们执行这个变换），对

26、比增强和噪音抑制的程度可能改变，从而通过自上而下LTM向量产生一种新的STM模式。该STM不变特性防止一个完全匹配的LTM模式产生重置本小节强调的是F2层激活的节点是Uncommited或者是匹配的，才有STM不变（通过防止任何改变，发生在F1较低层的STM模式？）。ELTM输出和STM规一化共存STM不变性导致多个F1层的使用，因为相对没有信号的时候，当有自上向下的信号时，（是活跃的），（有自上而下LTM输出时），F1的节点收到额外输入。在规一化的STM模式与F1中层（在此处自上而下和自下而上信息是匹配的）相互影响之前，额外的F1各级为自上而下LTM的输出和在F1顶层STM模式的规一化提供足

27、够程度的计算自由细节未理解。以类似的方式，在规一化的STM模式能够影响F1中层之前，F1底层可以规一化输入模式。因此，场F1中相对独立的底层和顶层提供足够的计算自由度，以补偿在底线活动的波动。如果没有这种规一化，有用的模式的区别和乱真底线的波动之间的混乱，很容易颠覆匹配过程和导致错误的重置事件发生，从而破坏网络的搜索和学习过程。F. 超集输入，没有LTM重新编码虽然一个自上而下的LTM模式与F1的顶层STM模式完全匹配时，是不会导致F2的重置，但如果警戒值选得很高的话，这些模式中即使是一个很小的不匹配也足以重置F2。F1中间层在削弱STM的活跃性（引起重置事件发生）上起着关键作用。当一个或多个

28、但不是全部的自上而下LTM轨为零或很小的值，并且相应的F1节点有正的STM活跃性何谓positive STM activity时，才会出现这种导致重置的不匹配（的重要例子）。当这种情况发生时，这些F1的节点的STM活跃将被抑制。如果STM足够大而重置F2，网络将搜索更好的匹配。如果总的STM总的抑制没有大到足以重置F2，在随后的学习试验中这些节点的自上而下的LTM迹保持很小，因为他们抽样他们自己的小LTM值造成的小的STM值？。这个特性是2/3规则的一种版本，2/3规则已被用来证明一个ART1结构响应一个任意序列的二进制输入模式的学习的稳定性。它对ART2实现稳定学习（在响应一个任意序列的模拟输入模式）也是必要的（Sec. XII）。在ART 1的术语中，一个自下而上输入模式的超集不能重编码一个由上而下的期望子集。在ART 1中，这种特性通过有意识的增益控制通道获得（图2 ）。发展到ART 2版本，这部分已经被集成在F1的内部。这些设计的变化仍是后续研究的课题。匹配-重置平衡要求：只有调整子系统触发重置，才能够改变场F2被选择的节点。自上而下的F2至F1的LTM模式和循环F1的STM的模式之间的任何程度的不匹配，都要有这个属性（来实现重新选择F2节点）。因此，网络所有的实时模式处理操作（包括自上而下的F2至F1的反馈，场F1内（三层）的快速的动态的非线性反馈，和在学习