模拟输入模式的稳定类型识别编码的自组织网络

1、.：.；ART2: 模拟输入方式的稳定类型区别于类型会变化的？识别编码的自组织网络摘要：自顺应谐振体系构造是一种可以实时呼应恣意序列输入方式的，自组织地进展稳定方式编码的神经网络。本文引见了一种自顺应谐振体系构造ART2，对于恣意序列的模拟或二进制输入方式,这种构造能迅速自组织地进展方式识别并聚类。为了处置恣意序列模拟输入方式，ART2体系构造将问题的处理方案整理，并表达为一组设计原那么：如稳定性可塑性平衡，搜索直接存取平衡，以及匹配复位平衡。在这些体系构造中，自上而下学习期望和匹配机制在自稳定的编码过程中是至关重要的code learning了解为Self-coding,因此译为编码。随着学

2、习进程的开场,并行的搜索方案使ART2可以自我更新，并实现实时的假说建立、测试、学习和识别过程。经过学习自我稳定后，搜索过程可以自动脱钩，以后输入方式可直接访问他们的识别码而不需求再搜索搜索直接存取平衡。因此, 识别熟习的输入所用的时间不随学习编码的复杂性而添加。假设新的输入方式与已熟知类别的样本集合具有共同的不变的属性,那么它可以直接访问这一类别。警戒值参数那么决议了该分类的细致程度。假设由于环境反响,警惕性添加或减少，系统就会自动搜索并更细或更粗地进展识别分类。增益调理参数能使ART2抑制噪音到达一定程度。虽然ART2网络具有高度的非线性，其的全局性设计仍使它可以有效地学习。自顺应谐振体系

3、构造自顺应谐振体系构造是一种可以实时呼应恣意序列输入方式的，自组织地进展稳定方式编码的神经网络。在文1中,Grossberg提出了自顺应谐振实际的根本原理。在文2和3中，Carpenter和Grossberg用一组常微分方程描写了一类被命名为ART1的自顺应谐振构造。对于恣意序列的二进制输入方式，经证明的定理已能阐明ART 1 网络实时动态特性。这些定理预示了搜索的顺序可视为网络的学习过程的函数和渐近分类构造是有恣意序列的二进制输入模型自行组织的。这些定理也证明系统自稳定性能和阐明了该体系的顺应权重振动至多一次，而不会陷于伪存储形状或部分极小值。 本文引见了一类新的自顺应谐振构造，即所谓的AR

4、T2。对于恣意序列的模拟灰度级，延续值输入方式，以及二进制输入方式，ART 2网络可以自行组织，构成稳定的识别分类。本文将经过计算机仿真方法来阐明系统的动态特性.例如图1，它展现了一个典型的ART2网络，在每个样本只输入系一致次后，快速把一组五十个样本自行聚类成三十四个稳态的识别种类。每个数字下面的图例被ART 2聚类为一样类别。仿真系统方程式将在Secs.V-VIII中给出。ART网络经过修正衔接权重,也就是自下而上的自顺应过滤器第一个过滤器？的长期记忆系统LTM的迹，来对新的输入方式进展编码图2。这个过滤器包含在从特征表示场F1到类别表示场F2它们的节点经过协作与竞争的相互作用后的通道中。

5、这种自顺应过滤和竞争的结合，有时也被称为竞争学习，在许多其他类型的自顺应方式识别和相关学习中也存在。可参见Grossberg关于竞争学习方式开展的回想4。然而，在ART网络中，自上向下的自顺应过滤器(第2个过滤器)对编码自稳定性有着至关紧要的作用。这种自上而下自顺应信号在ART系统中扮演着对学习的期望值。它们能使系统引发留意启动，方式匹配，和自我调理的并行搜索。ART设计的关键点之一是对于恣意输入环境，必需有自上而下的留意和有意的机制(或称为期望)来保证自稳定的学习。像自下而上和自上而下的自顺应过滤器一样，场F1和F2 也包含在ART的留意子系统见图2 。当自下而上的F1层输入与自上而下的期望

6、值F2中激活类别所输出匹配失败时，调整子系统将被激活。在这种情况下，激活的调整子系统迅速地重置抑制F2层的激活类别。重置动作将自动引导留意子系统再次进展并行搜索。备选种类被一一测试，直到找到一个适当的匹配或建立一个新的类别。由于搜索战略在整个学习过程中是自顺应地更新的，搜索坚持有效如何做的？。相对学习速率，搜索过程更快。然而，只需当一个搜索终了和系统内部有一个匹配的F1方式共振时，自下而上和自上而下的自顺应过滤器才会出现显著的变化。图1所示的仿真中，在最初的50种输入中，有许多ART2系统进展了一次搜索过程。图1.50个模拟输入方式类别分组到34识别类 图2.一个典型的ART1构造自下向上自顺

7、应过滤、编码或假说的选择、自上向下的学习期望值的输出、匹配和代码复位的循环过程阐明，在ART系统中，自顺应方式识别是更为普通的认知过程发现，测试，搜索，学习，并证明假说的一个特例。在ART系统的运用中，对大型笼统的知识根底的自顺应处置是未来研讨的一个重要目的。现实上，ART系统的学习只发生在谐振形状，这使得系统处理可塑性与稳定性的平衡成为能够。可塑性，或称快速改动LTM轨迹的趋势，可以无限期地坚持完好是指可塑性永远存在？不会被饱和掉？，这使得ART体系构造可以学习以后不可预料的事件，直到耗掉一切的存储容量。在一个共振形状下学习，要么是基于输入方式能够含有的任何新的信息，对先前建立的编码进展更新

8、，要么是在未定型的节点中开场进展编码快速定型。举例说，假设在任何时间，将一个新的输入参与到图1所示的五十个输入集合，该系统将搜索已建立的类别。能够在最初的搜索周期中，就找到了匹配的方式，假设有必要，表征类别的LTM向量将被更新，以纳入新方式。假设没有找到匹配方式，在编码容量尚未用尽的情况下，系统会运用未定型的LTM向量trace我了解为LTM向量在不断学习过程中的变化轨迹。直接翻译不好了解对由输入建立的STM方式进展编码，从而建立一个新的类别。该体系构造的自顺应搜索，可发现和了解恰当的识别编码，而不会堕入在虚伪的记忆形状或部分最小值中。在其它的搜索方式，如搜索树，随着知编码变得越来越复杂，搜索

9、时间也会延伸。与之相反，在一个ART构造中，只需识别编码在被学习时，搜索才开场，而且随着学习的继续这种搜索坚持其效率我未能了解这个才干是如何表达的。以前学习的自稳定性，是经过读出一个被由上而下的期望值提供的动态缓冲来实现，而不是由关掉可塑性或限制只需某类被允许输入来完成。例如图1的仿真中，在50个输入方式学习一次后，学习曾经到达自稳定。普通说来，在一个ART构造中，对一个特定的识别种类，一旦学习曾经到达自稳定，搜索机制就自动脱钩了。以后对任何隶属于此类别的输入，不需求进展搜索，就可以高速和可以直接地激活或访问类别信息。在一个ART构造中，输入方式和被选择的类别模板之间的匹配的规范是可以调整的。

10、匹配准那么是由控制调整子系统行为的警戒值参数所决议的。一切其他情况是一样的，高警惕对应更严厉的匹配规范，从而对输入集的聚类更为细致。低警戒值那么在F1层能容忍更大的自上而下的或自下而上的匹配误差，从而导致分类粗糙图3。此外，在每一个警戒值程度下，匹配的规范也可自行缩放根据特征的数量输入向量的长度、维数：假设输入方式非常复杂，少量特征的不匹配能够是可以容忍的，但假设输入本身特征量就不多，同样数目的特征不匹配那么会触发重置。图3. 较低的警惕意味着分组粗化.与图1一样的ART2网络将同样50个输入分为20个类别。例如,图1中的类别1和2被合并为类别1,类别14、15和32在这里被合并为类别10，类

11、别19-22被合并为类别13. 图4. 一种没有一个面向子系统的ART2模型学习分组.(a)将警戒值程度设置为0, 与图1、3一样的ART2网络将50个样本分为6个类别每个样本仅输入一次。没有了在不匹配时的重置功能，会出现短时分组。(b)在每个样本输入3次后，一个粗略但稳定的类别构培育曾经建立了。即使没有任何搜索，当警惕性低或调整子系统被移除时本段讨论的重点是移除调整子系统后，系统的行为，ART2也能建立一个合理的聚类构造图4 。不过在这种情况下，自上而下的学习期望值，经过产生留意焦点来缓冲忽然发生的代码文字和含义都没有了解，来全面担任编码的自稳定性。虽然在F1层自下而上和自上而下的方式不匹配

12、会减弱F1层的不匹配的特征，然而这种不匹配，在学习发生前，并不会引发在F2层寻觅一个更适宜的编码。这种学习将未被减弱的F1层的特征纳入到最初被选定的类别的识别编码中而不论不匹配的不犯。在这种情况下，编码在自稳定之前能够需求更多的输入实验。在早期的实验中，由于本来经过可变的警戒值实现的灵敏的匹配规范不在了，错误的分组能够会出现，例如图4a中第1类。虽然如此，自上而下的期望值能积极调理学习过程，以产生一个拥有可接受的属性的稳定的渐近编码。例如，虽然在图4a的例子中有最初的异常编码 ，图4b阐明经过三轮的输入，可以建立一个稳定的聚类构造，在图4a中在1种类的聚类错误得到了纠正将最初的并不类似的输入大

13、致分裂成单独的类别1和7。自上而下的学习期望和调整子系统不是ART网络在学习过程进展自动调控的独一手段。在F1和F2层留意增益控制留意找出位置也有利于这种活泼规那么sec. II 。增益控制被用来综合此处overall不好了解adjust overall sensitivity调整对样本输入的灵敏度，和协调各个具有分别的、异步功能的ART子系统。可以调整对图案化的输入和协调分开的整体敏感性。增益控制在图2中表示为圆形的实心点被填充的。ART 1: 二进制输入模型图2显示了一个典型的ART1网络的主要特点。留意子系统中延续的两级 F1和F2 ，对短期记忆STM的活泼方式进展编码。在F1和F 2之

14、间的每个自下而上或自上而下的途径包含了一个自顺应LTM向量，它会与在其途径中的信号的相乘。电路的其它部分调理这些STM和LTM计算过程。增益控制1的调制可以使F1层可以区分自下向上输入方式和自上而下的填装了解为从F2层经过选择得到的方式或模板方式，并能比较这些自下而上和自上而下的方式。特别是，自下向上的输入可以有认识地激活F2层；在没有自下而上的输入时，由上而下的期望值能有认识地强化或填装F1层; 根据2/3的规那么，自下而上和自上而下输入的结合是相匹配，该规那么在自下而上和自上而下的方式的交互作用下激活节点图5。因此，在自组织的ART系统下，意向性或知由上而下的期望的行动暗示了空间的逻辑匹配

15、规那么。Carpenter和Grossberg在文献3证明了在ART1呼应恣意序列的二进制输入方式时，2/3规那么匹配对于学习自稳定是必要的。当自下而上输入方式和自上而下的模板方式在F1中不匹配，根据警戒值规范，调整子系统给F2层一个重置波。重置波选择性地长期抑制被激活的F2层节点细胞，直至当前输入被移除。输入方式的偏移此处的offset，我了解为shut off的行为，这样比较容易解释这句话的意思终止了它在F1中的运算，并触发增益2的偏移量。增益2的偏移量引起F2层的STM记忆迅速衰变，从而F2层可以无偏向地对对下一个的输入方式进展编码。一个ART1系统完全可以由一个微分方程组定义，这个方程

16、组也决议STM和LTM对一个恣意时间序列的二进制输入的动态呼应。描写这些动态特性的定理曾经在快速学习的条件下得到证明，这里，为了使LTM轨迹接近平衡值，每个样本的实验时间必需足够长。ART 1的变形构造具有类似的动态特性。因此，术语ART1是指一族或一类功能上等效的构造，而不是单个模型。图5 搜索一个正确的F2编码。a当不明确地激活A,输入方式I在F1层产生一个明确的STM激活方式X，方式X抑制A的同时，产生一个输出信号S，S转变成T，T在F2层激活STM方式Y。b方式Y产生一个自上而下的方式U，它转化为模板方式V。假设V与F1层的方式I不匹配，在F1产生一个新的STM激活方式X*，在X转化为

17、X*时产生的总活泼度减少会导致F1层对A的抑制造用减弱。cA在输入方式作用下的行为会释放一个不明确的激活波到F2层，它将重置F2层的STM方式Y。d当Y被抑制，其自上而下的模板被消除，这样F1层的X方式被恢复，又产生一个方式T到F2层，但此时方式Y被抑制，T会激活另外一个F2层STM方式Y*,假设由Y*产生的自上而下的模板还是与I不匹配，搜索F2层适宜编码的过程继续进展。ART2:模拟输入模型ART2体系构造是为处置模拟也可以是二进制输入方式而设计的。一个为模拟输入设计的种类代表系统，要可以把堕入在各种噪声背景里的近似信号挑出来并进展加强，如图1中的第16类。图6 典型的ART2构造。空心箭头

18、指示特定的不知如何了解specific和nonspecific方式输入指向目的节点。实心箭头指示非特定的增益控制输入。增益控制中心实心圆圈根据STM向量的L2范数，按比例非特定地抑制目的节点式(5), (6), (9),(20)和(21)。当场F2激活第J个节点，g(yJ)=d，其它的节点g(yJ)=0。与ART1一样，增益控制未显示随着输入呈现的速率来协调STM处置。图给出了一个典型的ART构造。图和图的比较阐明了ART1 和 ART2 网络的一些主要的差别。为了ART能在一个稳定的方式下匹配和学习一系列模拟输入方式，它的特征表达层F1包括假设干处置级和增益控制系统。自下而上的输入方式和自上

19、而下的信号在F1层不同地点被接纳。F1层的正反响回路可以加强突出的特征和抑制噪音。虽然ART2中的F1比ART1中的更复杂，但ART2中的LTM方程组更简单。对特定的运用，如何对信号的功能和各种ART2构造的参数进展最正确选择，以对特定类别的模拟输入方式进展分类，是这个课题的研讨方向。特别是，由于ART2体系构造是为了分类恣意序列的模拟或数字输入方式，所以一个恣意预处置器可衔接到ART2构造的前端。利用这个特性，为不变量的识别和回想，可以用激光雷达，边境分割，和不变滤波方法来设计一个自组织构造，对ART2的输入进展预处置。ART 2设计原那么ART2构造满足了神经网络分析所确定的一套设计原那么

20、，可对恣意序列的模拟输入方式实现的类别辨识。ART2系统曾经开展到满足多个设计原那么或处置约束，这些导致构造的突出特性。至少ART2构造三个变化曾经确定可以满足这些约束。现实上，ART2分析的中心包括发现网络机制的不同组合如何一同协作，以产生想要的突出特征的特别组合。这就是为什么ART2构造的实际已被证明是非常有用的，由于它们提示了哪些紧急属性多余，哪些在减少构造中丧失。在每个ART2构造中，归一化，增益控制，匹配和学习机制的组合，在大致一样的方式下相互交错。虽然详细的实现方法能够在一定程度上会有修正,在一切的ART2变形构造中，我们曾经发现： 场F1需求包括不同层次以接纳和转换自下而上输入方

21、式和自上而下的期望方式，还要一个中间神经元作为交互层，它被用来比较自下而上和自上而下的信息，并将结果反响到场F1的底层和顶层。我们将在Secs.IX-XII中阐明图6中F1的各层如何任务。其他ART2模型将在Sec.XIII和Ref. 5中阐明。我们如今开场阐明ART2的设计原那么。A.稳定性可塑性平衡对恣意序列的模拟输入方式，一个ART2系统必需可以构成稳定的识别编码。由于一个ART系统的可塑性总是存在，同时输入方式提交的继续时间长度是恣意的，所以STM的处置过程必需按这样一种方式进展：即新的输入方式的长时间的继续我了解是作为模拟网络电路的方式存在的特点，假设离散化的计算方式，这个过程会弱化

22、很多。不撤离不会抹去以往学习过的信息。Sec. XII显示了对图6中场F1的内部反响回路的一部份进展移除或消融，能够导致一种不稳定，在这种不稳定情况下，其中在特殊的输入顺序中的单一输入，能够不停地在分类之间跳转一会分入这个类，一会被分入另一个类。B.搜索直接访问平衡在学习过程中，ART2系统采用并行搜索来控制适当识别编码的选择行为，但如对一个输入方式已非常熟习，将自动脱钩搜索过程。以后，无论总的知识别构造有多复杂，熟习的输入方式直接存取其识别编码，就像在我们的生活不同阶段，我们都可以迅速认出我们的父母。虽然随着我们生长，我们学习了更多的东西。C.匹配重置 平衡一个ART2系统需求可以处理几个潜

23、在冲突特性，这些冲突特性可以被了解为在敏感的匹配需求和新代码构成之间的设计权衡的变形未了解。该系一致方面应可以对活泼的场F1的STM方式及从一个已建立类别输出的LTM方式之间恣意小的差别进展识别并作出反响。尤其是，假设警戒值高，经过一个自下而上的输入样本建立的F1的STM方式，应该与自上而下F2-F1的期望方式几乎一样，以便使得该样本可以被已建立的类别接受。在另一方面，当一个未定型F2节点第一次被激活，它应能坚持活泼，而不被重置，以便使它可以在这种是没有自上而下/自下而上的方式匹配的情况下，对它的第一次输入样本进展编码。Sec. IX阐明了一个合理选择的ART2重置规那么和LTM初始值是如何共

24、同任务，以满足这两个处置的需求。现实上，可以经过选择ART2参数来满足更普通的性能，这些性能学习提高系统对自下而上和自上而下的方式之间不匹配的灵敏度。D. 在读出匹配的LTM下的STM不变性关于匹配复位平衡的进一步讨论阐明了为什么场F1是由假设干内部处置层组成的。假设在一个未定型F2的节点第一次激活之前，其由上而下的F2F1的LTM向量迹选择等于零。在该节点的第一个学习实验，其LTM向量将逐渐学习由F1顶层产生的STM方式。如上所述，由于LTM向量以前没有学习过任何其他的方式，这种学习一定不会由于不匹配重置场F2。这个属性是经过设计场F1的底层和中层实现的，所以当底层和中层学习了他们的第一个正

25、值时，即使读出这些LTM向量，他们的STM活泼方式也根本不会改动。更普遍的，F1被设计成：当F2读出一个与F1顶层的STM方式完全匹配的以前学习过的LTM方式，它并不改动在F1底层和中层循环的STM方式。因此，在一个完美的匹配情况下，或在一个LTM值的零矢量得到了一个完美的匹配的情况下，在F1底层和中层的STM活泼方式坚持不变;因此，不发生重置。这不变特性使F1底层和中层，在学习期间，在坚持稳定的方式下，将输入方式进展非线性变换。特别是，在输入的噪音将被抑制时，输入方式得到了对比加强。假设一个自上而下的LTM方式的输出能够改动在F1各层的活泼底线？它们执行这个变换，对比加强和噪音抑制的程度能够

26、改动，从而经过自上而下LTM向量产生一种新的STM方式。该STM不变特性防止一个完全匹配的LTM方式产生重置本小节强调的是F2层激活的节点是Uncommited或者是匹配的，才有STM不变经过防止任何改动，发生在F1较低层的STM方式？。ELTM输出和STM规一化共存STM不变性导致多个F1层的运用，由于相对没有信号的时候，当有自上向下的信号时，是活泼的，有自上而下LTM输出时，F1的节点收到额外输入。在规一化的STM方式与F1中层在此处自上而下和自下而上信息是匹配的相互影响之前，额外的F1各级为自上而下LTM的输出和在F1顶层STM方式的规一化提供足够程度的计算自在细节未了解。以类似的方式，

27、在规一化的STM方式可以影响F1中层之前，F1底层可以规一化输入方式。因此，场F1中相对独立的底层和顶层提供足够的计算自在度，以补偿在底线活动的动摇。假设没有这种规一化，有用的方式的区别和乱真底线的动摇之间的混乱，很容易颠覆匹配过程和导致错误的重置事件发生，从而破坏网络的搜索和学习过程。F. 超集输入，没有LTM重新编码虽然一个自上而下的LTM方式与F1的顶层STM方式完全匹配时，是不会导致F2的重置，但假设警戒值选得很高的话，这些方式中即使是一个很小的不匹配也足以重置F2。F1中间层在减弱STM的活泼性引起重置事件发生上起着关键作用。当一个或多个但不是全部的自上而下LTM轨为零或很小的值，并

28、且相应的F1节点有正的STM活泼性何谓positive STM activity时，才会出现这种导致重置的不匹配的重要例子。当这种情况发生时，这些F1的节点的STM活泼将被抑制。假设STM足够大而重置F2，网络将搜索更好的匹配。假设总的STM总的抑制没有大到足以重置F2，在随后的学习实验中这些节点的自上而下的LTM迹坚持很小，由于他们抽样他们本人的小LTM值呵斥的小的STM值？。这个特性是2/3规那么的一种版本，2/3规那么已被用来证明一个ART1构造呼应一个恣意序列的二进制输入方式的学习的稳定性。它对ART2实现稳定学习在呼应一个恣意序列的模拟输入方式也是必要的Sec. XII。在ART 1的术语中，一个自下而上输入方式的超集不能重编码一个由上而下的期望子集。在ART 1中，这种特性经过有认识的增益控制通道获得图2 。开展到ART 2版本，这部分曾经被集成在F1的内部。这些设计的变化仍是后续研讨的课题。G.稳定的选择直到重置匹配-重置平衡要求：只需调整子系统触发重置，才可以改动场F2被选择的节点。自上而下的F2至F1的LTM方式和循环F1的STM的方式之间的任何程度的不匹配，都要有这个属性来实现重新选择F2节点。因此，网络一切的实时方式处置操作包括自上而下的F2至F1的反响，场F1内三层的快速的动态的非