机器学习翻译

现代机器学习理论英文文献翻译文献名：DeterministicLearningandRapidDynamicalPatternRecognition学院：电子工程学院专业：电路与系统学号：学生姓名：确定性学习及快速动态模式识别摘要时变或动态模式识别是最困难的模式识别任务中的一种。本文基于近来得到确实定性学习理论的成果，提出一种用于快速的动态模式识别确实定性结构。第一，通过确定性学习，一个随着时间变化的动态模式可以有效的以时间和空间分布的方式表示出来；第二，基于动态模式固有的系统动态学，给出了动态模式的特征相似性的定义；第三，提出了一种快速的动态模式识别机制，如果通过一种内部的在系统动态学上的动态匹配能够到达状态同步，那么一个测试动态模式可以通过该机制以类似于训练动态模式的方式得到验证。该同步错误可以视为测试模式和训练模式的相似度的衡量。本文最重要的是提出了一种完整的动态方法，通过这种方法，将动态模式识别问题转化为识别过失系统的稳定性和收敛性问题。仿真研究用来说明所提出的方法的有效性。索引：确定性学习，动态模式识别，表示，相似性，同步性一.绪论人们通常很擅长识别时变模式，人们对时变模式的识别是一种集成过程，在此过程中，随时间推移的信息模式可以被有效地验证、表示、识别和分类。人类识别过程的一个显著特点是，它从感知时变模式这一开始就能够迅速进行，而且时变模式可以直接在输入空间上进行处理并用于特征提取和模式匹配[10]。这些识别机制，尽管还没有得到充分肯定，但是很可能不同于现存的神经网络和其他模式识别的统计方法。至今，在静态模式识别中已经取得了很大的成绩(如[7]–[9],和[19]–[21])，但是快速时变模式识别方面仅仅取得了有限的成绩。时空模式分类的一个早期成果是Grossberg’s正式雪崩结构[28]。时变模式处理的一个很常见的方法就是构造短期储存模型〔STM〕，包括延迟线[33]、衰变轨迹[30][34]和指数内核[31]。这些短期储存模型然后被嵌入到不同的神经网络架构上。例如，结合多层感知器与延迟线模型提出时延神经网络[33]，在这种短期储存模型中，时变模式用一个模式状态序列来表述，并且时变模式的识别与静态模式的识别很类似。另一方面，已经得到证实的是：反应或者周期性神经网络才是更加自然的去处理时变模式的典型结构[29][32][35][36]。一般意义上来讲，时变模式识别的一个重要问题在于如何恰当的表示随时间变化的模式。时域编码和典型的神经表示方法的使用，近来己成为神经系统科学及相关领域的一个重要话题(参见[11]中的例子)。在所有该领域中未解决的问题中，一个最根本的问题是如何以时间独立的方式将时变模式表示出来，另外一个当前正研究的重要问题是如何定义两个时变模式之间的相似度，这存在困难，原因在于，当我们考虑参数发生变化、存在噪声和干扰等因素时，那就与仅考虑两个时变模式时的情况大不相同。当由于时变模式是随着时间发生变化的，所以已形成的那种对静态模式的相似度的衡量方式，可能并不适合时变模式。鉴于上述原因，在现在的一些文献中已经列出了一些诸如对时变模式的有效性表示、标准相似度定义和快速识别等成果。本文我们研究一类时变模式的识别，该类时变模式被称为动态模式，它是由一般非线性动态系统所产生：〔1〕其中是系统状态，且，是一个系统参数向量，表示系统动态学，每一个是一个未知的、连续的非线性函数。一个动态模式被定义为由上述动态系统所产生的周期动态轨迹。这类周期轨迹包括定期、准周期、几乎周期以及混沌轨迹，他们涵盖了由非线性动态系统所产生的最重要的轨迹类型〔尽管不是所有类型〕〔参见[24]中的周期轨迹的严格定义〕。非线性动态系统理论应用于各种领域内的动态模式的形成，这些领域包括：流体力学，海洋学，气象学，生物地貌以及半导体[25][26][27]。换句话说，非线性动态系统能够形成各种不同类型的动态模式。因此前面所定义的动态模式覆盖了文献中所研究的时变模式的一大类。动态模式的一般识别过程通常由两阶段组成：认证阶段和识别阶段。在这里，“认证阶段”就是要涉及得到一个模式的最根本特征，通过这些特征还不能识别，而“识别阶段”那么意味着观察模式并且验证它与我们之前看到的某个模式完全相同或极其相似。针对动态模式的认证阶段，我们为非线性动态系统提出了确定性学习理论[23][38]，通过该理论，我们对动态模式的底层系统动态学做了局部精准的神经网络逼近，而该逼近方法我们可以使用局部径向基函数〔RBF〕神经网络得到。通过确定性学习，就可以得到动态模式的根本信息并将它作为常量径向基函数神经网络权重储存起来。本文基于确定性学习理论，为有效性表示、相似度定义和快速动态模式识别提出了一个统一确实定性机制。我们首先提出，通过使用确定性学习得到的常量径向基函数神经网络，随时间变化的动态模式就能够被系统动态学的局部精准神经网络近似有效地表述。这种表述是时不变的，也就是说独立于时间属性的，并且是空间分布式的，因此将底层信息及动态模式的状态轨迹一起储存在一系列的分布式神经元中。因此，模式状态和底层系统动态学的完整信息被用来恰当的表示动态模式。空间分布式信息说明，使用有限个提取的特征〔例如在静态模式识别〕的表示很可能是对动态模式的不完整表示，它还说明这种表示是相似度定义和快速动态模式识别的根底。第二，给出了基于系统动态学的动态模式的相似度的定义。从非线性动态系统的定性分析中可以看出，我们可以将两个动态行为之间的相似度理解为两个动态系统拓扑等价程度(参加[24]有更多的讨论)。这就暗示着，动态模式的相似度由它内部的系统动态学的相似度决定。因此，本文我们基于系统动态学和模式状态的信息提出了动态模式的形似度的定义：如果1〕模式A的状态保持在模式B的状态的一个局部区域内，或者2〕沿着模式A的状态轨迹相应于两个模式状态的系统动态学之间的差异很小，那么我们可以认为动态模式A相似于动态模式B。可以看出，相似度定义与动态模式的时间属性无关。第三，我们研究快速动态模式是别的机制。为了能由训练动态模式集得到测试动态模式的识别，一个可行的方法就是将测试动态模式的系统动态学验证到一个常量径向基函数神经网络〔正如训练动态模式通过确定性学习的操作那样〕，然后将它的系统动态学与训练动态模式的系统动态学做比拟。这种方法存在的一个问题在于对系统动态学的神经网络逼近的比拟需要在时间上是可计算的。对测试动态模式的快速识别，最好是无需再次验证系统动态学，并且要尽可能防止复杂计算，而是简单、快速的识别。基于时不变表示和相似度定义，我们提出一种用于快速动态模式识别的方法。构造一个动态模式集来替代训练动态模式，在认证阶段所产生的此集合的常量径向基函数神经网络将被嵌入。常量径向基函数神经网络能够迅速的调用已学习到的知识，而这些知识是通过精确逼近一个训练动态模式之前学习的系统动态学得到的。当一个测试模式表述为一个动态模式时就会产生一个识别错误系统，该系统由产生测试模式的系统和对应于训练模式的动态模式组成。如果没有测试模式的系统动态学的认证，同时没有对借助于数值计算得到的相应的动态模式的系统动态学的比拟，那么在识别过失系统中将进行一种对测试模式和训练模式的系统动态学的内部的动态匹配，状态同步性错误与系统动态学存在局部差异也将得到近似证明。因而，同步性错误别视为对测试动态模式和训练动态模式之间的相似度的衡量，如果某个动态模式的状态及其接近的同步于测试动态模式的状态，那么可得出结论：该测试动态模式被识别为与某个训练模式相似。本文的重要性也就是它的新颖之处就在于，在没有使用短期储存模型的情况下提出一种时变、动态模式识别的动态结构。与以Grossberg与他的同事所作的工作为例的其他许多在反应神经网路的稳定性和收敛性分析方面的成果相比[29][32]，我们在本文中从自适应控制和动态系统方面使用了更加先进的概念和理论，如持续鼓励条件、周期性轨迹和拓扑等价等。特别地，1)在周期性轨迹满足持续鼓励条件下，通过确定性学习，可以将一个时变的动态模式以时不变的方式表示出来；2〕基于两个动态模式的系统动态学之间的差异，使用拓扑等价概念可以给出动态模式相似度的定义。此外，一个测试动态模式的快速识别的问题被转化为时变过失系统的稳定性和同步性的问题，这样一来，表示和相似度的定义都以动态方式出现。可以看出，对一个测试动态模式的快速识别发生在测试模式的状态的测量之初，并且随着识别过失系统的变化而变化，他并不需要任何的有关模式匹配和特征提取的数值计算〔而在现存的静态模式识别方法中一般都是需要的〕。这种明确给出相似度衡量的识别机制，通过使用诸如最小距离或最近邻分类等自觉识别机理[8]，可以进一步的得到模式识别系统的结构。这种结构化的识别系统能够通过使用不同的权重来区分和分类动态模式，并且依据系统动态学的相似度将动态模式分配到预定义的类中。本文中我们总假定可以得到所有系统状态的精确测量，然而实际中并不是这样，因此，在那种在噪声环境下的只有局部状态可以测量，甚至仅有一个单独的输出可以测量的情形下开展这个工作具有很重要的意义，使用可变神经网络来考虑局部可测量状态下的动态模式的学习与识别也是很有必要的〔参见[37]中的例子〕。由于空间有限，所以本文中并没有在这方面做进一步的探讨，本文其他局部安排如下。第二局部介绍了确定性学习理论，第三局部讨论了动态模式的表示和相似度，第四局部研究快速动态模式的识别机制，同时，第三、第四局部还包括一些仿真结果，第五局部是论文总结。二.动态模式的认证在这一局部，我们对文献[23]和[38]中得出确实定性学习理论做一下简单的表述。确定性学习理论最近被提出来用于周期性的非线性动态系统的认证，通过使用局部径向基函数神经网络，证明了满足偏重持续鼓励条件，即满足沿着周期性系统轨迹的径向基函数构造确实定衰减子向量的持续鼓励条件，这种偏重持续鼓励条件使得认证过失系统沿周期系统轨迹呈指数稳定性。因此，在周期系统轨迹的局部区域内，能够得到系统动态学的精准神经网络逼近。因为这种学习机制是通过使用自适应控制和动态系统的概念和理论形成的〔如[1][2][24]中的例子〕，而非对静态原理得来的算法，因此也就有了与著名的静态学习相对的“确定性学习”。这种确定性学习理论是训练动态模式的系统动态学认证的根本理论。考虑一个非线性动态系统〔1〕，假设从初始条件开始，〔1〕产生一个周期或近似周期的系统轨迹，该系统轨迹被视为一个动态模式，在本文中简记为或，时变系统状态为动态模式的状态，从非线性系统研究〔如[22]中的例子〕知道，不同的，不同的，得到不同的动态模式。[23]中确定性学习的目的在于构成神经系统认证器，该认证器应用神经网络能够精确认证动态模式的动态学。动态局部RBF神经网络下面的动态RBF神经网络被用作〔1〕的认证：〔2〕其中是动态RBF神经网络的状态向量，是〔1〕的状态，是一个对角矩阵，为设置常数，是局部RBF神经网络，用来逼近〔1〕中未知的。局部RBF神经网络的应用原因在于它具有以下的性质[23]。线性参数形式。RBF神经网络属于一类线性参数化的神经网络，可以表述为以下形式：〔3〕其中是输入向量，是权向量，是神经网络节点个数，，是RBFs。常用的RBFs包括Gaussian函数和翻转的Hardy配点函数，他们都是局部基函数，当时有意义[6]。全局近似。在[6]中展示了对任意的连续函数，其中是一个紧集合，和神经网络近似数〔3〕〔节点个数足够大〕，都存在一个理想的常数权向量，这里，对每一个，〔4〕其中〔今后被简化为〕。此外，在[13]中说明，在上以规那么晶格为中心的Gaussian节点的数目为有限长〔也为做够大〕时，并且方差固定的Gaussian神经网络，在由〔4〕确定的任意可选范围内都能够一致近似于一个平滑函数。空间局部化学习。对局部RBF神经网络，空间局部学习能力说明，对紧集合内的任意的点，或者任意的边界轨迹，使用该点的邻域内或者沿该轨迹的局部区域内的有限个神经元可以将近似。〔5〕其中，是一个很小的正常数，，并且是近似误差，很小，可以看出，是的一个降维子向量。偏重持续鼓励条件的满足。持续鼓励条件在自适应系统是个很重要的概念[1][2]，标量形式的持续鼓励条件的定义如下。定义1：一个分段连续、均匀有界的向量函数据说满足持续鼓励条件，当存在正常数，和，使得〔6〕对所有的单位向量。对非线性系统的认证，很难得到持续鼓励的特征和先验验证。依据近来持续鼓励条件方面的成果[3][4][5]，我们将很明确的知道，对任何周期性轨迹[23]，只要它在规那么晶格内的长度足够长，就能够成为一个由中心位于的邻域内的RBFs组成的降维子向量的持续鼓励，查看文献[38]可以看到更详细的分析。引理1：[23]中考虑的都是一个周期或近似周期轨迹，假定在紧集合中是一个连续映射，并且在中有界，那么对局部RBF神经网络，中心位于规那么晶格内时，在〔5〕中定义的降维子向量，在〔6〕有意义的条件下是持续鼓励。幂指数稳定性和精确认证〔2〕中的权估计通过基于Lyapunov的学习法那么得到更新，〔7〕其中，，是的估计，，，且是一个很小的值。沿着状态轨迹，认证过失系统由非线性动态系统〔1〕、动态RBF神经网络〔2〕和神经网络权重学习法那么〔7〕组成，被表示为：〔8〕〔9〕其中下标和分别代表沿轨迹方向的趋近区域和远离区域，是的子向量，是相应的权子向量，靠近。因为引理1保证了的持续鼓励条件，依据[1]中给出的稳定性结果，我们可以使得系统〔8〕的标称局部在时到达幂指数稳定性。因此，由状态过失和参数过失可以得出在零周围的一些小的邻域内幂指数收敛，邻域的大小由和决定。收敛指的是收敛于的邻域，沿着轨迹，我们有〔10〕其中接近于和。另一方面，应用了RBFs的局部性质，我们可以得出，沿着轨迹整个RBF神经网络可以近似未知的为〔11〕其中，比接近于和。由于收敛，使用〔12〕其中，表示一段过程后的时间段，我们可以得到一个常神经网络权重向量。从〔10〕中可以看出，使用常RBF神经网络权重，沿着轨迹的系统动态学可以表示为〔13〕其中是的子向量，且很小且接近于。此外，应用了RBF神经网络的局部性质，由〔11〕我们可得到〔14〕其中很小且接近于。这样就得到定理1。定理1：文献[23]中考虑的认证过失系统〔8〕和〔9〕，他们由非线性动态系统〔1〕、动态RBF神经网络〔2〕和NN权重更新法那么〔7〕组成。对任意一个周期轨迹，当从初始条件为和初始值为的初始状态出发，如〔8〕式给出的神经网络权重在它们的最优值的很小的邻域内收敛，并且沿着状态轨迹可以得到未知的的局部精确NN近似值。注释1：注意在非线性认证系统文献中〔参见[14][17][18]中的例子〕，已经得到了状态的精确跟踪方法，但是，对底层系统动态学建模的问题并没有得到进一步的研究。尽管在文献[5]及[13]--[16]中的例子里已经得到了基于Lyapunov的学习法那么〔7〕，但是由于很难满足持续鼓励条件，至今NN认证文献里都没能得到动态学的精确近似。当满足〔引理1建立的〕的偏重持续鼓励条件时，在定理1中严格证明了系统动态学的局部精确NN近似的存在，而该局部精确认证是在充分利用与局部RBF神经网络有关，尤其是关于持续鼓励条件方面的性质得到的。注释2：周期性轨迹表示的是由非线性系统产生的一大类行为，和与此相应的各种动态模式，这些模式包括周期、准周期、近似周期及他们的混合[24]。周期性轨迹满足持续鼓励条件使得各种动态模式的底层系统动态学得以精确认证。三.表示及相似度在静态模式识别中，一个模式通常是一个向量或矩阵表示的时不变观测结果的集合。通过使用显著的特征集使得向量或矩阵表示的位数尽可能的小，这样做的目的是减少冗余信息和改善分类性能，例如，在静态模式识别中，用个特征或维特征向量来表示一个模式，得到一个维特征空间，当维特征空间被划分为紧集合和非紧集合区域时，紧接着要完成识别和分类任务，并且要在特征空间中找到一条决定边界线，该线用于将不同区域划分为不同类的模式[8][9]。对动态模式，由于所测量结果是时变的，因此以前的静态模式识别结构不适合于动态模式的表示。由文献[10]说明，如果不能够恰当的处理时间属性，独立于时间的表示方法所存在的分辨能力和分类精确度的丧失问题将成为时变或动态模式识别的一个难题。此外，如果不能恰当的表示动态模式，如何定义两个动态模式间的相似度的问题将成为另外一个难题。A．时不变和空间分布式表示在第二局部介绍了，沿着一个动态模式的周期性轨迹，该动态模式的系统动态学在一个局部区域内近似为。常RBF神经网络由两种类型的神经网络权重组成：1〕对那些中心靠近轨迹的神经元，它们的权重在一个很小的邻域内幂指数收敛于它们的最优值；2〕对那些中心远离轨迹的神经元，它们的权重保持不变，例如，近似为零。因此，对整个RBF神经网络的所有神经元都能获得常神经网络权重，从而我们能定理1和〔13〕、〔14〕得到对一个动态模式的如下表示方法。1〕使用常RBF神经网络，可以得到动态模式的表示，它是用一个时不变的系统动态学来NN近似。这种基于从动态模式上提取的根本信息的表示方法是不依赖与时间属性，该NN近似仅在沿着轨迹的局部区域内是精确的〔正如表示一样〕，这种局部精确NN近似提供应我们有效解决时变动态模式的表示方法。2〕表示是空间分布式的，即相关的信息被存放在沿着一个动态系统的状态轨迹分布的大量神经元中，这说明采用合理的动态模式表示，将用到所有的模式状态和底层系统动态学的完整信息，特别地，使用动态模式的状态轨迹的信息〔起始于某个初始条件〕和沿着该状态轨迹的底层系统状态学来表示一个动态模式。很容易想到，空间分布式信息说明使用有限个提取的特征来表示动态模式在很多情形是不完整的。对局部精准NN近似方法，局部区域定义为〔15〕其中，和的常数，是近似误差，在内接近于。这些知识被储存在中，并在NN输入落入区域内时，被RBF神经网络调用来准确近似之前学到的系统动态学。注意用表示并不会直接用来识别，例如，直接比拟对应的神经网络权重来识别。相反，对一个训练动态模式，我们使用构造一个冬天模型〔16〕其中，是动态模型的状态，是一个由〔1〕生成的输入模式的状态，是通过确定性学习所获得的常RBF神经网络，是一个对角矩阵，且一般小于〔由〔2〕式给出〕。很显然动态模式的表示完全不同于静态模式的表示。将在第四局部做一详细论述，〔16〕式所示的动态模型将替代训练动态模式来快速识别测试动态模式。B．根本的相似度的衡量在模式识别领域里，时变或动态模式间的特征相似度是另外一个相当重要的问题。我们知道已经有很对静态模式的相似度的定义，它们中的大多数都是基于距离的，例如，基于Euclidean距离，Manhattan距离以及Cosine距离[9]。为了定义两个动态模式的相似度，已经形成的对静态模式的相似度定义可能并不适合。动态模式与时间有关，并且会受到初始条件的影响，系统参数也会影响动态模式的产生。为了具体说明，我们来考虑一个动态模式〔由〔1〕式给出〕和另外一个动态模式〔表示为或〕，它由下述非线性动态系统产生〔17〕其中它的初始条件，系统参数向量和非线性向量场可能都不同于动态模式的。因为或〔或者〔1〕中的〕的微小变化都会引起的有大的改变，所以不可能仅仅使用模式的时变状态或从提取的有限个特征来创立动态模式和之间的相似度。在非线性动态系统的定性分析中〔参见[24]中的例子〕，对两个动态行为间的相似度的理解在于两个动态系统的拓扑等价性。通过对非线性动态系统的研究很容易理解，动态模式的相似度是由它们的系统动态学的相似度所决定。因此，本文中我们提出了动态模式相似度的以下定义。定义2：动态模式〔〔17〕式给出〕与动态模式相似〔〔1〕式给出〕，当模式的状态在模式的状态的邻域内，且沿着模式的状态，对应的系统动态学的差异很小，如〔18〕其中，是两个动态模式的相似度的衡量。注释3：可以看出，前面定义的相似度与两个动态模式的状态和系统动态学有关，它是将基于如和两个模式的系统动态学的根本信息的，并且被定义为时变的。定义中用到了两个模式的状态信息，但是，并不需要两模式匹配在相位空间的状态〔确切的说〕，或者说它们是相同的，换句话说，相似度定义中没必要考虑动态模式的时间属性。在定义2中可以发现，尽管两个动态模式的状态是可以测量的，但是和的相似度却没法衡量。通过确定性学习，模式的系统动态学可以得到精确认证，并且可以被有效地表示为常RBF神经网络。基于这种学习，我们进一步的研究模式是如何识别为近似于模式的。结合〔15〕和〔18〕，当模式的状态局部区域内时，有〔19〕式中给出用和来表示模式和的系统动态学的差异。因此，我们有以下结论。定义3：动态模式〔〔17〕式给出〕被识别为近似于模式〔基于的认证〕，如果模式的状态在局部区域时〔〔15〕式定义〕，并且沿着模式的状态，如〔19〕式所描述的那样对应的系统动态学间的差异很小。注释4：注意在定义2和定义3中都用到了两个动态模式的系统动态学和状态的所有信息。不同于静态模式的相似度定义，模式相似于〔或者被识别为相似于〕模式不一定说明反过来也是正确的。换句话说，动态模式的初始条件对相似度的衡量来讲并不重要，因为动态模式的时间属性已经被有效去除了。〔19〕式中的模式的系统动态学不易得到，正如第四局部要讲的，定义3将用来对模式的快速识别中的相似度做一具体的衡量。C．仿真由Duffing振子〔参见[22]中的例子〕产生的两个动态模式表示为〔20〕其中，是状态，，，，和都是常数，系统动态学是一个未知的平滑的非线性函数，是一个周期项，它使得Duffing振子更有意义[22]，Duffing振子能够产生各种类型的动态行为，包括周期、准周期和非周期模式。周期模式和非周期模式〔在图1中，分别表示为和〕用来说明这局部的结果，周期模式由〔20〕式产生，其中初始条件，系统参数，，，及，非周期模式由除了外的相同系统参数的〔20〕式产生。下面的动态RBF神经网络是由〔2〕式稍加改良的结果，用于鉴别两个训练动态模式和〔21〕RBF神经网络建立在节点数，中心均匀分布在上，宽带为的规那么晶格上，RBF神经网络的权重根据式〔7〕更新，式〔21〕和〔7〕的设计参数为：，及，初始权重为。动态模式的相位特性如图2〔a〕，与之对应的系统动态学如图2〔b〕，通过确定性学习，动态模式的系统动态学能够被局部精确认证。根据定理1，可以得到一个闭环认证系统的指数收敛性，如〔的一个子向量〕的收敛性。如图2〔c〕可以看出，一些权估计〔那些中心靠近模式轨迹的神经元〕收敛于常数，而另外一些权估计〔那些中心远离模式轨迹的神经元〕那么几乎为零。沿着周期模式的轨迹，的局部精确NN近似如图2〔d〕和2〔e〕所示。在图2〔f〕中，动态模式被常RBF神经网络所替换，这是时不变的，基于系统动态学的根本信息的表示方法。它也属空间分布式的，即大量的神经元沿着动态模式轨迹分布。NN近似方法仅仅在周期模式的邻域内是精确地，没有研究模式轨迹的其他区域，没有进行学习，对应为图2〔f〕的零平面，即在未研究区域的较小的一个值。确实定性学习〔a〕为模式的相位特性，〔b〕为模式的系统动态学，〔c〕为偏重参数收敛，〔d〕为函数近似：“—”，“---”，及“…”，〔e〕沿模式轨迹的近似：“—”，“---”，及“…”，〔f〕用表示周期模式。类似的，考虑非周期模式，是由〔20〕式产生，初始条件为，系统参数为，，，及。如图3〔a〕和〔b〕，我们看到非周期模式的相位特性和系统动态学；图3〔c〕说明偏重参数收敛；如图3〔d〕和〔e〕，沿着模式的轨迹系统动态学局部精确近似；图3〔f〕为非周期模式的时不变表示。这说明，尽管非周期模式看似比周期模式复杂，但却有着与周期动态模式相同的表示方法。图3.非周期模式确实定性学习〔a〕为模式的相位特性，〔b〕为模式的系统动态学，〔c〕为偏重参数收敛，〔d〕为函数近似：“—”，“---”，及“…”，〔e〕沿模式轨迹的近似：“—”，“---”，及“…”，〔f〕用表示周期模式。四.快速动态模式识别这局部我们给出一个动态机制，通过它可以通过同步来实现动态模式的快速识别。A.提出问题考虑一个包含动态模式的训练集，第k个训练模式由下式产生〔22〕其中，是系统参数向量。正如第二局部给出的，系统动态学能够被精确认证并储存在常RBF神经网络中。将动态模式〔如〔17〕式给出〕作为一个测试模式，在测试模式的系统动态学还没有得到认证的情况下，识别问题就是在定义3的意义下，快速的找出那些与所给测试动态模式相似的训练模式，B．通过同步达快速识别下面，将给出如何得到动态模式的快速识别。使用时不变表示，可以构造出第k个训练模式的动态模型〔第三局部已给出〕为〔23〕其中，动态模型〔模板〕的状态，是由〔17〕式产生的一个输入测试模式的状态，是一个对角矩阵，且对所有的训练模式都相同，是一个不是很大的值。然后，对于测试模式和动态模型〔23〕〔训练模式〕，我们得到以下的识别过失系统：〔24〕其中，是状态追踪〔同步〕误差。注意如果没有认证测试模式的系统动态学，测试模式和训练模式的差异，如是不能通过直接计算得到的。然而，下面将给出系统动态学间的差异可以用来清楚地衡量。因此，如果动态模型〔23〕的状态很接近的跟踪〔或同步于〕动态模式的状态，例如当很小时，那么在定义3的意义下测试模式能够被识别为相似于训练模式。定理2给出了如何在一个动态过程中通过同步性将一个测试动态模式快速识别。定理2：考虑对应于测试模式的识别过失系统〔24〕和训练模式的动态模型〔23〕。同步误差幂指数收敛于零的一个邻域，该邻域的大小正比于测试模式和训练模式的系统动态学间的差异。进而，测试模式被识别为近似于训练模式，当同步误差很小时，例如，当动态模型〔23〕的状态非常接近地跟踪测试模式的状态。证明：为了简化写法，下面的推导中我们省略上标。对识别过失系统〔24〕，考虑Lyapunov函数，它的导数是。注意〔25〕然后，我们有〔26〕记，那么〔26〕化为〔27〕由〔27〕我们有〔28〕那说明，对于已给定的，存在一个有限数T，对于所有的，状态跟踪误差将幂指数收敛于零的一个邻域，例如，，邻域的大小与成正比。当测试模式状态保持在对应于训练动态模式的局部区域内，如，可以如〔19〕式给出的表示在范围内，因此，将幂指数收敛于零的一个邻域，邻域的大小用如式给出，与成正比，与成反比。由于当训练模式得到精确认证时很小，也不大，〔对有限大的T〕正比于，因此，我们得出测试模式和训练模式的系统动态学之间的差异可以用来清楚地衡量，因此，也可是。于是，如果动态模型〔23〕的状态很接近地跟踪〔同步与〕测试模式的状态，例如，当很小时，那么在定义3的意义下测试模式被识别为近似于训练模式。注释5：很显然，通过系统动态学的内部匹配的同步性来到达动态模式的快速识别，为了从训练动态模式集合中识别出一个测试动态模式，同步过失自然被视为测试模式和训练模式间的相似度的衡量，识别问题也因此转变为识别过失系统〔24〕的稳定性和收敛性分析问题，识别那么随着识别过失系统〔24〕的变化自动进行。注释6：对一个测试动态模式的识别过程很迅速，原因是该识别过程从对测试模式的状态衡量开始就已经进行着了，时不变表示和相似度定义均以一种动态的方式出现在此识别过程中，这种表示、相似度定义和识别机制是本文提出的识别方法的三个重要组成局部。C．仿真为了验证第四局部的结果，将模式和模式看作两训练动态模式，使用第三局部得到的时不变表示，依据〔23〕式两个训练模式的动态模型构造为〔29〕其中是动态模型的状态，是由〔17〕式产生的一个测试模式的状态，是一个设计常数，且它不应该很大〔本文中〕。如图4所示为两个周期模式分别作为测试模式1和测试模式2。测试模式1由系统〔20〕产生，初始条件为，系统参数为，，，及，测试模式2除了以外，其它的初始条件和系统参数与模式1完全相同。图4.〔a〕测试模式1：相位特性；〔b〕测试模式1：时间响应；〔c〕测试模式2：相位特性；〔d〕测试模式2：时间响应。首先，考虑用训练模式1来识别测试模式1，从图5〔a〕中可以看出，训练模式1的动态模型的状态很接近的跟踪于测试模式1的状态，如图5〔b〕所示得到了状态同步且同步过失很小。因此，测试模式1被识别为近似于训练模式1。然后，用训练模式2来识别测试模式1，训练模式2的动态模型的状态也很接近的跟踪于测试模式1的状态，图5〔c〕和〔d〕分别为状态同步和同步过失，同时可以看到图5〔b〕中的同步过失小于5〔d〕中的过失，但是在测试模式1的两次识别中使用的是相同的，这说明测试模式1更相似于训练模式1而非训练模式2。图5.用训练模式1和2来识别测试模式1。〔a〕动态模型状态“—”和测试模式状态“---”；〔b〕同步过失；〔c〕动态模型状态“—”和测试模式状态“---”；〔d〕同步过失；类似的，在测试动态模式2的识别中，从图6〔a〕---〔d〕可以看出，测试模式2更相似于非周期训练模式2而不是周期训练模式1。另外可以看出，在很短的时间内就能得到快速状态同步，那说明测试模式能够很快的被识别与某个训练模式相似或不相似。图6.用训练模式1和2来识别测试模式2〔a〕动态模型状态“—”和测试模式状态“---”；〔b〕同步过失；〔c〕动态模型状态“—”和测试模式状态“---”；〔d〕同步过失；五．总结本文中我们提出了一种对动态模式的快速识别方法。该识别方法包括下面几局部：1〕一种对动态模式的时不变的、空间分布式的表示，2〕基于系统动态学的相似度衡量，3〕依据状态同步到达动态模式的快速识别机制。本文还给出了通过使用动态模式的状态轨迹和沿着状态轨迹的底层系统动态学的完整信息，能够有效地表示一个时变动态模式，基于所提出的对动态模式的相似度衡量方法，给出了一种动态模式的快速识别机制。在没有传统方法的特征提取的情况下，快速识别仍能够在动态识别过程中自动的进行，识别过程的结果，如同步过失，自然被视为测试模式与训练模式间的相似度的衡量。这种动态模式识别过程无需通过任何形式的数值计算来直接比拟测试模式和训练模式的状态或系统动态学。本文提出的方法与人们对时变模式的感知机理相符合，并且从动态学的角度给出了对自然感知系统的理解，同时还给出了一种新的信息处理模型，例如，一种连续、模拟的动态并行分布式处理方式。本文的结果有助于时变、动态模式的识别系统的进一步构建，特别地，可以使用许多动态模型〔如〔23〕式描述〕来构建识别系统。每一个动态模型表示一个训练动态模式，因为测试动态模式与训练动态模式间的相似度可以使用同步过失来衡量，因此可以使用最近邻分类算法——模式识别中普遍使用的一种分类算法来构建识别系统[8]。构建的系统不仅能够区分不同类的动态模式，还能够区分同一类所产生的不同动态模式集。目前的工作将沿着这个方向作进一步的扩展。致谢在此感谢G.Chen教授关于动态系统的讨论，C.-H.Wang教授关于模式识别的讨论，以及所有提出建设性的意见的匿名评审员和副编辑。参考文献[1]K.S.NarendraandA.M.Annaswamy,StableAdaptiveSystems.EnglewoodCliffs,NJ:Prentice-Hall,1989.[2]S.S.SastryandM.Bodson,AdaptiveControl:Stability,Convergence,andRobustness.EnglewoodCliff[3]D.Gorinevsky,“Onthepersistancyofexcitationinradialbasisfunctionnetworkidentificationofnonlinearsystems,”IEEETrans.NeuralNetw.,vol.6,no.5,pp.1237–1244,Sep.1995.[4]A.J.Kurdila,F.J.Narcowich,andJ.D.Ward,“Persistancyofexcitationinidentificationusingradialbasisfunctionapproximants,”SIAMJ.ControlOptim.,vol.33,no.2,pp.625–642,1995.[5]S.LuandT.Basar,“Robustnonlinearsystemidentificationusingneural-networkmodels,”IEEETrans.NeuralNetw.,vol.9,no.3,pp.407–429,May1998.[6]M.J.D.Powell,“Thetheoryofradialbasisfunctionapproximationin1990,”inAdvancesinNumericalAnalysisII:Wavelets,Subdivision,Algorithms,andRadialBasisFunctions,W.A.Light,Ed.London,U.K.:OxfordUniv.Press,1992,pp.105–210.[7]C.Bishop,NeuralNetworksforPatternRecognition.London,U.K.[8]A.K.Jain,R.P.W.Duin,andJ.Mao,“Statisticalpatternrecognition:Areview,”IEEETrans.PatternAnal.Mach.Intell.,vol.22,no.1,pp.4–37,Jan.2000.[9]A.R.Webb,StatisticalPatternRecognition,2nded.NewYork[10]E.Covey,H.L.Hawkins,andR.F.Port[11]D.L.Wang,W.J.Freeman,R.Kozma,A.G.Lozowski,andA.A.Mizai,Eds.,“Specialissueontemporalcodingforneuralinformationprocessing,”IEEETrans.NeuralNetw.,vol.15,no.5,Sep.2004.[12]T.vanGelderandR.Port,“It’sabouttime:Anoverviewofthedynamicalapproachtocognition,”inMindasMotion:ExplorationsintheDynamicsofCognition.Cambridge,[13]R.M.SannerandJ.E.Slotine,“Gaussiannetworksfordirectadaptivecontrol,”IEEETrans.NeuralNetw.,vol.3,no.6,pp.837–863,Nov.1992.[14]D.JiangandJ.Wang,“On-linelearningofdynamicalsystemsinthepresenceofmodelmismatchanddisturbances,”IEEETrans.NeuralNetw.,vol.11,no.6,pp.1272–1283,Nov.2000.[15]S.S.GeandC.Wang,“DirectadaptiveNNcontrolofaclassofnonlinearsystems,”IEEETrans.NeuralNetw.,vol.13,no.1,pp.214–221,Jan.2002.[16]J.Farrell,“Stabilityandapproximatorconvergenceinnonparametricnonlinearadaptivecontrol,”IEEETrans.NeuralNetw.,vol.9,no.5,pp.1008–1020,Sep.1998.[17]V.M.Becerraetal.,“Anefficientparameterizationofdynamicneuralnetworksfornonlinearsystemidentification,”IEEETrans.NeuralNetw.,vol.16,no.4,pp.983–988,Jul.2005.[18]S.A.BillingsandH.Wei,“Anewclassofwaveletnetworksfornonlinearsystemidentification,”IEEETrans.NeuralNetw.,vol.16,no.4,pp.862–874,Jul.2005.[19]S.Haykin,NeuralNetworks:AComprehensiveFoundation,2nded.EnglewoodCliffs,NJ:Prentice-Hall,1999.[20]B.Yegnanarayana,ArtificialNeuralNetworks.NewDelhi,[21]V.N.Vapnik,TheNatureofStatisticalLearningTheory,2nded.NewYork:Springer-Verlag,2000.[22]G.ChenandX.Dong,FromChaostoOrder:Methodologies,PerspectivesandApplications.Singapore:WorldScientific,1998.[23]C.Wang,D.J.Hill,andG.Chen,“Deterministiclearningofnonlineardynamicalsystems,”inProc.18thIEEEInt.Symp.Intell.Control,Houston,[24]L.P.Shilnikovetal.,MethodsofQualitativeTheoryinNonlinearDynamics.Singapore:WorldScientific,2001.[25]P.Ball,TheSelf-MadeTapestry:PatternFormationinNature.NewYork:[26]M.Golubitsky,D.Luss,andS.H.Strogatz,Eds.,PatternFormationinContinuousandCoupledSystems:ASurveyVolume.NewYork:Springer-Verlag,1999.[27]