神经网络ppt课件

1、第8章 Hopfield反响神经网络 内容安排内容安排8.1 8.1 霍普菲尔德网络模型霍普菲尔德网络模型 8.2 8.2 形状轨迹形状轨迹 8.3 8.3 离散型霍普菲尔德网络离散型霍普菲尔德网络DHNNDHNN 8.4 8.4 延续型霍普菲尔德网络延续型霍普菲尔德网络 反响网络反响网络(Recurrent Network)(Recurrent Network)，又称自联想记忆，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络经过自行运转而最使得当给网络一组初始值时，网络经过自行运转而最终收敛到这个设

2、计的平衡点上。终收敛到这个设计的平衡点上。 19821982年，美国加州工学院物理学家霍普菲年，美国加州工学院物理学家霍普菲尔德尔德(J(JHopfield)Hopfield)发表了一篇对人工神经网络研讨颇发表了一篇对人工神经网络研讨颇有影响的论文。有影响的论文。 反响网络可以表现出非线性动力学系统的动态特反响网络可以表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：性。它所具有的主要特性为以下两点： 第一、网络系统具有假设干个稳定形状。当网络第一、网络系统具有假设干个稳定形状。当网络从某一初始形状开场运动，网络系统总可以收敛到某从某一初始形状开场运动，网络系统总可以收敛到某一个

3、稳定的平衡形状；一个稳定的平衡形状； 第二，系统稳定的平衡形状可以经过设计网络的第二，系统稳定的平衡形状可以经过设计网络的权值而被存储到网络中。权值而被存储到网络中。 霍普菲尔德网络是单层对称全反响网络，根据其霍普菲尔德网络是单层对称全反响网络，根据其激活函数的选取不同，可分为离散型的霍普菲尔德激活函数的选取不同，可分为离散型的霍普菲尔德网络网络(Discrete Hopfield Neural Network(Discrete Hopfield Neural Network，简称，简称DHNN)DHNN)和延续型的霍普菲尔德网络和延续型的霍普菲尔德网络(Continuous (Continu

4、ous Hopfield Neural NetworkHopfield Neural Network，简称，简称CHNN)CHNN)。 DHNNDHNN的激活函数为二值型的，其输入、输的激活函数为二值型的，其输入、输出为出为00，11的反响网络，主要用于联想记忆。的反响网络，主要用于联想记忆。 CHNNCHNN的激活函数的输入与输出之间的关系的激活函数的输入与输出之间的关系为延续可微的单调上升函数，主要用于优化计算。为延续可微的单调上升函数，主要用于优化计算。 8.1 霍普菲尔德网络模型霍普菲尔德网络模型 图图8.1 8.1 反响网络构造图反响网络构造图 在反响网络中，假设其激活函数在反响网络

5、中，假设其激活函数f()f()是一个二值是一个二值型的硬函数，如图型的硬函数，如图8.28.2所示，即所示，即aiaisgn(ni)sgn(ni)，i il, l, 2, r2, r，那么称此网络为离散型反响网络；，那么称此网络为离散型反响网络； 假设假设ai=f(ni)ai=f(ni)中的中的f()f()为一个延续单调上升的有为一个延续单调上升的有界函数，这类网络被称为延续型反响网络。图界函数，这类网络被称为延续型反响网络。图8.38.3中所中所示为一个具有饱和线性激活函数，它满足延续单调上示为一个具有饱和线性激活函数，它满足延续单调上升的有界函数的条件，常作为延续型的激活函数。升的有界函数

6、的条件，常作为延续型的激活函数。 图图8.2 DHNN8.2 DHNN中的激活函数中的激活函数 图图8.3 CHNN8.3 CHNN中的激活函数中的激活函数 8.2 形状轨迹形状轨迹 设形状矢量设形状矢量N=n1, n2, N=n1, n2, ，nrnr，网络的输出，网络的输出矢量为矢量为A Aa1a1，a2a2，asT asT ， 在一个在一个r r维形状空间上，可以用一条轨迹来描画维形状空间上，可以用一条轨迹来描画形状变化情况。形状变化情况。 从初始值从初始值N(t0)N(t0)出发，出发，N(t0+t)N(t0+2t)N(t0+mt)N(t0+t)N(t0+2t)N(t0+mt)，这些在

7、，这些在空间上的点组成确实定轨迹，是演化过程中一切能空间上的点组成确实定轨迹，是演化过程中一切能够形状的集合，我们称这个形状空间为相空间。够形状的集合，我们称这个形状空间为相空间。 图图8.4 8.4 三维空间中的形状轨迹三维空间中的形状轨迹 对于对于DHNNDHNN，由于，由于N(t)N(t)中每个值只能够为中每个值只能够为1 1，或，或00，11，对于确定的权值，对于确定的权值wijwij，其轨迹是腾跃的阶梯式，其轨迹是腾跃的阶梯式，如图中如图中A A所示。所示。 对于对于CHNNCHNN，由于，由于f()f()是延续的，因此，其轨迹是延续的，因此，其轨迹也是延续的，如图中也是延续的，如图

8、中B B、C C所示。所示。 对于不同的衔接权值对于不同的衔接权值wijwij和输入和输入Pj(i, j=1, Pj(i, j=1, 2, r)2, r)，反响网络形状轨迹能够出现以下几种情况。，反响网络形状轨迹能够出现以下几种情况。 8.2.1 8.2.1 形状轨迹为稳定点形状轨迹为稳定点 形状轨迹从系统在形状轨迹从系统在t0t0时形状的初值时形状的初值N(t0)N(t0)开场，开场，经过一定的时间经过一定的时间t(tt(t0)0)后，到达后，到达N(t0+t)N(t0+t)。假设。假设N(t0+t+t)=N(t0+t)N(t0+t+t)=N(t0+t)，tt0 0，那么形状，那么形状N(t

9、0+t)N(t0+t)称称为网络的稳定点，或平衡点。为网络的稳定点，或平衡点。 即反响网络从任一初始态即反响网络从任一初始态P(0)P(0)开场运动，假设存开场运动，假设存在某一有限时辰在某一有限时辰t t，从，从t t以后的网络形状不再发生变化：以后的网络形状不再发生变化：P(t+t)= P(t)P(t+t)= P(t)，tt0 0，那么称该网络是稳定的。，那么称该网络是稳定的。 处于稳定时的网络形状叫做稳定形状，又称为定吸引子。处于稳定时的网络形状叫做稳定形状，又称为定吸引子。 在一个反响网络中，存在很多稳定点，根据不在一个反响网络中，存在很多稳定点，根据不同情况，这些稳定点可以分为：同情

10、况，这些稳定点可以分为：1) 1) 渐近稳定点：假设在稳定点渐近稳定点：假设在稳定点NeNe周围的周围的N()N()区域内，区域内，从任一个初始形状从任一个初始形状N(t0)N(t0)出发的每个运动，当出发的每个运动，当tt时都收敛于时都收敛于NeNe，那么称，那么称NeNe为渐近稳定点。为渐近稳定点。 2) 2) 不稳定平衡点不稳定平衡点NenNen：在某些特定的轨迹演化过程中，：在某些特定的轨迹演化过程中，网络可以到达稳定点网络可以到达稳定点NenNen，但对于其它方向上的恣意，但对于其它方向上的恣意一个小的区域一个小的区域N()N()，不论，不论N()N()取多么小，其轨迹取多么小，其轨

11、迹在时间在时间t t以后总是偏离以后总是偏离NenNen； 3) 网络的解：假设网络最后稳定到设计人员期望的稳网络的解：假设网络最后稳定到设计人员期望的稳定点，且该稳定点又是渐近稳定点，那么这个点称定点，且该稳定点又是渐近稳定点，那么这个点称为网络的解；为网络的解； 4) 网络的伪稳定点：网络最终稳定到一个渐近稳定点网络的伪稳定点：网络最终稳定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解，这个上，但这个稳定点不是网络设计所要求的解，这个稳定点为伪稳定点。稳定点为伪稳定点。 8.2.2 形状轨迹为极限环形状轨迹为极限环 假设在某些参数的情况下，形状假设在某些参数的情况下，形状N(t)的

12、轨迹是一个圆，或一个环，形状的轨迹是一个圆，或一个环，形状N(t)沿着环反复旋转，永不停顿，此时的输沿着环反复旋转，永不停顿，此时的输出出A(t)也出现周期变化，即出现振荡，也出现周期变化，即出现振荡，如图如图8.4中中C的轨迹即是极限环出现的情的轨迹即是极限环出现的情形。形。 对于对于DHNN，轨迹变化能够在两种形，轨迹变化能够在两种形状下来回跳动，其极限环为状下来回跳动，其极限环为2。假设在。假设在r种形状下循环变化，称其极限环为种形状下循环变化，称其极限环为r。 8.2.3 混沌景象 假设形状N(t)的轨迹在某个确定的范围内运动，但既不反复，又不能停下来，形状变化为无穷多个，而轨迹也不能

13、发散到无穷远，这种景象称为混沌(chaos)。 在出现混沌的情况下，系统输出变化为无穷多个，并且随时间推移不能趋向稳定，但又不发散。 8.2.4 形状轨迹发散形状轨迹发散 假设形状假设形状N(t)的轨迹随时间不断延伸到的轨迹随时间不断延伸到无穷远，此时形状发散，系统的输出也无穷远，此时形状发散，系统的输出也发散。发散。 在人工神经网络中，由于输入、输出激在人工神经网络中，由于输入、输出激活函数是一个有界函数，虽然形状活函数是一个有界函数，虽然形状N(t)是是发散的，但其输出发散的，但其输出A(t)还是稳定的，而还是稳定的，而At的稳定反过来又限制了形状的发散。的稳定反过来又限制了形状的发散。

14、普通非线性人工神经网络中发散景象是普通非线性人工神经网络中发散景象是不会发生的，除非神经元的输入输出激不会发生的，除非神经元的输入输出激活函数是线性的。活函数是线性的。 目前的人工神经网络是利用第一种情况即稳定的专门轨迹来目前的人工神经网络是利用第一种情况即稳定的专门轨迹来处理某些问题的。处理某些问题的。 假设把系统的稳定点视做一个记忆的话，那么从初始形状朝假设把系统的稳定点视做一个记忆的话，那么从初始形状朝这个稳定点挪动的过程就是寻觅该记忆的过程。这个稳定点挪动的过程就是寻觅该记忆的过程。 形状的初始值可以以为是给定的有关该记忆的部分信息，形形状的初始值可以以为是给定的有关该记忆的部分信息，

15、形状状N(t)N(t)挪动的过程，是从部分信息去寻觅全部信息，这就是联想挪动的过程，是从部分信息去寻觅全部信息，这就是联想记忆的过程。记忆的过程。 假设把系统的稳定点思索为一个能量函数的极小点，在形状假设把系统的稳定点思索为一个能量函数的极小点，在形状空间中，从初始形状空间中，从初始形状N(t0)N(t0)N(t0+t)N(t0+t)，最后到达，最后到达N N* *。假设。假设N N* *为稳为稳定点，那么可以看作是定点，那么可以看作是N N* *把把N(t0)N(t0)吸引了过去，在吸引了过去，在N(t0)N(t0)时能量比时能量比较大，而吸引到较大，而吸引到N N* *时能量已为极小了。时

16、能量已为极小了。 根据这个道理，可以把这个能量的极小点作为一个优化目的根据这个道理，可以把这个能量的极小点作为一个优化目的函数的极小点，把形状变化的过程看成是优化某一个目的函数的函数的极小点，把形状变化的过程看成是优化某一个目的函数的过程。过程。 因此反响网络的形状挪动的过程实践上是一种计因此反响网络的形状挪动的过程实践上是一种计算联想记忆或优化的过程。它的解并不需求真的去计算联想记忆或优化的过程。它的解并不需求真的去计算，只需求去构成一类反响神经网络，适当地讨论其算，只需求去构成一类反响神经网络，适当地讨论其权重值权重值wijwij，使其初始输入，使其初始输入A(t0)A(t0)向稳定吸引子

17、形状的向稳定吸引子形状的挪动就可以到达这个目的。挪动就可以到达这个目的。 霍普菲尔德网络是利用稳定吸引子来对信息进展霍普菲尔德网络是利用稳定吸引子来对信息进展储存的，利用从初始形状到稳定吸引子的运转过程来储存的，利用从初始形状到稳定吸引子的运转过程来实现对信息的联想存取的。实现对信息的联想存取的。 经过对神经元之间的权和阈值的设计，要求单经过对神经元之间的权和阈值的设计，要求单层的反响网络到达以下目的：层的反响网络到达以下目的： (1) 网络系统可以到达稳定收敛；网络系统可以到达稳定收敛； (2) 网络的稳定点网络的稳定点 ； (3) 吸引域的设计吸引域的设计 。8.3 离散型霍普菲尔德网络离

18、散型霍普菲尔德网络DHNN 8.3.1 DHNN模型构造模型构造 其输出类似于其输出类似于MP神经元，可表示为：神经元，可表示为： 在上式中，取在上式中，取b0，权矩阵中有，权矩阵中有wijwji，且取，且取wii0，即，即DHNN采用对称联接。采用对称联接。 因此，其网络构造可以用一个加权元向量图表示。因此，其网络构造可以用一个加权元向量图表示。 图图8.5 8.5 霍普菲尔德网络图霍普菲尔德网络图 由图由图8.5(a)，思索到，思索到DHNN的权值特性的权值特性wijwji，网，网络各节点加权输入和分别为：络各节点加权输入和分别为： 对于以符号函数为激活函数的网络，网络的方程可对于以符号函

19、数为激活函数的网络，网络的方程可写为：写为： 8.3.2 联想记忆联想记忆 联想记忆功能是联想记忆功能是DHNN的一个重要运用范围。要想的一个重要运用范围。要想实现联想记忆，反响网络必需具有两个根本条件：实现联想记忆，反响网络必需具有两个根本条件： 网络能收敛到稳定的平衡形状，并以其作为样网络能收敛到稳定的平衡形状，并以其作为样本的记忆信息；本的记忆信息； 具有回想才干，可以从某一残缺的信息回想起具有回想才干，可以从某一残缺的信息回想起所属的完好的记忆信息。所属的完好的记忆信息。 DHNN实现联想记忆的过程分为两个阶段：学习实现联想记忆的过程分为两个阶段：学习记忆阶段和联想回想阶段。记忆阶段和

20、联想回想阶段。 在学习记忆阶段中，设计者经过某一设计方法确定一在学习记忆阶段中，设计者经过某一设计方法确定一组适宜的权值，使网络记忆期望的稳定平衡点。联想组适宜的权值，使网络记忆期望的稳定平衡点。联想回想阶段那么是网络的任务过程。回想阶段那么是网络的任务过程。 反响网络有两种根本的任务方式：串行异步和并行同反响网络有两种根本的任务方式：串行异步和并行同步方式。步方式。 1) 串行异步方式：串行异步方式： 2) 并行同步方式：并行同步方式： 在形状更新过程中，包括三种情况：由在形状更新过程中，包括三种情况：由-1-1变为变为1 1；由由1 1变为变为-1-1及形状坚持不变。及形状坚持不变。 在任

21、一时辰，网络中只需一个神经元被选择进展在任一时辰，网络中只需一个神经元被选择进展形状更新或坚持，所以异步形状更新的网络从某一初形状更新或坚持，所以异步形状更新的网络从某一初态开场需经过多次更新形状后才可以到达某种稳态。态开场需经过多次更新形状后才可以到达某种稳态。 这种更新方式的特点是：这种更新方式的特点是： 实现上容易，每个神经元有本人的形状更新时辰，实现上容易，每个神经元有本人的形状更新时辰，不需求同步机制；不需求同步机制； 功能上的串行形状更新可以限制网络的输出形状，功能上的串行形状更新可以限制网络的输出形状，防止不同稳态等概率的出现；防止不同稳态等概率的出现； 异步形状更新更接近实践的

22、生物神经系统的表现。异步形状更新更接近实践的生物神经系统的表现。 8.3.3 DHNN的海布的海布(Hebb)学习规那么学习规那么 在在DHNN的网络训练过程中，运用的是的网络训练过程中，运用的是海布调理规那么：海布调理规那么： 当神经元输入与输出节点的形状一样当神经元输入与输出节点的形状一样(即同时兴奋或抑制即同时兴奋或抑制)时，从第时，从第j个到第个到第i个个神经元之间的衔接强度那么加强，否那神经元之间的衔接强度那么加强，否那么那么减弱。么那么减弱。 海布法那么是一种无指点的死记式学习海布法那么是一种无指点的死记式学习算法。算法。 离散型霍普菲尔德网络的学习目的：离散型霍普菲尔德网络的学习

23、目的： 对具有对具有q q个不同的输入样本组个不同的输入样本组PrPrq qP1, P2 PqP1, P2 Pq，希望经过调理计算有限的权值矩阵希望经过调理计算有限的权值矩阵W W，使得当每一组输，使得当每一组输入样本入样本PkPk，k=1k=1，2 2，q q，作为系统的初始值，经过，作为系统的初始值，经过网络的任务运转后，系统可以收敛到各自输入样本矢量网络的任务运转后，系统可以收敛到各自输入样本矢量本身。本身。 当当k k1 1时，对于第时，对于第i i个神经元，由海布学习规那么个神经元，由海布学习规那么可得网络权值对输入矢量的学习关系式为：可得网络权值对输入矢量的学习关系式为： 其中，其

24、中，0，i1，2，r；j=1，2，r。在实践学。在实践学习规那么的运用中，普通取习规那么的运用中，普通取1或或1/r。 那么由上式求出的权值那么由上式求出的权值wij能否可以保证能否可以保证aipi？ 取取l，我们来验证一下，对于第，我们来验证一下，对于第i个输出节点，有：个输出节点，有： 根据海布规那么的权值设计方法，当根据海布规那么的权值设计方法，当k由由1添加到添加到2，直至直至q时，那么是在原有己设计出的权值的根底上，添时，那么是在原有己设计出的权值的根底上，添加一个新量加一个新量pjkpik，k2, q，所以对网络一切输入样，所以对网络一切输入样本记忆权值的设计公式为：本记忆权值的设

25、计公式为： 式中矢量式中矢量T为记忆样本，为记忆样本，TP。上式称为推行的学习。上式称为推行的学习调理规那么。当系数调理规那么。当系数1时，称上式为时，称上式为T的外积和公的外积和公式。式。 DHNN的设计目的是使恣意输入矢量经过网络循的设计目的是使恣意输入矢量经过网络循环最终收敛到网络所记忆的某个样本上。环最终收敛到网络所记忆的某个样本上。 由于霍普菲尔德网络有由于霍普菲尔德网络有wijwji，所以完好的霍普，所以完好的霍普菲尔德网络权值设计公式该当为：菲尔德网络权值设计公式该当为：用向量方式表示为：用向量方式表示为： 当当1 1时有：时有：其中，其中，I I为单位对角矩阵。为单位对角矩阵。

26、 在神经网络工具箱中有关采用海布公式求解网络在神经网络工具箱中有关采用海布公式求解网络权矩阵变化的函数为权矩阵变化的函数为learnh.m和和learnhd.m，后者为带，后者为带有衰减学习速率的函数：有衰减学习速率的函数： dW1earnh(P，A，lr)； 或或 dWlearnhd(W，P，A，lr，dr)； 对于简单的情况，对于简单的情况，lr可以选择可以选择1；对于复杂的运用，可；对于复杂的运用，可取取lr0.10.5，drlr3。 8.3.4 影响记忆容量的要素影响记忆容量的要素 设计设计DHNN网络的目的，是希望经过网络的目的，是希望经过所设计的权值矩阵所设计的权值矩阵W储存多个期

27、望方式。储存多个期望方式。 从海布学习公式的推导过程中可以从海布学习公式的推导过程中可以看出：当网络只记忆一个稳定方式时，该看出：当网络只记忆一个稳定方式时，该方式一定被网络准确无误地记忆住，即所方式一定被网络准确无误地记忆住，即所设计的设计的W值一定可以满足正比于输入和输值一定可以满足正比于输入和输出矢量的乘积关系。出矢量的乘积关系。 但当需求记忆的方式增多时，情况但当需求记忆的方式增多时，情况那么发生了变化，主要表如今下面两点上：那么发生了变化，主要表如今下面两点上：(1) 权值挪动权值挪动 当当k=1时，有：时，有： 此时，网络准确的记住了样本此时，网络准确的记住了样本T1T1，当，当k

28、=2k=2时，为了时，为了记忆样本记忆样本T2T2，需求在记忆了样本，需求在记忆了样本TlTl的权值上加上对样本的权值上加上对样本T2T2的记忆项的记忆项T2T2T-IT2T2T-I，将权值在原来值根底上产生了挪，将权值在原来值根底上产生了挪动。动。 随着学习样本数随着学习样本数k k的添加，权值挪动景象将进一步的添加，权值挪动景象将进一步发生，当学习了第发生，当学习了第q q个样本个样本TqTq后，权值又在前后，权值又在前q-1q-1个样个样本修正的根底上产生了挪动，这也是网络在准确的学本修正的根底上产生了挪动，这也是网络在准确的学习了第一个样本后的第习了第一个样本后的第q-1q-1次挪动。

29、次挪动。 对已记忆的样本发生遗忘，这种景象成为对已记忆的样本发生遗忘，这种景象成为“疲劳。疲劳。 另一方面，由于在学习样本另一方面，由于在学习样本T2T2时，权矩阵时，权矩阵W W是在已是在已学习了学习了T1T1的根底上进展修正的。此时，因的根底上进展修正的。此时，因W W起始值不再起始值不再为零，所以由此调整得出的新的为零，所以由此调整得出的新的W W值，对记忆样本值，对记忆样本T2T2来来说，也未必对一切的说，也未必对一切的s s个输出同时满足符号函数的条件，个输出同时满足符号函数的条件，即难以保证网络对即难以保证网络对T2T2的准确的记忆。的准确的记忆。 (2) 交叉干扰交叉干扰 设输入

30、矢量设输入矢量P维数为维数为rq，取，取=1/r，由于对于，由于对于DHNN有有Pk-1，1，k=1，2，q，所以有，所以有pik*pjkpjk*pjk1。当网络某个矢量。当网络某个矢量Pl，l1,q，作为网，作为网络的输入矢量时，可得网络的加权输入和络的输入矢量时，可得网络的加权输入和nil为：为： 上式右边中第一项为期望记忆的样本，而第二项那么上式右边中第一项为期望记忆的样本，而第二项那么是当网络学习多个样本时，在回想阶段即验证该记忆是当网络学习多个样本时，在回想阶段即验证该记忆样本时，所产生的相互关扰，称为交叉干扰项。样本时，所产生的相互关扰，称为交叉干扰项。 8.3.5 网络的记忆容量

31、确定网络的记忆容量确定 只需满足只需满足rq，那么有，那么有sgn(Nl)Pl，保证保证Pl为网络的稳定解。为网络的稳定解。 DHNN用于联想记忆有两个突用于联想记忆有两个突出的特点：即记忆是分布式的，而出的特点：即记忆是分布式的，而联想是动态的。联想是动态的。 DHNN局限性，主要表如今以局限性，主要表如今以下几点：记忆容量的有限性；下几点：记忆容量的有限性；伪稳定点的联想与记忆；当记忆伪稳定点的联想与记忆；当记忆样本较接近时，网络不能一直回想样本较接近时，网络不能一直回想出正确的记忆等。出正确的记忆等。 另外网络的平衡稳定点并不可以恣另外网络的平衡稳定点并不可以恣意设置的，也没有一个通用的

32、方式意设置的，也没有一个通用的方式来事先知道平衡稳定点。来事先知道平衡稳定点。 所以真正想利用好霍普菲尔德网络所以真正想利用好霍普菲尔德网络并不是一件容易的事情。并不是一件容易的事情。 8.3.6 DHNN权值设计的其他方法(1)学习规那么：(2) (2) 伪逆法伪逆法 W WN NP P* * 其中其中P P* *为为P P的伪逆，有的伪逆，有P P* *(PTP)-1PT(PTP)-1PT，假设样本之，假设样本之间是线性无关的，那么间是线性无关的，那么PTPPTP满秩，其逆存在，那么可求满秩，其逆存在，那么可求出权矩阵出权矩阵W W来。由于存在求逆等运算，伪逆法较为繁琐，来。由于存在求逆等

33、运算，伪逆法较为繁琐，而海布法那么要容易求得多。而海布法那么要容易求得多。 (3) 正交化的权值设计正交化的权值设计 这一方法的根本思想和出发点是为了满足下面四个这一方法的根本思想和出发点是为了满足下面四个要求：要求： 1) 保证系统在异步任务时的稳定性；保证系统在异步任务时的稳定性； 2) 保证一切要求记忆的稳定平衡点都能收敛到本人；保证一切要求记忆的稳定平衡点都能收敛到本人； 3) 使伪稳定点的数目尽能够的少；使伪稳定点的数目尽能够的少； 4) 使稳定点的吸引域尽能够的大。使稳定点的吸引域尽能够的大。 虽然正交化设计方法的数学设计较为复杂，但与外虽然正交化设计方法的数学设计较为复杂，但与外

34、积和法相比较，所设计出的平衡稳定点可以保证收敛积和法相比较，所设计出的平衡稳定点可以保证收敛到本人并且有较大的稳定域。更主要的是在到本人并且有较大的稳定域。更主要的是在MATLAB工具箱中已将此设计方法写进了函数工具箱中已将此设计方法写进了函数 solvehop.m中：中： W，bsolvehop(T)； 例例8.1思索一个具有两个神经元的霍普菲尔德网思索一个具有两个神经元的霍普菲尔德网络，每个神经元具有两个权值和一个偏向。络，每个神经元具有两个权值和一个偏向。网络所要存储的目的平衡点为一个列矢量网络所要存储的目的平衡点为一个列矢量T： T1 -1； -1 1；W,b=solvehop(T);

35、 设计设计Hopfield网络。网络。用来进展测试的函数为用来进展测试的函数为simuhop.m； 8.4 延续型霍普菲尔德网络延续型霍普菲尔德网络 霍普菲尔德网络可以推行到输入和输出都取延续霍普菲尔德网络可以推行到输入和输出都取延续数值的情形。这时网络的根本构造不变，形状输出方数值的情形。这时网络的根本构造不变，形状输出方程方式上也一样。假设定义网络中第程方式上也一样。假设定义网络中第i个神经元的输入个神经元的输入总和为总和为ni，输出形状为，输出形状为ai，那么网络的形状转移方程可，那么网络的形状转移方程可写为：写为：其中神经元的激活函数其中神经元的激活函数f f为为S S型的函数型的函数

36、( (或线性饱和函数或线性饱和函数) )： 或或 图图8.8 8.8 延续霍普菲尔德网络激活函数延续霍普菲尔德网络激活函数 例例8.2TSP问题。问题。 所谓所谓TSP(Traveling Salesman Problem)问题，即问题，即“游游览商问题是一个非常有名的难以求解的优化问题，览商问题是一个非常有名的难以求解的优化问题，其要求很简单：在其要求很简单：在n个城市的集合中，找出一条经过每个城市的集合中，找出一条经过每个城市各一次，最终回到起点的最短途径。个城市各一次，最终回到起点的最短途径。 假设知城市假设知城市A，B，C，D，之间的间隔为，之间的间隔为dAB，dBC，dCD；那么总的

37、间隔；那么总的间隔ddAB+dBC+dCD+，对于这种动态规化问题，要去求其对于这种动态规化问题，要去求其min(d)的解。的解。 由于对于由于对于n个城市的全陈列共有个城市的全陈列共有n!种，而种，而TSP并没有并没有限定途径的方向，即为全组合，所以对于固定的城市限定途径的方向，即为全组合，所以对于固定的城市数数n的条件下，其途径总数的条件下，其途径总数Sn为为Snn!2n (n4) 图图8. 9 n4时的时的TSP途径图途径图 表表8. 2 城市数和对应的城市数和对应的游览方案数游览方案数 采用延续时间的霍普菲尔德网络模型来求解采用延续时间的霍普菲尔德网络模型来求解TSP，开辟了一条处理这一问题的新途径。其根本思想是把开辟了一条处理这一问题的新途径。其根本思想是把TSP映射到映射到CHNN上，经过网络形状的动态演化逐渐趋上，经过网络形状的动态演化逐渐趋向稳态而自动地搜索出优化解。向稳态而自动地搜索出优化解。 TSP的解是假设干城市的有序陈列，任何一个城市的解是假设干