第五章霍普菲尔德(Hopfield)神经网络

1、第五章第五章霍普菲尔德（霍普菲尔德（Hopfield）神经网络神经网络 前面介绍的网络模型属于前向前面介绍的网络模型属于前向NNNN，从学习的角，从学习的角度看，具有较强的学习能力，结构简单，易于编程。度看，具有较强的学习能力，结构简单，易于编程。从系统角度看，属于静态的非线性映射，通过简单从系统角度看，属于静态的非线性映射，通过简单的非线性处理单元的复合映射可获得复杂的非线性的非线性处理单元的复合映射可获得复杂的非线性处理能力。但他们因此缺乏反馈，所以并不是强有处理能力。但他们因此缺乏反馈，所以并不是强有力的动力学系统。力的动力学系统。 联想特性是联想特性是ANNANN的一个重要特性，主要包

2、括联的一个重要特性，主要包括联想映射和联想记忆。想映射和联想记忆。前馈网络具有诱人的联想映射前馈网络具有诱人的联想映射能力，而不具备联想记忆能力。在反馈能力，而不具备联想记忆能力。在反馈NNNN中，我们中，我们将着重介绍将着重介绍NNNN的联想记忆和优化计算的能力。的联想记忆和优化计算的能力。5.1 5.1 概述概述 联想记忆是指当网络输入某个矢量后，网络联想记忆是指当网络输入某个矢量后，网络经过反馈演化，从网络输出端得到另一个矢量，经过反馈演化，从网络输出端得到另一个矢量，这样输出矢量就称作网络从初始输入矢量联想得这样输出矢量就称作网络从初始输入矢量联想得到的一个稳定记忆，即网络的一个平衡点

3、。到的一个稳定记忆，即网络的一个平衡点。 优化计算是指当某一问题存在多种解法时，优化计算是指当某一问题存在多种解法时，可以设计一个目标函数，然后寻求满足这一目标可以设计一个目标函数，然后寻求满足这一目标函数的最优解法。例如，在很多情况下可以把能函数的最优解法。例如，在很多情况下可以把能量函数作为目标函数，得到的最优解法需要使能量函数作为目标函数，得到的最优解法需要使能量函数达到极小点，即能量函数的稳定平衡点。量函数达到极小点，即能量函数的稳定平衡点。 总之，反馈网络的设计思想就是在初始输入总之，反馈网络的设计思想就是在初始输入下，使网络经过反馈计算最后到达稳定状态，这下，使网络经过反馈计算最后

4、到达稳定状态，这时的输出即是用户需要的平衡点。时的输出即是用户需要的平衡点。19821982年年, ,美国加州工学院美国加州工学院J.HopfieldJ.Hopfield提出了可用作联想存储提出了可用作联想存储器和优化计算的反馈网络器和优化计算的反馈网络, ,这个网络称为这个网络称为HopfieldHopfield神经网络神经网络(HNN)(HNN)模型模型, ,也称也称HopfieldHopfield模型模型. .并用它成功地探讨了旅行商并用它成功地探讨了旅行商问题问题(TSP)(TSP)的求解方法。的求解方法。HNNHNN是一种循环是一种循环NN,NN,从输从输出到输入有反馈连接出到输入有

5、反馈连接. .HNNHNN有离散型和连续型有离散型和连续型两种两种. .Hopfield模型属于反馈型神经网络，从计算的角度上讲，它模型属于反馈型神经网络，从计算的角度上讲，它具有很强的计算能力。具有很强的计算能力。这样的系统着重关心的是系统的稳定这样的系统着重关心的是系统的稳定性问题。性问题。稳定性是这类具有联想记忆功能神经网络模型的核稳定性是这类具有联想记忆功能神经网络模型的核心，学习记忆的过程就是系统向稳定状态发展的过程。心，学习记忆的过程就是系统向稳定状态发展的过程。Hopfield网络可用于解决联想记忆和约束优化问题的求解。网络可用于解决联想记忆和约束优化问题的求解。 反馈网络反馈网

6、络(Recurrent Network),(Recurrent Network),又称自联又称自联想记忆网络想记忆网络, ,如下图所示如下图所示: : 反馈网络的目的是反馈网络的目的是为了设计一个网络，储存一为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态反馈网络能够表现出非线性动力学系统的动态特性。特性。它所具有的主要特性为以下两点：它所具有的主要特性为以下两点： 第一、第一、网络系统具有若干个稳定状态。当网

7、络网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；到某一个稳定的平衡状态； 第二、第二、系统稳定的平衡状态可以通过设计网络系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。的权值而被存储到网络中。 由于由于HNNHNN为动力学系统为动力学系统, ,且其平衡态关系到信且其平衡态关系到信息的存储与联想记忆息的存储与联想记忆, ,其平衡态与稳定性是非其平衡态与稳定性是非常关键的问题。常关键的问题。 反馈网络根据信号的时间域的性质的分类为反馈网络根据信号的时间域的性质的分类为 如果激活函数如果激活函数

8、f(f() )是一个是一个二值型的阶跃函数二值型的阶跃函数, ,则则称此网络为称此网络为离散型反馈网络离散型反馈网络, ,主要用于联想记忆主要用于联想记忆; ; 如果如果f(f() )为一个为一个连续单调上升的有界函数连续单调上升的有界函数, ,这类这类网络被称为网络被称为连续型反馈网络连续型反馈网络, ,主要用于优化计算。主要用于优化计算。 反馈反馈NNNN由于其输出端有反馈到其输入端由于其输出端有反馈到其输入端, ,所以所以,HNN,HNN在在输入的激励下输入的激励下, ,会产生不断的状态变化会产生不断的状态变化. . 当有输入之后当有输入之后, ,可以求取出可以求取出HNNHNN的输出的

9、输出, ,这个输出反馈到输这个输出反馈到输入从而产生新的输出入从而产生新的输出, ,这个反馈过程一直进行下去这个反馈过程一直进行下去. . 如果如果HNNHNN是一个能稳定的网络是一个能稳定的网络, ,则这个反馈与迭代的计算则这个反馈与迭代的计算过程所产生的变化越来越小过程所产生的变化越来越小, ,一旦到达了稳定平衡状态一旦到达了稳定平衡状态, ,那么那么HNNHNN就会输出一个稳定的恒值就会输出一个稳定的恒值. . 对于对于HNNHNN来说来说, ,关键是在于确定它在稳定条件下的权系数关键是在于确定它在稳定条件下的权系数. . 应该指出应该指出, ,反馈网络有稳定的反馈网络有稳定的, ,也有

10、不稳定的也有不稳定的. .对于对于HNNHNN来说来说, ,还存在如何判别它是稳定网络还存在如何判别它是稳定网络, ,亦或是亦或是不稳定的问题不稳定的问题. .而判别依据是什么而判别依据是什么, ,也是需要确定的也是需要确定的. .反馈网络与前向网络的区别反馈网络与前向网络的区别 结构不同结构不同 前向神经网络：没有反馈环节。前向神经网络：没有反馈环节。 反馈神经网络：一个动态系统，存在稳定性反馈神经网络：一个动态系统，存在稳定性问题。（关键问题）问题。（关键问题） 模型不同模型不同 前向网络：从输入到输出的映射关系，不考前向网络：从输入到输出的映射关系，不考虑延时。虑延时。 反馈网络：考虑延

11、时，是一个动态系统，模反馈网络：考虑延时，是一个动态系统，模型是动态方程（微分方程）。型是动态方程（微分方程）。网络的演变过程不同网络的演变过程不同 前向网络：通过学习得到连接权然后完成指定任前向网络：通过学习得到连接权然后完成指定任务。务。 反馈网络：反馈网络：( (优化计算时优化计算时) )首先确定首先确定w w（不是通过（不是通过学习而来的，而是通过目标函数用解析算法得到学习而来的，而是通过目标函数用解析算法得到的），设定网络的初始状态，然后系统运动，若稳的），设定网络的初始状态，然后系统运动，若稳定，则最后达到一个稳定状态，对应的输出就是优定，则最后达到一个稳定状态，对应的输出就是优化

12、问题的解。化问题的解。学习方法不同学习方法不同 前向网络：误差修正算法（前向网络：误差修正算法（BPBP算法）。算法）。 反向网络：海布反向网络：海布(Hebb(Hebb) )算法算法( (用于联想、分用于联想、分类的时候类的时候) )运行学习算法wHebb 应用范围不同应用范围不同 前向网络：只能用于联想映射及其分类。前向网络：只能用于联想映射及其分类。 反馈网络：同时也可以用于联想记忆和约反馈网络：同时也可以用于联想记忆和约束优化问题的求解。束优化问题的求解。 对于如对于如HNNHNN类似的反馈网络类似的反馈网络, ,研究的重点为研究的重点为: : 如何通过网络神经元状态的变迁而最终稳定于

13、如何通过网络神经元状态的变迁而最终稳定于平衡状态平衡状态, ,得到联想存储或优化计算的结果得到联想存储或优化计算的结果 网络的稳定性问题网络的稳定性问题 怎样设计和利用稳定的反馈网络怎样设计和利用稳定的反馈网络网络系统能够达到稳定收敛网络系统能够达到稳定收敛 网络的稳定点网络的稳定点 吸引域的设计吸引域的设计网络结构形式网络结构形式 HopfieldHopfield网络是单层对称全反馈网络，根据激励函网络是单层对称全反馈网络，根据激励函数选取的不同，可分为离散型和连续性两种数选取的不同，可分为离散型和连续性两种（ DHNN,CHNNDHNN,CHNN）。）。 DHNNDHNN：作用函数为：作用

14、函数为函数，主要用于联想记忆。函数，主要用于联想记忆。 CHNNCHNN：作用函数为：作用函数为S S型函数，主要用于优化计算型函数，主要用于优化计算 非线性系统状态演变的形式非线性系统状态演变的形式 在在Hopfield网络中，由于反馈的存在，其加权网络中，由于反馈的存在，其加权 输输入和入和ui，i=1n为网络状态，网络的输出为为网络状态，网络的输出为y1yn， 则则u,y的变化过程为一个非线性动力学系统。可用非线的变化过程为一个非线性动力学系统。可用非线性差（微）分方程来描述。一般有如下的几种状态性差（微）分方程来描述。一般有如下的几种状态演变形式：演变形式： （1）渐进稳定）渐进稳定

15、（2）极限环）极限环 （3）混沌现象）混沌现象 （4）状态轨迹发散）状态轨迹发散网络结构及网络结构及I/O关系关系对于以符号函数为激励函数的网络，网络的方程可对于以符号函数为激励函数的网络，网络的方程可写为：写为： 图2.8.2 nitutxtxwtuiinjijiji, 2 , 1 ) 1(sgn) 1() 1(1离散型 Hopfield神经网络Hopfield网络为对称网络，网络为对称网络，wij=wji。当。当wii0时为无时为无自反馈型，反之为全自反馈型自反馈型，反之为全自反馈型5.2 5.2 离散离散HopfieldHopfield网络网络 HopfieldHopfield最早提出的

16、网络是神经元的输出为最早提出的网络是神经元的输出为0-10-1二值的二值的NN,NN,所以所以, ,也称离散的也称离散的HNN (HNN (简称为简称为DHNN).DHNN). 下面分别讨论下面分别讨论DHNNDHNN的的结构结构动力学稳定性动力学稳定性( (网络收敛性网络收敛性) )联想存储中的应用联想存储中的应用记忆容量问题记忆容量问题 在在DHNNDHNN网络中网络中, ,神经元所输出的离散值神经元所输出的离散值1 1和和0 0分分别表示神经元处于兴奋和抑制状态别表示神经元处于兴奋和抑制状态. . 各神经元通过赋有权重的连接来互联各神经元通过赋有权重的连接来互联. . 下面下面, ,首先

17、考虑由三个神经元组成的首先考虑由三个神经元组成的DHNN,DHNN,其结其结构如构如图图1 1所示所示. ..1离散离散HopfieldHopfield网络的结构网络的结构 x1 x3 x2 y1 y3 y2 图 三神经元组成的 HNN w11 w12 w13 w21 w23 w31 w22 w33 w32 在图中在图中, ,第第0 0层仅仅是作为网络的输入层仅仅是作为网络的输入, ,它不是它不是实际神经元实际神经元, ,所以无计算功能所以无计算功能; ; 而第一层是实际神经元而第一层是实际神经元, ,故而执行对输入信息和故而执行对输入信息和权系数乘积求累加和权系数乘积求累加和

18、, ,并由非线性函数并由非线性函数f f处理后处理后产生输出信息产生输出信息. . f f是一个简单的阈值函效是一个简单的阈值函效, ,如果如果神经元的输入信息的综合大于阈值神经元的输入信息的综合大于阈值 , ,那么那么, ,神经元的神经元的输出就取值为输出就取值为1;1;小于阈值小于阈值 , ,则神经元的输出就取值为则神经元的输出就取值为0.0. 对于二值神经元对于二值神经元, ,它的计算公式如下它的计算公式如下jn1iiji,jxywu其中其中xj为外部输入为外部输入,并且有并且有yj=1,当当ujj时时yj=0,当当uj0,有有:y(t+ t)=y(t)则称网络是则称网络是稳定稳定的的.

19、吸引子：吸引子：若若y(t)是网络的稳定状态，则称是网络的稳定状态，则称y(t)是网络的稳定吸引是网络的稳定吸引子。子。吸引域：吸引域：能够稳定在吸引子能够稳定在吸引子y(t)的所有初始状态的所有初始状态y(0)的集合，称的集合，称为吸引子为吸引子y(t)的吸引域。的吸引域。DHNN的能量函数的能量函数上例的状态转移关系有这样的规律：任意一个状态要么在同一上例的状态转移关系有这样的规律：任意一个状态要么在同一“高度高度”变化，要么从上向下转移。变化，要么从上向下转移。Hopfield网络模型是一个多输入、多输出、带阈值的二态非线网络模型是一个多输入、多输出、带阈值的二态非线性动力学系统。在满足

20、一定的参数条件下，能量函数在网络运性动力学系统。在满足一定的参数条件下，能量函数在网络运行过程中是不断降低、最后趋于稳定平衡状态的。行过程中是不断降低、最后趋于稳定平衡状态的。这种以能量函数作为网络计算的求解工具，被称为计算能量函这种以能量函数作为网络计算的求解工具，被称为计算能量函数。数。Hopfield网络状态变化分析的核心是对每个网络的状态定网络状态变化分析的核心是对每个网络的状态定义一个能量义一个能量E，任意一个神经元节点状态发生变化时，能量值，任意一个神经元节点状态发生变化时，能量值都将减小。都将减小。 假设第假设第i个神经元节点状态个神经元节点状态vi的变化量记为的变化量记为vi相

21、应的能量变化相应的能量变化量记为量记为Ei。所谓能量。所谓能量Ei随状态变化而减小意味着随状态变化而减小意味着Ei总是负值。总是负值。考察两种情况：考察两种情况：(1)当状态当状态vi由由0变为变为1时，时， vi 0。(2)当状态当状态vi由由1变为变为0时，时， vi 0。按照能量变化量为负的思路，可将能量的变化量按照能量变化量为负的思路，可将能量的变化量Ei表示为表示为故节点故节点i的能量可定义为：的能量可定义为：1()niijjiijEw vv 1111()12niijjiijj innnijijiiijij iEw vvEw v vv 显然显然E是对所有的是对所有的Ei按照某种方式求

22、和而得到，即式中出现的按照某种方式求和而得到，即式中出现的12因子。其原因在于离散因子。其原因在于离散Hopfield网络模型中，网络模型中，wij=wji，如直，如直接计算接计算E，将会对，将会对Ei中的每一项计算两次。如上例中对于中的每一项计算两次。如上例中对于3个节个节点的网络，其节点能量为：点的网络，其节点能量为：由上面给出由上面给出E定义，显然有：定义，显然有：（1）在离散）在离散Hopfield模型状态更新过程中，能量函数模型状态更新过程中，能量函数E随状态随状态变化而严格单调递减。变化而严格单调递减。（2）离散）离散Hopfield模型的稳定状态与能量函数模型的稳定状态与能量函数

23、E在状态空间的在状态空间的局部极小点是一一对应的。局部极小点是一一对应的。q 从从DHNN可以看出可以看出: 它是一种多输入它是一种多输入,含有阈值的二值非线性动力系统含有阈值的二值非线性动力系统. 在动力系统中在动力系统中,平衡稳定状态可以理解为系统的某种形式平衡稳定状态可以理解为系统的某种形式的能量函数在系统运动过程中的能量函数在系统运动过程中,其能量值不断减小其能量值不断减小,最后最后处于最小值处于最小值. 因此因此,对对HNN可引入一个可引入一个Lyapunov函数函数,即所谓能量函数即所谓能量函数: 即有即有) 1 (t)y(t)yx-(t)(t)yyw21E1n1ijjjjjiji

24、,njn1jjjn1jjjn1in1jjiji,(t)y(t)yx-(t)(t)yyw21-E 对对HNNHNN的能量函数有几点说明的能量函数有几点说明: : 当对反馈网络应用能量函数后当对反馈网络应用能量函数后, ,从任一初始状态开从任一初始状态开始始, ,因为在每次迭代后都能满足因为在每次迭代后都能满足 E E 0,0,所以网络的所以网络的能量将会越来越小能量将会越来越小. . 由于能量函数存在下界由于能量函数存在下界, ,因此其最后趋于稳定点因此其最后趋于稳定点 E=0.E=0. HopfieldHopfield能量函数的物理意义是能量函数的物理意义是: : 在那些渐进稳定点的吸引域内在

25、那些渐进稳定点的吸引域内, ,离吸引点越远的状态离吸引点越远的状态, ,所所具有的能量越大具有的能量越大. . 由于能量函数的单调下降特性由于能量函数的单调下降特性, ,保证状态的运动方向能保证状态的运动方向能从远离吸引点处从远离吸引点处, ,不断地趋于吸引点不断地趋于吸引点, ,直到达到稳定点直到达到稳定点. . 能量函数是反馈网络中的重要概念能量函数是反馈网络中的重要概念. .根据能量函数根据能量函数可以方便的判断系统的稳定性可以方便的判断系统的稳定性; ; HopfieldHopfield选择的能量函数选择的能量函数, ,只是保证系统稳定和渐只是保证系统稳定和渐进稳定的充分条件进稳定的充

26、分条件, ,而不是必要条件而不是必要条件, ,其能量函数其能量函数也不是唯一的也不是唯一的. . 在状态更新过程中，包括三种情况：由在状态更新过程中，包括三种情况：由0 0变为变为1 1；由由1 1变为变为0 0及状态保持不变。及状态保持不变。q 类似于研究动力学系统稳定性的类似于研究动力学系统稳定性的Lyapunov稳定性理论稳定性理论,上述上述DHNN的稳定性可由分析上述定义的的稳定性可由分析上述定义的Lyapunov函数函数E的变化的变化规律而揭示规律而揭示. 因此因此,由神经元由神经元j的状态变化量的状态变化量 yj(t)所引起的所引起的的能量变化的能量变化量量 Ej为为:)2(t)y

27、x-(t)yw(w21-(t)y(t)yEEjn1ijjiij,ji,jjj 若所讨论的若所讨论的HNN是对称网络是对称网络,即有即有wi,j=wj,i,i,j=1,2,.,n,则有则有) 3(t)yx-(t)ywEjn1ijjiji,j则yj(t+1)=fuj(t)-j式(3)则可记为:Ej(t)=-uj(t)+jyj(t) (3A)q 下面分别对 串行异步方式串行异步方式和 并行同步方式并行同步方式,证明对称二值型HNN是稳定的.q 如果,令jn1iiji,jx(t)yw(t)uA.串行异步方式串行异步方式q 对串行异步和对称权值型的HNN,基于式(3A)Ej(t)=-uj(t)+jyj(

28、t) (3A)考虑如下两种情况: 如果如果ujj,即神经元j的输入综合大于阈值,则从二值神经元的计算公式知道: yj的值保持为1,或者从0变到1. 这说明yj的变化yj只能是0或正值.这时很明显有Ej:Ej0这说明HNN神经元的能量减少或不变. 如果如果ujj,即神经元j的输入综合小于阈值,则知yj的值保持为0,或者从1变到0,而yj小于等于零.这时则有Ej:Ej0这也说明HNN神经元的能量减少.q 上面两点说明了DHNN在权系数矩阵W的对角线元素为0,而且W矩阵元素对称时,串行异步方式的DHNN是稳定的.B. 并行同步方式并行同步方式q 由上述对串行异步和对称权值型的DHNN的稳定性分析过程

29、知,单个神经元的状态变化引起的Lyapunov函数的变化量Ej(t)0 因此, 并行同步且权值对称的并行同步且权值对称的DHNN的所有神经元引起的Lyapunov函数的变化量为:0(t)E(t)y(t)yEE1j1jjnjnj 故上面两点说明了DHNN在权系数矩阵W的对角线元素为0,而且W矩阵元素对称时,并行同步方式的DHNN是稳定的.q 基于上述分析,Coben和Grossberg在1983年给出了关于HNN稳定的充分条件,他们指出: 如果权系数矩阵如果权系数矩阵W是一个对称矩阵是一个对称矩阵,并且并且,对角线元素为对角线元素为0.则这个网络是稳定的则这个网络是稳定的. 即是说在权系数矩阵W

30、中,若i=j时, Wij=0ij时,Wij=Wji则HNN是稳定的. 应该指出: 这只是HNN稳定的充分条件,而不是必要条件. 在实际中有很多稳定的HNN,但是它们并不满足权系数矩阵w是对称矩阵这一条件. x1 x3 x2 y1 y3 y2 图 4 对角线权系数为 0 的对称网另一图示 w12 w13 w23 w21 w32 w31 q 由上面的分析可知: 无自反馈的权系数对称HNN是稳定. 它如图4所示. 例例2 2：计算例：计算例1 1中中3 3节点模型的个状态的能量。节点模型的个状态的能量。首先选择状态首先选择状态y y1 1y y2 2y y3 3= =（011011），此时，网络的能

31、量为：），此时，网络的能量为：再选择状态再选择状态y y1 1y y2 2y y3 3= =（110110），同理，网络的能量为：），同理，网络的能量为：61*31*00*) 5(1*1*) 3(1*0*21*0*1332211322331132112yyyyywyywyywE60*31*01*) 5(0*1*) 3(0*1*21*1*1332211322331132112yyyyywyywyywE 其余状态能量如表其余状态能量如表2 2所示：所示： y1y2y3E0000001301000116100-5101-4110-6111-2 显然，状态显然，状态y y1 1y y2 2y y3 3

32、= =（110110）处的能量最小。从任意状态开始，）处的能量最小。从任意状态开始，网络沿能量减小（包括同一级能量）方向更新状态，最终能网络沿能量减小（包括同一级能量）方向更新状态，最终能达到对应能量极小的稳态。达到对应能量极小的稳态。例：运行图所示例：运行图所示4节点模型，并计算其各状态的能量。节点模型，并计算其各状态的能量。任意给定一个初始状态为：任意给定一个初始状态为：v(0)1,0,1,0，先计算先计算E(0)得得 E(0)1.0第一轮迭代：第一轮迭代：v1(1)sgn(2.8-6.3)=sgn (-3.5)=0v2(1) sgn(3.4+4.7-(-4.3)=sgn (12.4)=

33、1v3(1) sgn(2.8-(-2.5)=sgn (5.3)= 1v4(1) sgn(-3.1-5.9-(-9.6)=sgn (0.6)= 1E(1)-14.0v1(2)sgn(3.4+2.8-3.1-6.3)=sgn (-3.2)=0v2(2) sgn(4.7-1.2-(-4.3)=sgn (7.8)= 1v3(2) sgn(4.7-5.9-(-2.5)=sgn (1.3)= 1v4(2) sgn(-1.2-5.9-(-9.6)=sgn (2.5)= 1E(2)-14.0DHNN的能量函数的能量函数 因此，因此，v0,1,1,1是网络的一个稳定状态。实际上此例中有是网络的一个稳定状态。实际

34、上此例中有4个神经元其可能的状态有个神经元其可能的状态有16个，为便于验算，将其各状态的个，为便于验算，将其各状态的能量列表如下：能量列表如下：显然，网络稳定状态下的能量为最小值显然，网络稳定状态下的能量为最小值-14。网络能量极小状态即为网络的一个稳定平衡状态。能量极小点的网络能量极小状态即为网络的一个稳定平衡状态。能量极小点的存在为信息的分布式存储记忆、优化计算提供了基础。如果将记存在为信息的分布式存储记忆、优化计算提供了基础。如果将记忆的样本信息存贮于不同的能量极小点，当输入某一模式时，网忆的样本信息存贮于不同的能量极小点，当输入某一模式时，网络就能络就能“联想记忆联想记忆”与其相关的存

35、储样本，实现联想记忆。与其相关的存储样本，实现联想记忆。DHNN能量极小点的设计能量极小点的设计只有当网络的能量极小点可被选择和设定时，网络所只有当网络的能量极小点可被选择和设定时，网络所具有的能力才能发挥作用。具有的能力才能发挥作用。能量极小点的分布是由网络的连接权值和阈值所决定能量极小点的分布是由网络的连接权值和阈值所决定的。因此设计能量极小点的核心就是如何获取一组合的。因此设计能量极小点的核心就是如何获取一组合适的参数值。适的参数值。有两种方法供选择：有两种方法供选择：(1)根据求解问题的要求直接设计出所需要的连接枚值根据求解问题的要求直接设计出所需要的连接枚值(2)通过提供的附加机制来

36、训练网络，使其自动调整连通过提供的附加机制来训练网络，使其自动调整连接权值，产生期望的能量极小点。接权值，产生期望的能量极小点。前者为静态学习方法，对于一个具体应用而言，权矩前者为静态学习方法，对于一个具体应用而言，权矩阵为定常矩阵、如阵为定常矩阵、如TSP求解等。后者为动态学习方法，求解等。后者为动态学习方法，如联想记忆等。如联想记忆等。 例例 以以3节点节点Hopfield网络为例，假定要求设计的能量网络为例，假定要求设计的能量极小点为状态极小点为状态v1v2v3(010)和和v1v2v3(111)，且网络，且网络参数参数(权值、阂值权值、阂值)的取值范围为的取值范围为-1,1试确定满足条

37、件试确定满足条件的网络参数。的网络参数。记记v1v2v3(010)为状态为状态A，v1v2v3(111)为状态为状态B对于状态对于状态A，节点激励函数必须满足下列不等式：，节点激励函数必须满足下列不等式：对于状态对于状态B，节点激励函数必须满足下列不等式：，节点激励函数必须满足下列不等式： 1212233( )0( )0( )0awbcw 121311223223133( )0( )0()0dwwewwfww 用上面的不等式组，可以求解出用上面的不等式组，可以求解出6个未知量的允许取个未知量的允许取值范围。值范围。假设取假设取w120.5，则：，则：由由(a)式，式，0.511，取，取10.7

38、由由(d)式，式，0.2w13 1，取，取W130.4由由(b)式，式，-120，取，取2-0.2由由(e)式，式，-0.7w231，取，取w230.1由由(c)式，式，0.13 1，取，取30.4；3也满足也满足(f)式。式。于是，确定了一组权值和阈值：于是，确定了一组权值和阈值：w120.5，w130.4，w230.110.7，2-0.2，30.4可以验证，利用这组参数构成的可以验证，利用这组参数构成的Hopfield网络对于任网络对于任何起始状态，始终都将达到所期望的稳态何起始状态，始终都将达到所期望的稳态A和稳态和稳态BDHNN能量极小点的设计能量极小点的设计5.2.3 HNN5.2.

39、3 HNN的联想记忆的联想记忆 所谓联想可以理解为从一种事物联系到与其所谓联想可以理解为从一种事物联系到与其相关的事物的过程相关的事物的过程. . 日常生活中日常生活中, ,从一种事物出发从一种事物出发, ,人们会非常自然地人们会非常自然地联想到与该事物密切相关或有因果关系的种种事联想到与该事物密切相关或有因果关系的种种事务务. . 两种联想形式两种联想形式 自联想自联想(Auto-association) :(Auto-association) : 由某种代表事物由某种代表事物( (或该事物的主要特征或该事物的主要特征, ,或部分主或部分主要特征要特征) )联想到其所标示的实际事物。联想到其

40、所标示的实际事物。 从英文字头从英文字头“Newt”Newt”联想到联想到“Newton”Newton”。 听到歌曲的一部分可以联想起整个曲子。听到歌曲的一部分可以联想起整个曲子。 异联想异联想( (他联想他联想)(Hetero -association) :)(Hetero -association) : 由一种事物由一种事物( (或该事物的主要特征或该事物的主要特征, ,或部分主要特或部分主要特征征) )联想到与其密切相关的另一事物。联想到与其密切相关的另一事物。 从质能关系式从质能关系式E=mcE=mc2 2联想到其发明者爱因斯坦。联想到其发明者爱因斯坦。 看到某人的名字会联想起他的相貌

41、和特点。看到某人的名字会联想起他的相貌和特点。 人脑从一种事物得到对应事物的两种途径人脑从一种事物得到对应事物的两种途径 按时间顺序对相关事物进行思考按时间顺序对相关事物进行思考 可通过时间表来回忆某一阶段所做的工作可通过时间表来回忆某一阶段所做的工作. . 通过事物本质特征的对比来确定事物的属性通过事物本质特征的对比来确定事物的属性 由提示信息或局部信息对事物进行回忆或确认由提示信息或局部信息对事物进行回忆或确认. .qHNNHNN的一个功能是可用于联想记忆的一个功能是可用于联想记忆, ,也即是联想存储也即是联想存储器器. .这是人类的智能特点之一这是人类的智能特点之一. . 人类的所谓人类

42、的所谓“触景生情触景生情”就是见到一些类同过去接触的就是见到一些类同过去接触的景物景物, ,容易产生对过去情景的回昧和思忆容易产生对过去情景的回昧和思忆. . 对于对于HNN,HNN,用它作联想记忆时用它作联想记忆时, ,首先通过一个学习训练过首先通过一个学习训练过程确定网络中的权系数程确定网络中的权系数, ,使所记忆的信息在网络的使所记忆的信息在网络的n n维超维超立方体的某一个顶角的能量最小立方体的某一个顶角的能量最小. . 当网络的权系数确定之后当网络的权系数确定之后, ,只要向网络给出输入向量只要向网络给出输入向量, ,这这个向量可能是局部数据个向量可能是局部数据. . 即不完全或部分

43、不正确的数据即不完全或部分不正确的数据, ,但是网络仍然产生所但是网络仍然产生所记忆的信息的完整输出记忆的信息的完整输出. .q19841984年年HopfieldHopfield提出一种用提出一种用n n维维HNNHNN作联想存储器的作联想存储器的结构结构. . HNNHNN联想存储器的主要思想为联想存储器的主要思想为: : 根据欲存储的信息的表示形式和维数根据欲存储的信息的表示形式和维数, ,设计相应的设计相应的HNNHNN结构结构 将欲存储的信息设计为将欲存储的信息设计为HNNHNN的动力学过程的已知的渐的动力学过程的已知的渐近稳定平衡点近稳定平衡点 通过学习和设计算法寻求合适的权值矩阵

44、将稳定状态通过学习和设计算法寻求合适的权值矩阵将稳定状态存储到网络中存储到网络中q 在在HNNHNN联想存储器中联想存储器中, ,权系数的赋值规则权系数的赋值规则HebbHebb规则规则, ,即为存储即为存储向量的外积存储规则向量的外积存储规则, ,其原理如下其原理如下: : 设有m个样本存储向量X1,X2,Xm,其中Xi=Xi1,Xi2,.,Xi,n把这m个样本向量存储入HNN中,则在网络中第i,j两个节点之间权系数的值为(权值学习规则):mjijijiXXWjkikij,.,2 , 1,0,时当时当其中k为样本向量Xk的下标,k=1,2,m;i,j分别是样本向量Xk的第i,j分量Xk,i,

45、Xk,j的下标. 如果把系统的稳定点视做一个记忆的话，那如果把系统的稳定点视做一个记忆的话，那么从初始状态朝这个稳定点移动的过程就是么从初始状态朝这个稳定点移动的过程就是寻找该记忆的过程。寻找该记忆的过程。 用用 DHNN实现联想记忆需要考虑两个重要的问题：实现联想记忆需要考虑两个重要的问题：怎样按记忆确定网络的怎样按记忆确定网络的W和和 ；网络给定之后如何分析它的记忆容量。下面将分别网络给定之后如何分析它的记忆容量。下面将分别讨论：讨论：1、权值的设计方法权值的设计方法2、记忆容量分析记忆容量分析3、权值修正的其它方法权值修正的其它方法权值的设计方法权值的设计方法 权值设计的方法有外积法、伪

46、逆法、正交设计法等。权值设计的方法有外积法、伪逆法、正交设计法等。 外积法（外积法（Hebb学习规则）学习规则）：是一种比较简单，在一定条件：是一种比较简单，在一定条件下行之有效的方法。下行之有效的方法。niwxxwIXXWnnIRXmKXiimkkjkiijmkTKKnK1 0 ,1,11单位阵，则为给定输入按上述规则求出权矩阵后，网络已经将模式存入网络的按上述规则求出权矩阵后，网络已经将模式存入网络的连接权中。在联想过程中，先给出一个原始模式，使网连接权中。在联想过程中，先给出一个原始模式，使网络处于某种初始状态下，用网络方程动态运行，最后达络处于某种初始状态下，用网络方程动态运行，最后达

47、到一个稳定状态。如果此稳定状态对应于网络已存储的到一个稳定状态。如果此稳定状态对应于网络已存储的某个模式，则称模式是由模式联想起来的。某个模式，则称模式是由模式联想起来的。记忆容量问题记忆容量问题 设计设计DHNNDHNN网络的目的网络的目的, ,是希望通过所设计的权是希望通过所设计的权值矩阵值矩阵W W储存多个期望模式储存多个期望模式. . 因此因此, ,在在DHNNDHNN用于联想记忆问题用于联想记忆问题, ,记忆容量问题是记忆容量问题是一个必须回答的基本问题一个必须回答的基本问题. . 当网络只记忆一个稳定模式时当网络只记忆一个稳定模式时, ,该模式肯定被该模式肯定被网络准确无误地记忆住

48、网络准确无误地记忆住, ,即所设计的即所设计的W W值一定值一定能够满足正比于输入和输出矢量的乘积关系能够满足正比于输入和输出矢量的乘积关系. . 但当需要记忆的模式增多时但当需要记忆的模式增多时, ,网络记忆可能出现网络记忆可能出现问题问题. . 按照按照HebbHebb规则求出权矩阵后，可以认为已有规则求出权矩阵后，可以认为已有M M个模式个模式存入网络的连接权中。在联想过程中，先给出原始存入网络的连接权中。在联想过程中，先给出原始模式模式m m0 0，使网络处于某种初始状态下，用网络方程，使网络处于某种初始状态下，用网络方程动态运行，最后到达一个稳定状态。如果此稳定状动态运行，最后到达一

49、个稳定状态。如果此稳定状态对应于已存储的态对应于已存储的M M个模式中的某个模式个模式中的某个模式m mk k, ,则称模则称模式式m mk k是由模式是由模式m m0 0联想起来的。在这里举例说明。联想起来的。在这里举例说明。 例例3.3.对于一个对于一个4 4神经元的网络，取阈值为神经元的网络，取阈值为0 0。给定两。给定两个模式存储于网络中：个模式存储于网络中： m m1 1:Y:Y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,1,1,=1,1,1,1, m m2 2:Y:Y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,

50、-1,-1.=-1,-1,-1,-1.mjijijiXXWjkikij,.,2 , 1,0,时当时当 按照按照HebbHebb规则规则可求得权矩阵：可求得权矩阵：111213142122232431323334414243440222202222022220wwwwwwwwWwwwwwwwwjn1iiji,j(t)ywf1)(ty 给出用于联想的原始模式：给出用于联想的原始模式： m mA A:Y:Y=y=y1 1,y,y2 2,y,y3 3,y,y4 4=1,1,-1,1,=1,1,-1,1,运用网络方程：运用网络方程： 得到：得到： Y(1)=1,1,1,1,Y(1)=1,1,1,1,再次

51、运行，得到再次运行，得到 Y(2)=1,1,1,1Y(2)=1,1,1,1。 这时网络已处于稳定状态：这时网络已处于稳定状态：Y=1,1,1,1Y=1,1,1,1。而这。而这个稳定状态正好是网络已记忆的模式个稳定状态正好是网络已记忆的模式m m1 1，由此可，由此可以认为以认为m m1 1是由模式是由模式m mA A联想起来的。联想起来的。 若给出用于联想的原始模式为：若给出用于联想的原始模式为： m mB B:Y:Y=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,-1,1,=-1,-1,-1,1,则得到另一稳定状态则得到另一稳定状态 Y=-1,-1,-1,-1Y=-1,

52、-1,-1,-1即模式即模式m m2 2。 再看一例。再看一例。例例4.4.存储如下记忆模式：若给出用于联想的原始模式存储如下记忆模式：若给出用于联想的原始模式为：为： m m1 1:Y:Y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,1,=-1,1,1,1, m m2 2:Y:Y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-1,1,1,=-1,-1,1,1, m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,-1.=-1,1,1,-1.则其权矩阵为：则其权矩阵为：111

53、213142122232431323334414243440131101131011110wwwwwwwwWwwwwwwww 给出联想模式：给出联想模式： m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,1,1,-1.=-1,1,1,-1.但网络运行稳定在模式但网络运行稳定在模式 m m1 1:Y:Y(1)(1)=-1,1,1,1=-1,1,1,1而不是其自身模式而不是其自身模式m m3 3。 因此，因此，DHNNDHNN用于记忆联想时，是受其记忆容量和用于记忆联想时，是受其记忆容量和样本差异制约的。当记忆模式较少，且模式之间样本差异制约的。当记

54、忆模式较少，且模式之间的差异较大，则联想的结果就比较正确；而当需的差异较大，则联想的结果就比较正确；而当需记忆的模式较多，容易引起混淆时，网络到达的记忆的模式较多，容易引起混淆时，网络到达的稳定状态往往不是已记忆的模式；再者，当需记稳定状态往往不是已记忆的模式；再者，当需记忆的模式之间较为相近时，网络就不能辨别出正忆的模式之间较为相近时，网络就不能辨别出正确的模式，甚至连自身都会搞错，即使用已记忆确的模式，甚至连自身都会搞错，即使用已记忆的模式作为联想模式（自联想），也可能出错，的模式作为联想模式（自联想），也可能出错，如例如例4 4。 当网络只记忆一个稳定的模式时，该模式网络只记忆一个稳定的

55、模式时，该模式肯定被网络准确无误的记忆住。但当所要肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，记忆的模式增加时，情况则发生了变化，主要表现在下列两点上：主要表现在下列两点上：1、权值移动权值移动2、交叉干扰交叉干扰当网络用于联想记忆时，就涉及到网络的记忆容量问题。对当网络用于联想记忆时，就涉及到网络的记忆容量问题。对此不做专门讨论，仅给出一些研究结果。此不做专门讨论，仅给出一些研究结果。权值移动权值移动 在网络的学习过程中，网络对权值的记忆实在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值际上是逐个实现的。即对权值W，有程序，有程序: 当网络当网络准

56、确的记忆准确的记忆X1时，为了记忆时，为了记忆X2,需要在记忆样本需要在记忆样本X1的权值上加上对样本的权值上加上对样本X2的记忆项的记忆项X2 X2T-I，将权值在，将权值在原来值的基础上产生了移动。这样网络有可能部分地原来值的基础上产生了移动。这样网络有可能部分地遗忘了以前已记忆的模式。遗忘了以前已记忆的模式。endIXXWWqkforWTKK, 1 0 从动力学的角度来看，从动力学的角度来看，k值较小时，网值较小时，网络络Hebb学习规则可以使输入学习样本成学习规则可以使输入学习样本成为其吸引子。随着为其吸引子。随着k值的增加，不但难以值的增加，不但难以使后来的样本成为网络的吸引子，而且

57、使后来的样本成为网络的吸引子，而且有可能使以记忆住的吸引子的吸引域变有可能使以记忆住的吸引子的吸引域变小，使原来处于吸引子位置上的样本从小，使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发吸引子的位置移动。对一记忆的样本发生遗忘，这种现象称为生遗忘，这种现象称为“疲劳疲劳”。交叉干扰交叉干扰 网络在学习多个样本后，在回忆阶段，即验证该记网络在学习多个样本后，在回忆阶段，即验证该记忆样本时所产生的干扰，称为交叉干扰忆样本时所产生的干扰，称为交叉干扰。 对外积型设计而言，如果输入样本是彼此正交的，对外积型设计而言，如果输入样本是彼此正交的，n个神经元的网络其记忆容量的上界为个神经元

58、的网络其记忆容量的上界为n。但是在大。但是在大多数情况下，学习样本不可能是正交的，因而网络多数情况下，学习样本不可能是正交的，因而网络的记忆容量要比的记忆容量要比n小得多，一般为小得多，一般为(0.130.15)n。权值修正的其它方法权值修正的其它方法1、学习规则2、伪逆法3、正交化权值设计 学习规则学习规则 学习规则基本公式是学习规则基本公式是： 即通过计算该神经元节点的实际激励值即通过计算该神经元节点的实际激励值A(t)，与期望状态，与期望状态T(t)进行比较，若不满进行比较，若不满足要求，将两者的误差的一部分作为调足要求，将两者的误差的一部分作为调整量，若满足要求，则相应的权值保持整量，

59、若满足要求，则相应的权值保持不变。不变。 tPtAtTtwtwPWijij1伪逆法伪逆法 求出权矩阵满秩，其逆存在，则可线性无关的，则如果样本之间是为伪逆，有其中由此可得输入输出之间用权值W来映射，则有设输入样本WXXXXXXXNWNYXWNXXXXTTTN, sgn, 121*X用用伪逆法求出的权伪逆法求出的权W可以保证在自己输入时仍能收可以保证在自己输入时仍能收敛到样本自己。如果敛到样本自己。如果N与输入与输入X完全相同，则完全相同，则W也也可以是对称的，因而满足稳定工作的条件。其实只可以是对称的，因而满足稳定工作的条件。其实只要满足要满足Y矩阵中每一个元与矩阵中每一个元与WX矩阵中的每个

60、元有相矩阵中的每个元有相同的符号就可以满足收敛到本身。同的符号就可以满足收敛到本身。正交化权值设计正交化权值设计 这一方法是由这一方法是由Li和和Mechel提出来的，其出发点为：提出来的，其出发点为： (1)要保证系统在异步工作时的稳定性，则它的权是对要保证系统在异步工作时的稳定性，则它的权是对称的称的 (2 )要保证所有的要求的记忆样本都能收敛到自己，不要保证所有的要求的记忆样本都能收敛到自己，不会出现错误的其他收敛值会出现错误的其他收敛值 (3)要求伪稳定点的数目尽可能地少。要求伪稳定点的数目尽可能地少。 (4)要求稳定点吸引域尽可能地大。要求稳定点吸引域尽可能地大。其状态转换公式为其状