《反馈神经网络》 (2)ppt课件

1、第三讲第三讲 反响神经网络反响神经网络本章知识构造本章知识构造 概述概述 离散离散HopfieldHopfield网络网络 延续延续HopfieldHopfield网络网络 延续延续HopfieldHopfield网络的运用网络的运用优化计算优化计算3.1 3.1 概述概述 联想特性是联想特性是ANNANN的一个重要特性。前面引见的的一个重要特性。前面引见的网络模型属于前向网络模型属于前向NNNN，从学习的角度看，具有，从学习的角度看，具有较强的学习才干，构造简单，易于编程。从系较强的学习才干，构造简单，易于编程。从系统角度看，属于静态的非线性映射，经过简单统角度看，属于静态的非线性映射，经过

2、简单的非线性处置单元的复合映射可获得复杂的非的非线性处置单元的复合映射可获得复杂的非线性处置才干。但他们因此缺乏反响，所以并线性处置才干。但他们因此缺乏反响，所以并不是强有力的动力学系统。联想特性是不是强有力的动力学系统。联想特性是ANNANN的一的一个重要特性，主要包括联想映射和联想记忆。个重要特性，主要包括联想映射和联想记忆。前馈网络具有诱人的联想映射才干，而不具备前馈网络具有诱人的联想映射才干，而不具备联想记忆才干。在反响联想记忆才干。在反响NNNN中，我们将着重引见中，我们将着重引见NNNN的联想记忆和优化计算的才干。的联想记忆和优化计算的才干。3.1 3.1 概述概述 联想记忆是指当

3、网络输入某个矢量后，网络联想记忆是指当网络输入某个矢量后，网络经过反响演化，从网络输出端得到另一个矢量，经过反响演化，从网络输出端得到另一个矢量，这样输出矢量就称作网络从初始输入矢量联想得这样输出矢量就称作网络从初始输入矢量联想得到的一个稳定记忆，即网络的一个平衡点。优化到的一个稳定记忆，即网络的一个平衡点。优化计算是指当某一问题存在多种解法时，可以设计计算是指当某一问题存在多种解法时，可以设计一个目的函数，然后寻求满足这一目的函数的最一个目的函数，然后寻求满足这一目的函数的最优解法。例如，在很多情况下可以把能量函数作优解法。例如，在很多情况下可以把能量函数作为目的函数，得到的最优解法需求使能

4、量函数到为目的函数，得到的最优解法需求使能量函数到达极小点，即能量函数的稳定平衡点。总之，反达极小点，即能量函数的稳定平衡点。总之，反响网络的设计思想就是在初始输入下，使网络经响网络的设计思想就是在初始输入下，使网络经过反响计算最后到达稳定形状，这时的输出即是过反响计算最后到达稳定形状，这时的输出即是用户需求的平衡点。用户需求的平衡点。 19821982年年, ,美国加州工学院美国加州工学院J.HopfieldJ.Hopfield提出了可用作联提出了可用作联想存储器和优化计算的反响网络想存储器和优化计算的反响网络, ,这个网络称为这个网络称为HopfieldHopfield神经网络神经网络(H

5、NN)(HNN)模型模型, ,也称也称HopfieldHopfield模型模型. .HNNHNN是一种循环是一种循环NN,NN,从输出到输从输出到输入有反响衔接入有反响衔接. .HNNHNN有有离散型和离散型和延续型延续型两种两种. .3.1 3.1 概述概述 反响网络反响网络(Recurrent Network),(Recurrent Network),又称自联又称自联想记忆网络想记忆网络, ,如以下图所示如以下图所示: :3.1 3.1 概述概述 反响网络的目的是为了设计一个网络，储存一反响网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络经过组平衡点，使得当给网

6、络一组初始值时，网络经过自行运转而最终收敛到这个设计的平衡点上。自行运转而最终收敛到这个设计的平衡点上。 反响网络可以表现出非线性动力学系统的动态反响网络可以表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：特性。它所具有的主要特性为以下两点：第一、网络系统具有假设干个稳定形状。当网络从第一、网络系统具有假设干个稳定形状。当网络从某某一初始形状开场运动，网络系统总可以收敛到某一一初始形状开场运动，网络系统总可以收敛到某一个稳定的平衡形状；个稳定的平衡形状；第二、系统稳定的平衡形状可以经过设计网络的权第二、系统稳定的平衡形状可以经过设计网络的权值而被存储到网络中。值而被存储到网络中

7、。 3.1 3.1 概述概述 由于由于HNNHNN为动力学系统为动力学系统, ,且其平衡态关系到信且其平衡态关系到信息的存储与联想记忆息的存储与联想记忆, ,其平衡态与稳定性是非其平衡态与稳定性是非常关键的问题。常关键的问题。 反响网络根据信号的时间域的性质的分类为反响网络根据信号的时间域的性质的分类为 假设激活函数假设激活函数f()f()是一个二值型的阶跃函数是一个二值型的阶跃函数, ,那么称此网络为离散型反响网络那么称此网络为离散型反响网络, ,主要用于联主要用于联想记忆想记忆; ; 假设假设f()f()为一个延续单调上升的有界函数为一个延续单调上升的有界函数, ,这类网络被称为延续型反响

8、网络这类网络被称为延续型反响网络, ,主要用于优主要用于优化计算。化计算。3.1 3.1 概述概述 反响反响NNNN由于其输出端有反响到其输入端由于其输出端有反响到其输入端, ,所以所以,HNN,HNN在在输入的鼓励下输入的鼓励下, ,会产生不断的形状变化会产生不断的形状变化. . 当有输入之后当有输入之后, ,可以求取出可以求取出HNNHNN的输出的输出, ,这个输出反响这个输出反响到输入从而产生新的输出到输入从而产生新的输出, ,这个反响过程不断进展下这个反响过程不断进展下去去. . 假设假设HNNHNN是一个能稳定的网络是一个能稳定的网络, ,那么这个反响与迭代那么这个反响与迭代的计算过

9、程所产生的变化越来越小的计算过程所产生的变化越来越小, ,一旦到达了稳定一旦到达了稳定平衡形状平衡形状, ,那么那么HNNHNN就会输出一个稳定的恒值就会输出一个稳定的恒值. . 对于对于HNNHNN来说来说, ,关键是在于确定它在稳定条件下的权关键是在于确定它在稳定条件下的权系数系数. . 应该指出应该指出, ,反响网络有稳定的反响网络有稳定的, ,也有不稳定的也有不稳定的. . 对于对于HNNHNN来说来说, ,还存在如何判别它是稳定网络还存在如何判别它是稳定网络, ,亦或是亦或是不稳定的问题不稳定的问题. .而判别根据是什么而判别根据是什么, ,也是需求确定的也是需求确定的. .3.1

10、3.1 概述概述3.1 3.1 概述概述反响网络与前向网络的区别反响网络与前向网络的区别构造不同构造不同 前向神经网络：没有反响环节。前向神经网络：没有反响环节。 反响神经网络：一个动态系统，存在稳反响神经网络：一个动态系统，存在稳定性问题。关键问题定性问题。关键问题模型不同模型不同 前向网络：从输入到输出的映射关系，前向网络：从输入到输出的映射关系，不思索延时。不思索延时。 反响网络：思索延时，是一个动态系反响网络：思索延时，是一个动态系统，模型是动态方程微分方程。统，模型是动态方程微分方程。3.1 3.1 概述概述网络的演化过程不同网络的演化过程不同 前向网络：经过学习得到衔接权然后前向网

11、络：经过学习得到衔接权然后完成指定义务。完成指定义务。 反响网络：反响网络：( (优化计算时优化计算时) )首先确定首先确定w w不是经过学习而来的，而是经过目的不是经过学习而来的，而是经过目的函数用解析算法得到的，设定网络的函数用解析算法得到的，设定网络的初始形状，然后系统运动，假设稳定，初始形状，然后系统运动，假设稳定，那么最后到达一个稳定形状，对应的输那么最后到达一个稳定形状，对应的输出就是优化问题的解。出就是优化问题的解。3.1 3.1 概述概述学习方法不同学习方法不同 前向网络：误差修正算法前向网络：误差修正算法BPBP算法。算法。 反向网络：海布反向网络：海布(Hebb)(Hebb

12、)算法算法( (用于联想、分用于联想、分类的时候类的时候) )运行学习算法wHebb3.1 3.1 概述概述 运用范围不同运用范围不同 前向网络：只能用于联想映射及其分前向网络：只能用于联想映射及其分类。类。 反响网络：同时也可以用于联想记忆反响网络：同时也可以用于联想记忆和约束优化问题的求解。和约束优化问题的求解。 对于如对于如HNNHNN类似的反响网络类似的反响网络, ,研讨的重点为研讨的重点为: : 如何经过网络神经元形状的变化而最终稳定如何经过网络神经元形状的变化而最终稳定于平衡形状于平衡形状, ,得到联想存储或优化计算的结果得到联想存储或优化计算的结果 网络的稳定性问题网络的稳定性问

13、题 怎样设计和利用稳定的反响网络怎样设计和利用稳定的反响网络 网络系统可以到达稳定收敛网络系统可以到达稳定收敛 网络的稳定点网络的稳定点 吸引域的设计吸引域的设计 下面开场引见下面开场引见HNN,HNN,分别引见两种主要的分别引见两种主要的HNN:HNN: 离散离散HopfieldHopfield网络网络 延续延续HopfieldHopfield网络网络3.1 3.1 概述概述3.2 3.2 离散离散HopfieldHopfield网络网络Hopfield最早提出的网络是神经元的输出为0-1二值的NN,所以,也称离散的HNN (简称为DHNN).下面分别讨论DHNN的构造动力学稳定性(网络收敛

14、性)联想存储中的运用记忆容量问题在在DHNNDHNN网络中网络中, ,神经元所输出的离散值神经元所输出的离散值1 1和和0 0分别表示神经元处分别表示神经元处于兴奋和抑制形状于兴奋和抑制形状. .各神经元经过赋有权重的衔接来互联各神经元经过赋有权重的衔接来互联. .下面下面, ,首先思索由三个神经元组成的首先思索由三个神经元组成的DHNN,DHNN,其构造如图其构造如图3.13.1所示所示. ..1离散离散HopfieldHopfield网络的构造网络的构造 x1 x3 x2 y1 y3 y2 图 3.1 三神经元组成的 HNN w11 w12 w13 w21 w23 w31

15、w22 w33 w32 .1离散离散HopfieldHopfield网络的构造网络的构造 在图中在图中, ,第第0 0层仅仅是作为网络的输入层仅仅是作为网络的输入, ,它不是它不是实践神经元实践神经元, ,所以无计算功能所以无计算功能; ; 而第一层是实践神经元而第一层是实践神经元, ,故而执行对输入信息故而执行对输入信息和权系数乘积求累加和和权系数乘积求累加和, ,并由非线性函数并由非线性函数f f处处置后产生输出信息置后产生输出信息. . f f是一个简单的阈值函效是一个简单的阈值函效, ,假设假设 神经元的输入信息的综合大于阈值神经元的输入信息的综合大于阈值, ,那么那么

16、, ,神经元的输出就取值为神经元的输出就取值为1;1; 小于阈值小于阈值, ,那么神经元的输出就取值为那么神经元的输出就取值为0.0. 对于二值神经元对于二值神经元, ,它的计算公式如下它的计算公式如下jn1iiji,jxywu.1离散离散HopfieldHopfield网络的构造网络的构造其中xj为外部输入,并且有yj=1,当ujj时yj=0,当uj0,有有: y(t+ t)=y(t) 那么称网络是稳定的那么称网络是稳定的. 吸引子：假设吸引子：假设y(t)是网络的稳定形状，那么称是网络的稳定形状，那么称y(t)是网络的稳是网络的稳定吸引子。定吸引子。 吸引域：可以稳定在吸引

17、子吸引域：可以稳定在吸引子y(t)的一切初始形状的一切初始形状y(0)的集合，的集合，称为吸引子称为吸引子y(t)的吸引域。的吸引域。 从DHNN可以看出: 它是一种多输入,含有阈值的二值非线性动力系统. 在动力系统中,平衡稳定形状可以了解为系统的某种方式的能量函数在系统运动过程中,其能量值不断减小,最后处于最小值. 因此,对HNN可引入一个Lyapunov函数,即所谓能量函数:3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性 即有) 1 (t)y(t)yx-(t)(t)yyw21E1n1ijjjjjiji,njn1jjjn1jjjn1in1jjiji,(t)y(t)yx-

18、(t)(t)yyw21-E3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性 对对HNNHNN的能量函数有几点阐明的能量函数有几点阐明: : 当对反响网络运用能量函数后当对反响网络运用能量函数后, ,从任一初始形从任一初始形状开场状开场, ,由于在每次迭代后都能满足由于在每次迭代后都能满足E E0,0,所以网络的能量将会越来越小所以网络的能量将会越来越小. . 由于能量函数存在下界由于能量函数存在下界, ,因此其最后趋于稳定因此其最后趋于稳定点点E=0. E=0. HopfieldHopfield能量函数的物理意义是能量函数的物理意义是: : 在那些渐进稳定点的吸引域内在那些

19、渐进稳定点的吸引域内, ,离吸引点越远离吸引点越远的形状的形状, ,所具有的能量越大所具有的能量越大. . 由于能量函数的单调下降特性由于能量函数的单调下降特性, ,保证形状的运保证形状的运动方向能从远离吸引点处动方向能从远离吸引点处, ,不断地趋于吸引点不断地趋于吸引点, ,直到到达稳定点直到到达稳定点. .3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性能量函数是反响网络中的重要概念能量函数是反响网络中的重要概念. .根据能量函数根据能量函数可以方便的判别系统的稳定性可以方便的判别系统的稳定性; ;HopfieldHopfield选择的能量函数选择的能量函数, ,只是保

20、证系统稳定和渐只是保证系统稳定和渐进稳定的充分条件进稳定的充分条件, ,而不是必要条件而不是必要条件, ,其能量函数其能量函数也不是独一的也不是独一的. .在形状更新过程中，包括三种情况：由在形状更新过程中，包括三种情况：由0 0变为变为1 1；由由1 1变为变为0 0及形状坚持不变。及形状坚持不变。3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性 类似于研讨动力学系统稳定性的Lyapunov稳定性实际,上述DHNN的稳定性可由分析上述定义的Lyapunov函数E的变化规律而提示. 因此,由神经元j的形状变化量yj(t)所引起的的能量变化量Ej为:)2(t)yx-(t)yw

21、(w21-(t)y(t)yEEjn1ijjiij,ji,jjj 假设所讨论的HNN是对称网络,即有wi,j=wj,i,i,j=1,2,.,n,那么有)3(t)yx-(t)ywEjn1ijjiji,j那么yj(t+1)=fuj(t)-j式(3)那么可记为:Ej(t)=-uj(t)+jyj(t) (3A)下面分别对串行异步方式和并行同步方式,证明对称二值型HNN是稳定的.3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性 假设,令jn1iiji,jx(t)yw(t)uA.串行异步方式串行异步方式对串行异步和对称权值型的对串行异步和对称权值型的HNN,基于式基于式(3A) Ej(t

22、)=-uj(t)+j yj(t) (3A)思索如下两种情况思索如下两种情况:假设假设ujj,即神经元即神经元j的输入综合大于阈值的输入综合大于阈值,那么从二值神经元那么从二值神经元的计算公式知道的计算公式知道:yj的值坚持为的值坚持为1,或者从或者从0变到变到1.这阐明这阐明yj的变化的变化 yj只能是只能是0或正值或正值.这时很明显有这时很明显有 Ej: Ej0这阐明这阐明HNN神经元的能量减少或不变神经元的能量减少或不变.3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性 假设假设ujj,即神经元即神经元j的输入综合小于阈值的输入综合小于阈值,那么知那么知yj的的值坚持为

23、值坚持为0,或者从或者从1变到变到0,而而 yj小于等于零小于等于零.这时那么有这时那么有 Ej: Ej0 这也阐明这也阐明HNN神经元的能量减少神经元的能量减少. 上面两点阐明了上面两点阐明了DHNN在权系数矩阵在权系数矩阵W的对角线元素为的对角线元素为0,而且而且W矩阵元素对称时矩阵元素对称时,串行异步方式的串行异步方式的DHNN是稳定是稳定的的.3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性B. 并行同步方式并行同步方式由上述对串行异步和对称权值型的由上述对串行异步和对称权值型的DHNN的稳定性分析过程知的稳定性分析过程知,单个神经元的形状变化引起的单个神经元的形状

24、变化引起的Lyapunov函数的变化量函数的变化量 Ej(t)0 因此因此, 并行同步且权值对称的并行同步且权值对称的DHNN的一切神经元引起的的一切神经元引起的Lyapunov函数的变化量为函数的变化量为:3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性0(t)E(t)y(t)yEE1j1jjnjnj 故上面两点阐明了DHNN在权系数矩阵W的对角线元素为0,而且W矩阵元素对称时,并行同步方式的DHNN是稳定的. 基于上述分析,Coben和Grossberg在1983年给出了关于HNN稳定的充分条件,他们指出: 假设权系数矩阵W是一个对称矩阵,并且,对角线元素为0.那么这个

25、网络是稳定的. 即是说在权系数矩阵W中,假设 i=j时, Wij=0 ij时,Wij=Wji 那么HNN是稳定的. 应该指出: 这只是HNN稳定的充分条件,而不是必要条件. 在实践中有很多稳定的HNN,但是它们并不满足权系数矩阵w是对称矩阵这一条件.3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性3.2.2 DHNN3.2.2 DHNN的动力学稳定性的动力学稳定性 x1 x3 x2 y1 y3 y2 图 3.4 对角线权系数为 0的对称网另一图示 w12 w13 w23 w21 w32 w31 由上面的分析可知: 无自反响的权系数对称HNN是稳定. 它如图3.4所示.2.2

26、.3 HNN2.2.3 HNN的联想记忆的联想记忆 所谓联想可以了解为从一种事物联络到与其所谓联想可以了解为从一种事物联络到与其相关的事物的过程相关的事物的过程. . 日常生活中日常生活中, ,从一种事物出发从一种事物出发, ,人们会非常自人们会非常自然地联想到与该事物亲密相关或有因果关系然地联想到与该事物亲密相关或有因果关系的种种事务的种种事务. . 两种联想方式两种联想方式 自联想自联想(Auto-association) :(Auto-association) : 由某种代表事物由某种代表事物( (或该事物的主要特征或该事物的主要特征, ,或部或部分主要特征分主要特征) )联想到其所标示

27、的实践事物。联想到其所标示的实践事物。 从英文字头从英文字头“NewtNewt联想到联想到“NewtonNewton。 听到歌曲的一部分可以联想起整个曲子。听到歌曲的一部分可以联想起整个曲子。2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆异联想异联想( (他联想他联想)(Hetero -association) :)(Hetero -association) :由一种事物由一种事物( (或该事物的主要特征或该事物的主要特征, ,或部分主要特征或部分主要特征) )联想到与其亲密相关的另一事物。联想到与其亲密相关的另一事物。从质能关系式从质能关系式E=mc2E=mc2联想到其发明者爱因斯

28、坦。联想到其发明者爱因斯坦。看到某人的名字会联想起他的容颜和特点。看到某人的名字会联想起他的容颜和特点。人脑从一种事物得到对应事物的两种途径人脑从一种事物得到对应事物的两种途径按时间顺序对相关事物进展思索按时间顺序对相关事物进展思索可经过时间表来回想某一阶段所做的任务可经过时间表来回想某一阶段所做的任务. .经过事物本质特征的对比来确定事物的属性经过事物本质特征的对比来确定事物的属性由提示信息或部分信息对事物进展回想或确认由提示信息或部分信息对事物进展回想或确认. .2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆HNNHNN的一个功能是可用于联想记忆的一个功能是可用于联想记忆, ,也

29、即是联想存储也即是联想存储器器. .这是人类的智能特点之一这是人类的智能特点之一. .人类的所谓人类的所谓“触景生情就是见到一些类同过去接触景生情就是见到一些类同过去接触的景物触的景物, ,容易产生对过去情景的回昧和思忆容易产生对过去情景的回昧和思忆. .对于对于HNN,HNN,用它作联想记忆时用它作联想记忆时, ,首先经过一个学习训练首先经过一个学习训练过程确定网络中的权系数过程确定网络中的权系数, ,使所记忆的信息在网络的使所记忆的信息在网络的n n维超立方体的某一个顶角的能量最小维超立方体的某一个顶角的能量最小. .当网络的权系数确定之后当网络的权系数确定之后, ,只需向网络给出输入向量

30、只需向网络给出输入向量, ,这个向量能够是部分数据这个向量能够是部分数据. .即不完全或部分不正确的数据即不完全或部分不正确的数据, ,但是网络依然产生所但是网络依然产生所记忆的信息的完好输出记忆的信息的完好输出. .2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆19841984年年HopfieldHopfield提出一种用提出一种用n n维维HNNHNN作联想存储器的作联想存储器的构造构造. .HNNHNN联想存储器的主要思想为联想存储器的主要思想为: :根据欲存储的信息的表示方式和维数根据欲存储的信息的表示方式和维数, ,设计相应的设计相应的HNNHNN构造构造将欲存储的信息设计

31、为将欲存储的信息设计为HNNHNN的动力学过程的知的渐近的动力学过程的知的渐近稳定平衡点稳定平衡点经过学习和设计算法寻求适宜的权值矩阵将稳定形经过学习和设计算法寻求适宜的权值矩阵将稳定形状存储到网络中状存储到网络中2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆 在HNN联想存储器中,权系数的赋值规那么Hebb规那么,即为存储向量的外积存储规那么,其原理如下: 设有m个样本存储向量X1,X2,Xm,其中 Xi=Xi1,Xi2,.,Xi,n 把这m个样本向量存储入HNN中,那么在网络中第i,j两个节点 之间权系数的值为(权值学习规那么):mjijijiXXWjkikij,.,2 , 1,

32、0,时当时当其中k为样本向量Xk的下标,k=1,2,m;i,j分别是样本向量Xk的第i,j分量Xk,i,Xk,j的下标.2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆 假设把系统的稳定点视做一个记忆的话，那么从假设把系统的稳定点视做一个记忆的话，那么从初始形状朝这个稳定点挪动的过程就是寻觅该记初始形状朝这个稳定点挪动的过程就是寻觅该记忆的过程。忆的过程。 例例1 1：计算如图：计算如图3.53.5所示所示3 3节点节点DHNNDHNN的形状转移关系。的形状转移关系。思索到思索到DHNNDHNN的权值特性的权值特性wijwijwjiwji，可简化为图，可简化为图3.63.6右边的等价图

33、。右边的等价图。 x1 x3 x2 y1 y3 y2 w12 w13 w23 w21 w32 w31 2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆 图图3.6 3.6 一个一个3 3节点的节点的DHNNDHNN构造图构造图2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆 设网络参数为：设网络参数为：. 3, 0, 5, 3, 2, 1321322331132112wwwwww 如今以初始形状可恣意选定如今以初始形状可恣意选定y1y2y3=(000)y1y2y3=(000)为例为例, ,以异步以异步运转网络，调查各个节点的形状转移情况。如今思索每个节运转网络，调查各个节点的形

34、状转移情况。如今思索每个节点点y1y2y3y1y2y3以等概率以等概率1/n1/n被选择。被选择。 假定首先选择节点假定首先选择节点y1y1，那么节点形状为：，那么节点形状为： Net1=1Net1=1* *0+20+2* *0-(-5)=500-(-5)=50 节点节点1 1输出为：输出为： y1=1y1=1 即，网络形状由即，网络形状由000000变化到变化到100100，转移概率为，转移概率为1/31/3。2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆 如选择节点如选择节点y2 y2 ，那么节点形状为：，那么节点形状为： Net2=1Net2=1* *0+0+-3-3* *0-

35、0=00-0=0 节点节点2 2输出为：输出为： y1=0y1=0 即，网络形状由即，网络形状由000000变化到变化到000000，转移概率为，转移概率为1/31/3。 如选择节点如选择节点y3 y3 ，那么节点形状为：，那么节点形状为： Net3=2Net3=2* *0+0+-3-3* *0-3=-300-3=-30 节点节点3 3输出为：输出为： y3=0y3=0 即，网络形状由即，网络形状由000000变化到变化到000000，同样，转移概率，同样，转移概率为为1/31/3。 从上面的网络运转可以看出，在网络参数给定的情况下，从上面的网络运转可以看出，在网络参数给定的情况下，网络形状以

36、网络形状以1/31/3的概率转移到的概率转移到100100，以，以2/32/3的概率转移到的概率转移到000000，即坚持不变，而不会转移到，即坚持不变，而不会转移到010010等其它形状。等其它形状。2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆 同理，还可以计算出其它形状之间的转移关系。同理，还可以计算出其它形状之间的转移关系。 从这个例子可以看出：从这个例子可以看出： 1 1形状形状110110是一个满足前面稳定定义的形状，即为是一个满足前面稳定定义的形状，即为稳定形状；稳定形状； 2 2从恣意初始形状开场，网络经过有限次形状更新后，从恣意初始形状开场，网络经过有限次形状更新后

37、，都将到达该稳定形状。都将到达该稳定形状。2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆 例例2 2：计算例：计算例1 1中中3 3节点模型的个形状的能量。节点模型的个形状的能量。 首先选择形状首先选择形状y1y2y3=y1y2y3=011011，此时，网络的能量为：，此时，网络的能量为： 再选择形状再选择形状y1y2y3=y1y2y3=110110，同理，网络的能量为：，同理，网络的能量为：61*31*00*) 5(1*1*) 3(1*0*21*0*1332211322331132112yyyyywyywyywE60*31*01*) 5(0*1*) 3(0*1*21*1*13322

38、11322331132112yyyyywyywyywE2.2.3 HNN2.2.3 HNN的联想记忆的联想记忆 其他形状能量如表其他形状能量如表2 2所示：所示： 表表2.2.模型各形状能量表模型各形状能量表y1y2y3E0000001301000116100-5101-4110-6111-2 显然，形状显然，形状y1y2y3=y1y2y3=110110处的能量最小。从恣意形状开场，处的能量最小。从恣意形状开场，网络沿能量减小包括同一级能量方向更新形状，最终能网络沿能量减小包括同一级能量方向更新形状，最终能到达对应能量极小的稳态。到达对应能量极小的稳态。2.2.4 2.2.4 记忆容量问题记忆

39、容量问题 设计设计DHNNDHNN网络的目的网络的目的, ,是希望经过所设计的权是希望经过所设计的权值矩阵值矩阵W W储存多个期望方式储存多个期望方式. . 因此因此, ,在在DHNNDHNN用于联想记忆问题用于联想记忆问题, ,记忆容量问记忆容量问题是一个必需回答的根本问题题是一个必需回答的根本问题. . 当网络只记忆一个稳定方式时当网络只记忆一个稳定方式时, ,该方式一定被该方式一定被网络准确无误地记忆住网络准确无误地记忆住, ,即所设计的即所设计的W W值一定值一定可以满足正比于输入和输出矢量的乘积关系可以满足正比于输入和输出矢量的乘积关系. . 但当需求记忆的方式增多时但当需求记忆的方

40、式增多时, ,网络记忆能够出网络记忆能够出现问题现问题. .2.2.4 2.2.4 记忆容量问题记忆容量问题 按照按照HebbHebb规那么求出权矩阵后，可以以为已有规那么求出权矩阵后，可以以为已有M M个方个方式存入网络的衔接权中。在联想过程中，先给出原式存入网络的衔接权中。在联想过程中，先给出原始方式始方式m0m0，使网络处于某种初始形状下，用网络方，使网络处于某种初始形状下，用网络方程动态运转，最后到达一个稳定形状。假设此稳定程动态运转，最后到达一个稳定形状。假设此稳定形状对应于已存储的形状对应于已存储的M M个方式中的某个方式个方式中的某个方式mk,mk,那么那么称方式称方式mkmk是

41、由方式是由方式m0m0联想起来的。在这里举例阐明。联想起来的。在这里举例阐明。 例例3.3.对于一个对于一个4 4神经元的网络，取阈值为神经元的网络，取阈值为0 0。给定两。给定两个方式存储于网络中：个方式存储于网络中： m1:Y(1)=y1,y2,y3,y4=1,1,1,1,m1:Y(1)=y1,y2,y3,y4=1,1,1,1, m2:Y(2)=y1,y2,y3,y4=-1,-1,-1,-1. m2:Y(2)=y1,y2,y3,y4=-1,-1,-1,- 2.2.4 记忆容量问题记忆容量问题mjijijiXXWjkikij,.,2 , 1,0,时当时当 按照按照HebbHeb

42、b规那么规那么 可求得权矩阵：可求得权矩阵：111213142122232431323334414243440222202222022220wwwwwwwwWwwwwwwww2.2.4 2.2.4 记忆容量问题记忆容量问题jn1iiji,j(t)ywf1)(ty 给出用于联想的原始方式：给出用于联想的原始方式： mA:Y=y1,y2,y3,y4=1,1,-1,1,mA:Y=y1,y2,y3,y4=1,1,-1,1, 运用网络方程：运用网络方程： 得到：得到： Y(1)=1,1,1,1,Y(1)=1,1,1,1, 再次运转，得到再次运转，得到 Y(2)=1,1,1,1Y(2)=1,1,1,1。 这时网络已处于稳定形状：这时网络已处于稳定形状：Y=1,1,1,1Y=1,1,1,1。而。而这个稳定形状正好是网络已记忆的方式这个稳定形状正好是网络已记忆的方式m1m1，由此，由此可以以为可以以为m1m1是由方式是由方式mAmA联想起来的。联想起来的。2.2.4 2.2.4 记忆容量问题记忆容量问题 假设给出用于联想的原始方式为：假设给出用于联想的原始方式为： mB:Y=y1,y2