《反馈神经网络》演示PPT

1、1 第五章第五章 反馈神经网络反馈神经网络 2 Hopfield Hopfield网络分为离散型和连续型两种网络模型，网络分为离散型和连续型两种网络模型， 分别记作分别记作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN (Continues Hopfield Neural Network)CHNN (Continues Hopfield Neural Network)，本章，本章 重点讨论前一种类型。重点讨论前一种类型。 根据神经网络运行过程中的信息流向，可分为前馈式根

2、据神经网络运行过程中的信息流向，可分为前馈式 和反馈式两种基本类型。前馈网络的输出仅由当前输入和和反馈式两种基本类型。前馈网络的输出仅由当前输入和 权矩阵决定，而与网络先前的输出状态无关。权矩阵决定，而与网络先前的输出状态无关。 美国加州理工学院物理学家美国加州理工学院物理学家J.J.HopfieldJ.J.Hopfield教授于教授于19821982 年提出一种单层反馈神经网络，后来人们将这种反馈网络年提出一种单层反馈神经网络，后来人们将这种反馈网络 称作称作Hopfield Hopfield 网。网。 3 5.1.1 5.1.1 网络的结构与工作方式网络的结构与工作方式 离散型反馈网络的拓

3、扑结构离散型反馈网络的拓扑结构 x1 x2 xi xn T1 T2 Ti Tn 5.15.1离散型离散型HopfieldHopfield神经网络神经网络 4 (1)(1)网络的状态网络的状态 DHNN网中的每个神经元都有相同的功能，其输出称网中的每个神经元都有相同的功能，其输出称 为状态，用为状态，用 xj 表示。表示。 )net( fx jj j=1,2,n 所有神经元状态的集合就构成反馈网络的状态所有神经元状态的集合就构成反馈网络的状态 X=x1,x2,xnT 反馈网络的输入就是网络的状态初始值，表示为反馈网络的输入就是网络的状态初始值，表示为 X(0)=x1(0),x2(0),xn(0)

4、T 反馈网络在外界输入激发下，从初始状态进入动态演反馈网络在外界输入激发下，从初始状态进入动态演 变过程，变化规律为变过程，变化规律为 5 01 01 sgn j j jj net net netx）（ j=1,2,n (5.1) DHNN网的转移函数常采用符号函数网的转移函数常采用符号函数 式中净输入为式中净输入为 n i jiijj Txwnet 1 )(j=1,2,n (5.2) 对于对于DHNN网，一般有网，一般有wii=0 ，wij=wji。 反馈网络稳定时每个神经元的状态都不再改变，此时反馈网络稳定时每个神经元的状态都不再改变，此时 的稳定状态就是网络的输出，表示为的稳定状态就是网

5、络的输出，表示为 t )t(limX 6 (2)(2)网络的异步工作方式网络的异步工作方式 ijtx ijtnet tx j j j )( )(sgn ) 1( (5.3) (3)(3)网络的同步工作方式网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元网络的同步工作方式是一种并行方式，所有神经元 同时调整状态，即同时调整状态，即 )(sgn) 1(tnettx jj j=1,2,n (5.4) 网络运行时每次只有一个网络运行时每次只有一个神经元神经元 j 进行状态的调整计进行状态的调整计 算，其它神经元的状态均保持不变，即算，其它神经元的状态均保持不变，即 7 5.1.2.1

6、网络的稳定性网络的稳定性 DHNN网实质上是一个离散的非线性动力学系统。网网实质上是一个离散的非线性动力学系统。网 络从初态络从初态X(0)开始，若能经有限次递归后，其状态不再发开始，若能经有限次递归后，其状态不再发 生变化，即生变化，即X(t+1)X(t)，则称该网络是稳定的。，则称该网络是稳定的。 如果网络是稳定的，它可以从任一初态收敛到一个稳态：如果网络是稳定的，它可以从任一初态收敛到一个稳态： (a) (b) (c) 5.1.2 网络的稳定性与吸引子网络的稳定性与吸引子 8 若网络是不稳定的，由于若网络是不稳定的，由于DHNNDHNN 网每个节点的状态只有网每个节点的状态只有1 1和和

7、-1-1 两种情况，网络不可能出现无两种情况，网络不可能出现无 限发散的情况，而只可能出现限发散的情况，而只可能出现 限幅的自持振荡，这种网络称限幅的自持振荡，这种网络称 为有限环网络。为有限环网络。 (a) (b) (c) 如果网络状态的轨迹在某个确如果网络状态的轨迹在某个确 定的范围内变迁，但既不重复定的范围内变迁，但既不重复 也不停止，状态变化为无穷多也不停止，状态变化为无穷多 个，轨迹也不发散到无穷远，个，轨迹也不发散到无穷远， 这种现象称为混沌。这种现象称为混沌。 (a) (b) (c) 9 网络达到稳定时的状态网络达到稳定时的状态X，称为网络的，称为网络的 吸引子吸引子。 如果把问

8、题的解编码为网络的吸引子，如果把问题的解编码为网络的吸引子，从初态向吸引子演从初态向吸引子演 变变的过程便是求解计算的过程。的过程便是求解计算的过程。 若把需记忆的样本信息存储于网络不同的吸引子，当输若把需记忆的样本信息存储于网络不同的吸引子，当输 入含有部分记忆信息的样本时，网络的演变过程便是入含有部分记忆信息的样本时，网络的演变过程便是从从 部分信息寻找全部信息部分信息寻找全部信息，即，即联想回忆联想回忆的过程。的过程。 定义定义5.1 若网络的状态若网络的状态X 满足满足 X=f(WX-T) 则称则称X为网络的吸引子。为网络的吸引子。 5.1.2.2 吸引子与能量函数吸引子与能量函数 1

9、0 定理定理5.1 对于对于DHNN 网，若网，若按异步方式按异步方式调整网络状态，调整网络状态， 且连接权矩阵且连接权矩阵W 为对称阵为对称阵，则对于任意初态，网络都最，则对于任意初态，网络都最 终收敛到一个吸引子。终收敛到一个吸引子。 定理定理5.1证明：证明： 定义网络的能量函数为：定义网络的能量函数为： TXWXX)t ()t ()t ()t (E TT 2 1 (5.5) 令网络的能量改变量为令网络的能量改变量为E，状态改变量为，状态改变量为X，有，有 )() 1()(tttEEE (5.6) )() 1()(tttXXX (5.7) 5.1.2.2 吸引子与能量函数吸引子与能量函数

10、 11 将式将式(5.4)、(5.6)代入代入(5.5)，则网络能量可进一步展开为，则网络能量可进一步展开为 )t (E)1t (E)t (E )()()( 2 1 )()()()()()( 2 1 TXWXXTXXXXWXXttttttttt TTTT TXXWXWXX)()()()()( 2 1 ttttt TTT (5.8) )()()()( 2 1 ttTtt TT XWXWXX 将将 代入上式代入上式 ，并考虑到，并考虑到W为为 对称矩阵，有对称矩阵，有 T j txt 0,.,0),(, 0,.,0)(X jjj n i jiijj wtxTxwtxtE)()()()( 2 2 1

11、 1 12 )t (net)t (x)t (E jj (5.9) 上式中可能出现的情况：上式中可能出现的情况： 情况情况a a ：xj(t)=-1, xj(t+1)=1, 由式由式(5.7)得得xj(t)=2, 由式由式 (5.1)知，知，netj(t)0，代入式，代入式(5.9)，得，得E(t)0。 情况情况b b ：xj(t)=1, xj(t+1)=-1, 所以所以xj(t)=-2, 由式由式(5.1)知知 ，netj(t)0，代入式，代入式(5.9)，得，得E(t)P，则权值矩阵为记忆样本的外积和，则权值矩阵为记忆样本的外积和 P 1p Tpp )( XXW (5.16) 5.1.3 网络的权值设计网络的权值设计 24 若取若取wjj=0，上式应写为，上式应写为 P 1p Tpp I)(XXW(5.17) 式中式中I为单位矩阵。上式写成分量元素形式，有为单位矩阵。上式写成分量元素形式，有 ji0 jixx w P 1p p j p i ij (5.18) 下面检验所给样本能否称为吸引子。下面检验所给样本能否称为吸引子。 因为因为P个样本个样本Xp，p=1,2,P，x -1,1n 是两两正交的，