《反馈神经网络》ppt课件

1、第五章第五章 反响神经网络反响神经网络 Hopfield Hopfield网络分为离散型和延续型两种网络模型，网络分为离散型和延续型两种网络模型，分别记作分别记作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN (Continues Hopfield Neural Network)CHNN (Continues Hopfield Neural Network)，本章，本章重点讨论前一种类型。重点讨论前一种类型。 根据神经网络运转过程中的信息流向，可分为前馈式根据神经网络运

2、转过程中的信息流向，可分为前馈式和反响式两种根本类型。前馈网络的输出仅由当前输入和和反响式两种根本类型。前馈网络的输出仅由当前输入和权矩阵决议，而与网络先前的输出形状无关。权矩阵决议，而与网络先前的输出形状无关。 美国加州理工学院物理学家美国加州理工学院物理学家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出一种单层反响神经网络，后来人们将这种反响网络年提出一种单层反响神经网络，后来人们将这种反响网络称作称作Hopfield Hopfield 网。网。 5.1.1 5.1.1 网络的构造与任务方式网络的构造与任务方式 离散型反响网络的拓扑构造离散型反响网络的拓

3、扑构造 x1 x2 xi xn T1 T2 Ti Tn 5.15.1离散型离散型HopfieldHopfield神经网络神经网络(1)(1)网络的形状网络的形状 DHNN DHNN网中的每个神经元都有一样的功能，网中的每个神经元都有一样的功能，其输出称为形状，用其输出称为形状，用 xj xj 表示。表示。)net( fxjjj=1,2,n 一切神经元形状的集合就构成反响网络的形状一切神经元形状的集合就构成反响网络的形状X=x1,x2,xnT 反响网络的输入就是网络的形状初始值，表示为反响网络的输入就是网络的形状初始值，表示为X(0)=x1(0),x2(0),xn(0)T 反响网络在外界输入激发

4、下，从初始形状进入动态演反响网络在外界输入激发下，从初始形状进入动态演化过程，变化规律为化过程，变化规律为0101sgnjjjjnetnetnetx）（j=1,2,n (5.1) DHNN网的转移函数常采用符号函数网的转移函数常采用符号函数 式中净输入为式中净输入为 nijiijjTxwnet1)(j=1,2,n (5.2) 对于对于DHNN网，普通有网，普通有wii=0 ，wij=wji。 反响网络稳定时每个神经元的形状都不再改动，此时反响网络稳定时每个神经元的形状都不再改动，此时的稳定形状就是网络的输出，表示为的稳定形状就是网络的输出，表示为 t)t(limX(2)(2)网络的异步任务方式

5、网络的异步任务方式 ijtxijtnettxjjj)()(sgn) 1(5.3) (3)(3)网络的同步任务方式网络的同步任务方式 网络的同步任务方式是一种并行方式，网络的同步任务方式是一种并行方式，一切神经元同时调整形状，即一切神经元同时调整形状，即 )(sgn) 1(tnettxjjj=1,2,n (5.4) 网络运转时每次只需一个神经元网络运转时每次只需一个神经元 j 进展形状的调整计进展形状的调整计算，其它神经元的形状均坚持不变，即算，其它神经元的形状均坚持不变，即5.1.2.1 网络的稳定性网络的稳定性 DHNN网本质上是一个离散的非线性动力学系统。网网本质上是一个离散的非线性动力学

6、系统。网络从初态络从初态X(0)开场，假设能经有限次递归后，其形状不再开场，假设能经有限次递归后，其形状不再发生变化，即发生变化，即X(t+1)X(t)，那么称该网络是稳定的。，那么称该网络是稳定的。 假设网络是稳定的，它可以从任一初态收敛到一个稳态：假设网络是稳定的，它可以从任一初态收敛到一个稳态： ( a ) ( b ) ( c ) 5.1.2 网络的稳定性与吸引子网络的稳定性与吸引子 假设网络是不稳定的，由于假设网络是不稳定的，由于DHNNDHNN网每个节点的形状只需网每个节点的形状只需1 1和和-1-1两种情况，网络不能够出两种情况，网络不能够出现无限发散的情况，而只能够现无限发散的情

7、况，而只能够出现限幅的自持振荡，这种网出现限幅的自持振荡，这种网络称为有限环网络。络称为有限环网络。 ( a ) ( b ) ( c ) 假设网络形状的轨迹在某个确假设网络形状的轨迹在某个确定的范围内变化，但既不反复定的范围内变化，但既不反复也不停顿，形状变化为无穷多也不停顿，形状变化为无穷多个，轨迹也不发散到无穷远，个，轨迹也不发散到无穷远，这种景象称为混沌。这种景象称为混沌。 (a ) (b ) (c ) 网络到达稳定时的形状网络到达稳定时的形状X，称为网络的，称为网络的 吸引子。吸引子。 假设把问题的解编码为网络的吸引子，从初态向吸引子演假设把问题的解编码为网络的吸引子，从初态向吸引子演

8、化的过程便是求解计算的过程。化的过程便是求解计算的过程。 假设把需记忆的样本信息存储于网络不同的吸引子，当假设把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演化过程便是输入含有部分记忆信息的样本时，网络的演化过程便是从部分信息寻觅全部信息，即联想回想的过程。从部分信息寻觅全部信息，即联想回想的过程。 定义定义5.1 假设网络的形状假设网络的形状X 满足满足X=f(WX-T) 那么称那么称X为网络的吸引子。为网络的吸引子。 5.1.2.2 吸引子与能量函数吸引子与能量函数 定理定理5.1 对于对于DHNN 网，假设按异步方式调整网络形网，假设按异步方式调整网络形

9、状，且衔接权矩阵状，且衔接权矩阵W 为对称阵，那么对于恣意初态，网为对称阵，那么对于恣意初态，网络都最终收敛到一个吸引子。络都最终收敛到一个吸引子。 定理定理5.1证明：证明： 定义网络的能量函数为：定义网络的能量函数为： TXWXX)t ()t ()t ()t (ETT21(5.5) 令网络的能量改动量为令网络的能量改动量为E，形状改动量为，形状改动量为X，有，有 )() 1()(tttEEE(5.6) )() 1()(tttXXX(5.7) 5.1.2.2 吸引子与能量函数吸引子与能量函数 将式将式(5.4)、(5.6)代入代入(5.5)，那么网络能量可进一步展开为，那么网络能量可进一步展

10、开为 )t (E)1t (E)t (E)()()(21)()()()()()(21TXWXXTXXXXWXXtttttttttTTTTTXXWXWXX)()()()()(21tttttTTT(5.8) )()()()(21ttTttTTXWXWXX将将 代入上式代入上式 ，并思索到，并思索到W为为对称矩阵，有对称矩阵，有 Tjtxt 0,.,0),(, 0,.,0)(XjjjnijiijjwtxTxwtxtE)()()()(2211 )t (net)t (x)t (Ejj(5.9) 上式中能够出现的情况：上式中能够出现的情况： 情况情况a a ：xj(t)=-1, xj(t+1)=1, xj(

11、t)=-1, xj(t+1)=1, 由式由式(5.7)(5.7)得得xj(t)=2, xj(t)=2, 由式由式(5.1)(5.1)知，知，netj(t)netj(t)0 0，代入，代入式式(5.9)(5.9)，得，得E(t)E(t)0 0。情况情况b b ：xj(t)=1, xj(t+1)=-1, xj(t)=1, xj(t+1)=-1, 所以所以xj(t)=-2, xj(t)=-2, 由式由式(5.1)(5.1)知，知，netj(t)0netj(t)0，代入，代入式式(5.9)(5.9)，得，得E(t)0E(t)P，那么权值矩阵为记忆样本的外积和，那么权值矩阵为记忆样本的外积和 P1pTpp)( XXW(5.16) 5.1.3 网络的权值设计网络的权值设计 假设取假设取wjj=0，上式应写为，上式应写为 P1pTppI)(XXW(5.17) 式中式中I为单位矩阵。上式写成分量元素方式，有为单位矩阵。上式写成分量元素方式，有 ji0jixxwP1ppjpiij(5.18) 下面检验所给样天性否称为吸引子。下面检验所给样天性否称为吸引子。 由于由于P个