反馈神经网络原理

一、反馈神经网络原理.简述反馈网络的特点是处理单元之间除前馈连接外还有反馈连接的情况。同前向神经网络相比有更强的计算能力，其最突出的优点是具有很强的联想记忆和优化计算功能。根据网络结构的特点，将它们分为两类:全反馈网络结构和部分反馈网络结构。.全反馈网络结构全反馈网络的突出代表就是由美国加州理工学院的J.Hopfield教授在1982年提出的Hopfield网络，一种单层反馈神经网络。Hopfield网络也是一种循环的神经网络，从输出到输入有反馈连接。Hopfield网络可以作为联想储存器，又称为联想记忆网络。Hopfield网络分为离散型和连续型两种网络模型。离散型Hopfield网络网络结构DHNN的特点是任一神经元的输出xi均通过链接权wij反馈至所有神经元xj作为输入，目的是为了让输出能够受到所有神经元的输出的控制，从而使得各个神经元的输出相互制约。每个神经元均设有一个阈值Tj，以反映对输入噪声的控制。DHNN可简记为N=（W,T）。输出神经元的取值为0/1或-1/1。对于中间层，任意两个神经元间的连接权值为%jMj广，〃神经元的连接是对称的。如果/广0，则称为无自反馈的Hopfield网络，反之则称为有自反馈的Hopfield网络。利用阈值函数对计算结果二值化。9-1感曲II卬Iktd阿维 图9-2Uopikld网结的网状结构T时刻神经元的输入为:>=ib.（t）为第i个神经元的阈值。t+1时刻的输出为网络的稳定性与吸引子(1)稳定性反馈网络是一种能够存储若干预先设置的稳定点的网络，作为非线性动力学系统，具有丰富的动态特性，如稳定性、有限环状态和混沌状态等；稳定性指的是经过有限次的递归后，状态不再发生改变；有限环状态指的是限幅的自持震荡;■1 05 0 05图93有限环同空混沌状态指的是网络状态的轨迹在某个确定的范围内变迁，既不重复也不停止，状态变化无穷多个，轨迹也不发散到无穷远。ft!5-3泡吨对于DHNN,由于网络状态是有限的，不可能出现混沌状态。利用Hopfield网络可实现联想记忆功能：用网络的稳态表示一种记忆模式，初始状态朝着稳态收敛的过程便是网络寻找记忆模式的过程，初态可视为记忆模式的部分信息，网络演变可视为从部分信息回忆起全部信息的过程，从而实现联想记忆。可实现优化求解问题：将带求解问的目标函数设置为网络能量函数，当能量函数趋于最小时，网络状态的输出就是问题的最优解。网络的初态视为问题的初始解，而网络从初始状态向稳态的收敛过程便是优化计算过程，这种寻优搜索是在网络演变过程中自动完成的。(2)吸引子网络的稳定状态X就是网络的吸引子，用于存储记忆信息。网络的演变过程就是从部分信息寻找全部信息，即联想回忆过程。吸引子有以下的性质：X=f(WX-T)，则X为网络的吸引子；对于DHNN，若按异步方式调整，且权矩阵W为对称，则对于任意初态，网络都最终收敛到一个吸引子；对于DHNN，若按同步方式调整，且权矩阵W为非负定对称，则对于任意初态，网络都最终收敛到一个吸引子；X为网络吸引子，且阈值T=0，在sign(0)处，xj(t+1)=xj(t)，则-X也一定是该网络的吸引子；吸引子的线性组合，也是吸引子；能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域；若使反馈网络具有联想能力，每个吸引子都应该具有一定的吸引域，只有这样，对于带有一定噪声或缺损的初始样本，网络才能经过动态演变而稳定到某一个吸引子状态，从而实现正确联想。反馈网络设计的目的就是要使网络能落到期望的稳定点上，并且还要具有尽可能大的吸引域，以增强联想功能。Lyapunov函数引入Lyapunov函数作为能量函数：E=fZZ4乂月-£瓦天/j=i]±i f=i(4)运行方式A.异步工作方式串行，网络每次只对一个神经元的状态进行调整计算，其他均不变。这样调整的顺序就有一定的影响了。可以随机选定或者按照固定的顺序。本次调整的结果会在下一个神经元的净输入中发挥作用。公式推导：=比=-^fr(r+ +1)—尸u+1)8十;FT«加F(。十YT(t\B=_2[F(f)+AF(0]：&h[F(O+1^(0]-[y(0Ay<0]1B 4=-AY\t)[wY(f｝i-S]-^M'JOwAKt(f)ATM)=-%3£翊41+禺-=一夕*)二叫比十%1Z网H+4a小*4】｝=« ：-I工幽*十%如果内«+】)=为8，则修了口)二。.故A£")=Q.如果M。)=l，M(F*l) ,则£吗片・吃父0,又勺二山Q+I)—乂⑴=一2右0,故1=1阻一WK。+耳<0-0Lr-i 」iV如果与『产一】，M«十】｝=1।则工与H+与急机又与以分=巧(£+1)一门(。=2>«故■al.AE©二-幼⑴[皆吁大马<Qn对于异步方式，若存在一个调整次序，使网络可以从状态X演变为Xa，则称X弱吸引到Xa；若对于任意调整次序，网络都可以从X演变为Xa，则称X强吸引到Xa。则对应弱吸引域和强吸引域。

B.同步工作方式并行，所有神经元同时进行状态调整计算。公式推导：这里沿用上交的变量定义，有+自算川丁图,⑴斗△打用一任⑶+ - ⑴十户⑺田=-ArT（/）w/（^-yArT（/）rtiAyr（/）-^yTG）ff二可必力/用・与”P3”。一再 "1在上文关于用打运行方式的时轮中，已稣证明年㈤二-3•⑺24乂+与WQ.因此_r=l .- 根据线性4匕数中短睥的原理，—：3了1。附AV］，1工0的条平上尾连接收值蜂阵回为非断定对称矩阵.2.1.3. 设计离散型Hopfield网络Hopfield网络实现联想记忆需要两个阶段记忆阶段和联系阶段。得到网络的权值有几种算法，分别是外积法、伪逆法、投影学习法和特征结构法。外积法：在Hopfield网络中公式改为:在Hopfield网络中公式改为:J，%*…,1口北=1［。， i=Ja用于调节比例，一般取2=此写为矩阵的形式;伪逆法:8=*（四）C.Elman神经网络1990年J.L.Elman针对语音处理问题提出了Elman神经网络。与Hopfield网络不同，它是一种典型的局部回归网络。

输入层数据反映了信号的空域信息，而连接层延迟则反映了信号的时域信息，这就是Elman神经网络可以用于时域和空域模式识别的原因。.盒中脑模型盒中脑状态（BrainStateinBox,简称BSB）模型是由J.Anderson发展起来的，由大脑结构引出的。它和简单的线性联想器有密切的关系。在BSB模型中，各单元的激活值被限制在一个最小值和一个最大值之间，典型的取值范围是[-1，1]区间。激活函数是一个作用在X（n）上的分段函数：+1 yi+I『G」（目）=，打（耳）一1€为仃）441-1 打（口）七一1二、引申问题.连续Hopfield网络书中没有详细讲，我们找了一篇国内的经典论文《浅析连续型Hopfield神经网络》。瓦, 八YO——E±J—— 0 ——E1连续14卬加Id神经网络第i个神经元的结构模型连续型Hopfield网络由r个如图1所示的神经元模型并联组成，每个神经元都与其他所有神经元相连，并联的电阻可以调整各神经元之间的连接强度，所有其他神经元的输出可以反馈到该神经元作为输入之一，同样，该神经元的输出也会作为所有其他神经元的输入，这样，所有神经元都随时间并行更新，网络状态随时间连续变化。输出电源—-+C,-7^-h用tz-.-由基尔霍犬电流定律得到等式:整理匕式旬输出电源—-+C,-7^-h用tz-.-由基尔霍犬电流定律得到等式:整理匕式旬刊:以上推导反映了连续型Hopfield网络的输入、状态、输出三者的连续更新，以上推导反映了连续型Hopfield网络的输入、状态、输出三者的连续更新，表示为运动方程组:Hopfield能量函数的定义Hopfield提出的对单层反馈动态网络的稳定性进行判别的函数是建立在能量基础上的，具有明确的物理意义：在系统的运动过程中，内部储存的能量随着时间的增加而逐渐减少，当运动到平衡状态时，系统的能量耗尽或变得最小，那么系统自然将在此平衡状态处渐近稳定，即有：lim(t)=Up，为此，当系统t78达到稳定状态时，可对Hopfield达到稳定状态时，可对Hopfield网络定义Hopfield能量函数如下：分析能量函数的单调性1时九尤j］期1时九尤j］期■二y心¥期1・炉5)如此dj/j小曲有单调递增的性有单调递增的性也=0。综上可dt该式中Ci为输入电容，Ci>0；vi="(ui)为Sigmoid函数，质，其导数①，(%)>0；(詈)2>0,当网络趋于稳定状态时有:得：m40，能量函数是单调递减的。分析能量函数的有界性E- 中wvv,+ —fv®-'vJ.第一项：因为吗,=，是由电子元器件的有界数组成的，而Sigmoid的JRij函数值是有界的，所以能量函数第一项有界。第二项：假设放大器的增益为 B,则.二 ，将第二项改写为JTXT.。若B->8,则放大器为理想放