反馈型神经网络

1、1会计学反馈型神经网络反馈型神经网络第1页/共104页1n2I1I2InY1Y2YnX1X2Xnw11w12w1nw21w22w2nwn1wn2wnn1( )(),1 ,2,njjijijjiYf xfw Y Ijn 第2页/共104页第3页/共104页第4页/共104页第5页/共104页第6页/共104页x1 x2 xi xn T1 T2 Ti Tn 第7页/共104页10sgn10jjjjnetxnetnet（）j=1,2,nDHNN网的转移函数常采用符网的转移函数常采用符号函数号函数式中净输入为式中净输入为nijiijjTxwnet1)(j=1,2,n 对于对于DHNN网，一般有网，一般

2、有wii=0 ，wij=wji。 反馈网络稳定时每个神经元的状态反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络都不再改变，此时的稳定状态就是网络的输出，表示为的输出，表示为lim( )tt X第8页/共104页(1)sgn( )(1)( )iijjX tnet tiXtXtji itXwtXijnjjii)(sgn() 1(1第9页/共104页0)()(00tttXtttX(a) (b) (c) 第10页/共104页(a)(b)(c)(a)(b)(c)第11页/共104页部信息，即联想回忆的过程。p定义：若网络的状态X 满足X=f(net)=f(WX-T)则称X为网络的吸引子

3、。第12页/共104页态改变量为X，有1111122nnnTTij i ji iijiEwxxTxX W X X T E E t 1 E t )() 1()(tttXXX第13页/共104页 1212E Et 111 ()() ()() ()()()()() 22()()()()()()()()()TTTTTTTTTEttttttttttttttttt Ttt XXWXXXXTX W XX TX W XX WXX TXW XX WX() 0,.,0,(),0,.,0Tjtx tX2121( )( )()( )( )( )njij ijjjjijjEtx twxTx t wx t net t 第

4、14页/共104页E0，这样就保证了网络的稳定性和收敛性。 1() 1 ,() 0, ( 1 ) 1 ,0,02() 1 ,() 0, ( 1 )1 ,2,03()1 ,() 0, ( 1 ) 1 ,2,04()1 ,() 0, ( 1 )1 ,0,0jjjjjjjjjjjjjjjjX tnet tX tXEX tnet tX tXEX tnet tX tXEX tnet tX tXE ( 1) sgn()jjX tnet t ( )( )( )jjEtx t net t第15页/共104页第16页/共104页11( 1)()( ()( 1)2211( 1)() ( 1)()22ijijiii

5、ijiTTEwX tX tT X tX tX tW X tT X tX t ;nn nnX RW RI R第17页/共104页11( 1)() ( 1)()2211()( 1) ()( 1)2211() ( 1)( 1) ( 1)( 1)221() ( 1)( 1)21() ( 1)( 1)2TTTTTTTTTEX tW X tT X tX tX tW X tT X tX tX tW X tX tT X tX tX tW TX tX tNET tX tX t 0( 1 )( 1 )( 1 )( 1 )2( 1 ) 1 , ( 1 )12( 1 )1 , ( 1 ) 1iiiiiiiiX tX

6、tX tX tX tX tX tX t 第18页/共104页由于在NET(t)中的每个分量NETi(t)与在X(t+1)中每个分量Xi(t+1)同号，因而成立。所以E0。现在考虑在稳定点的情况，即E=0的情况：若X(t)=X(t+1)=X(t-1)，则E=0，且网络达到稳定。若X(t)X(t+1)=X(t-1)，则E=0，且网络到达周期为2的极限环。证毕。 () (1)( 1) 0TH tX tX ti 第19页/共104页(1)( )(1)sgn( )( )X tX tX tWX tX t(1) sgn( )( )(1)( )(1)X tWX tX tX tX tX t 第20页/共104页

7、证明：X是吸引子，即X=f(WX)，从而有fW(X)=fWX=fWX=XX也是该网络的吸引子。第21页/共104页证明：不妨设x1ax1b，xja=xjb，j=2,3,n。w11=0，由吸引子定义，有)()(2112111nibiiniaiiaTxwfTxwfx由假设条件知，由假设条件知，x1ax1b，故，故 -Xb 不是该网络的吸不是该网络的吸引子。引子。)(211b1nibiiTxwfx第22页/共104页第23页/共104页x1 -0.1 -0.5 0.2 x2 0.0 0.6 0.0 x3 第24页/共104页第25页/共104页态。态。 1/3 110 1/3 1/3 1/3 1/3

8、 010 000 2/3 001 x1 -0.1 1/3 1/3 100 2/3 1/3 -0.5 0.2 1/3 1/3 0.6 2/3 1/3 x2 0.0 0.0 x3 101 1/3 (a) 111 2/3 1/3 011 3/3 (b)DHNN网络状态演网络状态演变示意图变示意图第26页/共104页HNNHNN的联想记忆的联想记忆 所谓联想可以理解为从一种事物所谓联想可以理解为从一种事物联系到与其相关的事物的过程联系到与其相关的事物的过程. .日常生活中日常生活中, ,从一种事物出发从一种事物出发, ,人们人们会非常自然地联想到与该事物密切会非常自然地联想到与该事物密切相关或有因果关

9、系的种种事务相关或有因果关系的种种事务. .两种联想形式两种联想形式自联想自联想(Auto-association) :(Auto-association) :由某种代表事物由某种代表事物( (或该事物的主或该事物的主要特征要特征, ,或部分主要特征或部分主要特征) )联想到联想到其所标示的实际事物。其所标示的实际事物。从英文字头从英文字头“Newt”Newt”联想到联想到“Newton”Newton”。听到歌曲的一部分可以联想起整听到歌曲的一部分可以联想起整个曲子。个曲子。第27页/共104页HNNHNN的联想记忆的联想记忆异联想异联想( (他联想他联想)(Hetero -)(Hetero

10、-association) :association) :由一种事物由一种事物( (或该事物的主或该事物的主要特征要特征, ,或部分主要特征或部分主要特征) )联联想到与其密切相关的另一事想到与其密切相关的另一事物。物。从质能关系式从质能关系式E=mcE=mc2 2联想到联想到其发明者爱因斯坦。其发明者爱因斯坦。看到某人的名字会联想起他看到某人的名字会联想起他的相貌和特点。的相貌和特点。人脑从一种事物得到对应事物的两人脑从一种事物得到对应事物的两种途径种途径按时间顺序对相关事物进行思考按时间顺序对相关事物进行思考可通过时间表来回忆某一阶段所可通过时间表来回忆某一阶段所做的工作做的工作. .通过

11、事物本质特征的对比来确定事物通过事物本质特征的对比来确定事物的属性的属性由提示信息或局部信息对事物进由提示信息或局部信息对事物进行回忆或确认行回忆或确认. .第28页/共104页HNNHNN的联想记忆的联想记忆qHNNHNN的一个功能是可用于联想记忆的一个功能是可用于联想记忆, ,也也即是联想存储器即是联想存储器. .这是人类的智能特这是人类的智能特点之一点之一. . 人类的所谓人类的所谓“触景生情触景生情”就是见到一些就是见到一些类同过去接触的景物类同过去接触的景物, ,容易产生对过去容易产生对过去情景的回昧和思忆情景的回昧和思忆. . 对于对于HNN,HNN,用它作联想记忆时用它作联想记忆

12、时, ,首先通过首先通过一个学习训练过程确定网络中的权系数一个学习训练过程确定网络中的权系数, ,使所记忆的信息在网络的使所记忆的信息在网络的n n维超立方体维超立方体的某一个顶角的能量最小的某一个顶角的能量最小. . 当网络的权系数确定之后当网络的权系数确定之后, ,只要向网络只要向网络给出输入向量给出输入向量, ,这个向量可能是局部数这个向量可能是局部数据据. . 即不完全或部分不正确的数据即不完全或部分不正确的数据, ,但是但是网络仍然产生所记忆的信息的完整网络仍然产生所记忆的信息的完整输出输出. .第29页/共104页HNNHNN的联想记忆的联想记忆q19841984年年Hopfiel

13、dHopfield提出一种用提出一种用n n维维HNNHNN作作联想存储器的结构联想存储器的结构. . HNNHNN联想存储器的主要思想为联想存储器的主要思想为: : 根据欲存储的信息的表示形式和维根据欲存储的信息的表示形式和维数数, ,设计相应的设计相应的HNNHNN结构结构 将欲存储的信息设计为将欲存储的信息设计为HNNHNN的动力学的动力学过程的已知的渐近稳定平衡点过程的已知的渐近稳定平衡点 通过学习和设计算法寻求合适的权通过学习和设计算法寻求合适的权值矩阵将稳定状态存储到网络中值矩阵将稳定状态存储到网络中第30页/共104页为保证异步方式工作时为保证异步方式工作时网络收敛，网络收敛，W

14、 应为对称阵；应为对称阵；为保证同步方式工作时为保证同步方式工作时网络收敛，网络收敛，W 应为非负定对称应为非负定对称阵；阵；保证给定样本是网络的保证给定样本是网络的吸引子，并且要有一定的吸引吸引子，并且要有一定的吸引域。域。p下面将分别讨论。下面将分别讨论。权权值设计的方法值设计的方法记忆记忆容量分析容量分析权权值修正的其它值修正的其它方法方法第31页/共104页P1pTpp)(XXW第32页/共104页若取若取wjj=0，上式应写，上式应写为为 P1pTppI)(XXW式中式中I为单位矩阵。上式写成分量元素形式，为单位矩阵。上式写成分量元素形式，有有 ji0jixxwP1ppjpiij下面

15、检验所给样本能否称为吸引子。下面检验所给样本能否称为吸引子。因为因为P个样本个样本Xp，p=1,2,P，x -1,1n 是两是两两正交的，有两正交的，有kpnkpkTp0)(XX第33页/共104页kPpTppkI XXXWX1)()(1kPpkTppXXXXkkTkkPXXXX)(kkkPnPnXXX)( 因为因为n P，所，所以有以有ppppPnPnffXXXWX)sgn()(）（可见给定样本可见给定样本 Xp，p=1,2,P 是吸是吸引子。引子。第34页/共104页如果N个样本XK，K=1,2,N，不是两两正交，其连接权值依据Hebb规则求 得，在N个样本中任选一个样本XK作为初始输入：

16、 通 过 上 式 可 求 得 新 的 输 出XK=sgn(WXK)，取XK的第j个分量：KKNTKTTTNKKNXXXXXXXXXXWX2121第35页/共104页式中11122111211,1sgnsgnsgn()sgn()nKKjjiiinnnKKNNKijiijiijiiiinNnKKkkKjiijiikk K ijjXw XX X XX X XX X XXXX X Xsn NKkkniKikjkijKjjXXXnnXs, 11; 设 nj为 零 均 值 的 随 机 变 量 ，Xik,Xjk1,-1，而nj的方差2=(N-1)n , 。对于非正交的学习样本，如果满足 ，则网络仍可收敛到其

17、记忆样本上nN ) 1( nNn) 1( 第36页/共104页设样本维数为n，样本个数为N，则根据Hebb规则设计的DHNN，实现样本均为吸引子的充分条件（样本应满足的条件）为：（1）若N个样本两两正交，则充分条件为nxxjixxiTijTi)()()()()(0Nn（2）若m个样本不是两两正交，则为mmnN1ijjTixx)()(maxikm四、DHNN的联想记忆功能与权值设计第37页/共104页 例例 对于一个对于一个4 4神经元的网络，取阈值为神经元的网络，取阈值为0 0。给定两个模式存贮于网络之中给定两个模式存贮于网络之中 m m1 1： V V(1)(1)v v1 1,v ,v2 2

18、,v ,v3 3,v ,v4 4 1,1,1,11,1,1,1 m m2 2： V V(2)(2)v v1 1,v ,v2 2,v ,v3 3,v ,v4 4 -1,-1,-1,-1-1,-1,-1,-1计算可得权矩阵：计算可得权矩阵：111213142122232431323334414243440 2 2 22 0 2 22 2 0 22 2 2 0wwwwwwwwWwwwwwwww 给出用于联想的原始模式：给出用于联想的原始模式： m mA A ： V V(A)(A)1,1,-1,1,-1,11,1运行网络得到稳定状态运行网络得到稳定状态V V(1)(1)1,1,1,11,1,1,1，这

19、个稳定，这个稳定状态正好是网络已记忆的模式状态正好是网络已记忆的模式m m1 1由此可以认为由此可以认为A A是由模式是由模式m mA A联想起来的。联想起来的。如联想模式为：如联想模式为： m mB B ： V V(B)(B)-1,-1,-1,1-1,-1,-1,1则得到另一稳定状态则得到另一稳定状态:V:V(2)(2)-1,-1,-1,-1-1,-1,-1,-1，即模式，即模式m m2 2第38页/共104页 求出权矩阵满秩，其逆存在，则可线性无关的，则如果样本之间是为伪逆，有其中由此可得输入输出之间用权值W来映射，则有设输入样本WXXXXXXXNWNYXWNXXXXTTTN,sgn,12

20、1*X第39页/共104页(3)正交化的权值设计1)保证系统在异步工作时的稳定性；2)保证所有要求记忆的稳定平衡点都能收敛到自己；3)使伪稳定点（网络最终稳定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解）的数目尽可能的少；4)使稳定点的吸引域尽可能的大。四、DHNN的联想记忆功能与权值设计第40页/共104页 设给定m个样本向量 x(k)=(k=1,2,m) ，首先组成如下的n (m-1) 阶矩阵,)() 1()() 2()() 1 (mmmmxxxxxxATVUA),(,00021rdiagSS对A进行奇异值分解U是nn正交阵，V是(m-1) (m-1) 正交阵。(3)正交化的权值

21、设计第41页/共104页则 u1,u2,ur 是对应于非零奇异值1, 2, r 的左奇异向量，且组成了A的值域空间的正交基；ur+1,un 是 A的值域的正交补空间的正交基。 按如下方法组成连接权矩阵W和阈值向量b。)()(1mmrkTkkWxxbuuWU可表示成,121nrruuuuuU(3)正交化的权值设计所设计出的平衡稳定点能够保证收敛到自己并且有较大的稳定域。第42页/共104页DHNN的权值设计及网络工作过程示例例1 采用Hebb规则，设计离散Hopfield网络，判断样本是否均为吸引子，并考察这两个吸引子的吸引能力。 两个样本为1111,1111) 2() 1 (xx第43页/共1

22、04页02222022220222202) 2() 2() 1 () 1 (IxxxxWTT解 1）求连接权矩阵DHNN的权值设计及网络工作过程示例第44页/共104页) 2() 2() 1 () 1 (11116666)(,11116666)(xfWxfxfWxf可见，两个样本 均为网络的吸引子。不满足前面给出的充分条件，是否为吸引子需具体加以检验：2）判断样本是否为吸引子 两个样本不正交，根据第二种情况判断4maxikm5812mmnm第45页/共104页3）考察两个吸引子的吸引能力（联想记忆的功能) 显然它比较接近x(1),用异步方式按1,2,3,4的调整次序来演变网络：Txx1111)

23、 0 () 3 (1) 0 () 1 (1) 0 () 1 (1) 0 () 1 (1) 6 () 0 () 1 (443322111xxxxxxfxwfxnjjj) 1 (1111) 1 (xxT(1)可见，只需异步方式调整一步既收敛到 x(1) 。即第46页/共104页3）考察两个吸引子的吸引能力（联想记忆的功能) 显然它比较接近x(2),用异步方式按1,2,3,4的调整次序来演变网络：(2)可见，只需异步方式调整一步既收敛到 x(2) 。即) 2(1111) 1 (xxTTxx1111) 0 () 4(1) 0 () 1 (1) 0 () 1 (1) 0 () 1 (1) 6() 0 (

24、) 1 (443322111xxxxxxfxwfxnjjj第47页/共104页(3)可见，此时x(5)收敛到 x(2) 。即Txx1111) 0 () 5 (它与x(1)和x(2)的海明距离（两个向量不相同元素的个数）均为2。若按1,2,3,4的调整次序调整网络可得4 , 3 , 2) 0 () 1 (1) 2() 0 () 1 (111ixxfxwfxiinjjjTx1111) 1 (4 , 3 , 1) 1 () 2 (1) 6() 1 () 2 (122ixxfxwfxiinjjj) 2(1111) 2 (xxT即第48页/共104页4 , 2 , 1) 0 () 1 (1) 2 ()

25、0 () 1 (133ixxfxwfxiinjjjTx1111) 1 (3 , 2 , 1) 1 () 2 (1) 6 () 1 () 2 (144ixxfxwfxiinjjj) 1 (1111) 2 (xxT若按3,4,1,2的调整次序调整网络可得即即可见，此时x(5)收敛到 x(1) 。第49页/共104页11112226)()0 () 1 () 3 (fWxfWxfx下面对该例应用同步方式进行计算，仍取x(0)为x(3)， x(4)， x(5) 三种情况。Txx1111) 0 () 3 (1)可见， x(3)收敛到 x(1) 。第50页/共104页11112226)0 () 1 (fWx

26、fx(2)Txx1111) 0 () 4(可见， x(4)收敛到 x(2) 。11116666)1 () 2 (fWxfx第51页/共104页(3)Txx1111) 0 () 5 (11112222)0 () 1 (fWxfx) 0 (11112222)1 () 2 (xfWxfx 可见，它将在两个状态间跳跃，产生极限环为2的自持振荡。若根据前面的稳定性分析，由于此时连接权矩阵W不是非负定阵，所以出现了振荡。 第52页/共104页本之一，V是偏差项（可能是噪声、图形的缺损或畸变等），要求输出为Y=XK，即使之复原。(2) 他联想记忆（Hetero-AM） 规定两组样本之间有一定的对应关系XKY

27、K, K=1,2,N，例如，XK代表某人的照片，YK代表某人的姓 名 。 使 用 时 ， 若 输 入X=XK+V，要求输出为Y= YK。当网络只记忆一个稳定的模式时，该模式肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，主要表现在下列两点上：(1)权值移动(2)交叉干扰第53页/共104页前以记忆住的模式。 endIXXWWqkforWTKK, 10第54页/共104页网络在学习多个样本后，在回忆阶段即验证该记忆样本时，所产生的干扰，称为交叉干扰。对外积型设计而言，如果输入样本是彼此正交的，n个神经元的网络其记忆容量的上界为n。但是在大多数情况下，学习样本不可能是正交的

28、，因而网络的记忆容量要比n小得多，一般为(0.130.15)n，n为神经元数。第55页/共104页记忆容量问题记忆容量问题例例4.4.存储如下记忆模式：若给出用存储如下记忆模式：若给出用于联想的原始模式为：于联想的原始模式为： m m1 1:Y:Y(1)(1)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-=-1,1,1,1,1,1,1,1, m m2 2:Y:Y(2)(2)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-1,-=-1,-1,1,1,1,1,1, m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-=-1,1,1,

29、-1.1,1,1,-1.则其权矩阵为：则其权矩阵为：1112131421222324313233344142434401311 0113 10111 10wwwwwwwwWwwwwwwww 第56页/共104页记忆容量问题记忆容量问题 给出联想模式：给出联想模式： m m3 3:Y:Y(3)(3)=y=y1 1,y,y2 2,y,y3 3,y,y4 4=-=-1,1,1,-1.1,1,1,-1.但网络运行稳定在模式但网络运行稳定在模式 m m1 1:Y:Y(1)(1)=-1,1,1,1=-1,1,1,1而不是其自身模式而不是其自身模式m m3 3。第57页/共104页1、网络模型2、CHNN方

30、程的解及稳定性分析3、关于Hopfield能量函数的几点说明4、关于CHNN的几点结论第58页/共104页f()v1R1iRniR2iIiRiCiv2vnvi-vi第59页/共104页-+R1C1-+R2C2-+R3C3-+RnCnv1.I1I2I3InT1nT13T12v2v3vnT11Tn1第60页/共104页 1011tanh1niiijiijiijiixduucvuIdtRRvuxxxe 或iiiiijijnjiijiiiinjjijiiicIcRwcRcRvwudtdu,1,111101f()v1R1iRniR2iIiRiCiv2vnvi-vi第61页/共104页的一种特殊情况。视为

31、可以此可见，模型有相同的形式。由上式与则有如果令为向量矩阵形式：CHNNDHNNDHNNWvuuRvdiagwwwwWWvuunnnnnn, 0, ,12111111第62页/共104页个网络的特点，所以，下面着重分析不同激活函数关系对系统的稳定性的影响。1、激活函数为线性函数时2、激活函数为非线性函数时第63页/共104页1210iirvuUAUBAWAII 此时系统的状态方程为：其中。此系统的特征方程为：其中 为单位对角阵。通过对解出的特征值 ， ， ，的不同情况，可以得到不同的系统解的情况。第64页/共104页 :121:101111的稳定性有如下的定理关于能量项。入状态和输出值关系的上

32、式第三项表示一种输能量函数定义为CHNNdvvRIvvvwEniviiniiininjjiiji第65页/共104页 1111,0,001,2,1122iijjiiniiinniijjjijijjiiijjjvwwdvdEdEindtdtdtdvdEEdtv dtuEw vw vIvRw v 定理：若为单调连续递增的函数，则随着网络状态的变化，有当且仅当时，证明： 11niiiiiiiuIRdudvvdtdt 第66页/共104页 2111000niiiiiiidvdEvdtdtdEvdtdvdEidtdt 单调递增，仅当时第67页/共104页当对反馈网络应用能量函数后，从任一初始状态开始，因

33、为在每次迭代后都能满足E0，所以网络的能量将会越来越小，最后趋于稳定点E=0。Hopfield能量函数的物理意义是：在那些渐进稳定点的吸引域内，离吸引点越远的状态，所具有的能量越大，由于能量函数的单调下降特性，保证状态的运动方向能从远离吸引点处，不断地趋于吸引点，直到达到稳定点。第68页/共104页第69页/共104页之求出。第70页/共104页用字母A、B、C、D、E、分别代表这5个城市。当任选一条路径如B-D-E-A-C，则其总路径长度可表示为Nccc,21NcccC,21CBACEADEBDdddddS第71页/共104页次序城市12345A00010B10000C00001D01000

34、E00100第72页/共104页。（3）总共有N个城市=换位矩阵元素之和为N。(4）求巡回路径最短=网络能量函数的最小值对应于TSP的最短路径。第73页/共104页第74页/共104页当这项最小时，则它就表示访问N个城市的最短距离。, 1, 1111()( , )Nxy xi yixy xi yixy xiy iy iiddd 111111( , )2NNNxy xiy iy ixyiEd 第75页/共104页项前乘系数A/2，111NNxi xiij ixixjNxNiNijxi111112111N nNAxi xjxij i 第76页/共104页项式中，取平方值是为了使这项符合能量的表达形

35、式，同时也体现了对不符合约束条件时的一种惩罚；C/2为系数。yiNiNxNxyxiB1111201 1 NNxNixi21 12 NxNixiNC第77页/共104页111111112111111122()( , )22N NNN NNxi xjxi yixij iixy xNNNNNxixyy iy ixixyiABECDNd xi NxNyNiyiyxixyidD11 11) 1,(2第78页/共104页),( ixjy,yixi,),( ixxiI 101111112innnnvij i ji iiijiiiEwvvvIv dvR 111111112111111122()(,)22NNN

36、NNNxixjxiyixij iixy xNNNNNxixyxiy iy ixixyiABECDNd 第79页/共104页),()1 ()1 (,11ijijxyxyijijxyyjxiDdCBACNIxi)( 0)( 1jijiij11, 1, 1111()()NNxixixiyijyxij iy xNNNxyxyyiyixyyduuABdtCND diiiiijijnjiijiiiinjjijiiicIcRwcRcRvwudtdu,1,111101)tanh(1 21)(0uuuxixixixi第80页/共104页0u02. 00uuxixiuu00) 1(121000Nuunuxi000

37、( )1( )1 tanh()2xixiu tv tu第81页/共104页（3） 求0ttxidtdu。（4）求下一时刻的状态量i. tdtdututtuttxixixi000)()(（5）返回步骤（2）第82页/共104页 Hopfield网络在系统辨识中的网络在系统辨识中的应用应用 在系统辨识中，直接采用在系统辨识中，直接采用Hopfield神经网神经网络对时域内动态系统实现参数估计是一种络对时域内动态系统实现参数估计是一种简单而直接的动态系统辨识方法。该方法简单而直接的动态系统辨识方法。该方法的特点是根据的特点是根据Hopfield神经网络的动力学机神经网络的动力学机制，使其神经元的输出

38、值对应待识参数，制，使其神经元的输出值对应待识参数，则系统趋于稳定的过程就是待辨识参数辨则系统趋于稳定的过程就是待辨识参数辨识的过程。利用识的过程。利用Hopfield网络进行辨识时，网络进行辨识时，取所定义的辨识能量函数等于取所定义的辨识能量函数等于Hopfield网络网络标准能量函数，通过标准能量函数，通过Hopfield神经网络动态神经网络动态方程，得到方程，得到Hopfield网络的连接权矩阵和神网络的连接权矩阵和神经元的外部输入，然后将其代入经元的外部输入，然后将其代入Hopfield网网络动态方程运行，经过一段时间后，可得络动态方程运行，经过一段时间后，可得到稳定的参数辨到稳定的参

39、数辨识结果。第83页/共104页（1）系统描述 设待辨识为二阶线性系统的参数，系统的状态方程为ux Ax B其中、为待辨识的参数矩阵，取，且状态矢量，是单个控制输入。则二阶线性系统的参数的辨识过程就是向量的辨识过程。A BT111221222122AAAABBP12TxxxuP（1）第84页/共104页（2）参数辨识基本原理 用于辨识的可调系统为puxFx G 其中 ， ，取 。 11122122aaaaF12bb GT111221222122aaaabbV则式（1）和式（2）相减有：ueA F xB G 其中 为状态偏差。 ep e x x 用由于 线性无关，则当 时， ， ，从而实现 。

40、x0e FAGBVP（2）第85页/共104页（3）Hopfield网络辨识能量函数的设计为了实现，选择基于状态偏差变化率的参数辨识能量函数为：0e T12E e e 由于 TTTTTTTTTTTTTTTTTuuuu uuuu e ex Fx Gx Fx Gx x x Fx xGx F x x F Fx x F GG xGFxGG即 TTTTTTTTTTTTTTTTTTTTTTTTTTTTTT1212Euu uuuuuuu uu ux x x Fx xGx F x x F Fx x F GG xG FxGGx x x F FxGGx F GG Fxx Fx x F xxGG x 其中各项可表达

41、为如下表达式： T2212xxx x 第86页/共104页111211112TT121222212222 222222211 111 12 2 121 122 21 2 111 12 1 212 221 22 1 222 22 22 22 22 21 11 2 2 13 14 3 2 11 2 1 22 23 4 1 24 2xaaaaxxaaaaxa xa a xx a xa a xx a a xxa xa a xxa xv xvvxx v xvvxx vvxxv xvvxxv x x F FxTT2222221256uubb uvv uGG由于，则 11121TTTT1211 1 112

42、1 221 2 122 2 212222baau uxxua bx a bxa bx a bx uaab x F GGFxTTTT11 1 112 1 221 2 122 2 21 5 12 5 23 6 14 6 222u ua bx a bxa bx a bx uvvx vvxvvx vvx ux F GG FxTTTT11 1 112 1 221 2 122 2 222 a xx a xxa xx a xxx Fx x F xx FxTTTT1 12 222u uubx bx ux GG xx G第87页/共104页则有TTTTTTTTT1222 22 22 22 2121 11 2 2

43、 13 14 3 2 11 2 1 22 23 4 1 24 2222561 5 12 5 23 6 14 6 212122Euuu uxxv xvvxx v xvvxx vvxxv xvvxxv xvv uvvx vvxvvx vvx ux x x F FxGGx F GGFx TTTTTT211 1 112 1 221 2 122 2 21 12 21 1 12 1 23 2 14 2 25 16 21122Eu ua xx a xxa xx a xxbxu bxuvxx vxxvxx vxxvxu vxux Fx x F xx GG x12E E E第88页/共104页（4）用于辨识的H

44、opfield网络设计 Hopfield网络能量函数趋于极小的过程，就是估计矩阵和收敛于实际矩阵和的过程。通过构建一个具体的Hopfield网络，可进行参数辨识。Hopfield神经网络第个神经元的动态微分方程为：GFAB 1ddniiiij jijiiiuuCwvItRvg u 其中 ， 11uueg ue0 假定Hopfield神经元由理想放大器构成，即，同时取，则Hopfield神经网络动态方程变为：iR1iC ddiij jiiuwvtI（3）第89页/共104页 Hopfield网络的标准能量函数为： 1N0112ivij i jii iijiiiEwvvgv dvIvR由于，取Ho

45、pfield网络的输出对应待辨识参数，即，则RT111221222122aaaabbVN12ij i ji iijiEwvvIv可以看出如下关系成立：Nij jiiiEwvvI 利用Hopfield网络进行辨识时，取所定义的辨识能量函数与Hopfield网络标准能量函数相等，即，则由上式可得：NE Eij jiiiEwvvI第90页/共104页由根据函数对向量求导的定义，有111666Nj jiNNj jiEw vvIEEIw vv W V IV 由于，则有12E E E12EEEW V IVVV（4）第91页/共104页 由于12111221 12 2 12 1 25 1221 2 11 1

46、 21233124412551266222d1d2EEvvEEvxvxx vxxvxuvvvxx vxxvEEvvEEEvvEEvvEEvv V1 122 25 21 223 14 2 14 1 26 12 122 23 2 13 1 24 26 22151 12 22263 14 221 12 1 25 11 1 2222222222222xxxvxuxxvxvxx vxxvxuxxxxvxx vxxvxvxuxuvuvxuvxuxuvuvxuvxuvxvxxvxuvxxv21 111 212225 22 12 122223 14 1 26 11 211 21222 22 1223 1 24

47、 26 22151 12 22263 14 2000000000000 xxxxxxuxvxuxxxxxxuvxvxxvxuxxxxxxuxxxxxxuvxxvxvxuuxuvuvxu vxuuxvuvxu vxu11 122 131 242 22511222126000000vxxvxxvxxvxxvuxxuxuuxuxuxuv （5）第92页/共104页对比式（3）和式（4），可将网络得权值表示为：211 2122 122211 2122 122212212000000000000000000 xxxxuxxxxuxxxxuxxxxuuxuxuuxuxuW1 12 11 22 212xxx

48、xxxxxuxuxI（6）将式（6）代入式（3），可得到稳定的，通过，可得到网络最终辨识结果的输出。iug 第93页/共104页(5)仿真实例 针对二阶系统进行参数辨识。系统的状态方程为：ux Ax B Hopfield网络的输出对应待辨识参数，Hopfield网络权值和初值取零。 在仿真程序中，取，和为常数矩阵，取，。经过一段时间的仿真运行后，辨识参数的结果为：1MAB01025A0133BTT1112212221220 1 025 0 133AAAABBP8005.0T-0.0003 1.0038 0.0060 -24.9962 -0.0273 133.0231V 在仿真程序中，取，和为时变系数矩阵，。取，参数辨识过程的仿真结果如图所示。AB011+0.1sin 0.5 t025A01+0.1sin 0.2 t133B8005.0第94