智能控制(第2版)[刘金琨]chap8

1、第第8章章 高级神经网络高级神经网络 模糊系统与模糊神经网络既有联系又有区别，模糊系统与模糊神经网络既有联系又有区别，其联系表现为模糊神经网络在本质上是模糊系统的其联系表现为模糊神经网络在本质上是模糊系统的实现，其区别表现为模糊神经网络又具有神经网络实现，其区别表现为模糊神经网络又具有神经网络的特性。的特性。 神经网络与模糊系统的比较见表神经网络与模糊系统的比较见表8-1。模糊神经。模糊神经网络充分地利用了神经网络和模糊系统各自的优点，网络充分地利用了神经网络和模糊系统各自的优点，因而受到了重视。因而受到了重视。模糊系统模糊系统神经网络神经网络获取知识获取知识专家经验专家经验算法实例算法实例推

2、理机制推理机制启发式搜索启发式搜索并行计算并行计算推理速度推理速度低低高高容错性容错性低低非常高非常高学习机制学习机制归纳归纳调整权值调整权值自然语言自然语言实现实现明确的明确的不明显不明显自然语言自然语言灵活性灵活性高高低低表表8-1 模糊系统与神经网络的比较模糊系统与神经网络的比较 将神经网络的学习能力引到模糊系统中，将模将神经网络的学习能力引到模糊系统中，将模糊系统的模糊化处理、模糊推理、精确化计算通过糊系统的模糊化处理、模糊推理、精确化计算通过分布式的神经网络来表示是实现模糊系统自组织、分布式的神经网络来表示是实现模糊系统自组织、自学习的重要途径。在模糊神经网络中，神经网络自学习的重要

3、途径。在模糊神经网络中，神经网络的输入、输出节点用来表示模糊系统的输入、输出的输入、输出节点用来表示模糊系统的输入、输出信号，神经网络的隐含节点用来表示隶属函数和模信号，神经网络的隐含节点用来表示隶属函数和模糊规则，利用神经网络的并行处理能力使得模糊系糊规则，利用神经网络的并行处理能力使得模糊系统的推理能力大大提高。统的推理能力大大提高。 模糊神经网络在本质上是将常规的神经网络赋模糊神经网络在本质上是将常规的神经网络赋予模糊输入信号和模糊权值，其学习算法通常是神予模糊输入信号和模糊权值，其学习算法通常是神经网络学习算法或其推广。模糊神经网络技术已经经网络学习算法或其推广。模糊神经网络技术已经获

4、得了广泛的应用，当前的应用主要集中在以下几获得了广泛的应用，当前的应用主要集中在以下几个领域：模糊回归、模糊控制、模糊专家系统、模个领域：模糊回归、模糊控制、模糊专家系统、模糊矩阵方程、模糊建模和模糊模式识别。糊矩阵方程、模糊建模和模糊模式识别。 模糊神经网络是将模糊系统和神经网络相结合模糊神经网络是将模糊系统和神经网络相结合而构成的网络。利用而构成的网络。利用RBFRBF网络与模糊系统相结合，网络与模糊系统相结合，构成了模糊构成了模糊RBFRBF网络。网络。 (o)ixif)(1第二层：隶属函数层，即模糊化层第二层：隶属函数层，即模糊化层该层的每个节点具有隶属函数的功能，采用高斯函数该层的每

5、个节点具有隶属函数的功能，采用高斯函数作为隶属函数。对第作为隶属函数。对第j个节点：个节点：其中其中和和分别是第分别是第i个输入变量的第个输入变量的第j个模糊集合高个模糊集合高斯函数的均值和标准差。斯函数的均值和标准差。2212)()(jijjbcifnet)exp(),(22jnetjifijcjbNj(i,j)f(j)f123niiNN1其中其中 为输入层中第为输入层中第i个输入隶属函数的个数，即个输入隶属函数的个数，即模糊化层节点数。模糊化层节点数。iN, Njjfjlwfwlf1334,)(ijcjb图8-2 模糊RBF神经网络逼近 取取 ， 和和 分别表示网络输出和理想输出。网络分别

6、表示网络输出和理想输出。网络的输入为的输入为u(k)和和y(k)，网络的输出为，网络的输出为 ，则网络逼近误差为：，则网络逼近误差为： 采用梯度下降法来修正可调参数，定义目标函数为：采用梯度下降法来修正可调参数，定义目标函数为： 4fkym kym ky kym kykykem 221keE 网络的学习算法如下：网络的学习算法如下： 输出层的权值通过如下方式来调整输出层的权值通过如下方式来调整: 3fkewyyeeEwEkwmm则输出层的权值学习算法为：则输出层的权值学习算法为： 211kwkwkwkwkw其中其中 为学习速率，为学习速率， 为动量因子。为动量因子。输入隶属函数参数修正算法为：

7、输入隶属函数参数修正算法为：2222)(2ijijijijjjijijbcxcnetnetEcEc3222)(2jijijjjjjjbcxbnetnetEbEb其中其中 322233222wfkenetffffykenetykenetEjmjmjj 211kckckckckcijijijijij 211kbkbkbkbkbjjjjj隶属函数参数学习算法为：隶属函数参数学习算法为：8.1.3 仿真实例 使用模糊使用模糊RBF网络逼近对象：网络逼近对象：其中采样时间为其中采样时间为1ms1ms。 模糊模糊RBF网络逼近程序见网络逼近程序见chap8_1.m。 23) 1(1) 1()()(kyky

8、kuky8.2Pi-Sigma神经网络神经网络神经模糊建模是近年来基于模糊集理论发展起来神经模糊建模是近年来基于模糊集理论发展起来的一种新的方法。的一种新的方法。模糊建模技术缺点是过分地依赖隶属函数的准确模糊建模技术缺点是过分地依赖隶属函数的准确性。采用高木性。采用高木-关野模糊系统，用一种混合型的关野模糊系统，用一种混合型的pi-sigma神经网络，可以建立一种自适应能力很强的模神经网络，可以建立一种自适应能力很强的模糊模型。这种模型不但实现了模糊模型的自动更新，糊模型。这种模型不但实现了模糊模型的自动更新，而且能不断修正各模糊子集的隶属函数，使模糊建模而且能不断修正各模糊子集的隶属函数，使

9、模糊建模更具合理性。更具合理性。8.2.1高木高木-关野模糊系统关野模糊系统 在高木在高木-关野模糊系统中，高木和关野用以下关野模糊系统中，高木和关野用以下“ “ ”规则的形式来定义模糊系统的规则：规则的形式来定义模糊系统的规则：If is ， is ， ， is then iR1xiA12xiA2nxinAkikiiixpxppy110thenif 对于输入向量，高木对于输入向量，高木-关野模糊系统的各规则输关野模糊系统的各规则输出出等于各等于各的加权平均：的加权平均：miimiiinyy11nyiy式中，加权系数式中，加权系数 包括了规则包括了规则 作用于输入所取得作用于输入所取得的值。的

10、值。iiR jkiixAij18.2.2混合型混合型pi-sigma神经网络神经网络 常规的前向型神经网络含有求和节点，这给常规的前向型神经网络含有求和节点，这给处理某些复杂问题带来了困难。一种基于混合型处理某些复杂问题带来了困难。一种基于混合型pi-sigma神经网络模型如图神经网络模型如图8-5所示，在该网络中，输所示，在该网络中，输入神经元有入神经元有4个，个，S、P和和分别表示相加、相乘和分别表示相加、相乘和相乘运算。相乘运算。SSSSSSSSPPPPPPPPSN LP LP LN LP LN LP LN Lk1k2k3k4x1x2x4x3pi0pi1pi2pi3pi41i1Yi图图8

11、-5具有具有4个输入的混合型个输入的混合型pi-sigma神经网络神经网络 miAAAAmiiiiiiAAAAmiimiiinxxxxxpxpxpxppxxxxyyiiiiiiii14321144332211043211143214321显然，这种结构的神经网络属于高木显然，这种结构的神经网络属于高木-关野模糊系关野模糊系统。采用该网络实现的模糊系统可方便地在线修正隶统。采用该网络实现的模糊系统可方便地在线修正隶属函数和参数，适合于复杂系统的模糊预测和控制。属函数和参数，适合于复杂系统的模糊预测和控制。 为方便神经网络的学习，各模糊子集的隶属函数为方便神经网络的学习，各模糊子集的隶属函数均取高

12、斯型，即：均取高斯型，即： 网络的输出为：网络的输出为：ijijjAbcxij/exp2混合型混合型pi-sigma神经网络学习算法：神经网络学习算法：假设网络的期望输出为假设网络的期望输出为定义代价函数：定义代价函数：221ndyyEdy根据梯度下降法有：根据梯度下降法有： ijijijpEkpkp1ijimiiindijmiimiiindijnnijpyyypyyypyyEpE111 miiindijijijijyykppEkpkp11其中其中其中 。 4 , 3 , 2 , 1j ijijijaEkckc1 ijijijbEkbkb1对对 有：有：ijijbc ,其中其中ijiinnij

13、nnijcyyEcyyEcEijiijjmiimiiimiiindbcxyyyy221112221111ijijjimiimiiimiiindijiinnijnnijbcxyyyybyyEbyyEbE 222111ijiijjmiimiiimiiindbcxyyyy 211121miiijiijjmiiimiiindijijbcxyyyykckc 2122111miiijiijjmiiimiiindijijbcxyyyykbkb其中、为学习速率。 8.2.3仿真实例仿真实例使用混合型使用混合型pi-sigma神经网络逼近对象：神经网络逼近对象：23) 1(1) 1()()(kykykuky混合

14、型混合型pi-sigma神经网络逼近程序见神经网络逼近程序见chap8_2.m8.3 8.3 小脑模型神经网络小脑模型神经网络8.3.1CMAC概述概述小脑模型神经网络（小脑模型神经网络（CMAC-CerebellarModelArticulationController）是一种表达复杂非线性函数）是一种表达复杂非线性函数的表格查询型自适应神经网络，该网络可通过学习算的表格查询型自适应神经网络，该网络可通过学习算法改变表格的内容，具有信息分类存储的能力。法改变表格的内容，具有信息分类存储的能力。CMAC已被公认为是一类联想记忆网络的重要组已被公认为是一类联想记忆网络的重要组成部分，能够学习任意

15、多维非线性映射，成部分，能够学习任意多维非线性映射，CMAC算法算法被证明可有效地用于非线性函数逼近、动态建模、控制被证明可有效地用于非线性函数逼近、动态建模、控制系统设计等。系统设计等。CMAC比其它神经网络的优越性体现在：比其它神经网络的优越性体现在：（1）小脑模型是基于局部学习的神经网络，它把信息）小脑模型是基于局部学习的神经网络，它把信息存储在局部结构上，使每次修正的权极少，在保证函数存储在局部结构上，使每次修正的权极少，在保证函数非线性逼近性能的前提下，学习速度快，适合于实时控非线性逼近性能的前提下，学习速度快，适合于实时控制；制；（2）具有一定的泛化能力，即所谓相近输入产生相近）具

16、有一定的泛化能力，即所谓相近输入产生相近输出，不同输入给出不同输出；输出，不同输入给出不同输出；8.3.2一种典型一种典型CMAC算法算法CMAC网络由输入层，中间层和输出层组成。在输网络由输入层，中间层和输出层组成。在输入层与中间层、中间层与输出层之间分别为由设计者入层与中间层、中间层与输出层之间分别为由设计者预先确定的输入层非线性映射和输出层权值自适应性预先确定的输入层非线性映射和输出层权值自适应性线性映射。线性映射。CMAC神经网络的设计主要包括输入空间的化分、神经网络的设计主要包括输入空间的化分、输入层至输出层非线性映射的实现及输出层权值学习输入层至输出层非线性映射的实现及输出层权值学

17、习算法。算法。CMAC是前馈网络，输入输出之间的非线性关是前馈网络，输入输出之间的非线性关系由以下两个基本映射实现。系由以下两个基本映射实现。（1）概念映射（）概念映射（UAC）概念映射是从输入空间概念映射是从输入空间U至概念存储器至概念存储器AC的映射。的映射。设输入空间向量为设输入空间向量为，量化编，量化编码为码为，输入空间映射至，输入空间映射至AC中中c个存储单元（个存储单元（c为二进为二进制非零单元的数目）。制非零单元的数目）。Tnp2p1ppu,u,uupucjpjjnuswy1)(cjjnwy1CMAC采用的学习算法如下：采用的学习算法如下： 采用采用学习规则调整权值，权值调整指标

18、为学习规则调整权值，权值调整指标为2)(21tecE 其中其中 。)()()(tytrte由梯度下降法，权值按下式调整：由梯度下降法，权值按下式调整：ctewyctytrwEtwj)()()()()2() 1()(1)-(t(t)twtwtwwwjjjjjTcpwwww21其中 为惯性系数。 8.3.3 仿真实例 采用CMAC网络逼近非线性对象： ) 1(1/() 1() 1()(23kykykuky取取u(k)作为网络的输入，采用线性化函数对输入状作为网络的输入，采用线性化函数对输入状态进行量化，实现态进行量化，实现CMAC的概念映射的概念映射：minmaxmin)()(xxMxkuroun

19、dks其中其中xmin和和xmax输入的最大最小值，输入的最大最小值，M为为xmax量化后所量化后所对应的最大值，对应的最大值，round()round()为四舍五入的为四舍五入的MatlabMatlab函数。函数。采用杂散编码技术中的除留余数法实现采用杂散编码技术中的除留余数法实现CMAC的的实际映射。设杂凑表长为实际映射。设杂凑表长为m，以元素值，以元素值s(k)+i除以某除以某数数N（N=m）后所得余数）后所得余数+1作为杂凑地址，实现了作为杂凑地址，实现了实际映射，即实际映射，即 1MOD N)i (s(k)iad其中其中。在仿真中，取在仿真中，取M=100，N=7，取泛化参数，取泛化

20、参数c=7, =1.5, =0.05。CMAC网络逼近程序为网络逼近程序为chap8_3.m。c,1,2,iiRiCiIiuiVi.jRjCjIjujVj1R1C1I1u1V1. . . .ijw对于对于HopfieldHopfield神经网络第神经网络第i i个神经元，采用微分方程个神经元，采用微分方程建立其输入输出关系，即：建立其输入输出关系，即： 其中其中 。 iiiiinjjijiiugvIRuvwdtduC1ni,.,2 , 1 sseesg11Tnuuu,.,21uTnvvv,.,V21TnIII,.,21I iiiiviiijjiijNvIdvvgRvvwEi01121若权值矩阵

21、若权值矩阵是对称的（是对称的（），则），则Wjiijww iiiiijiiijijiniiiNdtduCdtdvIRuvwdtdvtvvEdtdE1由于由于 , ,则则 iiugv iiiiiNdtdvdvvdgCdtdE21由于由于，双曲函数是单调上升函数，显然它的双曲函数是单调上升函数，显然它的反函数反函数 也为单调上升函数，即有也为单调上升函数，即有，则则可得到可得到，即能量函数，即能量函数具有负的梯度，当且具有负的梯度，当且仅当仅当时时,（ ）。）。0iC ivg1 01iidvvdg0dtdE0dtdvi0dtdENni,.,2 , 1NE 由此可见，随着时间的演化，网络的解在状态空

22、间由此可见，随着时间的演化，网络的解在状态空间中总是朝着能量中总是朝着能量E EN N减少的方向运动。网络最终输出向量减少的方向运动。网络最终输出向量V V为网络的稳定平衡点，即为网络的稳定平衡点，即E EN N的极小点。的极小点。8.4.2 基于Hopfield网络的自适应控制 1. 系统描述系统描述 被控对象为一阶系统：uJ即 其中 为转动惯量， 为控制输入，实际速度为 。uJn1Jun取速度指令为取速度指令为，将控制器设计为，将控制器设计为“P控制控制+前馈前馈控制控制”的形式：的形式：整理得：整理得：ddndfdpnknnku)(dfppdfdpnJkJknJknJknnJkn)(令

23、, , JK1pkF fpkkG则 dKGnKFnn其中其中F F和和G G为待定控制器参数，可采用为待定控制器参数，可采用HopfieldHopfield网络进行辨识。网络进行辨识。 2.基于基于Hopfield网络的控制器优化网络的控制器优化所采用的所采用的hopfield网络结构如图网络结构如图8-11所示。所示。ijw图图8-11Hopfield网络结构网络结构控制系统的能量函数取控制系统的能量函数取将将表达式代入上式并展开得：表达式代入上式并展开得：2)(21nnEddddddFGnnKKGnnKFnnGKnFKnE2222222222222121n取取Hopfield网络输出神经元

24、数为网络输出神经元数为2，假设输入电阻无，假设输入电阻无穷大，此时穷大，此时Hopfield网络的标准能量函数为：网络的标准能量函数为：21212121iiiijjiijNIvvvwE将 展开，得： NE2211222212212112211121IvIvvwvvwvvwvwEN令 ，得：GvFv21,21222211221121GIFIGwFGwFGwFwEN 当当Hopfield网络处于平衡状态时，能量函数最小，网络处于平衡状态时，能量函数最小，由网络权值对称得由网络权值对称得，此时，此时2112ww0FEFEN0GEGEN02221221112111211211IGwFwIGwGwFwF

25、EN022221222ddGnnKnKnFnKFE由上两式得：由上两式得：2211nKwdnnKww22112nKnId102221221222122222112IGwFwIGwFwFwGEN0222212222dddFnnkknGnkGE由上两式得：由上两式得：22dknI 2222dnkw连接权矩阵连接权矩阵 和外部输入和外部输入 如下：如下： WI222222dddnknnknnknkW2ddknnknI标准标准Hopfield网络的动态方程为：网络的动态方程为：injiijiiIvwdtduC1)(iiugv 取取 ，将所求的，将所求的 和和 代入上式得：代入上式得：0 . 1iCWI

26、12121111Ivwvwdtdu22221212Ivwvwdtdu取神经元输出的非线性特性为双曲函数，即取神经元输出的非线性特性为双曲函数，即其中其中。iiiiiiuuiiuiieeSSeSug1112)(0;2, 1iSi网络实际输出为：网络实际输出为：)(1ugF )(2ugG 由于由于，则，则112111SFSeu222122SGSeu122112121111121112221)(21111SFSSSFSFFSSeeSdudFuudtduSFSdtdududFdtdF112211112同理可得：同理可得：2222222SGSdudGdtduSGSdtdududGdtdG22222222

27、2 求解微分方程，可得到优化后的求解微分方程，可得到优化后的F、G，从而实现从而实现 和和 的整定。的整定。pkfk3仿真实例仿真实例被控对象为一阶系统：被控对象为一阶系统：uJ其中 ， 。 101J101JKHopfield网络的自适应控制程序包括主程序网络的自适应控制程序包括主程序chap8_4sim.mdl、控制器、控制器S函数程序函数程序chap8_4s.m、被控对象、被控对象S函数程序函数程序chap8_4plant.m和作图程序和作图程序chap8_4plot.m。8.4.2 Hopfield网络线性系统参数辨识网络线性系统参数辨识 在系统辨识中，直接采用在系统辨识中，直接采用Ho

28、pfield神经网络对时域内动态系统实神经网络对时域内动态系统实现参数估计是一种简单而直接的动态系统辨识方法。该方法的特点现参数估计是一种简单而直接的动态系统辨识方法。该方法的特点是根据是根据Hopfield神经网络的动力学机制，使其神经元的输出值对应是神经网络的动力学机制，使其神经元的输出值对应是待识参数识，则系统趋于稳定的过程就是待辨识参数辨识的过程。待识参数识，则系统趋于稳定的过程就是待辨识参数辨识的过程。利用利用Hopfield网络进行辨识时，取所定义的辨识能量函数等于网络进行辨识时，取所定义的辨识能量函数等于Hopfield网络标准能量函数，通过网络标准能量函数，通过Hopfield

29、神经网络动态方程，得到神经网络动态方程，得到Hopfield网络的连接权矩阵和神经元的外部输入，然后将其代入网络的连接权矩阵和神经元的外部输入，然后将其代入Hopfield网络动态方程运行，经过一段时间后，可得到稳定的参数辨网络动态方程运行，经过一段时间后，可得到稳定的参数辨识结果。识结果。1. 系统描述系统描述 设待辨识为二阶线性系统的参数，系统的状态方程为设待辨识为二阶线性系统的参数，系统的状态方程为uxAxB（8.38）其中其中、为待辨识的参数矩阵，取为待辨识的参数矩阵，取，且且状态矢量，状态矢量，是单个控制输入。是单个控制输入。则二阶线性系统的参数的辨识过程就是向量则二阶线性系统的参数

30、的辨识过程就是向量的辨识过程。的辨识过程。ABT111221222122AAAABBPx12TxxxuP2. 参数辨识基本原理参数辨识基本原理 用于辨识的可调系统为用于辨识的可调系统为（8.39）puxFxG 其中其中 ， ，取，取 。 11122122aaaaF12bbGT111221222122aaaabbV 用由式（用由式（8.38）和式（）和式（8.39）得：）得：ueAF xBG（8.40） 其中其中 为状态偏差。为状态偏差。 epexx（8.41） 用由于用由于 与线性无关，则当与线性无关，则当 时，时， ， ，从而实，从而实现现 。 x0e FAGBVP3. HopfieldHo

31、pfield网络网络辨识能量函数的设计辨识能量函数的设计为了实现为了实现，选择基于状态偏差变化率的参数辨识能量函数为：，选择基于状态偏差变化率的参数辨识能量函数为：0e T12E e e （8.42） 由于由于 TTTTTTTTTTTTTTTTTuuuuuuuu e exFxGxFxGx xx Fxx Gx F xx F Fxx F GG xG FxG G 即即 TTTTTTTTTTTTTTTTTTTTTTTTTTTTTT121 2Euuuuuuuuuuuux xx Fxx Gx F xx F Fxx F GG xG FxG Gx xx F FxG Gx F GG Fxx Fxx F xx G

32、G x （8.43） 其中各项可表达为式（其中各项可表达为式（8.44）式（式（8.49）：）： T2212xxx x （8.44）111211112TT121222212222222222211 111 122121 122212111 121212221221222222222222111 221314 3211 212223 41242xaaaaxxaaaaxa xa a x xa xa a x xa a x xa xa a x xa xv xv v x xv xv v x xv v x xv xv v x xv xx F Fx（8.45）TT2222221256uubbuvvuG G（

33、8.46） 由于由于 ，则则 11121TTTT1211 1 112 1221 2 122 2212222baauuxxua b xa b xa b xa b xuaabx F GG FxTTTT11 1 112 1221 2122221 5 12 523 614 6222uua b xa b xa b xa b xuv v xv v xv v xv v xux F GG Fx（8.47）TTTT11 1 112122121222222 a x xa x xa x xa x x x Fxx F xx Fx（8.48）TTTT1 12222uuub xb xu x GG xx G（8.50） 在

34、式（在式（8.43）中，取，其中取的前）中，取，其中取的前5项，取的后项，取的后2项，则有项，则有TTTTTTTTT1222222222212111 221314 3211 212223 41242222561 5 12 523 614 62121 22Euuuuxxv xv v x xv xv v x xv v x xv xv v x xv xvvuv v xv v xv v xv v xux xx F FxG Gx F GG Fx （8.49）TTTTTT211 1 11212212122221 1221 1 12123214225 1621122 Euua x xa x xa x xa

35、x xb xub x uv x xv x xv x xv x xv xuv x u x Fxx F xx GG x（8.51）4. 用于辨识的用于辨识的HopfieldHopfield网络设计网络设计 Hopfield网络能量函数趋于极小的过程，就是估计矩阵网络能量函数趋于极小的过程，就是估计矩阵和和收敛于实收敛于实际矩阵际矩阵和和的过程。通过构建一个具体的的过程。通过构建一个具体的Hopfield网络，可进行参数辨网络，可进行参数辨识。识。Hopfield神经网络第个神经元的动态微分方程为：神经网络第个神经元的动态微分方程为：GFAB 1ddniiiijjijiiiuuCw vItRvg u

36、（8.52） 其中其中 ， 11uueg ue0 假定假定Hopfield神经元由理想放大器构成，即神经元由理想放大器构成，即，同时取，同时取，则，则Hopfield神经网络动态方程变为：神经网络动态方程变为：iR 1iC ddiijjiiuw vtI（8.53） Hopfield网络的标准能量函数为：网络的标准能量函数为： 1N0112ivijijiiiijiiiEw vvgv dvI vR （8.54） 由于由于，取，取Hopfield网络的输出对应待辨识参数，网络的输出对应待辨识参数，即即，则，则R T111221222122aaaabbVN12ijijiiijiEw vvI v （8.

37、55） 由式（由式（8.53）和式（）和式（8.55）可以看出如下关系成立：）可以看出如下关系成立：NijjiiiEw vv I 利用利用Hopfield网络进行辨识时，取所定义的辨识能量函数与网络进行辨识时，取所定义的辨识能量函数与Hopfield网网络标准能量函数相等，即络标准能量函数相等，即，则由上式可得：，则由上式可得：NEEijjiiiEw vv I 由根据函数对向量求导的定义，有由根据函数对向量求导的定义，有111666d djjijjiEw vvIEEIw vv WVIV（8.56） 由于由于，则有，则有12EEE12ddddddEEE WVIVVV（8.57） 由于由于1211

38、1221 12212125 1221211 121233124412551266222d1d2EEvvEEv xv x xv x xv xuvvv x xv x xvEEvvEEEvvEEvvEEvvV1 1222521223 142141261212223213 1242622151 1222263 14221 12125 11 12222222222222x xxv x ux xv xv x xv x xv xux xx xv x xv x xv xv x uxuv uv xuv x ux uv uv xuv x uv xv x xv xuv x xv21 1112122252212122

39、223 141261121121222221223 1242622151 1222263 142000000000000 x xxx xxuxv x ux xx xxx uv xv x xv xux xxx xxux xx xxx uv x xv xv x uuxuv uv xuv x uuxv uv xuv x u11 12213124222511222126000000vx xvx xvx xvx xvuxxuxuuxuxuxuv 对比式（对比式（8.57）和式（）和式（8.58），可将网络得权值表示为：），可将网络得权值表示为：211212212221121221222122120000

40、00000000000000 xx xxux xxx uxx xxux xxx uuxuxuuxuxu W1 121122212x xx xx xx xuxuxI（8.59） 由式（由式（8.59）的和代入（）的和代入（8.53）式，可得到稳定的）式，可得到稳定的，通过，通过，可得到网络最终辨识结果的输出：，可得到网络最终辨识结果的输出：iu g 1()g uF2()g uG（8.60） 需要说明的是，上述求权值和的过程过于烦琐，可借助需要说明的是，上述求权值和的过程过于烦琐，可借助MATLAB的符的符号编程方法实现求权值号编程方法实现求权值和和的过程。具体方法为：根据式（的过程。具体方法为：

41、根据式（8.56），首），首先通过先通过MATLAB函数函数实现，然后通过实现，然后通过MATLAB函数函数实现实现，最后通过式（，最后通过式（8.57）实现）实现，并采用函数，并采用函数实现实现的的化简。由仿真结果可见，由符号编程方法求解的权值化简。由仿真结果可见，由符号编程方法求解的权值和和与式（与式（8.59）相同。符号运算求解权值仿真程序见相同。符号运算求解权值仿真程序见chap8_4juzhen.m。有了权值和，求解动态微分方程式（有了权值和，求解动态微分方程式（8.52），便可得到最终的辨识结），便可得到最终的辨识结果果。WIdiff,E VddEVddiff,dEVVI simp

42、lify IIWIV5. 仿真实例仿真实例 针对二阶系统进行参数辨识。系统的状态方程为：针对二阶系统进行参数辨识。系统的状态方程为：uxAxB Hopfield网络的输出对应待辨识参数，网络的输出对应待辨识参数，Hopfield网络权值和初值取零。网络权值和初值取零。 在仿真程序中，取在仿真程序中，取，和和为常数矩阵，为常数矩阵，取，取，。经。经过一段时间的仿真运行后，辨识参数的结果为过一段时间的仿真运行后，辨识参数的结果为1M AB01025A0133BTT111221222122010250133AAAABBP8005.0T-0.00031.00380.0060-24.9962-0.027

43、3133.0231V 在仿真程序中，取在仿真程序中，取，和和为时变系数矩阵，为时变系数矩阵，。取。取，参数辨识过程的仿真结果如图，参数辨识过程的仿真结果如图8-11和图和图8-12所示。所示。2M AB011+0.1sin 0.5 t025A01+0.1sin 0.2 t133B8005.002468101214161820-0.500.51t/sA11 identification02468101214161820012t/sA12 identification02468101214161820-1000100t/sA21 identification02468101214161820-20

44、0-1000100t/sA22 identification02468101214161820-1-0.500.51t/sB1 identification02468101214161820-1000100200300t/sB2 identification 图图8-11矩阵中各参数的辨识结果矩阵中各参数的辨识结果 图图8-12矩阵中各参数的辨识结果矩阵中各参数的辨识结果8.5 基于基于Hopfield网络的路径优化网络的路径优化在旅行商问题（在旅行商问题（TravelingSalesmanProblem，简称，简称TSP）可描述）可描述为：已知个城市之间的相互距离，现有一推销员必须遍访这个城

45、市，为：已知个城市之间的相互距离，现有一推销员必须遍访这个城市，并且每个城市只能访问一次，最后又必须返回出发城市。并且对如并且每个城市只能访问一次，最后又必须返回出发城市。并且对如何安排他对这些城市的访问次序，使其旅行路线总长度最短。何安排他对这些城市的访问次序，使其旅行路线总长度最短。旅行商问题是一个典型的组合优化问题，其可能的路径数目与城市旅行商问题是一个典型的组合优化问题，其可能的路径数目与城市数目呈指数型增长的，一般很难精确的求出其最优解，因而寻找其数目呈指数型增长的，一般很难精确的求出其最优解，因而寻找其有效的近似求解算法具有重要的理论意义。另一方面，很多实际应有效的近似求解算法具有

46、重要的理论意义。另一方面，很多实际应用问题，经过简化处理后，均可化为旅行商问题，因而对旅行商问用问题，经过简化处理后，均可化为旅行商问题，因而对旅行商问8.5.1 旅行商问题的描述旅行商问题的描述题求解方法的研究具有重要的应用价值题求解方法的研究具有重要的应用价值旅行商问题是一个典型的组合优化问题，特别是当的数目很大时，用旅行商问题是一个典型的组合优化问题，特别是当的数目很大时，用常规的方法求解计算量太大。对庞大的搜索空间中寻求最优解，对于常规的方法求解计算量太大。对庞大的搜索空间中寻求最优解，对于常规方法和现有的计算工具而言，存在着诸多的计算困难。使用常规方法和现有的计算工具而言，存在着诸多

47、的计算困难。使用Hopfield网络的优化能力可以很容易地解决这类问题。网络的优化能力可以很容易地解决这类问题。Hopfield等等1采用神经网络求得经典组合优化问题（采用神经网络求得经典组合优化问题（TSP）的最优解，）的最优解，开创了优化问题求解的新方法。开创了优化问题求解的新方法。 TSP问题是在一个城市集合 中找出一个最短且经过每个城市各一次并回到起点的路径。为了将TSP问题映射为一个神经网络的动态过程，Hopfield采取了换位矩阵的表示方法，用 矩阵表示商人访问 个城市。例如，有四个城市 ，访问路线是 ： ， 则Hopfield网络输出所代表的有效解用下面的二维矩阵表8-1来表示：

48、8.5.2 求解求解TSP问题的问题的Hopfield网络设计网络设计 cccA ,B ,C NNNccccA ,B ,C ,DcccccDACBD表表8-1 四个城市的访问路线四个城市的访问路线 cAcBcCcD 次 序城 市12340100000100101000 表表8-1构成了一个的矩阵，该矩阵中，各行各列只有一个元素为构成了一个的矩阵，该矩阵中，各行各列只有一个元素为1，其余为其余为0，否则是一个无效的路径。采用，否则是一个无效的路径。采用 表示神经元表示神经元 的输出，的输出，相应的输入用相应的输入用 表示。如果城市表示。如果城市 在在 位置上被访问，则位置上被访问，则 ，否，否则

49、则 。 针对针对TSP问题，问题，Hopfield定义了如下形式的能量函数定义了如下形式的能量函数1：xiV, x ixiUxi1xiV 0 xiV 111112,1,111111AB22CD 22NNNNNNxixjxiyjxijixyxNNNNNxixyxiy iy ixixyiEV VV VVNd VVV （8.61）式中，式中，A.B.C.D是权值，是权值， 表示城市表示城市 到城市到城市 之间的距离。之间的距离。 xydxy 式（式（8.61）中，）中，E的前三项是问题的约束项，最后一项是优化目标的前三项是问题的约束项，最后一项是优化目标项项,E的第一项为保证矩阵的第一项为保证矩阵V

50、的每一行不多于一个的每一行不多于一个1时时E最小（即每个城最小（即每个城市只去一次），市只去一次），E的第二项保证矩阵的每一列不多于一个的第二项保证矩阵的每一列不多于一个1时时E最小最小（即每次只访问一城市），（即每次只访问一城市），E的第三项保证矩阵的第三项保证矩阵V中中1的个数恰好为的个数恰好为N时时E最小。最小。 Hopfield将能量函数的概念引入神经网络，开创了求解优化问题的将能量函数的概念引入神经网络，开创了求解优化问题的新方法。但该方法在求解上存在局部极小、不稳定等问题。为此，文新方法。但该方法在求解上存在局部极小、不稳定等问题。为此，文献献2将将TSP的能量函数定义为：的能量函数定义为：22,11111111AAD11222NNNNNNNxixixixyy ixiixxyiEVVV d V （8.62）取式取式（8.62），HopfieldHopfield网络的动态方程为：网络的动态方程为： 采用Hopfield网络求解TSP问题的算法描述如下：(1) 置初值， , ， , ；(2) 计算N个城市之间的距离 ；(3) 神经网络输入 的