工学神经网络的基本理论PPT学习教案

1、会计学1工学神经网络的基本理论工学神经网络的基本理论2 模糊控制模糊控制从从人的经验出发，解决了智能控制中人类人的经验出发，解决了智能控制中人类语言的描述和推理问题，语言的描述和推理问题，尤其是一些不确定性语言的尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。等智能行为方面迈出了重大的一步。 模糊控制在处理数值数据、自学习能力等方面还模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度远没有达到人脑的境界。人工神经网络从另一个角度出发，即出发，即从人脑的生理学

2、和心理学着手从人脑的生理学和心理学着手，通过人工模，通过人工模拟人脑的工作机理来实现机器的部分智能行为。拟人脑的工作机理来实现机器的部分智能行为。引言引言第1页/共97页3 人工神经网络（简称神经网络，人工神经网络（简称神经网络，Neural Network）是）是模拟人脑思维方式的数学模型。模拟人脑思维方式的数学模型。 神经网络是在现代生物学研究人脑组织成果的基础上提出神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来的，用来模拟人类大脑神经网络的结构和行为模拟人类大脑神经网络的结构和行为。神经网络反映。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式了人脑功能的基

3、本特征，如并行信息处理、学习、联想、模式分类、记忆等。分类、记忆等。 20世纪世纪80年代以来，人工神经网络（年代以来，人工神经网络（ANN，Artificial Neural Network）研究取得了突破性进展。）研究取得了突破性进展。神经网络控制是将神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。神经网络与控制理论相结合而发展起来的智能控制方法。它已它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定成为智能控制的一个新的分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。、未知系统的控制问题开辟了新途径。引言引言第2页/共97页4 神经生理学和神经

4、解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约140亿个神经元，小脑皮层约亿个神经元，小脑皮层约1000亿个神经元。亿个神经元。 人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。 神经系统的基本构造是神经元神经系统的基本构造是神经元(神经细胞神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。，它是处理人体内

5、各部分之间相互信息传递的基本单元。生物神经元生物神经元第3页/共97页5每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支树突组成。树突组成。第4页/共97页6 轴突功能是将本神经元的输出信号轴突功能是将本神经元的输出信号(兴奋兴奋)传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。生物神经元生物神经元 树突的功能是接受来自其它神经元的兴奋。树突的功能是接受来自其它神经元的兴奋。 神经元细胞体将接

6、收到的所有信号进行简单地处理后，由轴突输出。神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。 神经元的轴突与另外神经元神经末梢相连的部分称为突触。神经元的轴突与另外神经元神经末梢相连的部分称为突触。第5页/共97页7 神经元的构成：神经元的构成： （1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；）细胞体（主体部分）：包括细胞质、细胞膜和细胞核； （2）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息； （3）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质；）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质； （4）突触：是神经元之间的接口

7、（）突触：是神经元之间的接口（104105个个/每个神经元）。每个神经元）。 通过树突和轴突，神经元之间实现了信息的传递。通过树突和轴突，神经元之间实现了信息的传递。生物神经元生物神经元第6页/共97页8 神经元之间的联系主要依赖其突触的联接作用神经元之间的联系主要依赖其突触的联接作用。这种。这种突触的联接是可塑的突触的联接是可塑的，也就是说突触特性的变化是受到外，也就是说突触特性的变化是受到外界信息的影响或自身生长过程的影响。生理学的研究归纳界信息的影响或自身生长过程的影响。生理学的研究归纳有以下几个方面的变化：有以下几个方面的变化： (1)突触传递效率的变化。首先是突触的膨胀以及由此产突触

8、传递效率的变化。首先是突触的膨胀以及由此产生的突触后膜表面积扩大，从而突触所释放出的传递物质生的突触后膜表面积扩大，从而突触所释放出的传递物质增多，使得突触的传递效率提高。其次是突触传递物质质增多，使得突触的传递效率提高。其次是突触传递物质质量的变化，包括比例成分的变化所引起传递效率的变化。量的变化，包括比例成分的变化所引起传递效率的变化。 (2)突触接触间隙的变化。在突触表面有许多形状各异的突触接触间隙的变化。在突触表面有许多形状各异的小凸芽，调节其形状变化可以改变接触间隙，并影响传递小凸芽，调节其形状变化可以改变接触间隙，并影响传递效率。效率。生物神经元生物神经元第7页/共97页9 (3)

9、突触的发芽。当某些神经纤维被破坏后，可能又突触的发芽。当某些神经纤维被破坏后，可能又会长出新芽，并重新产生附着于神经元上的突触形会长出新芽，并重新产生附着于神经元上的突触形成新的回路。由于新的回路的形成，使得结合模式发成新的回路。由于新的回路的形成，使得结合模式发生变化，也会引起传递效率的变化。生变化，也会引起传递效率的变化。 (4)突触数目的增减。由于种种复杂环境条件的刺激突触数目的增减。由于种种复杂环境条件的刺激等原因，或者由于动物本身的生长或衰老，神经系统等原因，或者由于动物本身的生长或衰老，神经系统的突触数目会发生变化，并影响神经元之间的传递效的突触数目会发生变化，并影响神经元之间的传

10、递效率。率。 生物神经元生物神经元第8页/共97页10 神经元对信息的接受和传递都是通过突触来进行的。神经元对信息的接受和传递都是通过突触来进行的。 单个神经元可以从别的细胞接受多个输入。单个神经元可以从别的细胞接受多个输入。由于输入分布于不由于输入分布于不同的部位，对神经元影响的比例同的部位，对神经元影响的比例(权重权重)是不相同的。另外，各突触是不相同的。另外，各突触输入抵达神经元的先后时间也不一祥。因此，输入抵达神经元的先后时间也不一祥。因此，一个神经元接受的一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经元

11、对它们进行积累和整合加工，从而决定其输出的时机和强度。元对它们进行积累和整合加工，从而决定其输出的时机和强度。正是神经元这种整合作用，才使得亿万个神经元在神经系统中有正是神经元这种整合作用，才使得亿万个神经元在神经系统中有条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种信息处理功能。系统的各种信息处理功能。 多多个神经元以突触联接形成了一个神经网络个神经元以突触联接形成了一个神经网络。研究表明，生物。研究表明，生物神经网络的功能决不是单个神经元生理和信息处理功能的简单叠神经网络的功能决不是单个神经元生理和信息处理功能的简

12、单叠加，而是一个有层次的、多单元的动态信息处理系统。加，而是一个有层次的、多单元的动态信息处理系统。 它们有其独特的运行方式和控制机制，以接受生物内外环境的它们有其独特的运行方式和控制机制，以接受生物内外环境的输入信息，加以综合分折处理，然后调节控制机体对环境作出适输入信息，加以综合分折处理，然后调节控制机体对环境作出适当的反应。当的反应。 生物神经元生物神经元第9页/共97页11生物神经元生物神经元第10页/共97页12生物神经元生物神经元第11页/共97页13生物神经元生物神经元第12页/共97页14神经系统的自组织特性上。例如神经系统的自组织特性上。例如在某一外界信息反复刺激下接在某一外

13、界信息反复刺激下接受该信息的神经细胞之间的突触受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因映出大脑功能既有先天的制约因素，也有可能通过后天的训练和素，也有可能通过后天的训练和学习而得到加强。学习而得到加强。神经网络的学神经网络的学习机制就是基于这种可塑性现象，习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实并通过修正突触的结合强度来实现的。现的。生物神经元生物神经元第13页/共97页15部分内容恢复全部内容。部分内容恢复全部内容。n(4)信息处理的系统性信息处理的系统性n大脑是一个复杂的大规模大脑是一个复杂的大规模信

14、息处理系统，单个的元件信息处理系统，单个的元件“神神经元经元”不能体现全体宏观系统的不能体现全体宏观系统的功能。实际上，可以将大脑的各功能。实际上，可以将大脑的各个部位看成是一个大系统中的许个部位看成是一个大系统中的许多子系统。各个子系统之间具有多子系统。各个子系统之间具有很强的相互联系，一些子系统可很强的相互联系，一些子系统可以调节另一些子系统的行为。例以调节另一些子系统的行为。例如，视觉系统和运动系统就存在如，视觉系统和运动系统就存在很强的系统联系，可以相互协调很强的系统联系，可以相互协调各种信息处理功能。各种信息处理功能。生物神经元生物神经元第14页/共97页16生物神经元生物神经元第1

15、5页/共97页17习规则。习规则。生物神经元生物神经元第16页/共97页184.1 人工神经网络模型人工神经网络模型 人工神经网络是在结构和功能上对生物神经网络的某种程度的模拟和逼近。人工神经网络是在结构和功能上对生物神经网络的某种程度的模拟和逼近。v 直观理解直观理解 神经网络是一个并行和分布式的信息处理网络神经网络是一个并行和分布式的信息处理网络结构结构 它一般由大量神经元组成它一般由大量神经元组成 每个神经元只有一个输出，可以连接到很多每个神经元只有一个输出，可以连接到很多其他的神经元其他的神经元 每个神经元输入有多个连接通道，每个连接每个神经元输入有多个连接通道，每个连接通道对应于一个

16、连接权系数通道对应于一个连接权系数 第17页/共97页19人工神经网络基本模型人工神经网络基本模型第18页/共97页20niiiiitxwfufv1)()()(fyx1x2x nw1w2w n )(f标准标准MP模型模型第19页/共97页21特性。在特性。在MP模型中，模型中，f定义为定义为阶跃函数阶跃函数/激发函数：激发函数：0,00,1iiiuuv第20页/共97页22该函数的图像如下图所示该函数的图像如下图所示)(0jnjjiivwfviuieuf11)(第21页/共97页23第22页/共97页24wij的原则为：若第的原则为：若第i和第和第j个神经个神经元同时处于兴奋状态，则它元同时处

17、于兴奋状态，则它们之间的连接应当加强，即：们之间的连接应当加强，即：wijuivj这一规则与这一规则与“条件反射条件反射”学学说一致，并已得到神经细胞说一致，并已得到神经细胞学说的证实。学说的证实。 是表示学习速是表示学习速率的比例常数。率的比例常数。第23页/共97页25神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为模拟人类大脑神经网络的结构和行为，它从微观结构和功能上对人脑进行抽象和简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆

18、等。，它从微观结构和功能上对人脑进行抽象和简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。n 定义定义神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。第24页/共97页26n 特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。网络以任意精度加以逼近。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间神

19、经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。信息处理的要求。（3） 并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储

20、多种信息的部分内容。网络的每部分对信息的存元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。络具有容错性和联想记忆功能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。组合，特别适合于用大规模集成电路实现。 第25页/共97页27感知器是一种早期的神经网络模型，由美国学者于感知器是一种早期的神经网络模型，由

21、美国学者于1957年提出年提出.感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟，所以引起了广泛的关注。感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟，所以引起了广泛的关注。简单感知器简单感知器 简单感知器模型实际上仍然是简单感知器模型实际上仍然是MP模型模型的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。第26页/共97页28其中，其中，Wi为第为第i个输入到处理个输入到处理单元的连接权值单元的连接权

22、值为为阈值。阈值。 f取阶跃函数取阶跃函数.)(0iniiixwfv)(fyx1x2x nw1w2w n )(f第27页/共97页29Y=f(w1x1+w2x2-)(1)“与与”运算。当取运算。当取w1w21，时，上式完成逻时，上式完成逻辑辑“与与”的运算。的运算。第28页/共97页30第29页/共97页31误差误差。第30页/共97页32第31页/共97页33第32页/共97页34 目前神经网络模型的种类相当丰富，已有数十目前神经网络模型的种类相当丰富，已有数十种神经网络模型。种神经网络模型。 典型的神经网络有多层前向传播网络典型的神经网络有多层前向传播网络 （BP网络网络）、）、Hopfi

23、eld网络、网络、CMAC小脑模型小脑模型、ART网网络、络、BAM双向联想记忆网络、双向联想记忆网络、SOM自组织网络自组织网络、Blotzman机网络和机网络和Madaline网络等网络等第33页/共97页35（1）根据神经网络的连接方式，神经网络可分为前向网络、反馈网）根据神经网络的连接方式，神经网络可分为前向网络、反馈网络、自组织网络络、自组织网络前向网络：前向网络：第34页/共97页36反馈网络：反馈网络：第35页/共97页37自组织网络：自组织网络： 当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的

24、响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图。射是通过无监督的自适应过程完成的，所以也称为自组织特征图。输出节点输入0 x1x2x第36页/共97页38（2 2）从网络的学习方式上划分，神经网络可分为有导师学习网络和无导）从网络的学习方式上划分，神经网络可分为有导师学习网络和无导师学习网络。师学习网络。有导师学习神经网络，又称监督

25、学习有导师学习神经网络，又称监督学习(supervised learning)网络的输出和期望的输出网络的输出和期望的输出(即导师信号）进行比较，然后根据两者之间即导师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。的差异调整网络的权值，最终使差异变小。第37页/共97页39无导师学习神经网络，又称无监督学习（无导师学习神经网络，又称无监督学习（unsupervised learning）或自组织学习（或自组织学习（self-organized learning）输入模式进入网络后，网络按照一种预先设定的规则（如竞争规则）输入模式进入网络后，网络按照一种预先设定的规则（如

26、竞争规则）自动调整权值，使网络最终具有模式分类等功能。自动调整权值，使网络最终具有模式分类等功能。 第38页/共97页40神经网络分类标准不同，方法多样神经网络分类标准不同，方法多样第39页/共97页41n 多层前向神经网络的结构多层前向神经网络的结构 一个输入层，一个输出层，多个隐层，信号沿输入，信号沿输入输出的方向逐层传递输出的方向逐层传递。 jpp1xp1x pnt pkt pmOp1O pnOp2隐层wj1wjn输入输入层层隐层隐层输出层输出层信息流hjpShpjOpm第40页/共97页42第41页/共97页43根据根据S型激活函数的图形可知型激活函数的图形可知,对神经网络进行训练，应

27、该将对神经网络进行训练，应该将net的的值尽量控制在收敛比较快的范围内值尽量控制在收敛比较快的范围内 第42页/共97页44第43页/共97页45将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值第44页/共97页46第45页/共97页47第46页/共97页48第47页/共97页49第48页/共97页50第49页/共97页51第50页/共97页52v 第五步，利用隐含层到输出层的连接权值、第五步，利用隐含层到输出层的连接权值、输出层的输出层的 和隐含层的输出计算误差函数和隐含层的输出计算误差函数对隐含层各神经元的偏导数对隐含层各

28、神经元的偏导数 。 第51页/共97页53第52页/共97页54第53页/共97页55第54页/共97页56第55页/共97页57whohoewe，此时，此时who0who第57页/共97页59函 数 名功 能newff()生成一个前馈BP网络tansig()双曲正切S型(Tan-Sigmoid)传输函数logsig()对数S型(Log-Sigmoid)传输函数traingd()梯度下降BP训练函数第58页/共97页60第59页/共97页61第60页/共97页62月份123456销量205623952600229816341600月份789101112销量1873147819001500204

29、61556第61页/共97页63第62页/共97页64第63页/共97页65第64页/共97页66BPBP算法的基本流程算法的基本流程 初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值pjopjhjihkjkpjopkokjokjxtwtwOtwtw)()1()()1( 改变训练样板训练样终止？迭代终止？NoNoyy4.6 多层前向多层前向BP神经网络神经网络 第65页/共97页67n前向网络进一步需研究的问题前向网络进一步需研究的问题 目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；学习算法收敛速度慢，学习算法收敛速度慢，Sigmaid

30、函数本身存在无穷多闪导数，而函数本身存在无穷多闪导数，而BP算法只用了一次导数，致使收敛速度慢。算法只用了一次导数，致使收敛速度慢。网络隐层节点个数和初始权值的选取，尚无理论指导。网络隐层节点个数和初始权值的选取，尚无理论指导。第66页/共97页684.7 霍普菲尔德网络是单层对称全反馈网络，根据其激活函数的选取不同根据其激活函数的选取不同，可分为离散型的霍普菲尔德网络(Discrete Hopfield Neural Network，简称DHNN)和连续型的霍普菲尔德网络(Continuous Hopfield Neural Network，简称CHNN)。DHNN的激活函数为二值型激活函数

31、为二值型的，其输入、输出为0，1的反馈网络，主要用于联想记忆。CHNN的激活函数的输入与输出之间的关系为连续可微的单调上升函数连续可微的单调上升函数,可以取0到1之间的任一实数值,主要用于优化计算。 第67页/共97页69图1 DHNN中的激活函数 图2 CHNN中的激活函数 4.7 第68页/共97页70基本的基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统，神经网络是一个由非线性元件构成的全连接型单层反馈系统，Hopfield网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接

32、收所有其它神经元传递过来的信息。，同时又都接收所有其它神经元传递过来的信息。Hopfield神经网络是一个反馈型神经网络，网络中的神经元在神经网络是一个反馈型神经网络，网络中的神经元在t t时刻的输出状态实际上间接地与自己时刻的输出状态实际上间接地与自己t-1t-1时刻的输出状态有关。时刻的输出状态有关。4.7 第69页/共97页71 反馈型网络的一个重要特点就是它具有稳定状态，当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。反馈型网络的一个重要特点就是它具有稳定状态，当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。 HopfieldHopfield神经网络的能量函数表

33、征网络状态的变化趋势，并可以依据神经网络的能量函数表征网络状态的变化趋势，并可以依据HopfieldHopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。4.7 第70页/共97页72稳定点视为一个能量函数的极小稳定点视为一个能量函数的极小点，把能量函数视为一个点，把能量函数视为一个优化问题的目标函数，那么从初优化问题的目标函数，那么从初态朝这个稳定点的演变过态朝这个稳定点的演变过程就是一个求该优化问题的过程。程就是一个求该优化问题的

34、过程。这样的优点在于它的解这样的优点在于它的解并不需要真的去计算，而只要构并不需要真的去计算，而只要构成这种反馈网络，适当的成这种反馈网络，适当的设计其连接值和输入就可达到目设计其连接值和输入就可达到目的。的。4.7 第71页/共97页734.7 nvvv,21niii,21iii第72页/共97页744.7 )() 1()0(1nijiijjjjjtvftvxv 当网络经过适当训练后，可以认为网络处于等待状态。而对网络给定初始输入x时，网络就处于特定的初始状态。由此初始状态开始运行，可得到网络输出（即网络的下一状态）。然后这个输出状态通过反馈连接回送到网络的输入端，作为网络下一级运行的输入信

35、号，而该输入信号可能与初始输入信号x不同。由这个新的输入又可得到下一步的输出，该输出也可能与上一步的输出不同。如此下去，网络的整个运行过程就是上述反馈过程的重复。如果网络是稳定的，那么随着多次反馈运行，网络状态的变化逐渐减少，最后不再变化，达到稳态。这时由输出端可得到网络的稳定输出。第73页/共97页75niniiinijjjiijvvvE111210)(111ninijjjjjiiniiivvvvEE也就是说，能量函数总是随神经元状态的变化而下降的。4.7 第74页/共97页764.7 (2) iRiCiIiuiVi.jRjCjIjujVj1R1C1I1u1V1. . . .ijw用模拟电路

36、模仿生物神经网络的特性用模拟电路模仿生物神经网络的特性第75页/共97页774.7 连续型连续型Hopfield网络网络连续型Hopfield 网络的动态方程)(1jjiNjjijiiugVIVudtduui为第为第i个神经元的状态输入个神经元的状态输入Vi为第为第i个神经元的状态输出个神经元的状态输出ij为第为第i个神经元到第个神经元到第j神经元的连接权神经元的连接权 g()为具有连续且单调增性质的神经元激励函数为具有连续且单调增性质的神经元激励函数Ii为施加到第为施加到第i个神经元的偏置个神经元的偏置第76页/共97页784.7 niviniiininjjiijiRdVVgVIVVE101

37、111/)(21则其变化量niiidtdVVEdtdE1第77页/共97页794.7 其中，dtdVVgCvdtduCVIRuVVIRuVVVEiiinjjjiijiinjjjiijiiinjjjinjjjiijiiinjnjjjijiji)()()(21)(212121 1111111于是，当ij= ji 时，0)(21 1dtdVVgCdtdEiniii第78页/共97页800dtdvi0dtdE4.7 如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield

38、神经网络就能够用于解决优化组合问题。神经网络就能够用于解决优化组合问题。第79页/共97页811.连续连续Hopfield网络以大规模非线性连续时间并网络以大规模非线性连续时间并行方式处理信息，其计算时间就是系统趋于平行方式处理信息，其计算时间就是系统趋于平衡点的时间。衡点的时间。4.7 第80页/共97页824.7 第81页/共97页83第82页/共97页84第83页/共97页85n4时的TSP路径图 城市数和对应的旅行方案数 4.8 Hopfield网络在组合优化中的应用网络在组合优化中的应用 第84页/共97页86采用连续时间的霍普菲尔德网络模型来求解采用连续时间的霍普菲尔德网络模型来求

39、解TSP，开辟了一条解，开辟了一条解决这一问题的新途径。决这一问题的新途径。其基本思想是把其基本思想是把TSP映射到映射到CHNN上，通上，通过网络状态的动态演化逐步趋向稳态而自动地搜索出优化解。过网络状态的动态演化逐步趋向稳态而自动地搜索出优化解。 TSP的解是若干城市的有序排列，任何一个城市在最终路径上的的解是若干城市的有序排列，任何一个城市在最终路径上的位置可用一个位置可用一个n维的维的0、1矢量表示，对于所有矢量表示，对于所有n个城市，则需要一个城市，则需要一个个nn维矩阵，例如以维矩阵，例如以5个城市为例，一种可能的排列矩阵为：个城市为例，一种可能的排列矩阵为： 该矩阵唯一地确定了一

40、条有效的行程路径：该矩阵唯一地确定了一条有效的行程路径：CADBE CADBE 4.8 Hopfield网络在组合优化中的应用网络在组合优化中的应用 第85页/共97页87阵元素之和为阵元素之和为N。(4）求巡回路径最短）求巡回路径最短=网络能网络能量函数的最小值对应于量函数的最小值对应于TSP的的最短路径。最短路径。4.8 Hopfield网络在组合优化中的应用网络在组合优化中的应用 第86页/共97页88TSPTSP的最优解是求长度的最优解是求长度d dxyxy为最短的一条有效的路径。为最短的一条有效的路径。 (2)(2)目标函数目标函数f(V) f(V) (1)约束条件约束条件g(V)

41、约束条件要保证关联矩阵的每一行每一列中只有一个值为约束条件要保证关联矩阵的每一行每一列中只有一个值为1 1，其他值均为零，用三项表示为：，其他值均为零，用三项表示为： 4.8 Hopfield网络在组合优化中的应用网络在组合优化中的应用 第87页/共97页89(3)(3)总的能量函数总的能量函数E E4.8 Hopfield网络在组合优化中的应用网络在组合优化中的应用 第一项表示当且仅当每一城市行只包含一个第一项表示当且仅当每一城市行只包含一个“1”1”元素时取极小值元素时取极小值0 0；第二项表示当且仅当每一旅行位置只包含一个第二项表示当且仅当每一旅行位置只包含一个“1”1”元素时取极小值元

42、素时取极小值0 0；第三项表示当且仅当置换矩阵中第三项表示当且仅当置换矩阵中“1”1”元素个数之和为元素个数之和为N N时取极小值时取极小值0 0；第一项表示当且仅当每一城市行只包含一个第一项表示当且仅当每一城市行只包含一个“1”1”元素时取极小值元素时取极小值0 0第四项表示路径长度信息，它随着路径长度的较小而减小。第四项表示路径长度信息，它随着路径长度的较小而减小。前三项保证了所有路径的有效性，当收敛到有效解时，前三项均为前三项保证了所有路径的有效性，当收敛到有效解时，前三项均为“0”0”。最后一项对应经过的路径长度就是一个最优解或者至少是。最后一项对应经过的路径长度就是一个最优解或者至少

43、是次优解。次优解。21111111111)(222 NxNixiNxNiNijNiNxNxyyixixjxiNTSQE),(211111iyiyNxNyNixyxidP第88页/共97页90考虑考虑CHNNCHNN模型的能量函数式，这样能量函数中的积分项可以忽略不计，求解得网络的联接权值为：模型的能量函数式，这样能量函数中的积分项可以忽略不计，求解得网络的联接权值为： 式中：外部输入偏置电流为： 4.8 Hopfield网络在组合优化中的应用网络在组合优化中的应用 该连接权值中，系数该连接权值中，系数S S只影响同一行各神经元之间的连接系数，系数只影响同一行各神经元之间的连接系数，系数Q Q只

44、影响同一列各神经元之间的连接系数，系数只影响同一列各神经元之间的连接系数，系数T T与所有的权系数都相关，系数与所有的权系数都相关，系数P P只涉及路径顺序相邻项。只涉及路径顺序相邻项。 第89页/共97页91求解求解TSPTSP的连接神经网络模型的运动方程可表示为：的连接神经网络模型的运动方程可表示为： 霍普菲尔德和泰克霍普菲尔德和泰克(Tank)经过实验，认为取初始值为：经过实验，认为取初始值为：SQP500，T200，RC1，U0时，其求解时，其求解10个城市的个城市的TSP得到良好的效果。得到良好的效果。人们后来发现，用连续霍普菲尔德网络求解像人们后来发现，用连续霍普菲尔德网络求解像TSP这样约束优化问题时，这样约束优化问题时，系统系统S、Q、P、T的取值对求解过程有很大影响。的取值对求解过程有很大影响。 4.8 Hopfield网络在组合优化中的应用网络在组合优化中的应用 第90页/共97页