第十一章计算智能神经网络-practical-reasoning优秀文档

人工智能ArtificialIntelligence计算智能（二）ComputationalIntelligence

Agenda神经网络概述感知机前馈神经网络Hopfield网络随机神经网络遗传算法人工生命

Hopfield网络（1）反馈神经网络是得到最充分研究和应用的神经网络模型之一。Hopfield为这一网络引入了一种稳定过程，即提出了人工神经网络能量函数的概念，使网络的运行稳定性判断有了可靠而简便的依据。Hopfield网络在联想存取及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围.Hopfield网络（2）Hopfield网络主要有下面的特点:网络是一个全连网络,即网络中任意两个单元之间都有连线,而且这种连接是对称的,即wij=wji.网络有两种类型：离散和连续。离散是说单元是二值的，它们的激活是用（1，-1）或（1，0）表示。而在连续的网络中，单元的激活是连续的，它们可以取0到1之间的任一实数值Hopfield网络（3）Hopfield网络的基本结构如下，N1,N2,┅，Nn表示网络的n个神经元，其转移特性函数为ƒ(x)，ƒ(x)，┅,ƒ(x),门限值为1，2，┅n

。对于离散型Hopfield网络，各结点一般选相同的转移特性函数，且为符号函数，即有ƒ(x)=ƒ(x)=┅=ƒ(x)=sign(x)这里假定：各结点门限值相等，且等于0。令：x=(x1,x2,┅,xn)T,x{-1,+1}n为网络的输入y=(y1,y2,┅,yn)T,y{-1,+1}n为网络的输出v(t)=(v1(t),v2(t),┅vn(t))T,v(t){-1，+1}n为网络在时刻t的状态，其中：对离散网络，t{0,1,2,┅}为离散时间变量；Wij为从Ni到Nj的连接权值Hopfield网络（4）Hopfield网络（5）网络的吸引子。设t=0时对网络输入模式x，网络处于状态v(0),而在时刻t，网络到达状态v(t)。若v(t)稳定，则称v(t)为网络的稳定吸引子。在非稳定吸引子的情况，若网络状态有规律的在某些状态之间振荡，则称网络处于有限环（limitedcircle）状态。若网络无规律的在某些状态之间振荡，则称网络处于混沌（chaos）状态。吸引子的吸引域。对于某些特定的初始状态，网络按一定的运行规则最后可能稳定在同一吸引子上。称能够稳定在吸引子v(t)的所有初始状态集合为的吸引域v(t).Hopfield网络（6）网络运行的收敛性：Hopfield网络（7）网络学习规则：联想记忆的编码方法是实现神经网络联想记忆的基础,人们对此进行了大量的研究，主要的方法有：基于Hebb规则的编码：方法简单并且方便于理论上研究网络的记忆容量和网络记忆模式的容错性能,但是它并不能保证使所有需要记忆的模式都成为网络的稳定点;基于伪逆规则的编码：运算量大,同时又不能保证所获得的矩阵满足对称性以及对角元为0的限制,这样在记忆模式有误差的情况下并不能保证网络的收敛性Hopfield网络（8）网络学习规则：限制条件(i)主要保证网络在输入有误差的情况下仍能正确回忆所记模式,而条件(ii)则是为了使预先给定的模式成为网络的不动点.若网络无规律的在某些状态之间振荡，则称网络处于混沌（chaos）状态。Hopfield网络（7）由网络结构构造网络，让其运行，则稳定状态在一定条件下就是问题的解Hopfield网络（3）基于Hebb规则的编码：方法简单并且方便于理论上研究网络的记忆容量和网络记忆模式的容错性能,但是它并不能保证使所有需要记忆的模式都成为网络的稳定点;当网络温度时，玻尔兹曼机神经元退化为离散的Hopfield模型神经元。Hopfield网络的应用：Hopfield网已成功地用于多个领域，应用方式主要有两种：联想存取和优化计算。Hopfield网络的基本结构如下，N1,N2,┅，Nn表示网络的n个神经元，其转移特性函数为ƒ(x)，ƒ(x)，┅,ƒ(x),门限值为1，2，┅n。若v(t)稳定，则称v(t)为网络的稳定吸引子。ComputationalIntelligence模拟退火算法（SimulatedAnnealing）但是，随着温度T的降低，物体处于高能状态的可能性就逐渐减少，最后当温度下降到充分低时，物体建一概率1稳定在低能状态。但是，随着温度T的降低，物体处于高能状态的可能性就逐渐减少，最后当温度下降到充分低时，物体建一概率1稳定在低能状态。尽管两种网络的学习方法都属于有指导学习的范畴，但BP方法是利用反方向误差传播来时输出误差沿梯度方向下降，而玻尔兹曼机借助于统计物学的方法，采用模拟退火过程来模拟外界环境。令：x=(x1,x2,┅,xn)T,x{-1,+1}n为网络的输入Hopfield网络（5）Hopfield网络（1）Hopfield网络（9）Hebb学习规则：

Hopfield网络（10）离散Hopfield网学习算法：

Hopfield网络（11）Hopfield网络的应用：Hopfield网已成功地用于多个领域，应用方式主要有两种：联想存取和优化计算。不同应用的基本思想可以归纳如下：对于特定的问题，选择一种合适的表示方法，使得神经网络得输出与问题得解对应起来构造神经网络的能量函数，使其最小值对应于问题的最佳解由能量函数反推出神经网络的结构由网络结构构造网络，让其运行，则稳定状态在一定条件下就是问题的解Agenda神经网络概述感知机前馈神经网络Hopfield网络随机神经网络遗传算法人工生命

随机神经网络前面讨论的两种网络都为确定性的网络，组成它们的神经元均为确定性的，即给定神经元的输入其输出就是确定的，但在生物神经元中由于有各种各样的干扰这实际上是很难实现的。同时人工神经元的硬件实现也会有各种扰动，从而带来某些不确定性，因此讨论随机神经元显得必要且必需。模拟退火算法（SimulatedAnnealing）玻尔兹曼机（BoltzmannMachine，BM）模拟退火算法（1）模拟退火算法：基本思想是把某类优化问题的求解过程与统计热力学中的热平衡问题进行对比，试图通过模拟高温物体退火过程的方法，来找到优化问题的全局最优或近似全局最优解。一个物体（例如金属）的退火过程大体上是这样的：首先对该物体加热（熔化），那么物体内的原子就可高速自由运行，处于较高的能量状态。但是作为一个实际的物理系统，原子的运行总是最低的能态。一开始温度较高时，高温使系统具有较高的内能，而随着温度的下降，原子越来越趋向于低能态，最后整个物体形成最低能量的基态模拟退火算法（2）当温度T很高时，概率分布对一定范围内的能量E并没有显著差异，即物体处于高能状态域低能状态的可能性相差不大。但是，随着温度T的降低，物体处于高能状态的可能性就逐渐减少，最后当温度下降到充分低时，物体建一概率1稳定在低能状态。模拟退火算法（3）模拟退火算法（1）模拟退火算法（4）模拟退火算法（2）模拟退火算法（5）以上模拟退火的实现过程中有三个基本的因素应该注意。怎样按照某种概率过程产生新的搜索状态，而向该状态的转移应该不受能量曲面的限制。根据当前温度及新状态与原状态在能量曲面的相应位置，怎样确立形状态的接见标准。怎样选择初始温度及怎样更新温度，确立温度的下降过程。以上三点影响模拟退火的收敛速度，且影响退火结束以后多大的概率时状态稳定在全局最小点。玻尔兹曼机（1）玻尔兹曼机（2）当网络温度时，玻尔兹曼机神经元退化为离散的Hopfield模型神经元。BM网络也有同步和异步运行方式，对于异步串行的BM网络，由于它的于运行过程等价于相应状态能量函数的模拟退火过程，所以如果温度下降足够慢，网络最终将收敛能量函数的最小值，则也正是BM网络可用于组合优化问题原理。对于全并行的网络已经证明它可能不收敛，即使是网络温度趋于0。如果是部分并行不要太高，则网络的大多数都收敛，如果网络温度趋于0怎样选择初始温度及怎样更新温度，确立温度的下降过程。当网络温度时，玻尔兹曼机神经元退化为离散的Hopfield模型神经元。一开始温度较高时，高温使系统具有较高的内能，而随着温度的下降，原子越来越趋向于低能态，最后整个物体形成最低能量的基态以上三点影响模拟退火的收敛速度，且影响退火结束以后多大的概率时状态稳定在全局最小点。设t=0时对网络输入模式x，网络处于状态v(0),而在时刻t，网络到达状态v(t)。Hopfield网络的应用：Hopfield网已成功地用于多个领域，应用方式主要有两种：联想存取和优化计算。前面讨论的两种网络都为确定性的网络，组成它们的神经元均为确定性的，即给定神经元的输入其输出就是确定的，但在生物神经元中由于有各种各样的干扰这实际上是很难实现的。Hopfield网络（9）但是，随着温度T的降低，物体处于高能状态的可能性就逐渐减少，最后当温度下降到充分低时，物体建一概率1稳定在低能状态。网络是一个全连网络,即网络中任意两个单元之间都有连线,而且这种连接是对称的,即wij=wji.Hopfield网络（6）Hopfield网络的基本结构如下，N1,N2,┅，Nn表示网络的n个神经元，其转移特性函数为ƒ(x)，ƒ(x)，┅,ƒ(x),门限值为1，2，┅n。同时人工神经元的硬件实现也会有各种扰动，从而带来某些不确定性，因此讨论随机神经元显得必要且必需。玻尔兹曼机（3）玻尔兹曼机拓扑结构与一般二层前馈网络相似，其运行过程也与BP感知器类似。两种网络的主要区别实在学习过程上。尽管两种网络的学习方法都属于有指导学习的范畴，但BP方法是利用反方向误差传播来时输出误差沿梯度方向下降，而玻尔兹曼机借助于统计物学的方法，采用模拟退火过程来模拟外界环境。但是玻尔兹曼机与BP感知器在网络结构、数据表示及状态转换三点主要的差异。以上三点影响模拟退火的收敛速度，且影响退火结束以后多大的概率时状态稳定在全局最小点。Hopfield网络（2）Hopfield网络（4）这里假定：各结点门限值相等，且等于0。ƒ(x)=ƒ(x)=┅=ƒ(x)=sign(x)若v(t)稳定，则称v(t)为网络的稳定吸引子。反馈神经网络是得到最充分研究和应用的神经网络模型之一。Hopfield网络的应用：Hopfield网已成功地用于多个领域，应用方式主要有两种：联想存取和优化计算。Hopfield网络（1）模拟退火算法（SimulatedAnnealing）Hopfield网络在联想存取及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围.由能量函数反推出神经网络的结构模拟退火算法（SimulatedAnnealing）Hopfield网络的应用：