《神经网络第四章》ppt课件

1、第四章 反响式神经网络n4.1 Hopfield神经网络n4.2 双向异联想记忆网络n4.3 汉明(Hamming)网络4.1 Hopfield神经网络 美国加州工学院物理学家J.J.Hopfleld于1982年 和1984年分别提出了两种神经网络模型，简称 HNN。 离散的随机模型离散Hopfleld网络 确定论模型延续Hopfleld网络 HNN模型是目前得到了最充分研讨和广泛运用的反响式神经元网络模型。Hopfield将“能量函数(也称李雅普诺夫函数)的概念引入分析一类人工神经元网络的稳定过程，使网络运转的稳定性判别有了可靠和简便的根据。开辟了人工神经网络运用于联想记忆和优化计算等领域的

2、范围。 由于Hopfield网络与电子电路存在明显的对应关系，所以使得这种网络易于了解和便于实现。显然，为神经网络计算机的研讨奠定了根底。Hopfield网络的根本思想nHopfield网络作为一种全衔接型神经网络曾经在人工神经网络研讨开展历程中起过唤起希望、开辟研讨新途径的作用。n它用与阶层型神经网络不同的构造特征和学习方法，模拟生物神经网络的记忆机理，获得了令人称心的结果。 1985年Hopfield和DWTank用这种网络模型胜利地求解了优化组合问题中的具有典型意义的游览商(TSP)问题，在一切随机选择的途径中找到了其中十万分之一的最优途径，这在当时是神经网络研讨任务中所获得的突破性进展

3、。 Hopfield是从物理学磁场实际中遭到启发，结合生物神经网络的思想机理而提出这一网络模型的。 磁场也是种具有记忆功能的物质，人们很早就利用磁场的记忆功能发明出许多很有价值的产品，如目前广泛运用的计算机磁盘。 由物理学知识可知: 在磁性资料中游动着大量的磁旋，正是由于这些带有方向的磁旋的相互作用，才产生了磁场本身所具有的各种性质。在永久磁铁中，由于一切的磁旋都朝向一个方向，构成了磁铁的N极和S极的两极特性。nHopfield网络的根本思想网络的根本思想:n用人工神经元模拟的磁旋，用神经元之间的衔接用人工神经元模拟的磁旋，用神经元之间的衔接 n 权模拟磁场中磁场中磁旋的相互作用；权模拟磁场中

4、磁场中磁旋的相互作用；n用各神经元的用各神经元的“激活和激活和“抑制两种形状，模拟磁场中磁旋抑制两种形状，模拟磁场中磁旋的上、下两个方向，构成一个具有记忆功能的神经网络系统；的上、下两个方向，构成一个具有记忆功能的神经网络系统；n援用物理学中有关能量的概念，用援用物理学中有关能量的概念，用“计算能量函数计算能量函数(ComPutational Energy Function)来评价和指点整个网来评价和指点整个网络的记忆功能。络的记忆功能。 磁场与神经网络的对照表示图Hopfield网络的构造和算法n 离散型Hopfield网络构造如图。 Hopfield为一层构造的反响网络，能处置双极型离散数

5、据,即输入 及二进制数据 当网络经过训练后，可以以为网络处于等待任务形状。1,1x1,0 x对网络给定初始输入x时，网络就处于特定的初始形状，由此初始形状开场运转，可以得到网络输出即网络的下一形状；然后，这个输出形状经过反响回送到网络的输入端，作为网络下一阶段运转的输入信号，而这个输入信号能够与初始输入信号不同，由这个新的输入又可得到下步的输出，这个输出也能够与上一步的输出不同； 如此下去，网络的整个运转过程就是上述反响过程的反复。假设网络是稳定的，那么，随着许多次反响运转，网络形状的变化减少，直到后来不再变化到达稳态。这时，在网络的输出端可以得到稳定的输出。这是一个只需四个神经元的离散型Ho

6、pfield网络。 其中每个神经元只能取“1，或“0两个形状。设网络有n个神经元，那么各个神经元的形状可用向量U表示： U(u1，u2，,un) 其中，ui1或0 (i1，2，n) Hopfield网络的各个神经元都是相互衔接的，即每一个神经元都将本人的输出经过衔接权传送给一切其它神经元，同时每个神经元又都接纳一切其它神经元传送过来的信息。 特别值得留意的是，由于Hopfield网络的这种构造特征，对于每一个神经元来说、本人输出的信号经过其它神经元又反响回本人，所以也可以以为Hopfield网络是一种反响型神经网络。 其它方式的Hopfield网络构造： 对于Hopfield网络已有定理证明：

7、 当网络满足以下 两个条件时，Hopfield学习算法总是收敛的。(1) 网络的衔接权矩阵无自衔接且具有对称性，即 这一假设条件虽然不符合生物神经网络的实践情况(生物神经元之间衔接强度通常是不对称的)。但是却与磁场中各磁旋的相互作用情况相一致。2网络中各神经元以非同步或串行方式，根据 运转规那么改动其形状，即各神经元按随机选 取方式，根据运转规那么改动形状；且当某个 神经元改动形状时其它一切神经元坚持原 形状不变。 这一点符合生物神经网络的情况。 (1)串行(异步)方式： 任一时辰只需一个单元改动形状，其他单元不 变(动作顺序可以随机选择或按某种确定顺序选 择)。 (2)并行(同步)方式： 某

8、一时辰一切神经元同时改动形状(常称这种工 作方式的网络为Litt1e模型)。Hopfield网络运转规那么 神经网络主要有两种运转方式：一种是前面引见过的学习运转方式，即经过对训练方式的学习，调整衔接权到达方式记忆的目的；另一种就是下面将要引见的任务运转方式。在这种运转方式中，各衔接权值是固定的，只是经过按一定规那么的计算，更新网络的形状，以求到达网络的稳定形状。n 图是Hopfield网络中某个神经元的构造图。设网络由n个这样的神经元构成。时辰t第i个神经元的输出为：n n 上式阐明：当一切其它神经元输出的加权总和超越第i个神经元的输出阈值时，此神经元被“激活、否那么将遭到抑制。n 这里特别

9、应该留意的是，改动形状的神经元ui，并不是按顺序进展的，而是按随机的方式选取的。下面将Hopfield任务运转规那么总结如下： (1)从网络中随机选取一个神经元ui； (2)求所选中的神经元ui的一切输入的加权总和； (3)计算ui的第t+1时辰的输出值，即(4)ui以外的一切神经元输出坚持不变(5)前往到第一步，直至网络进如稳定形状。 Hopfield网络是一种具有反响性质的网络，而反响网络的一个重要特点就是它具有稳定形状，也称为吸引子。那么Hopfield网络的稳定形状是怎样的呢? 当网络构造满足前面所指出的两个条件时，按上述任务运转规那么反复更新形状，当更新进展到一定程度之后，我们会发现

10、无论再怎样更新下去，网络各神经元的输出形状不再改动，这就是Hopfield网络的稳定形状。用数学表示为 普通情况下，一个Hopfield网络必需经过多次反复更新才干到达稳定形状。网络计算能量函数与网络收敛 从Hopfoeld网络任务运转规那么可以看出，网络中某个神经元t时辰的输出形状，经过其它神经元间接地与本人的t-1时辰的输出形状发生联络。 这一特性从数学的观念看，网络的形状变化可用差分方程表征； 从系统动力学的观念看，此时的网络已不象误差反向传播那样只是非线性映射的网络，而是一个反响动力学系统。 准确地说是一个多输入、多输出、带阈值的二态非线性动力学系统。 一个笼统的动力学系统，与一个具有

11、实践物理意义的动力学系统比较，笼统系统的动态过程必定是使某个与实践系统方式上一致的“能量函数减小的过程。Hopfie1d网络也同样如此。在满足一定的参数条件下，某种“能量函数的能量在网络运转过程中不断地降低最后趋于稳定的平衡形状。 设t时辰网络的形状用n个神经元的输出向量U(t)表示： 设每个神经元只需“1或“0两种形状，所以n个神经元共有2n个组合形状，即网络具有2n 种形状。 从几何学的角度看，这2n 种形状正好对应一个n维超立方体的各个顶点。 以n3为例，一个立方体的八个顶点正好对应网络的八种形状。如图 网络的能量函数可定义为网络形状的二次函数： 上式的能量函数巳不是物理学意义上的能量函

12、数，而是在表达方式上与物理意义上的能量概念一致，表征网络形状的变化趋势，并可根据Hopfield任务运转规那么不断进展形状变化，最终可以到达某个极小值的目的函数。 所谓网络的收敛，就是指能量函数到达极小值。 下面证明，按照Hopfield任务运转规那么，改动网络形状，能量函数式将单调减小。 由上式可知，对应第i个神经元的能量函数：那么由时辰t至时辰t+1的能量Ei的变化量Ei 为 由Hopfield网络任务运转规那么可知： 当Hi(t)0时，方括号中的值大于或等于零，故 Ei 0 当Hi(t)0时，方括号中的值小于或等于零，故 Ei 0 总之，Ei 0 。 由于一切神经元都是按同一个任务运转规

13、那么进展形状更新的，所以有 E 0 ，即 Et+1 E(t) 上式阐明：随着网络形状的更新，网络能量函数是单调递减的。n 图是Hopfield网络能量函数的表示图，为简单起见，假设网络的形状是一维的。横轴为网络形状，纵轴为网络能量函数。 当网络的形状随时间发生变化时，网络能量沿其减小的方向变化，最后落入能量的极小点。一旦能量落入某个极小点之后，按Hopfield任务运转规那么，网络能量函数将会“冻结在那里。也就是说网络不见得一定收敛到全局的最小点，这是Hopfield网络的一个很大缺陷。 但虽然如此，由以上分析可知，Hopfield网络已具有了寻觅能量函数极小点的功能，这就为网络的方式记忆打下

14、了根底。 为更深了解Hopfield网络的收敛过程，下面举一个具有四个神经元的Hopfield网络的实例，如下图。因每个神经元只需“0、“1两种形状，故四个神经元共有24 = 16种形状组合，也就是说，函数共有16种形状，分别用16进制数1F表示。 n分别让网络从0，l，2，F形状开场变化，每次共进展30回学习，察看网络形状变化的次序及网络的收敛情况。n图中，左边 ：内分别表示网络的初始形状和对应的网络能量，中间部分表示网络形状在30次学习过程中的变化次序，最右侧“*号表示网络收敛到全局最小点，“.表示网络落入部分极小点。网络的衔接权初始值为一1，+1内的随机值。 除去从3和A两个初始形状开场

15、变化外，其它14个初始形状最后都能收敛至全局最小点形状4(能量为-115)。 例如初始形状9，其能量为187，随着学习的进展，经9-5-，4最后收敛于形状4； 而当从形状A开场变化时，由A-3-3-3，最后收敛于部分极小点形状了，其能量为17。 这阐明网络的收敛情况依赖于网络的初始形状。 另外需求留意的是，这里网络能量的详细数值并不具有一定的物理意义，它只阐明网络某一形状在整个网络的一切形状中所处的位置。当网络衔接权的初始值改动时，各个形状所对应的能量详细数值也将随之改动。 在上例中，只改动衔接权初始随机值的取值方法(程序文语中，设置了产生不同种类随机数的方法)，其它与上例完全一样，那么其形状

16、的变化规律如下图。由图中可知，此时无论网络从哪一个形状出发，最后都将收敛于网络的全局最小点形状e，其能量为一248。这阐明整个网络只需一个极小点，即全局最小点。 由此可知，对于同样构造的网络，当网络参数有所变化时，如衔接权初始值随机数的取值方式或随机数的振幅有所不同时，网络的能量函数也将发生变化，其曲线或曲面(超曲面)对应的极小点的个数和大小也将变化。联想记忆 记忆存储是生物神经系一致个最根本也是最重要的功能。 对于人工神经网络，记忆功能的强弱同样是衡量其综合性能的一个重要目的。 而联想记忆associative memory,AM)又是人工神经网络模拟生物神经网络记忆特征的一个主要方法。 “

17、联想可以了解为从一种事物联络到与其相关事物的过程。在日常生活中,人们从一种事物出发，自然地会联想到与该事物亲密相关或者有因果关系的种种事物。 联想记忆的根本特征； 这就是由某个方式的部分信息联想起这个方式的全部信息。联想记忆的两个突出的特点：1.信息数据的存取不是像传统计算机经过存储器的地址来实现，而是由信息本身的内容实现，它是“按内容存取记忆content adderssbale memory,CAM;2. 信息不是集中存储在某些单元中，而是分布存储的。 联想记忆又分为: 自联想记忆auto-association 互联想记忆(hetero-association)。 自联想记忆就是由某种代

18、表事物(或者该事物的主要特征或能够是部分主要特征)联想到其所表示的实践事物； 互联想是有某一事物(或该事物的主要特征或者能够是部分主要特征)联想到与其亲密相关的另一事物。 现实上，可以将互联想记忆看作是自联想记忆的一个特例。 当把互联想有关的两个事物的信息当作一个一致的事物的信息时，互联想过程就自然过渡到自联想过程。 详细化为以下的两个定义： (1)自联想记忆。设在学习过程中存入M个样本运用时要求： 假设输入要求输出为即使它复原。 (2)异联想记忆。规定两组样本之间有一定的对应关系 运用时,假设输入 (含义同上)，要求输出: 人脑中对给出一种事物得出其对应事物的途径有两种构成方式。 一种是按时

19、间顺序对相关事情进展思索； 另一种就是经过事物本质特征的对比来确认事物的属性，从提示信息或部分信息对事物进展回想或确认。 这两种根本方式笼统成计算技术中按地址寻觅和按内容寻觅两种搜索方法。 按内容寻觅是基于事物全部或者部分特征来找出目的事物。寻觅过程就是事物间特征对比，而不用知道这些事物的详细存储地址。 从匹配过程来看，这种方法不需求地址的管理及变换，这就有能够提高查寻速度。 从观念上来看，这种方法接近人的思想的方法，由于在人脑辨识决策过程中，绝大多数是基于事物之间的联络，也就是联想过程。 但是，这种方法在传统计算机上用确定性算法难以实现，而人工神经元网络却能提供一种较好的实现方案。Hopfi

20、eld网络是如何实现联想记忆的呢? Hopfield网络是一个非线性动力学系统，网络的“能量函数存在着一个或多个极小点或称为平衡点、平衡形状。当某一时辰各神经元的形状确定之后，即网络的初始形状确定之后，网络的形状将按动力学方程即Hopfield任务运转规那么向能量递减的方向变化，最后接近或到达网络的平衡形状。 实践上可观测的平衡形状称为吸引子(Attractor)，吸引子可以是稳定的，也可以是不稳定的；可以是平衡点，也可以是极限环或混沌吸引子(奇特吸引子)。 有限环形状：指的是网络形状有规律地在某些形状 之间振荡； 混沌形状：指的是网络无规律地在某些形状之间振 荡。 不随时间变化的吸引于称为：

21、 稳定平衡点(Stable Equilibrium Point)。 Hopfield网络的这一特性提示我们，假设设法把所需记忆的方式设计成某个确定网络形状的一个稳定平衡点(极小值)，那么当网络从与记忆方式较接近的某个初始形状(即发生某些变形或含有某些噪声的记忆方式出发后，网络按Hopfield任务运转规那么进展形状更新，最后网络的形状将稳定在能量函数极小点，即记忆方式所对应的形状。 这样就完成了由部分信息(含有噪声的记忆方式)到全部信息(记忆方式)的联想过程。 图表示的是一个稳定吸引子的表示图。 网络中存放的一个记忆相当于一稳定吸引子，图中黑点所示位置。黑点以外为不稳定形状，不稳定形状可看成是

22、某记忆事物的部分知信息。 网络的能量函数总是由不稳定形状朝某部分稳定吸引子流动，这就相当于由事物的一部分信息自动联想出事物的全部信息。 这里应特别留意的是神经网络的记忆方式。显然，它的记忆方式与van Neumann数字计算机的记记忆方式完全不同。 在数字计算机中，一组信息对应一组存贮单元，当给定了这组信息的正确地址后，就可恢复这组信息，这就是所谓的地址寻址存贮方式(Addressable Memory，简称AAM方式)。 而神经网络的联想记忆那么是由一组信息的部分信息经过网络的演化过程回想出这组信息的全部内容。它模拟了生物神经网络中的信息存贮机理， 也就是说，用一个具有内部衔接的非线性网络的

23、动态行为模拟了联想记忆的过程。 这种记忆方式称为内容可寻址存储方式(Content Addressable Memory)，简称为CAM方式。 这种记忆方式的特点是信息存贮量大，信息检索时间与信息存贮量大小无关，可高速读取。当用记忆方式的部分信息鼓励网络时，可恢复出每个记忆方式的全部信息。联想存储器及其学习 可以经过合理选择权矩阵使待存向量成为某一动力学系统(详细如前述的Hopfield网络)的吸引子(稳定形状)，这样当外加一个测试向量时，网络运转稳定后就被吸引到(稳定在)与之相近的已存向量上。这一过程类似人的联想记亿过程，故称该系统为联想存储器(associate memory，简写为AM)

24、。 对AM的要求： 最根本的是要存储的向量是网络的稳定形状吸引子，此外，还有两个目的： (1)容量(C) ： 普通指某一定规模的网络可存储的二值向量的最大数量， 显然这与联想记忆的允许误差有关。 一种是对某一特定的学习算法，当错误联想的概率小于 12时，网络所能存储的最大向量数； 另一种是不论用哪种学习算法，只需能找到适宜的W， 使得任一组m个向量u1,u2,um能成为网络的稳定形状， 满足此条件下m的最大值。(2) 联想才干(A)或称纠错才干： 当对某一网络输入一个被歪曲的样本时，网络能 纠正其中错误分量，使之联想起与之间隔最近的 样本。此间隔指Hamming间隔。也就是说输入向 量与某一与

25、之最近的样本的Hamming间隔只需小 于A，就能稳定到该样本。 两个向量s1、s2的Hamming间隔是指s1、s2中不一样的分量数，用 dh(s1,s2)表示，因此有 1dh(s,-s)=N； 2假设 即s1、s2正交，那么 dh(s,-s)=N/20121Niiiss 显然这两个性质是有矛盾的，要A大就应使每个吸引子的“吸引域大，这会导致容量C减少。它们不仅与网络构造有关，也与用以确定W的学习算法有关。 吸引子的吸引域： 对于某些特定的初始形状，网络按一定的运转规那么最终能够都稳定在同一个吸引子上，那么，称这种经过一定时间可以稳定在吸引子的一切初始形状集合为吸引域。 吸引域半径是指包含在

26、吸引域的最大Hnmmmg球半径。可以证明AM的如下两个性质：1对于阈值= 0 的情况，假设向量u是一个稳定形状，那么-u也是WU=0的情况除外；2对于无自反响网络只需满足或那么假设u为稳定形状，一定不是稳定形状。iii , 01,udh1, Nudh 从上面两点可见： 有m个稳定形状的网络至少回同时存在m其它不需求的稳定形状，并且有些向量不能够同时成为同一网络的稳定形状。 网络中除了希望有的稳定点以外，还回存在一些不希望有的稳定点，称为多余吸引子或假吸引子Spurious Attractor。 好的AM该当除根本吸引子外，多余吸引子很少，而且它们的吸引域也比根本吸引子的吸引域小得多。 以Hop

27、field网络为例来阐明按内容寻觅的方法。 1 首先把方式向量 编码学习至衔接权矩阵W之中； 2给出测试方式X，把其作为网络输入向量，让网络运转 起来，而且网络形状之间的转换服从演化方程。此时， 假设网络曾经过充分训练、那么网络对于输入X稳定而且 联想正确； 3 网络稳定后，在输出端可以得到最正确PI匹配XK 。 n整个网络的运转过程概括为以下的假设干阶段: 要设计一个全面满足上述要求的AM是很困难的，甚至根本做不到。因此只能针对详细要求取合理的折衷。 网络规模确定后，主要问题是选择学习算法以确定W。 从输出的方式分有两种AM，一种是自联想存储器，输入一向量(可以含错误)联想起本身； X X

28、另一种是异联想存储器： X YAM的任务分两个阶段，第一步是由一组待存的向量确定权矩阵，称为学习过程)；学习后即可进入第二阶段(任务阶段)。下面将引见一些常用的学习算法。Hebb学习 由神经心思学家Hebb提出的学习规那么可归纳为“当某一突触(衔接)两端的神经元同步激活(同为激活或同为抑制)时，该衔接的强度应加强，反之应减弱。用数学方式可描画为 上面研讨的是所存向量正交时的情况，下面再看一下假设各向量为随机的(各分量取0或1的概率一样)，仍按Hebb规那么：外积学习的网络有如下性质：1当待存的样本两两正交时。只需满足 那么P个样本都可以是网络的稳定点，且各样本的 吸引域为2对随机选取的样本即样

29、本不一定两两正交，其 中各向量取1或0的概率为1/2，为到达称心的 信噪比P应小于N。PPNdh2PN 运用举例 外积法学习的网络用于存储8个数字，网络规模为N120，衔接权数为N2_N14280，每一待存方式为一个1012大小的黑白图像每幅120个象点，用+1表示黑,-1表示白，各根本向量如下图。 先用外积法学习权值，然后用根本向量作为输入。经实验，一切根本向量都是网络的稳定形状。为了检查纠错才干对根本向量加噪声， 详细方法是每一象点都以025的概率变异(-1改为+1或反之)，用污染后的向量去测试。图示出用污染后的6作为输入，经过不同迭代次数的情况。迭代37次后又稳定在根本向量6上。由于所加

30、噪声使网络的120个单元平均有l4会改动形状，所以平均迭代次数为30。表给出了每次联想所需迭代次数，其平均值为31。 实验中也发现一些问题，有时不能恢复出被污染了的方式的真实值，如污染的2在有些实验中经41次迭代后稳定在6上。 还有污染后的数字9有时其结果中有5%的神经元形状不正确这能够是一个多余吸引子。 Hopfield网络联想记忆的设计方法 实现Hopfield网络联想记忆的关键，是使被记忆的方式样本对应网络能量函数的极小值。 详细说就是，设有M个N维记忆方式，经过对网络N个神经元之间衔接权和N个神经元的输出阈值的设计，让这M个记忆方式所对应的网络形状正好是网络能量函数的M个极小值，这是一

31、个比较复杂、困难的问题。 目前还没有一个顺应恣意方式的记忆方式、且有效的通用设计方法。针对各种不同的情况，主要的设计方法有: 外积法(Outer Product Method)； 相关存贮法； 投影学习规那么法； 特征构造法 (Eigenstr ucture Method)； 非对称衔接矩阵网络综合法等。这些方法在运用上各有利弊。对这些方法的引见和证明需求较深数学根底和对非线性网络平衡点的稳定性、收敛轨道的有界性、吸引子的动态范围的深化了解。本课程对这些方法不再作引见。 Hopfield网络联想记忆的缺陷 Hopfield网络虽然具有很强的联想记忆功能，但是构成联想记忆的网络综合却是一个非常复

32、杂、且往往需求满足一定约束条件的棘手问题。在许多情况下，这些约束条件很难得到满足，如网络的对称性条件等。这样就给Hopfield网络的联想记忆带来了一些缺陷和运用上的限制。总结起来主要有以下三点：(1)由网络联想出或恢复出的方式未必是与输入 方式最接近的记忆方式。也就是说，在约束条件 不满足的情况下，由网络的输入方式回想出的记 忆方式，有时并不是与其汉明间隔最短的那个记 忆方式；(2)一切的记忆方式并不是以同样的记忆强度回想出 来。我们可以从网络的能量函数曲线直观地解释 这个问题。网络的记忆方式对应着网络能量函数 的各个极小值，即能量函数曲线的各个“谷底， 如下图。“谷底“深、“谷面宽、坡度大

33、的比“谷底浅、“谷面狭、“坡度小的那些“谷底有更多的被回想出来的时机，前者比后者对应更多的初始形状，或者说前者比后者具有更大的吸引子控制域。3在某些情况下，网络回想出的方式不是记忆模 式户任何一个方式，而落入“伪形状。举例阐明Hopfield网络存在的缺陷。如下图有三个记忆方式，这三个方式不符合条件。 图(a)为一个与方式1最接近(汉明间隔为14)的输入方式，但是当网络根据Hopfield任务运转规那么进展网络形状改动500次后，回想出来的却是一个与方式3接近的方式(汉明间隔为11)。 这是由于虽然输入方式与记忆方式l接近，但是记忆方式3却比记忆方式1具有更小的网络能量，并且记忆方式1与3之间

34、又比较接近(汉明间隔为38)，这阐明这两个记忆方式的极小值是临近的，加之方式3比方式1有更宽的吸引子控制范围。 针对Hopfield网络存在的这些问题，许多研讨者提出了各种改良方案。其中Hopfield本人提出过一种称为“反学习(unlearning)的方法。这一方法的主要思想是网络衔接权设定好之后，针对需求联想的输入方式，每次按任务运转规那么改动一次网络形状时，网络的衔接权做一次“微调做这种“微调的目的，是使网络能量函数的吸引子的控制范围趋于均等，从而抑制“伪形状景象的出现。 对于Hopfield网络，另一个非常有意义的问题是，一个具有N个神经元的Hopfield网络最多能存贮多少个记忆方式

35、，即Hopfield网络的信息存贮容量是多少? 假设单从网络的两个根本参数ij和i来看，由于它们可以是恣意实数，能够有无穷多种参数组合，因此存贮信息的才干似乎是无穷大的。但实践上Hopfield网络的存贮才干决议于由ij和i 的适当组合而可以构成网络能量函数稳定平衡点的个数。各种实际和实验阐明各种实际和实验阐明: : Hopfield Hopfield网络的信息存贮容量的上限值为网络的信息存贮容量的上限值为0 015N15N，当超越这个上限后，记忆错误将明显增多。当超越这个上限后，记忆错误将明显增多。 目前还没有一个准确地解释和计算神经网络倍息存目前还没有一个准确地解释和计算神经网络倍息存贮容

36、量的方法，这是一个很有意义的研讨课题，特贮容量的方法，这是一个很有意义的研讨课题，特别是对设计神经网络计算机来说，具有重要的适用别是对设计神经网络计算机来说，具有重要的适用价值。价值。延续时间型Hopfield神经网络 延续时间型Hopfield神经网络与离散型Hopfield网络的根本原理是一致的。但由于延续时间型Hopfield神经网络是以模拟量作为网络的输入、输出量，各神经元采用同步任务方式，因此它比离散型网络在信息处置的并行性、联想性、存贮分布性、实时性、协同性等方面更接近于生物神经网络。 这种网络的每个神经元的输入与输出关系为延续可微的单调上升函数，它的每个神经元的输入是一个随时间变

37、化的形状变量，它与外界输入和其他神经元来的信号有直接关系，同时也与其他神经元同它之间的衔接权有关系形状变量直接影响输入变量，使系统变成一个随时间变化的动态系统。 延续时间型Hopfield网络是Hopfield于1984年在离散型神经网络的根底上提出来的，其网络的构造上与离散型一样，而且形状方程方式上也一样。 在网络的整个运转过程中，一切节点形状的演化有 异步 同步 延续更新 三种方式。与离散Hopfield网络相比，多了一种延续更新的新方式，表示网络中一切节点都随延续时间并行更新。网络中形状确是在一定范围内延续变化。网络构造 Hopfield提出的延续确定性模型可与电子线路直接对应，每一个神

38、经元可由一个有正反向输出的放大器模拟，其中运算放大器模拟神经元的转移特性函数，衔接电阻(输入端)决议各种神经元之间的衔接强度，放大器输入端并联的电阻和电容可模拟生物神经元约输出时间常数。相互连线间的电导那么可模拟各神经元之间的突触特性(相当权系数)。 对上图的神经元，根据克希荷夫定律列写并经整理后成为以下的微分方程式 微分方程反映网络形状的延续更新的意义。随着时间的增长变化，网络逐渐趋于定态，在输出端可以得到稳定的输出。网络的稳定性同样也可以用能量函数的概念加以阐明。 稳定性分析定义系统的能量函数为对于延续系统，有以下定理： 由以上可知，随着时间的增长，随着形状的变化，能量是降低的。当且仅当网

39、络中一切的节点形状不可改动时，能量不冉变化，此时到达能量的极小点。这就是说网络的稳定点就是E的极小点。 当网络的构造不对称时，那么无法保证网络的稳定性。这时在网络的运转量程中能够出现极限环或混沌形状。 假设图中运算放大器为理想或近似理想放大器、那么能量函数定义式中积分项普通可忽略不计，此时，式可写为 在优化计算中，对于特定问题，先写出能量函数，再与规范方程对比，从而决议网络权构造。此时，可以为普通都是与方程相比而得到网络构造。 延续形状Hopfield神经网络及其改良型曾经广泛用于信号分解、自顺应滤波、谱估计、AD变换等信号处置的许多领域。Hopfield网络的运用 Hopfield网络曾经有

40、很多胜利的运用，如今还在不断地得到开展和拓宽运用领域。这种网络的运用方式主要有联想记忆和优化计算两种方式。而其详细的运用领域有图像、语音和信号处置、方式分类相识别、知识处置、控制、容错计算、数据查询等。n用神经网络处理优化组合问题，即寻觅问题的最优解，是神经网络运用的一个重要方面。n所谓最优解问题，就是指在给定的约束条件内，求出使某目的函数最小(或最大)化的变量组合问题。n经过对神经网络能量函数的分析，可以得到这样一种启发：既然网络的能量函数在网络的形状按一定规那么变化时，可以自动地朝着其稳定的平衡点即极小值点运动，并将最终收敛于极值点。假设把一个需求求解的问题的目的函数转换为网络的能量函数，

41、把问题的变量对应于网络的形状。这样当网络的能量函数收敛于极小值时，问题的最优解也就随之求出。 怎样用Hopfield网络去处理详细优化问题的过程，简要地归纳如下： (1)对于特定的问题，选择一种适宜的表示方法，使 得神经元网络的输出与问题的解对应起来。 (2)构造神经元网络的能量函数，使其最小值对应于 问题的最正确解。 (3)由能量函数倒过来推出神经元网络的构造，即神 经元之间的衔接导纳和偏向 (4)由网络构造建立起网络，令其运转，那么稳定状 态就是在一定条件厂问题的解答。在条件有限的 情况下，由网络构造可推导出网络的运转方式， 在计算机上模拟，也能得到称心的解。 为了阐明这个问题，这里举一个

42、最有代表性的优化组合实例游览商问题。简称TSP(the Traveling Salesman Problem)。这个问题同时也是用神经网络处理优化组合问题的最典型、最具有范例意义的问题。 当年正是由于Hopfield用其延续时间型神经网络胜利地求解了这个具有相当难度的组合优化问题,才使人工神经网络的研讨任务走出“低谷，并重新兴盛起来。 n 有一游览商从某一城市出发，访问各个城市一次且仅一次后，再回到原出发城市。要求找出一条最短的巡回道路。n 目前对这一问题已有许多种解法，如n 穷举搜索法(Exhaustive Search Method)n 贪婪法(Greedy Method)n 动态规划法(

43、Dynamic Problem Method)n 分枝定界法(BranchAndBound)等等。 这些方法部存在着一个共同问题，就是当城市数n较大时，会产生所谓“组合爆炸问题。 如：当n50时，用每秒运算一亿次的巨型计算机按穷举搜索法计算TSP所需的时间为51058年。既使城市数减少到20个，用这一方法求解仍需350年。显然这是无法实现的。 如何用Hopfield神经网络处理这一问题。为了简单明了起见，我们仅举n5的例子。设这五个城市分别为A、B、C、D、E。当任选一条途径如 时，其总的途径长度S可表示为 求解这五个城市TSP的第一个关键问题是找到一个简单、可以充分阐明问题、又便于计算的表达

44、方式。察看以下图。 图中的行表示城市，列表示城市巡回次序。按照提出的道路，可得到如下图的表现方式。假设把图看作一个短阵的话，这样方式的矩阵称为换位矩阵(Permutation Matrix)； 进一步，假设把短阵中每个元素对应于神经网络中的每个神经元的话，那么可用一个nn5525个神经元组成的Hopfield网络来处理这个问题。 有了明确的表达方式之后，第二个关键问题是如何把问题的目的函数表示为网络的能量函数，并将问题的变量对应为网络的形状。处理这个详细问题有一定的复杂性，并需求一定的技巧。 首先，对应换位矩阵，把问题的约束条件和最优要求分解出来：(1) 一次只能访问一个城市 换位矩阵每列只能

45、有一 个“1。(2) 一个城市只能被访问一次 换位矩阵每行只能有 一个“1，3一共有N个城市 换位矩阵中元素“1之和应为N。4要求巡回途径最短 网络能量函数最小值对应 于TSP的最短途径。 假设用vij表示为换位矩阵第i行、第j列的元素，显然vij只能取“1或“0。当然vij同时也是网络的一个神经元的形状。那么以上第4点也可表达为： 构成最短途径的换位矩阵一定是构成网络能量函数极小点的网络形状。 以上前三项只需当满足问题的约束条件时才干为0，因此这三项保证了所得途径的有效性。从普通意义上讲，这三项是针对优化组合问题约束条件而设置的，称为惩罚项(意思是：不满足约束条件，这些项就不为0，网络能量函

46、数就不能够到达极小值)。第四项对应问题的目的，即优化要求，其最小值就是最短途径长度。综合这四项可得到网络能量函数的最后表达方式 上式符合网络能量函数的定义，且只能当到达问题的最优解时，E获得极小值，由此时的网络形状vij 构成的换位矩阵表达了最正确游览道路。为使网络能收敛到全局极小值，可按以下设置网络各衔接权的初值。 实践上，将上式代入Hopfield网络能量函数式,那么得到TSP问题能量函数式(只相差一常数N2 )。也可以说，比较，那么可得到衔接权表达式。将式代人Hopfield网络运转方程，那么得求解TSP的网络迭代方程n 这样做的目的是使网络因初始形状的不同而引起竞争，从而使网络朝收敛方

47、向开展。 留意：在每进展一遍巡回之后，要检查运转结果即旅 行途径的合法性。主要有三方面：(1) 每个神经元的输出形状必需是“0或“1。(2) 换位矩阵每行有且仅有一个为1的单元。(3) 换位矩阵每列有且仅有一个为l的单元。这里只需 神经元输出 00l，那么可视为0， 099 那么可视为1。当网络的运转迭代次数大于事先给定 的回数时，经检查运转结果仍属非法时，阐明从 这一初始形状网络不能收敛到全局最小值。这时 需求改换一组网络初始形状(即重新设 置 )。从步骤开场再进展网络迭代， 直到网络到达稳定形状。如下图。 阅历阐明，中选择适宜的参数，如A500，D500，C200，D500，S函数时间常数

48、0100时，网络能得到较称心的收敛结果。 但是应该指出，用Hopfield网络处理TSP问题并不是每次都能收敛到最小值，而时常会“冻结在无意义的游览道路上。 这阐明Hopfield网络模型具有不稳健性(Non Robustness)，关于这方面的问题，有关文献进展了深化的研讨，并提出了一些改良想象。这里不再详述。 总结以上用神经网络处理优化组合问题的方法，其主要思想是根据问题的性质，把目的函数与网络的能量函数联络在一同，把问题的变量对应于网络单元形状，经过网络运转时能量函数的最小化趋势得到问题的最优解。由于网络是以迅速收敛的迭代方式运转的，所以那些有“组合爆炸危险的复杂问题可以变为可计算的简单

49、问题。 而运用这一方法的关键是恰当地写出问题的网络能量函数，构造出网络能量函数的普通方法可用下式表示：2AD转换 Hopfield网络用于优化的另一个实例就是利用人工神经元网络实现一种典型电路-AD变换器，这种电路与传统的AD变换电路相比较，具有构造简单、提高任务速度等优点。 1989年B.W.Lee和B.J.Sheu在IEEE的固态电路杂志上发表了“用修正的Hopfield网络设计以神经元为根底的AD变换器文章中提出用附加的逻辑电路消除迟滞，并做出实验芯片，这种电路构造比较复杂而且任务速度降低。 1991年郑君里和张宁在电路与系统学报上发表了文章，分析了迟滞(部分最小)景象出现的条件，导出了

50、约束公式，并且提出利用非对称Hopfield网络构作AD变换器可以消除迟滞景象，电路构造非常简单，任务速度也下降了。 3Hopfield延续模型用于线性时不变系统的辨识和非 线性系统的辨识。4用于求解线性和非线性规划。5图像处置、联想记忆、运动物体的速度场计算等等。 以上部分因篇幅关系，这里不引见。有兴趣的请查阅有关文献。网络运用与网络能量函数 我们已引见了人工神经网络在三个主要方面的运用，即 方式识别与分类 联想记忆 最优化。 可以发现:这三方面的运用实践上都是在利用神经网络能量的收敛特性的根底上得以实现的，只不过利用的角度不同而已。 1联想记忆：利用了网络能量函数的一切极小值， 每一个极小值对应一个记忆方式。2只利用网络能量函数的全局极小值即最小值，最 小值所对应的网络形状就是问