第三章神经网络2-hopfield网络

1、晁 第5章单片机的定时/计数器与串行接口晁 第5章单片机的定时/计数器与串行接口晁 第5章单片机的定时/计数器与串行接口智能控制技术西安工业大学晁 第5章单片机的定时/计数器与串行接口晁 第5章单片机的定时/计数器与串行接口电信学院宋晓茹占和第5章单片机的定时/计数器与串行接口7.4反馈神经网络模型Hopfield 网络第5章 单片机的定时/计数器与串行接口7.4反馈神经网络模型Hopfield网络1982年，J. Hopfield提出了可用作联想存储器的互连 网络，这个网络称为Hopfield网络模型，也称Hopfield 模型。Hopfield神经网络模型是一种循环神经网络，从 输出到输入

2、有反馈连接。Hopfield网络属于无监督学习神经元网络。 Hopfield网络是单层反馈网络，是一种全连接加权无 向图，可分为连续型和离散型二种形式。第5章 单片机的定时/计数器与串行接口图 726 Hopfield 网络-0第5章单片机的定时/计数器与串行接口Hopfield网络是单层反馈网络，有n个神经元节点, 每个神经元的输出连按到其它神经元的输入。各个节 点自己没有反馈，图中的每个节点都附有一个阈值和 权系数。每个节点都可处于一种可能的状态（1或一 1）,即当该神经元所受的刺激越过其阈值时，神经 元处于一种状态（比如1）。否则神经元就始终处于 另一状态（比如一1）,图中顶点的个数就是

3、该神经 网络的阶数。第5章 单片机的定时/计数器与串行接口从时域上来看，Hopfield网可以用一组耦合的非 线性微分方程来表示。在一定条件下，Hopfield网络 可以用作联想存储器。Hopfield网络得到广泛应用的 另一个特点是它具备快速优化能力。C1F4离散型的Hopfield网络即二值型的Hopfield网络，只 有一个神经元层次。每个处理单元均有一个活跃值 (状态)取两个可能的状态值之一，通常用0和1或一1 和1来表示神经元的两个状态，即抑制或兴奋。整个网 络的状态由单一神经元的状态组成。网络的状态可用 一个由0(1)/1组成的矢量来表示，其中每一元素对应 于某个神经元的状态。第5

4、章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口HopfieldQ网络的基本单元第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口图727 Hopfield基本单元第5章 单片机的定时/计数器与串行接口匕0V, <0工忖+0J=1+1S,=保持以前状态-1第5章 单片机的定时/计数器与串行接口如果Hopfield网络是一个能收敛的稳定网络，则反馈 与迭代过程所产生的变化越来越小，一旦到达了稳定平 衡状态；那么Hopfield网络就会输出一个稳定的恒值。 对于一个Hopfield网络来说，关键是在于确定它在稳定 条件下的权系数。应该指出：反

5、馈网络有稳定的，也有不稳定的。对于 Hopfield网络来说，还存在如何判别它是稳定网络，亦 或是不稳定的问题；而判别依据是什么，也是需要确定 的。融 第5章 单片机的定时/计数器与串行接口1离散Hop五eld网络Hopfield最早提出的网络是二值神经网络，神经元的 输出只取1和0这两个值，所以，也称离散Hopfield神经 网络。在离散Hopfield网络中，所采用的神经元是二值 神经元；故而，所输出的离散值1和0分别表示神经元处 于激活和抑制状态。先考虑由三个神经元组成的离散Hopfield神经网络，其 结构如图713中所示。第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计

6、数器与串行接口XLK?XJ0713离散Hopfield神经网络结构图第5章 单片机的定时/计数器与串行接口第一层是实际神经元，故而执行对输人信息和权系数 乘积求累加和，并由非线性函数f处理后产生输出信息。 f是一个简单的阈值函效，如果神经元的输出信息大于阈 值e,那么，神经元的输出就取值为1；小于阈值e,则神 经元的输出就取值为e。对于二值神经元，它的计算公式如下口 二耳 WijE + 旳其中：xi为外部输入。并且有:Yi=l,当 UiHi 时Yi=O,当 UivGi 时第5章 单片机的定时/计数器与串行接口-cOo对于一个离散的Hopfield网络，其网络状态是输出神 经元信息的集合。对于一

7、个输出层是n个神经元的网络， 则其t时刻的状态为一个n维向量：Y(t)二Yl(t),Y2(t),Yn(t)T故而，网络状态有2"个状态;因为Yj(t)(j = ln)可以 取值为1或0；故n维向量Y(t)有2"种状态，即是网络状态。 1!角相对应。对于三个神经元的离散Hopfield网络，它的输出层就是 三位二进制数；每一个三位二进制数就是一种网络状态, 从而共有8个网络状态。网络状态如图714中所示。立 方体的每个顶角表示一种网络状态。同理，对于n个神 经元的输出层，它有2"个网络状态，也和一个n维超立 方体第5章 单片机的定时/计数器与串行接口第5章 单片机的

8、定时/计数器与串行接口00111111000001(1结构如图713第5章 单片机的定时/计数器与串行接口如果Hopfield网络是一个稳定网络，那么在网络的输入 端加入一个输入向量，则网络的状态会产生变化，也就是从超立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。对于一个由n个神经元组成的离散Hopfield网络，则有 n*n权系数矩阵W：W=Wij i=l,2,n j=l,2,n同时，有n维阈值向量B： 9=91,92,.9nT 一般而言，w和6可以确定一个唯一的离散Hopfield网络。第5章 单片机的定时/计数器与串行接口对于一个网络来说，稳定性是一个重大的性能指标!对

9、于离散Hopfield网络，其状态为Y(t)：Y(t)=Yl(t),Y2(t)v.,Yn(t)T如果，对于任何/kt。.当神经网络从t=0开始，有初始 状态Y(0)；经过有限时刻t,有：Y(t+At)=Y(t) 则称网络是稳定的。即所谓能量对Hopfield网络引入一个Lyapunov函数, 函数E=(-孕 XjYj + 孕jYj第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口日n 耳1 口wn即 E語(一 +略Wij阿一希硒+豁Yj= ?(-* )$Wij 乙 丫訂-若均 + 科 | J IL = 1u对于神经元j,其能量函数

10、可表示为：即:-cM第5章单片机的定时/计数器与串行接口神经元j的能量变化量表示为AEj:Rs-cM第5章单片机的定时/计数器与串行接口1 Y YY-zrLR郭 WijYi 誌 + Wij 爲 Yj) - Xj 芯 + 险 a Yj如果存在条件Wii=O, i=l,2,.,nWij=Wji i=l,2,nj=l,2,n则肴：= -SWLjY;-Xj + 阳7J li二-SWijYi + Xj-ejjAYj=I第5章 单片机的定时/计数器与串行接口1=1|=|式中：Ej为神经元j的能量； Ej为神经元j的能量变化；Wij为神经元倒神经元j的权系数:Yi为神经元j的输出；Xj为神经元j的外部输入；

11、 可为神经元j的阀值； Yj为神经元j的输出变化。 如果，令Uj=EWijYi+Xj则AEj可表示为： 考虑如下两种情况：第5章 单片机的定时/计数器与串行接口1.如果Uj>0j,即神经元j的输入结果的值大于阀值， 则Uj-0j>o,则从二值神经元的计算公式知道：Yj的值保 持为1,或者从0变到1。这说明Yj的变化AYj只能是0或 正值。这时很明显有AEj： AEj<0这说明Hopfield网络神经元的能量减少或不变。MUj-0j>O,则从二值神经元的计算公式可知：Yj的值保持为0,或者从1变到0。这说明Yj的变化AYj只能是零 或负位。这时则有ZEj： AEj<

12、0这也说明Hopfield网络神经元的能量减少。o第5章 单片机的定时/计数器与串行接口上面两点说明了 Hopfield网络在权系数矩阵W的对 角线元素为0,而且W矩阵元素对称时，Hopfield网络是 稳定的。hopfield网络的一个功能是可用于联想记忆，也即是 联想存储器。这是人类的智能特点之一。对于Hopfield 网络，用它作联想记忆时，首先通过一个学习训练过程 确定网络中的权系数，使所记忆的信息在网络的n维超 立方体的某一个顶角的能量最小。当网络的权系数确定 之后，只要向网络给出输入向量，这个向量可能是局部 数据.即不完全或部分不正确的数据，但是网络仍然产 生所记忆的信息的完整输出

13、。第5章 单片机的定时/计数器与串行接口1984年Hopfield开发了 一种用n维Hopfield网络作联想 存储器的结构。在这个网络中，权系数的赋值规则为存 储向量的外积存储规贝!l(out product storage prescription) 其原理省略。2连续Hopfield网络 b P 一3!连续Hopfield网络的拓朴结构和离散Hopfield网络的结 构相同。这种拓朴结构和生物的神经系统中大量存在的 神经反馈回路是相一致的。在连续Hopfield网络中，和 离散Hopfield网络一样，其稳定条件也要求Wij二Wji。第5章 单片机的定时/计数器与串行接口连续Hopfie

14、ld网络和离散Hopfield网络不同的地方在于 其函数g不是阶跃函数，而是S形的连续函数。一般取 g(u)=l/(l+e-u)当网络神经元的传递函数是S函数，并且网络权系数矩 阵对称；则随时间的变化网络的能量会下降或不变；且 仅当输出电位随时间变化不变时.网络的能量才会不变。 换而言之，在上述条件下的网络是能量不变或下降 的。定理的证明省略可以证明，如果Hopfield网络的传递函数g是连续而且 有界的，那么，能量函数E(t)是有界的。第5章 单片机的定时/计数器与串行接口最后结论：当Hopfield网络的神经元传递函数g是连续 且有界的，eg： Sigmoid函数，并且网络的权系数矩阵 对

15、称，则这个连续Hopfield网络是稳定的。在实际应用中任一系统，如果其优化问题可以用能量函 数E(t)作为目标函数，则总可以用连续Hopfield网络对其 进行求解。由于引入能量函数E(t), Hopfield使神经网络和问题优化直接对应；这种工作是具开拓性的。利用神 经网络进行优化计算，就是在神经网络这一动力系统给 出初始的估计点，即初始条件；然后随网络的运动传递 而找到相应极小点。这样，大量的优化问题都可以用连 续的Hopfield网来求解。这也是Hopfield网络用于神经 计算的基本原因。第5章 单片机的定时/计数器与串行接口1, 4,设例2：由3个神经元组成的Hopfield网络，

16、有2个基 本存贮器，存贮2个向*1, -b 1和卜1,计权连接矩阵。第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口解析：按公式:0 -22-202 -2第5章 单片机的定时/计数器与串行接口相应的连接图形如7-28：第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口满足匹配条件的固定点或向量计算如下:第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口WY=-0-22-20-232-20WY=- 0-22 _-20-232-201_ 141-1-4-13141-11_ 1-4-

17、T141=y3丿2-1-4-1第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口昭弘 第5章 单片机的定时/计数器与串行接口其它点都是不稳定的点，例如，对1, 1, 1,和1, 1,-1,迭代结果都移向稳定点。对1, b 11_ 0 -2 2 _T1 0 WY=-2 0 -211-4T-13-32-2 0101第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口-11-1对1，1,10 -2WY = - -2032 -2第5章 单片机的定时/计数器与串行接口此过程可用图表示如7-29：一1丄11丄1Hopf

18、ield网络的工作过程有4个步骤:1）存贮（学习），异步、随机。2）初始化，加入初始试样，然后移走。第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口3)迭代直至收敛第5章 单片机的定时/计数器与串行接口第5章 单片机的定时/计数器与串行接口4）输出，得到稳定点©第5章 单片机的定时/计数器与串行接口例7-3假设一个3节点的离散Hopfield神经网络,已知网络权值与阈值如下图7-30所示，已知网络权值初值圈内为阈值，线上为连接函数。计算状态转移关系。0.6图 7_30离散Hopfleld神经网络第5章 单片机的定时/计数器与串行接口解析：以初始状态 儿匕儿=00 0为例，我们 可以依次选择节点X,匕，匕，确定其节点兴奋的条 件及状态的转移。假设首先选择节点岭，激励函数 为W1(0) = 6?,.y.(0) + 6>1 =7=1(-0.5)x0+(0.2)x 0 + 0.1 = 0.1 >0可见，节点匕 处于兴奋状态并且状态yl由01。网络状态由000-100,转移概率为1/3。同样其它两个节点也可以以等概率发生状