神经网络算法的课件

人工神经元网络（ANN）ArtificialNeuralNetwork生物神经元及生物神经网络什么是人工神经网络?人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统或计算机。生物神经元及生物神经网络神经网络的分类按照网络特性静态网络动态网络按照学习方法有导师学习无导师学习感知器（Perceptron）感知器的非线性激励函数感知器的线性可分问题多层神经网络的典型结构多层神经网络的例子

模式分类与函数逼近神经网络的反向扩散学习算法神经网络的反向扩散学习算法神经网络的反向扩散学习算法神经网络的反向扩散学习算法神经网络的反向扩散学习算法神经网络的反向扩散学习算法神经网络的反向扩散学习算法动态网络——Hopfield网络若按照神经网络运行过程中的信息流向来分类，那么所有网络都可分为前馈式网络和反馈式网络，在前一章中，主要介绍了前馈式网络通过许多具有简单处理能力的神经元的复合作用使整个网络具有复杂的非线性映射能力。在那里，着重分析了网络学习算法，研究的重点是怎样尽快地得到网络的整体非线性处理能力。在本章中，我们将集中讨论反馈式网络，通过网络神经元状态的变迁而最终稳定于某一状态而得到联想存贮或神经计算的结果。在这里，主要关心的是网络稳定性的问题，研究的重点是怎样得到和利用稳定的反馈式网络。Hopfield网络的结构N1N2NnNn-1……N3…

…W21W31Wn-1,1Wn,1x1x2x3xn-1xnv1(t)v2(t)v3(t)vn-1(t)vn(t)y1y2y3yn-1ynHopfield网络的结构Hopfield网络的基本结构如图所示，N1，N2，…，Nn表示网络的n个神经元，其转移特性函数为f1，f2，…，fn。门限值为1，

2，…，

n。对于离散型Hopfield网络，各节点一般选相同的转移特性函数，且为符号函数，即有f1(x)=f2(x)=…=

fn

(x)=sgn(x)为以后分析方便，我们选各节点门限值相等，且等于0，即有

1=

2=…=

n

=0同时，x=(x1,x2,…,xn)，x{-1,+1}n

为网络的输出，

y=(y1,y2,…,yn)，y{-1,+1}n

为网络的输出v(t)=(v1(t1),v2(t2),…,vn(tn)),v(t){-1,+1}n为网络在时刻t的状态，其中t(0，1，2，…)为离散时间变量，Wij为从Ni到Nj的连接权值，Hopfield网络是对称的，即Wij=Wji，i,j{1,2,…,n}。Hopfield网络的稳定性下面给出几个基本概念的定义。这些基本概念与网络运行过程中状态的变迁有关。定义1网络的稳定性若网络从初始状态v(0)开始，经过有限时间t后，网络的状态不再发生变化，即则称网络是稳定的。定义2网络的吸引子设t=0时对网络输入模式x，网络处于状态v(0)，而在时刻t，网络到达状态v(t)。若v(t)稳定，则称v(t)为网络的稳定吸引子，否则称v(t)为非稳定吸引子。在非稳定吸引子的情况，若网络状态有规律地在某些状态之间振荡，则称网络处于有限环(LimitedCircle)状态。若网络无规律地在某些状态之间振荡，则称网络处于混沌(Chaos)状态。定义3吸引子的吸引域对于某些特定的初始状态，网络按一定的运行规则最后可能都稳定在同一吸引子v(t)上。称能够稳定在吸引子v(t)的所有初始状态集合为v(t)的吸引域。Hopfield网络的联想原理E=mc2EinstanNewtNewtonNewyNewyearHopfield网络的联想原理所谓联想可以理解为从一种事物联系到与共相关事物的过程。在日常生活中。由一种事物出发，人们会非常自然地联想到与该事物密切相关或有因果关系的种种事物。在这里，我们区分两种联想形式，即。由某种代表事物(或该事物的主要特征。也可能是部分主要特征)联想到其所表示的实际事物，称自联想，由一种事物(或该事物的主要特征，也可能是部分主要特征)联想到与其密切相关的另一事物，称异联想。联想的定义首先考虑x类模式向量集合(x1,x2,…,xp）及y类模式向量集合(y1,y2,…,yp)，其中xi=(x1i,x2i,…,xni)，xi{-1,+1}n

yi=(y1i,y2i,…,ymi)，yi{-1,+1}m

联想的定义自联想

(Autoassociation)

给出向量模式xi，xi满足关系D(xi,

x˜i)=min(x˜i,

xj)，即xi含有x˜i的主要特征，其中D为某种度量，用以测量两个模式的相似度。若由x˜i得到了xi，即重新构造出xi，则称此构造过程为自联想过程。异联想(Heteroassociation)

给出向量模式xi。若由xi得到yi，即实现了两种不同事物之间的对应，则称这个对应过程为异联想过程。联想的定义按地址寻找传统计算机所使用的搜索方法。该方法的实现特点是忽赂了对应事物的内在联系而把事物转换成没有特征的数字(地址)。以后按地址的变换以某种策略进行寻找。随后对事物进行比较，按某种废量得到所要寻找的目标事物。按内容寻找基于事物全部或部分特征来找出目标事物。寻找过程就是事物间特征的对比，而不必知道这些事物的具体贮存地址。从匹配过程来看，这种方法不需要地址的管理及变换，这就有可能极大地提高查寻速度。从观念上来讲，本方法较按地址寻找更接近于人的思维方法，因为在人脑辨识决策过程中，绝大多数是墓千事物之间的联系，也即联想过程。但是，本方法在传统计算机上用确定性算法难以实现，而神经网络方法却能提供一种较好的实现方案。联想的定义定义Hamming距离，两个向量中对应元素不相同的个数，称作这两个向量的汉明距离。例如：x1与x2汉明距离可用下式计算DH(x1,x2)=1/2(1xi1xi2)联想的定义模式匹配对于集合{x1,x2,

,xp}，其中xi=(x1i,x2i

,

,xni)

，xi{1,+1}n给出输入测试模式x，试在该模式集合中找出与x在汉明距离最为接近意义下的xi，i{1,2,

,n}。联想的定义计算步骤(按地址寻找

)计算x与所有已存贮模式的汉明距离 forj=1,p DH(x,xj)=1/2(1xixij)找出与x最为相似的模式标号（用k表示） k1 forj=2,p ifDH(x,xj)

DH(x,xj-1)thenkj

由标号k查找得xk print(xk)联想的定义计算步骤(按内容寻找

)学习阶段：形成W（与x1,x2,

,xp有关）初始阶段：v(0)=x（假设输入x=

xk）运行过程：v(t+1)=sgn(v(t)W)稳定输出：v=xkx11

x21

xn1x12

x22

xn2LOC(x1)LOC(x2)x1k

x2k

xnkx1p

x2p

xnpLOC(xk)LOC(xp)x1

x2

xn输入xDH(x1,x)DH(x2,x)DH(xk,x)DH(xp,x)CCCCx1x2xkxp

xDH(xk,x)选择传统计算机存储及比较方法x1x2xn神经网络存储及