人工神经网络课件

1、5.1 人工神经网络的基本概念 5.1.1 发展历史 5.1.2 McCulloch-Pitts神经元 5.1.3 网络结构的确定 5.1.4 关联权值的确定 5.1.5 工作阶段 5.2 多层前向神经网络 5.2.1 一般结构 5.2.2 反向传播算法 5.3 反馈型神经网络 5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用智能算法导论浙江大学5.1 人工神经网络的基本概念 智能算法导论浙江大学“神经网络”与“人工神经网络”1943年，Warren McCulloch和Walter Pitts建立了第一个

2、人工神经网络模型；1969年，Minsky和Papert发表Perceptrons；20世纪80年代，Hopfield将人工神经网络成功应用在组合优化问题。 5.1.1 发展历史5.1 人工神经网络的基本概念 智能算法导论浙江大学重要意义 现代的神经网络开始于McCulloch, Pitts(1943)的先驱工作； 他们的神经元模型假定遵循有-无模型律； 如果如此简单的神经元数目足够多和适当设置连接权值并且同步操作, McCulloch & Pitts证明这样构成的网络原则上可以计算任何可计算函数； 标志着神经网络和人工智能的诞生。 5.1.2 McCulloch-Pitts神经元5.1 人工

3、神经网络的基本概念 智能算法导论浙江大学结构 McCulloch-Pitts输出 函数定义为： 5.1.2 McCulloch-Pitts神经元InputsignalSynapticweightsSummingfunctionActivationfunctionOutputyx1x2xnw2wnw1-5.1 人工神经网络的基本概念 智能算法导论浙江大学线性网络激活函数满足f(cz) = cf(z), f(x+y)=f(x)+f(y)确定权数的常用规则 hebb规则 McCulloch-Pitts输出 函数定义为： 5.* 单层网络5.1 人工神经网络的基本概念 智能算法导论浙江大学网络的构建

4、Y=F(X) 5.1.2 McCulloch-Pitts神经元x1y1输出层隐藏层输入层x2y2ymxn网络的拓扑结构 前向型、反馈型等神经元激活函数 阶跃函数 线性函数 Sigmoid函数5.1 人工神经网络的基本概念 智能算法导论浙江大学 5.1.3 网络结构的确定f(x)x0+12022/8/219 激活函数(Activation Function) 激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f（net） 1、线性函数（Liner Function） f（net）=k*net+c netooc2022/8/21102、非线性斜面函数(Ramp Fu

5、nction) if netf（net）= k*netif |net|0为一常数，被称为饱和值，为该神经元的最大输出。 2022/8/21112、非线性斜面函数（Ramp Function） - - net o 2022/8/21123、阈值函数（Threshold Function）阶跃函数if netf（net）=-if net 、均为非负实数，为阈值二值形式：1if netf（net）=0if net 双极形式：1if netf（net）=-1if net 2022/8/21133、阈值函数（Threshold Function）阶跃函数 -onet02022/8/21144、S形函数

6、压缩函数（Squashing Function）和逻辑斯特函数（Logistic Function）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）= 1/(1+exp(-d*net) 函数的饱和值为0和1。S形函数有较好的增益控制 2022/8/21154、S形函数 a+b o(0,c)netac=a+b/22022/8/2116无导师学习 无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存

7、于网络中。2022/8/2117 有导师学习 有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。输入向量与其对应的输出向量构成一训练。有导师学习的训练算法的主要步骤包括：1） 从样本集合中取一个样本（Ai，Bi）；2） 计算出网络的实际输出O； 3） 求D=Bi-O；4） 根据D调整权矩阵W； 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。 2022/8/2118Delta规则 Widrow和Hoff的写法：Wij(t+1)=Wij(t)+(yj- aj(t)oi(t)也可以写成：Wij(t+1)=Wij

8、(t)+Wij(t)Wij(t)=joi(t)j=yj- aj(t)Grossberg的写法为： Wij(t)=ai(t)(oj(t)-Wij(t)更一般的Delta规则为： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t)确定的内容 权值wi和确定的方式 学习（训练） 有指导的学习：已知一组正确的输入输出结果的条件下，神经网络依据这些数据，调整并确定权值； 无指导的学习：只有输入数据，没有正确的输出结果情况下，确定权值。 5.1 人工神经网络的基本概念 智能算法导论浙江大学 5.1.4 关联权值的确定学习与工作的关系 先学习再工作5.1 人工神经网络的基本概念 智能算法导论浙江大

9、学 5.1.5 工作阶段前馈型网络（BP网络）：一类单方向层次型网络模块，它包括输入层、输出层和中间隐蔽层。从学习的观点看，前馈型网络是一类强有力的学习系统，其结构简单且易于编程。而从信息处理观点看，它主要是一类信息“映射”处理系统，可使网络实现特定的刺激反应式的感知、识别和推理等。（万能函数逼近器）反馈型动态网络（Hopfield网络)：一类可实现联想记忆及联想映射的网络，这一颇具吸引力的特性使得它在智能模拟中被广泛关注。反馈型动态网络可用于信息处理系统在于它具有稳定吸引子。(可用于优化计算领域）5.1 人工神经网络的基本概念 智能算法导论浙江大学 5.1.5 主要两种神经网络5.2 多层前

10、向神经网络智能算法导论浙江大学多层 两层以上前向 无反馈 5.2.1 一般结构输出层隐藏层输入层y1y2ymx1x2xn5.2 多层前向神经网络智能算法导论浙江大学 5.2.1 确定权数方法5.2 多层前向神经网络智能算法导论浙江大学学习规则 最小二乘原则 5.2.1 确定权数方法5.2 多层前向神经网络智能算法导论浙江大学目的 确定权值方法 反向推导 5.2.2 反向传播算法5.3 反馈型神经网络智能算法导论浙江大学一般结构 各神经元之间存在相互联系分类 连续系统：激活函数为连续函数 离散系统：激活函数为阶跃函数 5.3 反馈型神经网络智能算法导论浙江大学Hopfield神经网络 1982年

11、提出Hopfield反馈神经网络（HNN），证明在高强度连接下的神经网络依靠集体协同作用能自发产生计算行为。 是典型的全连接网络，通过引入能量函数，使网络的平衡态与能量函数极小值解相对应。 5.3 反馈型神经网络智能算法导论浙江大学网络结构 N为网络节点总数。 5.3.1 离散Hopfield神经网络s1(t+1)s2(t+1)sn(t+1)s1(t)s2(t)sn(t)w12w1nw21w2nwn1wn25.3 反馈型神经网络智能算法导论浙江大学网络结构 一般认为vj(t)=0时神经元保持不变sj(t+1)=sj(t); 一般情况下网络是对称的（wij=wji）且无自反馈（wjj=0）; 整

12、个网络的状态可用向量s表示： 5.3.1 离散Hopfield神经网络5.3 反馈型神经网络智能算法导论浙江大学工作方式 串行（异步，asynchronous）:任一时刻只有一个单元改变状态，其余单元保持不变； 并行（同步，synchronous）：某一时刻所有神经元同时改变状态。稳定状态 如果从t=0的任一初始态s(0)开始变化，存在某一有限时刻t，从此以后网络状态不再变化，即s(t+1)=s(t)，则称网络达到稳定状态。 5.3.1 离散Hopfield神经网络5.3 反馈型神经网络智能算法导论浙江大学能量函数的定义 异步方式： 同步方式： 5.3.1 离散Hopfield神经网络5.3

13、反馈型神经网络智能算法导论浙江大学能量函数 能量是有界的： 从任一初始状态开始，若在每次迭代时都满足E0，则网络的能量将越来越小，最后趋向于稳定状态E0 。 5.3.1 离散Hopfield神经网络5.3 反馈型神经网络智能算法导论浙江大学能量函数 分析异步（且网络对称wij=wji）情况下： 假设只有神经元i改变状态 5.3.1 离散Hopfield神经网络5.3 反馈型神经网络智能算法导论浙江大学能量函数 分析异步（且网络对称wij=wji）情况下： 假设只有神经元i改变状态 5.3.1 离散Hopfield神经网络同号5.3 反馈型神经网络智能算法导论浙江大学能量函数 分析同步（且网络对

14、称wij=wji）情况下： 5.3.1 离散Hopfield神经网络同号5.3 反馈型神经网络智能算法导论浙江大学网络结构 与电子线路对应： 放大器神经元 电阻、电容神经元的时间常数 电导权系数 5.3.2 连续Hopfield神经网络5.3 反馈型神经网络智能算法导论浙江大学网络的微分方程能量函数 可证明，若g-1为单调增且连续，Cj0，Tji=Tij，则有dE/dt0，当且仅当dvi/dt=0时dE/dt=0。 5.3.2 连续Hopfield神经网络5.3 反馈型神经网络智能算法导论浙江大学能量函数 随着时间的增长，神经网络在状态空间中的解轨迹总是向能量函数减小的方向变化，且网络的稳定点

15、就是能量函数的极小点。 5.3.2 连续Hopfield神经网络5.3 反馈型神经网络智能算法导论浙江大学能量函数 将动力系统方程 简单记为： 如果 ，则称ve是动力系统的平衡点，也称ve为吸引子。 5.3.2 连续Hopfield神经网络5.3 反馈型神经网络智能算法导论浙江大学能量函数 当从某一初始状态变化时，网络的演变是使E下降，达到某一局部极小时就停止变化。这些能量的局部极小点就是网络的稳定点或称吸引子。 5.3.2 连续Hopfield神经网络5.3 反馈型神经网络智能算法导论浙江大学Hopfield网络设计 当Hopfield用于优化计算时，网络的权值是确定的，应将目标函数与能量函

16、数相对应，通过网络的运行使能量函数不断下降并最终达到最小，从而得到问题对应的极小解。 5.3.3 Hopfield神经网络在TSP中的应用5.3 反馈型神经网络智能算法导论浙江大学Hopfield网络设计 通常需要以下几方面的工作： （1）选择合适的问题表示方法，使神经网络的输出与问题的解相对应； （2）构造合适的能量函数，使其最小值对应问题的最优解； 5.3.3 Hopfield神经网络在TSP中的应用5.3 反馈型神经网络智能算法导论浙江大学Hopfield网络设计 通常需要以下几方面的工作： （3）由能量函数和稳定条件设计网络参数，如连接权值和偏置参数等； （4）构造相应的神经网络和动态

17、方程； （5）用硬件实现或软件模拟。 5.3.3 Hopfield神经网络在TSP中的应用5.3 反馈型神经网络智能算法导论浙江大学TSP问题的表示 将TSP问题用一个nn矩阵表示，矩阵的每个元素代表一个神经元。 代表商人行走顺序为：3124 每一行、每一列的和各为1。 5.3.3 Hopfield神经网络在TSP中的应用1为是，0为否第1站第2站第3站第4站城市10100城市20010城市31000城市40001能量函数的构建 每个神经元接收到的值为zij，其输出值为yij，激活函数采用Sigmoid函数，记两个城市x和y的距离是dxy。 1）希望每一行的和为1，即 最小，每一行最多有一个1

18、时，E10。5.3 反馈型神经网络智能算法导论浙江大学 5.3.3 Hopfield神经网络在TSP中的应用第1站第2站第3站第4站城市10100城市20010城市31000城市40001能量函数的构建 2）希望每一列的和为1，即 最小，每一列最多有一个1时，E20。 3）希望每一行每一列正好有一个1，则 为零。5.3 反馈型神经网络智能算法导论浙江大学 5.3.3 Hopfield神经网络在TSP中的应用第1站第2站第3站第4站城市10100城市20010城市31000城市40001能量函数的构建 4）E1，E2，E3只能保证TSP的一个可行解，为了得到TSP的最小路径，当duv=dvu时，

19、希望 最小，其中，yu0=yun，yu(n+1)=yu1。duvyuiyv(i+1)表示城市u和v之间的距离（i代表行走顺序）。5.3 反馈型神经网络智能算法导论浙江大学 5.3.3 Hopfield神经网络在TSP中的应用第1站第2站第3站第4站城市10100城市20010城市31000城市40001能量函数的构建 5）根据连续Hopfield神经网络能量函数， 最后，能量函数表示为： A，B，C，D，为非负常数。5.3 反馈型神经网络智能算法导论浙江大学 5.3.3 Hopfield神经网络在TSP中的应用能量函数的构建 由动力学方程， 5.3 反馈型神经网络智能算法导论浙江大学 5.3.

20、3 Hopfield神经网络在TSP中的应用能量函数的构建 整理后得到：5.3 反馈型神经网络智能算法导论浙江大学 5.3.3 Hopfield神经网络在TSP中的应用10城市TSP问题（d*=2.691） 0.4 0.4439; 0.2439 0.1463; 0.1707 0.2293; 0.2293 0.761; 0.5171 0.9414; 0.8732 0.6536; 0.6878 0.5219; 0.8488 0.3609; 0.6683 0.2536; 0.6195 0.26345.3 反馈型神经网络智能算法导论浙江大学 5.3.3 Hopfield神经网络在TSP中的应用10城市

21、TSP问题（d*=2.691） 流程图： 5.3 反馈型神经网络智能算法导论浙江大学 5.3.3 Hopfield神经网络在TSP中的应用10城市TSP问题（d*=2.691） 初始参数： 1 ABD500，C200 激励函数为Sigmoid 其中，00.025.3 反馈型神经网络智能算法导论浙江大学 5.3.3 Hopfield神经网络在TSP中的应用10城市TSP问题（d*=2.691） 初始参数： 初始的yui 初始的zui =0.000015.3 反馈型神经网络智能算法导论浙江大学 5.3.3 Hopfield神经网络在TSP中的应用10城市TSP问题（d*=2.691） 5.3 反馈型神经网络智能算法导论浙江大学 5.3.3 Hopfield神经网络在TSP中的应用10城市TSP问题（d*