8神经网络ppt课件

1、回想回想BP网络网络vBP网络一种前馈网络vBP网络=前馈网络+BP算法误差反向传播算法v建立一个静态的非线性映射，在实际上可以逼近恣意的非线性函数。v学习算法BP算法基于Delta规那么，本质上是一个优化算法，目的是调整网络上各边的权重，最终使得网络实践输出与期望输出之间的偏向最小。误差是各个权重的函数，存在一组权重，对应着误差的最小值点回想回想BP网络网络1( )1 exf x激发函数：激发函数：iOjO误差函数：误差函数：211()2MkkkEdO回想回想BP网络网络1( )1 exf x激发函数：激发函数：iOjO误差函数：误差函数：211()2MkkkEdO正向计算：正向计算：1Mj

2、ijiinetO隐层输出：隐层输出： ，()jjOf netij回想回想BP网络网络1( )1 exf x激发函数：激发函数：iOjOkO误差函数：误差函数：211()2MkkkEdO正向计算：正向计算：1MjijiinetO隐层输出：隐层输出： ，()jjOf net输出层输出：输出层输出： ，1qkjkjinetO()kkOf netEijjk回想回想BP网络网络1( )1 exf x激发函数：激发函数：iOjOkO误差函数：误差函数：211()2MkkkEdO正向计算：正向计算：1MjijiinetO隐层输出：隐层输出： ，()jjOf net输出层输出：输出层输出： ，1qkjkjin

3、etO()kkOf net反向传播：反向传播：(1)()kkkkkkkkOEOOdOOnet 输出层输出层广义误差：广义误差：(1)()jkkkkkjjkjkEOOdO OO Eijjk回想回想BP网络网络1( )1 exf x激发函数：激发函数：iOjOkO误差函数：误差函数：211()2MkkkEdO正向计算：正向计算：1MjijiinetO隐层输出：隐层输出： ，()jjOf net输出层输出：输出层输出： ，1qkjkjinetO()kkOf net反向传播：反向传播：(1)()kkkkkkkkOEOOdOOnet 输出层输出层广义误差：广义误差：(1)()jkkkkkjjkjkEOO

4、dO OO Eijjk 隐层隐层广义误差：广义误差：1(1)LjjjkjkkOO 1(1)()LijjjkjkiijkijEOOOO 回想回想BP网络网络初始化初始化给定一个样本输入、期望输出给定一个样本输入、期望输出前向计算前向计算计算实践输出与期望输出的差距计算实践输出与期望输出的差距反向传播反向传播终了？终了？否否例题. 对于以下图所示双输入双输出神经网络，给定样本X=1,3T D= =0.95,0.05T 求一步学习的结果。(鼓励函数 , 学习效率 1( )1xf xe13. 反响网络反响网络v反响网络的根本特征vHopfield神经网络的构造vHopfield网络的任务方式与任务过程

5、vHopfield网络权值的设计 反响网络(Recurrent Network)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点记忆，使得当给网络一组初始值(网络的输入)时，网络经过自行运转而最终收敛到这个设计的平衡点上。 反响网络可以表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 网络系统具有假设干个稳定的平衡形状。当网络从某一初始形状开场运动，网络系统总可以收敛到某一个稳定的平衡形状； 系统稳定的平衡形状可以经过设计网络的权值而被存储到网络中。 图3-13 反响网络 网络的构造 离散Hopfield网络是一个单层网络.。 各节点没有外部鼓励，没有自反响，每个

6、节点都附有一个阈值。每个节点都可处于一种能够的形状1或1 图3-14 离散型Hopfield网络 任务方式：异步方式串行和同步方式并行 异步方式：每次只需一个神经元进展形状的调整计算，其他节点坚持不变。 调整次序：随机选定或按一定次序。1(1)( )(1)( ) nijijijjjxkfxkxkxkji 同步方式：每一步一切神经元都进展调整 用矩阵方式表示：1(1)( ) 1nijijijxkfxkin12,TnXxxx12,Tn (1)( )X kF WX k1111nnnnW12(),(),()TnFf sf sf s1 0 ( )1 0 sf ss 任务过程 网络初值输入 网络输出 稳态

7、记忆样本由部分信息寻觅全部信息 稳态目的函数的极值点寻优 吸引子 ：满足条件12(0)(0),(0),(0)TnXxxxlim( )kX k ()XF WXX 任务过程实例 收敛性 对于离散Hopfield网络，假设按异步方式调整，且衔接矩阵为对称矩阵 ，那么对于恣意初态，网络都最终收敛到一个吸引子。 证明：定义能量函数 由于 ，故 E 有界。ijji1( )( )( )( )2TTE kXk WX kXk 1,1x 以下证明能量递减。( )(1)( )1( )( )( )( )( )( )21 ( )( )( ) 2111122221 2121()2TTTTTTTTTTTTTTTTTE kE

8、 kE kX kX kW X kX kX kX kXk WX kXkX WXX WXX WXX WXXXX WXXX WXX WXXXWXX WX 由于网络处于异步任务方式，故可设k时辰只需第i个神经元改动形状。那么有 那么 令 那么 ( )0,0,( ),0,0TiX kx k211( )( )( )( )2niijjiiiijE kx kxkxk 1( )( )niijjijskxk( )( )( )iiE kx k s k 下面分情况讨论：x : 由1变为-1 x : 由-1变为1x :不变 可见在恣意情况下皆有 。又由于 有下界，故 将收敛到一个常数。 ( )0E k( )0E k(

9、)0E k( )0E k( )E k( )E k 下面讨论 能否可以收敛到吸引子。思索情况1：情况2： 可见当 时，系统稳定在吸引子上。 ( )(1)1 ( )(1)1x kx kx kx k 或 ( )E k( )( )( )0iiE kx k s k ( )1 (1)1 ( )0ix kx ks k ( )0E k权值设计的方法直接计算经过学习机制训练网络直接求解：根据吸引子计算权值和阈值。例：吸引子1，1，-1 1，-1，1权值和阈值均在-1,1中经过学习机制训练网络用于联想记忆采用Hebb或规那么例：运用Hopfield网络辨识印刷体数字。样本：每个字以1012=120 个黑白像素表示，并 以列向量X描画 运用-1和1分别表示白像素和黑像素 样本数：M=10 12 , =120nXx xxn采器具有120个神经元的Hopfield神经网络权系数训练 10个列矢量样本同时学习， 第S个样本写为12 ,nXx xx12, ssssnTx