《神经计算》ppt课件

1、 1 人工神经网络根底 2 感知器 3 BP神经网络 人工神经网络是人脑及其活动的一个实际化的数学模型，它由大量的处置单元经过适当的方式互连构成，是一个大规模的非线性自顺应系统。 是一个并行、分布处置构造，它由处置单元及称为衔接的无向信号通道互连而成。 1学习才干 2普化才干 3信息的分布存放 4适用性可以根据所在的环境取改动它的行为。也就是说，人工神经网络可以接受用户提交的样本集合，按照系统给定的算法，不断修正用来确定系数行为的神经元之间的衔接强度，而且在网络的根本构成确定之后，这种改动是根据其接受的样本集合自然进展的。在学习过程中，人工神经网络不断从所接受的样本集合中提取该集合所蕴含的根本

2、内容，并将其以神经元之间的衔接权重的方式存放于系统中。对于不同的人工神经网络模型来说，有不同的学习/训练算法，有事，同种构造的网络拥有不同的算法，以顺应不同的运用要求。对一个网络模型来说，其学习/训练算法是非常重要的。 由于其运算的不准确性，人工神经网络在被训练后，对输入的微小变化是不反响的。与事物的两面性相对应，虽然在要求高精度计算时，这种不准确性是一个缺陷，但是，有些场所又可以利用这一点获取系统的良好性能。例如，可以使这种不准确性表现成“去噪声，容残缺的才干，而这对方式识别有时恰好是非常重要的。 人工神经网络擅长于处置适用笼统思想的问题。主要包括两个方面： 1对大量的数据进展分类，并且只需

3、较少的几种情况。 2必需学习一个复杂的非线性映射。计算功能计算功能ANN模型代表模型代表数学近似映射，如方式识别，分类，函数逼近BP CPN RBF Elamn概率密度函数估计SOM CPN从二进制数据基中提取相关信息BSB脑中盒模型构成拓扑延续及统计意义上的同构映射SOM,Kohonen最近相邻方式分类BP,BM(玻尔兹曼机)，CPN, Hopfield，BAM,ART, Kohonen数据聚类ART最优化 BM Hopfield 根本构成 激活函数 M-P模型神经元在获得网络输入后，它应该给出适当的输出。按照生物神经元的特性，每个神经元有一个阈值，当该神经元所获得的输入信号的累积效果超越阈

4、值时，它就处于激发态；否那么，应该处于抑制态。为了使系统有更宽的适用面，希望人工神经元有一个更普通的变换函数，用来执行对该神经元所获得的网络输入的变换，这就是激活函数，也可以称之为鼓励函数、活化函数，用f表示：式中，o是该神经元的输出。由此式可以看出，此函数同时也用来将神经元的输出进展放大处置或限制在一个适当的范围内。典型的激活函数有线性函数、非线性斜面函数、阶跃函数和S形函数等4种。()of net 单级网 多级网 循环网 人工神经网络最具有吸引力的特点是其学习才干。 人工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将由样本向量构成的样本集合简称为样本集、训练集输入到人工神经网络的

5、过程中，按照一定的方式去调整神经元之间的衔接权，使得网络能将样本集的内涵以衔接权矩阵的方式存储起来，从而使得在网络接受输入时，可以给出适当的输出。 从学习的方式来看，一种是有导师学习，另一种是无导师学习，后者较为低级。 感知器是最早被设计并被实现的人工神经网络。 学习算法 线性不可分问题 离散单输出感知器训练算法 离散多输出感知器训练算法 延续多输出感知器训练算法 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法根本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此

6、一层一层的反传下去，就获得了一切其他各层的误差估计。 David Rumelhart J. McClelland 三层BP网络1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw- - -隐含层输出层输入层3NT 激活函数 必需处处可导 普通都运用S型函数 运用S型激活函数时BP网络输入与输出关系 输入 输出1122.nnnetx wx wx w1f()1enetynet 输出的导数2f ()111 e(1 e)(1)-netnetnetyy根据根据S S型激活函数的图形可知型激活函数的图形可知, ,对神经网络进展训练，应该将对神经网络进展训练，应该将netnet的值尽的值尽

7、量控制在收敛比较快的范围内量控制在收敛比较快的范围内 学习的过程： 神经网络在外界输入样本的刺激下不断改动网络的衔接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各衔接权值的动态调整 学习规那么： 权值调整规那么，即在学习过程中网络中各神经元的衔接权变化所根据的一定的调整规那么。 学习的类型：有导师学习 中心思想： 将输出误差以某种方式经过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播将误差分摊给各层的一切将误差分摊给各层的一切单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值 正向传播： 输入样本输入层各隐层输出层 判别能否转入反向传播

8、阶段： 假设输出层的实践输出与期望的输出教师信号不符 误差反传 误差以某种方式在各层表示修正各层单元的权值 网络输出的误差减少到可接受的程度 进展到预先设定的学习次数为止 网络构造 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; 12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddod 输入层与中间层的衔接权值: 隐含层与输出层的衔接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据

9、个数: 激活函数: 误差函数：ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k 第一步，网络初始化 给各衔接权值分别赋一个区间-1，1内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod 第三步，计算隐含层各神经元的输入和输出1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq(

10、 )f( )1,2,ooyo kyi koq 第四步，利用网络期望输出和实践输出，计算误差函数对输出层的各神经元的偏导数 。 ohoohoeeyiwyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok( )( )oohhoohoeeyik ho kwyiw 1( )( )( )( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwp第五步，利

11、用隐含层到输出层的衔接权第五步，利用隐含层到输出层的衔接权值、输出层的值、输出层的 和隐含层的输出计算误和隐含层的输出计算误差函数对隐含层各神经元的偏导数差函数对隐含层各神经元的偏导数 。 ( )hk( )ok21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho khi kd kyi kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhoo

12、ohoohqohohhoho kd kyo kyi kwhi kk whi kk 第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正衔接权值 。 1( )( )( )( )( )hoohhoNNhohoohewkk ho kwwwk ho k ( )ok( )howk 第七步，利用隐含层各神经元的 和输入层各神经元的输入修正衔接权。 ( )hk1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhieehi kw kk x kwhi kwwwk x k 第八步，计算全局误差 第九步，判别网络误差能否满足要求。当误差到达预设精度或学习次数大于设定的最大次数，那

13、么终了算法。否那么，选取下一个学习样本及对应的期望输出，前往到第三步，进入下一轮学习。 2111( )( )2qmookoEdky km BP算法直观解释 情况不断观表达 当误差对权值的偏 导数大于零时，权值 调整量为负，实践输 出大于期望输出， 权值向减少方向调整， 使得实践输出与期望 输出的差减少。whohoewe0，此时，此时who0 BP算法直解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实践输出少于期 望输出，权值向增大方向 调整，使得实践输出与期 望输出的差减少。hoewe0who MATLAB中BP神经网络的重要函数和根本功能 函函 数数 名名功功 能能

14、newff()生成一个前馈生成一个前馈BP网络网络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输函数传输函数logsig()对数对数S型型(Log-Sigmoid)传输函数传输函数traingd()梯度下降梯度下降BP训练函数训练函数 MATLAB中BP神经网络的重要函数和根本功能 newff() 功能 建立一个前向BP网络 格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF) 阐明 net为创建的新BP神经网络；PR为网络输入取向量取值范围的矩阵；S1 S2SNl表示网络隐含层和输出层神经元的个数；TFl TF2TFN

15、1表示网络隐含层和输出层的传输函数，默以为tansig；BTF表示网络的训练函数，默以为trainlm；BLF表示网络的权值学习函数，默以为learngdm；PF表示性能数，默以为mse。 MATLAB中BP神经网络的重要函数和根本功能 tansig() 功能 正切sigmoid激活函数 格式 a = tansig(n) 阐明 双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。 logsig() 功能 对数Sigmoid激活函数 格式 a = logsig(N) 阐明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，

16、1)。它是可导函数，适用于BP训练的神经元。例2-3，下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进展预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进展预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。 月份月份123456销量销量205623952600229816341600月份月份789101112销

17、量销量187314781900150020461556%以每三个月的销售量经归一化处置后作为输入P=0.5152 0.81731.0000 ; 0.81731.00000.7308; 1.00000.73080.0; 0.73080.00.1087; 0.00.10870.3520; 0.10870.35200.0000;%以第四个月的销售量归一化处置后作为目的向量T=0.7308 0.0 0.1087 0.3520 0.0000 0.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0 ,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描画的规范学习算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%设置学习速率为0.1LP.lr=0.1;net=train(net,P,T); BP网络运用于药品预测对比图 由对比图可以看出预测效果与实践存在一定误差，此误差可以经过添加运转步数和提高预设误差精度业进一步