线性判别函数人工神经元网络模型ppt课件

1、 人工神经网络 Artificial Neural Networks10.1 人工神经网络概述p1概念p 1人工神经网络 是集脑科学、神经心思学和 信息科学等多学科的交叉研讨领域，是近年来 高科技领域的一个研讨热点。p 2它的研讨目的 是经过研讨人脑的组成机理和思想方式，探求人类智能的奥妙，进而经过模拟人脑的构造和任务方式，使机器具有类似人类的智能。p 3运用 它已在方式识别、机器学习、专家系统等多个方面得到运用，成为人工智能研讨中的活泼领域。10.1 人工神经网络概述p2 概念解释p 1人工神经网络Artificial Neural Networks，简记作ANN，是对人类大脑系统的一阶特性

2、的一种描画。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研讨的一种方法。 p 2神经网络是一个由大量简单的处置单元组成的高度复杂的大规模非线性自顺应系统 p (3)ANN力求从四个方面去模拟人脑的智能行为p物理构造 p计算模拟 p存储与操作 p训练p3主要组成p1 一组处置单元PE或AN；p2 处置单元的激活形状ai；p3 每个处置单元的输出函数fi；p4 处置单元之间的联接方式；p5 传送规那么wijoi；p6 把处置单元的输入及当前形状结合起来产生激活值的激活规那么Fi；p7 经过阅历修正联接强度的学习规那么；p8 系统运转的环境样本集合。 10.

3、1 人工神经网络概述4 人工神经网络的特点1 信息的分布表示2运算的全局并行和部分操作3处置的非线性10.1 人工神经网络概述10.2 10.2 神经元的构造与功能特性神经元的构造与功能特性p 生物神经元的构造p 神经细胞是构成神经系统的根本单元，称之为生物神经元，简称神经元。神经元主要由三部分构成1细胞体2轴突3树突4突触 (如图10.1)10.2 10.2 神经元的构造与功能特性神经元的构造与功能特性2. 人工神经元的任务过程人工神经元的任务过程 对于某个处置单元神经元来说，假设来自其对于某个处置单元神经元来说，假设来自其他处置单元神经元他处置单元神经元i的信息为的信息为Xi，它们与本处置

4、，它们与本处置单元的相互作用强度即衔接权值为单元的相互作用强度即衔接权值为Wi, i=0,1,n-1,处置单元的内部阈值为处置单元的内部阈值为。10.2 10.2 神经元的构造与功能特性神经元的构造与功能特性10niiixw而处置单元的输出为)xw(fy1n0iii那么本处置单元神经元的输入为10.3 BP10.3 BP神经网络模型与学习算法神经网络模型与学习算法pRumelhartRumelhart，McClellandMcClelland于于19851985年提出了年提出了BPBP网络的误差反网络的误差反向后传向后传BP(Back Propagation)BP(Back Propagati

5、on)学习算法学习算法pBPBP算法根本原理算法根本原理p利用输出后的误差来估计输出层的直接前导层的误差，再利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了一切其他各层的误差估计。去，就获得了一切其他各层的误差估计。 J. McClelland David Rumelhart 1 BP1 BP神经网络模型神经网络模型p(1) 三层BP网络构造1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw- - -隐含层输出层输入层3NT1 BP1 BP神经网络模型神经网络模

6、型p2 2激活函数激活函数p必需处处可导必需处处可导p普通都运用普通都运用S S型函数型函数 p3 3运用运用S S型激活函数时型激活函数时BPBP网络输入与输网络输入与输出关系出关系p输入输入p输出输出1122.nnnetx wx wx w1f()1enetynet1 BP1 BP神经网络模型神经网络模型4输出的导数211f ()(1)1e(1e)-netnetnetyy根据根据S S型激活函数的图形型激活函数的图形可知可知, ,对神经网络进展训对神经网络进展训练，应该将练，应该将netnet的值尽量的值尽量控制在收敛比较快的范控制在收敛比较快的范围内围内 2 BP2 BP网络的规范学习算法

7、网络的规范学习算法p1学习的过程：p神经网络在外界输入样本的刺激下不断改动网络的衔接权值,以使网络的输出不断地接近期望的输出。p2学习的本质：p对各衔接权值的动态调整p3学习规那么：p权值调整规那么，即在学习过程中网络中各神经元的衔接权变化所根据的一定的调整规那么。2 BP2 BP网络的规范学习算法网络的规范学习算法- -算法思想算法思想p4 4学习的类型：有导师学习学习的类型：有导师学习p5 5中心思想：中心思想：p将输出误差以某种方式经过隐层向输入层逐层反将输出误差以某种方式经过隐层向输入层逐层反传传p6 6学习的过程：学习的过程：p信号的正向传播信号的正向传播 误差的反向传播误差的反向传

8、播将误差分摊给各层的一切将误差分摊给各层的一切单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值2 BP2 BP网络的规范学习算法网络的规范学习算法- -学习过程学习过程p正向传播：正向传播：p输入样本输入层各隐层输出输入样本输入层各隐层输出层层p判别能否转入反向传播阶段：判别能否转入反向传播阶段：p假设输出层的实践输出与期望的输出教师信号假设输出层的实践输出与期望的输出教师信号不符不符p误差反传误差反传p误差以某种方式在各层表示修正各层单误差以某种方式在各层表示修正各层单元的权值元的权值p网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度p进展到预先设定的

9、学习次数为止进展到预先设定的学习次数为止2 BP2 BP网络的规范学习算法网络的规范学习算法 p(7)(7)网络构造网络构造p输入层有输入层有n n个神经元，隐含层有个神经元，隐含层有p p个神经元个神经元, ,p 输出层有输出层有q q个神经元个神经元p(8)(8)变量定义变量定义p输入向量输入向量; ;p隐含层输入向量；隐含层输入向量；p隐含层输出向量隐含层输出向量; ;p输出层输入向量输出层输入向量; ;p输出层输出向量输出层输出向量; ;p期望输出向量期望输出向量; ; 12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo1

10、2,qdddod2 BP2 BP网络的规范学习算法网络的规范学习算法输入层与中间层的衔接权值:隐含层与输出层的衔接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数: 误差函数：ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k2 BP2 BP网络的规范学习算法网络的规范学习算法p(10)(10)规范学习算法的主要步骤规范学习算法的主要步骤p第一步，网络初始化第一步，网络初始化 p给各衔接权值分别赋一个区间给各衔接权值分别赋一个区间-1-1，1 1内的随机数，设定误差函数内的随机数，设定误差函数e e，给定计算，给定计算精度值精度值 和最

11、大学习次数和最大学习次数M M。p第二步第二步, ,随机选取第随机选取第 个输入样本及对应个输入样本及对应期望输出期望输出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod2 BP2 BP网络的规范学习算法网络的规范学习算法p第三步，计算各层各神经元的输入和输第三步，计算各层各神经元的输入和输出出1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo kyi koq2 BP2 BP网络的规范

12、学习算法网络的规范学习算法p第四步，利用网络期望输出和实践输出，第四步，利用网络期望输出和实践输出，计算误差函数对输出层的各神经元的偏导计算误差函数对输出层的各神经元的偏导数数 。 ohoohoeeyiwyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok2 BP2 BP网络的规范学习算法网络的规范学习算法( )( )oohhoohoeeyik ho kwyiw 1( )( )( )

13、( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwp第五步，利用隐含层到输出层的衔接权第五步，利用隐含层到输出层的衔接权值、输出层的值、输出层的 和隐含层的输出计算误和隐含层的输出计算误差函数对隐含层各神经元的偏导数差函数对隐含层各神经元的偏导数 。 ( )hk( )ok2 BP2 BP网络的规范学习算法网络的规范学习算法21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho

14、khi kd kyi kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhooohoohqohohhoho kd kyo kyi kwhi kk whi kk 2 BP2 BP网络的规范学习算法网络的规范学习算法p第六步，利用输出层各神经元的第六步，利用输出层各神经元的 和和隐含层各神经元的输出来修正衔接权隐含层各神经元的输出来修正衔接权值值 。 1( )( )( )( )( )hoohhoNNhohoohewkk ho kwwwk ho k ( )ok( )howk2 BP2 BP网络的规范学习算法网络的规范学

15、习算法p第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和和输入层各神经元的输入修正衔接权。输入层各神经元的输入修正衔接权。 ( )hk1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhieehi kw kk x kwhi kwwwk x k2 BP2 BP网络的规范学习算法网络的规范学习算法p第八步，计算全局误差第八步，计算全局误差p第九步，判别网络误差能否满足要求。当误差第九步，判别网络误差能否满足要求。当误差到达预设精度或学习次数大于设定的最大次数，到达预设精度或学习次数大于设定的最大次数，那么终了算法。否那么，选取下一个学习样本那么终了算法。否

16、那么，选取下一个学习样本及对应的期望输出，前往到第三步，进入下一及对应的期望输出，前往到第三步，进入下一轮学习。轮学习。 2111( )( )2qmookoEdky km2 BP2 BP网络的规范学习算法网络的规范学习算法p1111BPBP算法直观解释算法直观解释p情况不断观表达情况不断观表达p 当误差对权值的偏当误差对权值的偏p导数大于零时，权值导数大于零时，权值p调整量为负，实践输调整量为负，实践输p出大于期望输出，出大于期望输出，p权值向减少方向调整，权值向减少方向调整，p使得实践输出与期望使得实践输出与期望p输出的差减少。输出的差减少。whohoewe0，此时，此时who02 BP2

17、BP网络的规范学习算法网络的规范学习算法pBPBP算法直解释算法直解释p情况二直观表达情况二直观表达p当误差对权值的偏导数当误差对权值的偏导数p小于零时，权值调整量小于零时，权值调整量p为正，实践输出少于期为正，实践输出少于期p望输出，权值向增大方向望输出，权值向增大方向p调整，使得实践输出与期调整，使得实践输出与期p望输出的差减少。望输出的差减少。hoewe0who回想回想p激发函数普通具有非线性特性,常用的非线性激发函数如下图1n0iiixw(a)(a)阈值型阈值型 (b)(b)分段线性型分段线性型 (c) Sigmoid(c) Sigmoid函数型函数型 (d)(d)双曲正切、双曲正切、

18、 常用的激发函数常用的激发函数 3 BP3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 p1 1MATLABMATLAB中中BPBP神经网络的重要函数和神经网络的重要函数和根本功能根本功能 函函 数数 名名功功 能能newff()生成一个前馈生成一个前馈BP网络网络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输函数传输函数logsig()对数对数S型型(Log-Sigmoid)传输函数传输函数traingd()梯度下降梯度下降BP训练函数训练函数3 BP3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现p2 2MAT

19、LABMATLAB中中BPBP神经网络的重要函数和根本功神经网络的重要函数和根本功能能pnewff()newff()p功能功能 建立一个前向建立一个前向BPBP网络网络p格式格式 net = newff(PR net = newff(PR，S1 S2.SN1S1 S2.SN1，TF1 TF1 TF2.TFN1TF2.TFN1，BTFBTF，BLFBLF，PF)PF)p阐明阐明 net net为创建的新为创建的新BPBP神经网络；神经网络；PRPR为网络输入取向量取值范围的矩阵；为网络输入取向量取值范围的矩阵；S1 S2SNlS1 S2SNl表示网络隐含层和输出表示网络隐含层和输出层神经元的个数

20、；层神经元的个数；TFl TF2TFN1TFl TF2TFN1表示网络隐含层和输表示网络隐含层和输出层的传输函数，默以为出层的传输函数，默以为tansigtansig；BTFBTF表示网络的训练函数，默以为表示网络的训练函数，默以为trainlmtrainlm；BLFBLF表示网络的权值学习函数，默以为表示网络的权值学习函数，默以为learngdmlearngdm；PFPF表示性能数，默以为表示性能数，默以为msemse。pnewff() newff() p newff: Create a feed-forward newff: Create a feed-forward p backprop

21、agation network backpropagation networkpSyntaxSyntaxp net=newff net=newff p net=newff( net=newff(p PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF) PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF) pDescriptionDescriptionp net = newff creates a new network with a net = newff creates a new network with a p dialog box. dial

22、og box.p newff(PR,S1 S2.SNl,TF1 TF2.TFNl, newff(PR,S1 S2.SNl,TF1 TF2.TFNl, p BTF,BLF,PF) takes BTF,BLF,PF) takesp (1)PR-R x 2 matrix of min and max (1)PR-R x 2 matrix of min and max values for R input elements values for R input elements (2)Si-Size of ith layer, for Nl (2)Si-Size of ith layer, for N

23、l layers layers (3)TFi-Transfer function of ith layer, (3)TFi-Transfer function of ith layer, default = tansig default = tansig (4)BTF-Backpropagation network (4)BTF-Backpropagation network training function, default = traingdx training function, default = traingdx (5)BLF-Backpropagation weight/bias

24、 (5)BLF-Backpropagation weight/bias learning function, default = learngdm learning function, default = learngdm (6)PF-Performance function, default = (6)PF-Performance function, default = msemse3 BP3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现p3 3MATLABMATLAB中中BPBP神经网络的重要函数和根本功能神经网络的重要函数和根本功能ptansig()tansi

25、g()p功能功能 正切正切sigmoidsigmoid激活函数激活函数p格式格式 a = tansig(n) a = tansig(n)p阐明阐明 双曲正切双曲正切SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从(-(-，+)+)映射到映射到(-1(-1，1)1)。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神训练的神经元。经元。plogsig()logsig()p功能功能 对数对数SigmoidSigmoid激活函数激活函数p格式格式 a = logsig(N) a = logsig(N)p阐明对数阐明对数SigmoidSigmoid函数把神经元的输入

26、范围从函数把神经元的输入范围从(-(-，+)+)映射到映射到(0(0，1)1)。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神经元。训练的神经元。3 BP3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现p4 4例例2-32-3，下表为某药品的销售情况，现构，下表为某药品的销售情况，现构建一个如下的三层建一个如下的三层BPBP神经网络对药品的销售进神经网络对药品的销售进展预测：输入层有三个结点，隐含层结点数为展预测：输入层有三个结点，隐含层结点数为5 5，隐含层的激活函数为隐含层的激活函数为tansigtansig；输出层结点数为；输出层结点数为1 1个，

27、输出层的激活函数为个，输出层的激活函数为logsiglogsig，并利用此网，并利用此网络对药品的销售量进展预测，预测方法采用滚络对药品的销售量进展预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用四个月的销售量，如用1 1、2 2、3 3月的销售量为输月的销售量为输入预测第入预测第4 4个月的销售量，用个月的销售量，用2 2、3 3、4 4月的销售月的销售量为输入预测第量为输入预测第5 5个月的销售量个月的销售量. .如此反复直至如此反复直至满足预测精度要求为止。满足预测精度要求为止。 月份月份123456销量销量2056

28、23952600229816341600月份月份789101112销量销量187314781900150020461556数据规范化：X=(x-min)/(max-min)3 BP3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现%以每三个月的销售量经归一化处置后作为输入P=0.51520.81731.0000 ; 0.8173 1.00000.7308; 1.0000 0.73080.0; 0.7308 0.00.1087; 0.00.10870.3520; 0.1087 0.35200.0000;%以第四个月的销售量归一化处置后作为目的向量T=0.7308 0.0

29、 0.1087 0.3520 0.0000 0.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0 ,1，隐含层有5个神经元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描画的规范学习算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%设置学习速率为0.1LP.lr=0.1;net=train(net,P,T); 3 BP3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现pBPBP网络运用于药品预测对比图网络运用于药品预测对比图p由对比图可以看出预测效果与由对比图可以看出预测效果与实践存在一定误差，此误差可实践存在一定误差，此误差可以经过添加运转步数和提高预以经过添加运转步数和提高预设误差精度也进一步减少设误差精度也进一步减少4 BP4 BP神经网络的特点神经