神经网络详解

1、概述概述 pRumelhartRumelhart，McClellandMcClelland于于19851985年提出了年提出了BPBP网络的误差反网络的误差反 向后传向后传BP(Back Propagation)BP(Back Propagation)学习算法学习算法 pBPBP算法基本原理算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差， 再用这个误差估计更前一层的误差，如此一层一层的反 传下去，就获得了所有其他各层的误差估计。 J. McClelland David Rumelhart BPBP神经网络模型神经网络模型 p三层三层BPBP网络网络 1 x 2 x 1 N x 1

2、 y 2 y 2 N y 1 z 2 z 3 N z 1 2 3 N 1 T 2 T ih w hj w - - - - - 隐含层输出层输入层 3 N T BPBP神经网络模型神经网络模型 p激活函数激活函数 必须处处可导 一般都使用一般都使用S S型函数型函数 p使用使用S S型激活函数时型激活函数时BPBP网络输入与输出关网络输入与输出关 系系 输入 输出 1122 . nn netx wx wx w 1 f() 1e net ynet BPBP神经网络模型神经网络模型 输出的导数 2 11 f ()(1) 1e(1e) -netnet netyy 根据根据S S型激活函数的图形可知型激

3、活函数的图形可知, ,对神经网络进行训练，应该将对神经网络进行训练，应该将netnet的值尽的值尽 量控制在收敛比较快的范围内量控制在收敛比较快的范围内 BPBP网络的标准学习算法网络的标准学习算法 p学习的过程：学习的过程： 神经网络在外界输入样本的刺激下不断改变网 络的连接权值,以使网络的输出不断地接近期 望的输出。 p学习的本质：学习的本质： 对各连接权值的动态调整 p学习规则：学习规则： 权值调整规则，即在学习过程中网络中各神经 元的连接权变化所依据的一定的调整规则。 BPBP网络的标准学习算法网络的标准学习算法- -算法思想算法思想 p学习的类型：有导师学习学习的类型：有导师学习 p

4、核心思想：核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 p学习的过程：学习的过程： 信号的正向传播 误差的反向传播 将误差分摊给各层的所有将误差分摊给各层的所有 单元各层单元的误单元各层单元的误 差信号差信号 修正各单元权修正各单元权 值值 BPBP网络的标准学习算法网络的标准学习算法- -学习过程学习过程 p正向传播：正向传播： 输入样本输入层各隐层输出层 p判断是否转入反向传播阶段：判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不 符 p误差反传误差反传 误差以某种形式在各层表示修正各层单元 的权值 p网络输出的误差减少到可接受的程度网络输出的误差减少到

5、可接受的程度 进行到预先设定的学习次数为止进行到预先设定的学习次数为止 BPBP网络的标准学习算法网络的标准学习算法 p网络结构网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 p变量定义变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; 12 , n xxxx 12 , p hihihihi 12 , p ho hohoho 12 , q yiyiyiyi 12 , q yoyoyoyo 12 , q ddd o d BPBP网络的标准学习算法网络的标准学习算法 输入层与中间层的连接权值: 隐含层与输出层的连接权

6、值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数： ih w f( ) ho w h b 1,2,km o b 2 1 1 ( )( ) 2 q oo o edkyo k BPBP网络的标准学习算法网络的标准学习算法 p第一步，网络初始化第一步，网络初始化 给各连接权值分别赋一个区间（-1，1） 内的随机数，设定误差函数e，给定计 算精度值 和最大学习次数M。 p第二步第二步, ,随机选取第随机选取第 个输入样本及对应个输入样本及对应 期望输出期望输出 k 12 ( )( ),( ),( ) n kx kx kx kx 12 ( )( ),( ),(

7、) q kd kdkdk o d BPBP网络的标准学习算法网络的标准学习算法 p第三步，计算隐含层各神经元的输入和第三步，计算隐含层各神经元的输入和 输出输出 1 ( )( )1,2, n hihih i hikw x kbhp ( )f( )1,2, hh ho khi khp 1 ( )( )1,2, p ohoho h yi kw ho kboq ( )f( )1,2, oo yo kyi koq BPBP网络的标准学习算法网络的标准学习算法 p第四步，利用网络期望输出和实际输出，第四步，利用网络期望输出和实际输出， 计算误差函数对输出层的各神经元的偏导计算误差函数对输出层的各神经元的

8、偏导 数数 。 o hooho eeyi wyiw ( ) ( ) ( ) p hoho oh h hoho w ho kb yi k ho k ww 2 1 1 ( ( )( ) 2 ( ( )( )( ) ( ( )( )f( )( ) q oo o ooo oo oooo d kyo k e d kyo k yo k yiyi d kyo kyi kk ( ) o k BPBP网络的标准学习算法网络的标准学习算法 ( )( ) o oh hooho eeyi k ho k wyiw 1 ( ) ( ) ( ) ( ) ( ) h ihhih n ihih hi i ihih eehik

9、whikw w x kb hik x k ww p第五步，利用隐含层到输出层的连接权第五步，利用隐含层到输出层的连接权 值、输出层的值、输出层的 和隐含层的输出计算误和隐含层的输出计算误 差函数对隐含层各神经元的偏导数差函数对隐含层各神经元的偏导数 。 ( ) h k ( ) o k BPBP网络的标准学习算法网络的标准学习算法 2 1 2 1 2 11 1 ( )( ) ) ( )2 ( )( )( ) 1 ( )f( ) ) ( )2 ( )( ) 1 ( )f( ) ) ( )2 ( )( ) q oo ho hhh q oo ho hh qp ohoho hoh hh d kyo k

10、eho k hi kho khi k d kyi k ho k ho khi k d kw ho kb ho k ho khi k 1 1 ( ) ( )( )f ( ) ( ) ( )f ( )( ) q h oooho o h q ohohh o ho k d kyo kyi kw hi k k whi kk BPBP网络的标准学习算法网络的标准学习算法 p第六步，利用输出层各神经元的第六步，利用输出层各神经元的 和和 隐含层各神经元的输出来修正连接权隐含层各神经元的输出来修正连接权 值值 。 1 ( )( )( ) ( )( ) hooh ho NN hohooh e wkk ho k

11、w wwk ho k ( ) o k ( ) ho wk BPBP网络的标准学习算法网络的标准学习算法 p第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和和 输入层各神经元的输入修正连接权。输入层各神经元的输入修正连接权。 ( ) h k 1 ( ) ( )( ) ( ) ( ) ( ) ( ) h ihhi ihhih NN ihihhi eehi k w kk x k whi kw wwk x k BPBP网络的标准学习算法网络的标准学习算法 p第八步，计算全局误差第八步，计算全局误差 p第九步，判断网络误差是否满足要求。当误差第九步，判断网络误差是否满足要求。当误差 达到预设

12、精度或学习次数大于设定的最大次数，达到预设精度或学习次数大于设定的最大次数， 则结束算法。否则，选取下一个学习样本及对则结束算法。否则，选取下一个学习样本及对 应的期望输出，返回到第三步，进入下一轮学应的期望输出，返回到第三步，进入下一轮学 习。习。 2 11 1 ( )( ) 2 qm oo ko Edky k m BPBP网络的标准学习算法网络的标准学习算法 pBPBP算法直观解释算法直观解释 情况一直观表达 当误差对权值的偏当误差对权值的偏 导数大于零时，权值导数大于零时，权值 调整量为负，实际输调整量为负，实际输 出大于期望输出，出大于期望输出， 权值向减少方向调整，权值向减少方向调整

13、， 使得实际输出与期望使得实际输出与期望 输出的差减少。输出的差减少。 who ho e w e 0，此时，此时who0 BPBP网络的标准学习算法网络的标准学习算法 pBPBP算法直观解释算法直观解释 情况二直观表达 当误差对权值的偏导数当误差对权值的偏导数 小于零时，权值调整量小于零时，权值调整量 为正，实际输出少于期为正，实际输出少于期 望输出，权值向增大方向望输出，权值向增大方向 调整，使得实际输出与期调整，使得实际输出与期 望输出的差减少。望输出的差减少。 ho e w e 0 who BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 pMATLABMAT

14、LAB中中BPBP神经网络的重要函数和基本神经网络的重要函数和基本 功能功能 函函 数数 名名功功 能能 newff()生成一个前馈生成一个前馈BP网络网络 tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输函数传输函数 logsig()对数对数S型型(Log-Sigmoid)传输函数传输函数 traingd()梯度下降梯度下降BP训练函数训练函数 BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 pMATLABMATLAB中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能 newff() 功能功能 建立一个前向建立一个前向BPB

15、P网络网络 格式格式 net = newff(PRnet = newff(PR，S1 S2.SN1S1 S2.SN1，TF1 TF1 TF2.TFN1TF2.TFN1，BTFBTF，BLFBLF，PF)PF) 说明说明 netnet为创建的新为创建的新BPBP神经网络；神经网络；PRPR为网络输入为网络输入 取向量取值范围的矩阵；取向量取值范围的矩阵；S1 S2S1 S2SNlSNl表示网络表示网络 隐含层和输出层神经元的个数；隐含层和输出层神经元的个数；TFl TF2TFl TF2TFN1TFN1 表示网络隐含层和输出层的传输函数，默认为表示网络隐含层和输出层的传输函数，默认为 tansig

16、tansig；BTFBTF表示网络的训练函数，默认为表示网络的训练函数，默认为 trainlmtrainlm；BLFBLF表示网络的权值学习函数，默认表示网络的权值学习函数，默认 为为learngdmlearngdm；PFPF表示性能数，默认为表示性能数，默认为msemse。 BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 pMATLABMATLAB中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能 tansig() 功能功能 正切正切sigmoidsigmoid激活函数激活函数 格式格式 a = tansig(n)a = tansig(n) 说

17、明说明 双曲正切双曲正切SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从(-(-， +)+)映射到映射到(-1(-1，1)1)。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神经元。训练的神经元。 logsig() 功能功能 对数对数SigmoidSigmoid激活函数激活函数 格式格式 a = logsig(N)a = logsig(N) 说明对数说明对数SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从(-(-，+)+)映射映射 到到(0(0，1)1)。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神经元。训练的神经

18、元。 BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 p例例2-32-3，下表为某药品的销售情况，现构建一个如下的三层，下表为某药品的销售情况，现构建一个如下的三层BPBP神经神经 网络对药品的销售进行预测：输入层有三个结点，隐含层结点数网络对药品的销售进行预测：输入层有三个结点，隐含层结点数 为为5 5，隐含层的激活函数为，隐含层的激活函数为tansigtansig；输出层结点数为；输出层结点数为1 1个，输出层个，输出层 的激活函数为的激活函数为logsiglogsig，并利用此网络对药品的销售量进行预测，并利用此网络对药品的销售量进行预测， 预测方法采用滚动

19、预测方式，即用前三个月的销售量来预测第四预测方法采用滚动预测方式，即用前三个月的销售量来预测第四 个月的销售量，如用个月的销售量，如用1 1、2 2、3 3月的销售量为输入预测第月的销售量为输入预测第4 4个月的销个月的销 售量，用售量，用2 2、3 3、4 4月的销售量为输入预测第月的销售量为输入预测第5 5个月的销售量个月的销售量. .如此反如此反 复直至满足预测精度要求为止。复直至满足预测精度要求为止。 月份月份123456 销量销量205623952600229816341600 月份月份789101112 销量销量187314781900150020461556 BPBP神经网络学习

20、算法的神经网络学习算法的MATLABMATLAB实现实现 %以每三个月的销售量经归一化处理后作为输入 p P=0.5152P=0.51520.81730.81731.0000 ;1.0000 ; 0.8173 0.81731.00001.00000.7308;0.7308; 1.0000 1.00000.73080.73080.1390;0.1390; 0.7308 0.73080.13900.13900.1087;0.1087; 0.1390 0.13900.10870.10870.3520;0.3520; 0.1087 0.10870.35200.35200.0000;0.0000; %以

21、第四个月的销售量归一化处理后作为目标向量 p T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761; %创建一个BP神经网络，每一个输入向量的取值范围为0 ,1，隐含层有5个 神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活 函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习 算法 p net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net=newff(0 1;0 1;0

22、 1,5,1,tansig,logsig,traingd); p net.trainParam.epochs=15000;net.trainParam.epochs=15000; p net.trainParam.goal=0.01;net.trainParam.goal=0.01; %设置学习速率为0.1 p LP.lr=0.1;LP.lr=0.1; p net=train(net,P,T); net=train(net,P,T); BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 pBPBP网络应用于药品预测对比图网络应用于药品预测对比图 p由对比图可以看出预测

23、效果与实际存在一定误差，此误差可以通过由对比图可以看出预测效果与实际存在一定误差，此误差可以通过 增加运行步数和提高预设误差精度业进一步缩小增加运行步数和提高预设误差精度业进一步缩小 BPBP神经网络的特点神经网络的特点 p非线性映射能力非线性映射能力 能学习和存贮大量输入能学习和存贮大量输入- -输出模式映射关系，而无需事输出模式映射关系，而无需事 先了解描述这种映射关系的数学方程。只要能提供足够先了解描述这种映射关系的数学方程。只要能提供足够 多的样本模式对供网络进行学习训练，它便能完成由多的样本模式对供网络进行学习训练，它便能完成由n n 维输入空间到维输入空间到m m维输出空间的非线性

24、映射。维输出空间的非线性映射。 p泛化能力泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也当向网络输入训练时未曾见过的非样本数据时，网络也 能完成由输入空间向输出空间的正确映射。这种能力称能完成由输入空间向输出空间的正确映射。这种能力称 为泛化能力。为泛化能力。 p容错能力容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输入样本中带有较大的误差甚至个别错误对网络的输入 输出规律影响很小。输出规律影响很小。 小结小结 pBPBP算法背景算法背景 pBPBP神经网络模型神经网络模型 pBPBP算法算法 基本思想 推导过程 实现 pBPBP神经网络的神经网络的MATLABMATL

25、AB函数函数 pBPBP神经网络的应用实例神经网络的应用实例 pBPBP神经网络与感知器神经网络的对比神经网络与感知器神经网络的对比 谢谢！谢谢！ BPBP网络的标准学习算法网络的标准学习算法 p网络结构网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 p变量定义变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; 12 , n xxxx 12 , p hihihihi 12 , p ho hohoho 12 , q yiyiyiyi 12 , q yoyoyoyo 12 , q ddd o d BPBP网络的标准学

26、习算法网络的标准学习算法 输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数： ih w f( ) ho w h b 1,2,km o b 2 1 1 ( )( ) 2 q oo o edkyo k BPBP网络的标准学习算法网络的标准学习算法 p第三步，计算隐含层各神经元的输入和第三步，计算隐含层各神经元的输入和 输出输出 1 ( )( )1,2, n hihih i hikw x kbhp ( )f( )1,2, hh ho khi khp 1 ( )( )1,2, p ohoho h yi kw h

27、o kboq ( )f( )1,2, oo yo kyi koq BPBP网络的标准学习算法网络的标准学习算法 2 1 2 1 2 11 1 ( )( ) ) ( )2 ( )( )( ) 1 ( )f( ) ) ( )2 ( )( ) 1 ( )f( ) ) ( )2 ( )( ) q oo ho hhh q oo ho hh qp ohoho hoh hh d kyo k eho k hi kho khi k d kyi k ho k ho khi k d kw ho kb ho k ho khi k 1 1 ( ) ( )( )f ( ) ( ) ( )f ( )( ) q h oooho o h q ohohh o ho k d kyo kyi kw hi k k whi kk BPBP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 p例例2-32-3，下表为某药品的销售情况，现构建一个如下的三层，下表为某药品的销售情况，现构建一个如下的三层B