BP神经网络课件

1、 BP神经网络PPTBP神经网络PPT人工神经网络人工神经网络 是是生物神经网络生物神经网络的某种模型的某种模型( (数学模型数学模型) ) 是对生物神经网络的模仿是对生物神经网络的模仿 基本处理单元为基本处理单元为人工神经元人工神经元BP神经网络PPT 大量大量的广泛、复杂连接，形成的广泛、复杂连接，形成实现各种智能活动实现各种智能活动 BP神经网络PPT BP神经网络PPT(2)(2)生物神经元的基本特征生物神经元的基本特征 神经元之间彼此神经元之间彼此 神经元之间的神经元之间的连接强度连接强度决定决定的强弱的强弱 神经元之间的神经元之间的可以可以 学习、遗忘、疲劳学习、遗忘、疲劳 -神经

2、网络中各神经元之间神经网络中各神经元之间，按外部的，按外部的激励信号做激励信号做 信号可以起信号可以起作用，也可以起作用，也可以起作用作用 一个神经元接受信号的一个神经元接受信号的决定该神经元的决定该神经元的 每个神经元可以有一个每个神经元可以有一个BP神经网络PPT是是对对的的模模拟拟。 大大量量简简单单的的以以某某种种形形式式连连接接，形形成成一一个个. . 其其中中某某些些因因素素，如如: :连连接接连连接接，其其大大小小决决定定信信号号传传递递强强弱弱) ); ; , ,神神经经元元的的输输入入输输出出特特性性) ); ;甚甚至至等等， 可可依依某某种种规规则则随随外外部部数数据据 进

3、进人人工工神神经经网网络络计计算算单单元元（结结点点，神神经经元元）网网络络强强度度行行适适当当调调整整，最最终终实实现现某某种种功功能能。 ( (权权值值结结点点 神神经经网网络络计计算算特特性性( (激激活活特特性性网网络络结结的的计计算算通通过过网网络络结结构构实实现现； 生生 物物神神经经 构构系系 统统 不不同同网网络络结结构构可可以以体体现现各各种种不不同同的的功功能能； 网网络络结结构构的的是是通通过过逐逐渐渐参参数数学学习习修修正正的的。BP神经网络PPTMcCulloch-PittsMcCulloch-Pitts神经元模型神经元模型输入信号；链接强度与权向量；输入信号；链接强

4、度与权向量；信号累积信号累积激活与抑制激活与抑制BP神经网络PPT00权值，激活 连接权值，突触连接强度权值，抑制 输入信号关于神经元突触的线性加权 将神经元的输出信号限制在有限范围内 一组连接 一个加法器一个激励函数人工神经元模型的三要素 :BP神经网络PPT,.,.,1n1ni= xx=,维输入向量 是来自其它 个神经元的输出； 也可以是来自外部的输入信号维权向量 相当于突触的连接强度。TTnxxnnWR输输 入入信信号号权权向向量量BP神经网络PPT1()iinetxynet 单调增函数，通常为非线性函数网络输入 -神经元的输入兴奋总量是多个输入的代数和 其中输出 标量 -执行该神经元所

5、获得的网络输入的变换niW xf 转转移移函函数数, ,激激励励 激激活活 函函数数 传传输输函函数数，输输出出函函数数，限限幅幅函函数数 将将可可能能的的无无线线域域变变换换到到指指定定的的有有限限范范围围输输出出。-单单输输出出()()传传递递函函数数BP神经网络PPT(1) (1) 基本的人工神经元模型基本的人工神经元模型1()iinetbpbynet若带偏置量，则有 标量niW pf-单单输输出出()()BP神经网络PPT(2) (2) 输出函数输出函数f0,f net = k net+cnetf netnetnetnet ： 为常数，称饱和值，是该神经单元的最大输出； 输出函数值限制

6、在范围内。(Ramp Function)bkbbb bA.线性函数B.非线性斜数 函 面BP神经网络PPT(2) (2) 输出函数输出函数f, ,1 net0f net = sgn net =-1 net 0hardlims netf net =- net 型函数，不可微；对称硬极限函数； 双极函数 函数 其中非负实数 signmatlabC.符号函数D.阈值函数BP神经网络PPT(2) (2) 输出函数输出函数f210112()11.11netnetnetnetnetnetlogsignetnet 一些重要的学习算法要求输出函数可微 ， 值域， 对数S型函数双曲 函数： 值域， 函正切S数型

7、函数netfematlabeeftheE sigmoidSeematlab函数型函数连续可微tansig：非线性，单调； 无限次可微较小时(权值较小)，可近似线性函数 -高增益区处理小信号较大时(权值较大)，可近似阈值函数. -低增益区处理大信号netnetBP神经网络PPTBP神经网络PPT 各神经元接受来自前级的输入，并产生输出到下一级，各神经元接受来自前级的输入，并产生输出到下一级，可用一有向无环图表示。，可用一有向无环图表示。 网络中的节点分两类：网络中的节点分两类： 节点按层节点按层(layer)(layer)组织组织 ： 第第i i层的输入只与第层的输入只与第i i-1 -1层的输

8、出相连。层的输出相连。 输入信号由输入层输入输入信号由输入层输入, ,由第一层节点输出，传向下层，由第一层节点输出，传向下层，。- (input layer) (input layer) 输入节点所在层，无计算能力输入节点所在层，无计算能力 (output layer) (output layer) 节点为神经元节点为神经元 中间层，节点为神经元中间层，节点为神经元BP神经网络PPTBP神经网络PPT2. 2. 感知器神经网络感知器神经网络( (感知器感知器) )、感知器神经元、感知器神经元BP神经网络PPT1 net0f net = sgn net =-1 net 0hardlims1 ne

9、t0hardlim net =0 net 0对称硬极限函数 函数 matlab符号函数2. 2. 感知器神经网络、感知器神经元感知器神经网络、感知器神经元( (续续) )BP神经网络PPT 单个阈值神经元可以实现的与与、或或及、逻辑门。 任何逻辑函数可由两层前馈网络（一层计算单元）任何逻辑函数可由两层前馈网络（一层计算单元）实现实现。 多层感知器的适用范围大大超过单层网络。BP神经网络PPTBP神经网络PPT 2Kolmogorov 按照定理,任何一个判决均可用前式所示的三层神经网络实现。即： 只要给定足够数量的隐含层单元、适当的非线性函数、以及权值， 任何由输入向输出的连续映射函数均可用一个

10、实现。三层前馈神经多层网网络能力络的表达BP神经网络PPTBP神经网络PPTBP神经网络PPTBP神经网络PPT 1011,20121301,.,14B,.,P-1=维输入向量 层神经网络层号 输入层层号 隐含层层号 输出层各层节点 输入节点，计算节点 数目， 输入层输出层相邻层连接权值 来自与第层的当前的连接节点第 层节点权值TnlLlijnxxxLllLlLnlLnnnliljm算法训练过程描述约定：标准化BP神经网络PPT 1115111,.,1,.,1,.,i, j,kjOijjkBP：第 层为当前处理层； 其前一层、当前层 、后一层的计算单元序号为； 位于当前层第 个计算单元的输出为

11、， 前层第 个单元到本层第 个单元的连接权值为 本层第 个单元到后层第 个单元的连接权值为注：采用修正权值，输出函数应连续可微，选ljllijlljkllllljninknsigm算法训练过程描述假假定定梯梯度度法法函数。oidBP神经网络PPT 122122111111,.,112211221xx-=最小误差平方和。 某样本在网络产生的为 样本集内所有样本关于该网络的 输出层节点 的 TnmjjjmmLLjjjjjjtotalLLjijxEDydydOdf netEElLjnetO2 误差反向传播过程I 输出误差准则函数 输出层 各节点输出误差总输出误差净输入2121111-+ LjLnLi

12、netiLjeO实际输出BP神经网络PPTBP神经网络PPT。BP神经网络PPTBP神经网络PPT 建模前输入输出数据的预处理建模前输入输出数据的预处理正向标准化正向标准化 建模后输入输出数据的后处理建模后输入输出数据的后处理反向标准化反向标准化特征的平移特征的平移特征的尺度调整特征的尺度调整0,1,-1,1,-0,1,-1,1,-a,aa,a,0,a0,a BP神经网络PPT对多层网络要确定选用几个隐含层？对多层网络要确定选用几个隐含层？19881988年年CybenkoCybenko指出，若各节点均采用指出，若各节点均采用S S型函型函数，则数，则 一个隐含层一个隐含层足以实现任意判决分类

13、问题；足以实现任意判决分类问题； 两个隐含层两个隐含层足以实现输入图形的任意输出足以实现输入图形的任意输出BP神经网络PPTBP神经网络PPT取决于取决于: : 输出的表示方法输出的表示方法; ; 类别数目；类别数目； 待逼近的函数数目。待逼近的函数数目。(3)(3)输出节点数是待逼近的函数个数输出节点数是待逼近的函数个数BP神经网络PPTBP神经网络PPT2,1010logIoHIHHIoHn nnnnnnnaann输入,输出层节点数隐含层节点数 BP神经网络PPTBP神经网络PPT1.状态预测状态预测-参考参考MATLAB神经网络神经网络30个案例分析个案例分析例例.基于基于BP神经网络的数据分类神经网络的数据分类四类语音特征信号分析四类语音特征信号分析每组语音信号为24维输入；四类语音信号：民歌、古筝、摇滚、流形共计2000组语音信号要求：基于BP网络设计一个语音信号类别预测模型代码：见案例1BP神经网络PPTBP神经网络PPT2. 回归估计回归估计例：基于例：基于BP神经网络的公路运量神经网络的公路运量(客运量、货运量客运量、货运量)预测预测公路运量与该地区人数、机动车数量、公路面积有关。已知某地区20年的公路运量有