数据挖掘BP神经网络

数据挖掘

——BP神经网络湖南大学工商管理学院兰秋军博士副教授数据挖掘BP神经网络第1页内容神经网络概述BP神经网络数据挖掘BP神经网络第2页神经网络概述数据挖掘BP神经网络第3页导言人工神经网络是近年来得到快速发展一个前沿课题。神经网络因为其大规模并行处理、容错性、自组织和自适应能力和联想功效强等特点，已成为处理很多问题有力工具。本讲对神经网络原理作简单介绍，然后介绍其在经济预测中案例。数据挖掘BP神经网络第4页脑神经信息活动特征巨量并行性。信息处理和存放单元结合在一起。自组织自学习功效。

数据挖掘BP神经网络第5页神经网络研究发展最早研究能够追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元数学模型。这一模型普通被简称M-P神经网络模型，至今仍在应用，能够说，人工神经网络研究时代，就由此开始了。1949年，心理学家Hebb提出神经系统学习规则，为神经网络学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络学习还遵照这一规则。数据挖掘BP神经网络第6页神经网络研究发展1957年,F.Rosenblatt提出“感知器”(Perceptron)模型，第一次把神经网络研究从纯理论探讨付诸工程实践，掀起了人工神经网络研究第一次高潮。20世纪60年代以后，数字计算机发展到达全盛时期，人们误认为数字计算机能够处理人工智能、教授系统、模式识别问题，而放松了对“感知器”研究。于是，从20世纪60年代末期起，人工神经网络研究进入了低潮数据挖掘BP神经网络第7页神经网络研究发展1982年，美国加州工学院物理学家Hopfield提出了离散神经网络模型，标志着神经网络研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络新路径。1986年，Rumelhart和Meclelland提出多层网络误差反向传输(BackPropagation)学习算法，简称BP算法。BP算法是当前最为主要、应用最广人工神经网络算法之一。自20世纪80年代中期以来，世界上许多国家掀起了神经网络研究热潮，能够说神经网络已成为国际上一个研究热点。数据挖掘BP神经网络第8页生物神经元模型树突轴突神经末梢细胞体树突：细胞输入端，接收外界神经冲动轴突：细胞输出端，传出神经冲动细胞体:处理神经冲动，有两种工作状态：当传入神经冲动使细胞膜电位升高到阈值(约40mV）时，进入兴奋状态产生神经冲动，由轴突输出。不然进入抑制状态，不产生输出神经元工作原理（视频)数据挖掘BP神经网络第9页神经元模型输入信号连接权重加总函数激活函数输出ox1x2xnw2wnw1w0x0数据挖掘BP神经网络第10页经典激活函数阶跃函数：xf(x)线性函数：xf(x)Log-Sigmoid函数：xf(x)注意该函数导数：数据挖掘BP神经网络第11页神经网络拓扑结构输出层隐藏层输入层o1o2om…x1x2xn………………神经网络由大量神经元互连而成，按其拓扑结构可分成:层次网络模型神经元分成若干层次序连接，在输入层上加上输入信息，经过中间各层，加权后传递到输出层后输出，其中有在同一层中各神经元相互之间有连接，有从输出层到输入层有反馈；互连网络模型任意两个神经元之间都有相互连接关系，在连接中，有神经元之间是双向，有是单向，按实际情况决定。数据挖掘BP神经网络第12页什么是学习？学习就是经过向有限个例子（训练样本）学习来找到隐藏在例子背后（即产生这些例子）规律（如函数形式）。当样本数据改变系统参数时，系统会对这些改变进行自适应或自组织学习，在神经网络中表现为突触改变。按突触修正假说，神经网络在拓扑结构固定时，其学习归结为连接权改变。数据挖掘BP神经网络第13页什么是监督？监督就是对每一个输入Xi,都假定我们已经知道它期望输出Yi,这个Yi能够了解为监督信号，也叫“教师信号”。每一个输入Xi及其期望输出Yi，就组成了一个训练实例。数据挖掘BP神经网络第14页监督学习与非监督学习区分在监督学习中，假定我们知道每一输入对应期望输出，并利用学习系统误差，不停校正系统行为；在非监督学习中，我们不知道学习系统期望输出。数据挖掘BP神经网络第15页神经网络分类按网络结构分为：前馈网络和反馈网络；按学习方式分为：监督学习和非监督学习,也叫有导师学习和无导师学习。本讲主要叙述前馈网络监督学习法。神经网络分类有各种方法，惯用以下分类：数据挖掘BP神经网络第16页BP神经网络数据挖掘BP神经网络第17页介绍BP（BackPropagation）网络1985年由Rumelhart和McCelland提出是当前应用最广泛神经网络模型之一数据挖掘BP神经网络第18页网络结构BP神经网络模型拓扑结构包含输入层（input）、隐层(hidelayer)和输出层(outputlayer)数据挖掘BP神经网络第19页其它一些特点层间无反馈有监督学习其激活函数为：第p个样本误差计算模型Ep=1/2×∑(tpi-Opi)2

tpi

第

i个节点期望输出值；Opii节点计算输出值数据挖掘BP神经网络第20页BP学习算法思想在外界输入样本刺激下不停改变网络连接权值,以使网络输出不停地靠近期望输出。两步骤组成:信息正向传递与误差反向传输正向传输过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元状态只影响下一层神经元状态计算输出层误差改变值，然后转向反向传输，经过网络将误差信号沿原来连接通路反传回来修改各层神经元权值直至到达期望目标男25岁本科...3000元女30岁硕士...5000元数据挖掘BP神经网络第21页数据挖掘BP神经网络第22页怎样改变网络连接权值？E=1/2×∑(ti-Oi)2

tii节点期望输出值Oii节点实际输出值要误差降低，就是要改变Oi,也就要改变wij和θi数据挖掘BP神经网络第23页算法原理：误差修正公式推导xj

输入结点输入输出量yi

隐结点输出Ol输出结点输出其中,其中,权重wij权重Tli数据挖掘BP神经网络第24页输出结点误差：对Tli偏导数：注意到E是多个Ol

函数，但只有一个Ol与Tli相关，所以记于是也即，依据每个输出结点值以及隐含结点输出值，就可轻松算出误差对输出层和隐含层各结点间权重偏导数数据挖掘BP神经网络第25页对wij偏导数：因注意到E是多个Ol函数，针对某个wij,对应一个yi，它与全部Ol相关，所以而故数据挖掘BP神经网络第26页令则加权和权值修正ΔTli,ΔWij正比于误差函数沿梯度下降，有称作学习率，用于调整学习速度快慢数据挖掘BP神经网络第27页BP算法总结1初始化网络权值和偏置值2对每个训练样本重复下述过程直至满足终止条件：

数据挖掘BP神经网络第28页(3)从后向前对各隐藏层结点，计算误差(2)对输出层结点，计算误差(4)更新权值及阈值(1)从前向后计算隐藏层和输出层结点输入和输出数据挖掘BP神经网络第29页源代码分析示例MatlabC++数据挖掘BP神经网络第30页几个问题隐藏层数及隐藏层结点数确实定若输入层和输出层采取线性转换函数，隐层采取Sigmoid转换函数，则含一个隐层网络能够以任意精度迫近任何有理函数。确定隐层节点数最基本标准是：在满足精度要求前提下取尽可能紧凑结构，即取尽可能少隐层节点数。数据挖掘BP神经网络第31页几个问题局部极小问题BP神经网络采取算法，其实质是一个无约束非线性最优化计算过程，在网络结构较大时不但计算时间长，而且很轻易限入局部极小点而得不到最优结果。处理方法：改进BP法、遗传算法(GA)和模拟退火算法，理论上成立，实际上极难实现全局极小。应用最广是增加了冲量（动量）项改进BP算法。其它问题判断网络模型泛化能力好坏，主要不是看测试样本误差大小本身，而是要看测试样本误差是否靠近于训练样本和检验样本误差。数据挖掘BP神经网络第32页BP神经网络学习算法MATLAB实现

MATLAB中BP神经网络主要函数和基本功效函数名功能newff()生成一个前馈BP网络tansig()双曲正切S型(Tan-Sigmoid)传输函数logsig()对数S型(Log-Sigmoid)传输函数traingd()梯度下降BP训练函数数据挖掘BP神经网络第33页newff()功效建立一个前向BP网络格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)说明net为创建新BP神经网络；PR为输入取值范围矩阵；[S1S2…SNl]表示网络隐含层和输出层神经元个数；{TFlTF2…TFN1}表示网络隐含层和输出层传输函数，默认为‘tansig’；BTF表示网络训练函数，默认为‘trainlm’；BLF表示网络权值学习函数，默认为‘learngdm’；PF表示性能数，默认为‘mse’。数据挖掘BP神经网络第34页tansig()功效正切sigmoid激活函数格式a=tansig(n)说明双曲正切Sigmoid函数把神经元输入范围从(-∞，+∞)映射到(-1，1)。它是可导函数，适合用于BP训练神经元。logsig()功效对数Sigmoid激活函数格式a=logsig(N)说明对数Sigmoid函数把神经元输入范围从(-∞，+∞)映射到(0，1)。它是可导函数，适合用于BP训练神经元。数据挖掘BP神经网络第35页例，下表为某药品销售情况:月份123456销量205623952600229816341600月份789101112销量187314781900150020461556现构建一个以下三层BP神经网络对药品销售进行预测：输入层，结点数:3隐含层，结点数：5激活函数：tansig输出层，结点数：1激活函数：logsig采取滚动预测方式，即用前三个月销售量来预测第四个月销售量，如用1、2、3月销售量为输入预测第4个月销售量，用2、3、4月销售量为输入预测第5个月销售量.如此重复直至满足预测精度要求为止。数据挖掘BP神经网络第36页%以每三个月销售量经归一化处理后作为输入P=[0.5152 0.8173 1.0000;0.8173 1.0000 0.7308;1.0000 0.7308 0.1390;0.7308 0.1390 0.1087;0.1390 0.1087 0.3520;0.1087 0.3520 0.0000]’;%每个输入实例对应一列，故转置%以第四个月销售量归一化处理后作为目标向量T=[0.73080.13900.10870.35200.00000.3761];%创建一个BP神经网络，每一个输入向量取值范围为[0,1]，隐含层有5个神经%元，输出层有一个神经元，隐含层激活函数为tansig，输出层激活函数为%logsig，训练函数为梯度下降函数，即前述标准学习算法net=newff([01;01;01],[5,1],{'tansig','logsig'},'traingd');net.trainParam.epochs=15000;%设置最大迭代次数net.trainPar