第9章神经网络

1、2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘1第第9章章 神经网络神经网络2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘2第第9章章 神经网络神经网络9.1 引例引例9.2 人工神经网络人工神经网络9.2.2 神经元模型神经元模型9.3 bp算法算法9.4 工具包应用工具包应用2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘39.1 引例引例l对于由第对于由第1式给出的系统，可以产生一系列式给出的系统，可以产生一系列的数据的数据l假设第假设第1式我们并不知道，但是我们可以用式我们并不知道，但是我们可以用第

2、第2式给出的多元线性回归找到近似规律，式给出的多元线性回归找到近似规律，但这种方式并没有很好的精度但这种方式并没有很好的精度l人工神经网络可以逼近任意非线性规律人工神经网络可以逼近任意非线性规律3322110 xcxcxccy232123222123221231221xxxxxxxxxxxxxxy2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘49.2 人工神经网络人工神经网络9.2.1 人工神经网络概述人工神经网络概述9.2.2 神经元模型神经元模型9.2.3 网络结构网络结构2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘59.2.1

3、 人工神经网络概述人工神经网络概述l第一个阶段可称之为启蒙阶段第一个阶段可称之为启蒙阶段(1943年年)，这是神经网络理论研究的奠基阶段这是神经网络理论研究的奠基阶段l第 二 阶 段 是 低 潮 期 （第 二 阶 段 是 低 潮 期 （ 1 9 6 9 年 ） 。年 ） 。perception一书，指出简单的线性感一书，指出简单的线性感知器的功能是有限的，它无法解决线性不知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题可分的两类样本的分类问题l第三个阶段为神经网络的复兴时期（第三个阶段为神经网络的复兴时期（1982年），这是神经网络理论研究的主要发展年），这是神经网络理论研究的主要

4、发展时期时期2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘69.2.2 神经元模型神经元模型l其中其中x x1 1,x,x2 2, ,x,xn n是输入是输入ly y是输出是输出l 为内部状态的反馈信息和为内部状态的反馈信息和l为阈值，为阈值，f f是表示神经元活动的特性函数。是表示神经元活动的特性函数。特征函数又包括分段线性特性函数、阈值特征函数又包括分段线性特性函数、阈值特性函数、特性函数、s s型逻辑特性函数型逻辑特性函数x1x2xnfy2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘79.2.3 网络结构网络结构l根据节点层数，

5、可分为单层网络和多层根据节点层数，可分为单层网络和多层网络网络l根据有无反馈，可分为前馈网络和反馈根据有无反馈，可分为前馈网络和反馈网络网络.输入层隐层输出层x1x2.xmh1hky1yn.2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘89.3 bp算法算法9.3.1 网络结构和数据示例网络结构和数据示例9.3.2 有序导数有序导数9.3.3 计算误差信号对参数的有序导数计算误差信号对参数的有序导数9.3.4 梯度下降梯度下降9.3.5 bp算法描述算法描述2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘99.3.1 网络结构和数据示例

6、网络结构和数据示例l让待定参数让待定参数a和和b沿着偏导数的负方向沿着偏导数的负方向前进，就可以使得总体误差下降前进，就可以使得总体误差下降x1,1x1,2x0,1x0,2f1,1f1,2axaxaxxf2, 021 , 02, 01 , 01 , 1,2, 01 , 02, 01 , 02, 1,bxxbxxf22, 12, 121 , 11 , 1xyxye误差计算：635. 11221 , 01 , 11 , 11 , 11 , 11 , 1xxyxafxeae误差对a的偏导：误差对b的偏导：36. 022, 02, 12, 12, 12, 12, 1xxyxbfxebe2021-11-

7、222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘109.3.2 有序导数有序导数l计算因变量对自变量的偏导数，可以把另外计算因变量对自变量的偏导数，可以把另外的自变量作为常数的自变量作为常数l计算有序导数时，不能把另外的自变量作为计算有序导数时，不能把另外的自变量作为常数，因为这些自变量可能是这个自变量的常数，因为这些自变量可能是这个自变量的函数函数) 1(),(1)(2yxyxgzxxfy1),(yxyxgxyyxg),(232| ) 1()(|),(|),()(,(211)()(22xxxyxxfyyxgxyxgxxfxgxzxyxyxfyxfy偏导数：有序导数：2021-11

8、-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘119.3.3 计算误差信号对参数的有序计算误差信号对参数的有序导数导数l获得误差信号的计算公式获得误差信号的计算公式l获得误差信号对于某个输出的有序导数获得误差信号对于某个输出的有序导数l获得误差信号对于某个参数的有序导数获得误差信号对于某个参数的有序导数个输入第pnmmlmlplxye12,ililililppffxee,训练数据的误差信号：误差信号对参数的有序导数：2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘129.3.4 梯度下降梯度下降l让参数向着有序导数的负方向变化，使得让参数向着有序导数

9、的负方向变化，使得误差信号下降误差信号下降l参数参数增加第增加第1公式计算所得的公式计算所得的，就可以，就可以使得误差信号下降使得误差信号下降l步长步长的取值要适中的取值要适中e2ek某个参数的改变量：学习速率（改变速率）：2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘139.3.5 bp算法描述算法描述输输 入：给定训练集入：给定训练集xtrain，其中每一个训练样本都是由一组输入和一组输出构成，其中每一个训练样本都是由一组输入和一组输出构成，所有的输入和输出都是所有的输入和输出都是0,10,1之间的浮点数据（如果不是，要首先通过数据变之间的浮点数据（如果不是，

10、要首先通过数据变换把它们映射到换把它们映射到0,10,1区间）；神经网络结构：隐含层节点数目；神经网络每区间）；神经网络结构：隐含层节点数目；神经网络每个节点的、参数化了的特征函数。个节点的、参数化了的特征函数。输输 出：神经网络每个节点特征函数的参数。出：神经网络每个节点特征函数的参数。（1 1）按照）按照有序导数计算有序导数计算公式计算总体误差对于每个参数的有序导数公式（函数）；公式计算总体误差对于每个参数的有序导数公式（函数）；（2 2）任意选择一组数据作为初始参数，一般选取（）任意选择一组数据作为初始参数，一般选取（0,0,0,0,0,0），把这组初始参数），把这组初始参数作为当前参数

11、作为当前参数；（3 3）根据当前参数和）根据当前参数和总体误差计算总体误差计算公式计算总体误差，如果误差足够小，就把当公式计算总体误差，如果误差足够小，就把当前参数作为输出，退出；否则，继续下面的步骤；前参数作为输出，退出；否则，继续下面的步骤；（4 4）根据）根据参数调整参数调整公式和当前参数数值，计算总体误差对于各参数的有序导数数公式和当前参数数值，计算总体误差对于各参数的有序导数数值；值；（5 5）计算各个参数的调整大小，并计算调整后的参数大小。把调整后的参数）计算各个参数的调整大小，并计算调整后的参数大小。把调整后的参数作为当前参数，回到第（作为当前参数，回到第（3）步。）步。 202

12、1-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘149.4 工具包应用工具包应用第第1步，新建数据库步，新建数据库第第2步，新建数据表步，新建数据表第第3步，安装补丁步，安装补丁第第4步，建立数据连接步，建立数据连接第第5步，选择挖掘结构步，选择挖掘结构第第6步，进行预测步，进行预测2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘15第第1步，新建数据库步，新建数据库l在在ms sql server 2005中新建一个数中新建一个数据库据库neuraldatabase2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘1

13、6第第2步，新建数据表步，新建数据表l在数据库在数据库neuraldatabase中新建数据中新建数据表表table_12021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘17第第3步，安装补丁步，安装补丁l到微软的网站到微软的网站http:/ server business intelligence development studio中中建立商业智能项目建立商业智能项目l建立这个项目和所新建数据库的连接建立这个项目和所新建数据库的连接2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘19第第5步，选择挖掘结构步，选择挖掘结构l对于下拉框对于下拉框“您要是用何种挖掘技您要是用何种挖掘技术？术？”，选择，选择“microsoft 神经网络神经网络”l按照上图对列进行设置按照上图对列进行设置2021-11-222021-11-22数据仓库与数据挖掘数据仓库与数据挖掘20第第6步，进行预测步，进行预测l上图所