数据挖掘 神经网络

第9章神经网络2/5/20231第9章神经网络9.1引例9.2人工神经网络9.2.2神经元模型9.3BP算法9.4工具包应用2/5/202329.1引例对于由第1式给出的系统，可以产生一系列的数据假设第1式我们并不知道，但是我们可以用第2式给出的多元线性回归找到近似规律，但这种方式并没有很好的精度人工神经网络可以逼近任意非线性规律2/5/202339.2人工神经网络9.2.1人工神经网络概述9.2.2神经元模型9.2.3网络结构2/5/202349.2.1人工神经网络概述第一个阶段可称之为启蒙阶段，这是神经网络理论研究的奠基阶段第二阶段是低潮期。《Percep2trons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题第三个阶段为神经网络的复兴时期，这是神经网络理论研究的主要发展时期2/5/20235大脑可视作为1000多亿神经元组成的神经网络图3神经元的解剖图神经元与神经网络2/5/20236神经元的信息传递和处理是一种电化学活动．树突由于电化学作用接受外界的刺激；通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元．从控制论的观点来看；这一过程可以看作一个多输入单输出非线性系统的动态过程神经网络研究的两个方面从生理上、解剖学上进行研究从工程技术上、算法上进行研究2/5/20237神经元的数学模型

神经元的数学模型9.2.2神经元模型2/5/202382/5/202392/5/202310其中x＝（x1，…xm）T

输入向量，y为输出，wi是权系数；输入与输出具有如下关系：θ为阈值，f（X）是激发函数；它可以是线性函数，也可以是非线性函数．2/5/202311例如，若记

取激发函数为符号函数

则

S型激发函数：

2/5/2023129.2.3网络结构根据节点层数，可分为单层网络和多层网络根据有无反馈，可分为前馈网络和反馈网络...输入层隐层输出层x1x2...xmh1hky1yn...2/5/202313单层网络2/5/202314人工神经网络模型(a)简单的前向神经网络(b)具有反馈的前向神经网络(c)具有层内互联的神经网络2/5/202315一般而言,ANN与经典计算方法相比并非优越,只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具.ANN对处理大量原始数据而不能用规则或公式描述的问题,表现出极大的灵活性和自适应性。2/5/2023169.3BP算法9.3.1引例9.3.2反向传播算法（BP算法）9.3.3算法举例9.3.4BP算法描述2/5/202317一般而言,ANN与经典计算方法相比并非优越,只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。另一方面,ANN对处理大量原始数据而不能用规则或公式描述的问题,表现出极大的灵活性和自适应性。2/5/2023189.3.1引例

1981年生物学家格若根（W．Grogan）和维什（W．Wirth）发现了两类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长触角长类别

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼长触角长类别1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af2/5/202319问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．问它们应分别属于哪一个种类？

解法一：把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中6个蚊子属于APf类；用黑点“·”表示；9个蚊子属Af类；用小圆圈“。”表示．得到的结果见下图1图1飞蠓的触角长和翼长2/5/2023202/5/202321思路：作一直线将两类飞蠓分开

例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，过AB两点作一条直线：

y＝1.47x-0.017其中X表示触角长；y表示翼长．

分类规则：设一个蚊子的数据为（x,y）

如果y≥1.47x-0.017，则判断蚊子属Apf类；

如果y＜1.47x-0.017；则判断蚊子属Af类．

2/5/202322分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于Apf类．分类直线图

2/5/202323•缺陷：根据什么原则确定分类直线？

若取A=(1.46,2.10),B=(1.1,1.6)不变，则分类直线变为y=1.39x+0.071分类结果变为：

(1.24,1.80)，

(1.40,2.04)属于Apf类；

(1.28,1.84)属于Af类

哪一分类直线才是正确的呢？

因此如何来确定这个判别直线是一个值得研究的问题．一般地讲，应该充分利用已知的数据信息来确定判别直线．2/5/202324再如，如下的情形已经不能用分类直线的办法：

新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。2/5/202325基本BP网络的拓扑结构b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp输出层LC隐含层LB输入层LAWV2/5/2023269.3.2反向传播算法（B-P算法）

Backpropagationalgorithm1．简单网络的B-P算法

算法的目的：根据实际的输入与输出数据，计算模型的参数（权系数）2/5/202327假设有P个训练样本，即有P个输入输出对（Ip,Tp）,p=1,…,P,其中

输入向量为

:目标输出向量为（实际上的）:

网络输出向量为

（理论上的）

2/5/202328（p=1,…,P）

（2）

记wij为从输入向量的第j(j=1,…,m)个分量到输出向量的第i(i=1,…,n)个分量的权重。通常理论值与实际值有一误差，网络学习则是指不断地把与比较，并根据极小原则修改参数wij，使误差平方和达最小：记Delta学习规则:

（4）

（3）

表示递推一次的修改量，则有称为学习的速率

2/5/202329ipm=-1,wim=(第i个神经元的阈值)（5）注：由（1）式，第i个神经元的输出可表示为特别当f是线性函数时

（6）2/5/2023302/5/202331图7多层前馈网络

2．多层前馈网络

（l）输入层不计在层数之内，它有N0个神经元．设网络共有L层；输出层为第L层；第k层有Nk个神经元．假设：(2)设表示第k层第i神经元所接收的信息wk(i,j)表示从第k-1层第j个元到第k层第i个元的权重，表第k层第i个元的输出2/5/202332（3）设层与层间的神经元都有信息交换（否则，可设它们之间的权重为零）；但同一层的神经元之间无信息传输．

(4)设信息传输的方向是从输入层到输出层方向；因此称为前向网络．没有反向传播信息．（5）表示输入的第j个分量．假设：2/5/202333在上述假定下网络的输入输出关系可以表示为：（7）

其中表示第k层第i个元的阈值.2/5/202334定理2

对于具有多个隐层的前馈神经网络；设激发函数为S函数；且指标函数取

（8）（9）则每个训练循环中按梯度下降时；其权重迭代公式为（10）表示第-1层第个元对第层第个元输入的第次迭代时的权重

其中

（11）（12）2/5/202335BP算法

Step1

选定学习的数据,p=1,…,P,随机确定初始权矩阵W（0）Step2

用（10）式反向修正,直到用完所有学习数据.用学习数据计算网络输出Step3

2/5/2023369.3.3应用之例：蚊子的分类已知的两类蚊子的数据如表1：

翼长触角长类别1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目标值0.90.90.90.10.90.90.90.1

翼长触角长类别

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目标t0.10.10.10.10.10.10.1

2/5/202337输入数据有15个，即,p=1,…,15;j=1,2;对应15个输出。建模：（输入层，中间层，输出层，每层的元素应取多少个？）建立神经网络2/5/202338规定目标为：当t(1)=0.9时表示属于Apf类，t(2)=0.1表示属于Af类。设两个权重系数矩阵为：为阈值

其中2/5/202339分析如下：

为第一层的输出，同时作为第二层的输入。其中，为阈值，为激励函数若令

（作为一固定输入）（阈值作为固定输入神经元相应的权系数）

2/5/202340则有：取激励函数为=则同样，取

2/5/202341（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句：

令p=0具体算法如下：=rand(2,3);=rand(1,3);

(2)根据输入数据利用公式算出网络的输出

=2/5/202342取（3）计算因为所以

（4）取

（或其他正数，可调整大小）

2/5/202343(5)计算

和

j=1,2,3,i=1,2,3,计算

j=1,2,3j=1,2,32/5/202344(6)p=p+1，转（2）

注：仅计算一圈（p=1，2，…，15）是不够的，直到当各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。最后结果是：2/5/202345即网络模型的解为：

=2/5/2023469.3.4BP算法描述输入：给定训练集Xtrain，其中每一个训练样本都是由一组输入和一组输出构成，所有的输入和输出都是[0,1]之间的浮点数据（如果不是，要首先通过数据变换把它们映射到[0,1]区间）；神经网络结构：隐含层节点数目；神经网络每个节点的、参数化了的特征函数。输出：神经网络每个节点特征函数的参数。（1）按照有序导数计算公式计算总体误差对于每个参数的有序导数公式（函数）；（2）任意选择一组数据作为初始参数，一般选取（0,0,…,0），把这组初始参数作为当前参数；（3）根据当前参数和总体误差计算公式计算总体误差，如果误差足够小，就把当前参数作为输出，退出；否则，继续下面的步骤；（4）根据参数调整公式和当前参数数值，计算总体误差对于各参数的有序导数数值；

（5）计算各个参数的调整大小，并计算调整后的参数大小。把调整后的参数作为当前参数，回到第（3）步。

2/5/2023479.4工具包应用第1步，新建数据库第2步，新建数据表第3步，安装补丁第4步，建立数据连接第5步，选择挖掘结构第6步，进行预测2/5/202348神经网络的应用人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，80%～90%的人工神经