基于BP神经网络算法的数据挖掘方法研究

1、2011.18电脑编程技巧与维护1引言近年来,随着网络和数据库技术的发展,大规模的数据出现在人们的日常生活之中。对于这些数据为人们进行管理决策都十分有用,为了从这些数据集中发现对人们有帮助的信息,就诞生了数据挖掘技术。2背景技术2.1数据挖掘数据挖掘(Data Mining technology 这一术语最早出现于1989年,在此之后,该术语的定义几经变动,引用U.Fayyad 等对数据挖掘的定义1:数据挖掘是从大量的数据中挖掘出有效的、新颖的、具有潜在价值的可理解的模式非平凡过程。数据挖掘的主要作用就是对大型数据中的海量业务数据进行数据预处理、数据分析和模型化处理,以便从中挖掘出能够辅助决策

2、的隐藏的数据信息,这些有用的数据信息在数据挖掘中就用隐含的数据模式表现出来,这些数据模式便于人们理解和观察,基于领域知识可以获得决策分析意见和结论2。数据挖掘所涉及的学科广泛,挖掘方法种类也是多种多样,他们的主要任务主要包括以下4种,这也是数据挖掘的最重要的4个任务:(1分类(Classification 。数据挖掘中分类的任务主要是训练分类函数或者分类模型,也成为分类学习器,该学习器能够按照预定义的模型把数据库中的数据项映射指定的类别中,也成为有监督学习任务。(2汇总(Summarization 。该任务的主要目的是对数据进行提取,给出一个比较集中的描述形式,数据挖掘中从数据泛化的角度研究数

3、据汇总,也是把数据从较低层次抽象到高层的过程。(3聚类(Clustering 。聚类任务是把一个个的数据对象按照类内高度相似类间高度相异的方法把数据组织到一块,实现“物以类聚”的目的,便于人们观察理解。(4关联规则(Association Rule 。数据挖掘的关联规则的目的是根据数据发生的时间,序列等信息确定关联的数据。实现数据挖掘的方法有许多,下面就介绍一下神经网络在数据挖掘中的应用。2.2神经网络原理神经网络(Neural Network 的原理是模拟动物神经网络行为特征,通过调整网络内部节点的连接权值,并行处理分布式信息。为解决具有上百个甚至更多的参数的复杂问题而提出了神经网络模型,该

4、模型在众多的方法中是相对简单和有效的。神经网络通常用于解决分类和回归两类问题,神经网络模型的结构主要包括输入层、输出层和隐含层,其中输入层中的节点代表一个个预测变量,输出层中的节点代表目标变量,每一层的节点都允许有多个,位于输入层和输出层之间的是隐含层,神经网络模型的复杂度主要取决于隐含层的层数和节点数,图1表示神经网络模型图。从图1可以得知,节点X 1,X 2,X 3等代表神经元的输入,它既可以是来自神经网络的信息,也可以是另一个神经元的输出,W 1,W 2,W n 是神经元的权值,表示神经元的连接强度,由神经网络的学习过程决定;其中输入对应于对每个训练样本的各属性取值,输入同时赋给第1层(

5、输入层单元,这些单元的输出结合相应的权重,通过赋给第2层(隐含层单元,隐含层的带权输出又作为输入再赋给另一隐含层等,最后的隐含层节点带权输出赋给输出层单元,该层单元基于BP 神经网络算法的数据挖掘方法研究蒋菱,叶明亮(四川大学计算机学院,成都610207摘要:详细介绍了数据挖掘技术的相关概念、任务以及神经网络原理,指出了传统的BP 算法在数据挖掘过程中的不足之处,提出了一种变异的BP 神经网络算法,大大提高了BP 神经网路算法的收敛速度。关键词:数据挖掘;神经网络;BP 算法Study of Data Mining Method Based on BP Neural Network Algor

6、ithmJIANG Ling ,YE Mingliang(College of Computer Science ,Sichuan University ,Chengdu 610207Abstract:This paper describes in detail the concepts of data mining technology,the mission and principles of neural net -works,then introduces the traditional BP algorithm,found that the traditional BP algori

7、thm in data mining process inadequa -cies,this presents a variation BP neural network algorithm,which greatly improved the restraint of BP neural network algo.Key words:data mining ;neural network ;BP algorithm作者简介:蒋菱(1989-,本科;叶明亮(1989-,本科。收稿日期:2011-07-20图1神经网络模型输入层隐含层输出层44DATABASE AND INFORMATION M

8、ANAGEMENT数据库与信息管理最终给出相应样本的预测输出。2.3BP算法BP神经网络3是目前应用最广泛的神经网络模型之一,BP网络能学习和存储大量的输入输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP算法是指具有非线性连续转移的多层前馈神经网络的误差反向传播算法(Error BackPropagation,该算法基于梯度的方法,是一个极小化的二次性能指标函数,其中Ek为局部误差函数。BP算法中寻求目标函数的极小化一般使用两种方法;(1逐个处理,随机地输入样本,每输入一个样本都对连接

9、权值进行相应的调整;(2成批处理,是指把所有的样本输入之后,计算其总误差。假设隐含层数目为L,更新第R隐含层的第i个单元到输出单元k 的连接权值 的过程是:(1 其中,i=1,2,L,表示权值增加量。在数据挖掘过程中,可以利用这一学习算法发现数据的隐含模式。3基于BP神经网络算法的数据挖掘3.1BP神经网络应用于数据挖掘基于传统BP神经网络的数据挖掘是从原始数据中经过数据预处理、规则提取和规则评估等过程发现数据中隐含的数据模式的过程,在这几个基本过程中,最终的是规则提取过程,该过程也就是分类学习的过程,下面就详细解释一下每一个过程的内容,如图2所示。(1数据预处理:由于数据可能不完全、有噪声、

10、随机,就要对数据做清洗,根据问题的描述选择与数据挖掘有关的变量,或转变变量,获取要挖掘的数据源。该过程主要是把原来包含较多噪声的数据通过整理加工,获得一个较纯净的版本数据集,以便于学习分类器,挖掘出更加符合问题需求的数据模式确。(2规则提取:对数据进行预处理之后,便可以进行规则提取,根据样本数据学习分类器,就可以挖掘出数据中隐含的模式,便于人们使用。(3规则评估:根据挖掘的目的和挖掘的特征选择有用的规则,也即是数据模式。3.2面向数据挖掘的变异BP算法2.3节介绍的BP算法4,5应用到数据挖掘过程中,具有以下缺点:(1在寻求目标函数极小化过程中,为了极小化总误差,算法学习速率必须选择的足够小,

11、但是这样做容易引起算法学习过程缓慢;(2当选择较大时,尽管可以加快算法学习速度,但是较大的值使得算法的收敛性变的较弱,收敛不到期望的目标在此提出了一种变异的BP算法,在调整连接权值时加入惯性系数u,这样做的目的是平滑调整权值的变化,此时,其中i=1,2,u被称为惯性系数,0a1(a的典型取值一般是0.9 ,被称为惯性项,为了理解惯性项的作用,可以设想梯度下降的搜索轨迹就像是一个(无惯性项的球沿着误差曲面滚下,增加这个惯性项以后,是这个球从一次迭代到下一次迭代时以同样的方向滚动,该惯性项会使球滚过误差曲面的局部极小值或使其滚过误差曲面上的平坦区域,如果没有这一项,该球有可能停在局部极小值点或者是

12、平坦区域,该项具有在梯度不骗的区域逐渐增大搜索步长的效果,加快BP算法收敛。3.3BP算法应用于数据挖掘的分析在数据挖掘中,一个重要的问题是训练学习器,获得分类规则,具体的是通过对大量数据的分析找出数据中隐含的规则。通过对大规模的数据进行预处理,把预处理过了的数据输入BP神经网络,使用变异的BP算法进行学习,在整个网络完成了对于样本数据的分类学习以后,那么网络中的参数已经包含了分类规则,就可以直接从训练好的网络中提取(分类规则,通过分析比较,可以发现传统的BP算法与变异BP算法的区别如表1所示。从表1可以发现,变异的BP算法在数据挖掘应用过程中能够加快收敛。4结语随着数据挖掘在人们日常生活中的普及应用,基于BP算法的神经网络的学习算法也被应用的更加广泛,提出的变异BP算法能够有效地解决传统BP算法中学习速率低和局部收敛最优化的问题,使得BP算法在数据挖掘的应用中更加有效地发挥其潜在的价值。参考文献1李凡.数据挖掘技术的研究与应用D.西安电子科技大学,2002.2王儒敬,毛雪岷,白石磊.大型知识库知识存储结构的研究及其在知识发现系统中的应用J.计算机