浅谈数据挖掘应用-

1、作者简介:1牛承珍,女,1968年11月出生,太原理工大学计算机与软件学院在读研究生,030024,山西省太原市收稿日期:2008-03-17信息技术浅谈数据挖掘应用牛承珍1马季兰2(太原理工大学计算机与软件学院摘要:数据挖掘,作为一种新颖的数据分析手段,在学校、银行、电信、股市、保险、交通、零售等领域已得到广泛的应用。文章从高校、金融企业和零售企业入手,分析数据挖掘技术在其中的应用,以及存在的问题和前景展望。关键词:数据挖掘;高校;金融;超市中图分类号:TP311文献标识码文章编号:1004-6429(200803-0031-021数据挖掘概述1.1数据挖掘的定义数据挖掘(Data M in

2、ing 就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的,但又是潜在有用的信息和知识的过程。即通过预测未来趋势及行为,做出前瞻性的、基于知识的决策,目标是从数据库中发现隐含的、有意义的知识,为人们的正确决策提供帮助。1.2数据挖掘的功能1自动预测趋势和行为:数据挖掘自动在大型数据库中寻找预测性信息。以往需要进行大量手工分析的问题,如今可以迅速直接由数据本身得出结论。2关联分析:目的是找出数据库中隐藏的关联网,生成的规则带有可信度。3聚类:数据库中的记录可被化分为一系列有意义的子集,即聚类。聚类增强了人们对客观现实的认识,是概念描述和偏差分析的先

3、决条件。4概念描述:对某类对象的内涵进行描述,并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述,前者描述某类对象的共同特征,后者描述不同类对象之间的区别。5偏差检测:数据库中的数据常有一些异常记录,从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识,如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。2数据挖掘的应用数据挖掘技术已应用于许多领域,如在学校、银行、电信、股市、保险、交通、零售等领域已得到广泛的应用。2.1数据挖掘技术在高校中的应用随着招生规模的扩大,高校的学生人数就达到上万人,甚至几万人,考试成绩达到几十万个数据,还有大量的学习成

4、绩以外的影响因素,传统的学习成绩分析方法已不能完全满足需要,对此引入数据挖掘技术以找到影响学生成绩的真实原因,制定相应的措施,提高教育教学质量。1将关联规则的方法运用到教学问题中,从教学评价数据中进行数据挖掘,找到课堂教学效果与教师状态的关系问题,在班级排课时,注意一个教学班中配备教师的年龄、职称、学历等的合理分配。2把学生的学习特征存入模型库,教师可以通过它及时地了解学生的需求、兴趣爱好、个性差异等信息,并以此为依据对不同学生提供动态的学习内容、推荐个性化的学习材料等服务,真正实现个性化教学。3利用数据挖掘工具,对收集的信息进行如“去噪”等处理,对学生的学习成绩数据库、行为记录数据库、奖励处

5、罚数据库等进行分析处理,及时得到学生的评价结果,对学生出现的不良学习行为进行及时指正。4按照教学培养目标,利用粗糙集方法,对数据仓库资料进行归类。为了解学生的想象能力,可以把有关课程中的成绩以及这些课程中有关想象能力的考核成绩分离出来,单独分析渗透在不同领域的学生想象能力,从而对学生的想象能力进行科学评价和分析,发现其潜力。2.2数据挖掘技术在金融企业中的应用1数据挖掘技术在证券行业中得到广泛应用,数据挖掘技术作为分析与辅助决策工具已经越来越得到国内券商的重视。其典型应用包括:客户分析:建立数据仓库来存放对全体客户、预定义客户群、某个客户的信息和交易数据,并通过对这些数据进行挖掘和关联分析,实

6、现面向主题的信息抽取。咨询服务:根据采集行情和交易数据,结合行情分析,预测未来大盘走势,并发现交易情况随着大盘变化的规律,并根据这些规律做出趋势分析,对客户针对性进行咨询。风险防范:通过对资金数据的分析,可以控制营业风险,同时可以改变公司总部原来的资金控制模式,并通过横向比较及时了解资金情况,起到风险预警的作用。经营状况分析:通过数据挖掘,可以及时了解营业状况、资金情况、利润情况、客户群分布等重要的信息,并结合大盘走势,提供不同行情条件下的最大收益经营方式。同时,通过对各营业部经营情况的横向比较,以及对本营业部历史数据的纵向比较,对营业部的经营状况作出分析,提出经营建议。2数据挖掘技术也应用于

7、银行业,主要有以下几个方面:对账户进行信用等级的评估:利用数据挖掘工具进行信用评估的最终目的是从已有的数据中分析得到信用评估的规则或13标准,并应用到对新的账户的信用评估。金融市场分析和预测:对庞大的数据进行主成分分析,剔除无关的,甚至是错误的、相互矛盾的数据“杂质”,以更有效地进行金融市场分析和预测。分析信用卡的使用模式:通过数据挖掘,可以得到这样的规则,通过了解客户使用信用卡的习惯性模式,一方面,可以监测到信用卡的恶性透支行为;另一方面,可以识别“合法”用户。发现隐含在数据后面的不同的财政金融指数之间的联系。探测金融政策与金融业行情的相互影响的关联关系。数据挖掘可以从大量的历史记录中发现或

8、挖掘出这种关联关系更深层次的、更详尽的方面。3数据挖掘技术也应用于保险业:保险金的确定:对受险人员的分类有助于确定适当的保险金额度。通过数据挖掘可以得到对不同行业的人、不同年龄段的人、处于不同社会层次的人的保险金该如何确定。险种关联分析:分析购买了某种保险的人是否同时购买另一种保险。预测什么样的顾客会购买新险种。2.3数据挖掘技术在零售企业中的应用1客户分片数据挖掘:通过分析客户购买商品的行为,利用数据挖掘技术将这些客户分成不同的类别,这个过程称之为客户分片(customer segmentation。客户购买商品的行为可能是:购物时间是集中性购买,还是分散性购买;所购产品是趋向于物美,还是偏

9、好价廉;选择产品的类型是多样,还是单一等。针对不同类型的客户,商家推出不同的策略,以迎合不同客户的购物习惯,这样,所推出的策略就更具有针对性,客户也感到了更多的人文关怀。2购物篮分析:购物篮分析的主要目标是在顾客的购买交易中分析出能够同时购买一类产品或一组产品的可能性(相互关联。从超市销售管理系统、客户资料管理及其他运营数据中,可以收集到关于商品销售、客户信息、库存及超市店面信息等的信息资料。数据从各种应用系统中采集,经按不同条件分类,存放到数据仓库,允许管理人员、分析人员、采购人员、市场人员和客户访问,利用数据挖掘工具对这些数据进行分析,为管理者提供高效的科学决策工具。3数据挖掘应用的困境和

10、展望数据挖掘作为一种新颖的数据分析手段,在我国越来越多的企事业单位中得到应用,被广泛应用于数据库营销、客户关系管理、顾客行为预测、市场趋势预测等。但是,随着数据挖掘应用的深入,对该项技术的误解也在增多,加上目前数据挖掘本身的局限和人为的局限,导致数据挖掘在应用过程中出现问题。3.1数据挖掘应用的困境1数据挖掘的内在局限性:对数据挖掘技术期望过高是数据挖掘应用过程中经常出现的一个问题。企业管理人员或者业务人员抱着美好的愿望,希望数据挖掘像“魔杖”一样解决面临的棘手问题,但是如果要求的结果与已有的数据没有关联(或者相关性太小,数据挖掘是无能为力的。2把数据挖掘当作一个IT项目来做:容易把数据挖掘理

11、解成一种管理工具,因此倾向于把数据挖掘建成类似一种MIS 的东西,希望有一个界面,登录进去后,点几个按钮,神奇的预测结果就展现出来。这种僵硬的做法有可能窒息数据挖掘的强大威力。3技术采用的偏颇:对数据挖掘算法技术理解的不全面,也可能导致企业只愿意选择那些外观容易理解的技术,使得数据挖掘的功能得不到充分发挥。4数据挖掘工具的局限:数据挖掘的60%80%工作量花在数据准备阶段。建模过程需要大量的手工劳动。目前的数据挖掘软件工具中,各算法采用默认的参数设置并不总是最合理的,不能得到最佳的预测模型,对于每个业务新问题,都要重新探索数据的相关性,进行算法参数的重新调整和配置。但是,由于现实问题太复杂,已

12、有的原理并不能始终指导模型的调优方向,更多的时候还是依赖大量的数据试验摸索前进,建模的过程也是漫长痛苦的。现有的很多数据挖掘工具并不支持复杂调优过程的自动化。3.2数据挖掘应用的展望计算机硬件性能的巨幅提升和数据库技术的飞速发展,使得企业级大数据量的计算成为现实,挖掘工具越来越强大,汇合的算法越来越多,预测类算法将吸纳颇具新意的算法,并将实现算法的自动选择和参数自动调优。作为一种无法绕过去的必需的技术,数据挖掘的应用领域将越来越广。参考文献1Margaret HDunham.数据挖掘教程M.北京:清华大学出版社,2005.2David Hand Heikki Mannila Padhraic Smyth.数据挖掘原理M.北京:机械工业出版社,2003.3戴永群.数据挖掘在教学中的应用J.福建电脑,2005(9.Application of Data MiningNiu Chengzhen,Ma JilanABSTRACT:Data mining,as a novel means of data analysis in schools,banking,telecommunications,the stock market,insurance, transportation,retail,and other fields,has