CH第讲数据挖掘技术引论实用

会计学1CH第讲数据挖掘技术引论实用.数据大与信息少的矛盾数据挖掘数据库越来越大有价值的知识可怕的数据第1页/共33页数据爆炸，知识贫乏数据知识决策模式趋势事实关系模型关联规则序列目标市场资金分配贸易选择在哪儿做广告销售的地理位置金融经济政府POS.人口统计生命周期第2页/共33页第二部分：什么是数据挖掘？第3页/共33页数据挖掘都干了些什么？英国电信需要发布一种新的产品，需要通过直邮的方式向客户推荐这种产品。。。。。。使直邮的回应率提高了100％第4页/共33页数据挖掘都干了些什么？GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本。。。。。。通过数据挖掘的方法使库存成本比原来减少了3.8%第5页/共33页数据挖掘都干了些什么？汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户。。。。。。营销费用减少了30％第6页/共33页数据挖掘都干了些什么？美国国防财务部需要从每年上百万比的军火交易中发现可能存在的欺诈现象。。。。。。发现可能存在欺诈的交易，进行深入调查，节约了大量的调查成本第7页/共33页数据挖掘都干了些什么？美国国内税务局需要提高对纳税人的服务水平。。。。。。合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务第8页/共33页通过数据挖掘您可以发现最有价值的客户第9页/共33页通过数据挖掘您可以使组合销售更有效率第10页/共33页通过数据挖掘您可以留住那些最有价值的客户第11页/共33页通过数据挖掘您可以用更小的成本发现欺诈现象第12页/共33页通过采用自动或半自动的手段，在海量数据中发现有意义的行为和规则的探测和分析活动。数据挖掘就是对观测到的数据集（经常是很庞大的）进行分析，目的是发现未知的关系和以数据拥有者可以理解的新颖方式来总结数据。什么是数据挖掘第13页/共33页数据挖掘与统计的不同特征它们的任务不一样

统计是具有结构化的决策任务数据挖掘是非结构化决策任务它们对以前知识的依赖程度不一样

统计工作依赖以前的统计知识数据挖掘是创新性的工作第14页/共33页电信

：流失银行：聚类（细分）,交叉销售百货公司/超市：购物篮分析

（关联规则）保险：细分，交叉销售，流失（原因分析）信用卡：

欺诈探测，细分电子商务：

网站日志分析税务部门：偷漏税行为探测警察机关：犯罪行为分析医学：

医疗保健数据挖掘应用领域第15页/共33页数据挖掘效益分析(直邮）(BigBank&CreditCardCompany)目的：发现新客户数据挖掘以前数据挖掘以后差别发信的数量1,000,000750,000(250,000)成本$1,000,000$750,000($250,000)响应的数量10,0009,000(1,000)每个响应的毛利$125$125$0总毛利$1,250,000$1,125,000($125,000)净利润$250,000$375,000$125,000建模的费用040,000$40,000最终的利润$250,000$335,000$85,000第16页/共33页“数据挖掘”的其它术语知识发现（knowledgediscovery）数据库中知识挖掘（knowledgeminingfromdatabase）知识提取（knowledgeextraction）商业智能BI（BusinessIntelligence）数据/模式分析（data/patternanalysis）数据考古（dataarchaeology）数据捕捞（datadredging）数据库中知识发现（KDD，knowledgediscoveryindatabase）第17页/共33页数据挖掘和KDD关系不同文章作者对数据挖掘和KDD之间的差异往往有不同的理解。有人将数据挖掘等同于KDD有人认为数据挖掘是KDD过程中的一部分第18页/共33页商业、商务（business）的具体含义商业等词的含义并不是仅指传统的零售业和服务业，而是包含企业运作的各种业务（business）。第19页/共33页什么是商业智能（BI）商业智能是在合适的时间向相应的用户提供正确的信息，并转化为知识的应用。Businessintelligenceisnotbusinessasusual.It’saboutmakingbetterdecisionseasierandmakingthemmorequickly.Businessintelligencemeansusingyourdataassetstomakebetterbusinessdecisions.Itisaboutaccess,analysis,anduncoveringnewopportunities.Source:IBMBusinessIntelligenceWebPage第20页/共33页数据挖掘和商业智能的关系商业智能，将数据挖掘技术等应用于Business，但偏重于OLAP。商业智能是数据挖掘技术的最主要的体现。Muchmorethanacombinationofdataandtechnology,BIhelpsyoutocreate

knowledgefromaworldofinformation.Gettherightdata,discoveritspower,

andsharethevalue,BItransformsinformationintoknowledge.Business

Intelligenceistheapplicationofputtingtherightinformationintothehands

oftherightuserattherighttimetosupportthedecision-makingprocess.

第21页/共33页商业智能的作用商业决策中合理地组织数据将产生竞争优势最新的调查表明，企业中93%的数据在商业决策处理中未用到。数据库—数据的坟摹商业智能帮助更快更好地决策每2-3年数据翻一倍第22页/共33页数据挖掘的基础数据挖掘是一个多学科交叉领域数据库技术人工智能机器学习神经网络统计学模式识别知识库系统知识获取信息提取高性能计算数据可视化第23页/共33页第三部分：数据挖掘流程第24页/共33页CRISP－DM简介

CRISP－DM是CRoss-IndustryStandardProcess－DataMining的缩写由SPSS、NCR、Daimler-Benz在1996年制定

CRISP是当今数据挖掘业界通用流行的标准之一它强调数据挖掘在商业中的应用，解决商业中存在的问题，而不是把数据挖掘局限在研究领域第25页/共33页CRISP－DM

数据理解选定数据数据准备（转换）建立模型模型解释与评估模型发布第26页/共33页数据理解（DataUnderstanding)

找问题－确定商业目标对现有资源的评估确定问题是否能够通过数据挖掘来解决确定数据挖掘的目标制定数据挖掘计划第27页/共33页数据理解(DataUnderstanding)

确定数据挖掘所需要的数据对数据进行描述数据的初步探索检查数据的质量第28页/共33页数据准备(DataPreparation)

选择数据清理数据(去除异常值等）对数据进行重建（维度归约等）调整数据格式使之适合建模（是否需要标准化）第29页/共33页建立模型（Modeling)

对各个模型进行评价选择数据挖掘模型（分类还是回归等）建立模型第30页/共