数据挖掘与决策支持

数据挖掘与智能决策技术简介

背景

二十世纪末以来，全球信息量以惊人的速度急剧增长—据估计，每二十个月将增加一倍。许多组织机构的IT系统中都收集了大量的数据（信息）。目前的数据库系统虽然可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。为了充分利用现有信息资源，从海量数据中找出隐藏的知识，数据挖掘技术应运而生并显示出强大的生命力。

背景

数据挖掘是八十年代投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴的，面向商业应用的AI研究。(AI(ArtificialIntelligence，人工智能))1989年8月，在美国底特律召开的第11届国际人工智能联合会议的专题讨论会上首次出现数据库中的知识发现（KnowledgeDiscoveryinDatabase，KDD）这一术语。随后，在1991年、1993年和1994年都举行KDD专题讨论会，汇集来自各个领域的研究人员和应用开发者，集中讨论数据统计、海量数据分析算法、知识表示、知识运用等问题。最初，数据挖掘是作为KDD中利用算法处理数据的一个步骤，其后逐渐演变成KDD的同义词。

数据挖掘定义技术角度的定义数据挖掘（DataMining)是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。与数据挖掘相近的同义词包括：数据融合、数据分析和决策支持等。这一定义包括好几层含义:数据源必须是真实的、海量的、含噪声的;发现的是用户感兴趣的知识;发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。

数据挖掘定义商业角度的定义数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性信息。简言之，数据挖掘其实是一类深层次的数据分析方法。因此，数据挖掘可以描述为:按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证己知的规律性，并进一步将其模型化的有效方法。

数据仓库的定义

数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。此定义由最为权威的、被称为“数据仓库之父”的WilliamH.Inmon先生给出。

数据内容

数据库名（数据库内容描述）

注意：信息的完整性；相关业务人员达成共识。

业务人员确定

IT人员确定数据结构……...计算机内主题数据库数据标准化决策支持：从数据库到数据仓库到数据集市到……数据仓库的定义

数据仓库是决策支持系统（DecisionSupportSystem，DSS，DSS）的基础。在数据仓库中只有单一集成的数据源，并且数据是可访问的。所以与传统数据库相比，在数据仓库环境中DSS分析员的工作将较为容易。

数据仓库的组成一个数据仓库的大小一般都是在100GB以上通常，数据仓库系统应该包含下列程序：（1）抽取数据与加载数据（2）整理并转换数据（采用一种数据仓库适用的数据格式）（3）备份与备存数据（4）管理所有查询（即将查询导向适当的数据源）数据仓库的组成OLAP的定义、特点点60年代，关系数数据库之父提出了关系模模型，促进了了联机事务处处理(OLTP)的发展(数据以表格的的形式而非文文件方式存储储)。1993年，提出了OLAP概念，认为OLTP已不能满足终终端客户对数数据库查询分分析的需要，，SQL对大型数据库库的简单查询询也不能满足足终端客户分分析的要求。。客户的决策策分析需要对对关系数据库库进行大量计计算才能获得得结果，而查查询的结果并并不能满足决决策者提出的的需求。因此此，提出了多维数数据库和多维维分析的概念念，即OLAP。OLAP的定义、特点点OLAP（On-LineAnalysisProcessing）定义是数据仓库上上的分析展示示工具，它建建立在数据多多维视图的基基础上。OLAP的主要特点一是在线性(OnLine)，体现为对用用户请求的快快速响应和交交互式操作；；二是多维分析析(Multi_Analysis)，这是OLAP技术的核心所所在。OLAP的定义和特点点OLAP与OLTP的区别（1）OLTP主要面向公司司职员;OLAP则主要面向公公司领导者。。（2）OLTP应用主要是用用来完成客户户的事务处理理，其数据基基础是操作型型数据库，如如民航订票系系统、银行储储蓄系统等等等，通常需要要进行大量的的更新操作，，同时对响应应时间要求较较高;而OLAP是以数据仓库库或数据多维维视图为基础础的数据分析析处理，是针针对特定问题题的联机数据据访问和分析析，它一般不不对仓库数据据作修改处理理，而只是查查询，其应用用主要是对客客户当前及历历史数据进行行分析，辅助助领导决策，，其典型的应应用有对银行行信用卡风险险的分析与预预测、公司市市场营销策略略的制定等，，主要是进行行大量的查询询操作，对时时间的要求不不太严格。多维数据Salesvolumeasafunctionofproduct,month,andregionProductRegionMonthDimensions:Product,Location,TimeHierarchicalsummarizationpathsIndustryRegionYearCategoryCountryQuarterProductCityMonthWeekOfficeDay立方体实例TotalannualsalesofTVinU.S.A.DateProductCountryAll,All,Allsumsum

TVVCRPC1Qtr2Qtr3Qtr4QtrU.S.ACanadaMexicosum数据立方体的的浏览VisualizationOLAPcapabilitiesInteractivemanipulation客户保留目标营销欺诈检测购物篮分析客户细分客户忠诚度信用打分信用风险评估营销组合管理和评估盈利能力分析价格优化客户服务自动化销售收入和需求预测利润分析交叉销售和增量销售活动管理客户流失分析客户服务和问题解决业绩和能力管理分销渠道业绩分析营业厅和服务商业绩分析流程和质量控制税收监控可能受益的商商业活动数据挖掘解决决方案历史数据预测模型新申请者信用等级评价价预测模型：：用过去的客客户数据预测测未来理解商业问题题性别父亲的教育程程度被访者教育程程度工作类型城市当前收入水平平性别父亲的教育育程度被访者教育育程度工作类型城市当前收入水水平当前财政状状况未来信用风风险Time1Time2家庭收入销售数量喜欢流行音音乐数据挖掘解解决方案PreprocessedDataDataTranslatedDataPatterns/ModelsResultsPreprocessingAnalysisInputOutput数据挖掘解解决方案主要数据挖挖掘技术分类Classification预测Prediction细分Segmentation关联Association序列Sequence将您的顾客客和客户分分类预测未来的的销量和欺欺诈，流失失将市场、顾顾客细分发现那些商商品会在一一起销售或或购买找出时间进进程中的模模式或趋势势决策树规则侦测回归分析聚类分析神经网络序列模式DecisionTreesNeuralNetworksRuleInductionNearestNeighborGeneticAlgorithms数据挖掘主主要新技术术决策树神经网络规则侦测序列规则基因算法基于层次的的聚类方法法这类方法不不需要预先先给定参数数（聚类数数），但需需要终止条条件。Step0Step1Step2Step3Step4bdceaabdecdeabcdeStep4Step3Step2Step1Step0agglomerative(AGNES)divisive(DIANA)CURE算法－DataPartitioningandClusterings=50p=2s/p=25xxxyyyyxyxs/pq=5CHAMELEON算法ConstructSparseGraphPartitiontheGraphMergePartitionFinalClustersDataSet客户总列表30%VIP0-1孩子2-3孩子20%VIP4+孩子$50-75kincome15%VIP$75k+income70%VIP$50-75kincome$20-50kincome85%VIPAge:40-6080%VIPAge:20-4045%VIP分类决策树树Attributes={Outlook,Temperature,Humidity,Wind}OutlookHumidityWindsunnyrainovercastyesnoyeshighnormalnostrongweakyesPlayTennis={yes,no}打高尔夫球球的决策树树实例（自自顶向下））根据加薪百百分比、工工作时长、、法定节假假日、及医医疗保险三三个属性来来判断一个个企业的福福利状况(good或bad)。对象关系网络网络分析强弱路径自我小群体缺失角色网络分析神经网络线性回归Logistics回归多层神经网网络细胞繁殖神经网络算算法人工神经网网（ArtificialNeuralNetwork，ANN）是20世纪80年代后期迅迅速发展起起来的人工工智能技术术，它对噪噪声数据具具有很高的的承受能力力，对未经经训练的数数据具有分分类模拟的的能力，因因此在网站站信息、生生物信息和和基因以及及文本的数数据挖掘等等领域得到到了越来越越广泛的应应用。在多多种ANN模型中，反反向传播（（BackPropagation，BP）网络是应应用最广的的一种。神经元通过非线性性函数n维的输入向向量x被映射为变变量ymk-fweightedsumInputvectorxoutputyActivationfunctionweightvectorwåw0w1wnx0x1xn神经网络的的组成输出节点输入节点隐层节点输入矢量输入矢量:xiwij基本的BP网络由输入入层、输出出层和隐层层组成。神经网络的的拓扑结构构神经网络训训练之前，，需要设计计网络拓扑扑结构。设设计网络拓拓扑的关键键是，确定定隐层的神神经元个数数及各神经经元初始权权值和阈值值（偏差））。理论上上讲，隐层层的神经元元数越多，，逼近越精精确。但实实际上，隐隐层神经元元数不宜过过多；否则则会极大加加长训练时时间，并造造成网络容容错能力下下降。经训训练后的神神经网络若若其准确性性不能被接接受，则必必须重新进进行拓扑设设计或改用用不同的初初始权值和和阈值（偏偏差）。神经网络的训训练训练的终止条条件获得一组权重重值，使得训训练集中几乎乎所有样本都都分类正确训练步骤利用随机值对对权值进行初初始化将训练样本逐逐一地输入给给神经网络，，进行训练对于每个神经经元将其所有的输输入值进行线线性求和计算算得到总的输输入利用激励函数数计算其输出出值计算误差修正网络权值值和阈值（偏偏差）BP神经网络BP神经网络通过过迭代处理一一组训练样本本，将各样本本的网络预测测与实际已知知类标号进行行比较实现学学习训练，反反向修改网络络的权值，使使得网络预测测与实际类之之间的误差平平方最小。BP神经网络按照照最优训练准准则反复迭代代，确定并不不断调整神经经网络结构，，通过迭代修修改，当误差差收敛时学习习过程终止。。因此，具有分分类准确、收收敛性好、动动态性好和鲁鲁棒性强等优优点。BP神经网络存在在的问题收敛速度问题题BP分类器最大的的弱点是其训训练速度非常常缓慢，难以以收敛。尤其其是当网络的的训练达到一一定程度后，，收敛更为缓缓慢。局部极小点问问题BP算法采用的是是梯度下降法法，对一个复复杂的网络而而言，其误差差曲面是一个个高维空间中中的曲面，其其中分布着许许多局部极小小点，一旦陷陷入了局部极极小点则算法法很难逃离出出来。BP神经网络存在在的问题网络瘫痪问题题在训练过程中中，权值可能能变得很大，，这会使神经经元的网络输输入变得更大大，从而使得得其激励函数数的一阶导函函数在此点上上的取值很小小。此时的训训练步长会变变得非常小，，最终导致网网络停止收敛敛，这种现象象即是所谓的的网络瘫痪现现象。关联规则挖掘掘实例通过发现顾客客放入其购物物篮中不同商商品之间的联联系，分析顾顾客的购买习习惯。通过了了解哪些商品品频繁地被顾顾客同时购买买，这种关联联的发现可以以帮助零售商商制定营销策策略。例如，，在同一次购购物中，如果果顾客购买牛牛奶的同时，，也购买面包包（和什么类类型的面包））的可能性有有多大？这种信息可以以引导销售，，可以帮助零零售商有选择择地经销和安安排货架。例例如，将牛奶奶和面包尽可可能放近一些些，可以进一一步刺激一次次去商店同时时购买这些商商品。关联规则挖掘掘实例购物篮关联分分析实例图基本概念CustomerbuysdiaperCustomerbuysbothCustomerbuysbeer“啤酒与尿布”的关联规则ForruleACsupport=support({AC})=50%confidence=support({AC})/support({A})=66.6%ForCA(50%,100%)TheAprioriprinciple:AnysubsetofafrequentitemsetmustbefrequentMin.support50%Min.confidence50%关联挖掘实例例3.5数据挖掘