数据挖掘软件工具及案例

数据挖掘软件工具演示及案例分析中国科学院管理学院数据挖掘工具简介促销活动效果预测（回归）汇报内容超市购物车分析（关联规则）贷款违约预测（分类）商品销售量预测（时间序列）药物治疗分析（聚类）数据使用的相关概念关系数据管理相关技术数据挖掘工具软件Clementine付费、IBM，适合业务人员，无需编程SPSS付费、IBM，适合业务人员，无需编程SAS付费、SASInstituteInc.，适合企业级应用和专业数据分析人员数据挖掘工具软件Weka开源，基于Java，可图形界面或编程开源，基于C++，图像、视频数据分析程序接口OpenCVMLlib开源，编程，Spark平台中的分布式机器学习程序库数据挖掘工具软件Matlab付费、脚本编程，科研性质的实验数据模拟环境，数值计算，功能全且强大Python开源，Python平台，脚本编程，与其它语言集成性好R语言开源，R平台，脚本编程，功能全且强大，被开源社区和学术社区广泛采用数据分析的几个层次实时查询报表统计分析在线事务处理（OLAP）建模、优化预测、可视化数据挖掘项目的生命周期业务理解（BusinessUnderstanding）数据理解（DataUnderstanding）建模（Modeling）数据准备（DataPreparation）评估（Evaluation）部署（Deployment）针对业务问题还是数据探索？具体业务问题是什么？问题确定问题实际中待解决的问题是什么？问题转化如何将其转化为数据挖掘问题？方法选择选择哪种数据挖掘方法解决问题？数据挖掘实践中的一般思路数据挖掘过程实际上是一个流程，流程中每一步是独立的，像拼积木一样进行组合。如：数据载入、数据准备、模型构建Clementine

学习资料帮助文档《Clementine数据挖掘方法及应用》业务问题：通过超市购物车中的商品列表和客户的基本信息，发现商品销售、客户群划分以及客户群的特点。1.哪些商品会被客户一起购买？2.通过购物车能否反映客户在购买上的分群情况？3.同一个客户群的中客户具有哪些共性规律和特点？案例01：超市购物车分析（关联规则分析）数据挖掘问题：1.关联规则分析2.图关联分析3.规则推理

案例01：超市购物车分析（关联规则分析）解决方法：1.Apriori2.邻接矩阵绘图3.C5决策树规则推理

案例01：超市购物车分析（关联规则分析）软件示例案例01：超市购物车分析（关联规则分析）业务问题：零售商会经常针对品类采取促销措施，能否通过促销前后的历史数据，来预测未来的新促销计划的效果。1.过往促销整体效果怎么样，哪些品类商品对促销是敏感的？2.如何对预测促销活动的效果进行建模？如何评价预测结果？3.如何使用模型对未来的促销效果进行预测？案例02：促销活动效果预测（回归分析）数据挖掘问题：1.数据探索可视化分析2.回归建模分析3.回归预测

案例02：促销活动效果预测（回归分析）解决方法：1.柱状图、散点图

2.C&RTree模型回归建模、神经网络模型回归建模3.采用C&RTree模型和神经网络预测模型进行预测。

案例02：促销活动效果预测（回归分析）软件示例案例02：促销活动效果预测（回归分析）业务问题：根据银行客户的基本信息和其它信息预测贷款客户是否会拖欠贷款。1.如何对客户信息和贷款拖欠之间的关系进行建模？2.如何对不同的模型进行评估比较？案例03：贷款拖欠预测（分类）数据挖掘问题：1.分类问题2.模型评估

案例03：贷款拖欠预测（分类）解决方法：1.Bayes分类模型（TAN,Markov,Markov-FS）2.混淆矩阵，累计增益图

案例03：贷款拖欠预测（分类）软件示例案例03：贷款拖欠预测（分类）业务问题：根据某商场服装过去10年各月的历史销售量情况，对下一年各月的销售情况进行预测。1.如何找到服装销售的周期性规律？2.如何对未来服装的销售量进行预测。案例04：商品销售量预测（时间序列）数据挖掘问题：1.数据探索可视化分析2.时间序列分析

案例04：商品销售量预测（时间序列）解决方法：1.时间序列图

2.指数拟合模型，ARIMA模型3.采用指数拟合模型，ARIMA模型进行预测

案例04：商品销售量预测（时间序列）软件示例案例04：商品销售量预测（时间序列）业务问题：根据病人化验指标和医生开具的药物处方，找到化验指标与药物之间的关系。1.哪些化验指标和药物之间有何关系？2.化验指标之间的关系有何关系？3.根据化验指标的相似性，病人是否会自发地形成群体？4.群体有何特点？案例05：药物治疗分析（聚类）数据挖掘问题：1.数据探索可视化分析2.数据探索可视化分析3.聚类分析4.规则推理

案例05：药物治疗分析（聚类）解决方法：1.散点图，柱状图，分布图

2.散点图，柱状图，分布图3.Kmeans,TwoStep,Kohnen聚类算法4.C5决策树规则推理

案例05：药物治疗分析（聚类）软件示例案例05：药物治疗分析（聚类）Clementine

学习资料帮助文档《Clementine数据挖掘方法及应用》Weka官方地址

Weka代码交流地址Weka书籍

《DataMiningPracticalMachineLearningToolsandTechniques》Weka学习资料Matlab官方地址

Matlab书籍

《精通Matlab7.0》Matlab学习