移动数据挖掘交流材料

1、 精点科技数据服务部精点科技数据服务部 李青海李青海 20092009年年2 2月月 议 程 安 排 数据挖掘原理数据挖掘原理1 4 流失预警流失预警 常用工具介绍常用工具介绍 客户细分客户细分3 2 数据挖掘原理 v 定义：kdd是从大量数据中提取出有效的、新颖的、有潜在作用的、 可信的、并能最终被人理解的模式模式(pattern)(pattern)的非平凡的处理过程。 v 最近，gartner group的一次高级技术调查将数据挖掘和人工智能列为 “未来三到五年内将对工业产生深远影响的五大关键技术”之首，并且 还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术 前两位。根据最近

2、gartner的hpc研究表明，“随着数据捕获、传输和 存储技术的快速发展，大型系统用户将更多地需要采用新技术来挖掘市 场以外的价值，采用更为广阔的并行处理系统来创建新的商业增长点。” 数据挖掘分类数据挖掘分类 v 挖掘对象 基于数据库的挖掘 基于web的挖掘 基于文本的挖掘 其他，如音频、视频等多媒体数据库 v 用户使用 响应模型 交叉销售模型 客户评价模型 分段模型 数据挖掘分类数据挖掘分类 v 分析数据挖掘的任务是从数据中发现模式。模式按功能分为预测型 (predictive)和描述型(descriptive)，而按实际作用可分为以下几种 模式： 分类：首先从数据中选择已经分好类的训练集

3、，在该训练集上运用 数据挖掘分类的技术，建立分类模型，对没有分类的数据进行分类； 预测：用历史来预测未来，回归的方法； 关联分析：关联规则； 聚类：物以类聚； 序列模式：是指在多个数据序列中发现共同的行为模式； 描述和可视化：数据挖掘的结果的表示形式； 偏差分析：从数据分析中发现异常情况也是很重要的，基本方法是 寻找观察结果与参照之间的差别。观察常常是某一个域的值或多个 域值的汇总。参照是给定模型的预测、外界提供的标准或另一个观 察 数据挖掘分类数据挖掘分类 v 挖掘模型 决策树(decision tree) 关联规则(association rules) 聚类(clustering) 神经网

4、络(artificial neural networks，简记作ann) 粗糙集(rough set) 概念格(concept lattice) 遗传算法(genetic algorithms) 序列模式(sequence pattern) 贝叶斯(bayes) 支持向量机(support vector machine，简记作svm) 模糊集(fuzzy set) 基于案例的推理(case-based reasoning，简记作cbr) 决策树决策树 v 决策树是以实例为基础的归纳学习算法,着眼于从一组无次 序/无规则的事例中推理出决策树表示形式的分类规则； v 决策树基本算法是:贪心算法,它

5、以自顶向下递归、各个击破 方式构造决策树. 聚类聚类 v 聚类是根据数据的不同特征,将其划分为不同的簇 （cluster）,目的是使得属于同一个簇中的对象之间具有较 高的相似度，而不同簇中的对象差别（相异度）较大； v 聚类技术大致分为五种： 划分方法（partitioning method） 层次方法（hierarchical method） 基于密度的方法（density-based method） 基于网格的方法（grid-based method） 基于模型的方法（model-based method） 议 程 安 排 数据挖掘原理数据挖掘原理1 4 流失预警流失预警 常用工具介绍常用

6、工具介绍 客户细分客户细分3 2 常用工具excel 相关性分析 常用工具excel 回归分析 常用工具spss spss spss 是statistical program for social sciences 的简称，即社会科学 统计程序，由美国spss公司1970年代推出，迄今已有近30多年的历史。是 国际著名三大社会科学统计软件包之一（sas、spss、statis）。 spssspss界面：界面： 数据表 变量表 相关性分析 常用工具spss 概率分布 常用工具spss 列联分析 常用工具spss 常用工具clementine clementine clementine 是isl(

7、integral solutions limited)公司开发的数据挖掘工 具平台。1999年spss公司收购了isl公司，对clementine产品进行重新整合 和开发，现在clementine已经成为spss公司的又一亮点。 资料流程区 管理器 选项版区 专案 报告窗口状态视窗 常用工具clementine 常用功能： 描述功能描述功能 数据审计（data audit） 散点分布（plot） 频度分布（histogram） 建模功能建模功能 线性回归（regression） logistic回归（logistic） 决策树（c5.0） 二步聚类（twostep） 议 程 安 排 数据挖掘原

8、理数据挖掘原理1 4 流失预警流失预警 常用工具介绍常用工具介绍 客户细分客户细分3 2 对分出来每个对分出来每个 群体进行描述群体进行描述 及解释及解释 神州行数据业务神州行数据业务 分群分群 全球通数据业务全球通数据业务 分群分群 动感地带数据业动感地带数据业 务分群务分群 1. 分群的思路及方法分群的思路及方法 2.需求访谈需求访谈,整理纪要及需求整理纪要及需求 3.确定分群变量及描述变量确定分群变量及描述变量 4. 使用数据挖掘工具聚类使用数据挖掘工具聚类 客户细分 议 程 安 排 数据挖掘原理数据挖掘原理1 4 流失预警流失预警 常用工具介绍常用工具介绍 客户细分客户细分3 2 1. 流失预警的思路及方法流失预警的思路及方法 2.需求访谈需求访谈,整理纪要及