建模数据挖掘

1、说实话，建模期间学到的知识量比较大，但是不深入，建模期间时间紧张，也是效率优先， 掘(Data Mining)是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、 规律寻找和规律表示 3 个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常 分析、特异群组分析和演变分析等。 来自其他领域的思想，这些领域包括最优化、进化计算、信息论、信号处理、可视化和信息 引和查询处理支持。源于高性能(并行)计算的技术在处理海量数据集方面常常是重要的。 分布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要。看得出来该方法与遗传算法的联系，完全可以考虑在两者之间建立一些联

2、系11)数据挖掘能做以下七种不同事情数据挖掘 估计(Estimation) 预测(Prediction) 相关性分组或关联规则(Affinity grouping or association rules) 聚类(Clustering) 描述和可视化(Description and Visualization)(Text, Web ,图形图像，视频，音频等)(分析方法)：22)数据挖掘分类以上七种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘 解成数据库中表的属性，即列)进行描述。 分类、估值、预言属于直接数据挖掘；后四种属于间接数据挖掘3)各种分析方法的简介分类 (Classif

3、ication ) 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 a. 信用卡申请者，分类为低、中、高风险b. 故障诊断：中国宝钢集团与上海天律信息技术有限公司合作，采用数据挖掘技术对钢材 估计(Estimation ) 估计与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类数据挖掘的类别是确定数目的，估值的量是不确定的。a. 根据购买模式，估计一个家庭的孩子个数b. 根据购买模式，估计一个家庭的收入 续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个

4、客户记分(Score 01)。然后，根据阈值，将贷款级别分类。 预测(Prediction) 对未知变 量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的 是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后， 才知道预言准确性是多少。 相关性分组或关联规则(Affinity grouping or association rules) 决定哪些事情将一起发生。b. 客户在购买 A 后，隔一段时间，会购买 B (序列分析) 聚类(Clustering) 义好的类，不需要训练集。a. 一些特定症状的聚集可能预示了一个特定的疾病 整个客户做聚集，将客户分组在

5、各自的聚集里，然后对每个不同的聚集，回答问题，可能效 果更好。 描述和可视化(Description and Visualization)是对数据挖掘结果的数数据挖掘的步骤会随不同领域的应用而有所变化，每一种数据挖掘技术也会有各自的特性和 使用步骤，针对不同问题和需求所制定的数据挖掘过程也会存在差异。此 外，数据的完整在各不同领在各不同领域中的运用、规划，以及流程的差异性，即使 同一产业，也会因为分析技术和 如此一来，不仅可以较容易地跨领域应 用，也可以结合不同的专业知识，发挥数据挖掘的 如下： 理解数据和数据的来源(understanding)。 获取相关知识与技术(acquisition)

6、。 整合与检查数据(integration and checking)。 去除错误或不一致的数据(data cleaning)。 建立模型和假设(model and hypothesis development)。 实际数据挖掘工作(data mining)。 测试和验证挖掘结果(testing and verification)。 解释和应用(interpretation and use)。 套数据挖 掘的过程中，有80%的时间和精力是花费在数据预处理阶段，其中包括数据的净 化、数据格式转换、变量整合，以及数据表的链接。可见，在进行数据挖掘技术的 分析之 前，还有许多准备工作要完成。 编辑本

7、段数据挖掘在行业中的应用电信行业 价格竞争 中国电信业改革的加速推进形成了新的竞争态势，移动运营 市场的竞争广度和强度将进一 争、获取持续增长的新引擎。 随着国内三足鼎立全业务竞争态势和 3G 牌照发放，各运营商为集团客户提供融合的信息化解决方案 将是大势所趋，而移动信息化将成为全面进 入信息化服务领域的先导力量。传统移动运营商因此面临着从传统个人业务转向同时拓展集 团客户信息化业务领域的挑 战。如何应对来自内外部的挑战，迅速以移动信息化业务作为 拓展集团客户信息化市场的过程中所面 临的外部挑战主要来自三个方面，即市场需求不成 熟，技术与业务融合，全业务的竞争。同时，运营商在自身发展上也存在诸

8、多问题，例如目 标市场细分不清晰，信 息化需求挖掘与评估不足；产品规划和管理难以满足客户信息化需 求；渠道较为单一，无法有效覆盖客户；对合作伙伴吸引力较弱，尚未形成共赢的价值链；数数据挖掘十大经典算法1 。C4.5：是机器学习算法中的一种分类决策树算法，其核心算法是ID3 算法。 2. K-means 算法：是一种聚类算法。 3.SVM：一种监督式学习方法，广泛运用于统计分类以及回归分析中 4.Apriori ：是一种最有影响的挖掘布尔关联规则频繁项集的算法。 7. Adaboost:是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器然后把弱 分类器*起来，构成一个更强的最终分类器。

9、 8.KNN:是一个理论上比较成熟的的方法，也是最简单的机器学习方法之一。9.Naive Bayes：在众多分类方法中，应用最广泛的有决策树模型和朴素贝叶斯( Naive 10.Cart：分类与回归树，在分类树下面有两个关键的思想，第一个是关于递归地划分自变量空间的想法，第二个是用验证数据进行减枝。基本参考书 简单推荐最负盛名的数据挖掘著作，但版本较老，对读者的计算机尤其是数据库背景要求较高。 应用到各自的领域”。覆盖了多学科应用实例，对读者数学和计算机背景要求较低。海书局Yuchun Lee et al. (1998), Solving Data Mining Problems Throug

10、h Pattern Recognition , ISBN 0-13-095083-1Oded Maimon and Mark Last (2000), Knowledge Discovery and Data Mining - The Info-Fuzzy Network (IFN) Methodology, Kluwer Academic Publishers. ISBN 0-7923-6647-6Sholom Weiss and Nitin Indurkhya(1998). Predictive Data Mining. Morgan Kaufman. ISBN 1-55860-403-0Ian Witten and Eibe Fran