培训_数据挖掘 - 副本

版权所有 严禁拷贝 BIhuman培训中心 数据挖掘数据仓库培训 中国 杭州 2010-07-03 版权所有 严禁拷贝 数据挖掘基本概念与应用分类 不同类型的数据挖掘 流失预测 交易量 /业务量预测 序列模式提取 客户欺诈识别 业务量收入量预测 数据探索 客户分群 套餐交叉销售 文本分析 . 探索 验证 获取内容的不同，可分为 分析对象的不同，可分为 结构化数据挖掘 文本挖掘 图像挖掘 空间数据挖掘 Web 数据挖掘 多媒体挖掘 生物医学数据挖掘 流数据的挖掘 数据挖掘 是 “从数据中获取 不平凡的、 隐含的、 预先未知的 ,、 具有潜在价值的 信息 G. Piatetsky-Shapiro, W. J. Frawley 首次出现在 1989年 数据挖掘是多学科交叉研究的领域 Data Mining Database Systems Statistics Other Disciplines Algorithm Machine Learning Visualization . 数据挖掘在很多领域得到很好的应用 大约 20个 NBA球队使用了 IBM公司开发的数据挖掘应用软件 Advanced Scout系统来优化他们的战术组合 2004 美国联邦政府会计总署报告 显示 ，美国政府部门积极参与或正在筹划的数据挖掘项目为 199个 采用链路分析方法，分析特定的行为特征和恐怖犯罪之间的联系 FBI对联邦探员提交的情报进行分析，寻找和爆炸事件的关联 + 啤酒尿布捆绑销售 NBA赛场背后的数据挖掘 . 反恐领域的数据挖掘 营销领域的数据挖掘 7 关联 Association 我的数据中存在哪种项关系（“规则”）？ Beer = Diapers 单一事务 Apriori/FreqTree 序列 Sequence 序列模式 sequence pattern 我的数据中存在哪种连续模式？ Love = Marriage = Baby Products 连续事务 时间序列 time series 和时间相关的，周期性变化值 已知 2000-2008年数据，预测 2009年交易量 Arima/指数平滑 聚类 clustering 我的数据中存在哪些群组？ 客户资源集、存储资源源 人口统计学 Demographic/神经元 Neural (Kohonen) 分类 classfication 如何预测我的数据中各个类别的值？ 病人是否受到粗鲁的对待、是否受到伤害、是否感 受 不到关爱？ Classification ( 决策树 )/贝叶斯算法 Bayes/RBF算法 预测 regression 如何预测我的数据中的数值？ 客户对改进做出反应的可能性有多大？ 每个客户本年度的消费是多少？ 转换回归 /线性回归多项式回归 Select Transform Mine Assimilate Extracted Information Assimilated Information Selected Data Data Warehouse 数据挖掘 工作台 挖掘模式库 业务分析 扩展的洞察力 数据挖掘的常见模式（函数） Clustering分群 最常用的聚类算法 K平均值算法，初始给定 k个类 , 按照四步完成 : 任意选择 k个对象作为初始的分区 计算当前簇的重心点，即当前簇中所有点的平均值 将其他数据对象赋给最近似的簇集 重复第二步操作，直到不在发生变化 . 典型的分群算法 Kmeans 从数据集中寻找有趣的、关联和相关性、频繁出现的模式 电信应用上两种不同类型的关联规则 Association Rule关联规则挖掘 产品的正关联与负关联 用户产品关联模型 客户 -渠道 -产品适配模型 规则 Item A = Item D， A为规则体， D为规则头 支持度 Support 代表规则出现频繁程度 supp(A)=p(A)=0.75 supp(B)=p(B)= 0.67 置信度 Confidence代表规则出现强度 . conf(A=D)=p(D|A)=0.67 提升值 Lift 反映规则中个要素之间的附加信息 . Lift(A=D)=p(B|A)/p(B)=0.89 Lift 1 (complementary items). 互补关系 Lift 40 no no yes yes yes 30.40 a g e i n co me st u d e n t cre d i t _ ra t i n g b u ys_ co mp u t e r4 0 me d i u m no f a i r ye s4 0 l o w ye s f a i r ye s4 0 l o w ye s e x ce l l e n t no3 1 4 0 l o w ye s e x ce l l e n t ye s4 0 me d i u m ye s f a i r ye s4 0 me d i u m no e x ce l l e n t noDecision Tree 决策树分类 信息熵增益 Information Entropy 决策树 选取节点的规则 选取节点评分 (预测 ) 理想模型 该模型 随机评级 字段重要性 (对预测目标字段的相对贡献度 ) PhotoTV 手机电视潜在客户预测 重要字段列表 建立流失预测模型 数据 ETL流程 （ 数据取样、合并、过滤、随机分割等）； 预测建模流程（采用 CART决策树算法） 测试流程（对未知流失状态的客户进行预测，输出结果到表） 客户流失的决策规则分析 例如，通过挖掘得到如下的决策规则： 如果客户 ARPU值在 40 60之间，在网时长小于 3年，且 IP费用小于 10， 那么这个客户下月流失的可能性为 90。 同样条件，如果使用了 11808业务则流失的可能性为 10。 根据这条信息，我们可以搜索数据集中的所有满足这几条特性的客户，进行针对性地营销策略，如推销 IP，以及 11808业务，进行挽留。 挖掘时间序列数据 时间序列数据 有序列值或者随时间交替变化的时间组成 数据每隔一定的时间间隔建立 时间序列数据的主要特征 趋势，周期，季节，反常（ Trend, cycle, seasonal, irregular） 应用场景 金融：股票价格 , 通货膨胀 /紧缩 Industry: 电力消耗 power consumption Scientific: 实验结果 Meteorological: 气象预报 时间序列分析 时间序列运动的归类 长期或者趋势运动（ Long-term or Trend movements ） 在一段长期的时间范围内，运动大的走向，趋势。 周期性运动或周期性波动（ Cyclic movements or cycle variations): l 围绕趋势线 /曲线长期摆动，如业务周期，交易量等随着时间周期性波动。 季节性运动或者季节性波动 (Seasonal movements or seasonal variations) 在连续个年份，每月的数字呈现季节性变动。 不规则运动或者随即运动 Irregular movements 时间序列分析 :分解一个时间序列为一下四种运动 加法模型 Additive Modal: TS=T+C+S+I 乘法模型 Multiplicative Modal: TS=TC S I 时间序列挖掘 Airline 航空公司旅客流量分析 欧洲一家航空公司，利用 2000年 -2008年间每月旅客数，预测下一个月的旅客数量。 ARIMA Autoregressive Integrated Moving Average Exponential Smoothing Seasonal Trend Decomposition 数据挖掘基本概念 常见的几种挖掘模式 文本挖掘介绍 社会网络及其在垃圾短信监控中的应用 IBM Infosphere Warehouse/Intelligent Miner 介绍 内容提纲 大量保存的非结构化信息 (文本 ) 呼叫中心 问题报告 修理报告 保险单 病历信息 产品介绍 案件登记信息 问题 . .解决方法 将非结构化的数据转化为结构化的数据，利用这些数据和已经存在在数据仓库与中的结构化数据一起进行分析，辅助我们决策 不能直接采用现有的 BI工具进行分析，提取其中有用的信息，并且实现业务上对各种非结构化信息的需求 . 网站访问记录 电子邮件 留言信箱 短信文本 事件处理说明 调查问卷数据 客户投诉记录 文本分析 /文本挖掘 文本分析或文本挖掘覆盖如下内容 : 文档归类 clustering， 自动归类具有相似性的文档，文档聚类或者无监督归类 unsupervised categorization 自动文档分类 classfication 分类文档到预先定义好的类别中，有监督的归类 supervised categorization 信息抽取 Information extraction 从文档中抽取结构化的信息 ，辅助结构化数据进行分析与挖掘 信息提取 Information Extraction (IE) 实体或者关系的抽取 Entity & Relationship extraction 从 人员，组织，电话号码，电子邮件，网址，地址等 实体解析 Entity resolution George W. Bush mentioned in line 14 of doc 5 same as President Bush mentioned in line 10 of doc 15 语义识别 从文本中提取意见 Opinions, 观点 Reviews, 时间 Time, 事件 Events, 情绪 Sentiments, . 术语 抽取到的结构化数据 注解 Annotations 信息提取程序 注解器 Annotators 结构化的实体抽取种类 基于规则的实体抽取 Rule based 正则表达式模式抽取电话号码，身份证，网址，电子邮件地址，手机号码等 基于字典的实体抽取 List/dictionary based 采用公司的 LDAP 目录去查找相应的人名字，从产品介绍材料中抽取产品实体，从客服信息中提取 意义一致，但表述不一致的实体，如客户投诉信息中“信号不好”、“信号差”、“经常掉线”等表达的是同一信息 频繁模式搜索 抽取频繁出现的模式，基于频繁出现模式构建字典， 如从流失客户的客服记录中提取“信号差”、“费用高”、“服务不及时”等文本，以及这些频繁出现的模式之间的关联 复杂的方法 Advanced 自然语言处理 Natural Language Processing，机器学习 Machine learning，统计方法Statistical approaches 文本数据分析引擎 非结构化数据 结构化 数据 词频统计 规则查询 字典查找 文本挖掘 其他文本数据 结构化 数据 分析数据 UIMA是一个开放的，面向行业的 ,可扩展的文本分析开放平台 , 用于构建 /集成 /发布文本分析应用 . UIMA是一个免费的平台， InfoSphere Warehouse中采用 UIMA来进行实现文本分析中的信息抽取 为集成的文本分析模块定义一个通用的接口 ,使得不同分析方案和企业应用之间协同工作 提供 文本分析的 SDK ,用于构建，组织文本分析应用 , 利用现有的分析组件，开发新的，可重用的文本分析组件 UIMA: 一个新的内容处理和分析的标准 Unstructured Information Management Architecture IBM Internal Component Repository 80+ Analysis Components and 23+ UIMA-based systems/solutions E.g., Deep and Shallow Parsing深浅解析 , Categorization归类 , Summarization摘要 , Semantic Class Detection语义分类 , POS, English/Chinese/Japanese NE 实体解析 , Classifier Trainers分类 , Machine Translation机器翻译 , Video and Speech Analytics视频音频分析 , BioInformatics生物智能分析 基于 UIMA实现的产品 Lotus Workplace, Websphere Portal Server, OmniFind IBM 基于 UIMA 上的一些研究项目 Open-Domain Question Answering (ARDA/AQUAINT) Life Sciences/BioInformatics (Joint Program with Mayo Clinic, Sloan Kettering Cancer Center) Search and Categorization (IBM websites) Machine Translation (DARPA) Multi-Lingual/Multi-Modal Search (DARPA/TALES) Automatic Content Extraction (DARPA/ACE) Knowledge Integration and Knowledgebase Population (ARDA(DTO)/NIMD) Video Analysis (ARDA(DTO)/VACE, Marvel) Standard Analysis Component Plug-in Architecture in Streaming Analytic project Customer Relationship Management UIMA in IBM ， 2002年发布 文本分析辅助客户流失预测挖掘 Volumes of structured, well-organized demographic and transactional data Volumes of unorganized, unstructured data from call-center notes Volumes of unorganized, unstructured data from call-center notes 文本分析与挖掘 1. 字典查找 2. 频繁模式搜索 3. 正则表达式规则查找 4. 文档分类 文本分析辅助客户流失预测挖掘 文本分析提高客户流失预测模型的精度 2 2. 引入文本分析后模型的 lift 值增量 1 1. 传统客户流失预测模型的 lift 值 正则表达式规则抽取 regular expression 电话号码 (0086)21-23063185 网址： CIA book 数据集， 提取国家的地理数据，经纬度，面积等 正则表达式规则抽取 -规则定义 正则表达式规则抽取 -挖掘流程定义 字典查找 Dictionary lookup JK supermark公司，为了提高人员的 IT技能水平，从全球 500强企业的招聘网站， job description信息中提取目前最常用的 IT技能 字典查找 dictionary lookup字典定义 - C# , c#, C #, c # - C/C+, C, C+, c+, c +, C + - Database skills, Database, RBDMS, DB - DB2, DB/2, db/2, IBM DB2, IBM db2, db2 - Java, J2EE, j2ee, JSP, Java Server Pages - JavaScript, Javascript, javascript - Mac OS, MAC OS, MAC Os, Mac Os - MS SQL Server, Microsoft SQL Server - MySQL, MYSQL, MySql - Network, TCP/IP, TCP, IP, DNS - Oracle, oracle - Others OS, Solaris - Perl - PL/SQL, PL, SQL, Sql, sql - Python - Script, scripting languages, scripting, bash, ch, Ch, csh, sh, shell, tcsh - Unix/Linux, Unix, Linux, Debian, FreeBSD, GNU, gnu, GNU/Linux, Madriva, RedHat,AIX - Visual Basic, VB, VisualBasic - Web Services, SOA, WSDL, CORBA, SOAP - Web skills, Ajax, ajax, ASP, asp, html, HTML, php, PHP, XML, XSLT - Windows 字典查找 dictionary lookup挖掘流程构建 37 年龄 性别 疼痛类型 血压 胆固醇 心电图 心率 是否绞痛 疾病史 不良习惯 家族史 完整的例子：贝叶斯 /文本分析辅助病人心脏病诊断 38 Volumes of structured, well-organized demographic and transactional data 来自于电子病历中的非结构化的数据 3-5年吸烟史，过度饮酒 缺乏锻炼，轻微肥胖 呼吸急促，曾经有过糖尿病 其他不良习惯 。 。 。 贝叶斯 /文本分析辅助病人心脏病诊断 语义文本分析方法 : 1. 语义分析 2. 频繁模式搜索 3. 字典查找 贝叶斯 /文本分析辅助病人心脏病诊断 文本分析辅助数据挖掘 频繁模式查找 Smokes and smokes for the keyword smoke 语义分析 obesity, adiposity, adiposeness and alimentary obesity 文本分析辅助数据挖掘 构建字典 文本分析辅助数据挖掘 字典查找 构建挖掘模型 采用文本分析后的模型精度比较 基于文本挖掘结果的关联规则挖掘 highlighted factor physical inactivity increases the mortality risk by 1.82 or 82%. Furthermore, you learn that the factor was found with 23.75% of the patients, and 78.08% of these patients actually died. 分析结果在 Cognos中的展现 -心脏病风险报告 根据分析结果，确定是否需要做进一步的诊疗 数据挖掘实施方法论 挖掘 -技术 or艺术 ? 方法论 数据挖掘方法论 实际工程中指导项目实施的方法 每一阶段的目标、采用方法、输出结果形式 人员安排、方法、时间进度安排等 实施数据挖掘方法论所要达到的目的 针对不同行业的数据挖掘方法论是挖掘项目开展的标准和指南指南 控制数据挖掘工程项目中的风险，确保项目的成功实施，提供了保障 CRISP-DM 方法论 SEMMA 数据挖掘方法论 目前业界公认的两种方法论： /polls/2004/data_mining_methodology.htm kdnuggets数据挖掘方法论的问卷调查： 数据挖掘方法论 Fayyad 的数据挖掘多阶段处理过程模型 数据挖掘方法论 由 SPSS、 NCR、 Daimler-Benz在 1996年制定 CRISP-DM是当今数据挖掘业界通用流行的标准之一 它强调数据挖掘在商业中的应用，解决商业中存在的问题，而不是 把数据挖掘局限在研究领域 CRISP-DM(CRoss-Industry Standard Process Data Mining) Chapman,1996 数据挖掘方法论 Data Understanding Data Preparation Modelling Data Data Data Business Understanding Deployment Evaluation Data Unde standing Data Preparation Mode ing Deployment Evaluation usinessUnderstanding NCR,ISL, Daimler-Benz, OHRA CRISP-DM CRoss-Industry Standard Process-Data Mining 数据挖掘方法论 SEMMA数据挖掘系统模型 SAS,1998 Sample-数据取样 Explore-数据特征探索、分析和预处理 Modify-数据调整和技术选择 Model-模型的研发和知识的发现 Assess-模型和知识的综合解释和评价 数据挖掘方法论 数据挖掘方法论 IBM 闭环数据挖掘 数据仓库 选择的 数据 选择 转换 挖掘 理解 转换后的数据 可理解的信息 抽取的信息 一个过程，从大型数据库中抽取以前没有发现，可理解的，可操作的信息，用以支持企业关键性决策。 数据挖掘 -技术 or 艺术 算法及其展望 常见的挖掘算法 Y轴X 轴过拟合 局部极值 孤立点影响 局部极值 过拟合 欠学习 “维度灾难“ “黑箱模型” 传统的数据挖掘方法面临的挑战 传统算法的弊端的根源： 传统的数据挖掘算法都是以经典统计学中的大数定理为基础，算法的结论都是在训练样本趋于无穷的假设下得到的 , 然而在实际中训练样本总是有限。 传统的算法 (如神经网络等）往往会出现如下弊端： 过拟合用一个复杂的模型代表一个简单的规律； 局部极值得到的结果不是全局最优； 推广能力差训练时效果好，预测时精度差； Support Vector Machine,最早由 Vapnik教授 1995年提出，最初用于求解两类样本的最优分类面；后被应用与分类、回归、聚类等数据挖掘领域。 同时控制模型的结构风险（复杂度）和经验风险（准确度），避免过学习。 211m i n | | | |2s . t . ( ) 1 , 1 , 2 , . . . , .li ii i iCy b i l wwx结构风险 经验风险 两类样本最优分类 面 数据挖掘中的新方法 SVM具有以下独有的特点： 解决局部极值问题求解二次优化，得到全局最优解， 解决非线性难题将复杂的非线性问题转变为线性求解； 解决小样本学习难题基于小样本统计学习理论； 解决海量数据难题理论上复杂度与样本维数无关； 解决欠学习、过学习难题同时优化算法复杂性和学习精度； 坚实的数学基础， 良好的推广能力， 处理海量数据的高效率， 非常适合用于海量数据挖掘中， 数据挖掘中一个热点。 数据挖掘中的新方法 两个有价值的方向： SVM聚类、 SVM规则挖掘。 用于发现任意空间分布形状的类别 自动决定类别数 高维数据的高速聚类 避免类别之间相互重叠 数据挖掘中的新方法 SVM聚类 SVM关联规则挖掘 消除孤立点对关联规则的影响 处理海量数据非常有效 数据挖掘中的新方法 核系列方法 (Kernel methods)：传统的方法是将高维的问题映射到低维的空间，但是Kernel method,刚好相反。 事实上 SVM就是 kernel method中的一种，还有很多种核方法 核主元分析 Kernel PCA-用于数据挖掘中的数据预处理中； 核逻辑回归 Kernel Logistic Regression-用于海量数据的回归分析 核聚类分析 Kernel clustering; 核（偏）最小二乘 Kernel Least Squares . 数据挖掘中的新方法 但一切不是绝对的！ 数据挖掘 -技术 or艺术 ? 挖掘调优 数据挖掘项目的调优 数据挖掘项目的成功需要不断地优化挖掘流程 营销流程调优 挖掘建模流程调优 数据准备流程调优 数据挖掘项目的调优 营销流程的调优 目标客户群的调整 套餐定价 /组合的更改 更改营销渠道与流程 根据不同生活习惯的人群选择外呼的时段 挖掘建模流程调优 挖掘建模数据集的划分 合理的数据采样、分层采样、随即采样、顺序采样，处理小概率事件 训练集、测试集、校验集合 模型训练数据、测试数据采用相同的尺度变换 挖掘建模流程调优 算法调优 根据数据分布特性选择不同的算法 避免盲目追求算法精度、选择合适学习率、避免模型过拟合 模型校验集用于最大化模型泛化能力 不平衡样本的算法及类别权值确定，必要时改变挖掘模式 挖掘建模流程调优 两个定理 “奥卡姆剃刀”定理简单就是最好的 “没有免费午餐”定理，“丑小鸭”定理 没有一种算法会在任何方面都占优 分群过程中的建模流程调优 群体数目确定 群体数目奇数为佳，一般为 5-9个左右，加减 2进行调整 如需减少群体数目，加入总量变量，减少分量变量，减少相似度阈值 增加群体数目，减少总量变量，增加分量变量，加大相似度阈值 如果某类包含个体数量超过 50，考虑进行迭代分群 分群过程中的建模流程调优 输入变量的调整 变量取值大部分为 0或其他固定值的变量不建议使用 多个聪明变量之间相互重叠导致类别相互重叠时，增加变量个数 排除业务上有重叠的变量，如夜间通话时长和打折时段通话时长 分群过程中的建模流程调优 算法调优 K-Means 孤立点敏感、群体重叠、差别大时效果差；局部最优；可扩展性好，大数据集 Kohonan 结果对样本次序有关、初始参数值的选择 DBSCAN 可以发现任意形状边界，处理孤立点、需要更多的内存、 I/O消耗 Distribution-Based Cluster 可以自动发现群体个数，孤立点不敏感 Neural Cluster 有时候会陷入局部最优解 SVC可以自动确定群体个数，任意形状边界群，复杂性和字段数无关 数据准备流程调优 数据调优增加数据质量 数据探索：发现数据中的异常点，了解数据分别模式 处理缺失值，属性变换，离散值变连续值 解决数据分布不一致的问题， 0-1变换、 Z变换 从业务角度看，无意义的变量不建议做挖掘模型的输入变量 数据准备流程调优 变量之间的相关性 发现输入样本的变量之间的相关性 变量之间耦合性强的变量不建议选取 数据准备流程调优 设计派生变量 尽量反映动态的特性，加入时长、趋势、占比、集中度 派生变量要适当，总量和分量、占比变量不宜同时出现 1 取景（寻找业务问题寻找业务增长空间） 2 构建画面的背景（定义业务问题） 4 根据天气和光线的情况调整曝光程度等（调整建模方法和参数） 5 冲洗选择一张最佳的照片（选择一个最佳的模型） 6 后期美化处理（业务含义解释和建议） 7 装裱起来，挂在该挂的位置例如床边，书桌或者客厅什么的（模 型部署，用于改善实际的业务） 数据挖掘 -技术 or艺术 数据挖掘 -技术 or艺术 更多的参考： (关于 PMML) (关于 CRISP-DM) /sigs/sigkdd(关于 KDD) (数据挖掘论坛） (Kernel Method与 SVM) 数据挖掘技巧 会找：发现问题，以及解决问题的数据挖掘方法 会用：处理数据，操作软件 会说：对挖掘结果给出解释分析 会试：需要不断的调优，改进挖掘效果 电信数据挖掘应用 电信运营商面临巨大客户群，每个客户需求不一样； “ 一对一 ” 营销模式； 最大化组间差异性，最小化组内差异性； 了解客户的构成，发现客户的需求，提高营销的针对性。 客户分群 客户流失预测模型 客户流失预测背景 客户流失率高， 移动每月 2.2%, 每年损失将近 27客户； 吸引新客户成本高，吸引新客户 /保留现有客户 6-8倍。