数据挖掘在商务智能课件

1、数据挖掘在商务智能决策与CRM中的应用北京科技大学杨炳儒 教授数据挖掘（知识发现）新进展数据挖掘在商务智能决策中的应用数据挖掘在CRM中的应用第一部分数据挖掘（知识发现）新进展五、研究动态与趋向一、数据挖掘(知识发现)概念内涵与外延的发展二、挖掘知识类型的扩展三、挖掘技术方法的扩展四、应用的扩展一、数据挖掘(知识发现)概念内涵与外延的发展结构化数据挖掘DM(KDD)多媒体数据构成的大型异质异构数据库，称为复杂数据类型挖掘CDM动态(在线)-分布式-并行系统Web:1、以文本为主的页面内容挖掘2、以客户访问信息为主3、以Web结构为主多媒体：音频、视频、图像、图形、时序、空间等基于知识库的知识发

2、现KDK知识发现的新定义： 在现实世界中，针对客观存在的具有海量性、不确定性、不完全性的量的、质的、复杂形态的知识源，挖掘其中潜在的、先前未知的、用户感兴趣的、最终可被用户理解的模式的非平凡提取过程。二、挖掘知识类型的扩展扩展扩展关联规则、分类、聚类、相似模式、混沌模式、时序模式、预测等文本、客户访问路径、音频、视频生物信息挖掘、游戏信息挖掘、XML文档、多语言文本挖掘、图表数据库、分子结构数据库等三、挖掘技术方法的扩展扩展统计学（数理统计）、证据理论、机器学习、神经网络、粗糙集、近似推理、小波、分形、概念格、概念树提升、决策树等Hilbert空间、信息融合与神经网络结合、距离测度函数、数据立

3、方体、隐马尔可夫模型、信息熵、主观Bayes方法、信息扩散等五、研究动态与趋向 目前国际上KDD的研究主要是以知识发现的任务描述、知识评价与知识表示为主线，有效的知识发现算法为中心。这是在相当长的一段时间内保持的主流与基调。 国外研究动态2003年8月27日在华盛顿召开了第九届知识发现与数据挖掘国际会议，参与讨论的专家一致认为： 数据挖掘正面临着巨大的机遇和挑战。其中U. Fayyad认为从科学发展的长远来看,最大的绊脚石是基础理论的缺乏以及所面临的问题和挑战的清晰明白的阐述。 他认为对于我们要做什么，几乎没有理论甚至工程实践来指导：在今天它仍然是” 不为人知的艺术”。 我们需要理论来指导我们

4、要做什么以及要如何作。这些理论能够促使工程解决方法的出现，这样我们也可以将我们的 “手艺”更有效的教给其他人。而这种形势与从业者以及对应用感兴趣的人们的巨大的热情同时存在，这些人来自不同的领域，但是没有科学根基以及持续的学术发展，本领域不可能得到发展与巩固。发展的基本特征（1）原有理论方法的深化与拓展 如： 1）网络数据挖掘；流数据;混合数据。 2）基于神经网络的的时序数据、相似序列、快速挖掘算法的研究等。 3）粗糙集与支持向量机模型与方法的扩展。 4）凸分析与数据包络分析方法的运用。 5）增强（强化）学习模型与方法的运用。（2）复杂类型（系统）数据挖掘成为热点 如：1） 生物信息挖掘。 Kn

5、owledge Discovery for Promoter Structure Analysis Study of Motif Correlation in Proteins by Data Mining （用数据挖掘技术进行蛋白质中启动子的结构分析） 2）半结构化、非结构化等复杂类型数据挖掘。 A Method for Mining Data of Sequential Images- Rebuilding of Gray (Position) time Function on Arbitrary Direction Lines （基于图表数据库知识发现系统的概念等级聚类 ） 3）分布式数

6、据挖掘系统。 4）动态、在线数据挖掘系统。 5）流数据、混合数据与不完备数据挖掘系统。（3）新技术与方法的引入（其它学科领域的渗透） 如：人工免疫系统方法；协同验算方法;模拟退火算法；保角变换方法；黎曼几何方法等。（4）理论融合交叉性研究 如：基于RoughSet的证据推理算法；模糊关系数据模型与粗集结合算法等。认知心理学、认知物理学、认知生物学等。（5）基础理论研究 内在机理研究；自主知识发现框架；DM=数据集+似然关系+挖掘算法等。第二部分 数据挖掘在商务智能决策中的应用一、基于信息挖掘的新型智能决策支持系统二、商务部国际商务中心项目简介三、软件系统实现整体说明其理论基础是我们提出的基于双

7、库协同机制的知识发现系统KDD*和WEB数据挖掘过程，它以多个知识源的知识融合、多抽象级与不同知识层次的结构，以及使数据库、知识库、方法库、模型库、文本库、日志库六库协同运作为特征，形成了极其丰富的动态知识库系统与相应的集成推理机制，为解决决策系统构造中的核心技术提供了一条有效的途径，也从根本上提高了决策支持系统的实用化程度。 系统的核心是“源于信息的知识发现KDBI”（Knowledge Discovery Based on Information），它在模块实现上主要包含三个部分：基于双库协同机制的知识发现子系统（KDD*）、基于推理机制的知识发现子系统（KDRM）和基于WEB挖掘的知识发

8、现子系统（KDWM）。可粗略地表示为：KDBI KDD*+KDRM+KDWM。 首先，六库（数据库、知识库、方法库、模型库、文本库、日志库）在多库管理子系统的管理下协同运作。知识获取子系统可以从领域专家那里获取知识，也可以获取书本中的知识，并将这些知识存储在知识库中。基于信息挖掘的新型智能决策支持系统。其次，知识库中的知识可以直接纳入综合知识库，也可以被基于双库协同机制的知识发现（KDD*）子系统利用，在以属性为基础的知识库建库原则下，通过搜索知识库中知识结点的不关联态，产生“创见意向”，发现短缺知识。再次，基于推理机制的知识发现子系统（KDRM）,包括用一种或多种知识表示方法描述的已知问题及

9、其解法的描述集合的知识库和需要求解的问题集；通过Fuzzy推理、演绎推理、广义综合归纳推理和基于案例的推理等，构造规则集和发现新知识。来自WEB的信息首先被存储在文本库和日志库中，并由基于WEB的知识发现子系统挖掘关于访问信息、文本和结构方面的知识，并将挖掘结果存入WEB知识库。 二、商务部国际商务中心项目简介在与国家商务部国际商务中心的合作中，构造了基于我们专利技术的“面向加工贸易基于竞争情报的智能决策支持系统” 。针对外贸加工中国内采购与供应链系统进行深入分析，通过数据挖掘、WEB挖掘、案例推理与OLAP等技术，挖掘出一些平时很难靠直观或凭借经验发现的规则，发现了若干新的知识。对领导战略决

10、策与企业经营决策管理有一定的参考价值。 利用商务部国际商务中心长期积累的对外加工贸易的数据，充分运用我们的创新性信息处理技术和数据挖掘技术，开展研发工作。目前已通过验收，并将对国家的对外贸易和商务活动产生较大影响。概括起来有如下几点： 1）为对外贸易企业“请进来，走出去”提供决策支持 ；2）为领导关注的热点问题，提供决策支持；3）为外商投资提供咨询指导；4）为国家和地方招商引资提供科学的建议。 项目主页应用窗口OLAP运行环境与工具服务器端： 硬件：性能较好的服务器、网络链接 软件：ORACLE数据库服务器及数据、BRIO INTELLIGENCE SERVER、BRIO CLIENT DES

11、IGNER客户端： 硬件：普通PC、网卡、INTERNET 网络链接 软件：BRIO CLIENT EXPLORER、通用浏览器2. KDD*问题域计算模式与开发工具总体设计流程图KDD*问题域说明预 想： 就采购价值链方面内容，展开数据挖掘，重点 对国内采购现状，抽取相关关联规则，提供领 导决策信息。方法特征： 智能系统内在的使用了人工智能方法与软 计算方法，知识发现方法寻求新颖的知识 类型，因而所发现的知识与数据状况密切 相关。在未作实际挖掘前难以确定其明确 主题。将提交结果：就目前挖掘情况看，领导决策方面与企业经 营决策方面的内容都可能发现较有价值得知 识。因而，须在实际研发过程中，逐步

12、筛选、 调试、聚焦。KDD*计算模式与开发工具计算模式：客户机/服务器模式运行环境与开发工具 客户端：windows平台，DELPH，ODBC 服务器端：商务部现有环境和ORACLE数据库 系统 KDD*总体设计流程图数据清理：主要完成数据源的选取、数据清洗、去噪声以及填补空缺数据等等，也就是要为挖掘准为数据，确切的说就是为数据离散做准备。主题管理：主要是针对挖掘的目标不同而设立不同的主题，这部分主要实现主题的定义、修改、删除以及主题的选择等功能，在主题的定义中要完成与该主题相关的数据，也就是要在这里确定挖掘的方向。属性值离散化：建立主题以后根据所选择的数据确定语言变量以及所对应的语言变量值，

13、同时对所选定的数据根据语言变量和语言变量值进行离散形成挖掘数据库，为下面的挖掘工作做准备。知识库管理：分为基础知识库管理和衍生知识库管理两个部分，其中基础知识库包括基础知识的录入、修改、删除等基本的维护工作；衍生知识库包括挖掘出的知识的输入，只是的展示等工作，这部分涉及到挖掘及知识的展示。 数据挖掘：根据数据产生规则，分为两个部分用户子定义挖掘和系统自动挖掘（启发式协调器）。用户子定义挖掘是根据用户感兴趣的内容进行聚焦挖掘，启发式挖掘是根据基础知识库，针对短缺知识进行挖掘。知识评价：对挖掘出的规则进行评价决定是否存入到衍生知识库中，首先是通过中断协调器进行评价然后再经过领域专家进行评价来决定是

14、否存入衍生知识库。 附：与此相应的，我们还研发了用于智能决策的“分布式数据资源集成系统”，给出了统一数据访问接口、快速全文检索、文本分类、文本数字化、个性化信息推送和信息发布等一揽子整体解决方案。第三部分 数据挖掘在CRM中的应用一、数据挖掘对CRM的影响二、在CRM中数据挖掘常用技术三、解决实际商业问题四、建立解决方案的关键一、数据挖掘对CRM的影响 21世纪的商业竞争不仅取决于对市场的反应速度，还取决于对本行业新知识的获取、积累和有效利用的能力。实际上效率不再是商场上取胜的唯一关键。在这个新的启用web的电子商务经济时代，灵活性和敏感性也是在竞争中取胜的重要因素。能够提供客户资源及相关数据

15、分析的客户关系管理系统（Customer Relationship Management，CRM）就成为焦点。作为专门管理企业前台的客户关系管理为企业提供了一个收集、分析和利用各种客户信息的系统，帮助企业充分利用其客户管理资源，也为企业在电子商务时代从容自如地面对客户提供了科学手段和方法。 客户关系管理(CRM)指的是企业与其客户的交流方式，它实施于企业的市场营销、销售、服务与技术支持等与客户有关的领域。 它是一种管理理念，又是一种旨在改善企业与客户之间关系的新型管理机制，也是一种管理软件和技术，它将最佳的商业实践与数据挖掘、数据仓库、一对一营销、销售自动化以及其它信息技术紧密结合在一起，为企

16、业的销售、客户服务和决策支持等领域提供了一个业务自动化的解决方案，使企业有了一个基于电子商务的面对客户的前沿，从而顺利实现由传统企业模式到以电子商务为基础的现代企业模式的转化。CRM的特征 一对一营销 高度集成的交流渠道 统一共享的信息资源 商业智能化的数据分析和处理 对基于Web的功能的支持CRM体系结构图如下所示：业务规则和元数据管理工作流管理联系历史交易历史客户和帐务数据仓库外部数据ETL工具（抽取转换装载工具）行销数据集市活动管理分析数据集市报表数据集市活动管理数据挖掘分析数据源行销数据存储决策支持应用特别查询和报表直接邮寄（广告）联系管理呼叫中心销售力量客服中心Internet电子邮

17、件其他信息渠道CRM体系结构图 在这个体系结构图中，有很多用于产生和使用信息的客户接触点和发送渠道。经过集成和分析信息，可以完整、正确地得出客户的大概情况-他们的喜好、需求、抱怨、和使他们成为公司产品和服务网的终身会员的特性。最后数据仓库环境下所有的部件都将被部署到适当的位置，并提供多种用于集成和分析的重要功能。 从较高的层次看，CRM系统的体系结构很像一 栋房子： 客户接触点是根基 数据仓库是地基客户利益性是隅石数据挖掘是蓝图Web应用是顶石 这些技术结合在一起便构成了完整的CRM系统。二、在CRM中数据挖掘常用技术比较典型的数据挖掘方法 关联分析 序列模式分析 分类分析 聚类分析 决策树

18、神经元网络 规则归纳三、解决实际商业问题客户盈利分析新客户的获取交叉营销客户的保持客户的细分客户盈利分析客户盈利能力分析是数据挖掘的基础，也是数据挖掘是否用于正确方向的一个指标。一般情况下，在顾客身上的花费越多，他们保持更高的忠诚度和购买更多产品的可能性越大。保持客户的忠诚度将对客户盈利能力产生极深的影响。数据挖掘技术可以用来预测在不同市场活动情况下的客户盈利能力；可以预测未来的盈利能力；预测客户盈利能力的变化。新客户的获取在大多数商业领域中，业务发展的主要指标里包括新客户的获取能力。新客户的获取包括发现那些对你的产品不了解的客户，也包括以前接受你的竞争对手服务的顾客。数据挖掘技术可以帮助我们

19、对潜在客户群进行分析，并增加市场推广活动产生的反馈率。交叉营销交叉营销是指你向现有的客户提供新的产品和服务的营销过程。公司与其客户之间的商业关系是一种持续的不断发展的关系，在这种关系建立起来以后，可以有很多种方法来不断改善这种关系。双方的目标是达到双赢的结果，客户获益是由于他们得到了更好更贴切的服务质量，商家则因为增加销售量获利。客户的保持随着行业的竞争越来越激烈和获得一个新客户的开支愈来愈大，保持原有客户的工作愈来愈有价值。使用数据挖掘技术可以用来预测哪些客户具有高风险转移的可能性。例如使用分类回归树(CART)来生成各种预测模型，可以对客户流失原因有深入的了解。客户的细分细分是指将一个大的消费群体划分成一个个细分群的动作，同属于一个细分群的消费者彼此相似，而隶属于不同细分群的消费者被视为不同。细分的目的可以让管理者从一个比较高的层次上“鸟瞰”整个数据库中的数据，从而可以用不同的方法对待处于不同细分群众的客户，提供相对个性化的服务。可以用数据挖掘中的决策树或者聚类的方法来实现细分。四、建立解决方案的关键建立商业案例判断是否用数据挖掘技术在CRM中应用数据挖掘系统步骤优化CRM建立商业案例针对数据挖掘创建商业案例的第一步就是找到可以采