（计算机科学与技术专业论文）数据仓库及其挖掘技术在企业crm中的应用研究.pdf

西：t l t 业大学硕士论文 摘要 摘要 企业的信息化和w e b 技术的广泛应用，导致海量数据充斥在各个企业的现有系 统中。如何有效利用这些资源，发现知识已经成为企业研究数据应用的热点。j 下是 在这样的背景下，客户关系管理( c r m ) 系统应运而生。数据仓库及其挖掘技术能够创 建预测客户行为的模型，帮助用户从大量的数据中抽取有用的信息，更好的支持企 业决策者的工作。 本文重点研究了数据仓库及其挖掘技术在医疗生产企业c r t v l 的应用。应用了一 种利用四个数据存储部件，构建医疗生产企业数据仓库的方法。该方法核心在于创 建数据集市的过程，数据集市更精练，更加面向主题。由于整个企业数据规模很大， 真正将它们集中到一个数据库中几乎是不可能的。所以大多系统都引入了数据集市 的概念。组建数据集市的优势在于，建设周期上的缩短和费用上的大大降低。使用 数据集市后，设计、抽取、转换、加载和查询等环节变得简单和清晰。然而，如何 确保多个数据集市的数据同步构成难点。作者通过对同一基础数据仓库的数据进行 复制、分布或聚合操作，可以得到数据集市，并且保证了数据集市数据的一致性。 为了验证本文提出的理论与方法，作者设计了一个应用于医疗生产型企业的基 于数据仓库的c r m 系统。为了对医疗生产企业客户信息进行分析和预测，作者模拟 了一个多维数据仓库的建立，并在构建的数据仓库之上，提出了用一神改进的数据 挖掘关联规则算法来预测c r m 系统中决策者关心的各个因素之间的关联关系，帮助 医疗企业决策部门做出决策。 在项目开发过程中，作者主要负责创建企业级数据仓库的工作。 关键词：客户关系管理，数据仓库，数据挖掘，3 s p ，j 2 e e ，关联规则算法 西北t 业大学硕上论文 a b 8 t r a c t 姒sa n dw e gt e c h n o l o g yi sw i d e l yu s e d t h isb r i n g sd a t af l o o di na l1 k i n do fs y s t e m h o wt oe f f e c t iv e l yu s et h e s ec o m p a n yd a t ai sb e e o m i n gt h e h o ts p o ti ni ，fs t u d yf i e l d o nt h a tb a c k g r o u n dt h et h e o r yo fc r me m e r g e d d a t aw a r e h o u s ea n dd a t am i n i n ga r eu s e f u li nc r e a t i n gt h ep r e d i c t a b l e m o d e lo fac o m p a n y t h em o d e lsa r eu s e dt oe x t r a c tu s e f u lc o m p a n yd a t aa n d s u p p o r tm a n a g e m e n ts t r a t e g y i n t h i sd is s e r t a t i o nw e f o c u s e do n t h ep r o c e s so f a p p l y i n gd a t a w a r e h o u s e a n dd a t am i n i n gt e c h n o l o g yi nf u l f i l l i n gc r mo fam e d i c a le q u i p m e n tc o m p a n y w eg a v eam e t h o dc a lle df o u rd a t as t o r a g ea r e at oc o n s t r u c tw a r e h o u s eo ft h e m e d ic a te q u i p m e n tc o m p a n y t h ec o r eo ft h em e t h o dist oc o n s t r u c td a t am a r k e t d a t am a r k e tisak i n do fs i m p l i f i e dm i n i d a t aw a r e h o u s e i ti sm o r e s u b j e c t o r i e n t e da n dc o n c r e t e i nt h ep r o c e s so fc o n s t r u c t i n gd a t em a r k e t ， w ea p p li e daw a yt og u a r a n t e et h ed a t as a m e w ed e s i g n e dac r ms y s t e mt ov e r i f y t h et h e o r yw ed i s c u s s e d w ec o n s t r u c t e dam u l t i d i m e n s i o nd a t aw a r e h o u s ei n o r d e rt od os o m ep r e d i c t i o nw o r kw i t hc u s t o m e r sh i s t o r yd a t a o nt h eh a s i s o ft h ew a r e h o u s ew es t u d i e dac l a s s i ca l g o r it h mo fd a t am i n i n g d u r i n gt h e p r o c e s so ft h ep r o j e c t ，1w a sr e s p o n s i b l ef o rt h ec o n s t r u c t i n go fw a r e h o u s e k e yw o r d s ：c r m ，d a t aw a r e h o u s e ，d a t am i n i n g ，j 2 e e i i 西北工业大学硕上论文 第一章概述 第一章概述 1 1 课题背景 1 1 1 客户关系管理 营销学中有一个理论：企业8 0 的利润来自2 0 的客户，而发展新客户所需费用 是维持老客户的6 8 倍。如今，企业都懂得这个道理，纷纷都声明“要把最好的服务 提供给最有价值的客户”。然而，最有价值的客户在哪里? 如何把握新老顾客? 如何 进一步提升客户价值? c r m 系统可以帮助企业解决这些问题，对不同类型的客户采 取不同的战略，更快地适应市场变化。 c r m 软件或客户关系管理系统，旨在帮助企业更好地管理客户关系。并对如何管 理客户关系的问题，提供正确的软件解决方案。一个c r m 系统实例，必须建立在详细 的客户信息基础之上。企业管理人员和销售人员正是依据客户的这些需求信息，为客 户提供服务以满足客户的需求。 客户关系管理可以看作是一套方法，用于为更好的管理客户关系提供帮助和决 策。c r m 不只是单一的解决方案，也不只是技术解决方案，在深层次上属于企业的 转换哲学。这种革新将对企业产生深远的影响，c r m 包括了所有与客户相关的业务流 程，如：销售，市场，服务等。客户关系是所有事务的推动力。要建立一个有效的c r m 系统，其解决方案应该从以客户为中心开始入手。c r m 解决方案的驱动力是对客户数 据有着最新、最准确和最全面的了解。 1 1 2 客户关系管理的技术与管理支持需求 随着计算机技术的进步和发展，信息和数据处理技术很快从数据处理系统发展 到管理系统，现在已发展到决策支持系统。决策支持系统是以日常业务处理系统的 数据为基础，利用数学的或智能的方法，对业务数据进行综合、分析，预测未来业 务的变化趋势，在重大问题的决策上，为企业领导提供决策帮助。随着市场竞争的加 剧和市场影响因素的日益复杂化，企业决策解决方案是不能冒然地实施的，不能仅凭 着企业职能部门的“直觉”行动，而要在仔细分析所有信息的基础上进行。这需要 数据仓库及其数据挖掘技术的有力支持。 c r m 解决方案不只是一个技术问题，在实施c r m 解决方案时要做好流程重组。要 积极重新设计企业的组织架构和流程，以确保该技术可起到推动和改善企业流程的 作用。要使建立的c r m 系统真正产生实效，还必须建立一个高效的、快速反应的、 科学决策的、以客户为中心的组织架构。当面对一个现有的企业组织架构时，可能 需要运用b p r ( 业务流程重组) 的思想。 西北工业大学硕七论文第一章概述 i 2 课题内容和意义 通过建立一个单一集中管理的数据仓库，企业的所有部门资源共享。该库包括 了企业要用到的所有主题域的内容，包括了生产，决策，销售，管理的全过程。对 企业客户的所有资料也包含其中，我们可以通过对每个客户关系的有效了解( 包括 正面和负面体验) ，形成对每个客户进行个性化管理，达到一对一提供服务的目的。 通过单一一个企业的视图，挖掘与每个客户进行沟通的更多机会，提高市场决策的 响应率，节约成本。 现代企业的发展出现了许多复杂的特征，企业c r m 系统必须满足以下的要求： 1 能够跨越区域障碍 既要求提供i n t e r n e t 模式的网络应用，该应用方式是利用现有的域名资源， 采用主机托管的方法，让处于全国各地的员工只要登陆内部网，就可以在同一平台 上办公，共享客户信息和业务的进展情况，从而实现跨越区域的一体办公，这一方 案需要b s 结构。 2 信息资源统一整合 将原来分散在企业数据库中的生产信息、客户信息、业务信息等进行整合，建 立统一的数据仓库，各办事处和本部的所有数据信息建立在同一个数据库中，整合 了生产、客户、销售、市场等方面数据信息。 3 构建业务管理平台 让需要多人、多部门协调完成的工作在同一个系统平台中实现，让主管人员能 够及时了解各个办事处和部门人员任务的执行完成情况，对不同的工作任务及时进 行有效地调配。 c r m 系统是用来实现企业管理思路和管理模式的软件系统。面向客户，关心客 户，一切围绕客户为中心来运作。大多数成功的c r m 项目的前提都是将客户视为企 业最重要的资产。利用c r m 客户关系管理软件的分析挖掘，能更好地实现客户特征 分析，从而辨别出有价值客户，寻求到更多的商业机会。 企业c r m 系统，采用b s 架构的多层体系结构，多层体系结构是在客户层和数 据层之间加入中间层，把处理企业数据的应用逻辑，数据库管理及事务管理移到了 中间层。提高了系统的可扩展性，可重用性及可管理性。企业c r m 要求，在互联网 平台上全面支持移动办公、分支机构信息集成，多渠道收集信息。最大限度地实现 信息共享。对销售线索收集与认定、销售活动计划与执行、销售过程跟踪与控制、 知识共享和工作协调等资源和事件进行全过程管理。跨地区实现对客户关系的统一 管理，在整个企业内实现销售能力自动化、可控化。统一管理客户的详细信息，包 括对客户的财务和信用方面的评价。对客户的联系人、商业关系、需求特征和购买 2 西北工业人学硕上论义第一章概述 计划可以进行有效管理，并能记录和管理客户有关的附件。可以为客户指定客户经 理和服务经理，支持企业对重要客户实施客户经理制，有力支持一对一营销战略的 实施。以客户为主线，可以查询相关的销售机会和项目、销售合同、销售行动、费 用、接触和他方产品的情况，分析现状、潜在机会、关系水平、资金和人力等资源 投入的合理性。 小结： 介绍了当前客户关系管理在企业应用的状况。分析了与企业客户关系管理相关 的管理方面的内容，详细描述了现代企业所呈现出的一些新的特征和客户关系管理 c r m 的作用。引出了数据仓库和数据挖掘技术，为后面章节进一步研究做了铺垫。 系统将采用当前流行的w e b 技术，b s 的三层架构进行开发和设计。 西北工业人学硕士论文 第二章客户关系管理及相关技术 第二章客户关系管理及相关技术 2 1 客户关系管理概述 客户关系管理( c r m ) 从2 0 世纪9 0 年代末期丌始得到了很多企业的关注，随 着企业经营策略和电子商务发展的需要，许多软件商推出了以客户关系管理命名的 软件。客户关系管理( c u s t o m e rr e l a t i o n s h i pm a n a g e m e n t ，c r m ) 是一种商业战略， 它被设计用来通过提高客户的满意度、吸引新的客户、留住现有客户和更好的理解 客户来优化收入和利润。c r m 的成功实施可以改善业务流程，这些业务流程涉及销 售、市场推广和服务等各个领域和企业同客户进行交互的所有渠道：w e b 、e m a i l 、 电话、传真以及面对面的交流。 从由市场驱动的现代化经济发展开始，c r m 直是良好商业的核心。很大程 度上，由于i n t e r a c t 的快速发展，使得市场的变化步伐越来越快，而且竞争也日趋 激烈。拥有更有效地成功实施c r m 解决方案的工具显得越来越重要。c r m 解决方 案可以向企业提供对客户的全方位观察，而不管信息存放在什么地方。 2 1 1a 哟的框架层次 后 二、 q l = 抟 柚 谴 ：e 字 _ ， “ ，j t c r m 可以分为三个层次：流程操作、智能分析、客户互动如图2 1 所示 幸幸d 函 二二) 卜管理哩 审由审 避产m 巡咝峄 操作壕救的c r i l ij 均j 鼓势ll 够柚蹦务i l 匝亚团 瓜丽翮 ! ：奎塑l圆圆匦删吣| 一一。 j 图2 1c r m 系统的框架图 西北工业人学硕十论文 第一章客户关系管理及相关技术 流程操作：处于c r m 系统的操作层次，包括：服务自动化，销售自动化，营销 自动化，现场服务，移动服务。操作层涉及企业原有的e r p 系统，企业供应链； 智能分析：处于c r m 系统的分析层次，包括：企业数据仓库，o l a p 分析工具， 数据集市。 客户互动：处于c r m 直接面向客户提供服务层次，目前的主要互动手段包括： 呼叫中心，电话，网络电子邮件，传真及传统的接触方式。 2 1 2 企业内部锄i 的运作 c r m 是以客户为导向的战略，视客户为企业重要资产，不断关怀客户以提高 客户满意度和忠诚度为目的。c r m 是企业内部运作流程，是知识发现、市场计划、 客户互动、分析提炼的不断循环递进的过程。 业务流程循环参考图2 - 2 ： 2 1 3 客户关系管理系统 图2 - 2 业务流程图 客户关系管理c r m 系统是指通过建立客户数据库，企业可以记录下客户的购买 信息，出现的问题和客户的请求，并通过对这些信息的分析利用来更好地提高客户 服务的水准。传统的手段( 如：客户填写的反馈单) 来收集客户信息，利用客户关 系管理c r m 系统可以实时或接近实时地完成，还能够通过即时应答来追踪和分析这 些信息。 1 客户关系管理的目标 客户关系管理的目标包括三个方面： i ) 提高效率 通过采用信息技术，可以提高业务处理流程的自动化程度，实现企业范围内的 信息共享，提高企业员工的工作能力，并有效减少培训需求，使企业内部能更有效 西北t 业大学硕士论立第二章客户关系管理发相关技术 地运转。 2 ) 拓展市场 通过新的业务模型( 电话，传真，w e b ) 扩大企业经营活动范围，及时把握新 的市场机会，占领更多的市场份额。 3 ) 选择客户 客户可以自己选择喜欢的方式同企业进行交流，方便地获得信息，得到更好的 服务。客户满意度提高，可帮助企业保留更多的老客户，并更好地吸引新客户mj 。 2 客户关系管理的功能 c r m 概念的提出，主要是为了把它同传统的客户服务概念区分开来。把企业战 略从产品导向转向客户服务，从获取和利用客户信息的角度考察整个c r m 系统。功 能应当由以下几个部分构成： 1 ) 信息获取 c r m 系统的重点在于发现客户信息，而发现客户信息的前提是有效收集当前和 历史的客户信息。客户可以通过多种手段获取当前客户信息，包括电话，传真，w e b 等，并且客户数据记录必须被保存起来。 2 ) 数据挖掘 利用客户历史数据来根据主题建模。对于历史信息的发掘，需要利用相当多技 术手段。除了简单的统计分析和预测技术外，还需耍通过决策支持系统，专家系统 等进行潜在规则和规律的发掘，通过分析建立数学模型等方法归纳潜在的规律。在 这一过程中，简单的数据统计分析是不够的，这种分析手段只能反映数据的历史变 化趋势和对未来发展的简单预测，无法对其规律进行分析解释，也无法把当前发现 的规律转化为规则。 3 ) 信息的利用 通过对当前信息的分析，区分出目标客户，采用不同的营销手段，留住客户。 利用数据挖掘取得新客户，数据挖掘能辨别潜在客户群，并提高市场活动的响应率， 可以提高现有客户的价值，通过数据挖掘进行交叉营销。 3 客户关系管理系统分类 c r m 分为三种类型： 1 ) 运营型c r m ：主要帮助做流程控制，适合制造业，零售业。 2 ) 分析型c r m ：主要做数据挖掘，分析，适合金融，电信，证券行业。 3 ) 协作型c r m ：适用于那些侧重服务，和客户沟通频繁的企业。借助多渠道进 行沟通。 c r m 产品相当于一个完整的闭环。企业要真正全部实现以客户为中心的所有功 能，运营翟，分析型和协作型c r m 缺一不可，三者互相影响，相互作用j 。 西北t 业大学坝士论文 第二章客户关系管理及相关技术 注意：要建立实用的客户关系管理系统，我们必须知道所有的应用系统都是开 发商基于对某项业务的深刻理解而产生的，不同的行业有不同的商务逻辑，即便是 同一行业商业逻辑也会不同，因此，要根据客户的实际需求来做。一套完整和实用 的c r m 系统可以看作是：框架+ 具体商务逻辑。而框架部分则就是上面要求系统分 析员所做的工作：将通用的商务逻辑抽象出来做成组件，以备复用。 2 2 企业c r m 系统的组成 2 2 1 业务流程管理子系统 c r m 系统的核心是客户数据的管理。c r m 系统主要由市场管理( m a r k e t i n g ) 、销 售管理( s a l e s ) 、服务管理( s e r v i c e ) 、呼叫中心( c a l lc e n t e r ) 、电子商务 ( e b u s i h e s s ) 五部分组成。 1 市场管理 提供易于使用的界面与工具，使操作人员能够彻底的分析市场、客户，策划和 跟踪市场策略，分析竞争对手的市场策略等等，以便更加有效的拓展市场。在这个 模块中，通过客户资料中的诸如地域、消费层次，消费习惯与方式、潜在需求、忠 诚度、已购买产品列表等等有价值的信息来从不同的角度彻底的进行市场的策略分 析，同时还可以评估和跟踪目前已经进行或者正在进行的营销策略，以及通过对自 己和竞争对手的数据进行详细的分析，策划更加有效的销售策略。市场推销依赖于 正确的信息。依据这些信息来策划，有针对性的进行促销等活动 2 销售管理 管理用户信息、商业机会以及销售渠道等等各方面的内容，从而能够使销售人 员可以不受地域限制及时掌握资源以及企业的最新的价格信息，并可以向客户提供 最新的和最感兴趣的商品列表以及价格信息。本模块包括机会、账户、合同等的管 理，销售队伍组成、销售队伍成员以及资源重新调配的管理，有效跟踪销售业绩， 同时提供个体的销售方式与过程参考，灵活进行产品配置、报价、打折、生成销售 订单等。另外，本模块还应该和电子商务模块整合，以便达到多方位、多层次的销 售，同时减少销售成本。 3 服务管理 客户服务管理系统该模块主要对企业的售后服务进行管理，加快售后服务的响 应速度，提高客户满意度，对服务人员进行考核，加强对产品质量的监督。客户服 务系统最典型的代表就是呼叫中心环境，通常通过呼叫中心环境布署并且实现基于 电话的自助服务。它们使企业能够以更快的速度和更高的效率来满足其客户的独特 需求。由于在多数情况下，客户忠实度和是否能从该客户身上赢利取决于企业能否 提供优质的服务，因此，客户服务和支持对许多企业来说就变得十分关键。本模块 西北工业大学硕士论文 第二章客户关系管理及相关技术 通过动态建立知识库，使客户服务代表能够有效的提高服务质量，增加客户的满意 程度，并且捕捉和跟踪服务中出现的商业机会、产品质量信息、客户需求等等，并 能够适时的向客户建议其他的产品和服务。 4 呼叫中心 呼叫中心是实施c r m 应用系统的重要的组成部分，他实际上是将销售模块和服 务模块进行了一个高度的集成，使一般的业务代表就可以进行实时的销售和服务。 它通过管理账户、合同等等信息，并通过知识库的支持，就可以最大程度的满足客 户的多方面的需求。呼叫中心提供当今撮全面的计算机电话集成技术( c t i ) ，通过对 已拨号码识别服务( d n i s ) ，自动号吗识别( a n i ) ，交互式语音应答系统( i v r ) 得全面 支持，通过采用系统预制的计算机电话集成技术，可以在用户拨叫的过程中业务代 表已经可以获得客户的资料，就灵活的进行业务处理。 5 电子商务 电子商务模块是以上所有模块的一个逻辑集成，它提供了一个个性化、人性化、 高度集成以及易于使用的用户界面，在这个用户界面上客户可以进行几乎所有的需 求，诸如购买、付款、寻求服务支持、查询产品与服务目录、查询订单状态等等， 甚至可以与呼叫中心联系在一起，最大程度的满足客户需求。 2 2 2 系统管理子系统 对产品及分类、地理及市场区域、部门机构以及费用类型等系统的基本资料进 行管理。系统日志会把操作人员的敏感操作都记录下来。系统管理员基于角色管理 每个操作人员的操作权限，不仅可以控制每个操作通过单一一个集中管理的客户数 据库，这包括对每个客户关系的有效了解( 包括正面和负面体验) 而形成对每一个 人的个性化管理。通过单一一个企业的视图，你将能挖掘与每个客户进行沟通的更 多机会。集中管理的视图可以简化客户信息的管理。创建跨部门问对客户的统一视 图，可通过数据仓库技术和数据转换技术来实现。没有这一数据仓库，成功将不可 能。 2 2 3 数据分析及处理子系统 在c r m 客户关系管理的应用中，主要包括为实现商业决策分析进行的客户数据 仓库的建设、数据挖掘，知识库建设等工作。| 8 舂着电子商务肘代的到来，各行各业 业务操作流程的自动化，企业内产生了大量业务数据。这些数据和由此产生的信息 是企业的财富，它如实地记录着企业运作的本质状况，但是面对如此海量的数据， 迫使人们不断寻找新的工具，探索企业的运营规律，为商业决策提供有价值的知识， 使企业获得利润。能满足企业这迫切需求的强有力的工具就是数据挖掘。 西北工业大学硕十论文 第二章客户关系管理及相关技术 2 2 4 客户关系管理系统开发原则 开发c r m 应用系统的数据结构时定要以客户信息为核心，一方面是为企业提 供一个良好的易于操作的用户界面，另一方面是提高开发的可控性，减少开发成本 与风险。以客户信息为核心，所有的模块的内容都是围绕客户，这样也使得应用系 统的可拓展性大为提高，维护性加强。对于开发人员，尤其是系统分析员，所有的 功能内容对于他来说都是一种“插件”，各个模块功能之间的耦合性大为降低，很 显然会使整个的开发过程更加易于控制。基于客户对于c r m 应用系统的实际需求以 及考虑到系统的未来拓展性、可维护性，c r m 应用系统各个模块中除了呼叫中心可 以做成客户n 务器( c s ) 体系模式之外，其他模块都应该做成瘦客户端( 浏览器) 服务器( b s ) 模式。当前，信息技术正受到重视。c r m 系统利用w e b 技术采集客户数 据，利用数据挖掘技术分析客户为目标客户服务，为决策人员提供依据( 使用报表， 和图标的方式呈现给决策者) 。 2 3 数据仓库及其在c r m 中的应用 随着数据库技术的发展，数据采集技术的发展导致海量数据。数据不再匮乏， 我们希望能从大量数据储藏中分析出知识。数据仓库是c r m 取得成功的基础。c r m 充分利用数据仓库的分析结果，制定市场策略，产生市场机会以提高企业的利润。 2 3 1 数据仓库在蚀l 中主要作用 1 客户行为分析 分为两个方面：整体行为分析，群体行为分析。整体分析用于发现企业所有客 户的行为规律，企业的客户干差万别，客户在行为上可以划分为不同的群体，各个 群体有着明显的行为特征，按照客户的不同种类的行为，将客户划分为不同的群体。 通过行为分组，企业可以更好的理解客户，发现客户行为规律。 2 重点客户的发现 重点客户以下分类：潜在客户，交叉客户，增最销售和客户保持。 3 性能评估 根据客户行为分析，企业可以准确地制定市场策略和市场活动。然而，这些市 场活动是否能达到预定的目标，是改进市场策略和评价客户行为分组性能的重要依 据。重点客户的发现过程，也需要对其性能进行分析，这些都建立在客户对市场反 馈的基础上，通过数据仓库的数据清洁与集中过程，将客户对市场的反馈输入到数 据仓库中修正行为。 两北工业人学硕士论文第二章客户关系管理及相关技术 2 3 2 数据仓库的特点 数据仓库和数据挖掘技术是当今信息管理技术的主流，是促进企业正确管理与 决策的重要工具。数据仓库是以面向主题格式存储数据的，它可以从异构的数据源 定期抽取，转换和集成需要的数据，以便于最终用户的访问，和分析最终支持决策。 将数据仓库和其他数据存储系统严格区分开的特点： 1 面向主题的 数据仓库围绕一些主题，如客户，供应商，产品和销售组织等。数据仓库关注 决策者的数据建模与分析，而不是集中于日常操作和事物处理。数据仓库排除所有 与决策无关的数据，提供特定主题的简明视图。 2 集成的 通常由多个异构数据源组成：如，关系数据库，文本数据库和记录等。要使用 数据清理和数据集成技术，确保命名约定，编码结构，属性度量等的一致性。 3 时变的 数据存储从历史的角度提供信息。数据仓库中的关键结构，隐式或显式包含时 间元素。 4 非易失的 数据仓库总是物理的分离存放数据：这些数据源于操作环境下的应用数据。由 于这种分离，数据仓库不需要事务处理，恢复并发控制机制。通常只需要两种机制： 数据的初始装入和数据访问。 2 3 3 数据仓库的应用 数据仓库是存储数据的一种组织形式，它从传统数据库中获得原始数据，先按 辅助决策的主题要求形成当前基本数据层，再按综合决策的要求形成综合数据层( 又 可分为轻度综合层和高度综合层) 。随着时间的推移，由时间控制机制将当前基本数 据层转为历史数据层。数据仓库中逻辑结构数据由3 层到4 层数据组成，它们均由 元数据( m e t ad a t a ) 组织而成。数据仓库中数据的物理存储形式有多维数据库组织 形式和基于关系数据库组织形式( 由关系型事实表和维表组成) 。 数据仓库层存储不更新的原始数据，此外一些导出数据也在此存放。数据的部 门层几乎只存放导出数据。在数据个体层中完成大多数启发式分析所有部门的数据 源都是数据仓库。部门层常被称为“数据集市层”、0lap 层或“多维dbms ” 层。最后的数据层是个体层。个体层数据常常是暂时的、小规模的。在个体层要做 很多启发式分析。通常，个体层数据是由pc 机支持的数据。高级管理人员信息系 统处理主要运行在个体层上。 西北t 业大学硕士论文 第二章客户关系管理及相关技术 2 3 4 数据仓库的实旌 逻辑模型是数据仓库实施中一个重要环节，它对系统的物理实施起到重要的指 导作用。数据仓库是面向主题的u 1 首先分析主题域，确定装载到数据仓库的主题。 2 其次合理的粒度层次划分，建立多维的数据模型。 3 定义关系模型。 数据仓库系统( d w s ) 由数据仓库、仓库管理和分析工具三部分组成。 源数据；数据仓库的数据来源于多个数据源，包括企业内部数据、市场调查报 告及各种文档之类的外部数据。 仓库管理：在确定数据仓库信息需求后，首先进行数据建模，然后确定从源数 据到数据仓库的数据抽取、清理和转换过程，最后划分维数及确定数据仓库的物理 存储结构。元数据是数据仓库的核心，它用于存储数据模型和定义数据结构、转换 规划、仓库结构、控制信息等。 数据仓库：包括对数据的安全、归档、备份、维护、恢复等工作，这些工作需 要利用数据库管理系统( d b m s ) 的功能。 分析工具用于完成实际决镀阀题所需的各种查询检索工具、多维数据的o l ，a p 分析工具、数据开采d m 工具等，以实现决策支持系统的各种要求。 2 4 数据挖掘技术 2 4 1 数据挖掘技术概述 属于一个多领域学科，它结合了统计学、数据库理论、机器学习等技术。数据 挖掘技术一般是以数据仓库为基础的。应用一系列技术从大型数据库或数据仓库的 数据中提取人们感兴趣的信息和知识，这些信息或知识是隐含的，事先未知而潜在 有用的，提取的知识包括：概念、规则、规律、模式等形式。用这些对决策有潜在 价值的知识和信息，为企业经营决策和市场策划提供依据。数据挖掘使数据库技术 不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，从 而促进信息的传递。 我对数据挖掘概念的理解如下：数据挖掘作为一种数据分析的工具而存在。在 c 删系统中占有十分重要的地位。它是一个分析具体数据，提取和展现可操作的， 隐含的，新颖的信息，以解决业务问题的流程。数据挖掘是从大型数据库中选取有 效的，以往不为人知的，最终能为人理解的信息，并用它来做重要决策的过程。数 据挖掘技术的支持技术包括：海量数据搜集技术；强大的多处理器计算机：数据挖 掘算法 西二| l i , j k 大学硕士论文第二章客户关系管理及相关技术 2 4 2 数据挖掘过程 1 提取 指的是寻找可能被隐含的信息的努力，可以看成信息的分析工作。不过数据挖 掘也可以被用于证实已知的或不确定的信息； 2 展现 指的是通过报表，模型或规则等直观形式将提取的信息展现给客户； 3 可操作 指的是该信息可以使决策和行动得到贯彻，不是空洞的没意义的信息； 4 新颖性 信息应该是及时的，有用的： 5 数据挖掘是一个流程 这里的流程指的不仅是一种技术或算法，而是一系列的内部过程： 6 。数据挖掘的目的 目的是为了发现有价值的信息，它是对商业信息的挖掘，有明确的目标，即： 解决业务问题； 2 4 3 数据挖掘技术的功能 1 自动趋势预测 数据挖掘能自动在大型数据库里面找寻潜在的预测信息。传统上需要很多专家 来进行分析的问题，现在可以快速而直接地从数据中问找到答案。一个典型的利用 数据挖掘进行预测的例子就是目标营销。数据挖掘工具可以根据过去邮件推销中的 大量数据找出其中最有可能对将来的邮件推销作出反应的客户。 2 自动探测以前未发现的模式 数据挖掘工具扫描整个数据库并辨认出那些隐藏着的模式，比如通过分析零售 数据来辨别出表面上看起来没联系的产品，实际上有很多情况下是一起被售出的情 况。 3 数据挖掘技术可以让现有的软件和硬件更加自动化，并且可以在升级的或 者新开发的平台上执行。 当数据挖掘工具运行于高性能的并行处理系统上的时候，它能在数分钟内分析 一个超大型的数据库。这种更快的处理速度意味着用户有更多的机会来分析数据， 让分析的结果更加准确可靠，并且易于理解。 西北工业人学硕士沦文 第二章客户关系管理及相关技术 2 4 4 数据库的拓展深度和广度： 1 深度上允许有更多的列存在。以往，在进行较复杂的数据分析时，专家们 限于时间因素，不得不对参加运算的变量数量加以限制，但是那些被丢弃 而没有参加运算的变量有可能包含着另一些不为人知的有用信息。现在， 高性能的数据挖掘工具让用户对数据库能进行通盘的深度编历，并且任何 可能参选的变量都被考虑进去，再不需要选择变量的子集来进行运算了。 2 广度上允许有更多的行存在。更大的样本让产生错误和变化的概率降低， 这样用户就能更加精确地推导出一些虽小但颇为重要的结论。 2 4 5 常用的数据挖掘算法 以下是常见和应用最广泛的算法和模型： 1 传统统计方法： 1 ) 抽样技术： 我们面对的是大量的数据，对所有的数据进行分析是不可能的也是没有必要 的，就要在理论的指导下进行合理的抽样。 2 ) 多元统计分析：因子分析，聚类分析等。 2 关联规则挖掘算法： 关联规则是描述数据项之间存在关系的规则，形式为“a 1a a 2 八a n b l 八b 2 八b n ”。关联规则挖掘是数据挖掘中最活跃的研究方法之一。最初提出的动机是 针对购物篮分析问题提出的，其目的是为了发现交易数据库中不同商品之间的联系 规则，发现顾客购买行为的模式，用来指导商家科学地安排进货，库存以及货架设 计等。 3 其他的挖掘分析算法介绍 1 ) 序列模式分析 序列模式分析和关联分析相似，但侧重点在于分析数据间的前后序列关系。它 能发现数据库中形如在某一段时间内，顾客购买商品，接着购买商品，即序列出现 的频度较高之类的知识，序列模式分析描述的问题是在给定交易序列数据库中，每 个序列是按照交易时间排列的一组交易集，挖掘序列函数作用在这个交易序列数据 库上，返回该数据库中出现的高频序列。在迸行序列模式分析时，同样也需要由用 户输入最小置信度和最小支持度。 2 ) 分类分析 设有一个数据库和一组具有不同特征的类别，该数据库中的每一个记录都赋予 一个类别的标记，这样的数据库称为示例数据库或训练集。分类分析就是通过分析 两北工业大学硕士论文第二章客户关系管理及相关技术 示例数据库中的数据，为每个类别做出准确的描述或建立分析模型或挖掘出分类规 则，然后用这个分类规则对其他数据库中的记录进行分类。 3 ) 聚类分析 聚类分析输入的是一组未分类记录，并且这些记录应分成几类事先也不知道， 通过分析数据库中的记录数据，根据一定的分类规则，合理地划分记录集合，确定 每个记录所在类别。它所采用的分类规则是由聚类分析工具决定的。采用不同的聚 类方法，对于相同的记录集合可能有不同的划分结果。应用数据挖掘技术，较为理 想的起点就是从一个数据仓库开始，这个数据仓库里面应保存着所有客户的合同信 息，并且还应有相应的市场竞争对手的相关数据。数据挖掘可以直接跟踪数据，辅 助用户快速做出商业决策，并且用户还可以在更新数据的时候不断发现更好的行为 模式，并将其运用于未来的决策当中。 2 4 6 数据挖掘要思考的问题 1 数据挖掘的基本问题就在于数据的数量和维数，数据结构也因此显的非常 复杂，如何进行探索，选择分析变量，也就成为首先要解决的问题。 2 面对如此大的数据，现有的统计方法等都遇到了问题，我们直接的想法就 是对数据进行抽样，那么怎么抽样，抽取多大的样本，又怎样评价抽样的 效果，这些都是值得研究的难题。 3 既然数据是海量的，那么数据中就会隐含一定的变化趋势，在数据挖掘中 也要对这个趋势做应有的考虑和评价。 4 各种不同的模型如何应用，其效果如何评价。不同的人对同样的数据进行 挖掘，可能产生不同的结果，甚至差异很大，这就涉及到可靠性的问题。 5 当前互联网的发展迅速，如何进行互联网的数据挖掘，还有文本等非标准 数据的挖掘，都引起了极大的兴趣。 6 数据挖掘涉及到数据也就碰到了数据的私有性和安全性。 7 数据挖掘的结果是不确定的，要和专业知识相结合才能对其做出判断。 2 5 客户关系管理与数据仓库的关系 数据仓库是c r m 的基础。c r m 的成功很大程度上取决于数据仓库的建立。企业 在实施数据仓库和c r m 系统时，不应当视各自为单独的一方。只有这样，企业才能 使两者更好地融为一体，服务于客户和企业本身。为了保留客户，个性化客户关系 是最好方式之一。而个性化客户关系是c r m 依据数据仓库的分析得到的结果，依据 西北工业人学硕士论文第二章客户关系管理及相关技术 结果制定市场策略，发现市场机会，并通过销售和服务等部门与客户的交流，来提 高企业的利润。这也是商业智能系统和数据挖掘表现出的显著特征。要保持数据最 新，数据仓库要真正为支持c r m 解决方案而设计，它所储存的信息要求是最新的， 必须实时更新数据仓库。最后把客户的响应集中到数据仓库中，作为评价市场策略 的依据。 2 s 1 数据挖掘技术在饿l 系统的应用过程 数据挖掘中规则的推导：从统计意义上讲就是对数据中的“如果一那么”规则 进行寻找和推导。数据挖掘工具是怎样准确地告诉你那些隐藏在数据库深处的重要 信息的呢? 它们又是如何作出预测的? 答案就是建模。建模实际上就是在你知道结 果的情况下建立起一种模型，并且把这种模型应用到你所不知道的那种情况中。联 机分祈系统o l a p 服务器可以使一个十分复杂的最终用户商业模型应用于数据仓库 中。数据库的多维结构可以让用户从不同角度，比如产品分类，地域分类，或 者其他关键角度来分析和观察他们的生意运营状况。数据挖掘服务器在这种情 况下必须和联机分析服务器，以及数据仓库紧密地集成起来，这样就可以赢接跟踪 数据，并辅助用户快速作出商业决策，同时用户还可以在更新数据时不断发现更好 的行为模式，并将其运用于未来的决策当中。 良好的模型是c r m 得以充分发挥作用的保障，数据挖掘的过程是个非线性的过 程。建立的一般步骤如下： 1 问题理解和提出 在开始数据挖掘之前虽基础的就是理解数据和实际的业务问题，在这个基础之 上提出问题，对目标有明确的定义。 2 数据准备 获取原始的数据，并从中抽取一定数量的子集，建立数据挖掘库，其中一个问 题是如果企业原来的数据仓库满足数据挖掘的要求，就可以将数据仓库作为数据挖 掘库。 3 数据整理 由于数据可能是不完全的、有噪声的、随机的，有复杂的数据结构，就要对数 据进行初步的整理，清洗不完全的数据，做初步的描述分析，选择与数据挖掘有关 的变量，或者转变变量。 4 建立模型 根据数据挖掘的目标和数据的特征，选择合适的模型。 5 评价 对数据挖掘的结果进行评价，选择最优的模型，作出评价，运用于实际问题， 并且要和专业知识结合对结果进行解释。 两北t 业大学硕十论文 第二章客户关系管理及相关技术 6 根据结果迭代或建立新模型 小结 描述和研究了客户关系管理系统c r m 的作用，分类及构建一个客户关系管理系 统所要注意的情况。详细研究了数据仓库和数据挖掘技术方面的问题，介绍了数据 仓库和数据挖掘技术在c r m 中的实施过程。 两北j 业人学硕士论文第二三章j 2 e e 技术在客户关系管理系统中的府用 第三章j 2 e 宦技术在客户关系管理系统中的应用 3 1j 2 e i = 技术的介绍 j 2 e e 平台是为了满足目前企业应用系统的需要，由s o n 公司发布的企业计算平 台规范。它的主要技术目标可以概括为：为企业应用系统提供一个具有高度可移植 性和兼容性、安全的平台。在这个平台上，可以容易地快速建立融合i n t e r n e t 技术， 尤其是w e b 技术的n t i e r s 结构的分布式企业应用。 j 2 e e 平台采用了基于j a v a 技术的分布式组件技术，核心就是e j b ( 用j a v a 编写的 服务器端组件的规范) 。j 2 e e 是- 1 十技术规范，为丌发人员提供了一个统一的工作平 台，应用这个体系结构，可以使开发者的注意力集中在封装商业逻辑和商业规则上， 切同基础结构服务相关的问题及底层分配的实现等问题都由应用程序容器或者服 务器来处理。对于复杂事务、持久化、安全等等方面的应用组件的运行，由声明的 方法在部署环境中定制( 一般采用x m l ) 。这个平台具有工业的可拓展性，支持合理的 集成和灵活的部署，与开发商和应用服务器无关。 图3 一lj 2 e e 的体系框架 主要的 2 e e 的框架为：j s p 、s e r v l e t 、e j b 。j s p 本质上是一种高层的s e r v e t 。 他与以往的其他网页编写脚本有很大的相似性，只是在执行时有一些不同。j s p 引 擎将它和它所在的h t m l 文件一起合成s e r v l e t 的代码，然后它的执行就和s e r v l e t 的一样了：先编译成c l a s s 文件，然后由支持j a v a 虚拟机的服务器来执行，然后 输出结果。s e r v l e t 可以被看作是服务器端的a p p l e t ，它通过s e r v l e t r e s p o n s e 以 及s e r v j e t r e q u e s t 这两个对象来输出和接收用户传递的参数，然后在内部的方法中 执行操作如访问数据库、访问别的s e r v l e t 方法、调用e j b 等等，然后将处理结 阿北t 业大学硕士论文第三章j 2 e e 技术在客户关系管理系统中的应用 果返回给客户端。 e j b 非常类似十微软的d c o m 。每个e j b 组件都必须有一个自己要存活的容器， 他还必须有一个本地和远程接口，同时还应该有一个相关的配置文件。e j b 是部署 存服务器上的可执行组件或商业对象。有一系列机制允许它们将服务安全性、事务 行为、并发性( 由多个客户机同时访问的能力) 和持久性( 其状态可以保存多久) 的末要方面授权给e j b 服务器上其所在的容器。e j b 是设计成运行在服务器上，并 由客户机调用的非可视远程对象。可通过多个非可视j a v a b e a n 构建e j b 。它们有 一个部署描述符。e j b 独立于平台，可以在任何支持j a v a 的平台( 包括客户机和 服务器) 上使用。 3 2 多层架构的内容 使用j 2 e e 的主要原因是多层结构，传统的两层c s 结构难于维护，稳定性极差， 界面代码和数据库代码混淆在一起，多层结构使得界面和数据库完全分离，并且诞 生了中间件这样的技术，如下图： 教 界 搬 中m 件 i 矗j j ，畔 j 甚 层 图3 - 2 多层架构 多层结构应用软件：n t i e r s 系统一般分为三个组成部分，客户机、应用服务 器、数据库服务器。b s 架构客户机由浏览器软件构成负责与用户交互，应用服务 器负责处理业务逻辑，数据库服务器负责与数据库交互的工作。关键业务核心是在 e j b 的服务层实现，优点是，w e b 只负责界面相关部分，因为，如果是一个智能客户 端，如s w i n g 或j 2 m e ，在不需要修改任何业务核心的情况下能够方便地更换 2 1 。 3 3 客户关系管理系统i c r m ) 3 3