（计算机应用技术专业论文）数据集市在电信客户关怀系统中的应用研究.pdf

摘要 摘要 随着数据仓库技术的广泛应用，企业在数据仓库中存储的数据越来越多，如 何高效的使用这些数据则成为了一个新的问题，解决这一问题对理论还是实践都 有重大意义。数据集市作为一个面向特定群体的数据分析需求的数据集合，如果 可以与企业数据仓库榴结合，必然能够极大的提高数据仓库中数据的使用效率， 从而有效支持管理部门的统计分析和决策过程，提高企业的综合竞争力。 本文通过一个电信行业数据集市系统的建设过程，给出了一种行之有效的数 据集市系统的建设方法。以数据集市系统建设过程中的需求分析、概念模型设计、 逻辑模型设计和物理模型设计阶段为重点，详细分析了各主要环节的工作内容及 相关方法。在项目实施的过程中作者主要研究了以下几种技术的应用： 1 、采用系统边界界定方法，从系统的需求中准确的识别出数据集市系统的 分析类型，最终确定分析的主题； 2 、采用关系模型和维度模型相结合的技术，建立了数据集市系统的数据模 型。采用两种数据模型混的方式即满足了分析预测的需求又保证了系统的性能； 3 、在系统数据模型层次的设计上，为了满足各种分析粒度的需求和系统的 性能指标，采用多层结构将数据合理的分布到不同的层次中。在满足系统的性能 需求的同时提供了一定程度的灵活性； 4 、结合d b 2 数据库管理系统的特点，对数据集市的物理设计进行了较深入 研究。根据数据集市本身的特点以及最终部署环境的特点，设计了一套可以高效 访问的数据存储方式，为数据集市的性能提供了保障。 通过以上技术的应用，提高了项目建设的质量，缩短了建设周期。尤其是混 合数据模型设计和层次化系统模型设计的应用，将各种使用方式不同、粒度级别 不同的数据有机的结合在一起，提供了灵活的数据视图，同时在系统性能上也有 较大的提升。本文中提出了一种较实用的数据集市的建设方法，以这种方式建立 的数据集市系统可以为进一步的应用( 如数据挖掘、数据分析等) 提供良好的基 础，对其他行业数据集市系统的建设也有一定的借鉴作用。 关键词：数据仓库，数据集市，客户关系管理 r e s e a r c h0 1 1da t am a r t sw h i c hu s e di nc u s t o m e r c a r es y s t e mo ft e l e c o mc o m p a n y a b s t r a c t w i t ht h es p r e a du s eo fd a t aw a r e h o u s et e c h n o l o g y , e n t e r p r i s e sa c c u m u l a t el a r g e a m o u n t so fd a t ad u r i n gt h ed e v e l o p m e n tp r o c e s s b u t f o l l o w e dw i t ht h ed a t a a c c u m u l a t i o n ，h o wt ou s et h e s ed a t ae f f i c i e n t l yh a sb e c o m ean e wp r o b l e m h o wt o s o l v et h i sp r o b l e mi ss i g n i f i c a n tb o t ho nt h et h e o r ya n dp r a c t i c e d a t am a r ti sa d a t a c o l l e c t i o nw h i c ha i m e da td a t aa n a l y s i sn e e d so fs p e c i f i cg r o u p s ，i fd a t am a r t sc o u l d c o m b i n e dw i t he n t e r p r i s ed a t aw a r e h o u s e ，t h ee f f i c i e n c yw i l lg e t a nd r a m a t i c i m p r o v e m e n tw h e nu s et h e s ed a t at os u p p o r te f f e c t i v e s t a t i s t i c a la n a l y s i sa n d d e c i s i o n m a k i n gp r o c e s s m a d e b ym a n a g e m e n td e p a r t m e n t ，a n d o v e r a l l c o m p e t i t i v e n e s so f t h ec o m p a n yw i l lb ee n h a n c e d i nt h i sp a p e r , t h r o u 咖ad a t am a r ts y s t e m - b u i l d i n gp r o c e s si nt e l e c o m m u n i c a t i o n s i n d u s t r y , a ne f f e c t i v ed a t am a r ts y s t e mc o n s t r u c t i o nm e t h o di sp r o p o s e d t h i sp a p e r i s c o n c e n t r a t e do nr e q u e s ta n a l y s i s ，c o n c e p t u a lm o d e ld e s i g n ，l o g i cm o d e ld e s i g na n d p h y s i c a lm o d e ld e s i g np h a s ed u r i n gt h ed a t am a r ts y s t e mb u i l d i n gp r o c e s s ，w i t ht h e f o c u so nad e t a i l e da n a l y s i so fa l lt h em a j o rp a r to ft h ec o n t e n ta n dr e l a t e d m e t h o d o l o g i e s i nt h i sp a p e rf o l l o w i n gs e v e r a lm a j o rt e c h n o l o g i e sw h i c h i sa p p l i e di n t h ep r o j e c ti sd i s c u s s e di nd e t a i l ， 1 ab o u n d a r yd e f i n i n gm e t h o di sa p p l i e dt oi d e n t i f yt h ea n a l y s i st y p e sa c c u r a t e l y f r o mt h es y s t e mr e q u i r e m e n t ，a n dd e c i d et h ea n a l y s i ss u 巧e c tf i n a l l y 2 an e wt e c h n o l o g yw h i c hi st h ec o m b i n a t i o no fr e l a t i o n a lm o d e la n ds t a rm o d e l i su s e dt oe s t a b l i s ht h ed a t am o d e lo fd a t am a r ts y s t e m t h en e wm i x e dm o d e ln o t o n l ym e e t st h ea n a l y s i sr e q u e s t ，b u ta l s oe n s u r i n gt h ep e r f o r m a n c eo f t h es y s t e m 3 i nt h es y s t e md a t al a y o u t d e s i g n ，i no r d e rt om e e tt h en e e d so ft h ed a t a g r a n u l a r i t ya n dp e r f o r m a n c er e q u i r e m e n to f t h es y s t e m ，ar e a s o n a b l ed i s t r i b u t i o nl e v e l o ft h ed a t am o d e li sd e m a n d e d ，t om e e tv a r i o u sa n a l y t i c a lr e q u i r e m e n t s ，t w od i f f e r e n t l a y e r s ，as u m m a r yl a y e ra n dam a r tl a y e r , a r ce s t a b l i s h e d f i n a l l y , ar e a s o n a b l ed a t a a b s t r a c t d i s t r i b u t i o ni sa c h i e v e dt os a t i s f yv a r i e t yo fa n a l y s i sr e q u i r e m e n ta n dt oe n s u r es y s t e m p e r f o r m a n c er e q u i r e m e n t sa tt h es a m e t i m e 4 w i t ht h ec h a r a c t e r i s t i c so fd b 2d a t a b a s em a n a g e m e n ts y s t e m ，t h ep h y s i c a l m o d e ld e s i g no fd a t am a r ti ss t u d i e dm o r ei n - d e p t h a c c o r d i n gt od a t am a r to w n c h a r a c t e r i s t i c sa n dt h ec h a r a c t e r i s t i c so ft h ed e p l o y m e n te n v i r o n m e n t ，ad a t as t o r a g e w h i c hc a nb ee f f i c i e n t l yv i s i t e di sd e s i g n e d ，a n dt h i sd e s i g nh a sp r o v i d e dag u a r a n t e e f o rt h ep e r f o r m a n c e t h r o u g ht h ea b o v et e c h n o l o g i e s ，t h eq u a l i t yo fp r o j e c t si si m p r o v e d ，t h u st h e c o n s t r u c t i o np e r i o di ss h o r t e d i np a r t i c u l a rt h eu s eo ft h em i x e dd a t am o d e la n dt h e l e v e l e ds y s t e md a t ad e s i g n , a l lk i n d so fd a t aw h i c hm a y b eu s e di nd i f f e r e n tw a y s ， m a y b el o c a t e di nd i f f e r e n tl e v e l so f d a t ag r a n u l a r i t y , a r eo r g a n i cm e r g e d ，a n dp r o v i d e af l e x i b l ed a t av i e w , e v e nt h es y s t e mp e r f o r m a n c eh a sag r e a t e ri m p r o v e da tt h es a m e t i m e p a p e rp r o p o s e sam o r ep r a c t i c a lm e t h o do fb u i l d i n gd a t am a r t ，d a t am a r tw h i c h i sb u i l d i n gi nt h i sw a yp r o v i d eaw e l lb a s ef o rs o m ef u r t h e ra p p l i c a t i o n si nt h es y s t e m ( s u c ha sd a t am i n i n g ，d a t aa n a l y s i se t c ) t h em e t h o da l s oc a n b eu s e da sr e f e r e n c ef o r b u i l d i n gad a t am a r ti no t h e ri n d u s t r y k e y w o r d s ：d a t aw a r e h o u s e ，d a t am a r t s ，c u s t o m e rr e l a t i o n s h i pm a n a g e m e n t i i i 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。 本人允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研 究所等机构将本学位论文收录到中国学位论文全文数据库或其它 相关数据库。 黧震了盟躲辫 学位论文作者签名：刨 指导教师签名：二三建堑垄 撕年莎月? 日扣砧年1 c f 月锣日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果据我所知，除了文中特别加以标注和致谢的地方外，本论文不包含其他入已经 发表或撰写过的研究成果，也不包含为获得西北大学或其它教育机构的学位或证书而 使用过的材料与我一同工作的同志对本研究所傲的任何贡献均已在论文中作了明确 的说明并表示谢意 第一章绪论 1 1 课题背景 第一章绪论 上世纪9 0 代初，我国的电信行业刚刚起步。十余年来，电信市场的发展己 经经历了起步期和快速增长期k 目前正在逐步地进入低速增长期和成熟期。在这 一阶段各大电信运营商所占的市场份额已经相对稳定，新客户增长速度明显放慢 甚至停滞乜4 1 。因此，各大运营商的经营目标也已经从扩大客户数量转变为提高客 户质量。但是，这种转换需以识别客户的价值和流失趋势两方面的特征为基础， 而价值、流失在识别和衡量上存在相当的复杂度，需要进行大量的分析比较。虽 然很多运营商已经建立了企业级的数据仓库系统，但是直接基于数据仓库进行统 计分析仍然存在许多问题： l 、难以确定分析目标。企业级数据仓库通常囊括了企业范围内的所有主题， 但是每次具体的经营分析只需要针对一个或几个主题就可以完成。如果直接基于 数据仓库进行分析，势必需要在众多的主题当中筛选与当前分析相关的主题。若 每次分析都需要重新筛选主题，必然需要投入大量的资源。 2 、访问效率低下。企业级数据仓库的不同用户需求的侧重点各不相同，这 就要求数据仓库存储的数据要具有充分的灵活性，以能够适应各类用户的查询和 分析。然而，最终用户对信息检索的性能要求很高。对数据仓库而言灵活性和性 能是一对矛盾体，数据仓库通常需要保障灵活性以满足尽可能多用户的查询需 求，这样一来整个数据仓库的性能却会大幅下降。 3 、削弱了数据仓库的易读性。若数据分析工作直接基于数据仓库进行，各 种不同的分析用户群体必然会在数据仓库种增添新的视图、汇总表、聚集以及预 计算的结果等各种数据以支持不同的分析过程。这样一来必然导致数据表的急剧 增加，大幅削弱数据仓库的易读性。 针对这些问题，本文提出了在数据仓库体系结构中增加一个新的数据层次： 数据集市，从而满足用户对分析能力和分析性能的双重需求。 本文所述系统来自某电信公司的实际需求。该公司为了提高企业的市场竞争 力，提高公司客户关系管理的水平，急需建立一套解决方案用以评估客户的价值 第一章绪论 并预测客户的流失趋势。虽然该公司已经建成企业数据仓库，但由于数据仓库中 存在众多的主题和大量的数据，分析人员很难直接使用数据仓库中的数据进行客 户质量分析和客户流失预测。随着数据量的成倍增长，直接基于数据仓库进行挖 掘和分析的难度越来越高，效率越来越低。在这种情况下，迫切需要建立部门级 的数据集市，以支持高效的客户质量分析和客户流失预测等任务，把大量的数据 转换成可靠的、商用的信息。 1 2 国内外研究现状 上世纪9 0 年代，“数据仓库”一词开始出现在人们的视野里，一时间无处 不谈、无人不晓。许多企业都视数据仓库为企业决策成败的关键，希望能够借助 数据仓库的帮助，一次性的彻底解决企业分析决策的难题，但实际结果却令人们 大失所望。因此到了本世纪初，对数据仓库的质疑越来越多，很多人认为建立一 个企业级的数据仓库完全没有必要，只需花费很少的资源( 相较数据仓库) 就可 以快速的建造一个数据集市，从而支撑部门级的分析决策。但是相隔不久人们就 发现快速建造的部门级的数据集市带来的麻烦远比它创造的价值更多。 当今，已经很少有人去探讨应不应该建立数据仓库或数据集市的问题。人们 都已经清楚的认识到要支持企业的分析决策绝不仅仅是数据仓库或数据集市单 独能够完成的。因此，当今数据仓库领域的研究方向已经转向如何更好的构建数 据仓库、数据集市相结合的体系结构，从而更好的支持商业智能的发展。目前， 数据仓库体系结构的设计方式主要有两种，“自顶向下和“自底向上”口。 “自顶向下”的方法是一个企业先建立唯一的数据中心，即数据仓库。数据 仓库中的数据是经过整合、经过清洗的、标准的数据，能够为企业提供统一的视 图。要建立这样的数据仓库，并不从它需要支持的应用入手，而是从整个企业的 环境入手，分析其中的概念，以及应该包含什么样的数据，从而达成概念完整性。 在理想状况下，数据仓库建成以后，数据是标准的，没有太多冗余，并且数据质 量可以得到保证。在此基础上，进一步建立部门数据集市为报表、o l a p 以及其 他任何统计分析应用提供需要的数据。 而“自底向上”的做法，则是强调应用决定数据，有什么应用就获取什么数 2 第一章绪论 据。在理想状况下，一项分析应用只需要刚刚能够满足自身需求的数据。例如人 力资源部门的数据集市，就不需要市场推广的数据，那么这些数据将不被纳入该 集市中。当所有部门的数据集市都建造完成后，开始对这些集市进行整合，最终 形成整个企业级的数据仓库。 国外数据仓库厂商的理念大多是以自顶向下为主，先建立一套完整的企业数 据仓库。他们通常针对行业己经设计出抽象程度比较高的概念模型，结合实际环 境生成逻辑模型和物理模型。在数据仓库构建完成的时候，数据集市的设计者会 考虑具体的应用问题，根据应用做取舍，形成数据集市。 与国外相反，国内集成商的做法大多是自下而上。其中一部分原因在于周期 和人员的原因，老板要求尽快上线，客户要求尽快看到结果，而这个时候恰好就 是自下而上的方法的用武之地。建设者会针对应用快速建立数据集市，最后再整 合所有的数据集市形成完整的数据仓库。 从实际建设中看，两种方式各有其优缺点和适应性。如何抉择还要根据企业 的需求和实际的经济能力来确定。 1 3 课题任务 本课题的任务是在某电信公司数据仓库平台的支撑下实现客户关怀系统 ( c u s t o m e rc a r ee r o j e c t ，后文中简称c c p ) 中的数据集市子系统，为客户关怀系 统提供实行客户洞察、制定关怀策略、开展关怀活动的数据平台。客户关怀系统 是一个分析型的c r m 系统，采用数据挖掘的手段，建立强大的客户洞察能力。在 此基础上，针对特殊客户群体设计关怀政策和策略，并对关怀政策和策略进行论 证、执行和评估。从而达到提高客户保持率和客户价值目的。数据集市子系统作 为整个客户关怀系统的数据平台，采用自顶向下的设计方法，以数据仓库为基础， 以分析需求为指导，以准确、高效的数据集市架构为目标，为整个系统奠定了坚 实的数据基础。 本文重点介绍了c c p 系统中数据集市的设计过程，具体工作包含以下几点： 1 ) 对数据仓库技术、数据集市技术及其差异性进行了探讨； 2 ) 对c c p 系统从总体上进行了分析，重点分析了系统的体系结构； 第一章绪论 3 ) 按照软件工程思想对数据集市子系统进行了设计，包括需求分析、概念 模型设计、逻辑模型设计、物理模型设计。最后得出结论，并总结全文，对系统 发展的未来进行展望。 1 4 论文结构 本文以电信行业为背景，以支持数据挖掘和分析为目的，以数据集市为研发 技术，对数据集市技术在电信客户关怀系统中的应用进行了研究。在对数据集市 系统的相关理论进行了深入的研究后，本文基本上按照系统的需求分析、设计方 案的顺序来组织。本文的具体结构如下： 第一章：绪论。介绍了本系统的研究背景以及数据集市技术在国内外的研究 现状。 第二章：数据集市和数据仓库。介绍了数据集市和数据仓库的基本概念及其 差异。并对不同类型的数据集市进行了简要的介绍。 第三章：客户关怀系统简介。从总体上对c c p 系统进行了介绍，包括：建 设目标、功能需求、系统的逻辑结构等内容。 第四章：客户关怀系统需求分析。从总体上分析了c c p 系统的需求，并详 细分析了客户洞察业务的需求。 第五章：数据集市概念模型设计。在c c p 系统需求分析的基础上，分析了 数据集市子系统支撑的各种业务，设计了数据集市子系统的概念模型。 第六章：数据集市逻辑模型设计。在概念模型的基础上以数据建模的方法论 为指导，结合c c p 系统中使用的数据的实际状况，设计了数据集市子系统的逻 辑模型。 第七章：数据集市物理模型设计。对建设数据集市系统所需的物理设备的构 成、数据集市的物理存储、介质分配等内容做了整体介绍。 第八章：总结与展望。总结了全文的工作，并展望系统未来的发展方向。 4 第二章数据集市和数据藏客户 2 1 数据仓库 第二章数据集市和数据仓库 从计算机与信息系统发展的初期开始，如何有效地管理组织、企业在运营过 程中产生的大量数据和信息一直是信息系统工作人员面临的重要问题。7 0 年代 出现并被广泛应用的关系型数据库技术为解决这一问题提供了强有力的工具。然 而从8 0 年代中期开始，随着市场竞争的加剧，信息系统的用户已经不满足于用 计算机仅仅去管理日复一日的事务数据，他们更需要的是信息支持决策制定 过程的信息。这种需求使得在8 0 代中后期出现了数据仓库思想的萌芽，为数据 仓库概念的最终提出和发展打下了基础。9 0 年代初期，w h i n i l l o n 在其里程碑式 的著作( ( b u i l d i n gt h ed a t aw a r e h o u s e ) ) 一书中提出了“数据仓库”的概念，从此 数据仓库的研究和应用得到了广泛的关注。 2 1 1 数据仓库的概念和特征 业界公认的数据仓库概念创始人w h i n l l l o n 在( ( b u i l d i n gt h ed a t aw a r e h o u s e ) ) 一书中对数据仓库的定义是：数据仓库就是面向主题的、集成的、非易失的、随 时间变化的用以支持管理人员决策的数据集合。 从数据仓库的定义中可以看出，数据仓库包括四个主要的特征： 第一，数据仓库是面向主题的。操作型数据库的数据组织面向事务处理任务， 各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组 织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方 面，一个主题通常与多个操作型信息系统相关。 第二，数据仓库是集成的。面向事务处理的操作型数据库通常与某些特定的 应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在 对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的， 必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致 的全局信息。 第三，数据仓库是非易失的。操作型数据库中的数据通常实时更新，数据根 5 第二章数据集市和数据藏客户 据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据 操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保 留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只 需要定期的加载、刷新。 最后，数据仓库是随时间变化的。操作型数据库主要关心当前某一个时间段 内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一 时点( 如开始应用数据仓库的时点) 到目前的各个阶段的信息，通过这些信息，可 以对企业的发展历程和未来趋势做出定量分析和预测。 2 1 2 数据仓库的结构 如图2 1 所示，数据仓库的逻辑结构由三级数据组成n 小坩1 。在数据仓库系统 中数据按照所处的历史时期以及综合汇总的级别，分别处于以下三级：历史细节 级( 通常存储在备用海量存储器上) 、当前细节级以及综合数据级( 数据集市级) 。 数据从不同的操作型环境中导入数据仓库，按照决策的主题要求形成当前细节数 据。随着时间的推移，由时间控制机制将当前细节数据转为历史数据。数据仓库 的当前细节级囊括了大量的主题和海量的低粒度级别的数据。这些数据按照不同 的分析类型，通过各种不同的综合、汇总计算，最终进入不同的数据集市，为各 种统计分析、数据挖掘应用提供数据基础。 数据仓库的模型、结构等重要信息均由元数据( m e t ad a t a ) 进行描述和管理。 元数据是数据仓库的一个重要组成部分，它用于存储数据模型和定义数据结构、 转换规划、仓库结构、控制信息等。正因为有了元数据，数据仓库才能被最有效 的利用。通常，元数据处于数据仓库的上层，并且记录数据仓库中对象的位置。 在数据仓库的所有特性中，集成是最重要的。数据仓库中的数据是从多个不 同的数据源传送来的。这些数据进入数据仓库，就需要进行转换，重新格式化， 重新排列以及汇总等操作，这一过称为e t l 过程。通常e t l 需要花费大量的人 力物力，完成e t l 过程所花费的代价往往占据了整个数据仓库预算的1 3 强。 因此，e t l 过程也成为了数据仓库系统一个关键构成部分【峙1 。 6 第二章数据集市和数据藏客户 当前 历史细节级 2 2 数据集市 图2 1 数据仓库依赖于市场和公司的静态概念，并且在一个数据模型中固定了这一 概念。数据仓库要求极高的完整程度，但并没有提供一个能在合理的时间内工作 的数据模型。因此，若直接基于数据仓库进行工作，就意味着信息技术部门必须 针对所有的用户并以整个企业的眼光对待任何一次决策分析。这样一来所需的成 本必然非常巨大，而且时间消耗也很难让人接受。因此更紧凑集成、易于使用且 易于管理维护的数据集市应运而生。目前，全世界对数据仓库总投资的一半以上 均集中在数据集市上。 2 2 1 数据集市的概念和特征 数据集市是用来表示服务于特定群体的分析需求的数据集合瞳1 。数据集市主 要针对某个具有战略意义的应用或具体部门级的应用，仅包括有关某一特定业务 领域的数据，如人力资源，财务，销售等。数据集市的组织标准是多样的。除了 上述按业务来分外，也可以按照数据仓库的主题或数据的地理分布来组织。不同 的数据集市可以分布在不同的物理平台上，也可以逻辑的分布于同一物理平台 上。 7 第二章数据集市和数据藏客户 数据集市的特征包括以下几个方面： 1 、规模小且面向部门特定的应用，由业务部门定义，便于设计和开发； 2 、能快速实现，并且投资见效快，能够快速的获得回报； 3 、提供更详细的、预先存在的、数据仓库的摘要子集。 2 2 2 数据集市的种类及其结构 业界有两种数据集市，即从属数据集市和独立数据集市乜3 1 。从属数据集市 是指利用来自数据仓库的数据建立的数据集市( 如图2 2 所示) 。它的数据源不 依赖于历史数据或操作型数据，只依赖于数据仓库。从属数据集市要求预先计划 和投资，并需要全局考虑。此外，从属数据集市要求多个用户共享他们创建数据 仓库时的信息需求。从属数据集市要求有预先的计划、长期的观察、全局的分析 和企业各不同部门对需求分析的合作与协调。 操作型数据库 图2 2 独立数据集市是指直接通过历史应用创建的数据集市( 如图2 - 3 所示) 3 2 o 独 立数据集市是解决信息问题的直接方法，所以很受欢迎。独立数据集市可以由单 一部门创建，而不考虑其它部门或中央i t 组织。建立独立数据集市也不需要有 “全局思想”考虑。独立数据集市表示企业全部决策支持请求的一个子集。建立 独立数据集市的费用不高，并且允许企业掌控子集的信息。 第二章数据集市和数据藏客户 操作型数据库 2 2 3 独立数据集市存在的问题 图2 3 虽然建立独立数据集市投资小、见效快，但独立数据集市仍然存在很多问题。 而这些问题只有当建立起一定数量的独立数据集市后才会变的明显口1 。 第一，独立数据集市不保证数据的一致性。当存在多个独立数据集市的时候， 由于数据源的差异、抽取过程的差异、分析方法的差异等因素，会导致在不同的 数据集市中对相似问题的答案却不一致。例如市场部门分析得到三年的平均销售 额为5 0 万元，而财务部门得到的分析结果确是3 0 万元。随着独立数据集市的不 断增加，类似的问题会越来越多，甚至出现对同一问题得出相反结论的情况。 第二，独立数据集市不提供数据重用平台。当建立独立数据集市时，首先要 从应用系统中抽取细节数据并对其进行汇总、聚集等运算，以支持后续的分析。 因此，每增加一个数据集市就出现一次相同的细节数据。每个独立的数据集市都 需要维护_ 组不断增长的冗余的细节数据。从企业总体角度来看，会发现各个部 门都维护着大量相同的数据却无法重用。 第三，独立数据集市不提供统一的接口程序。随着独立数据集市数量的增长， 而不同的独立数据集市所进行的分析以及需要的数据都不尽相同，必然导致接口 程序数量的爆炸性增长。此时，不仅需要大量的资源来建立接口程序，维护这些 9 第二章数据集市和数据藏客户 程序也成了负担。最后，甚至执行接口程序的在线资源都无法满足需要。 当建立的一定数量的独立数据集市后，独立数据集市存在的问题就变的很明 显了。显然，独立数据集市只适用于短的、快速的方案，而不适合解决企业长期 的信息问题h 1 。换句话说，独立数据集市表示的是不需要顾及全局及全景的一个 短期的、有限范围的解决方法。无法为信息决策提供一个坚实的、长期的基础。 2 3 数据集市和数据仓库的比较 数据仓库构造的是企业级的决策支持环境。数据仓库与数据集市之间具有很 大的差异1 。数据仓库是基于整个企业的数据模型建立的，它面向企业范围内的 主题。一般来讲，数据仓库是由一个中央i t 组织来建立和管理。数据仓库完全 是整个企业共同努力的结果。数据仓库中存储整个企业内非常详细的数据。为了 满足不同部门的分析需求，数据仓库的数据粒度一般都很低。数据仓库的数据模 型一般是规范的，比较多的是符合第三范式。其数据的结构和内容反映的不是某 个特定部门的特殊要求，它代表的是整个企业对于数据的需求。数据仓库中的数 据量与数据集市差别很大，因此，数据仓库中的索引很少。数据仓库中包含有相 对稳定的历史数据，所有数据都是从许多操作数据源中经一定的业务规则转换并 集中进来的嘲。 而数据集市是针对每个部门特定的需求，只包括和该部门紧密相关的有限的 主题。相对数据仓库，数据集市中包含的历史数据不全，其详细程度也不够，数 据选取的基本原则是能满足本部门的需求。通常，数据集市中包含了许多聚集和 汇总数据，因此它的数据粒度相对较高。数据集市中数据库的设计多采用星形连 接的结构，这种结构对部门用户而言是最优的，但这种结构不适合大量数据的存 储，因为多维数据库的数据冗余度很高。为了提高星形连接的性能，必须事先收 集该部门业务用户的需求，并对数据集市中的数据建立大量的索引m 1 。换言之， 数据集市中往往靠对数据的预处理来换取运行时的高速度，当业务部门提出新的 问题时，如果不在原来设计的范围内，则需要数据库管理员对数据库作许多调整 和优化处理。 归纳起来，数据仓库与数据集市的区别主要有以下几点： l o 第二章数据集市和数据藏客户 1 、数据集市和数据仓库的数据模型不同。前者一般多采用星形连接结构， 后者则用第三范式为主的关系模型： 2 、数据集市和数据仓库的信息量不同。数据集市由于只有有限的主题并且 只包含很少的历史数据，与数据仓库相比较其所包含的信息量少很多； 3 、数据集市和数据仓库的数据粒度级别不同。数据仓库中通常包含支持所 有部门业务的最低粒度级别的数据：数据集市中则只包含一些聚集或汇总的较高 粒度级别的数据。 4 、数据集市和数据仓库的访问效率不同。由于数据仓库中包含大量的信息 并且很少创建索引，因此直接访问数据仓库通常需要很长时间。而数据集市由于 只针对特定的需求，因此在设计时就可以考虑很多优化n 1 ；另外，为了提高访问 效率，还会建立很多索引这样也能提高访问的速度。 第三章客户关怀系统简介 第三章客户关怀系统简介 客户关怀系统是针对某电信公司客户关系管理中存在的问题而提出的解决 方案。客户关怀系统旨在管理该公司的存量客户。基于客户细分，并依据不同情 况对客户实施增量销售、流失挽回和主动关怀等三种活动；从而延长客户在网时 间，提升客户终身价值，以推动该公司的综合竞争力汹1 。 3 1 客户关怀系统的建设目标和建设原则 建设目标 针对某电信公司存在的问题，结合该公司信息系统的发展现状，将系统的建 设目标划分为近期和远期两个阶段。近期目标是支撑存量客户关怀策略设计、论 证、执行和评估的整个业务过程；建立强大的客户洞察能力。远景目标是完善数 据分析平台。以数据为支撑，通过操作型和分析性c r m 系统的互动，提高客户 保持率、客户价值，进而提高该公司的综合竞争力。 建设原则 c c p 系统作为某电信公司的应用系统，是中国电信面向客户服务的统一窗口 和保障，是该公司核心竞争力的体现。系统在建设过程中应采用国际先进、成熟 的科技成果，结合中国电信已有的经验和资产，保证系统在国内相应领域内具有 领先的技术水平。系统实现过程中，应该遵循如下技术原则口3 儿川： 开放性：选用主流的硬件平台( 主机、网络设备等) 和软件平台，遵循业界 开放式标准：采用开放各种网络协议、硬件接口、数据接口等；采用成熟的应用 系统架构。 扩展性：选择能够支撑灵活、扩展的软硬件平台，能够根据应用需求，方便 扩展设备容量和提升设备性能；构建企业应用集成平台，支持业务功能组件插拔 升级能力：根据中国电信企业数据模型企业数据管理合理的构建数据模型；应用 实现采用合理的技术层次架构。 安全性：规划需要考虑网络安全管理、主机和操作系统安全管理、数据库安 全管理、数据访问权限管理等。 可靠性：通过对软件、硬件、应用和良好设计和可控的实施管理，确保系 1 2 第三章客户关怀系统简介 统具有良好的可靠性，保证系统的7 , 2 4 应用服务能力。 3 2 客户关怀系统的定位和逻辑结构 系统定位 c c p 系统在m b o s s 口司中的定位如图3 1 所示：红色的方框代表c c p 系统涉 及的功能模块；该系统涉及的支撑系统功能的数据模型设计需要遵循某电信公司 i t 支撑系统企业数据模型，以便以后能够顺利纳入该公司支撑系统体系。 市场营销 。 1 销售 环百备胍 ， 客户接触管理 。o 一 i 商机管理 l ，4 ；。一鞠譬燃镌矿_ 。_ 鼾 u 。，每，# 毋蚍甥搿黜。 市场计划 i 销售活动管理f i 查询和服务请求i “。l 问题及故障受理于跟踪 l 营销活动管理l i 销售文档管理i i 订单受理与跟踪客户s l r o o s 管理同收费前端i l ，市场竞争翻察1 7 ： ；。r 。p 爹? 。j ，；“。j 粕臻汾。稳二鬈 l 销售团队管理i 客户资料管理 i i 销售渠道管理l lj 。：客户评价管理it i垮+ j客户洞察”篓i l 合作伙伴管理 合作伙伴关系管理i “ i 产品配置与目录管理 1 坊欺诈 j 。h i 合作伙伴业务支持i 合作伙伴结算管理i p ? ：浮。产品生命周期管理一乎爹。；二i 亳1卜善舫l 炎蟛刳 r ：j ：v 磐合作伙伴洞察j ? 羔? ，鼍善= | k 毫；豢? i ：产品绩效分析? j 巷棼害司 图3 1 逻辑结构 c c p 系统包含了电信决策支持系统的数据分析应用和数据模型两层的部分 内容。在数据分析应用层，客户关怀系统为不同的客户群体设计不同的关怀策略。 通过策略的论证、执行和评估，分析策略优缺点，为上层的决策提供支持。在数 据模型层，客户关怀系统以电信数据仓库系统为支持，建立自己的数据集市。通 过对数据集市中的数据进行分析和挖掘，完成对客户的细分和评价，作为支持上 层应用的基础。c c p 系统的逻辑机构如图3 2 所示 第三章客户关怀系统简介 决策 支持 麓固固 数据 模型 图国国 一一一一一一一窆篷坌多堡型蝗咀埋毫矍多! 璺e p o r t ) 一一埋坌煎垫里哩l 一一一一一一一一一一 数据 仓库 999 9 萋固固图团固囹 综合受理服务开通 统一客户资料 积分管理卡业务 1 0 0 0 0 系统 图3 - 2 3 3 客户关怀系统的功能框架和系统架构 功能框架 c c p 系统的目标是管理某电信公司所有存量客户，按照不同的业务概念及其 关系分三个层次对系统的功能进行分解和展现。这三层分别是：策划层，该层实 现关怀政策的设计、论证和评估；实现层，该层实现关怀策略的设计、论证、执 行和评估整个流程；支撑层，该层实现客户的细分和评价等。在此基础上，客户 关怀系统进一步分为六个模块( 如图3 3 所示) ，分别是：系统管理、我的关怀中 心、套餐管理、内部营销渠道管理、客户洞察、关怀业务处理。 系统管理：该功能模块主要负责客户关怀系统的日常管理和基础维护； 我的关怀中心：主要为关怀执行人员提供管理日常任务的功能、无需审批等 过程而发起关怀的功能以及查询客户和客户群的功能。 套餐管理：提供为某个特定的客户设计适合套餐，并进行评估和管理的功能。 内部营销渠道管理：该功能旨在为客户和相应的关怀执行人员建立关联，使 每一位客户都有相应的关怀执行人员对其进行关怀。 1 4 第三章客户关怀系统简介 客户洞察：该功能旨在通过对现有客户信息、客户消费信息、产品信息等数 据的挖掘和分析，甄别存量客户和流失客户，并将其划分到具体的客户群中。 关怀业务处理：该功能是在客户甄别的基础上，为不同客户群的客户制定相 应的关怀策略，并对该策略进行论证、执行和评估。 图3 3 系统架构 c c p 系统采用分层结构开发和设计，将界面、业务逻辑和数据分离，实现系 统内部松耦合，以灵活、快速地响应业务变化对系统的需求。系统层次结构划分 为数据层、信息服务构件层、应用逻辑构件层和控制层，通过各层次系统构件间 服务的承载关系，实现系统功能。 集成接口服务是系统开放给企业其他系统和公共支撑框架的接口服务，根据 企业集成架构规定的集成机制，通过适配器等技术实现内部的信息服务构件和业 务逻辑构件对企业应用集成的支持。系统之间也可以通过门户进行应用展现和控 制层的集成。c c p 系统的整体架构如图3 - 4 所示。 第三章客户关怀系统简介 1 6 第四章客户关怀系统需求分析 第四章客户关怀系统需求分析 需求分析是分析用户要解决的问题或要达到的目标，是最终建立解决方案的 第一步，获取需求的目的是对项目中描述的客户需求的普遍理解。一旦理解了需 求，分析人员、开发人员和客户就能探索出描述这些需求的多种解决方案。参与 需求获取的人员只有在它们理解了问题之后才能开始设计系统，否则，对需求定 义的任何更改，都会引起设计上甚至是开发中的大量返工。 在数据集市项目中，需求分析直接影响到集市建设的成败。通常情况下， 数据集市在很大程度上是根据需求来形成的。为了建立一个数据集市，首先要对 在数据集市上进行的分析有很多的了解。一旦这些需求已知，就可以将数据集市 建成一个最优的结构。反之，如果对数据集市的需求了解不清楚的话，不但无法 为将来的分析提供最优的结构，甚至无法为分析应用提供足够的信息。 c c p 数据集市的主要功能是为了支撑统计分析和数据挖掘。因此，c c p 数据 集市的需求分析需要从上层系统开始。首先分析上层系统的各种业务功能，依照 业务之间的逻辑关系找出最终和数据集市进行交互的核心业务；然后进一步分析 该业务的功能为数据集市的概念模型设计奠定基础。 4 1 客户关怀系统的整体业务分析 c c p 系统定位为分析型c r m ，其目标是为某省电信公司存量客户的管理活 动( 客户关怀活动) 提供业务支撑和数据分析支撑；业务支撑包括关怀策略的论 证、评估、关怀活动开展、人员管理等；数据分析支撑提供客户细分、客户预测 以及客户评价等功能以支持政策、策略的设计。 4 1 1 客户关怀系统的概念 c c p 系统中主要包括以下几种核心概念，这些概念是c c p 系统的业务基础， c c p 系统的所有功能都是围绕以下几个概念展开的。 客户群：客户群是具备某种共同特征的多个客户的集合。特征通常可分为两 类：第一，简单的可直接判断的特征。如使用的政策、所在的区域、所用的产品 及其组合等；第二，复杂的需要通过一定手段判断的特征。如通过数据挖掘或市 1 7 第四章客户关怀系统需求分析 场调研所判断的客户偏好、流失趋势及其组合等