客户关系管理第章2

第6章

CRM中的数据管理数据仓库（datawarehouse）与数据挖掘（datamining）6.1数据仓库的基本原理数据仓库的兴起1.“数据太多，信息不足”的现状2.异构环境的数据源据美国《幸福》杂志所列的全球2000家大公司中已有90%将Internet网络和数据仓库这两项技术列入企业计划。数据仓库是1995年开始盛行起来的。6.1.1数据仓库的概念（1）W.H.Inmon在《建立数据仓库》一书中，对数据仓库的定义为：数据仓库是面向主题的、集成的、稳定的，不同时间的数据集合，用于支持经营管理中决策制定过程。（2）SAS软件研究所定义：数据仓库是一种管理技术，旨在通过通畅、合理、全面的信息管理，达到有效的决策支持。

传统数据库用于事务处理，也叫操作型处理，是指对数据库联机进行日常操作，即对一个或一组记录的查询和修改，主要为企业特定的应用服务的。用户关心的是响应时间，数据的安全性和完整性。数据仓库用于决策支持，也称分析型处理，用于决策分析，它是建立决策支持系统（DSS）的基础。操作型数据（DB数据）与分析型数据（DW数据）之间的差别为：数据仓库特点（1）数据仓库是面向主题的主题是数据归类的标准，每一个主题基本对应一个宏观的分析领域。例如，银行的数据仓库的主题：客户DW的客户数据来源：从银行储蓄DB、信用卡DB、贷款DB等三个DB中抽取同一客户的数据整理而成。在DW中分析客户数据，可决定是否继续给予贷款。传统的数据库是面向应用而进行数据组织的，其抽象程度不够高，没有完全实现数据与应用的分离。但这种方式能较好地将企业业务活动与数据库模式相对应，利于从手工处理向计算机处理过渡，因而具有较好的可操作性；数据仓库是面向主题而进行数据组织的。主题是一个在较高层次上对数据的抽象，在逻辑意义上，它是对企业中某一宏观领域所涉及的分析对象，即将数据组织成主题域。面向主题汽车人寿健康意外伤亡操作性环境应用顾客保险单保险费索赔数据仓库主题（2）数据仓库是集成的数据进入数据仓库之前，必须经过加工与集成。对不同的数据来源进行统一数据结构和编码。统一原始数据中的所有矛盾之处，如字段的同名异义，异名同义，单位不统一，字长不一致等。将原始数据结构做一个从面向应用到面向主题的大转变。数据库库应用Am,f应用B1,0应用Cx,y应用D男男，女女数据仓仓库m,f编码应用A管管道cm应用B管管道inches应用C管管道mcf应用D管管道yds管道cm属性度度量应用A描描述应用B描描述应用C描描述应用D描描述应用Achar(10)应用Bdecfixed(9,2)应用Cpic‘‘9999999’’应用Dchar(12)多重信信息源源？描述char(12)冲突的的键码码集成（3））数据据仓库库是稳稳定/非易易失的的操作型型数据据库中中的数数据通通常实实时更更新，，数据据根据据需要要及时时发生生变化化。数数据仓仓库的的数据据主要要供企企业决决策分分析之之用，，所涉涉及的的数据据操作作主要要是数数据查查询，，一旦旦某个个数据据进入入数据据仓库库以后后，一一般情情况下下将被被长期期保留留，也也就是是数据据仓库库中一一般有有大量量的查查询操操作，，但修修改和和删除除操作作很少少，通通常只只需要要定期期的加加载、、刷新新。非易失失性插入删除插入修改删除访问修改访问数据的的逐个个记录录方式式处理理数据的的批量量载入入/访访问数据库库数据仓仓库（4））数据据仓库库是反反映时时间变变化的的操作型型数据据库主主要关关心当当前某某一个个时间间段内内的数数据，，而数数据仓仓库中中的数数据通通常包包含历历史信信息，，系统统记录录了企企业从从过去去某一一时点点(如如开始始应用用数据据仓库库的时时点)到目目前的的各个个阶段段的信信息，，通过过这些些信息息，可可以对对企业业的发发展历历程和和未来来趋势势做出出定量量分析析和预预测。。数据仓仓库中中的数数据时时间期期限要要远远远长于于操作作型系系统中中的数数据时时间期期限。。操作作型系系统的的时间间期限限一般般是60～90天，，而数数据仓仓库中中数据据的时时间期期限通通常是是5～～10年年。操作型型数据据库含含有““当前前值””的数数据，，这些些数据据的准准确性性在访访问时时是有有效的的，同同样当当前值值的数数据能能被更更新。。而数数据仓仓库中中的数数据仅仅仅是是一系系列某某一时时刻生生成的的复杂杂的快快照。。操作型型数据据的键键码结结构可可能包包含也也可能能不包包含时时间元元素，，如年年、月月、日日等。。而数数据仓仓库的的键码码结构构总是是包含含某时时间元元素。。数据据仓库库的数数据码码键都都包含含时间间项，，用作作标明明数据据的历历史时时期。。数据据仓库库中的的数据据包含含有大大量综综合数数据，，很多多与时时间有有关，，如按按时间间段进进行综综合或或隔时时间片片进行行抽样样。随随着时时间变变化，，数据据仓库库需要要不断断增加加新数数据、、删去去旧数数据。。数据库库数据仓仓库时间期期限：：当前前到60——90天记录更更新键码结结构可可能包包括也也可能能不包括时时间元元素时间期期限：：5——10年数据的的复杂杂快照照键码结结构包包括时时间元元素（5））DW中数数据量量大。。大型DW是是一个个TB（1000GB））级数数据库库问题题（一一般为为10GB级相相当于于一般般数据据库100MB的100倍））需要一一个巨巨大的的硬件件平台台需要一一个并并行的的数据据库系系统最好的的数据据仓库库是大大的和和昂贵贵的。。（6））是信信息的的概括括和聚聚集。。操作性性数据仓仓库JJones女1945年年7月月20日。。。。。。。JJones去年有有两张张罚单单一次大大事故故。。。。。。。JJonesMain大大街123号已婚。。。。。。JJones两个孩子高血压。。。。。。人寿保险汽车保险房产保险健康保险JJones女1945年年7月20日出生去年两张罚罚单一次大事故故已婚两个孩子高血压。。。。。。。顾客6.1.2数据据仓库中的的数据组织织1数据据的粒度2数据据仓库的数数据组织结结构3数据据的分割4数据据仓库的数数据组织形形式5数据据仓库的数数据组织模模式6数据据的追加1粒度粒度——是是指数据仓仓库的数据据单位中保保存数据的的细化或总总合程度的的级别。细化程度越越高，粒度度级就越小小；

细化化程度越低低，粒度级级就越大。。粒度——细细节的级别别粒度的划分分决定了数数据仓库中中数据量的的大小和查查询的详细细程度。多重粒度粒度的一个个例子高细化低细化每月200个记录每月40,000个个字节每月一个记记录每月200个字节通过检索可以回答无细节无法回答询问某一电话的细节近期基本数数据：是最近时期期的业务数数据，是数数据仓库用用户最感兴兴趣的部分分，数据量量大。历史基本数数据：近期基本数数据随时间间的推移，，由数据仓仓库的时间间控制机制制转为历史史基本数据据。轻度综合数数据：是从近期基基本数据中中提取出的的，这层数数据是按时时间段选取取，或者按按数据属性性（attributes））和内容（（contents）进行综综合。高度综合数数据层：这一层的数数据是在轻轻度综合数数据基础上上的再一次次综合，是是一种准决决策数据。。2数据仓仓库的数据据组织结构构2数据仓仓库的数据据组织结构构元数据高度综合级级轻度综合级级(数据集市市)销售细节级级2000-2001操作型转换换早期细节级级每月销售1994-2001每周销售1994-2001当前细节级级销售细节级级1994-19993分割分割——将将当前细节节数据分散散到各自的的物理单元元中去以便便能分别独独立处理，，以提高数数据处理效效率。分片——数数据分割后后的独立单单元。数据的分割割提高了数据据管理的灵灵活性重构、索引引、重组、、恢复、监监控分割的标准准：日期、、地域、业业务领域。。分割的一个个例子分片9分片8分片72001分片6分片5分片42000分片3分片2分片11999事故保险生命保险健康保险4数据仓仓库的数据据组织形式式简单堆积数数据轮转综合数数据简化直接数数据连续数据简单堆积文文件1月1日1月月2日1月3日……2月1日2月月2日2月3日日……3月1日3月月2日3月3日……………………轮转综合文文件星期一星星期期二……星期天第一周第第二周周……第五周一月二二月……十二月………………简化直接文文件数据库快照照姓名顾顾客客号地地址址张平C960100北北京京王珂C960101上上海海刘辉C960102天天津津李强C960103成成都都...一月份顾客客表操作性数据据生成简化直直接文件连续文件姓名顾顾客客号地地址址张平C020100北北京京王珂C020101上上海海张顺C020102天天津津李强C020103成成都都姓名顾顾客客号地地址址张平C020100北北京京王