数据仓库实施步骤与关键成功因素.ppt

1、数据仓库实施步骤与关键成功因素,3/16/2002,2,一、数据仓库实施方法论,3/16/2002,3,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘 服务,系统体系结构设计,元数据管理,解决方案集成,项目具体实施步骤,项目前期准备,业务探索,信息探索,逻辑数据 模型,二、项目具体实施步骤,1. 项目前期准备 2. 业务探索（Business Discovery) 3. 信息探索（Information Discovery) 4. 逻辑数据模型设计 5. 系统体系结构设计 6. 物理数据库设计 7. 数据转换加载ETL 8. 前端应用开发 9. 数据挖掘服务 10.元数据管理 11.

2、数据仓库管理（处理流程与操作） 12.解决方案集成（测试验收与试运行）,3/16/2002,4,2.1 项目前期准备,主要任务： 项目启动会议(Kick-off Meeting) 确认项目范围和主要目标 确认项目阶段性验收及总体验收标准 确认项目实施计划 成立项目组 确定各项目小组的成员及各自的工作职责 确定各项目小组的阶段性工作目标 确定教育训练计划 确定服务流程及方式 交付项目： 项目组织机构 项目人员组成,项目前期准备,业务探索,信息探索,逻辑数据 模型,3/16/2002,5,2.2 业务探索（Business Discovery),主要任务： 确定重点用户与数据源 用户需求调研与确认

3、 数据源确认 用户需求和数据源的筛选和分析 交付项目： 业务需求说明书BRL ( Business Requirement List ) 概念数据模型CDM （ Conceptual Data Model ),项目前期准备,业务探索,信息探索,逻辑数据 模型,3/16/2002,6,2.3 信息探索（Information Discovery),主要任务： 分析用户需求 数据源分析 进行工具评估 系统安全性设计 系统命名规范设计 交付项目： 功能需求列表FRL ( Function Requirement List ) 系统安全性设计说明书 系统命名规范说明书 数据质量分析,项目前期准备,业务

4、探索,信息探索,逻辑数据 模型,3/16/2002,7,2.4 逻辑数据模型设计,主要任务： 进行原始数据分析 建立实体模型 建立实体间依赖关系 完善并填入所有属性 建立数据库逻辑模型 利用工具： ERWin 交付项目： 数据仓库逻辑数据模型LDM 逻辑数据模型说明书,项目前期准备,业务探索,信息探索,逻辑数据 模型,3/16/2002,8,2.4 逻辑数据模型概念,逻辑数据模型是用来发现、记录和沟通业务的详细“蓝图”,基于概念数据模型（CDM） 由一系列表和实体详细描述组成 通用的业务语言 便于业务与业务之间的功能理解 集成当前和未来数据的蓝图 独立于技术 为物理数据库设计作准备 是IT人员

5、和业务人员沟通的工具,3/16/2002,9,2.4 逻辑数据模型(LDM)示例,3/16/2002,10,2.5 系统体系结构设计,主要任务： 对业务、技术环境及企业文化的充分了解，从技术、组织、教育和支持等方面对系统进行全面评估 定义业务驱动力 定义数据仓库成功的关键因素 定义数据仓库的实施原则 对系统体系结构各个组件进行详细设计 交付项目： 系统体系结构设计说明书,数据仓库管理,物理数据 模型,数据转换,应用开发,数据挖掘 服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,11,2.5 体系结构设计组件,用户类型 拓扑结构 网络存取与互连 组织机构 安全性 数据体系结

6、构 逻辑数据模型 元数据 数据质量 命名规范 数据采集与转换 用户存取及工具 备份系统 操作管理,3/16/2002,12,主要任务： 转换逻辑数据模型（LDM）为物理数据模型 定义主索引、次索引 非正则化处理（denormalizations） 数据库建立 设计优化 数据库功能测试 使用工具： ERWwin 交付项目： 物理数据模型（LDM） 物理数据模型说明书 数据库描述语言DDL,2.6 物理数据库设计,建模方法： 第三范式 3NF 星型结构 雪花状结构,数据仓库管理,物理数据 模型,数据转换,应用开发,数据挖掘 服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,13

7、,概念数据模型（ CDM Conceptual Data Model ） 主要实体和它们的关系 （Major Entities and Their Relationships） 逻辑数据模型 （ LDM - Logical Data Model ） 业务模型加（CDM Plus） : 所有的表及简单的数据（All Tables with Sample Data） 辅助的表及简单的数据（ Minor Tables with Sample Data ） 主键与外键的关系（ PK & FK Relationships ） 数据约束（ Constraints ） 属性（ Attributes ） 扩展

8、逻辑数据模型 （ELDM - Extended Logical Data Model ） 逻辑数据模型加（LDM Plus） : 存取详细描述（Access Demographics） 数据详细描述（Data Demographics） 物理数据模型 （ PDM - Physical Data Model ） 扩张逻辑数据模型（ELDM Plus）: 索引 （Indices） 非正则化 （Denormalization）,2.6 数据模型的演变,3/16/2002,14,非正则化的两种类型： 物理非正则化 派生数据 （Derived Data） 汇总表 （Summary Tables） 重复的

9、Groups ( Repeating Groups) 多物理表 （Multiple Physical Tables） 预连接 （Pre-joins） 子实体 （Sub-entities） 逻辑非正则化 视图 （Views） 逻辑星型结构 （Logical Star Schemas）,物理非正则化对模型的灵活性会有影响 逻辑非正则化是一个优选的方法（OLAP实现）,2.6 非正则化处理 ( Denormalization ),3/16/2002,15,2.6 物理数据模型（PDM）,3/16/2002,16,2.7 数据转换与加载（ETL）,主要任务： 数据源及其特性定义 数据析取、转换和加载策

10、略设计 构建和测试初始加载的程序和处理流程 构建和测试日常加载的程序和处理流程 40%的工作量在数据转换与加载上 使用工具： Teradata Builder、C、Shell、Perl 交付项目： 数据转换加载设计说明书 数据映射 （Data Mapping）说明书 数据转换加载脚本 （ ETL Scripts) 加载流程控制（ ETL Process Control),数据仓库管理,物理数据 模型,数据转换,应用开发,数据挖掘 服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,17,2.7 数据清洗方法,在源系统上进行清洗（数据析取前） 在加载服务器上进行清洗（数据析取后

11、、加载前） 在数据仓库里进行清洗（数据加载后）,源系统,ETL服务器,数据仓库,SQL, C, Sh,C, Sh,SQL,3/16/2002,18,2.7 数据转换常用手段,析取 Extracting 条件 Conditioning 剔除 Scrubbing 合并 Merging 浓缩 Enrichment 确认 Validating 加载 Loading 评分 Scoring 家庭关系识别 Householding,3/16/2002,19,2.8 前端应用开发,主要任务： 前端应用体系结构设计 OLAP应用设计(Summary/Fact表及Cub的产生） 前端应用开发（随机查询、预定义报表

12、、 OLAP应用） 撰写用户使用手册 用户测试验收 使用工具： 查询报表工具 OLAP工具（Brio,Cognos,MicroStrategy) 基于Web的开发工具(InterDev,ColdFusion) 其他开发工具,如: Portal 交付项目： 前端应用体系结构设计说明书 应用模块设计说明书 用户使用手册 ,数据仓库管理,物理数据 模型,数据转换,应用开发,数据挖掘 服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,20,2.9 数据挖掘服务,2. 知识应用(Knowledge Deployment): 将发现的知识应用于某种目标，例如进行预测,1. 知识发现 (

13、Knowledge Discovery): 发现将数据转变成信息的潜在模式,数据,知识,信息,决策 与行动,3/16/2002,21,2.9 数据挖掘方法,项目管理,知识转移,业务理解,体系结构 和 技术准备,数据理解 和 数据准备,分析建模 和 模型评估,知识应用,3/16/2002,22,2.9 数据挖掘常用算法及应用,神经网络 Neural Networks,聚类分析 Clustering,Open Accnt,Add New Product,Decrease Usage,?,Time,序列分析 Sequence Analysis,决策树 Decision Trees,倾向性分析,客户保

14、留 客户生命周期管理 目标市场 价格弹性分析,客户细分 市场细分,倾向性分析 客户保留 目标市场 欺诈检测,关联分析 Association,市场组合分析 套装产品分析 目录设计 交叉销售,3/16/2002,23,2.10 元数据管理,元数据(Metadata) 是指关于数据的数据，即用来描述数据的类型、来源、定义、存储位置，使得业务用户可以正确地使用数据仓库。,主要任务： 定义元数据使用功能 设计元数据环境逻辑结构 设计元数据环境物理结构 选择合适的元数据管理工具 建立元数据仓库（Metadata Repository) 建立和测试元数据接口 使用工具： Teradata Metadata

15、 Service 交付项目： 元数据管理说明书,数据仓库管理,物理数据 模型,数据转换,应用开发,数据挖掘 服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,24,2.10 元数据开发,元数据的开发应该包含在数据仓库实施过程的每一步骤中，下图是元数据各部分内容与数据仓库开发过程的对应关系：,3/16/2002,25,2.11 数据仓库管理,主要任务： 设计和开发数据仓库支持体系结构 开发和测试数据仓库日常运作流程 开发和测试性能监视程序 开发和测试数据备份与恢复程序 开发和测试安全系统 设计和开发操作人员/最终用户培训计划 建立用户支持和培训材料 使用工具： 系统监控工具和

16、管理工具 交付项目： 数据仓库管理过程说明书 数据备份过程设计说明书 安全管理模块设计说明书 用户培训计划及用户使用手册,数据仓库管理,物理数据 模型,数据转换,应用开发,数据挖掘 服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,26,2.12 解决方案集成(系统验收与试运行),主要任务： 建立并执行集成测试计划 建立并执行数据仓库平台测试计划 建立并执行系统验收测试计划 移植开发系统到生产系统 执行用户培训计划 实施数据仓库管理基础设施 项目实施完成 回顾项目状态 交付项目： 数据转换管理系统测试报告 数据访问和信息发布系统测试报告 数据仓库平台测试报告 数据仓库管理过程测试报告 系统回顾报告,数据仓库管理,物理数据 模型,数据转换,应用开发,数据挖掘 服务,系统体系结构设计,元数据管理,解决方案集成,3/16/2002,27,Business Discovery (业务探索) 业务需求说明书(BRL) 概念数据模型(CDM),物理数据库设计 物理数据模型 (PDM) 数据库描述语言(DDL) 数据转换加载(ETL) 数据加载设计说明书 数据映射 （Data Mapping) 转换加载脚本 （ ETL Scripts) 加载流程控制（ ETL Control) 前端应用设计 前端应用体系结构 前端应用设计