数据仓库实施步骤与关键成功因素

1、数据仓库实施步骤与关键成功因素数据仓库实施步骤与关键成功因素3/16/20022一、数据仓库实施方法论?规划规划解决方案支持数据仓库管理(处理流程与操作)物理数据库设计数据转换应用开发数据挖掘服务设计与实现设计与实现支持与增强支持与增强解决方案体系结构设计元数据管理数据仓库评估应用增强逻辑数据模型回顾物理数据库回顾性能调整容量规划解决方案集成定制解决方案规划详细数据分析解决方案准备就绪解解决决方方案案实实施施建建议议现成解决方案规划数数据据仓仓库库策策略略开开发发业务探索业务探索解决方案定义逻辑数据模型设计修改逻辑数据模型验证解决方案数据仓库的循环过程3/16/20023数据仓库管理物理数据模

2、型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成项目具体实施步骤项目前期准备业务探索信息探索逻辑数据模型二、项目具体实施步骤1. 项目前期准备2. 业务探索（Business Discovery)3. 信息探索（Information Discovery)4. 逻辑数据模型设计5. 系统体系结构设计6. 物理数据库设计7. 数据转换加载ETL8. 前端应用开发9. 数据挖掘服务10.元数据管理11.数据仓库管理（处理流程与操作）12.解决方案集成（测试验收与试运行）3/16/200242.1 项目前期准备主要任务：主要任务： 项目启动会议(Kick-off Meeting)

3、 确认项目范围和主要目标 确认项目阶段性验收及总体验收标准 确认项目实施计划 成立项目组 确定各项目小组的成员及各自的工作职责 确定各项目小组的阶段性工作目标 确定教育训练计划 确定服务流程及方式 交付项目：交付项目：项目组织机构项目人员组成 项目前期准备业务探索信息探索逻辑数据模型3/16/200252.2 业务探索（Business Discovery)主要任务：主要任务： 确定重点用户与数据源 用户需求调研与确认 数据源确认 用户需求和数据源的筛选和分析 交付项目：交付项目：业务需求说明书BRL ( Business Requirement List )概念数据模型CDM （ Conce

4、ptual Data Model ) 项目前期准备业务探索信息探索逻辑数据模型3/16/200262.3 信息探索（Information Discovery)主要任务：主要任务： 分析用户需求 数据源分析 进行工具评估 系统安全性设计 系统命名规范设计交付项目：交付项目：功能需求列表FRL ( Function Requirement List )系统安全性设计说明书 系统命名规范说明书数据质量分析项目前期准备业务探索信息探索逻辑数据模型3/16/200272.4 逻辑数据模型设计主要任务：主要任务： 进行原始数据分析 建立实体模型 建立实体间依赖关系 完善并填入所有属性 建立数据库逻辑模型

5、 利用工具：利用工具： ERWin交付项目：交付项目： 数据仓库逻辑数据模型LDM逻辑数据模型说明书项目前期准备业务探索信息探索逻辑数据模型3/16/200282.4 逻辑数据模型概念逻辑数据模型是用来发现、记录和沟通业务的详细逻辑数据模型是用来发现、记录和沟通业务的详细“蓝图蓝图”基于概念数据模型（CDM）由一系列表和实体详细描述组成通用的业务语言便于业务与业务之间的功能理解集成当前和未来数据的蓝图独立于技术为物理数据库设计作准备是IT人员和业务人员沟通的工具发现发现属性属性发现发现关系关系发现发现实体实体1. 业务规则业务规则2. ER图图3. ERA建模建模3/16/200292.4 逻

6、辑数据模型(LDM)示例3/16/2002102.5 系统体系结构设计主要任务：主要任务：1. 对业务、技术环境及企业文化的充分了解，从技术、组织、教育和支持等方面对系统进行全面评估2. 定义业务驱动力3. 定义数据仓库成功的关键因素4. 定义数据仓库的实施原则5. 对系统体系结构各个组件进行详细设计交付项目：交付项目：系统体系结构设计说明书数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成3/16/2002112.5 体系结构设计组件用户类型拓扑结构网络存取与互连组织机构安全性数据体系结构-逻辑数据模型-元数据-数据质量-命名规范数据采集与转换用户存取

7、及工具备份系统操作管理3/16/200212主要任务：主要任务：转换逻辑数据模型（LDM）为物理数据模型定义主索引、次索引非正则化处理（denormalizations）数据库建立设计优化数据库功能测试使用工具：使用工具：ERWwin交付项目：交付项目： 物理数据模型（LDM） 物理数据模型说明书 数据库描述语言DDL2.6 物理数据库设计建模方法：建模方法： 第三范式 3NF 星型结构 雪花状结构数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成3/16/200213概念数据模型概念数据模型（ CDM Conceptual Data Model CDM

8、 Conceptual Data Model ） 主要实体和它们的关系 （Major Entities and Their Relationships）逻辑数据模型逻辑数据模型 （ LDM - Logical Data Model LDM - Logical Data Model ） 业务模型加（CDM Plus） : 所有的表及简单的数据（All Tables with Sample Data） 辅助的表及简单的数据（ Minor Tables with Sample Data ） 主键与外键的关系（ PK & FK Relationships ） 数据约束（ Constraints

9、 ） 属性（ Attributes ）扩展逻辑数据模型扩展逻辑数据模型 （ELDM - Extended Logical Data Model ELDM - Extended Logical Data Model ） 逻辑数据模型加（LDM Plus） : 存取详细描述（Access Demographics） 数据详细描述（Data Demographics）物理数据模型物理数据模型 （ PDM - Physical Data Model PDM - Physical Data Model ） 扩张逻辑数据模型（ELDM Plus）: 索引 （Indices） 非正则化 （Denormali

10、zation）2.6 数据模型的演变3/16/200214非正则化的两种类型：v 物理非正则化 派生数据 （Derived Data） 汇总表 （Summary Tables） 重复的Groups ( Repeating Groups) 多物理表 （Multiple Physical Tables） 预连接 （Pre-joins） 子实体 （Sub-entities）v 逻辑非正则化 视图 （Views） 逻辑星型结构 （Logical Star Schemas）F 物理非正则化对模型的灵活性会有影响F 逻辑非正则化是一个优选的方法（OLAP实现）2.6 非正则化处理 ( Denormaliz

11、ation )3/16/2002152.6 物理数据模型（PDM）3/16/2002162.7 数据转换与加载（ETL）主要任务：主要任务：数据源及其特性定义数据析取、转换和加载策略设计构建和测试初始加载的程序和处理流程构建和测试日常加载的程序和处理流程40%的工作量在数据转换与加载上使用工具：使用工具：Teradata Builder、C、Shell、Perl交付项目：交付项目： 数据转换加载设计说明书 数据映射 （Data Mapping）说明书 数据转换加载脚本 （ ETL Scripts) 加载流程控制（ ETL Process Control)数据仓库管理物理数据模型数据转换应用开发

12、数据挖掘服务系统体系结构设计元数据管理解决方案集成3/16/2002172.7 数据清洗方法1) 在源系统上进行清洗（数据析取前）2) 在加载服务器上进行清洗（数据析取后、加载前）3) 在数据仓库里进行清洗（数据加载后）源系统ETL服务器数据仓库SQL, C, ShC, ShSQL3/16/2002182.7 数据转换常用手段 析取 Extracting 条件 Conditioning 剔除 Scrubbing 合并 Merging 浓缩 Enrichment 确认 Validating 加载 Loading 评分 Scoring 家庭关系识别 Householding3/16/2002192

13、.8 前端应用开发主要任务：主要任务：前端应用体系结构设计OLAP应用设计(Summary/Fact表及Cub的产生）前端应用开发（随机查询、预定义报表、 OLAP应用）撰写用户使用手册用户测试验收使用工具：使用工具：查询报表工具OLAP工具（Brio,Cognos,MicroStrategy)基于Web的开发工具(InterDev,ColdFusion)其他开发工具,如: Portal交付项目：交付项目： 前端应用体系结构设计说明书 应用模块设计说明书 用户使用手册 数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成3/16/2002202.9 数据挖

14、掘服务2. 知识应用知识应用(Knowledge Deployment): 将发现的知识应用于某种目标，例如进行预测1. 知识发现知识发现 (Knowledge Discovery):发现将数据转变成信息的潜在模式数据数据知识知识信息信息决策决策与行动与行动3/16/2002212.9 数据挖掘方法项目管理知识转移业务理解业务理解体系结构体系结构和和技术准备技术准备数据理解数据理解和和数据准备数据准备分析建模分析建模和和模型评估模型评估知识应用知识应用Teradata DatabaseData Mining & OLAP AssistsTeraMinerDebt$40KSQL3/16/

15、2002222.9 数据挖掘常用算法及应用Debt$40KQ QQ QQ QQ QI II I1 12 23 34 45 56 6factor 1factor 2factor n神经网络神经网络 Neural NetworksNeural Networks聚类分析聚类分析 ClusteringClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析序列分析 Sequence AnalysisSequence Analysis决策树决策树 Decision TreesDecision Trees 倾向性分析 客户保留 客户生命周期管理 目标市

16、场 价格弹性分析 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析关联分析 AssociationAssociation 市场组合分析 套装产品分析 目录设计 交叉销售3/16/2002232.10 元数据管理元数据元数据( (Metadata)Metadata) 是指关于数据的数据是指关于数据的数据，即用来描述数据的类型、，即用来描述数据的类型、来源、定义、存储位置，使得业务用户可以正确地使用数据仓库。来源、定义、存储位置，使得业务用户可以正确地使用数据仓库。 主要任务：主要任务：定义元数据使用功能设计元数据环境逻辑结构设计元数据环境物理结构选择合适的元数据管理工具建立元

17、数据仓库（Metadata Repository)建立和测试元数据接口使用工具：使用工具：Teradata Metadata Service交付项目：交付项目： 元数据管理说明书数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成3/16/200224元数据内容项目活动数据描述信息探索数据采集数据定义逻辑数据模型数据采集数据所有权数据源逻辑模型逻辑数据模型化业务规则逻辑数据模型.转换物理模型物理数据模型化历史时间维度物理数据模型化数据加载数据质量标准数据转换数据加载2.10 元数据开发元数据的开发应该包含在数据仓库实施过程的每一步骤中，下图是元数据各部分内

18、容与数据仓库开发过程的对应关系： 3/16/2002252.11 数据仓库管理主要任务：主要任务：设计和开发数据仓库支持体系结构开发和测试数据仓库日常运作流程开发和测试性能监视程序开发和测试数据备份与恢复程序开发和测试安全系统设计和开发操作人员/最终用户培训计划建立用户支持和培训材料使用工具：使用工具：系统监控工具和管理工具交付项目：交付项目： 数据仓库管理过程说明书 数据备份过程设计说明书 安全管理模块设计说明书 用户培训计划及用户使用手册数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成3/16/2002262.12 解决方案集成(系统验收与试运行)主要任务：主要任务：建立并执行集成测试计划建立并执行数据仓库平台测试计划建立并执行系统验收测试计划移植开发系统到生产系统执行用户培训计划实施数据仓库管理基础设施项目实施完成回顾项目状态交付项目：交付项目： 数据转换管理系统测试报告 数据访问和信息发布系统测试报告 数据仓库平台测试报告 数据仓库管理过程测试报告 系统回顾报告数据仓库管理物理数据模型数据转换应用开发数据