数据仓库BI实施方法论专题培训课件

数据仓库BI实施方法论实现功能实施计划总体目标成功因素组织架构议程2基本情况项目名称：湖北电信经营分析与决策支持系统项目周期：启动时间－2007年01月08日（暂定）初验时间－2008年02月29日终验时间－2008年08月29日项目范围：地域跨度－省公司＋17个本地网时间跨度－06年本地网老系统数据＋BOSS上线后所有数据数据跨度－省公司：BOSS、结算、渠道、财务、综合统计本地网：97、计费、10000号HOT3?规划解决方案支持数据仓库管理(处理流程与操作)物理数据库设计数据转换应用开发数据挖掘服务设计与实现支持与增强解决方案体系结构设计元数据管理数据仓库评估应用增强逻辑数据模型回顾物理数据库回顾性能调整容量规划解决方案集成定制解决方案规划详细数据分析解决方案准备就绪解决方案实施建议现成解决方案规划数据仓库策略开发业务探索业务探索解决方案定义逻辑数据模型设计修改逻辑数据模型验证解决方案数据仓库的循环过程NCR数据仓库实施方法论4数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成项目具体实施步骤项目前期准备业务探索信息探索逻辑数据模型1.项目前期准备2.业务探索（BusinessDiscovery)3.信息探索（InformationDiscovery)4.逻辑数据模型设计5.系统体系结构设计6.物理数据库设计7.数据转换加载ETL8.前端应用开发9.数据挖掘服务10.元数据管理11.数据仓库管理（处理流程与操作）12.解决方案集成（测试验收与试运行）项目具体实施步骤5主要任务：项目启动会议(Kick-offMeeting)确认项目范围和主要目标确认项目阶段性验收及总体验收标准确认项目实施计划成立项目组确定各项目小组的成员及各自的工作职责确定各项目小组的阶段性工作目标确定教育训练计划确定服务流程及方式交付项目：《项目组织机构》《项目人员组成》项目前期准备业务探索信息探索逻辑数据模型1.项目前期准备6主要任务：确定重点用户与数据源用户需求调研与确认数据源确认用户需求和数据源的筛选和分析交付项目：《业务需求说明书

BRL(BusinessRequirementList)》

项目前期准备业务探索信息探索逻辑数据模型2.业务探索7主要任务：分析用户需求数据源分析进行工具评估系统安全性设计系统命名规范设计交付项目：《系统安全性设计说明书》《系统命名规范说明书》《数据质量分析》项目前期准备业务探索信息探索逻辑数据模型3.信息探索8主要任务：进行原始数据分析建立实体模型建立实体间依赖关系完善并填入所有属性建立数据库逻辑模型利用工具：

ERWin交付项目：《功能需求列表FRL(FunctionalRequirementList)》数据仓库逻辑数据模型LDM《逻辑数据模型说明书》项目前期准备业务探索信息探索逻辑数据模型建模方法：

第三范式3NF4.逻辑数据模型设计94.逻辑数据模型设计实例10主要任务：源系统现况NCR可扩展数据仓库框架结构定义数据仓库成功的关键因素定义数据仓库的实施原则对系统体系结构各个组件进行详细设计交付项目：《系统体系结构设计说明书》数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成5.系统体系架构设计11用户类型拓扑结构网络存取与互连组织机构安全性数据体系结构逻辑数据模型元数据数据质量命名规范数据采集与转换用户存取及工具备份系统操作管理5.系统体系架构设计内容12主要任务：转换逻辑数据模型（LDM）为物理数据模型定义主索引、次索引非正规化处理（demoralizations）数据库建立设计优化数据库功能测试使用工具：ERWin交付项目：物理数据模型（PDM）《物理数据模型说明书》《数据库描述语言DDL》数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成6.物理数据模型设计136.物理数据模型设计实例14主要任务：数据源及其特性定义数据析取、转换和加载策略设计构建和测试初始加载的程序和处理流程构建和测试日常加载的程序和处理流程60%～70%的工作量在数据转换与加载上使用工具：Teradata数据加载实用程序、C、Ksh、Perl交付项目：《数据转换加载设计说明书》《数据映射（DataMapping）说明书》

数据转换加载脚本（ETLScripts)

加载流程控制（ETLProcessControl)数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成7.数据抽取转换与加载（ETL）15主要任务：前端应用体系结构设计OLAP应用设计(Summary/Fact表及Cube的产生）前端应用开发（随机查询、预定义报表、OLAP应用）撰写用户使用手册用户测试验收使用工具：查询报表工具OLAP工具（Brio,Cognos,MicroStrategy…)基于Web的开发工具(InterDev,ColdFusion…)其他开发工具交付项目：《前端应用体系结构设计说明书》《应用模块设计说明书》《用户使用手册》数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成8.前端应用开发16知识发现和知识应用-找到隐藏在数据背后的信息，并将发现的知识应用于某种目标主要任务：业务理解和需求理解数据挖掘体系结构设计和技术准备数据理解和数据准备分析建模和模型评估知识应用和知识转移使用工具：TeradataWarehouseMinerSASClementine交付项目：《数据挖掘需求说明书》《分析模型设计说明书》分析模型及分析过程数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成9.数据挖掘服务17Teradata数据挖掘方法论选择&抽样模型评估&验证建模数据探索&数据转换数据清洗&预处理确定&理解业务问题数据的后续处理知识预备建模18元数据(Metadata)是指关于数据的数据，即用来描述数据的类型、来源、定义、存储位置，使得业务用户可以正确地使用数据仓库。主要任务：定义元数据使用功能设计元数据环境逻辑结构设计元数据环境物理结构选择合适的元数据管理工具建立元数据仓库（MetadataRepository)建立和测试元数据接口使用工具：TeradataMetadataService交付项目：《元数据管理说明书》数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成10.元数据管理19主要任务：设计和开发数据仓库支持体系结构开发和测试数据仓库日常运作流程开发和测试性能监视程序开发和测试数据备份与恢复程序开发和测试安全系统设计和开发操作人员/最终用户培训计划建立用户支持和培训材料使用工具：系统监控工具和管理工具交付项目：《数据仓库管理过程说明书》《数据备份过程设计说明书》《安全管理模块设计说明书》《用户培训计划》及《用户使用手册》数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成11.数据仓库管理20主要任务：建立并执行集成测试计划建立并执行数据仓库平台测试计划建立并执行系统验收测试计划移植开发系统到生产系统执行用户培训计划实施数据仓库管理基础设施项目实施完成回顾项目状态交付项目：《数据转换管理系统测试报告》《数据访问和信息发布系统测试报告》《数据仓库平台测试报告》《数据仓库管理过程测试报告》数据仓库管理物理数据模型数据转换应用开发数据挖掘服务系统体系结构设计元数据管理解决方案集成12.解决方案集成（验收与运行）21Methodology进度需求成本风险风险项目客户期望NCR业务目标项目管理环境在客户的期望值和NCR所要达成的业务目标中之间持续进行平衡在需求、进度和成本三者同时制约条件下交付项目成果。数据仓库项目管理22方法论本地化

ProjectManagementStrategyIntegrateAnalyzeResearchDesignBuildEquipManageIterateDataMappingApplicationRequirementInfrastructure&EducationLogicalModelBusinessValueInformationSourcingOpportunityAssessmentEnterpriseAssessmentValueAssessmentUserTrainingProductionInstallComponentsforTestingInitialDataSystemTestAcceptanceTestingCustomComponentSystemArchitectureTestPlanPackageAdaptationEducationPlanUserCurriculumInformationExploitationPhysicalDatabaseOperationalApplicationsECTLApplicationBackup&RecoveryAvailabilitySLAHW/SWUpgradeSystemPerformanceSystemDBABusinessContinuityCapacityPlanningSolutionArchitectDataMigrationSupportManagementHardwareInstallationOperationalMentoringSoftwareInstallationTechnicalEducationSystemRelocationTSM5.0以TSM5.0为基础；在项目实施过程中总结出9个关键过程域（KPA:KeyProcessArea）：可操作性可借鉴性可扩展性HNTCXJTCZJTCHNTC业务探索分析数据模型设计体系架构设计信息探索分析抽取加载转换数据质量保证前端应用开发