基于ODSB架构的数据仓库培训教材

基于ODSB架构的数据仓库培训1提纲数据仓库基本概念数据仓库的相关技术ODSB模型基于ODSB模型的汇总区ODSB模型架构基于总行ODSB架构的实施流程2

数据仓库基本概念—名词解释数据仓库：数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，它用于对管理决策过程的支持。主题：是指用户使用数据仓库进行决策时所关心的重点方面，如：收入、客户、销售渠道等；所谓面向主题，是指数据仓库内的信息是按主题进行组织的，而不是像业务支撑系统那样是按照业务功能进行组织的。集成：是指数据仓库中的信息不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理和汇总的过程，因此数据仓库中的信息是关于整个企业的一致的全局信息。随时间变化：是指数据仓库内的信息并不只是反映企业当前的状态，而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。3数据仓库的特点效率足够高：数据仓库的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，目前普遍的数据展现方式为T+1，即当日处理昨日的业务数据。数据质量：基于数据仓库的应用所面对的一般为企业决策层用户，所以对数据仓库提供的各种信息，肯定要准确的数据；但由于数据源有脏数据或者代码不严谨，所以数据仓库流程通常分为多个步骤，包括数据抽取，清洗，转换，装载，查询，展现等等；其中数据清洗则主要对抽取过来各数据源的脏数据和不规范数据进行统一标准化。扩展性：有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，未来不用花太多时间去重建数据仓库系统，就能很稳定运行。主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于因为数据源的变动而导致用户应用功能的频繁变动。

4数据仓库的相关技术5数据仓库的相关技术-数据处理DataStage：是由IBM公司开发的，是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据仓库目标数据库的集成工具。DataStage能够处理多种数据源的数据，包括各种数据库系统及普通文件系统等。优点是对于多数据源中的数据处理和文本数据可以通过简单的配置轻松的实现；缺点是对于需要复杂业务逻辑运算的数据处理比较繁琐，可读性较差。Pro*C：ORACLE支持的通过在过程化编程语言C/C++中嵌入SQL语句而开发出的应用程序。优点是C语言的逻辑控制能力强；缺点是可移植性差，有指针引起的内存泄露隐患。存储过程：存储过程（StoredProcedure）是在大型数据库系统中，一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给出参数（如果该存储过程带有参数）来执行它。优点是存储过程是编译过的，执行快，写程序简单，升级、维护方便；缺点是可移植性差，编程语言SQL功能较差，对文件的处理比较弱。6数据仓库的相关技术-数据展现Cognos：IBM公司的BI产品，主要提供固定报表，灵活报表，仪表盘，多维分析等展现工具为企业提供提供完整的业务智能功能的解决方案。RIDE：建行自主研发的报表集成开发环境的简称，它主要为了屏蔽各种BI工具的差异性保证信息展示风格一致，提供面向用户的逻辑系统以实现个性化的信息展示。7数据仓库的相关技术-数据挖掘数据挖掘工具可分为数据挖掘工具及文本挖掘工具，它的核心是具有多元化的数据访问能力，强大的数据处理能力，丰富的数据模型以及直观的数据展现能力。8ODSB模型总账（5张表）协议（188张表）团体（49张表）事件（120张表）渠道（11张表）产品（30张表）公用（58张表）扩展区（7张表）9基于ODSB模型的汇总总行汇总区

账户层面的日交易汇总、月汇总信息，总行已经考虑了各分行的共同应用需求，已经在ODSB公共汇总层进行。分行汇总区

如果各分行的一些公共应用在现有的总行汇总区中不能满足，如客户层面的汇总、机构层面的汇总，则可提炼出公共的要素，将在分行的数据平台的公共汇总层进行统一加工，为各管理信息系统使用。10ODSB模型架构11基于总行ODSB架构的实施流程根据ODSB及管理分析类应用项目的实施特点，以及在ODSB建设过程中的经验和成果，将其项目实施过程分为8个阶段，分别是：重点对需求分析阶段、模型设计阶段、ETL设计开发阶段、前端展现开发阶段的实施工艺流程作重点介绍对于前期准备阶段、系统测试阶段、上线运行阶段和项目收尾阶段的工作，各分行可以根据本分行和总行已有项目管理制度规范等来实施、完成12需求分析阶段—主要任务展现分析根据收集的业务需求，进行展现层面的分析，并进行展现形式的分类。例如划分为明细数据查询类报表需求，分析类报表需求，复杂报表需求等，对应用的功能性和非功能性需求进行分析，根据报表的展现方式分析报表的业务角度和度量。数据源分析对展现的报表、查询等数据需求进行数据来源和加工业务口径方面分析区分可从源系统（包括ODSB数据模型和分行特色系统）采集的数据和源系统中无法采集，需外部录入的数据。需求分类/整理从技术层面和业务层面上对需求进行分类/整理工作。在技术层面，结合展现分析和数据源分析成果，对业务需求从其数据源头（数据源）、中间加工过程（业务加工口径）、到实现目标（展现功能性需求与非功能性需求）进行综合整理；在业务层面，进行需求的整体规划，划分需求模块，必要的时候能用DEMO的方式与需求提成部门确认需求。需求评审在完成需求分类/整理任务后，需求分析说明书完稿，由项目发起部门召集相关业务部门联系人，召开需求评审会议。13需求分析阶段—投入产出物输入前期准备阶段文档模板_需求说明书.doc输出&主要提交物需求分析阶段文档模板_01报表功能需求分析说明书.doc需求分析阶段文档模板_02报表数据需求分析说明书.doc需求分析阶段文档模板_03数据源分析报告.doc14模型设计阶段—主要任务模型设计分析根据展现分析和数据源分析结果，确认当前模型对需求的满足情况，满足则说明如何实现需求，不满足时则提出扩充模型（总行统一模型和分行特色模型）的申请，使得ODSB模型能够更好的为分行应用提供服务，同时本阶段产生的分析结果文档可以为后续模型设计任务提供工作依据，为ETL设计提供参考。特色模型逻辑设计MDM模型设计,特色ADM模型设计,特色FDM模型设计模型数据质量检核规则设计根据业务规则和模型设计结果进行数据质量检核规则设计。模型设计评审物理模型设计模型优化设计15模型设计阶段—投入产出物输入需求分析阶段文档模板_01需求分析说明书.doc需求分析阶段文档模板_02报表功能需求分析说明书.doc需求分析阶段文档模板_03报表数据需求分析说明书.doc需求分析阶段文档模板_04报表数据源分析报告.doc输出ERWIN的逻辑模型模型设计阶段文档模版_01模型数据质量检核规则.xls模型设计阶段文档模版_02模型物理设计说明书.doc16ETL设计开发阶段—主要任务ETL总体设计包括ETL实施工具选型，调度策略，实施工艺等等。ETL特殊处理设计如机构拆并、季度结息、全量数据初始化、增量等特殊场景或时点进行特殊处理设计。针对一些特殊逻辑总行已开发公共组件，则采用公共组件进行开发。ETL详细设计具体每个ETL作业的设计，包含MAPPING设计、数据质量检核设计开发、根据ETL业务场景选择开发方式、各数据层（FDM特色模型、ADM特色模型、MDM）设计及测试反馈后的优化等。ETL设计评审针对以上的设计环节进行评审，包括ETL总体设计评审、ETL特殊处理设计评审、ETL详细设计评审、MAPPING设计评审等。ETL作业开发具体每个ETL作业的开发，包括自动化工具开发、手工开发，及作业开发后的作业参数配置，调度开发。ETL应用集成的初始化全量数据和增量数对开发的作业进行集成，并部署在ETL节点及CTM上，导入其作业参数、调度配置参数等，准备ETL所需据，为后续ETL测试做准备。ETL测试对ETL进行测试，主要包含ETL作业功能与性能进行测试、数据正确性测试等，并对性能进行优化17ETL设计开发阶段—投入产出物输入各特色业务系统数据字典需求说明书.doc(需求分析阶段提供)数据源分析报告.doc（需求分析阶段提供）分行特色模型（模型设计阶段提供）逻辑数据模型设计说明书.doc（模型设计阶段提供）模