数据仓库建模与ETL的实践技巧.ppt

BI，数据仓库仓库（DW）建模与ETL的实实践技巧 作者：MALONE 日期：2009-02-20 主要内容主要内容( (一一) ) 一、什么是BI（Business Intelligence） (一)、什么是BI的定义？ (二)、BI的诞生？ (三)、基本技术 (四)、数据处理 (五)、数据展现 (六)、常用的BI 厂商和产品 主要内容主要内容( (二二) ) 二、数据仓库的架构 (一)、什么是数据仓库？ (二)、数据仓库和OLTP数据库的区别? (三)、数据仓库的架构模型有哪些？ 三、构建企业级数据仓库五步法 (一)、确定主题 (二)、确定量度 (三)、确定事实数据粒度 (四)、确定维度 1.如何理解维度？及维度的层次和级别? 2.什么是缓慢变化维度？ 3.缓慢变化维度 几种基本情况？ 几种情况的利弊？ (五)、创建事实表 主要内容主要内容( (三三) ) 四、什么是ETL(ETL中的关键技术) (一)、数据抽取 (1)全量抽取 (2)增量抽取 增量数据抽取中常用的捕获变化数据的方法: a.触发器b.时间戳 c.全表比对d.日志对比 (二)、数据转换和加工 (1)ETL引擎中的数据转换和加工 (2)在数据库中进行数据加工 (三)、数据装载 (1)直接SQL语句进行insert、update、delete操作 (2)采用批量装载方法，如bcp、bulk、关系数据库 特有的批量装载工具或api (四)、主流ETL工具介绍 主要内容主要内容( (一一) ) 一、什么是BI（Business Intelligence） (一)、什么是BI的定义？ (二)、BI的诞生？ (三)、基本技术 (四)、数据处理 (五)、数据展现 (六)、常用的BI 厂商和产品 Marketing Design 而雪花型结构明确， 便于与OLTP系统交互。 因此，在实际项目中，我们将综合运用星型架构与雪花型架构来设计数据仓库。 (三)、数据仓库的架构模型有哪些？ 主要内容主要内容( (二二) ) 二、数据仓库的架构 (一)、什么是数据仓库？ (二)、数据仓库OLAP和OLTP数据库的区别? (三)、数据仓库的架构模型有哪些？ 三、构建企业级数据仓库五步法 (一)、确定主题 (二)、确定量度 (三)、确定事实数据粒度 (四)、确定维度 1.如何理解维度？及维度的层次和级别? 2.什么是缓慢变化维度？ 3.缓慢变化维度 几种基本情况？ 几种情况的利弊？ (五)、创建事实表 Marketing Design 分析角度是各个维度;我们将通过维度的组合，来考察量度。 那么，“某年某月某一地区的卷烟销售情况”这样一个主题，就要求我们通过时间，地区和卷烟三个维度的组合 ，来考察销售情况这个量度。 从而，不同的主题来源于数据仓库中的不同子集，我们可以称之为数据集市。数据集市体现了数据仓库某一方面 的信息，多个数据集市构成了数据仓库。 (二)、确定量度 在确定了主题以后，我们将考虑要分析的技术指标，诸如:年销售额之类。它们一般为数值型数据。 我们或者将该数据汇总，或者将该数据取次数、独立次数或取最大最小值等，这样的数据称为量度。 量度是要统计的指标，必须事先选择恰当，基于不同的量度可以进行复杂关键性能指标(KPI)等的设计和计算。 Marketing Design 反过来，如果我们不能确认将来的分析需求在卷烟上是否需要精确到包，那么，我们就需要遵循“最小粒度原则 ”，在数据仓库的事实表中保留每一支的进销存数据，以便日后对“支”进行分析。 举例:卷烟零售分析系统中，需求变更要求以万支为单位分析卷烟进销存情况。 附加:DDS层 销售，库存及进货事实表结构 和 卷烟单位代码表 三、构建企业级数据仓库五步法 DDS.F_XS销售事实表 DDS.F_KC库存事实表 DDS.F_SY损益事实表 DDS.F_JH进货事实表 DDS.F_DH订货事实表 Marketing Design Marketing Design & BI Application Consulting Company四、什么是ETL(ETL中的关键技术) 主要内容主要内容( (三三) ) 四、什么是ETL(ETL中的关键技术) (一)、数据抽取 (1)全量抽取 (2)增量抽取 增量数据抽取中常用的捕获变化数据的方法: a.触发器b.时间戳 c.全表比对d.日志对比 (二)、数据转换和加工 (1)ETL引擎中的数据转换和加工 (2)在数据库中进行数据加工 (三)、数据装载 (1)直接SQL语句进行insert、update、delete操作 (2)采用批量装载方法，如bcp、bulk、关系数据库 特有的批量装载工具或api (四)、主流ETL工具介绍 Marketing Design & BI Application Consulting Company四、什么是ETL(ETL中的关键技术) (三)、数据装载 (1)直接SQL语句进行insert、update、delete操作 (2)采用批量装载方法，如bcp、bulk、关系数据库特有的批量装载工具或api (四)、主流ETL工具介绍 Informatica NCR Teradata Cognos, Hyperion Oracle warehouse builder、 Oracle Data Integrator 主要内容主要内容( (三三) ) 总结总结 四、什么是ETL(ETL中的关键技术) (一)、数据抽取 (1)全量抽取 (2)增量抽取 增量数据抽取中常用的捕获变化数据的方法: a.触发器b.时间戳 c.全表比对d.日志对比 (二)、数据转换和加工 (1)ETL引擎中的数据转换和