Hadoop构建数据仓库实践

Hadoop构建数据仓库实践读书笔记模板01思维导图读书笔记目录分析内容摘要精彩摘录作者介绍目录0305020406思维导图数据仓库数据仓库数据处理相关使用小结第章数据数据仓库维度表模型简介装载分析技术事实作业关键字分析思维导图内容摘要内容摘要本书讲述在流行的大数据分布式存储和计算平台Hadoop上设计实现数据仓库，将传统数据仓库建模与SQL开发的简单性与大数据技术相结合，快速、高效地建立可扩展的数据仓库及其应用系统。本书内容包括数据仓库、Hadoop及其生态圈的相关概念，使用Sqoop从关系数据库全量或增量抽取数据，使用HIVE进行数据转换和装载处理，使用Oozie调度作业周期性执行，使用Impala进行快速联机数据分析，使用Hue将数据可视化，以及数据仓库中的渐变维（SCD）、代理键、角色扮演维度、层次维度、退化维度、无事实的事实表、迟到的事实、累积的度量等常见问题在Hadoop上的处理等。本书适合数据库管理员、大数据技术人员、Hadoop技术人员、数据仓库技术人员，也适合高等院校和培训机构相关专业的师生教学参考。读书笔记读书笔记内容多，不够详细，适合有一定基础的同学查看。前半部分可以做复习数仓大纲，后半部分的内容相对过时了，粗略看看即可。结合Google早年发布的GFS、MapReduce、Bigtable等论文能够对大数据分布式架构的发展历程有更深入的理解。我刚开始了解大数据，本来想找一本专门讲Hadoop的书，不过阅读的过程发现这本书理论讲得很好，从数据仓库的背景出发，帮助我更好地理解了Hadoop在数据仓库中的位置。精彩摘录精彩摘录Inmon将数据仓库描述为一个面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程。主题是一个抽象概念，简单地说就是与业务相关的数据的类别，每一个主题基本对应一个宏观的分析领域。常用的变化数据捕获方法有时间戳、快照、触发器和日志四种TDS（TRANSFORMEDDATASTORES）意为转换后的数据存储。这是真正的数据仓库中的数据。事实和维度是两个维度模型中的核心概念。事实表示对业务数据的度量，而维度是观察数据的角度。事实通常是数字类型的，可以进行聚合和计算，而维度通常是一组层次关系或描述信息，用来定义事实。粒度是指数据的细节或汇总程度，细节程度越高，粒度级别越低。RDS（RAWDATASTORES）是原始数据存储的意思数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型维度模型通常以一种被称为星型模式的方式构建。所谓星型模式，就是以一个事实表为中心，周围环绕着多个维度表。目录分析1.1什么是数据仓库1.2操作型系统与分析型系统1.3数据仓库架构1.4抽取-转换-装载第1章数据仓库简介1.6小结1.5数据仓库需求第1章数据仓库简介2.1关系数据模型2.3DataVault模型2.2维度数据模型第2章数据仓库设计基础2.4数据集市2.6小结2.5数据仓库实施步骤第2章数据仓库设计基础3.1大数据定义3.3Hadoop基本组件3.2Hadoop简介第3章Hadoop生态圈与数据仓库3.4Hadoop生态圈的其他组件3.6小结3.5Hadoop与数据仓库第3章Hadoop生态圈与数据仓库4.1Hadoop主要发行版本4.2安装ApacheHadoop4.3配置HDFSFederation4.4离线安装CDH及其所需的服务4.5小结12345第4章安装Hadoop5.1Kettle概述5.2Kettle连接Hadoop5.3导出导入Hadoop集群数据5.4执行Hive的HiveQL语句5.5MapReduce转换示例12345第5章Kettle与Hadoop5.7小结5.6Kettle提交Spark作业第5章Kettle与Hadoop6.1业务场景6.2Hive相关配置6.3Hive表分类6.4向Hive表装载数据6.5建立数据库表12345第6章建立数据仓库示例模型6.7小结6.6装载日期维度数据第6章建立数据仓库示例模型7.1逻辑数据映射7.2数据抽取方式7.3导出成文本文件7.4分布式查询7.5使用Sqoop抽取数据7.6小结010302040506第7章数据抽取8.1数据清洗8.2Hive简介8.3初始装载8.4定期装载第8章数据转换与装载8.6小结8.5Hive优化第8章数据转换与装载9.1crontab9.2Oozie简介9.3建立定期装载工作流9.4建立协调器作业定期自动执行工作流第9章定期自动执行ETL作业9.6小结9.5Oozie优化第9章定期自动执行ETL作业10.1增加列10.3角色扮演维度10.2维度子集第10章维度表技术10.4层次维度10.5退化维度10.6杂项维度10.7维度合并10.8分段维度10.9小结010302040506第10章维度表技术11.1事实表概述11.2周期快照11.3累积快照11.4无事实的事实表第11章事实表技术11.5迟到的事实11.7小结11.6累积度量第11章事实表技术12.1联机分析处理简介12.3Hive、SparkSQL、Impala比较12.2Impala简介第12章联机分析处理12.4联机分析处理实例12.6小结12.5ApacheKylin与OLAP第12章联机分析处理13.1数据可视化简介13.2Hue简介1