《Hive数据仓库案例教程》教学大纲

1、数据仓库教学大纲（Data Warehouse）一、课程概况课程名称：数据仓库课程学时：40 学时（理论总学时/实践总学时：20/20）二、课程目标HiveHadoopHivesqlsqlMapReduceSQLMapReduce 统计。HiveHive 数据仓库是普通高校大数据相关专业的核心基础必修课程。HiveHiveHive数据操作，HQLHive，HiveHive三、教学内容及学时分配（一）教学内容与学时分配各章教学内容与学时分配表章次内容总课时理论课时实践课时一Hive数据仓库基础22二Hive环境搭建422三Hive基础22四Hive数据定义422五Hive数据操作624六HQL查

2、询844七Hive函数624八Hive数据压缩22九Hive优化2十综合案例1222十一十一222（二）教学内容纲要第一章 Hive 数据仓库基础（2 学时）教学目的与要求HiveHiveHive主要教学内容（2）第一节数据仓库教学重点：数据仓库的概念，数据仓库的特点，数据仓库的数据模型。教学难点：数据仓库的体系结构第二节Hive数据仓库教学重点：Hive教学难点：Hive第三节Hive体系结构及执行流教学重点：Hive架构教学难点：Hive第四节Hive数据仓库和数据库比较教学重点：查询语言，数据存储系统，执行延迟，可扩展性，应用场景。教学难点：数据更新，数据规模。第二章 Hive 环境搭建

3、（4 学时）教学目的与要求HiveHiveMySQL配置，HiveHiveJDBCHive主要教学内容（2）第一节 Hive 安装及配置教学重点：Hive教学难点：Hive第二节 MySQL教学重点：MySQLMySQLMySQLMySQL第三节Hive元数据配置MetaStoreMySQL，MySQLuserHive第四节HiveJDBC连接hiveserver2beelinehiveserver2hiveserver2第五节Hive常见属性配置配置，Hive教学难点：Hive 参数配置方式。主要实践内容（2 学时）上机实验：Hive 第三章 Hive（2）教学目的与要求HiveHive主要

4、教学内容（2）第一节Hive数据类型教学重点：基本数据类型，复杂数据类型，数据类型转换教学难点：复杂数据类型第二节Hive运算符教学难点：复杂运算符第三节Hive数据存储教学重点：Hive 数据存储方式教学难点：Hive数据存第四节Hive表存储格SequenceFile式，Parquet教学难点：SequenceFile格第五节Hive常用交互命令教学重点：Hive常用交互命教学难点：Hive常用交互命第六节Hive其他操作命令教学重点：Hive其他操作命教学难点：Hive其他操作命第四章 Hive 数据定义（4 时）教学目的与要求表的删除，视图。熟练掌握创建表，分区表，桶表。主要教学内容（

5、2第一节 数据仓库的创建教学重点：创建数据库。教学难点：创建数据库。第二节 数据仓库的查询教学重点：显示数据库，查看数据库详情，切换当前数据库。教学难点：切换当前数据库。第三节数据仓库的修教学重点：修改数据库教学难点：修改数据库 第四节数据仓库的删教学重点：删除数据库教学难点：删除数据库第五节表的创建教学重点：管理表，外部表，管理表与外部表的互相转换。教学难点：管理表与外部表的互相转换。第六节分区表教学重点：分区表基本操作，二级分区表创建。教学难点：二级分区表创建。第七节桶表教学重点：桶表创建教学难点：桶表创建 第八节表的修改教学重点：重命名表，增加和删除表分区， 修改、增加和替换列教学难点：

6、增加和删除表分区。第九节表的删除 教学重点：表的删教学难点：表的删除第十节视图教学重点：视图。教学难点：视图。主要实践内容（2 学时）上机实验：Hive基本操作（2第五章 Hive（6）教学目的与要求熟练掌握数据导入，数据导出主要教学内容（2）第一节数据导入教学重点：Load，Insert，AsSelectLocation加载数据，Import 加载数据。教学难点：Location加载数第二节数据导出Shell语句导出。教学难点：Hadoop 命令导出主要实践内容（4 学时）上机实验：Hive 查询第六章 HQL 查询（8 学时）教学目的与要求Select，WhereJoin抽样查询。主要教学

7、内容（4）第一节Select基本查询教学重点：全表和特定列查询，列的别名，Limit教学难点：Limit第二节Where语句教学重点：Like，Rlike教学难点：Rlike第三节分组语句教学重点：Group By，Having教学难点：Having第四节Join语句Join，Join。教学难点：笛卡尔积第五节排序教学重点：Order By，Sort ByDistribute ByCluster By教学难点：Cluster By第六节 抽样查询教学难点：数据块抽样查询。主要实践内容（4 学时）上机实验：Hive 第七章 Hive（6）教学目的与要求熟练掌握系统内置函数，自定义函数；掌握其他常

8、用函数。主要教学内容（2）第一节Hive内置函数函数，内置函数查看命令。教学难点：条件函数 第二节其他常用函NVL，教学难点：窗口函数。第三节自定义函数教学重点：UDF，UDTF，UDAF教学难点：UDAF主要实践内容（4 学时）上机实验：Hive JDBC 连接第八章 Hive（2教学目的与要求HadoopMapReduce输出压缩。主要教学内容（2学时第一节数据压缩模式 教学重点：数据压缩模式教学难点：数据压缩模式第二节Hadoop压缩配置HadoopSnappy，MapReduce码，压缩参数配置。教学难点：压缩参数配置。 第三节Map 输出压缩开启教学重点：开启Map输出压教学难点：开启Map输出压第四节Reduce 输出压缩开启教学重点：开启Reduce输出压教学难点：开启Reduce输出压第九章 Hive 优化（2 学时）教学目的与要求熟练掌握 Hive 参数优化，数据倾斜，HQL 优化。主要教学内容（2）第一节Hive参数优化教学难点：并行执行。第二节数据倾斜MapMapReduce教学难点：复杂文件增加Map数目第三节HQL优化By大表，MapJoin，行列过滤优化，动态分区