数据仓库Hive应用实战 教案113-116课时：调优数据仓库性能

湖南汽车工程职业学院教师授课教案第15周第1-4课时累计116课时课程名称数据仓库HIVE应用授课课题调优数据仓库性能授课专业班级大数据2101班、2102班、2103班教学目标1、了解Hive存储优化，能够描述Hive常用的文件存储格式。2、掌握Hive参数优化，能够灵活使用Hive配置参数优化Hive性能。3、熟悉HiveQL语句优化技巧，能够描述HiveQL语句优化的方式。教学要点教学重点1、配置MapReduce压缩、Map个数2、配置Reduce个数3、配置本地模式教学难点1、Hive存储优化2、配置合并文件3、配置并行执行课型一体化授课教法与学法（教具）示范演示法、任务驱动教学法、分组合作教学法课后作业完成超星平台作业、看视频熟练操作教学后记（教师课后填写）1、该内容需要对HIVE进行整体把控，学会常见参数的配置，要具备一定的英文功底；2、鼓励学生要发散思维，学会综合运用所学知识；3、掌握思维导图对于知识体系构建的重要性。授课教师王海霞、黄史记【课前复习】Sqoop导入导出的命令？【作业点评】展示超星平台学生作业完成情况，并做点评。【学习目标】本任务实施以“学生信息系统”项目为实操载体，依次完成配置本地模式、配置strict模式、配置动态分区、配置并行执行、配置Fetch抓取和配置合并文件等操作，最终熟练掌握Hive参数调优方法。【课程导入】对Hive来说，初始配置和调优后的配置，两者性能之间的差距非常明显，调优Hive参数是提升Hive性能的重要方式之一。本任务以“学生信息系统”项目为实操载体，完成理解Hive参数调优的作用，能熟练调优Hive参数提升Hive性能，能熟记调优参数项及参数值等学习目标。【新课讲授】一、调优Hive参数1.配置本地模式表8-SEQ表8-\*ARABIC1本地模式相关参数项及描述信息表参数项参数描述默认值hive.exec.mode.local.auto设置是否开启Hive的本地模式falsehive.exec.mode.local.auto.inputbytes.max设置Job输入数据的最大值134217728hive.exec.mode.local.auto.input.files.max设置Job输入文件个数的最大值42.配置strict模式Hive中有严格模式，由参数项hive.mapred.mode控制，默认处于nostrict非严格模式。在严格模式下，主要体现在以下三个方面的限制，第一，对分区表的查询必须指定分区字段；第二，查询语句中ORDERBY必须指定LIMIT；第三，禁止执行笛卡尔积查询。若使用Hive客户端临时配置严格模式，命令如下：sethive.mapred.mode=strict;若需要永久配置严格模式，则需要在Hive配置文件中添加如下配置内容：<property><name>hive.mapred.mode</name><value>strict</value></property>关闭严格模式:sethive.mapred.mode=nostrict;【讲练结合】【例8-1】分别配置非本地模式和本地模式在studentdb数据仓库中查询student表的行数。在非本地模式查询student表的行数：sethive.exec.mode.local.auto=false;SELECTCOUNT(*)FROMstudentdb.student;图8-SEQ图8-\*ARABIC1非本地模式下执行COUNT(*)函数的时间在本地模式查询student表行数：sethive.exec.mode.local.auto=true;SELECTCOUNT(*)FROMstudentdb.student;图8-SEQ图8-\*ARABIC2本地模式下执行COUNT(*)函数的时间从上述图8-1和图8-2两张图的返回结果显示，两种模式下同一执行语句，其执行时间相差约为19s。【例8-2】分别配置非严格模式和严格模式在studentdb数据仓库中查询分区表phy_course_dynamic_partition中的数据。在默认的非严格模式查询phy_course_dynamic_partition中的数据：SELECT*FROMstudentdb.phy_course_dynamic_partition;图8-SEQ图8-\*ARABIC3非严格模式下查询分区表在严格模式查询phy_course_dynamic_partition中的数据：sethive.mapred.mode=strict;SELECT*FROMstudentdb.phy_course_dynamic_partition;SELECT*FROMstudentdb.phy_course_dynamic_partitionWHEREopt_cour='volleyball';【新课讲授】二、调优Hive存储1调优文件存储Hive底层数据是以文件的形式存储在Hadoop的HDFS中，不同文件存储格式不仅对存储空间占用的大小有所不同，而且对HiveQL语句的执行性能也有所不同，因此根据实际应用场景选择合理的文件存储格式就变得尤为重要。Hive数据表支持多种类型的文件存储格式存储数据文件，接下来，对Hive常用的文件存储格式进行简要介绍，具体如表8-6所示。表8-SEQ表8-\*ARABIC6Hive常用文件存储格式对比表文件存储格式存储方式自身支持压缩支持分片加载数据方式TextFile行式存储否否LOAD和INSERTSequenceFile列式存储是是INSERTORCFile行列存储是是INSERT2调优数据压缩【讲练结合】【例8-4】临时开启Hive中间数据压缩，然后设置压缩算法为结合了低CPU和高压缩执行效率Snappy压缩算法。setermediate=true;setpression.codec=press.SnappyCodec;【例8-5】临时开启Hive最终数据压缩，设置最终压缩算法为Snappy算法。setpress.output=true;setpression.codec=press.SnappyCodec【新课讲授】三、调优HiveQL1、配置列裁剪表8-SEQ表8-\*ARABIC11列裁剪相关参数项及描述信息表参数项参数描述默认值hive.optimize.cp设置是否开启Hive的列裁剪true若使用Hive客户端临时配置列裁剪，命令如下：sethive.optimize.cp=true;若需要永久配置列裁剪，则需要在Hive配置文件中添加如下配置内容：<property><name>hive.optimize.cp</name><value>true</value></property>在开启列裁剪后，使用SELECTstnameFROMstudentdb.student;语句查询时，在列裁剪作用下Hive会忽略其他五列而只读取查询逻辑中真实需要的“stname”列。2、配置分区裁剪表8-SEQ表8-\*ARABIC12分区裁剪相关参数项及描述信息表参数项参数描述默认值hive.optimize.pruner设置是否开启Hive的分区裁剪true若使用Hive客户端临时配置分区裁剪，命令如下：sethive.optimize.pruner=true;若需要永久配置分区裁剪，则需要在Hive配置文件中添加如下配置内容：<property><name>hive.optimize.pruner</name><value>true</value></property>3配置MapJoin表8-SEQ表8-\*ARABIC13MapJoin优化相关参数项及描述信息表参数项参数描述默认值hive.auto.convert.join设置是否自动使用MapJoin优化truehive.mapjoin.smalltable.filesize设置MapJoin优化的表大小，如果表大小小于该设置值，则其就会被加载进内存中25000000若使用Hive客户端临时配置启用MapJoin优化，命令如下：sethive.auto.convert.join=true;若需要永久配置启用Ma