2023学年完整公开课版HiveSQL调优

HiveSQL调优1.理解SQL调优

2.具备SQL调优能力1.

SQL调优建议

2.SQL调优总结

1.尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段2.尽量原子化操作，尽量避免一个SQL包含复杂逻辑,可以使用中间表来完成复杂的逻辑3.小表要注意放在join的左边（目前TCL里面很多都小表放在join的右边。否则会引起磁盘和内存的大量消耗4.如果unionall的部分个数大于2，或者每个union部分数据量大，应该拆成多个insertinto语句，实际测试过程中，执行时间能提升50%5.写SQL要先了解数据本身的特点，如果有join,group操作的话，要注意是否会有数据倾斜HiveSQL调优的一些小建议使用分区剪裁、列剪裁

意思是，在select中，只拿需要的列，如果有，尽量使用分区过滤，少使用select*

另外在分区裁剪中，当使用外关联时，副表的过滤条件如果使用where就会导致先全表关联在过滤，应该改用on，或者之间使用子查询少用count（distinct）count（distinct）是由一个reducetask来完成的，这一个reduce需要处理的数据量太大，就会导致整个job很难完成。count（distinct）可以使用先groupby再count的方式来替换HiveSQL调优总结多对多的关联

1.如果存在多对多关联，起码要保证有一个表或者结果集的关联键不重复 2.如果某一个关联键的记录数非常多，那么分配到该reducetask的数据量将非常大，会导致整个job很难完成 3.避免笛卡尔集HiveSQL调优总结合理使用UnionALL

1.对同一张表的unionall要比多重insert快得多。 2.原因是hive本身对这种unionall做过优化，即只扫描依次源表，多重insert虽然也只扫描一次，但因为要insert到多个分区，所以做了很多其他的事情，导致消耗的时间非常长。HiveSQL调优总结合理使用动态分区动态分区可以优化诸如需要往指定分区插入数据的这种操作。配置参数：hive.exec.dynamic.partition：是否开启动态分区，默认为false，设置成truehive.exec.dynamic.partition.mode：默认值表示必须指定至少一个静态分区，默认为strict，设置成nonstricthive.exec.max.dynamic.partitions.pernode：在每个执行MR的节点上，最大可以创建多少个动态分区，默认100，按实际情况来定hive.exec.max.created.files：整个MRJob中，最大可以创建多少个HDFS文件，默认值：100000，一般默认值足够了，除非你的数据量非常大，需要创建的文件数大于100000，可根据实际情况加以调整。hive.error.on.empty.partition：当有空分区生成时，是否抛出异常，默认值：false，一般不需要设置。HiveSQL调优总结避免数据倾斜症状：任务进度长时间维持在99%（或100%）;查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。本地读写数据量