2023学年完整公开课版hive数据倾斜

Hive数据倾斜2知识目标数据倾斜的原因数据倾斜的情况数据倾斜的解决方案01能力目标了解产生数据倾斜的原因掌握容易产生数据倾斜的情况掌握数据倾斜的解决方案02学习目标1目录01产生数据倾斜的原因02容易发生数据倾斜的情况03数据倾斜的解决方案数据倾斜产生原因2key分布不均匀或者某些key太集中业务数据本身的特性建表考虑不周全某些HQL语句本身就存在数据倾斜容易产生数据倾斜的情况3关键词情形后果Join其中一个表较小，但key集中分发到某一个或几个Reduce上的数据远高于平均值大表与大表，但是分桶的判断字段0值或空值过多这些空值都由一个reduce处理，非常慢groupbygroupby维度过小，某值的数量过多处理某值的reduce非常耗时CountDistinc某特殊值过多处理此特殊值的reduce耗时4数据倾斜的解决方案-大表和小表关联把重复关联键少的表放在join前面做关联可以提高join的效率。”

简单来说，是把关联键和标记是在join左边还是右边的标识位作为组合键(key)，把一条记录以及标记是在join左边还是右边的标识位组合起来作为值(value)。在reduce的shuffle阶段，按照组合键的关联键进行主排序，当关联键相同时，再按照标识位进行辅助排序。而在分区段时，只用关联键中的关联键进行分区段，这样关联键相同的记录就会放在同一个valuelist中，同时保证了join左边的表的记录在valuelist的前面，而join右边的表的记录在valuelist的后面。

数据倾斜的解决方案-大表和大表关联5比如：大表与大表关联，但是其中一张表的多是空值或者0比较多，容易shuffle给一个reduce，造成运行慢。解决方式：这种情况可以对异常值赋一个随机值来分散key,均匀分配给多个reduce去执行当key值都是有效值时，解决办法为设置以下几个参数sethive.exec.reducers.bytes.per.reducer=1000000000也就是每个节点的reduce默认是处理1G大小的数据，如果你的join

操作也产生了数据倾斜，那么你可以在hive中设定sethive.optimize.skewjoin

=true;sethive.skewjoin.key=skew_key_threshold（default=100000）hive在运行的时候没有办法判断哪个key会产生多大的倾斜，所以使用这个参数控制倾斜的阈值，如果超过这个值，新的值会发送给那些还没有达到的reduce,一般可以设置成你处理的总记录数/reduce个数的2-4倍都可以接受。

数据倾斜的解决方案-groupby造成数据倾斜5使用Hive对数据做一些类型统计的时候遇到过某种类型的数据量特别多，而其他类型数据的数据量特别少。当按照类型进行groupby的时候，会将相同的groupby字段的reduce任务需要的数据拉取到同一个节点进行聚合，而当其中每一组的数据量过大时，会出现其他组的计算已经完成而这里还没计算完成，其他节点的一直等待这个节点的任务执行完成，所以会看到一直map100%

reduce99%的情况。解决方式：hive.map.aggr=true（默认true）这个配置项代表是否在map端进行聚合，相当于Combinerhive.groupby.skewindata=true（默认false）有数据倾斜的时候进行负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupByKey有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照