2023学年完整公开课版hive组件

Hive组件1.掌握Hive组件

2.理解执行过程

3.理解元存储1.Hive组件

2.执行过程

3.元存储Hive组件：元存储（Metastore）－存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动（Driver）－控制HiveQL生命周期的组件，当HiveQL查询穿过Hive时。该驱动管理着会话句柄以及任何会话的统计。查询编译器（QueryCompiler）－是一个组件，将HiveQL编译成有向无环图（directedacyclicgraph,DAG）形式的map/reduce任务。执行引擎ExecutionEngine－是一个组件，依相依性顺序（dependencyorder）执行由编译器产生的任务。Hive组件：Hive服务器HiveServer－一个提供“健壮的接口（thriftinterface）、JDBC/ODBC服务器以及提供一种整合Hive和其它应用的”组件。客户端组件－类似命令行接口CLI（CommandLineInterface），webUI以及JDBC/ODBC驱动。包含了正反序列化（SerDe）以及对象观察器（ObjectInspector）接口的可扩展接口，类似于前述用户定义函数UDF（UserDefinedFunction）以及用户定义聚合函数UDAF（UserDefinedAggregateFunction）接口，允许用户定义自己的列函数。

存储列所有关于表、表的分区、模式、列及其类型、表地址等的表的元数据，可以通过thrift接口查询得到，由于需要快速的提供到编译器中，所以使用RDBMS。元存储(Metastore) HiveQL通过CLI/webUI或者thrift、odbc或jdbc接口的外部接口提交，经过complier编译器，运用Metastore中的云数据进行类型检测和语法分析，生成一个逻辑方案(logicalplan),然后通过简单的优化处理，产生一个以有向无环图DAG数据结构形式展现的map-reduce任务。执行的过程：查询编译器(querycomplier)用云存储中的元数据来生成执行计划，步骤如下：1).解析（parse）-anlr解析其生成语法树AST(hibernate也是这个)：将HQL转化为抽象语法树AST2).类型检查和语法分析(typecheckingandsemanticanalysis):将抽象语法树转换此查询块(queryblocktree),并将查询块转换成逻辑查询计划(logicplanGenerator);3).优化(optimization):重写查询计划(logicaloptimizer)-->将逻辑查询计划转成物理计划(physicalplangenerator)-->选择最佳的join策略(physicaloptimizer)查询编译器(querycomplier)parse

sa

lpg

lo

ppg

pohql------->AST------>QB----->OPTREE------->OPTREE------->tasktree------->tasktree首先进行hql语句解析，构造一颗AST树，从AST树中得到QueryBlock，再将QB转为对应的操作符，生成逻辑查询计划，对逻辑查询计划进行优化(谓词下推)，生成物理查询计划，对物理查询计划进行优化(MapJoinResolver/SkewJoinResolver/CommonJoinResolver)，得到最后的执行计划。MapJoinResolver：将小表的MR结果放入HashTableFiles-->DistributedCache,大表从分布式缓存中取得数据进行join；当hash数据较大时，分布式缓存查询效率降低，同时大表的Map都>在等待hashfiles；所以对其进行列优化处理小表的结果放到DC中进