单元8 任务8.1-Hive本地模式安装部署

《大数据平台部署与运维》单元8

数据仓库Hive部署与应用任务8.1部署Hive本地模式01理解Hive的原理与体系架构02掌握Hive的部署方法学习目标03掌握Hive格式化和启动相关命令任务8.1部署Hive本地模式【任务场景】经理：Hive目前是Hadoop生态圈中最常用的数据仓库工具，大部分互联网公司使用Hive进行日志分析，包括百度、淘宝等。咱们的日志系统数据分析可以基于Hive来做。小张：好的，我马上开始研究Hive数据仓库。经理：Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；它可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，所以你熟悉SQL语言，Hive分析上手应该非常快。小张：好的，我先基于咱们现有的Hadoop平台把Hive安装部署好。经理：好。任务8.1部署Hive本地模式【任务布置】根据使用场景不同，Hive的安装部署模式分为三种，分别是内嵌模式、本地模式和远程模式。Hive内嵌模式由于只支持单会话连接，所以很少使用。Hive本地安装模式和远程模式都是常见的安装和部署方法。此任务要求完成Hive本地模式的安装部署，安装完成后通过命令格式化Hive元数据库，然后运行和访问Hive。任务8.1部署Hive本地模式8.1.1Hive介绍Hive是建立在Hadoop之上的数据仓库，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理。Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。Hive定义了一种类似SQL的查询语言，被称为HQL，对于熟悉SQL的用户可以直接利用Hive来查询数据，但HiveQL不完全支持SQL标准，如不支持更新操作、索引和事务，其子查询和连接操作也存在很多限制。同时，这个语言也允许熟悉MapReduce开发者们开发自定义的mappers和reducers来处理内建的mappers和reducers无法完成的复杂的分析工作。任务8.1部署Hive本地模式Hive是Hadoop生态系统的一个组成部分，Hive在Hadoop生态系统的位置如下图所示：任务8.1部署Hive本地模式Hive与HDFS、HBase的关系：Hive可以直接操作HDFS中的文件作为它的表的数据，也可以使用Hbase数据库作为它的表。Hive和HBase的数据流描述如下图所示。数据源经过ETL工具被抽取到HDFS存储；再由Hive对原始数据进行清洗、处理和计算；Hive清洗处理后的结果，如果是面向海量数据随机查询场景的可存入Hbase，进而展开具体的数据应用。Hive和HBase数据流关系如下图所示：任务8.1部署Hive本地模式Hive与HBase的区别：(1)Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。Hive本身不存储数据，它完全依赖HDFS和MapReduce。

(2)Hive是基于MapReduce来处理数据；

HBase处理数据是基于列的而不是基于行的模式，适合海量数据的随机访问。(3)HBase的表是疏松的存储的，因此用户可以给行定义各种不同的列；而Hive表是稠密型，即定义多少列，每一行有存储固定列数的数据。(4)Hive使用Hadoop来分析处理数据，而Hadoop系统是批处理系统，因此不能保证处理的低迟延问题；而HBase是近实时系统，支持实时查询。(5)Hive不提供行级别的更新，它适用于大量append-only数据集（如日志）的批任务处理。而基于HBase的查询，支持行级别的更新。(6)Hive提供完整的SQL实现，通常被用来做一些基于历史数据的挖掘、分析。而HBase是一个NoSQL，不适用与有join，多级索引，表关系复杂的应用场景。任务8.1部署Hive本地模式8.1.2Hive安装方式

Hive中有两类数据：表数据和元数据。和关系型数据库一样，元数据可以看做是描述数据的数据，包括Hive表的数据库名、表名、字段名称与类型、分区字段与类型、表及分区的属性、存放位置等都属于元数据。在项目一中我们知道Hive常用的元数据库有Hive自带的Derby数据库和独立安装的MySQL数据库。元数据存储路径分为本地和远程，可通过hive-site.xml文件设置。根据Hive不同的应用场景，以及元数据库的使用方式不同，可以将Hive的安装方式分为三种，三种方式及具体特点如下表所示：序号安装方式特点1内嵌模式元数据保存在内嵌的Derby数据库，允许一个会话链接，多个会话链接会报错）2本地模式独立安装MySQL替代Derby存储元数据3远程模式MetaStore服务和Hive服务不在同一个节点，远程安装MySQL替代Derby存储元数据任务8.1部署Hive本地模式（1）内嵌模式内嵌模式是Hive默认的配置模式，配置简单，但是一次只能一个客户端连接，只适用于实验，不适用于生产环境。内嵌模式的结构图如下图所示：任务8.1部署Hive本地模式Hive本地模式的结构图如下图所示：（2）本地模式Hive的本地模式不再使用内嵌的Derby作为元数据的存储介质，而是使用其他数据库比如MySQL来存储元数据。Hive服务和MetaStore服务运行在同一个进程中，MySQL是单独的进程，可以和Hive部署在同一台机器，也可以将MySQL部署在远程机器上。这种方式是一个多用户的模式，运行多个用户client连接到一个数据库中。本地模式部署的Hive一般用于公司内部多用户同时访问和操作。每一个用户必须要有对MySQL的访问权利，即每一个客户端使用者都需要知道MySQL的用户名和密码。Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间会明显缩短。任务8.1部署Hive本地模式（3）Hive远程模式：

是将存储元数据的MySQL数据库部署到集群中其他节点的机器，作为元数据服务器。实现了MySQL服务器和Hive服务器分别部署在不同机器上。在远程模式下，Hive服务和MetaStore服务是运行在不同的进程或不同机器上的，在元数据服务器端启动MetaStoreServer，客户端通过MetaStoreServer访问元数据库MySQL。Hive远程模式的访问结构如下图所示：任务8.1部署Hive本地模式【工作流程】部署Hive本地模式的主要工作流程包括：1.安装和配置MySQL；2.安装和配置Hive。其中安装和配置Hive的具体流程包括：（1）解压安装包并配置环境变量；（2）修改Hive的配置文件；（3）在Hive安装目录下创建tmp目录；（4）部署jdbc驱动包；（5）对Hive元数据库进行初始化；（6）启动Hive客户端，测试Hive部署是否成功。任务8.1部署Hive本地模式【操作步骤】Hive本地模式的安装需要将Hive和元数据库MySQL都安装在master节点上。1.安装和配置MySQL具体步骤如下：（1）检查MySQL是否已安装 首先删除linux上已经安装的mysql相关库信息。

[root@master01opt]#rpm-emysql--nodeps

执行命令检查是否删除干净

[root@master01opt]#rpm-qa|grepmysql（2）使用yum源安装mysqlCentOS7的yum源中默认没有mysql，需要首先执行wget命令下载mysql的repo源，具体命令如下所示：

[root@master01opt]#wgethttp:///mysql-community-release-el7-5.noarch.rpm【小提示】如果执行上面命令时提示wget未安装，则需要先安装wget命令，使用yum安装即可，安装命令如下所示：

[root@master01opt]#yuminstall–ywget

安装mysql-community-release-el7-5.noarch.rpm包

[root@master01opt]#rpm-ivhmysql-community-release-el7-5.noarch.rpm

安装mysql服务器端：

[root@master01opt]#yuminstall–ymysql-server任务8.1部署Hive本地模式（3）连接MySQL

启动MySQL服务：

[root@master01opt]#systemctlstartmysql

在shell命令行状态下执行下面命令连接MySQL：

[root@master01opt]#mysql

运行以下命令授予远程访问权限：

mysql>grantallprivilegeson*.*to'root'@'%'identifiedby'root'withgrantoption;

运行以下命令刷新授权表：

mysql>flushprivileges;

运行以下命令创建hive数据库用于存储Hive元数据：

mysql>createdatabasehive； 运行以下命令退出MySQL数据库： mysql>exit;任务8.1部署Hive本地模式2.安装并配置Hive（1）解压安装包并配置环境变量 将下载好的Hive安装包进行解压，并且改为短名，如下两条命令所示：

[root@master01opt]#tarzxvfapache-hive-3.1.2-bin.tar.gz [root@master01opt]#mvapache-hive-3.1.2-binhive

在master节点节点上，编辑/etc/profile文件，添加以下两行内容，配置Hive的环境变量：

exportHIVE_HOME=/opt/hive exportPATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

运行以下命令，使配置的环境变量生效：

[root@master01opt]#source/etc/profile（2）修改Hive的配置文件Hive的配置文件都存放在Hive安装目录的$HIVE_HOME/conf目录下。进入hive的conf目录，进行以下配置文件的修改：①修改hive-env.sh在hive-env.sh文件中添加以下四个环境变量的配置：

exportJAVA_HOME=/usr/lib/kvm/java##Java路径

exportHADOOP_HOME=/opt/hadoop##Hadoop安装路径

exportHIVE_HOME=/opt/hive##Hive安装路径

exportHIVE_CONF_DIR=${HIVE_HOME}/conf##Hive配置文件路径任务8.1部署Hive本地模式②新建并修改hive-site.xml在Hive的conf目录下新建hive-site.xml文件，并在文件中配置MySQL数据库连接信息。

<configuration> <property> <name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> </configuration>任务8.1部署Hive本