实训9 Hive的安装与部署

实训5.1Hive的安装与部署1.实训目的通过本实训，理解Hive安装操作及配置，完成Hive以及MySQL的安装，理解Hive三种部署方式中的其中两种，了解操作流程上有哪些区别。2.实训内容该实训内容主要介绍Hive的原理，包含Hive的内嵌模式以及本地MySQL方式的部署，接着还手把手带着操作了Hive的内嵌模式。安装了MySQL环境，最后配置将Hive元数据保存到本地MySQL中。3.实训要求以小组为单元进行实训，每小组5人，小组自主协商选一位组长，由组长安排和分配实训任务，安装MySQL时要求能联网，但本实训平台是可以联网的。4.准备知识（1）MySQL简介MySQL是一个开源的关系型数据库管理系统，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS（RelationalDatabaseManagementSystem，关系数据库管理系统）应用软件。5.实训步骤（1）部署方式一：内嵌模式①安装包准备将apache-hive-3.1.3-bin.tar.gz压缩包上传至master节点的/root/package目录下。查询Hive的安装包是否上传成功，查询结果如图5-4所示。图5-4查询安装包②Hive的安装及配置解压apache-hive-3.1.3-bin.tar.gz，这里解压在/opt/software目录下：tar-zxvfapache-hive-3.1.3-bin.tar.gz-C/opt/software/设置Hive的配置文件（hive-env.sh），添加上HADOOP_HOME，添加结果如图5-5所示。cd/opt/software/apache-hive-3.1.3-bin/confcphive-env.sh.templatehive-env.shvimhive-env.sh添加Hadoop安装路径：HADOOP_HOME=/opt/software/hadoop-3.3.4图5-5添加HADOOP_HOME环境③替换jar包并解决jar包冲突替换yarn/lib下的jline的jar包为Hive安装目录下的（操作的时候注意选择性替换）cd../libmvguava-19.0.jarguava-19.0.jar.bakcp/opt/software/hadoop-3.3.4/share/hadoop/common/lib/guava-27.0-jre.jar/opt/software/apache-hive-3.1.3-bin/lib/guava-27.0.jar解决日志jar包冲突，此处修改lib目录下的log4j-slf4j-impl-2.17.1.jar的名称即可：mvlog4j-slf4j-impl-2.17.1.jarlog4j-slf4j-impl-2.17.1.jar.bak④配置环境变量：vim/etc/profile添加以下内容：exportHIVE_HOME=/opt/software/apache-hive-3.1.3-binexportPATH=$PATH:$HIVE_HOME/bin使配置生效：source/etc/profile⑤初始化元数据库内嵌模式时Hive使用的是自带的Derby数据库，此时可以使用bin目录下的schematool初始化元数据。cd../bin./schematool-dbTypederby-initSchema初始化成功后，会提示以下内容：InitializationscriptcompletedschemaToolcompleted同时，查看bin目录下，会新生成了一个metastore_db文件夹和一个derby.log文件。⑥执行hive命令进入Hive操作页面，如图5-6所示。说明：因为Hive依赖HDFS，所以需要先启动HDFS。hive图5-6Hive操作页面⑦测试Hive是否能正常执行操作，查询一下Hive里边的表。结果如图5-7。showtables;图5-7查看Hive表结果查询一下Hive的内置函数。结果如图5-8所示showfunctions;图5-8查看Hive的函数结果（2）部署方式二：本地MySQL模式在本地MySQL模式中，Hive的元数据将会存储在MySQL中，所以首先需要先安装好MySQL。本次实训安装的MySQL版本为：MySQL8.0.30版本。①上传安装MySQL所需的Rpm包并安装。所需要的Rpm包一共有以下六个：mysql-community-common-8.0.30-1.el7.x86_64.rpmmysql-community-client-plugins-8.0.30-1.el7.x86_64.rpmmysql-community-libs-8.0.30-1.el7.x86_64.rpmmysql-community-client-8.0.30-1.el7.x86_64.rpmmysql-community-icu-data-files-8.0.30-1.el7.x86_64.rpmmysql-community-server-8.0.30-1.el7.x86_64.rpm将其上传到master节点。然后依次执行安装命令即可（注意有顺序要求）。按照以下操作执行：rpm-ivhmysql-community-common-8.0.30-1.el7.x86_64.rpmrpm-ivhmysql-community-client-plugins-8.0.30-1.el7.x86_64.rpm安装libs之前，需要已经存在的卸载mysql-libsyumremove-ymysql-libs执行完后，继续安装：rpm-ivhmysql-community-libs-8.0.30-1.el7.x86_64.rpmrpm-ivhmysql-community-client-8.0.30-1.el7.x86_64.rpmrpm-ivhmysql-community-icu-data-files-8.0.30-1.el7.x86_64.rpmrpm-ivhmysql-community-server-8.0.30-1.el7.x86_64.rpm如果安装mysql-community-server-8.0.30-1.el7.x86_64.rpm时报错，提示需要先安装net-tools，则先使用以下命令安装net-tools再继续安装：yuminstall-ynet-tools②配置并启动MySQL完成安装后，需要设置一下MySQL数据库编码格式，在/etc文件夹新建my.conf文件。vim/etc/my.conf在下面添加以下内容：[client]default-character-set=utf8[mysql]default-character-set=utf8[mysqld]character_set_server=utf8启动MySQL服务：systemctlstartmysqld启动之后，可以在master的/var/log/mysqld.log文件查找到初始的随机密码，如本次实训的密码为：“wkqrodxEN7,N”。如图5-9所示。图5-9查找初始随机密码使用初始密码登录MySQL，如图5-10所示。mysql-uroot-p'wkqrodxEN7,N'图5-10登录MySQL③修改MySQL登录密码先重置初始化密码为符合复杂度规则的新密码：alteruserroot@localhostidentifiedby"@Hadoop_123456";设置新密码的验证策略为0，表示最低setglobalvalidate_password.policy=0;设置新密码的长度最小值为6位setglobalvalidate_password.length=6;设置新密码为123456alteruserroot@localhostidentifiedby'123456';修改好后，使用quit退出MySQL终端，重新使用密码（123456）登录进来。给root用户设置远程登录权限createuserroot@'%'identifiedby'123456';grantallprivilegeson*.*toroot@'%'withgrantoption;重新刷新权限表flushprivileges;重新登录：exit;退出再重新启动MySQL服务servicemysqldrestart设置MySQL开机启动chkconfigmysqldon④配置Hive元数据存储在MySQL在hive-site.xml中配置MySQL相关信息，因为Hive中没有hive-site.xml文件，所以是直接创建。cd/opt/software/apache-hive-3.1.3-bin/confvimhive-site.xml添加下面内容：<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value><description>MySQL的连接协议</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value><description>MySQL数据库连接驱动</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value><description>MySQL数据库的用户名</description></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value><description>MySQL数据库的密码</description></property></configuration>⑤上传MySQL驱动包到$HIVE_HOME/lib/驱动包上传到/root/package目录，然后复制到$HIVE_HOME/lib/目录cp/root/package/mysql-connector-java-8.0.30.jar/opt/software/apache-hive-3.1.3-bin/lib/⑥初始化元数据库cd/opt/software/apache-hive-3.1.3-bin/bin./schematool-dbTypemysql-initSchema执行后，出现以下字眼则表示成功：InitializationscriptcompletedschemaToolcompleted并且也可以在MySQL中新生成了一个名称为hive的数据库。⑦启动Hive（启动之前，