云计算与大数据技术（微课版）-实验指导书 实验8-8 安装和部署大数据平台

实验8-8安装和部署大数据平台一、实验目的掌握HDFS、Hive、SparkSQL.Zeppelin.Sqoop等相关大数据组件安装和配置方法二、项目架构ThriftSerwrHZZeppelin日期文件ThriftSerwrHZ日期文件日期文件mofsBHSuperet可11化日期文件用户打车的订单数据非常庞大。选择一个大规模数据的分布式文件系统来存储这些日志文件，基于Hadoop的HDFS文件系统来存储数据。为了方便进行数据分析，将这些日志文件的数据映射为一张一张的表，基于Hive来构建数据仓库。所有的数据，都会在Hive集中进行管理。为了提高数据处理的性能。基于Spark引擎来进行数据开发，所有的应用程序都将运行在Spark集群上，保证数据被高性能地处理。使用Zeppelin来快速将数据进行SQL指令交互。使用Sqoop导出分析后的数据到传统型数据库，便于后期应用。使用Superset来实现数据可视化展示。三、实训内容步骤1.安装Hive(1)使用MySQL数据库作为Hive的元数据存储，在安装Hive之前，必须安装好MySQLoyum-yinstallmysqlmysql-servermysql-delvel(2)安装好MySQL后上传已经下载好的Hive到操作系统，然后安装。tar-zxvf/soft/apache-hive-2.1.0-bin.tar.gz-C/app/(3)修改/exc/profile文件，配置Hive的环境变量。#HIVE_HOMEexportHIVE_HOME=/app/hiveexportPATH=$PATH:$HIVE_HOME/bin(4)将hive-env.sh.template复制并命名为hive-env.sho修改hive-env.sh文件。HADOOP_HOME=/app/Hadoop/HIVE_CONF_DIR=/app/hive/conf/(5)修改hive-site.xml文件。<value>jdbc:mysql://10:3306/metastore?createDatabaseIfNotExist=true</value><value>root</value><value>123456</value>(6)上传MySQL驱动程序。将mysql-connector-java-5.1.27-bin上传至ll/app/hive/lib。(7)初始化Schematooloschematool-dbTypemysql-initSchema(8)启动Hiveo2.安装Spark(1)解压文件。(2)将配置模板文件复制并命名为spark-env.shocpspark-env.sh.templatespark-env.sh(3)修改spark-env.sh文件，在该文件的最后位置添加以下内容。配置Java环境变量exportJAVA_HOME=/app/java/指定Master的IP地址exportSPARK_MASTER_HOST=Hadoop指定Hadoop的端口exportSPARK_MASTER_PORT=7077.安装Zeppelin(1)将上传到操作系统的Zeppelin进行解压缩。tar-zxvf/soft/zeppelin-0.9.0-previewl-bin-all.tgz-C../app云计算与大数据技术(微课版)9198(2)将zeppelin-site.xml.template复制并命名为zeppelin-site.xmlo(3)修改配置文件。<property><name>zeppelin.server.addr</name><value>10</value><description>Serverbindingaddress</description></property><property><name>zeppelin.server.port</name><value>8000</value><description>Serverport.</description></property>(4)将zeppelin-env.sh.template复制并命名为zeppelin-env.shocpzeeplelin-env.sh.templatezeppelin-env.sh(5)修改zeppelin-env.sh配置文件。exportJAVA_HOME=/app/javaexportHADOOP_CONF_DIR=/app/Hadoop/etc/Hadoop(6)进入Zeppelin安装目录下的bin目录启动Zeppelin。(7)将Hive的配置文件复制到Zeppelin的conf目录下。cp/app/hive/conf/hive-site.xml/app/zeppelin/conf(8)复制Hive和Hadoop的JAR包到Zeppelin的jdbc目录下。(9)配置完成。打开浏览器，输入网址http：//10:8000o.安装Sqoop(1)上传_hadoop-2.0.4-alpha.tar到操作系统并解压改名。tar-zxvf/soft/sqoop-1_hadoop-2.0.4-alpha.tar.gz-C/app/(2)编辑/etc/profile文件，添加SQOOP_HOME变量,并且将$SQOOP_HOME/bin添加到PATH变量中。exportSQOOP_HOME=/app/flumeexportPATH=$SQOOP_HOME/bin:$PATH(3)复制并修改Sqoop配置文件。cpsqoop-env-template.shsqoop-env.shexportHADOOP_COMMON_HOME=/app/hadoop/exportHADOOP_MAPRED_HOME=/app/hadoop/exportHIVE_HOME=/app/hive/(4)将MySQL驱动包上传到Sqoop的lib下.安装Flume(1)上传安装包到操作系统并解压改名.tar-zxvf/soft/apache-flume-1.8.0-bin.tar.gz-C/app/(2)编辑/etc