2023学年完整公开课版Spark搭建部署

大数据平台搭建和开发学习计划数据处理平台搭建性能开发性能检索第一章大数据平台搭建章节目录1.简介

2.Hadoop平台搭建3.MapReduce并行计算4.Spark系统该项需要在每个节点配置。通过scala可以进行运行Spark案例，首先对scala进行安装和配置。#yum-yinstallscala-2.11.7.rpm验证：#scala–version出现如下字样Scalacoderunnerversion2.11.7--Copyright2002-2013,LAMP/EPFL该项需要在每个节点配置。通过scala可以进行运行Spark案例，首先对scala进行安装和配置。#yum-yinstallscala-2.11.7.rpm验证：#scala–version出现如下字样Scalacoderunnerversion2.11.7--Copyright2002-2013,LAMP/EPFLMasterSpark系统 Scala安装与配置Slaver1&Slaver2该项需要在每个节点配置。进入到软件包所在的目录/mnt/Rpms，使用yum命令安装spark软件包，进入安装目录：#cd/mnt/Rpms/#yum-yinstallbigdata-xiandian-spark-1.0-1.x86_64.rpm#cd/opt/hadoop_resources/spark-1.5.2配置环境变量：#vi/etc/profileexportSPARK_HOME=/opt/hadoop_resources/spark-1.5.2exportPATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin使环境变量生效：#source/etc/profile该项需要在每个节点配置。进入到软件包所在的目录/mnt/Rpms，使用yum命令安装spark软件包，进入安装目录：#cd/mnt/Rpms/#yum-yinstallbigdata-xiandian-spark-1.0-1.x86_64.rpm#cd/opt/hadoop_resources/spark-1.5.2配置环境变量：#vi/etc/profileexportSPARK_HOME=/opt/hadoop_resources/spark-1.5.2exportPATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin使环境变量生效：#source/etc/profileMasterSpark系统 Spark安装Slaver1&Slaver2Master配置spark-env.sh#cdspark-1.5.2/conf/修改spark-env.sh文件#cpspark-env.sh.templatespark-env.sh编辑spark-env.sh添加以下内容：exportJAVA_HOME=/usr/java/jdk1.7.0_67/exportSPARK_MASTER_IP=29exportSPARK_WORKER_MEMORY=1gexportHADOOP_CONF_DIR=/opt/hadoop_resources/hadoop-2.7.0/etc/hadoop修改slaves文件在master节点进行配置#cpslaves.templateslaves编辑slaves，添加：masterslaver1slaver2Spark系统 Spark配置Spark系统 Spark配置

配置Hadoop环境变量在Yarn上运行Spark需要配置HADOOP_CONF_DIR、YARN_CONF_DIR和HDFS_CONF_DIR环境变量，编辑/root/.bash_profile文件添加：exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexportHDFS_CONF_DIR=$HADOOP_HOME/etc/hadoopexportYARN_CONF_DIR=$HADOOP_HOME/etc/hadoop环境变量生效：#source/root/.bash_profileMasterSlaver1&Slaver2

配置Hadoop环境变量在Yarn上运行Spark需要配置HADOOP_CONF_DIR、YARN_CONF_DIR和HDFS_CONF_DIR环境变量，编辑/root/.bash_profile文件添加：exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexportHDFS_CONF_DIR=$HADOOP_HOME/etc/hadoopexportYARN_CONF_DIR=$HADOOP_HOME/etc/hadoop环境变量生效：#source/root/.bash_profileSlaver1&Slaver2HadoopSlave节点上配置。接将HadoopMaster节点上的spark-1.5.2拷贝到HadoopSlave节点。#scp-rroot@master:/opt/hadoop_resources/spark-1.5.2/opt/hadoop_resources/Spark系统 Spark配置在master节点进行。#cd/opt/hadoop_