2023学年完整公开课版Spark搭建部署2

第十章Spark分布式计算范式学习计划

2数据处理平台搭建性能开发性能检索

3章节目录1.简介2.Hadoop平台搭建3.MapReduce并行计算4.简介

4Spark系统

验证Scala并进行系统计算部署Master进入Spark主目录，运行SparkPI案例：#cd/opt/hadoop_resources/spark-1.5.2/#./bin/run-exampleSparkPi10执行后，可以看到PI的结果：/etc/profile进入Spark主目录，运行SparkPI案例：#cd/opt/hadoop_resources/spark-1.5.2/#./bin/run-exampleSparkPi10执行后，可以看到PI的结果：/etc/profile

5Spark系统

通过指定参数打开SparkshellMaster我们也可以指定参数打开交互式SparkShell，SparkShell是一个修改版的ScalaShell。通过交互式Shell可以帮助我们理解架构。#./bin/spark-shell--masterlocal[N]--master：指定master节点的URL，我们也可以使用local参数去使用单线程模式执行本地的SparkShell，或者使用local[N]去执行N个本地线程的SparkShell。例如，我们使用两个线程打开本地的SparkShell：#./bin/spark-shell--masterlocal[2]执行后，我们可以看到修改版的ScalaShell，如图：

6Spark系统

Scala安装与配置MasterSlaver1&Slaver2该项需要在每个节点配置。进入到软件包所在的目录/mnt/Rpms，使用yum命令安装spark软件包，进入安装目录：#cd/mnt/Rpms/#yum-yinstallbigdata-xiandian-spark-1.0-1.x86_64.rpm#cd/opt/hadoop_resources/spark-1.5.2配置环境变量：#vi/etc/profileexportSPARK_HOME=/opt/hadoop_resources/spark-1.5.2exportPATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin使环境变量生效：#source/etc/profile该项需要在每个节点配置。进入到软件包所在的目录/mnt/Rpms，使用yum命令安装spark软件包，进入安装目录：#cd/mnt/Rpms/#yum-yinstallbigdata-xiandian-spark-1.0-1.x86_64.rpm#cd/opt/hadoop_resources/spark-1.5.2配置环境变量：#vi/etc/profileexportSPARK_HOME=/opt/hadoop_resources/spark-1.5.2exportPATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin使环境变量生效：#source/etc/profile

7Spark系统

Scala安装与配置Master配置spark-env.sh#cdspark-1.5.2/conf/修改spark-env.sh文件#cpspark-env.sh.templatespark-env.sh编辑spark-env.sh添加以下内容：exportJAVA_HOME=/usr/java/jdk1.7.0_67/exportSPARK_MASTER_IP=29exportSPARK_WORKER_MEMORY=1gexportHADOOP_CONF_DIR=/opt/hadoop_resources/hadoop-2.7.0/etc/hadoop修改slaves文件在master节点进行配置#cpslaves.templateslaves编辑slaves，添加：masterslaver1slaver2

8Spark系统

Scala安装与配置MasterSlaver1&Slaver2配置Hadoop环境变量在Yarn上运行Spark需要配置HADOOP_CONF_DIR、YARN_CONF_DIR和HDFS_CONF_DIR环境变量，编辑/root/.bash_profile文件添加：exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexportHDFS_CONF_DIR=$HADOOP_HOME/etc/hadoopexportYARN_CONF_DIR=$HADOOP_HOME/etc/hadoop环境变量生效：#source/root/.bash_profile配置Hadoop环境变量在Yarn上运行Spark需要配置HADOOP_CONF_DIR、YARN_CONF_DIR和HDFS_CONF_DIR环境变量，编辑/root/.bash_profile文件添加：exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexportHDFS_CONF_DIR=$HADOOP_HOME/etc/hadoopexportYARN_CONF_DIR=$HADOOP_HOME/etc/hadoop环境变量生效：#source/root/.bash_profile

9Spark系统

Scala安装与配置Slaver1&Slaver2HadoopSlave节点上配置。接将HadoopMaster节点上的spark-1.5.2拷贝到HadoopSlave节点。#scp-rroot@master:/opt/hadoop_resources/spark-1.5.2/opt/hadoop_resources/

10Spark系统

Scala的启动与安装Ho