基于Zookeeper搭建Spark集群

基于Zookeeper搭建Spark集群2知识目标各组件作用集群搭建集群的验证01能力目标了解Spakr集群高可用中各组件的作用掌握Spark高可用集群配置高可用集群的验证02学习目标3目录01集群规划02Spark集群搭建03Spark集群启动04Spark集群验证集群规划4这里搭建一个3节点的Spark集群，其中三台主机上均部署

Worker

服务。同时为了保证高可用，除了在hadoop001上部署主

Master

服务外，还在hadoop002和hadoop003上分别部署备用的

Master

服务，Master服务由Zookeeper集群进行协调管理，如果主

Master

不可用，则备用

Master

会成为新的主

Master。Spark集群搭建5下载后进行解压，命令如下：tar-zxvfspark-2.2.3-bin-hadoop2.6.tgz配置/etc/profile文件，命令如下vim/etc/profile添加环境变量，配置如下：exportSPARK_HOME=/usr/app/spark-2.2.3-bin-hadoop2.6exportPATH=${SPARK_HOME}/bin:$PATH保存退出，使得配置的环境变量立即生效source/etc/profileSpark集群搭建6进入spark的conf

目录，拷贝配置样本进行修改，命令如下：cpspark-env.sh.templatespark-env.sh然后编辑该文件，编辑内容如下：#配置JDK安装位置JAVA_HOME=/usr/java/jdk1.8.0_201#配置hadoop配置文件的位置HADOOP_CONF_DIR=/usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop#配置zookeeper地址SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=hadoop001:2181,hadoop002:2181,hadoop003:2181-Dspark.deploy.zookeeper.dir=/spark"

配置完成之后保存并退出Spark的集群搭建7配置从节点，需要将slaves.template复制并命名为slaves,然后编辑该文件，配置从节点主机名，命令如下cpslaves.templateslaves编辑该文件vislaves#配置所有Woker节点的位置,将从节点主机名添加上去hadoop001hadoop002hadoop003

保存并退出Spark的集群搭建8将Spark的安装包分发到其他服务器，分发后建议在这两台服务器上也配置一下Spark的环境变量。命令如下：scp-r/usr/app/spark-2.4.0-bin-hadoop2.6/hadoop002:usr/app/scp-r/usr/app/spark-2.4.0-bin-hadoop2.6/hadoop003:usr/app/集群的启动9分别启动Hadoop集群、Zookeeper集群之后再启动Spark集群。进入

hadoop001的

${SPARK_HOME}/sbin

目录下，执行下面命令启动集群。执行命令后，会在hadoop001上启动

Maser服务，会在

slaves

配置文件中配置的所有节点上启动

Worker

服务，命令如下：start-all.sh分别在

hadoop002和hadoop003上执行下面的命令，启动备用的

Master

服务：#${SPARK_HOME}/sbin下执行start-master.sh验证集群高可用10此时可以使用

kill

命令杀死

hadoop001上的

Master

进程，此时备用

Master

会中会有一个再次成为

主Master，我这里是

hadoop002，可以看到

hadoop2上的

Master

经过

RECOVERING

后成为了新的主

Master，并且获得了全部可以用的