《大数据导论》课件-第二章

大数据导论大数据导论Spark基本介绍目录01什么是Spark

02Spark的特点03Spark的重要角色什么是Spark？Spark是一种基于内存的快速、通用、课扩展的大数据分析引擎。定义：什么是Spark？Spark特色通用兼容性快易用Spark的重要角色把用户程序转为作业(JOB)跟踪Executor的运行状况为执行器节点调度任务UI展示应用运行状况。Driver(驱动器)负责运行组成Spark应用的任务,并将结果返回给驱动器进程通过自身的块管理器(BlockManager)为用户程序中要求缓存的RDD提供内存式存储。Executor(执行器)下面我们进入Spark部署步骤详解平台搭建操作sparkstandalone集群模式部署大数据导论目录sparkstandalone集群模式部署上传、解压、压缩包前提：jdk环境已完成配置防火墙已关闭zookeeper已完成配置解压spark包到指定的目录tarzxvf包名-C指定路径文件配置（cd/usr/loacl/src/spark/conf/）1.修改文件名spark-env.sh.template为spark-env.sh2.进入spark-env.sh文末添加以下配置exportJAVA_HOME=/usr/local/src/jdkexportSPARK_MASTER_HOST=masterexportSPARK_MASTER_PORT=7073.修改文件名slaves.template为slaves4.进入slaves添加以下从节点主机名slave01slave02文件分发，从节点同步以上配置scp-r/usr/local/src/spark/conf/*root@hoat002:/usr/local/src/spark/conf/scp-r/usr/local/src/spark/conf/*root@hoat003:/usr/local/src/spark/conf/启动在sbin目录下执行启动集群 ./start-all.sh启动worker ./start-slave.sh启动master ./start-master.sh 使用主节点ip地址接端口号8080进行访问sparkHA部署大数据导论目录sparkHA部署基于上节课的操作将conf目录下的spark-env.sh文件进行修改注释以下两行代码exportSPARK_MASTER_HOST=masterexportSPARK_MASTER_PORT=7077再添加以下代码exportSPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=master,slave01,slave02-Dspark.deploy.zookeeper.dir=/spark"文件分发同步以上配置scp-r/usr/local/src/spark/conf/spark-env.shroot@host001:/usr/local/src/spark/conf/scp-r/usr/local/src/spark/conf/spark-env.shroot@host001:/usr/local/src/spark/conf/启动zookeeperzkServer.shstart启动sparkha./start-all.sh从节点执行start-master.sh 使用主节点ip地址接端口号8080进行访问Zookeeper组件搭建配置大数据导论目录Zookeeper组件搭建配置zookeeper配置解压zookeeper的压缩包到指定的路径下tarzxf/usr/local/src/zookeeper-3.4.5.tar.gz-C/usr/local/src/mvzookeeper-3.4.5zookeeper

环境变量配置vi/etc/profileexportZK_HOME=/usr/local/src/zookeeperexportPATH=$PATH:$ZK_HOME/bin执行source/etc/profile生效Cd/usr/local/src/zookeeper/conf修改文件名zoo_sample.cfg为zoo.cfg在dataDir写入zoopeeker的路径dataDir=/usr/local/src/zookeeper/zk_data/并在文末添加以下配置server.100=master:2888:3888 server.200=slave01:2888:3888server.300=slave02:2888:3888##2888：数据交换端口##3888：选举信息端口配置zoo.cfgCd/usr/local/src/zookeeper/conf修改文件名zoo_sample.cfg为zoo.cfg在dataDir写入zoopeeker的路径dataDir=/usr/local/src/zookeeper/zk_data/并在文末添加以下配置server.100=master:2888:3888 server.200=slave01:2888:3888server.300=slave02:2888:3888##2888：数据交换端口##3888：选举信息端口在zoopeeker下创建路径zk_datamkdir-p/usr/local/src/zookeeper/zk_data配置zoo.cfg分发文件，将zookeeper的文件同步到其他节点上scp-r/usr/local/src/zookeeperroot@slave01:/usr/local/src/scp-r/usr/local/src/zookeeperroot@slave02:/usr/local/src/scp/etc/profileroot@slave01:/etc/profilescp/etc/profileroot@slave02:/etc/profileslave01为200slave02为300source/etc/profile分发文件再在zk_data下创建myid文件写入上面配置的id号master为100启动启动 zkServer.shstart查看状态 zkServer.shstatus查看进程 jpsQuorumPeerMain大数据导论Spark基本介绍目录01什么是Spark

02Spark的特点03Spark的重要角色什么是Spark？Spark是一种基于内存的快速、通用、课扩展的大数据分析引擎。定义：什么是Spark？Spark特色通用兼容性快易用Spark的重要角色把用户程序转为作业(JOB)跟踪Executor的运行状况为