第2章 Spark大数据处理框架

Spark大数据处理框架1 Spark概述2 Spark运行机制3

在VirtualBox上安装Linux集群4Hadoop安装前的准备工作5Hadoop的安装与配置6Spark的安装及配置7

使用PySpark编写Python代码8 安装pip工具和一些常用的数据分析库9安装Anaconda和配置JupyterNotebook1Spark概述MapReduce框架存在以下局限性。仅支持Map和Reduce两种操作。数据处理的每一步都需要一个Map阶段和一个Reduce阶段。处理效率低效。Map中间结果写磁盘，Reduce中间结果写HDFS，多个MapReduce之间通过HDFS交换数据，任务调度和启动开销大。Map和Reduce均需要排序，但是有的任务处理完全不需要排序（比如求最大值求最小值等），所以就造成了性能的低效。不适合做迭代计算（如机器学习、图计算等）、交互式处理（如数据挖掘）和流式处理（如日志分析）。Spark产生背景1Spark概述Spark处理数据时，所有的中间数据都保存在内存中，从而减少磁盘读写操作，提高了框架计算效率。Spark的优点。运行速度快。Spark基于磁盘做迭代计算比基于磁盘做迭代计算的MapReduce快10余倍；Spark基于内存的迭代计算则比基于磁盘做迭代计算的MapReduce快100倍以上。易用性好。Spark支持Java、Python、Scala等语言进行编程，支持交互式的Pytbon和Scala的shell。通用性强。Spark提供了批处理、交互式查询、实时流处理、机器学习和图计算等组件，这些组件都可以在同一个应用中无缝使用。兼容性好。Spark可以与其他的大数据处理产品进行融合，如Spark可以使用Hadoop的YARN作为它的资源管理和调度器。Spark也有自己的资源管理和调度框架Standalone。Spark的优点1Spark概述Spark的应用场景主要有以下几个。适用于需要多次操作特定数据集的应用场合。Spark不适用那种异步细粒度更新状态的应用，例如Web服务的存储或者是增量的Web爬虫和索引。数据量不是特别大，但是要求实时统计分析需求。Spark应用场景1Spark概述Spark是一个大数据并行计算框架，Spark有着自己的生态系统，同时兼容HDFS、Hive等分布式存储系统，可以完美融入Hadoop的生态圈中，代替MapReduce去执行更为高效的分布式计算。Spark生态系统

Spark大数据处理框架1 Spark概述2 Spark运行机制3

在VirtualBox上安装Linux集群4Hadoop安装前的准备工作5Hadoop的安装与配置6Spark的安装及配置7

使用PySpark编写Python代码8 安装pip工具和一些常用的数据分析库9安装Anaconda和配置JupyterNotebook2Spark运行机制弹性分布式数据集（简称RDD）：只读分区记录的集合，Spark对所处理数据的基本抽象。Spark中的计算可以抽象为对RDD进行创建、转换和返回操作结果的过程。Spark基本概念通过加载外部物理存储（如HDFS）中的数据集，或当前运行的应用中定义的对象集合（如List）来创建RDD。RDD在创建后不可被改变，只可以对其执行转换操作和行动操作。分区：一个RDD在物理上被切分为多个数据分区，这些分区可以分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。分区是Spark计算任务的基本处理单位，决定了并行计算的粒度。Spark应用（Application）：指的是用户使用SparkAPI编写的应用程序。应用的main()函数为应用程序的入口。2Spark运行机制驱动程序（Driver）和执行器（Executor）：Spark在执行每个应用的过程中会启动驱动程序和执行器两种JVM进程。驱动程序运行用户应用中的main()函数，创建SparkContext对象，准备Spark应用程序的运行环境。Spark基本概念驱动程序也负责提交Job，并将Job转化为Task，在各个执行器进程间协调Task的调度。在一个应用中，每个行动操作都触发生成一个作业（Job）。作业：在一个用户应用中，每个行动操作都触发生成一个作业。Spark对RDD采用惰性求解机制，对RDD的创建和转换并不会立即执行，只有在遇到行动操作时才会生成一个作业，然后统一调度执行。一个作业会被拆分为多组任务，每组任务被称为阶段（Stage），或者被称为任务集（TaskSet）。2Spark运行机制洗牌（Shuffle）：有一部分转换操作或行动操作会让RDD产生宽依赖，这样RDD操作过程就像是将父RDD中所有分区的Record进行了“洗牌”（Shuffle），数据被打散重组。Spark基本概念任务（Task）：一个Job在每个Stage内都会按照RDD的Partition数量，创建多个Task。任务（Task）是运行在执行器（Executor）上的工作单元，单个分区数据集上的最小处理流程单元。阶段（Stage）：用户提交的应用程序的计算过程表示为一个由RDD构成的DAG，如果RDD在转换的时候需要做Shuffle，那么这个Shuffle的过程就将这个DAG分为了不同的阶段（Stage）。工作节点（WorkerNode）：Spark的工作节点，用于执行提交的作业资源管理器（ClusterManager）：Spark以Spark自带的Standalone、Hadoop的YARN等为资源管理器调度Job完成Spark应用程序的计算。2Spark运行机制Spark运行架构，主要包括集群资源管理器（ClusterManager）、运行作业任务的工作结点（WorkerNode）、驱动程序（DriverProgram）和每个工作结点上负责具体任务的执行器（Executor）。Spark运行架构DriverProgram负责执行Application中的main()函数，准备Application的运行环境，创建SparkContext（应用上下文）对象，进而用他来创建RDD，提交Job，并将Job转化为多组任务，在各个Executor进程间协调任务的调度执行。此外，SparkContext对象还负责和ClusterManager进行通信、资源申请、任务分配和运行监控等。2Spark运行机制Spark运行架构ClusterManager负责申请和管理在WorkerNode上运行应用所需的资源。ClusterManager负责申请和管理在WorkerNode上运行应用所需的资源。Executor是应用运行在Worker节点上的一个进程，负责运行应用的某些Task，并将结果返回给Driver，同时为需要缓存的RDD提供存储功能。每个应用都有各自独立的一批Executor。2Spark运行机制Spark运行架构与MapReduce计算框架相比，Spark采用Executor具有如下两大优势。（1）Executor利用多线程来执行任务，相比MapReduce的进程模型，使用的资源和启动开销要小很多。（2）Executor中有一个BlockManager存储模块，BlockManager会将内存和磁盘共同作为存储设备，当需要多轮迭代计算的时候，可以将中间结果存储到这个存储模块里，供下次需要时直接使用，而不需要从磁盘中读取，从而有效减少I/O开销。。Worker节点上的不同Executor服务于不同的应用，它们之间是不共享数据的。

Spark大数据处理框架1 Spark概述2 Spark运行机制3在VirtualBox上安装Linux集群4Hadoop安装前的准备工作5Hadoop的安装与配置6Spark的安装及配置7

使用PySpark编写Python代码8 安装pip工具和一些常用的数据分析库9安装Anaconda和配置JupyterNotebook3

在VirtualBox上安装Linux集群Master节点的安装VirtualBox软件的版本为VirtualBox-6.1.26，在VirtualBox里可以创建多个虚拟机（这些虚拟机的操作系统可以是Windows也可以是Linux）。本节介绍如何在VirtualBox上安装Linux操作系统：为VirtualBox设置存储文件夹：创建虚拟电脑时，VirtualBox会创建一个文件夹，用于存储这个虚拟电脑的所有数据。VirtualBox启动后的界面：3

在VirtualBox上安装Linux集群Master节点的安装为VirtualBox设置存储文件夹：创建虚拟电脑时，VirtualBox会创建一个文件夹，用于存储这个虚拟电脑的所有数据。单击左上角管理→全局设定→常规，修改默认虚拟电脑位置为自己想要存储虚拟电脑的位置，这里设置为E盘VirtualBox文件夹，单击OK确认。3

在VirtualBox上安装Linux集群Master节点的安装在VirtualBox中创建虚拟机：启动VirtualBox软件，在界面右上方点击“新建”按钮，打开新建虚拟电脑界面，在“名称”后面的文本框中输入虚拟机名称，名称填写Master；在“类型”后面的下拉列表中选择Linux；在“版本”后面的下拉列表中选择要安装的Linux系统类型及位数，本书选择安装的是64位Ubuntu系统。3

在VirtualBox上安装Linux集群Master节点的安装在VirtualBox中创建虚拟机：单击“下一步”按钮，设置虚拟机内存大小。根据个人计算机配置给虚拟机设置内存大小，一般情况下没有特殊要求默认即可。这里将虚拟机内存设置为2GB。3

在VirtualBox上安装Linux集群Master节点的安装在VirtualBox中创建虚拟机：单击“下一步”按钮，设置磁盘，选择“现在创建虚拟硬盘”选项。3

在VirtualBox上安装Linux集群Master节点的安装在VirtualBox中创建虚拟机：单击“创建”按钮，选择虚拟硬盘文件类型，这里选择VDI（VirtualBox磁盘映象）。3

在VirtualBox上安装Linux集群Master节点的安装在VirtualBox中创建虚拟机：单击“下一步”按钮，设置虚拟硬盘文件的存放方式，如果磁盘空间较大，就选择固定大小，这样可以获得较好的性能；如果硬盘空间比较紧张，就选择动态分配。3

在VirtualBox上安装Linux集群Master节点的安装在VirtualBox中创建虚拟机：单击“下一步”按钮，设置虚拟硬盘文件的存放位置和大小，默认会保存在之前配置过的VirtualBox目录下，虚拟硬盘的大小设置为20GB。点击“浏览”选择一个容量充足的硬盘来存放它，单击“创建”按钮完成虚拟电脑的创建。然后，就可以在这个新建的虚拟机上安装Linux系统。3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：按照上面的步骤完成虚拟电脑的创建以后，会返回到此界面。这时请勿直接单击“启动”按钮，否则，有可能会导致安装失败。3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：选择刚刚创建的虚拟机，然后单击右上方的设置按钮打开“Master-设置”页面。3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：单击左侧存储按钮打开存储设置页面，然后单击“没有盘片”，单击右侧的小光盘图标，单击“选择虚拟盘...”，选择之前下载的Ubuntu系统安装文件，本书选择的Ubuntu系统安装文件的版本是ubuntu-20.04.3-desktop-amd64.iso。单击“OK”按钮。3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：选择刚创建的虚拟机Master，单击“启动”按钮。启动后会看到Ubuntu安装欢迎界面，安装语言选择中文(简体)。3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：单击“安装Ubuntu”按钮，在键盘布局界面中，键盘布局选择English(US)。3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：单击继续按钮，在弹出的更新和其他软件界面中，设置如图所示。3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：单击继续按钮，在弹出的安装类型界面中确认安装类型，这里选择“其他选项”3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：单击“继续”按钮，在出现的界面中，单击“新建分区表...”按钮，在弹出的界面中单击“继续”按钮，选中“空闲”。3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：单击+按钮，弹出创建分区界面，设置交换空间的大小设512MB3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：单击+按钮，弹出创建分区界面，设置交换空间的大小设512MB单击“OK”按钮，在弹出的界面中选中“空闲”，然后单击+按钮，在弹出的界面中创建根目录。3

在VirtualBox上安装Linux集群Master节点的安装在虚拟电脑上安装Linux系统：单击“确定”按钮，在出现的界面中单击“现在安装”按钮，在弹出的界面中单击“继续”按钮。在出现的“您在什么地方？”页面，采用默认值shanghai即可，单击“继续”，直到出现如图“您是谁?”的设置界面设置用户名和密码，然后单击继续，安装过程正式开始，不要单击Skip按钮，等待自动安装完成。3

在VirtualBox上安装Linux集群虚拟机克隆安装Slave1节点在VirtualBox系统中，可将已经安装配置好一个虚拟机实例像拷贝文件那样复制得到相同的虚拟机系统，称为虚拟机克隆，具体实现步骤如下。打开VirtualBox，进入VirtualBox界面选中要导出的虚拟机实例，这里选择的是Slave13

在VirtualBox上安装Linux集群虚拟机克隆安装Slave1节点在VirtualBox系统中，可将已经安装配置好一个虚拟机实例像拷贝文件那样复制得到相同的虚拟机系统，称为虚拟机克隆，具体实现步骤如下。然后单击上方的管理按钮，在下来菜单中单击“导出虚拟电脑(E)...3

在VirtualBox上安装Linux集群虚拟机克隆安装Slave1节点在VirtualBox系统中，可将已经安装配置好一个虚拟机实例像拷贝文件那样复制得到相同的虚拟机系统，称为虚拟机克隆，具体实现步骤如下。在弹出的界面中单击下一步3

在VirtualBox上安装Linux集群虚拟机克隆安装Slave1节点在VirtualBox系统中，可将已经安装配置好一个虚拟机实例像拷贝文件那样复制得到相同的虚拟机系统，称为虚拟机克隆，具体实现步骤如下。在上面单击“下一步”后弹出的界面中，选择导出保存路径3

在VirtualBox上安装Linux集群虚拟机克隆安装Slave1节点在VirtualBox系统中，可将已经安装配置好一个虚拟机实例像拷贝文件那样复制得到相同的虚拟机系统，称为虚拟机克隆，具体实现步骤如下。然后单击“下一步”按钮，在之后弹出的界面中单击导出按钮3

在VirtualBox上安装Linux集群虚拟机克隆安装Slave1节点在VirtualBox系统中，可将已经安装配置好一个虚拟机实例像拷贝文件那样复制得到相同的虚拟机系统，称为虚拟机克隆，具体实现步骤如下。正在进行导出操作，导出结束后得到Slave1.ova文件。3

在VirtualBox上安装Linux集群虚拟机克隆安装Slave1节点在VirtualBox系统中，可将已经安装配置好一个虚拟机实例像拷贝文件那样复制得到相同的虚拟机系统，称为虚拟机克隆，具体实现步骤如下。点击左上角管理→全局设定→常规，修改默认虚拟电脑位置以存储导入的虚拟电脑，为E盘。单击OK确认。3

在VirtualBox上安装Linux集群虚拟机克隆安装Slave1节点在VirtualBox系统中，可将已经安装配置好一个虚拟机实例像拷贝文件那样复制得到相同的虚拟机系统，称为虚拟机克隆，具体实现步骤如下。在VirtualBox中单击管理菜单下的“导入虚拟电脑(I)...”。3

在VirtualBox上安装Linux集群虚拟机克隆安装Slave1节点在VirtualBox系统中，可将已经安装配置好一个虚拟机实例像拷贝文件那样复制得到相同的虚拟机系统，称为虚拟机克隆，具体实现步骤如下。在弹出的界面中选择前面得到Slave1.ova文件。3

在VirtualBox上安装Linux集群虚拟机克隆安装Slave1节点在VirtualBox系统中，可将已经安装配置好一个虚拟机实例像拷贝文件那样复制得到相同的虚拟机系统，称为虚拟机克隆，具体实现步骤如下。然后单击“下一步”在弹出的界面中勾选下面的“重新初始化所有网卡的MAC地址(R)”选项，最后单击导入按钮即可创建一个新的虚拟机实例。

Spark大数据处理框架1 Spark概述2 Spark运行机制3在VirtualBox上安装Linux集群4Hadoop安装前的准备工作5Hadoop的安装与配置6Spark的安装及配置7

使用PySpark编写Python代码8 安装pip工具和一些常用的数据分析库9安装Anaconda和配置JupyterNotebook4

Hadoop安装前的准备工作如果你安装Ubuntu的时候不是用的“hadoop”用户，那么需要增加一个名为hadoop的用户，这样做是为了方便后续软件的安装。打开一个终端，输入如下命令创建hadoop用户：$sudouseradd-mhadoop-s/bin/bash-m表示自动创建用户的家目录，-s指定/bin/bash作为用户登入后所使用的Shell。为hadoop用户设置登录密码：$sudopasswdhadoop为hadoop用户增加管理员权限：$sudoadduserhadoopsudo创建hadoop用户4

Hadoop安装前的准备工作创建hadoop用户使用suhadoop切换到用户hadoop。打开虚拟机后，通过简单的设置可实现在Ubuntu与Windows之间互相复制与粘贴，具体实现过程：设备→共享粘贴板→双向。更新apt源$sudoapt-getupdate安装SSH、配置SSH无密码登录SSH是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。SSH是由客户端和服务端组成，客户端包含ssh程序以及像scp（远程拷贝）、slogin（远程登陆）、sftp（安全文件传输）等其他的应用程序。4

Hadoop安装前的准备工作安装SSH、配置SSH无密码登录SSH的工作机制是本地的客户端发送一个连接请求到远程的服务端，服务端检查申请的包和IP地址再发送密钥给SSH的客户端，本地再将密钥发回给服务端，自此连接建立。Hadoop的名称节点（NameNode）需要通过SSH来启动Slave列表中各台主机的守护进程。由于SSH需要用户密码登录，但Hadoop并没有提供SSH输入密码登录的形式，因此，为了能够在系统运行中完成节点的免密码登录和访问，需要将Slave列表中各台主机配置为名称节点免密码登录它们。配置SSH的主要工作是创建一个认证文件，使得用户以publickey方式登录，而不用手工输入密码。4

Hadoop安装前的准备工作安装SSH、配置SSH无密码登录Ubuntu默认已安装了SSHclient，此外还需要安装SSHserver：$sudoapt-getinstallopenssh-server安装后，可以使用如下命令登录本机：$sshlocalhost配置成SSH无密码登录，配置步骤如下：1）执行如下命令生成秘钥对cd~/.ssh/#若没有该目录，需先执行一次sshlocalhostssh-keygen-trsa#生成秘钥对，会有提示，都按回车即可2）加入授权cat./id_rsa.pub>>./authorized_keys#加入授权此时，再执行sshlocalhost命令，不用输入密码就可以直接登录了。4

Hadoop安装前的准备工作安装Java环境1）下载jdk到“/home/hadoop/下载”目录下：jdk-8u181-linux-x64.tar.gz2）将jdk解压到/opt/jvm/文件夹中操作步骤：$sudomkdir/opt/jvm#创建目录$sudotar-zxvf/home/hadoop/下载/jdk-8u181-linux-x64.tar.gz-C/opt/jvm3）配置jdk的环境变量，打开/etc/profile文件，在文件末尾添加下语句：exportJAVA_HOME=/opt/jvm/jdk1.8.0_181exportJRE_HOME=${JAVA_HOME}/jreexportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexportPATH=${JAVA_HOME}/bin:$PATH执行source命令使其立即生效：$source/etc/profile4

Hadoop安装前的准备工作安装Java环境查看是否安装成功：在终端执行java-versionLinux系统下Scala版本的Eclipse的安装与配置1.下载eclipse这里下载的Scala版本的Eclipse是eclipse-SDK-4.7.0-linux.gtk.x86_64.tar.gz。2.安装eclipse将eclipse-SDK-4.7.0-linux.gtk.x86_64.tar.gz解压到/opt/jvm文件夹中：$sudotar-zxvf~/下载/eclipse-SDK-4.7.0-linux.gtk.x86_64.tar.gz-C/opt/jvm3.创建eclipse桌面快捷方式图标$sudogedit/usr/share/applications/eclipse.desktop#创建并打开文件4

Hadoop安装前的准备工作Linux系统下Scala版本的Eclipse的安装与配置在弹出的文本编辑器输入以下内容并保存文件：[DesktopEntry]Encoding=UTF-8Name=EclipseComment=EclipseIDEExec=/opt/jvm/eclipse/eclipseIcon=/opt/jvm/eclipse/icon.xpmTerminal=falseStartupNotify=trueType=ApplicationCategories=Application;Development;4

Hadoop安装前的准备工作Linux系统下Scala版本的Eclipse的安装与配置打开文件系统，在/usr/share/applications/目录下找到Eclipse图标，右击，复制到->桌面，此时，eclipse.desktop出现在桌面，然后右键eclipse.desktop图标选择“允许启动”，至此，Eclipse的快捷方式就创建完毕了

Spark大数据处理框架1 Spark概述2 Spark运行机制3在VirtualBox上安装Linux集群4Hadoop安装前的准备工作5Hadoop的安装与配置6Spark的安装及配置7

使用PySpark编写Python代码8 安装pip工具和一些常用的数据分析库9安装Anaconda和配置JupyterNotebook5

Hadoop的安装与配置下载Hadoop安装文件Hadoop2可以通过/apache/hadoop/common/下载，一般选择下载最新的稳定版本，即下载“stable”下的hadoop-2.x.y.tar.gz这个格式的文件，这是编译好的，另一个包含src的则是Hadoop源代码，需要进行编译才可使用。下载安装文件之后，打开一个终端执行如下命令：$sudotar-zxf~/下载/hadoop-2.7.7.tar.gz-C/usr/local#解压$cd/usr/local/$sudomv./hadoop-2.7.7./hadoop#将文件夹名改为hadoop$sudochown-Rhadoop./hadoop#修改文件权限其中“~/”表示的是“/home/hadoop/”这个目录。Hadoop解压后即可使用。5

Hadoop的安装与配置Hadoop单机模式配置Hadoop默认的模式为非分布式模式（独立、本地），解压后无须进行其它配置就可运行。Hadoop单机模式只在一台机器上运行，存储采用本地文件系统，而不是分布式文件系统HDFS。Hadoop可以在单个节点（一台机器）上以伪分布式的方式运行，同一个节点既作为名称节点（NameNode），也作为数据节点（DataNode），读取的是分布式文件系统HDFS的文件。需要配置相关文件，才能够Hadoop以伪分布式模式运行，需要修改2个配置文件，即core-site.xml和hdfs-site.xml。Hadoop伪分布式模式配置5

Hadoop的安装与配置Hadoop伪分布式模式配置$gedit/usr/local/hadoop/etc/hadoop/core-site.xml修改以后，core-site.xml文件的内容如下：<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abaseforothertemporarydirectories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>hadoop.tmp.dir用于保存临时文件。fs.defaultFS这个参数，用于指定HDFS的访问地址5

Hadoop的安装与配置Hadoop伪分布式模式配置配置文件hdfs-site.xml，修改后的内容如下：<configuration>

<property><name>dfs.replication</name><value>1</value></property><property><name>.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property></configuration>dfs.replication这个参数用于指定副本的数量，.dir用于设定名称节点的元数据的保存目录，dfs.datanode.data.dir用于设定数据节点的数据保存目录。5

Hadoop的安装与配置Hadoop伪分布式模式配置执行名称节点格式化修改配置文件以后，要执行名称节点的格式化，命令如下：$cd/usr/local/hadoop$./bin/hdfsnamenode-format启动Hadoop执行下面命令启动Hadoop：$cd/usr/local/hadoop$./sbin/start-dfs.sh注意：启动Hadoop时，如果出现“localhost:Error:JAVA_HOMEisnotsetandcouldnotbefound.”这样的错误，需要修改hadoop-env.sh文件，将其中的JAVA_HOME替换为绝对路径，具体实现过程如下：$sudogedit/usr/local/hadoop/etc/hadoop/hadoop-env.sh#打开文件将“exportJAVA_HOME=${JAVA_HOME}”修改为下面所示的内容：exportJAVA_HOME=/opt/jvm/jdk1.8.0_1815

Hadoop的安装与配置Hadoop成功启动后，可以在Linux系统中打开一个浏览器，在地址栏输入http://localhost:50070就可以查看名称节点信息如图所示、数据节点信息如图所示，还可以在线查看HDFS中的文件。Hadoop伪分布式模式配置使用Web界面查看HDFS信息5

Hadoop的安装与配置要使用HDFS，首先需要在HDFS中创建用户目录，命令如下：$cd/usr/local/hadoop$./bin/hdfsdfs-mkdir-p/user/hadoop接着把本地文件系统的/usr/local/hadoop/etc/hadoop目录中的所有xml文件作为后面运行Hadoop中自带的WordCount程序的输入文件，复制到分布式文件系统HDFS中的/user/hadoop/input目录中，命令如下：$cd/usr/local/hadoop$./bin/hdfsdfs-mkdirinput#在HDFS中创建hadoop用户对应的input目录$./bin/hdfsdfs-put./etc/hadoop/*.xmlinput#把本地文件复制到input目录中Hadoop伪分布式模式配置运行Hadoop伪分布式实例5

Hadoop的安装与配置现在可以运行Hadoop中自带的WordCount程序，命令如下：$./bin/hadoopjar./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jarwordcountinputoutput运行结束后，可以通过如下命令查看HDFS中output文件夹中的内容：$./bin/hdfsdfs-catoutput/*需要强调的是，Hadoop运行程序时，输出目录不能存在，否则会提示错误信息。因此，若要再次执行wordcount程序，需要执行如下命令删除HDFS中的output文件夹：$./bin/hdfsdfs-rm-routput#删除output文件夹Hadoop伪分布式模式配置运行Hadoop伪分布式实例5

Hadoop的安装与配置如果要关闭Hadoop，可以执行如下命令：$cd/usr/local/hadoop$./sbin/stop-dfs.shHadoop伪分布式模式配置关闭Hadoop5

Hadoop的安装与配置如果要继续把其它命令的路径也加入到PATH变量中，也需要修改~/.bashrc这个文件，在上述路径的后面用英文冒号“:”隔开，把新的路径加到后面即可。添加后，执行命令source~/.bashrc使设置生效。然后在任何目录下输入start-dfs.sh就可启动Hadoop。停止Hadoop输入stop-dfs.sh命令。Hadoop伪分布式模式配置配置PATH变量把start-dfs.sh、stop-dfs.sh等命令所在的目录/usr/local/hadoop/sbin加入到环境变量PATH中，在任何目录下都可以直接使用命令start-dfs.sh启动Hadoop，不用带上命令路径。使用gedit编辑器打开~/.bashrc这个文件，然后在这个文件的最前面位置加入如下单独一行：exportPATH=$PATH:/usr/local/hadoop/sbin5

Hadoop的安装与配置采用两个虚拟机来搭建分布式集群环境：一个虚拟机作为Master节点，另一个虚拟机作为Slave1节点。Hadoop集群的安装配置大致包括以下步骤。在Master节点上创建hadoop用户、安装SSH服务端、安装Java环境。在Master节点上安装Hadoop，并完成配置。在Slave1节点上创建hadoop用户、安装SSH服务端、安装Java环境。将Master节点上的/usr/local/hadoop目录复制到Slave1节点上。在Master节点上开启Hadoop。完成步骤①~③之后：Hadoop分布式模式配置5

Hadoop的安装与配置网络配置将两个虚拟机的网络连接方式都改为“桥接网卡”模式。以实现两个节点的互联。一定要确保各个节点的MAC地址不能相同，否则会出现IP地址冲突。Hadoop分布式模式配置5

Hadoop的安装与配置网络配置Hadoop分布式模式配置网络配置完成以后，通过ifconfig命令查看两个虚拟机的IP地址，本书所用的Master节点的IP地址为15，所用的Slave1节点的IP地址为14。在Master节点上执行如下命令修改Master节点中的/etc/hosts文件：#vim/etc/hosts在hosts文件中增加如下两条IP地址和主机名映射关系，即集群中两个节点与IP地址的映射关系。15Master14Slave1hosts文件中只能有一个，其对应的主机名为localhost，如果有多余映射，应删除。修改后需要重启Linux系统。5

Hadoop的安装与配置网络配置Hadoop分布式模式配置参照Master节点的配置方法，修改Slave1节点中的/etc/hosts文件，在hosts文件中增加如下两条IP地址和主机名映射关系：15Master14Slave1修改完成以后，重启Slave1的Linux系统。在两个节点上测试是否相互ping得通，如果ping不通，后面就无法顺利配置成功。$pingSlave1-c3#在Master上ping三次Slave1，否则要按Ctrl+C中断ping命令$pingMaster-c3#在Slave1上ping三次Master5

Hadoop的安装与配置SSH无密码登录Slave1节点Hadoop分布式模式配置必须要让Master节点可以SSH无密码登录Slave1节点。首先，生成Master节点的公钥：$cd~/.ssh$rm./id_rsa*#删除之前生成的公钥（如果已经存在）$ssh-keygen-trsa#Master生成公钥，执行后，遇到提示信息，一路按回车就可以5

Hadoop的安装与配置SSH无密码登录Slave1节点Hadoop分布式模式配置在Master节点上执行如下命令：$cat./id_rsa.pub>>./authorized_keys再执行命令sshMaster来验证一下，遇到提示信息，输入yes即可，执行exit命令返回原来的终端。5

Hadoop的安装与配置SSH无密码登录Slave1节点Hadoop分布式模式配置在Master节点将上述生成的公钥传输到Slave1节点：$scp~/.ssh/id_rsa.pubhadoop@Slave1:/home/hadoop/scp是securecopy的简写，用于在Linux上进行远程复制文件。执行scp时会要求输入Slave1上hadoop用户的密码，输入完成后会提示传输完毕。在Slave1节点上将SSH公钥加入授权：hadoop@Slave1:~$mkdir~/.ssh#若~/.ssh不存在，可通过该命令进行创建hadoop@Slave1:~$cat~/id_rsa.pub>>~/.ssh/authorized_keys5

Hadoop的安装与配置SSH无密码登录Slave1节点Hadoop分布式模式配置执行上述命令后，在Master节点上就可以无密码SSH登录到Slave1节点了，可在Master节点上执行如下命令进行检验：$sshSlave15

Hadoop的安装与配置配置PATH变量Hadoop分布式模式配置在Master节点上配置PATH变量，以便在任意目录中可直接使用hadoop、hdfs等命令。执行vim~/.bashrc命令，打开~/.bashrc文件，在该文件最上面的位置加入下面一行内容，注意之后要加上“:”：exportPATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin保存后执行命令source~/.bashrc使配置生效。5

Hadoop的安装与配置配置分布式环境Hadoop分布式模式配置配置分布式环境时，需要修改/usr/local/hadoop/etc/hadoop目录下5个配置文件，具体包括slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。修改slaves文件:执行vim/usr/local/hadoop/etc/hadoop/slaves命令，打开/usr/local/hadoop/etc/hadoop/slaves文件，由于只有一个Slave节点Slave1，所以让Master节点既充当名称节点又充当数据节点，在文件中添加如下两行内容：localhostSlave15

Hadoop的安装与配置配置分布式环境Hadoop分布式模式配置修改core-site.xml文件:<configuration><property><name>fs.defaultFS</name><value>hdfs://Master:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abaseforothertemporarydirectories.</description></property></configuration>core-site.xml文件用来配置Hadoop集群的通用属性，包括指定namenode的地址、指定使用Hadoop临时文件的存放路径等。5

Hadoop的安装与配置配置分布式环境Hadoop分布式模式配置修改hdfs-site.xml文件:<configuration><property><name>node.secondary.http-address</name><value>Master:50090</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property>Master节点既充当名称节点又充当数据节点，此外还有一个Slave节点Slave1，即集群中有两个数据节点，所以dfs.replication的值设置为25

Hadoop的安装与配置配置分布式环境Hadoop分布式模式配置修改hdfs-site.xml文件:

<property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property></configuration>hdfs-site.xml文件用来配置分布式文件系统HDFS的属性，包括指定HDFS保存数据的副本数量，指定HDFS中NameNode的存储位置，指定HDFS中DataNode的存储位置等。5

Hadoop的安装与配置配置分布式环境Hadoop分布式模式配置修改mapred-site.xml文件:/usr/local/hadoop/etc/hadoop目录下有一个mapred-site.xml.template文件，需要修改文件名称，把它重命名为mapred-site.xml：$cd/usr/local/hadoop/etc/hadoop$mvmapred-site.xml.templatemapred-site.xml$vimmapred-site.xml#打开mapred-site.xml文件然后把mapred-site.xml文件配置成如下内容：<configuration><property><name></name><value>yarn</value></property>5

Hadoop的安装与配置配置分布式环境Hadoop分布式模式配置

<property><name>mapreduce.jobhistory.address</name><value>Master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>Master:19888</value></property></configuration>5

Hadoop的安装与配置配置分布式环境Hadoop分布式模式配置修改yarn-site.xml文件:<configuration><property><name>yarn.resourcemanager.hostname</name><value>Master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>YARN是MapReduce的调度框架。yarn-site.xml文件用于配置YARN的属性，包括指定namenodeManager获取数据的方式，指定resourceManager的地址。5

Hadoop的安装与配置配置分布式环境Hadoop分布式模式配置把Master节点上的/usr/local/hadoop文件夹复制到各个节点上。如果之前运行过伪分布式模式，建议在切换到集群模式之前先删除在伪分布模式下生成的临时文件。在Master节点上实现上述要求的执行命令如下：$cd/usr/local$sudorm-r./hadoop/tmp#删除Hadoop临时文件$sudorm-r./hadoop/logs/*#删除日志文件$tar-zcf~/hadoop.master.tar.gz./hadoop#先压缩再复制$cd~$scp./hadoop.master.tar.gzSlave1:/home/hadoop然后在Slave1节点上执行如下命令：$sudorm-r/usr/local/hadoop#删掉旧的（如果存在）$sudotar-zxf~/hadoop.master.tar.gz-C/usr/local$sudochown-Rhadoop/usr/local/hadoop5

Hadoop的安装与配置配置分布式环境Hadoop分布式模式配置Hadoop集群包含两个基本模块：分布式文件系统HDFS和分布式计算框架MapReduce。首次启动Hadoop集群时，需要先在Master节点上格式化分布式文件系统HDFS，命令如下：$hdfsnamenode-format在Master节点上启动Hadoop集群的命令如下：$start-dfs.sh$start-yarn.sh$mr-jobhistory-daemon.shstarthistoryserver#启动Hadoop历史服务器5

Hadoop的安装与配置配置分布式环境Hadoop分布式模式配置关闭Hadoop集群，需要在Master节点执行如下命令：$stop-yarn.sh$stop-dfs.sh$mr-jobhistory-daemon.shstophistoryserver此外，还可以全部启动或者全部停止Hadoop集群：启动命令：start-all.sh停止命令：stop-all.sh

Spark大数据处理框架1 Spark概述2 Spark运行机制3在VirtualBox上安装Linux集群4Hadoop安装前的准备工作5Hadoop的安装与配置6Spark的安装及配置7

使用PySpark编写Python代码8 安装pip工具和一些常用的数据分析库9安装Anaconda和配置JupyterNotebook6Spark的安装及配置单机模式配置spark-3.2.0-bin-hadoop2.7.tgz版本，下载到“/home/hadoop/下载”目录下本书采用的环境配置是：Linux系统：Ubuntu16.04；Hadoop2.7.7版本；JDK1.8版本；Spark3.2.0版本。使用hadoop用户登录Linux系统，打开一个终端，解压安装文件。$sudotar-zxf~/下载/spark-3.2.0-bin-hadoop2.7.tgz-C/usr/local/#解压$cd/usr/local$sudomv./spark-3.2.0-bin-hadoop2.7./spark#更改文件名$sudochown-Rhadoop:hadoop./spark#修改文件权限复制Spark安装目录下的conf目录下的模板文件spark-env.sh.template并命名为spark-env.sh，编辑此文件：$cd/usr/local/spark$cp./conf/spark-env.sh.template./conf/spark-env.sh#复制生成spark-env.sh文件6Spark的安装及配置单机模式配置编辑spark-env.sh文件，在该文件的第一行添加配置信息：$gedit/usr/local/spark/conf/spark-env.sh#用gedit编辑器打开spark-env.sh文件在spark-env.sh文件的第一行添加以下配置信息：exportSPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoopclasspath)有了上面的配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如果没有配置上面的信息，Spark就只能读写本地数据，无法读写HDFS中的数据。配置完成后就可以直接使用Spark，不需要像Hadoop那样运行启动命令。运行Spark自带的求π的近似值实例，以验证Spark是否安装成功：$cd/usr/local/spark/bin#进入Spark安装包的bin目录$./run-exampleSparkPi#运行求π的近似值实例6Spark的安装及配置伪分布式模式配置Spark单机伪分布式是在一台机器上既有Master进程又有Worker进程。使用gedit编辑器打开spark-env.sh文件，在文件末尾添加以下配置信息：exportJAVA_HOME=/opt/jvm/jdk1.8.0_181exportHADOOP_HOME=/usr/local/hadoopexportHADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoopexportSPARK_MASTER_IP=MasterexportSPARK_LOCAL_IP=Master参数解释JAVA_HOMEJava的安装路径HADOOP_HOMEHadoop的安装路径HADOOP_CONF_DIRHadoop配置文件的路径SPARK_MASTER_IPSpark主节点的IP或机器名SPARK_LOCAL_IPSpark本地的IP或机器名6Spark的安装及配置伪分布式模式配置3.切换到/sbin目录下启动集群$cd/usr/local/hadoop$./sbin/start-dfs.sh切换到/sbin目录下执行如下命令启动Spark伪分布式模式。$cd/usr/local/spark/sbin$./start-all.sh#启动命令，停止命令为./stop-all.sh$jps#查看进程3875NameNode4022DataNode15082Master15243Jps15196Worker4236SecondaryNameNode

Spark大数据处理框架1 Spark概述2 Spark运行机制3在VirtualBox上安装Linux集群4Hadoop安装前的准备工作5Hadoop的安装与配置6Spark的安装及配置7使用PySpark编写Python代码8 安装pip工具和一些常用的数据分析库9安装Anaconda和配置JupyterNotebook7使用SparkShell编写Scala代码启动SparkShellSparkShell