Hadoop大数据平台构建与应用(工作手册式)（微课版） 课件 10.1 Scala安装与配置

Scala安装与配置主讲：李强任务描述因为Spark底层是使用Scala语言开发的，所以安装与配置Scala的环境是我们在开始学习Spark之前要完成的准备工作。任务分析安装Spark与Scala是要严格遵守两者的版本对应关系的，如果版本不对应会在之后的使用中出现许多问题。在安装之前，可以在Spark官网中查到对应的Scala版本号，如Spark2.0+版本使用配套的是Scala2.11；Spark3.0+版本需要配套的是Scala2.12。综上，本项目使用Spark3.2.1和Scala2.12.10。10.1.1在master节点安装Scala1．解压安装文件如上所述本手册所使用的版本是Scala2.12.10，可以从Scala官网下载。下载好的安装包都需上传到指定目录下，本手册指定为/root/目录，使用ls命令可以查看上传的安装包（具体上传方式请参考项目1），如图10-1所示。使用tar命令解压Scala到/usr/local/src文件夹，并切换到安装目录下查看，可以使用ls查看解压后的效果，如代码10-1所示，效果如图10-2所示。代码10-1解压安装包cd/root/tar-zxfscala-2.12.10.tgz-C/usr/local/src/cd/usr/local/src/ls图10-1查看安装包图10-2查看解压好的安装包2．修改文件夹名称由于解压后的文件夹名称带有比较复杂的版本号，为了简化后续配置，此处修改文件夹名称。使用mv命令将解压的scala-2.12.10目录重命名为scala，如代码10-2所示，效果如图10-3所示。代码10-2重命名文件夹cd/usr/local/src/mvscala-2.12.10scalals图10-3重命名文件夹3．修改环境变量文件为了可以在任何目录下直接执行Scala的相关命令，可以在环境变量文件中添加Scala的环境变量。参考项目2，使用“vi/root/.bash_profile”编辑环境变量文件，将如表10-1所示的配置信息添加到/root/.bash_profile文件的末尾，保存退出。#setscalaenvironmentexportSCALA_HOME=/usr/local/src/scalaexportPATH=$PATH:$SCALA_HOME/bin表10-1环境变量文件的添加内容4．生效用户环境变量文件在master节点上运行如代码10-3所示的命令，使master节点上配置的Scala的环境变量生效。代码10-3master节点生效环境变量source/root/.bash_profile10.1.2在Slave节点安装Scala1．同步配置文件到Slave节点将master上安装好的scala文件夹内容和配置好的环境变量文件分别分发到slave1和slave2节点，分发命令，如代码10-4所示。代码10-4分发Scala安装至Slavescp-r/usr/local/src/scalaslave1:/usr/local/src/scp-r/usr/local/src/scalaslave2:/usr/local/src/scp/root/.bash_profileslave1:/root/scp/root/.bash_profileslave2:/root/2．生效用户环境变量文件在两个Slave节点上运行如代码10-5所示的命令，使每个节点上配置的Scala的环境变量生效。代码10-5Slave节点生效环境变量source/root/.bash_profile10.1.3测试Scala安装情况1．测试Scala安装版本可以在集群所有节点使用代码10-6所示的代码测试下Scala安装的版本，在slave1上运行的效果如图10-4所示，说明slave1上成功安装了scala2.12.10，其他节点类似。代码10-6测试Scala安装版本scala-version图10-4Scala安装版本图2．进入ScalaShell可以在集群所有节点启动ScalaShell，并在Scala中设置一个String类型的字符串，赋值为“Helloworld！”，然后可以使用“:quit”退出ScalaShell，如代码10-7所示，在master上运行的效果如图10-5所示，其他节点类似。代码1