Spark Windows调试环境搭建教程

1、Spark Windows调试环境搭建教程本教程介绍的是Windows环境下的Spark调试环境的搭建步骤。一、组件介绍首先列举搭建此环境需要的各个组件：JDK，安装JDK 6或者JDK 7 （必备条件）IDEA，有两个版本:Ultimate Edition & Community Edition，后者是free的，而且完全能满足学习者所有的需求Scala，Spark是用Scala语言写成的，在本地编译执行需要这个包SBT，scala工程构建的工具Git，IDEA自动下载SBT插件时可能会用到的工具1、安装Scala。（建议2.10.2版本）完成后，在windows命令行中输入scala，检查

2、是否识别此命令。如果不识别，查看环境变量Path中是否有.scalabin （我的电脑右键，属性- 高级系统设置- 环境变量）,没有的手动将Scala文件夹下的bin目录的 路径Scala 2.10.2已亲测可行。2、安装SBT运行SBT的安装程序，运行完成后，重新打开windows命令行，输入sbt，检查是否识别此命令。没有的话，手动配置环境变量，添加.sbtbin 运行完SBT的安装程序之后，并不意味着完成了 sbt的安装，在windows命令 放下输入sbt后，SBT会自动的下载安装它所需要的程序包，请耐心等待全部 下载成功。3、安装Git运行Git的安装程序，安装完成后，重新打开win

3、dows命令行，检查时候识别git命令。4、安装IDEA、安装IDEA的Scala插件打开 IDEA，在Welcome to IntelliJ IDEA界面的Quick Starf 栏，点击Configure选择Plugins在弹出的窗口中可以看到已安装的插件，现在IDEA默认还没有Scala的插件。需要点击左下角的Install JetBrains plugin.，在搜索框中输入scala，点击安装。安装完成后可能会要求重启一下IDEA。至此，相关组件已经安装完成。三、搭建Spark开发调试环境在 intellij IDEA 中创建 scala project，并依次选择“File”- “p

4、roject structure- “Libraries，选择“+”，将spark-hadoop对应的包导入，比如导入 spark-assembly-1.1.0-hadoop1.0.4(只需导入该 jar 包，其他不需要)，如果 IDE 没有识别scala库，则需要以同样方式将scala库导入。之后开发scala程序即 可。Scala版本选择2.10。四、测试Spark代码创建scala非sbt工程。新建scala class，可以使用以下代码测试import scala.math. randomimport org.apache.spark._/* Computes an approxima

5、tion to pi */object drt (def main(args: ArrayString) (val conf = new SparkConf().setAppName(Spark Pi).setMaster(local)关键val spark = new SparkContext(conf)val slices = if (args.length 0) args(0).toInt else 2 val n = 100000 * slicesval count = spark.parallelize(1 to n, slices).map ( i =val x = random * 2 - 1val y = random *2-1if (x*x + y*y 1) 1 else 0.reduce(_ + _)println(Pi is roughly + 4.0 * count / n)spark.stop()代码中setMaster(local)语句非常关键，网上教程中有在run configuration里配置program argument的，我实测没有用。代码里力口 set local 即可以解决问题，避免set ma