2.4.1使用开发工具eclipse编写spark应用程序scalamaven

1、Tracy 2017 年 3 月 8 日1676 【】博客内容由厦门大学数据库拥有，！一.运行环境介绍返回 Spark首页对 Scala 代码进行打包编译时，可以采用 Maven，也可以采用 sbt，相对而言，业界使用sbt。本介绍如何在 Ubuntu 中使用 Eclipse 来开发 scala程序（使用 Maven 工具），在 Spark 2.1.0，scala 2.11.8 下验证通过。使用Eclipse，可以直接运行代码，省去许多繁琐令。（相关文章：如何在Ubuntu 中使用 Eclipse 来开发 scala 程序（使用sbt 工具）使用 Eclipse 编写 Spark 应用程序（S

2、cala+Maven）二.安装必备Spark 和scala 安装方法可以参考,Spark 安装和使用 ,Scala 安装,eclipse 可以安装 scala ide for eclipse，这样可以省下很多工夫去不用安装maven 和scala 类似的相关插件,进入scala ide for eclipse,图如下所示,选择Linux GTK 64 bit,Scala ide for eclipse ubuntu 16.04spark 2.1.0scala 2.11接下来解压安装包到/usr/local 下，并测试运行eclipse1.sudo tar -zxvf /scala-SDK-4.

3、5.0-vfinal-2.11-linux.gtk.x86_64.tar.gz -C /usr/local2.cd /usr/local3./eclipse/eclipsehttp:/blog/1406/javascript:void(0);http:/blog/1406/javascript:void(0);出现如下界面说明运行成功了。如果各位没有安装该版本的eclipse，很可能会花费不必要的麻烦去安装相关的插件，下面笔者也介绍下安装maven 和scala 插件的方法，（ps:安装了scala idefor eclipse 的可以直接跳过该步骤）安装maven 插件和scala 插件先进

4、入eclipse 后，点击Help-Install New Software,在出现的install 界面上输入maven 插件的（注意：末尾的neno 是eclipse 对应的版本名称，如果你用的不是neno 版本，请换成自己用的eclipse 版本号），然后再在下面的文本框输入maven，点击selectall，点击next，接下来一直点击next 或 finish 就可以了。安装scala 插件同样，点击Help-Install New Software,在出现的install 界面上输入scala 插件的， ，摁下回车键，接着select all，然后同样一直next 或finish

5、就可以了。在/usr/local/spark 下建立目录/mycode/wordcount,然后在“/usr/local/spark/mycode/wordcount”目录下新建一个包含了一些语句的文本文件word.txt，命令如下：1.cd /usr/local/spark2.mkdir mycode3.cd mycode4.mkdir wordcount5.cd wordcount6.vim word.txt你可以在文本文件中随意输入一些单词，用空格隔开，会编写 Spark 程序对该文件进行单词词频统计。然后，按键盘Esc 键退出vim 编辑状态，输入“:wq”保存文件并退出vim 编辑器

6、。http:/blog/1406/javascript:void(0);http:/blog/1406/javas cript:void(0);打开eclipse 后，在工程栏右键New-Project,在出现的界面上双击maven文件，选择maven project，先点击右下角的 Add Archetype，第一个Archetype Grou选择net.alchim31.maven，第二个Archetype Artifactid 选择scala-archetype-simple,第三个选择 ver是 1.6，点击OK，在Catalog 里选择All Catalogs，在filter 里输入

7、scala，会出现net.alchim31.maven，ver为 1.6 版本的选项，选择它，点击next，然后在Grou上填写dblab，在Artifact 填写 WordCount，package 填写dblab.WordCount,点击Finish。这样就可以在maven 上创建 Scala 类了。三.创建maven 工程四.创建scala 类，运行scala 程序点击新建的WordCount 工程，再选择src/main/scala,右击dblab.WordCount那个建成的包，New-scala Class,然后在Name 那个文本框中输入dblab.WordCount.WordC

8、ount,点击Finish，然后将如下代码完全进去1.2. import.apache.spark.SparkContext._3.import.apache.spark.SparkConfimport.apache.spark.SparkContext4.5.object WordCount 6.def main(args: ArrayString) 7.val inputFile =file:/usr/local/spark/mycode/wordcount/word.txt8.val conf = new SparkConf().setAppName(WordCount).setMast

9、er(local2)9.val sc = new SparkContext(conf)10. val textFile = sc.textFile(inputFile)11. val wordCount = textFile.flatMap(line = line.split( ).map(word = (word, 1).reduceByKey(a, b) = a + b)12. wordCount.foreach(prln)13. 14. http:/blog/1406/javascript:void(0);http:/blog/1406/javascript:void(0);接下来编译p

10、om.xml 文件，把代码运行的包导入环境中，如图然后将pom.xml 里的内容清空，黏贴如下代码1./maven-v4_0_0.xsd2. 4.0.03. dblab4. WordCount5. 0.0.1-SNAPSHOT6. 20087. .1.0ation=.= xsi:schemaLocproject xmlns= xmlns:xsi10. 11.12. 13. 14. scala-tools.15. Scala-Tools Maven2 Reitory16.17. 18. 19.20. 21. 22. scala-tools.23. Scala-Tools Mav

11、en2 Reitory24.25. 26. 27.28. 29. 30. .apache.spark31. spark-core_$scala.ver32.$spark.ver33. 34.35. 36. junit37. junit38. 4.439. test40. 41. 42. .specs43. specs44. 1.2.545. test46. 47. 48.49. 50. src/main/scala51. src/test/scala52. 53. 54.55. maven-scala-plugin56. 57. 58. 59. compile60. pile61. 62. 6

12、3. 64. 65. $scala.ver66. 67. -:jvm-1.568. 69. 70. 71. 72. .apache.maven.plugins73. maven-eclipse-plugin74. 75.true.scala-tools76.77.mand78. 79. 80. ch.epfl.l.sdt.core.scalanature81. 82. 83. .eclipse.jdt.launching.JRE_CONTAINER84. ch.epfl.l.sdt.launching.SCALA_CONTAINER85. 86. 87. 88. 89. 90. 91. 92.

13、 93.scala-toolsch.epfl.l.sdt.core.scalabuilder94. maven-scala-plugin95. 96. $scala.ver97. 98. 99. 100. 101.在代码处右击，Run AS-Maven build,编译，如果在Console 栏里出现 Buildsucs，说明编译成功回到scala 程序界面，你会发现左边第二个src/test/scala 文件有个小红叉，这个对编译结果并没影响，但会影响后面打包，可以删除它http:/blog/1406/javascript:void(0);http:/blog/1406/javascript

14、:void(0);继续右击WordCount.scala.Run AS -scala Application,得出结果接着返回pom.xml 的界面，空白处右击，Run AS-Maven install,出现如下界面后说明打包已成功，打开Ubuntu 自带的文件夹系统，进入/home/hadoop/workspace/WordCount/,会看到WordCount-0.0.1-SNAPSHOT.jar,就是maven 打包成功的文件然后，由于Ubuntu 系统的原因，包的路径太深，运行很可能会出现找不到类的异常，所以可以把这个包移动到常用的较浅的目录下，1.nt-0.0.1-SNAPSHOT.jar /usr/local #/usr/local 是本人常用的目录接着运行以下指令，1. /usr/local/spark/bin/spark-submit -class WordCount/usr/local/WordCount-0.0.1-SNAPSHOT.jar出现