实验7-hadoop下eclipse工具使用

实验报告封面课程名称：Hadoop大数据处理课程代码：JY1124任课老师：陈宁穗实验指导老师:陈宁穗实验报告名称：实验7hadoop下eclipse工具使用学生姓名：学号：教学班：递交日期：签收人：我申明，本报告内的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保存了这份实验报告的副本。申明人(签名):实验报告评语与评分：评阅老师签名：一、实验名称：hadoop下eclipse工具使用二、实验日期：2023年月日三、实验目的：熟悉hadoop下eclipse工具使用。四、实验用的仪器和材料：硬件：PC电脑一台；配置：内存，4G及以上硬盘250G及以上软件环境：操作系统XP，vmware，ubuntu，jdk，hadoop五、实验的步骤和方法：请用命令完成以下操作先启动Hadoop守护进程，进入hadoop安装目录，执行bin/start-all.shUbuntu中下载安装Eclipse，执行sudoapt-getinstalleclipse在Eclipse下安装hadoop-eclipse-plugin〔插件jar包已提供〕。复制此插件jar包到eclipse安装目录/plugins/下。可通过whereiseclipse查看eclipse安装目录。重启eclipse，配置hadoopinstallationdirectory。如果安装插件成功，翻开Window-->Preferences，你会发现HadoopMap/Reduce选项，在这个选项里你需要配置Hadoopinstallationdirectory〔hadoop安装目录〕。配置完成后退出。

配置Map/ReduceLocations。

在Window-->ShowView中翻开Map/ReduceLocations。

在Map/ReduceLocations中新建一个HadoopLocation。在这个View中，右键-->NewHadoopLocation。在弹出的对话框中你需要配置Locationname，如myubuntu，还有Map/ReduceMaster和DFSMaster。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如：

配置完后退出。点击DFSLocations-->myubuntu如果能显示文件夹(2)说明配置正确，如果显示"拒绝连接"，请检查你的配置。

在此可直接创立目录，刷新即可，也可删除目录，也可上传文件。假设有问题那么考虑hdfs权限〔开放hdfs权限hadoopfs–chmod777/user/yln，也可以取消hadoophdfs的用户权限检查。翻开conf/hdfs-site.xml，找到dfs.permissions属性修改为false〔默认为true〕。〕6、新建工程。

File-->New-->Project-->Map/ReduceProject

工程名可以随便取，如maptest。选中maptest工程下的src，右键新建一个class类，名称定义为example，代码见example.java。7、上传模拟数据文件夹。为了运行程序，需要一个输入的文件夹，和输出的文件夹。输出文件夹，在程序运行完成后会自动生成。将文件testnew上传到分布式文件系统中。

8、运行工程。〔1〕.在新建的工程maptest，点击example.java，右键-->RunAs-->RunConfigurations

〔2〕.在弹出的RunConfigurations对话框中，点JavaApplication，右键-->New，这时会新建一个application名为example〔3〕.配置运行参数，点Arguments，在Programarguments中输入“要传给程序的输入文件和要求程序将计算结果保存的文件夹〞，如：

〔4〕.点击Run，运行程序。点击Run，运行程序，过段时间将运行完成，等运行结束后，可以在终端中用命令验证是否成功。六、数据记录和计算：写语句及截图七、实验结果