大数据实验报告

1、精选文档课 程 实 验 报 告专 业 年 级 14级软件工程 课 程 名 称 大数据技术原理与应用 指 导 教 师 李均涛 学 生 姓 名 吴勇 学 号 20142205042026 实 验 日 期 2017.05.04 实 验 地 点 笃行楼B栋301 实 验 成 绩 教务处制2017年03月09日试验项目名称Liunx基本操作试验目的及要求1. 了解Liunx操作系统进展历史。2. 学习Liunx操作系统基本概念及操作。3. 学习Liunx操作系统用户及文件权限管理。4. Linux 名目结构及文件基本操作。试验内容1.试验楼环境介绍，常用 Shell 命令及快捷键，Linux 使用小技巧

2、。2.Linux 中创建、删除用户，及用户组等操作。Linux 中的文件权限设置。3.Linux 的文件组织名目结构，相对路径和确定路径，对文件的移动、复制、重命名、编辑等操作。试验步骤1. Liunx输入输出命令。2. 使用touch命令创建文件夹，后缀都为txt。3. 学会在命令行中猎取挂念。4. 输出图形字符。5. 查看用户。6. 创建新用户。7. 删除用户。8. 查看文件权限。9. 用ls A/Al/dl/AsSh查看文件。10. 变更文件全部者。11. 修改文件权限。12. 名目路径。13. 新建空白文件。14. 文件的复制、删除、移动、重命名。试验环境Liunx 操作系统试验结果与

3、分析通过学习Liunx操作系统的进展历史、基本操作、用户及文件权限管理以及Linux 名目结构及文件基本操作。是得我大致了解Liunx操作系统的使用，并且能够完成相应的练习。老师评语注：可依据实际状况加页课 程 实 验 报 告专 业 年 级 14级软件工程 课 程 名 称 大数据技术原理与应用 指 导 教 师 李均涛 学 生 姓 名 吴勇 学 号 20142205042026 实 验 日 期 2017.05.04 实 验 地 点 笃行楼B栋301 实 验 成 绩 教务处制2017年03月09日试验项目名称Hadoop的基本操作试验目的及要求1. Hadoop单机模式安装.2. Hadoop伪分

4、布模式配置部署.3. Hadoop介绍及1.X伪分布式安装.4. adoop2.X 64位编译.5. Hadoop2.X 64位环境搭建.试验内容1. hadoop三种安装模式介绍,hadoop单机模式安装,测试安装2. hadoop配置文件介绍及修改,hdfs格式化,启动hadoop进程，验证安装.3. Hadoop1.X伪分布安装, Hadoop介绍,Hadoop变量配置.4. Hadoop2.X 64位编译, 编译Hadoop2.X 64位, 编译Hadoop.5. 搭建环境, 部署Hadooop2.X, 启动Hadoop.试验步骤1. 用户及用户组, 添加用户及用户组, 添加sudo权

5、限.2. 安装及配置依靠的软件包, 安装openssh-server、java、rsync等, 配置ssh免密码登录.3. 下载并安装Hadoop, 下载Hadoop 2.6.0, 解压并安装, 配置Hadoop.4. 测试验证.5. 相关配置文件修改:修改core-site.xml:6. 格式化HDFS文件系统.7. Hadoop集群启动.8. 测试验证.9. 设置Host映射文件.10. 下载并解压hadoop安装包11. 在Hadoop-1.1.2名目下创建子名目.12. 启动hadoop.13. 编译Hadoop2.X 64位.14.使用yum安装sun.15. 部署Hadooop2.

6、X.与Hadoop1.X类似。试验环境hadoop Xfce终端试验结果与分析通过本次试验，让我对Hadoop有所了解，但是在试验过程中消灭很多问题。例如，不知道该如何下载java jdk，甚至如何创建文件夹名目下的文件，以及Hadoop的环境配置原理以及编译原理和方法。这些都是试验中消灭的问题，但是通过自己查询，问同学，部分问题已经得到解决，但是还存在一部分就只能通过课后自学进行解决！通过上述的学习，让我对Hadoop的基本操作有了基础的把握，包括Hadoop介绍及1.X伪分布式安装，adoop2.X 64位编译，Hadoop2.X 64位环境搭建等。老师评语注：可依据实际状况加页课 程 实

7、 验 报 告专 业 年 级 14级软件工程 课 程 名 称 大数据技术原理与应用 指 导 教 师 李均涛 学 生 姓 名 吴勇 学 号 20142205042026 实 验 日 期 2017.06.01 实 验 地 点 笃行楼B栋301 实 验 成 绩 教务处制2017年03月09日试验项目名称HDFS和MapReduce试验目的及要求1. HDFS原理及操作。2. MapReduce原理及操作。试验内容1. HDFS原理及操作。环境说明，HDFS原理，HDFS架构，HDFS读操作，HDFS写操作，测试例子2MapReduce原理及操作。 环境说明，MapReduce原理，Map过程，Redu

8、ce过程，测试例子试验步骤1.HDFS原理及操作。1.1 环境说明。虚拟机操作系统： CentOS6.6 64位，单核，1G内存JDK：1.7.0_55 64位Hadoop：1.1.21.2 HDFS原理。HDFS（Hadoop Distributed File System）是一个分布式文件系统，是谷歌的GFS山寨版本。它具有高容错性并供应了高吞吐量的数据访问，格外适合大规模数据集上的应用，它供应了一个高度容错性和高吞吐量的海量数据存储解决方案。1.3 HDFS架构。HDFS是Master和Slave的结构，分为NameNode、Secondary NameNode和DataNode三种角色

9、。1.4 HDFS读操作。客户端通过调用FileSystem对象的open()方法来打开期望读取的文件。1.5 HDFS写操作。客户端通过调用DistributedFileSystem的create()方法创建新文件。1.6测试例子1。 1.创建代码名目 2. 建立例子文件上传到HDFS中 3. 配置本地环境 4. 编写代码 5. 编译代码 6. 使用编译代码读取HDFS文件2. MapReduce原理及操作。 2.1环境说明。 虚拟机操作系统： CentOS6.6 64位，单核，1G内存JDK：1.7.0_55 64位Hadoop：1.1.22.2 MapReduce原理。Map 和Redu

10、ce。当你向MapReduce 框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map 任务，然后安排到不同的节点上去执行，每一个Map 任务处理输入数据中的一部分，当Map 任务完成后，它会生成一些中间文件，这些中间文件将会作为Reduce 任务的输入数据。Reduce 任务的主要目标就是把前面若干个Map 的输出汇总到一起并输出。2.3 Map过程。每个输入分片会让一个map任务来处理，默认状况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M，由io.sort.mb属性把握

11、），当该缓冲区快要溢出时（默认为缓冲区大小的80%，由io.sort.spill.percent属性把握），会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这个文件。2.4 Reduce过程。Reduce会接收到不同map任务传来的数据，并且每个map传来的数据都是有序的。假如reduce端接受的数据量相当小，则直接存储在内存中（缓冲区大小由mapred.job.shuffle.input.buffer.percent属性把握，表示用作此用途的堆空间的百分比），假如数据量超过了该缓冲区大小的肯定比例（由mapred.job.shuffle.merge.percent打算），则对数据合并后溢写到磁盘中。 2.5测试例子。1 编写代码。2.编译代码。3.打包编译文件。4.解压气象数据并上传到HDFS中。 5. 运行程序。 6. 查看结果。试验环境虚拟机操作系统： CentOS6.6 64位，单核，1G内存JDK：1.7.0_55 64