《Hadoop大数据原理与应用》实验指导书

《大数据技术原理及应用》课程

实验（实训）指导书

《大数据技术原理及应用》课程实验指导书

一、课程基本信息

课程名称：大数据技术原理及应用课程编码：

课程类别：

口公共必修课程□公共选修课程口数学与自然科学类课程

□工程基础类课程□专业基础类课程团专业必修课程

□专业方向课程口专业选修课程□专业实践环节

适用专业：数据科学与大数据技

课程学分：3学分计划课时：48（理论32,实验16）

术，计算机科学与技术

先修课程：面向对象程序设计、Python语言程序设计、操作系统、数据库原理

后继课程：数据采集与预处理、大数据存储与管理技术、数据挖掘、大数据开发技术、大

数据高级编程、数据可视化技术

制定人：徐鲁辉审核人：批准人：

二、课程任务、目的

《大数据技术原理及应用》围绕“构建知识体系、阐明基本原理、引导初级实践、了解

相关应用”的指导思想，着重讲述大数据技术的基本原理、基本方法、技术工具和相关应用，

帮助学生构建完整的大数据技术知识体系，使学生了解大数据技术在行业领域中的最新发展

趋势和前沿知识，熟悉大数据应用的整个生命周期，能够熟练使用Hadoop、Spark等主流大

数据平台及其生态系统中的技术工具完成基本的大数据应用闭环操作，达到知行合一、以用

促学的目的。

知识目标：

1.理解大数据基本概念，了解大数据与云计算、物联网、人工智能的关系，了解当前大

数据的岗位及需求、学习路线：

2.认识大数据处理平台Hadoop,熟练掌握全分布模式Hadoop集群的部署基本过程；

3.理解分布式文件系统HDFS的体系架构、文件存储机制和数据读写过程，熟练掌握

HDFSWebUI的使用、HDFSShell常用命令的使用和HDFS编程；

4.理解分布式计算框架MapReduce的编程思想和作业执行流程，掌握MapReduce简单

编程，了解当前其他主流的大数据计算框架如Spark、Storm；

5.理解YARN体系架构和工作原理，掌握YARNWebUhYARNShell的基本使用，了解

ResourceManager高可用机制的原理与配置，了解HDFSNameNode高可用机制、HDFS

NameNodeFederation>HDFSSnapshots；

6.理解分布式协调框架ZooKeeper的执行原理和应用场景，掌握ZooKeeper集群的部

署和ZooKeeperShell常用命令的使用；

7.理解NoSQL数据库与关系数据库的区别、分布式数据库HBase的数据模型、体系架

构和运行机制，熟练掌握HBase集群的部署、HBaseShell常用命令的使用；

8.理解Hive的体系架构和执行流程，掌握Hive的部署和连接方式，熟练掌握Hive基

本操作包括HiveDDL>HiveDML的书写和HiveShell命令的使用;

9.理解数据迁移框架Sqoop、日志采集系统Flume、分布式发布/订阅消息系统Kafka的

作用、架构和工作原理，掌握Sqoop、Flume、Kafka的部署和使用；

10.了解数据可视化的概念、作用和过程，理解常用的数据可视化图形，了解当前主流

的数据可视化工具。

能力目标：培养学生学以致用，能够综合利用Hadoop大数据平台及其生态中各个工具

解决实际大数据应用方面的基本问题，提高学生阅读外文科技文献能力，增强学生发现问题、

分析问题、解决问题能力，与学科竞赛和项目紧密结合，稳步培养和提高学生的动手实践能

力、自主创新能力、团队协作能力、写作表达能力。

情感目标：通过对我国大数据技术、传统优秀文化的介绍，增强学生的民族自豪感，提

升学生的爱国主义精神，增强文化自信；将专业知识与服务社会相结合，培养学生的社会责

任感，树立正确三观，使学生更为深刻的理解专业内涵，提高学习内驱力，培养科学素养，

内化为道德准则、科学思维和行为规范。

三、实验项目内容与学时分配

序实验实验

实验名称实验内容学时

号类型要求

1.规划部署。

2.准备机器。

3.准备软件环境：配置静态IP；修改

主机名；编辑域名映射；安装和配置

实验1部署全分Java；安装和配置SSH免密登录。

1布模式Hadoop集4.获取和安装Hadoop。2综合型必修

群5.配置全分布模式Hadoop集群。

6.关闭防火墙。

7.格式化文件系统。

8.启动和验证Hadoopo

9.关闭Hadoop,,

1.启动全分布模式Hadoop集群，守

护进程包括NameNode、DataNode、

SecondaryNameNode、

ResourceManager、NodeManager和

JobHistoryServer»

2.查看HDFSWeb界面。

3.练习HDFSShell文件系统命令和系

统管理命令。

4.在Hadoop集群主节点上搭建

2实验2实战HDFS2设计型必修

HDFS开发环境Eclipseo

5.使用HDFSJavaAPI编写HDFS文件

操作程序,实现上传本地文件到HDFS

的功能，采用本地执行和集群执行的

两种执行方式测试，观察结果。

6.使用HDFSJavaAPI编写HDFS文件

操作程序,实现查看上传文件在HDFS

集群中位置的功能，采用本地执行和

集群执行的两种执行方式测试，观察

结果“

7.关闭全分布模式Hadoop集群。

1.启动全分布模式Hadoop集群，守

护进程包括NameNode、DataNode、

SecondaryNameNode、

ResourceManager^NodeManager和

JobHistoryServero

2.在Hadoop集群主节点上搭建

MapReduce开发环境Eclipse。

3.查看Hadoop自带的MR-App单词

计数源代码WordCount.java,在

Eclipse项目MapReduceExample下建

实验3立新包com.xijing.mapreduce,模仿内

32设计型必修

MapReduce编程(1)置的WordCount示例，自己编写一个

WordCount程序，最后打包成JAR形

式并在Hadoop集群上运行该MR-

App,查看运行结果。

4.分别在自编MapReduce程序

WordCount运行过程中和运行结束

后查看MapReduceWebUI界面。

5.分别在自编MapReduce程序

WordCount运行过程中和运行结束

后练习MapReduceShell常用命令。

6.关闭Hadoop集群。

1.启动全分布模式Hadoop集群，守

护进程包括NameNode>DataNode、

实验4

4SecondaryNameNode、2设计型必修

MapReduce编程(2)

ResourceManager>NodeManager和

JobHistoryServero

2.在Eclipse项目MapReduceExample

下建立新包com.xijing.mapreduce,编

写MapReduce程序，已知某个超市的

结算记录，从左往右各字段的含义依

次是会员编号、结算时间、消费金额

和用户身份，要求计算出会员和非会

员的平均消费金额。最后打包成JAR

形式并在Hadoop集群上运行该MR-

App,查看运行结果。

3.分别在自编MapReduce程序运行

过程中和运行结束后查看YARNWeb

UI界面。

4.分别在自编MapReduce程序运行

过程中和运行结束后练习YARNShell

常用命令。

5.关闭Hadoop集群。

1.规划ZooKeeper集群。

2.部署ZooKeeper集群。

实验5部署3.启动ZooKeeper集群。

5ZooKeeper集群和4.验证ZooKeeper集群。2综合型必修

实战ZooKeeper5.使用ZooKeeper四字命令。

6.使用ZooKeeperShell常用命令。

7.关闭ZooKeeper集群。

1.规划全分布模式HBase集群。

2.部署全分布模式HBase集群。

实验6部署全分

3.启动全分布模式HBase集群。

6布模式HBase集群2综合型必修

4.验证全分布模式HBase集群。

和实战HBase

5.使用HBaseWebUL

6.使用HBaseShell常用命令。

7.关闭全分布模式HBase集群。

1.规划Hive。

2.部署本地模式Hive。

实验7部署本地3.启动Hive。

7模式Hive和实战4.验证Hive。2综合型必修

Hive5.配置和使用HiveWebUI»

6.使用HiveShell常用命令。

7.关闭Hive。

1.规划安装。

2.安装和配置Sqoop。

3.验证Sqoop。

8实验8实战Sqoop4.使用SqoopShell完成数据从关系2综合型必修

数据库(Oracle、MySQL、PostgreSQL

等)到Hadoop(HDFS/Hive/HBase)

的导入和导出。

合计学时16

说明：

1.实验设置要注意内容更新，体系设计科学合理，实验项目名称要准确规范。

2.实验要求为：必修、选修。

3.实验类型为：演示型、验证型、综合型、设计型。

《大数据技术原理及应用》课程实验指导书

目录

一'课程基本信息...................................................II

二'课程任务、目的.................................................II

三、实验项目内容与学时分配........................................Ill

实验1部署全分布模式Hadoop集群...................................1

一'实验目的....................................................1

二、实验环境....................................................2

三'实验内容...................................................2

四、实验原理....................................................2

（一）Linux基本命令.........................................2

（―）vim编辑器.............................................6

（三）Java基本命令..........................................7

（四）SSH安全通信协议.......................................8

（五）Hadoop.................................................9

五、实验步骤...................................................13

（-）规划部署..............................................13

（-）准备机器..............................................16

（三）准备软件环境..........................................17

（四）获取和安装Hadoop.....................................27

（五）配置全分布模式Hadoop集群.............................28

（六）关闭防火墙............................................38

（七）格式化文件系统........................................39

（八）启动和验证Hadoop.....................................40

（九）关闭Hadoop...........................................53

六、实验报告要求...............................................54

七、拓展训练——部署伪分布模式Hadoop集群......................55

《大数据技术原理及应用》课程实验指导书

（-）部署伪分布模式Hadoop集群之规划部署...................55

（二）部署伪分布模式Hadoop集群之准备机器...................55

（三）部署伪分布模式Hadoop集群之准备软件环境...............56

（四）部署伪分布模式Hadoop集群之获取和安装Hadoop..........60

（五）部署伪分布模式Hadoop集群之配置Hadoop................60

（六）格式化文件系统........................................63

（七）启动和验证伪分布模式Hadoop集群.......................64

（八）关闭伪分布模式Hadoop集群.............................71

思考与练习题................................................72

参考文献....................................................72

实验2实战HDFS...................................................74

一、实验目的...................................................74

二、实验环境...................................................75

三、实验内容...................................................75

四、实验原理...................................................75

（―）初识HDFS.............................................75

（二）HDFS体系架构.........................................76

（三）HDFS文件存储原理.....................................78

（四）HDFS接口.............................................84

五、实验步骤...................................................91

（―）启动Hadoop集群.......................................91

（二）使用HDFSShell.......................................92

（三）使用HDFSWebUI......................................94

（四）搭建HDFS开发环境EcIipse.............................96

（五）使用HDFSJavaAPI编程..............................97

（六）关闭Hadoop集群......................................115

六'实验报告要求..............................................115

七'拓展训练——搭建HDFSNameNodeHA..........................115

思考与练习题..................................................121

《大数据技术原理及应用》课程实验指导书

参考文献......................................................121

实验3MapReduce编程（1）..........................................123

一、实验目的..................................................123

二、实验环境..................................................123

三'实验内容.................................................124

四、实验原理..................................................124

（一）MapReduce编程思想...................................124

（二）MapReduce作业执行流程...............................126

（三）MapReduceWebUI.....................................128

（四）MapReduceSheI1......................................128

（五）MapReduceJavaAPI..................................130

五、实验步骤..................................................132

（―）启动Hadoop集群......................................132

（二）搭建MapReduce开发环境EcIipse.....................132

（三）编写并运行MapReduce程序WordCount..................132

（四）练习使用MapReduceShell命令.........................148

（五）练习使用MapReduceWebUI界面.......................149

（六）关闭Hadoop集群......................................150

六'实验报告要求..............................................150

思考与练习题..................................................150

参考文献......................................................151

实验4MapReduce编程⑵.........................................152

一、实验目的..................................................152

二、实验环境..................................................152

三'实验内容.................................................153

四、实验原理..................................................153

（―）YARN简介...........................................153

（二）YARN体系架构........................................155

（三）YARNWebUI..........................................157

《大数据技术原理及应用》课程实验指导书

（四）YARNShell...........................................158

（五）YARNJavaAPI编程...................................160

五、实验步骤..................................................161

（―）启动Hadoop集群......................................161

（二）编写并运行MapReduce程序.............................162

（三）练习使用YARNShelI命令..............................169

（四）练习使用YARNWebUI界面.............................169

（五）关闭Hadoop集群......................................170

六、实验报告要求..............................................170

思考与练习题..................................................170

参考文献......................................................171

实验5部署ZooKeeper集群和实战ZooKeeper..........错误!未定义书签。

一、实验目的....................................错误!未定义书签。

二、实验环境...................................错误!未定义书签。

三、实验内容....................................错误!未定义书签。

四、实验原理....................................错误!未定义书签。

（-）ZooKeeper系统模型.....................错误!未定义书签。

（-）ZooKeeper工作原理....................错误!未定义书签。

（三）部署ZooKeeper.........................错误!未定义书签。

（四）ZooKeeper四字命令.....................错误!未定义书签。

（五）ZooKeeperSheII.......................错误!未定义书签。

（六）ZooKeeperJavaAPI....................错误!未定义书签。

五、实验步骤...................................错误!未定义书签。

（-）规划ZooKeeper集群.....................错误!未定义书签。

（二）部署ZooKeeper集群.....................错误!未定义书签。

（三）启动ZooKeeper集群....................错误!未定义书签。

（四）验证ZooKeeper集群....................错误!未定义书签。

（五）使用ZooKeeper四字命令................错误!未定义书签。

（六）使用ZooKeeperShell常用命令..........错误!未定义书签。

《大数据技术原理及应用》课程实验指导书

（七）关闭ZooKeeper集群.....................错误!未定义书签。

六'实验报告要求...............................错误!未定义书签。

七、拓展训练...................................错误!未定义书签。

（―）搭建ZooKeeper开发环境Eelipse........错误!未定义书签。

（二）ZooKeeper编程实践：ZooKeeper文件系统的增删改查错误！未定

义书签。

（三）ZooKeeper编程实践：循环监听...........错误!未定义书签。

思考与练习题...................................错误!未定义书签。

参考文献........................................错误!未定义书签。

实验6部署全分布模式HBase集群和实战HBase........错误!未定义书签。

一'实验目的...................................错误!未定义书签。

二、实验环境...................................错误!未定义书签。

三、实验内容....................................错误!未定义书签。

四、实验原理...................................错误!未定义书签。

（-）初识HBase.............................错误!未定义书签。

（二）HBase数据模型.........................错误!未定义书签。

（三）HBase体系架构.........................错误!未定义书签。

（四）部署HBase............................错误!未定义书签。

（五）HBase接口.............................错误!未定义书签。

五、实验步骤....................................错误!未定义书签。

（-）规划全分布模式HBase集群...............错误!未定义书签。

（二）部署全分布模式HBase集群..............错误!未定义书签。

（三）启动全分布模式HBase集群..............错误!未定义书签。

（四）验证全分布模式HBase集群...............错误!未定义书签。

（五）使用HBaseShell和HBaseWebUI.......错误!未定义书签。

（六）关闭全分布模式HBase集群..............错误!未定义书签。

六'实验报告要求...............................错误!未定义书签。

七、拓展训练...................................错误!未定义书签。

（―）搭建HBase开发环境Eelipse............错误!未定义书签。

《大数据技术原理及应用》课程实验指导书

（-）HBase编程实践：HBase表的增删改........错误!未定义书签。

思考与练习题...................................错误!未定义书签。

参考文献.......................................错误!未定义书签。

实验7部署本地模式Hive和实战Hive................错误!未定义书签。

一、实验目的....................................错误!未定义书签。

二、实验环境...................................错误!未定义书签。

三、实验内容....................................错误!未定义书签。

四、实验原理...................................错误!未定义书签。

（-）初识Hive..............................错误!未定义书签。

（-）Hive体系架构..........................错误!未定义书签。

（三）Hive数据类型..........................错误!未定义书签。

（四）Hive文件格式.........................错误!未定义书签。

（五）Hive数据模型..........................错误!未定义书签。

（六）Hive函数..............................错误!未定义书签。

（七）部署Hive..............................错误!未定义书签。

（八）Hive接口..............................错误!未定义书签。

五'实验步骤....................................错误!未定义书签。

（一）规划Hive..............................错误!未定义书签。

（二）部署本地模式Hive......................错误!未定义书签。

（三）验证Hive..............................错误!未定义书签。

（四）使用HiveShell........................错误!未定义书签。

六'实验报告要求...............................错误!未定义书签。

七、拓展训练...................................错误!未定义书签。

（―）搭建HBase开发环境Eelipse.............错误!未定义书签。

（二）Hive编程实践：操纵Hive数据库和表...一错误!未定义书签。

思考与练习题...................................错误!未定义书签。

参考文献.......................................错误!未定义书签。

实验8实战Sqoop..................................错误!未定义书签。

一、实验目的...................................错误!未定义书签。

《大数据技术原理及应用》课程实验指导书

二、实验环境...................................错误!未定义书签。

三、实验内容...................................错误!未定义书签。

四、实验原理...................................错误!未定义书签。

（―）初识Sqoop............................错误!未定义书签。

（二）Sqoop体系架构.........................错误!未定义书签。

（三）安装Sqoop............................错误!未定义书签。

（四）SqoopShelI............................错误!未定义书签。

（五）SqoopAPI..............................错误!未定义书签。

（五）实验步骤..................................错误!未定义书签。

（-）规划安装..............................错误!未定义书签。

（二）安装和配置Sqoop......................错误!未定义书签。

（三）验证Sqoop............................错误!未定义书签。

（四）使用SqoopSheII.......................错误!未定义书签。

思考与练习题...................................错误!未定义书签。

参考文献.......................................错误!未定义书签。

附件：实验报告样式及评分标准.......................错误!未定义书签。

《大数据技术原理及应用》实验指导书实验1部署全分布模式Hadoop集群

实验1部署全分布模式Had。叩集群

本实验的知识地图如图1-1所示（♦表示重点?表示难点）。

1.熟维拿握Linux基本命令

2.解象»握Java基本命令

，先修技能，3.理解SSH安全通信协议

4.理解Hadoop基础知识：运行环境、运行模式、生态系统、体系

架构'配M文件等

桀群架构规划：主节点、从节点、1团坦址、运行服务、软硬件配置

1.砌曲-----------------------------------------------------------

------------软件选择：虚拟机工具、Linux捍作口统、Java、SSH、Hadoop

2.准备机器

配酋静态IP

修改主机€

3.准省软件环境，编岩域名映射

,安装和配意Java

/安装和配置SSH免密登录

4下我和安装Hadoop

新建hadoop.sh:添j»HADOOP_HOME到系统变量PATH

SBHhadoop-env.sh:JAVA_HOME,HADOOP_SSH_OPTS,

HADOOP_PID_DIRW

figmapred-env.sh:JAVAHOME,

HADOOP.MAPRED.PID.DIR^

配JSyarnenv.sh:JAVA_HOME.YARN_PID_DIR^

gyicofe-$ite.xml：fs.defaultFS,io.file.buffer.size,

*5.配工全分布慢式Hadoop集群hadoop.tmp.d懵

部署全分布模式实验步骤|

fiBBhdfs-sitejtml:.dir,

Hadoop集群dfs.datanode.data.dir,node.checkpointdir,

dfs.replication等

配BSmapred-site/ml:mapreduce.framework.nam礴

配置yam-site.xml:yarn.re$ourcemanager.hostname.

yam.nodemanager.aux-services等

Sfislaves

6.关闭防火墙

7.格式化文件系统

start-dfs.sh

start-yam.sh

启动Hadoopmr-jobhistory-daemon.shstarthistoryserver

8.启动和验证Hadoop方法1：jps查看进程

甄证Hadoop;方法2:WebUI百看界面

方法3:向Hadoop集群提交MapReduce应用®J?!WordCount

mr-jobhistory-daemon.shstophistoryserver

stop-yam.sh

9.关闭Hadoopstop-dfs.sh

*BL点：配告全分布-Hadoop集群

实验重点难点;广疑点：配宜SSH免密登录

部著伪分布梗式Hadoop集群

拓展训练

图1-1实验1部署全分布模式Hadoop集群知识地图

一、实验目的

1.熟练掌握Linux基本命令。

2.掌握静态IP地址的配置、主机名和域名映射的修改。

《大数据技术原理及应用》实验指导书实验1部署全分布模式Hadoop集群

3.掌握Linux环境下Java的安装、环境变量的配置、Java基本命令的使用。

4.理解为何需要配置SSH免密登录，掌握Linux环境下SSH的安装、免密登录的配置。

5.熟练掌握在Linux环境下如何部署全分布模式Hadoop集群。

二、实验环境

本实验所需的软硬件环境包括PC、VMwareWorkstationPro>CentOS安装包、OracleJDK

安装包、Hadoop安装包。

三、实验内容

1.规划部署。

2.准备机器。

3.准备软件环境：配置静态IP；修改主机名；编辑域名映射；安装和配置Java；安装和

配置SSH免密登录。

4.获取和安装Hadoopo

5.配置全分布模式Hadoop集群。

6.关闭防火墙。

7.格式化文件系统。

8.启动和验证Hadoop。

9.关闭Hadoopo

四'实验原理

（一）Linux基本命令

Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多

用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程

序和网络协议，它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是

一个性能稳定的多用户网络操作系统。

Linux操作系统诞生于1991年10月5日。Linux存在着许多不同的版本，但它们都使用

《大数据技术原理及应用》实验指导书实验1部署全分布模式Hadoop集群

了Linux内核。Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、视频

游戏控制台、台式计算机、大型机和超级计算机。

严格来讲，Linux这个词本身只表示Linux内核，但实际上人们已经习惯用Linux来形容

整个基于Linux内核且使用GNU工程各种工具和数据库的操作系统。

此处将介绍实验中涉及到的一些Linux操作系统的基本命令。

1）查看当前目录

pwd命令用于显示当前目录，效果如下所示。

[xuluhui@localhost~]$pwd

/home/xuluhui

2）切换目录

cd命令用来切换目录，效果如下所示。

[xuluhui@localhost~]$cd/usr/local

[xuluhui@localhostlocal]$pwd

/usr/local

3）罗列文件

Is命令用于查看文件与目录，效果如下所示。

[xuluhui@localhost~]$Is

DesktopDocumentsDownloadsMusicPicturesPublicTemplatesVideos

4）创建目录

mkdir命令用于创建目录，效果如下所示。

[xuluhui@localho