《Hadoop大数据原理与应用》教学教案_第1页
《Hadoop大数据原理与应用》教学教案_第2页
《Hadoop大数据原理与应用》教学教案_第3页
《Hadoop大数据原理与应用》教学教案_第4页
《Hadoop大数据原理与应用》教学教案_第5页
已阅读5页,还剩34页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

教案首页(第1次课)

(以2课时为单元)

课序授课日期授课班次授课教师批准人

1

《大数据技术原理及应用》是学习大数据技术的入门课程,是计算机科学与

技术、数据科学与大数据技术、人工智能等专业的一门学科基础与专业核心课程。

该课程着重讲述大数据技术的知识体系,阐明其基本原理,引导学生进行初级实

践和了解相关应用,培养学生运用大数据平台搭建、大数据收集与预处理、大数

据迁移、大数据存储与管理、大数据处理与分析、数据可视化等方法和技术工具

完成大数据应用的能力,在整个大数据课程体系中起着承前启后重要作用。该课

课程描述程由理论教学和实验教学两个部分组成,其先修课程包括面向对象程序设计、

Python语言程序设计、操作系统、数据库原理等,后续课程包括数据采集与预处

理、大数据存储与管理技术、数据挖掘、大数据开发技术、大数据高级编程、数

据可视化技术等。

总学时理论教学实践教学周学时学分

483216单4双23

《大数据技术原理及应用》围绕“构建知识体系、阐明基本原理、引导初级

实践、了解相关应用”的指导思想,着重讲述大数据技术的基本原理、基本方法、

技术工具和相关应用,帮助学生构建完整的大数据技术知识体系,使学生了解大

数据技术在行业领域中的最新发展趋势和前沿知识,熟悉大数据应用的整个生命

周期,能够熟练使用Hadoop、Spark等主流大数据平台及其生态系统中的技术工

具完成基本的大数据应用闭环操作,达到知行合一、以用促学的目的。

知识目标:

1.理解大数据基本概念,了解大数据与云计算、物联网、人工智能的关系,

课程教学了解当前大数据的岗位及需求、学习路线;

目标2.认识大数据处理平台Hadoop,熟练掌握全分布模式Hadoop集群的部署基

本过程;

3.理解分布式文件系统HDFS的体系架构、文件存储机制和数据读写过程,

熟练掌握HDFSWebUI的使用、HDFSShell常用命令的使用和HDFS编程;

4.理解分布式计算框架MapReduce的编程思想和作业执行流程,掌握

MapReduce简单编程,了解当前其他主流的大数据计算框架如Spark、Storm、FIink

等;

5.理解YARN体系架构和工作原理,掌握YARNWebUI、YARNShell的基本

使用,了解ResourceManager高可用机制的原理与配置,了解HDFSNameNode

高可用机制、HDFSNameNodeFederation,HDFSSnapshots;

6.理解分布式协调框架ZooKeeper的执行原理和应用场景,掌握ZooKeeper

集群的部署和ZooKeeperShell常用命令的使用;

7.理解NoSQL数据库与关系数据库的区别、分布式数据库HBase的数据模

型、体系架构和运行机制,熟练掌握HBase集群的部署、HBaseShell常用命令

的使用;

8.理解Hive的体系架构和执行流程,掌握Hive的部署和连接方式,熟练

掌握Hive基本操作包括HiveDDL、HiveDML的书写和HiveShell命令的使用;

9.理解数据迁移框架Sqoop、日志采集系统Flume、分布式发布/订阅消息

系统Kafka的作用、架构和工作原理,掌握Sqoop、Flume、Kafka的部署和使用;

课程教学

10.了解数据可视化的概念、作用和过程,理解常用的数据可视化图形,了

目标

解当前主流的数据可视化工具。

能力目标:培养学生学以致用,能够综合利用Hadoop大数据平台及其生态中

各个工具解决实际大数据应用方面的基本问题,提高学生阅读外文科技文献能

力,增强学生发现问题、分析问题、解决问题能力,与学科竞赛和项目紧密结合,

稳步培养和提高学生的动手实践能力、自主创新能力、团队协作能力、写作表达

能力。

情感目标:通过对我国大数据技术、传统优秀文化的介绍,增强学生的民族

自豪感,提升学生的爱国主义精神,增强文化自信;将专业知识与服务社会相结

合,培养学生的社会责任感,树立正确三观,使学生更为深刻的理解专业内涵,

提高学习内驱力,培养科学素养,内化为道德准则、科学思维和行为规范。

课题第1讲开学第一课&大数据楼述

教材:

[1]徐鲁辉.Hadoop大数据原理与应用[M].西安:西安电子科技大学出版

社,2020年3月.

参考资料:

[2]徐鲁辉.Hadoop大数据原理与应用实验教程[M].西安:西安电子科技

大学出版社,2020年1月.

[3]林子雨.大数据技术原理与应用(第2版)[M].北京:人民邮电出版社,

授课教材2017年1月.

参考资料[4]吕林涛.大数据技术及其应用[M].北京:科学出版社,2019年5月.

[5]维克托•迈尔-舍恩伯格,肯尼思•库克耶.盛杨燕等译.大数据时

代:生活、工作与思维的大变革[M].杭州:浙江人民出版社,2013年1月.

[6]TomWhite.Hadoop:TheDefinitiveGuide(4thEdition)[M].

0'ReillyMedia,April2015.

[7]TomWhite,著.王海,译.Hadoop权威指南(第4版)[M].北京:清华

大学出版社,2017年7月.

[8]BiIIChambers,MateiZaharia.Spark:TheDefinitiveGuide[M].

O'ReillyMedia,February2018.

[9]BiIIChambers,MateiZaharia,著.张岩峰,译.Spark权威指南[M].

北京:中国电力出版社,2020年4月.

[10]LarsGeorge.HBase:TheDefinitiveGuide[M].O'ReillyMedia,

September2011.

[11]LarsGeorge,著.代志远,译.HBase权威指南[M].北京:人民邮电出

版社,2013.

[12]EdwardCaprioIo,DeanWampIer,JasonRuthergIen.Programming

Hive[M].0,ReillyMedia,September2012.

[13]EdwardCaprioIo,DeanWampIer,JasonRutherglen,著.曹坤,

译.Hive编程指南[M].北京:人民邮电出版社,2013.

[14]蔡斌.Hadoop技术内幕:深入解析HadoopCommon和HDFS架构设计与

实现原理[M].北京:机械工业出版社,2013年5月.

[15]董西成.Hadoop技术内幕:深入解析MapReduce架构设计与实现原理

[M].北京:机械工业出版社,2013年5月.

[16]董西成.Hadoop技术内幕:深入解析YARN架构设计与实现原理[M].

北京:机械工业出版社,2014年1月.

[17]ApacheHadoopProject,https://hadoop.apache.org.

[18]ApacheSparkProject,https://spark,apache,org.

[19]TheHadoopEcosystemTabIe.

https://hadoopecosystemtabIe.github.io

[20]高校大数据课程公共服务平台.

http://dbIab.xmu.edu.cn/post/bigdata-teaching-pIatform.

[21]林子雨.中国大学M00C《大数据技术原理与应用》.

https://www.icourse163.org/course/XMU-1002335004.

其它教学

学堂云:大数据技术原理及应用

资源

开学第一课

1.明确该课程的教学目标。

2.明确该课程的教学进度、教材、参考资料、上机软件。

3.明确该课程的考核方式。

4.熟悉学堂云、雨课堂的使用方法。

目的要求第1章大数据概述

1.理解大数据的概念(重点),了解大数据的内涵。

2.理解大数据的4V特征:Volume(海量化)、Variety(多样化)、Value(价值

密度低)、Velocity(快速化)。(重点)

3.了解大数据处理关键技术:数据采集与预处理、数据存储与管理、数据处理与

分析、数据可视化。(难点)

4.了解大数据产业。

5.理解大物云智5G技术,掌握大物云智5G之间的关系。(重点难点)

6.了解大数据的岗位。

7.了解大数据的学习路线。

开学第一课

1.自我介绍。

2.课程地位、先修及后续课程。

3.教学目标及知识图谱。

4.课时分配(理论+实验)及进度、教材、参考资料、上机软件。

5.考核方式:平时+实脸+期末。

6.学堂云、雨课堂的使用方法。

教学内容第1章大数据概述

1.1大数据内涵(重点)

1.2大数据特征(重点)

1.3大数据关键技术(难点)

1.4大数据产业

1.5大数据与物联网、云计算、人工智能、5G的关系(重点,难点)

1.6大数据岗位介绍

1.7大数据学习路线

重点:大数据概念,大数据特征,大物云智5G之间的关系。

重点难点

难点:大数据关键技术,大物云智5G之间的关系。

教学方法

讲授法,讨论法,任务驱动法

手段

开学第一课

1.进行自我介绍。

2.进行头脑风暴,提问问题,引入为何学习此课程。

3.阐述课程地位、先修及后续课程。

4.明确该课程教学目标,了解该课程知识思维导图。

5.介绍该课程的课时分配及进度、教材、参考资料、上机软件。

教学步骤6.公布考核方式:平时考核30%(在线考勤、课堂表现、作业、在线测试)+实

验考核20%(实脸态度、实验报告)+期末考核(笔试或大作业)。

7.介绍学堂云、雨课堂的使用方法。

8.完成在线测试,对先修课程的知识和技能进行综合测试。

第1章大数据概述

1.提问问题引入“大数据”。2.精讲本节内容。3.进行本节小结。

4.布置课后作业。

1.当今IT界的热门技术有哪些?

复习提问

2.你平时用的哪些应用使用到了云计算和大数据技术?

1.章节测试

完成线上测试“章节测试1-大数据概述”。

2.预习作业

预习“初识Hadoop”。

作业

3.思考题

(1)根据自己的专业领域和研究兴趣,调研大数据技术在自己所属领域中的应用

现状?

(2)调查分析大数据从业人员常用方法、技术与工具。

教学环节复习提问新课讲解课堂讨论每课小结布置作业

时间分配(以分钟计算))10701532

教案首页(第2次课)

(以2课时为单元)

课序授课日期授课班次授课教师批准人

2

课题第2讲初识Hadoop

1.理解Hadoop是什么(重点),了解Hadoop的发展简史、特点、版本。

2.理解Hadoop生态系统组成及各组件基本功能。(重点)

3.理解Hadoop体系架构。(重点)

4.了解Hadoop在国内外应用现状。

5.理解部署Hadoop集群所需系统环境、Hadoop运行模式,熟练掌握在Linux

目的要求

下部署全分布模式Hadoop过程:规划集群、准备机器及软件环境(配置静态

IP、修改主机名、编辑域名映射、安装和配置Java、安装和配置SSH免密登

录)、安装不口酉已置Hadoop集群(hadoop-env.sh>yarn-env.sh、mapred-env.sh^

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、sIaves)>

关闭防火墙、格式化文件系统、启动和验证Hadoop、关闭Hadoopo(重点难点)

第2章初识Hadoop

2.1Hadoop概,述(重点)

2.2Hadoop生态系统(重点)

教学内容

2.3Hadoop体系架构(重点)

2.4Hadoop应用现状

2.5部署和运行Hadoop(重点,难点)

重点:Hadoop是什么,Hadoop生态系统,Hadoop体系架构,部署和运行Hadoop。

重点难点

难点:部署和运行Hadoopo

教学方法

讲授法,讨论法,演示法,案例法

手段

第2章初识Hadoop

1.复习提问,讲评章节测试1,导入本节内容。

教学步骤2.精讲本节内容。

3.进行本节小结。

4.布置课后作业。

1.根据你的理解,何为大数据?

复习提问2.大数据有哪些特征?

3.大数据关键技术有哪些?

1.章节测试

作业

w

完成线上测试“章节测试2-初识Hadoopo

2.思考题

(1)准备Hadoop系统环境时,安装SSH是必须的,但是配置SSH免密登录并

作业不是必须的,试述为何还要配置SSH免密登录。

(2)配置Hadoop是部署Hadoop过程中较为繁琐的步臊,试述配置Hadoop伪

分布模式和全分布式模式的异同。

预习线上资源“实脸指导书-实脸1部署全分布模式Hadoop集群”,了解实脸

预习内容

目的和实验内容,准备实验环境。

教学环节复习提问新课讲解课堂讨论每课小结布置作业

时间分配

10701532

(以分钟计算)

实验教学教案首页(第3次课)

(以2课时为单元)

课序:3实验日期:实验教师:****批准人:****

一、实验名称

实验1部署全分布模式Hadoop集群

二、实验目的、要求

1.熟练掌握Linux基本命令。

2.掌握静态IP地址的配置、主机名和域名映射的修改。

3.掌握Linux环境下Java的安装、环境变量的配置、Java基本命令的使用。

4.理解为何需要配置SSH免密登录,掌握Linux环境下SSH的安装、免密登录的配

置。

5.熟练掌握在Linux环境下如何部署全分布模式Hadoop集群。

三、实验重点、难点

重点:配置全分布模式Hadoop集群。

难点:配置SSH免密登录。

四、实验器材、设备

本实验所需的软硬件环境包括PC、VMwareWorkstationPro、CentOS安装包、Oracle

JDK安装包、Hadoop安装包。

教学设计:

一、复习提问,回顾部署和运行Hadoop的关键点。教师讲述本次实验的先修技能、实

验步骤和实验重点难点。

二、采用实验法教学,学生按照本次实验的实验指导书进行实验,教师指导。实验步骤

如下:

1・酬・掌握

2.熟练簟提Java基本命令

先修技能3.理解SSH安全通信协议

4.理解Hadoop艇础知识:运行环境、运行模式、生态系统、体系

架构、配M文件等

集群架内规划:主节点、从节点、IPi也址、运行服务、软硬件配置

1,规划部善--------------------------------------------------------------

-------------软件选择:虚拟机工具、Linux撵作系统、Java、SSH、Hadoop

2,准母机卷

配置一

修改主机€

3.准省软件环境,编场域名映射

,安装和配置Java

f安装和配置SSH免堂登录

4,下新安装Hadoop

Wrj4hddoop.sh:添1»HADOOP_HOME到系统处PATH

配Mhadoop-env.sh:JAVA_HOME,HADOOP_SSH_OPTS,

HADOOP_PID_DIR^

SKmapred-env.sh:JAVAHOME,

HADOOP_MAPRED_PID_DIR^

gBHyarn-env.sh:JAVA_HOME.YARN_PID_DIR^

£Kcore-site.xml:fs.defaultFS,io.file.buffer.size,

♦5.配置全分布便式Hadoop集群hadoop.tmp.di售

部署全分布模式

实验步骤fiiRhdfs-sitejcml:.dir,

Hadoop集群dfs.datanode.data.dir.node.checkpointdir,

dfs.replication等

配芭mapred-site*ml:等

gBMyarn-4ite.xml:yarn.re$ourcemanager.hostname,

yam-nodemanager.aux-services等

SBslaves

6.关闭防火墙

7.格式化文件系统

start-dfs.sh

start-yanxsh

启动Hadoopmr-jobhistory-daemon.shstarthistoryserver

8.启动和验证Hadoop方法1:jps查看进程

蹈EHadoop方法2:WebUliS看界面

方法3:向Hadoopffe^提交MapReduce应用®J?JWordCount

mr-jobhistory-daemon.shstophistoryserver

stop-yam.sh

9.关闭Hadoopstop-dfs.sh

图实验1部署全分布模式Hadoop集群知识地图

1.规划部署。

2.准备机器。

3.准备软件环境:配置静态IP;修改主机名;编辑域名映射;安装和配置Java;安装

和配置SSH免密登录。

4.获取和安装Hadoop。

5.配置全分布模式Hadoop集群。

6.关闭防火墙。

7.格式化文件系统。

8.启动和验证Hadoop。

9.关闭Hadoopo

三、布置课后作业

1.完成本次实验的电子版《实验报告》,并与本周日前上传至平台。

2.预习“HDFS体系架构和文件存储机制”。

教案首页(第4次课)

(以2课时为单元)

课序授课日期授课班次授课教师批准人

4

课题第3讲HDFS体系架构和文件存储机制

1.了解大数据存储对文件系统的挑战,理解HDFS文件系统特点。

2,理解HDFS体系架构,掌握NameNode与DataNode的作用与关系,掌握HDFS

目的要求元数据文件的组成。(重点)

3.理解HDFS文件存储机制:块,副本策略。(重点)

4.掌握HDFS数据读写过程及涉及到的关键类。(重点)

第3章分布式文件系统HDFS

3.1HDFS简介

教学内容3.2HDFS体系架构(重点)

3.3HDFS文件存储机制(重点)

3.4HDFS数据读写过程(重点)

重点:HDFS体系架构,HDFS文件存储机制,HDFS数据读写过程。

重点难点

难点:无。

教学方法

讲授法,讨论法,演示法,案例法

手段

第3章分布式文件系统HDFS

1.复习提问,讲评章节测试2和实验1,导入本节内容。

教学步骤2.精讲本节内容。

3.进行本节小结。

4.布置课后作业。

复习提问简述部署全分布模式Hadoop集群的基本步骤。

作业无

预习内容预习“实战HDFS“、"HDFS高可靠性机制

教学环节复习提问新课讲解课堂讨论每课小结布置作业

时间分配

10701532

(以分钟计算)

教案首页(第5次课)

(以2课时为单元)

课序授课日期授课班次授课教师批准人

5

课题第4讲实战HDFS

1.掌握HDFSWebUI的使用,熟练掌握HDFSShelI常用命令使用和HDFS

JavaAPI编程。(重点,难点)

目的要求

2.了解HDFS高可靠性机制:元数据备份、SecondaryNameNode>BackupNode

备份、HDFSNameNodeHA^HDFSNameNodeFederation、HDFSSnapshotso

第3章分布式文件系统HDFS

3.5实战HDFS(重点,难点)

3.5.1HDFSWebUI

教学内容

3.5.2HDFSShelI

3.5.3HDFSJavaAPI编程

3.6HDFS高可靠性机制(了解)

重点:HDFS体系架构,HDFS文件存储机制,HDFS数据读写过程。

重点难点

难点:无。

教学方法

讲授法,讨论法,演示法,案例法

手段

第3章分布式文件系统HDFS

教学步骤1.复习提问,导入本节内容。

2.精讲本节内容。3.进行本节小结。4.布置课后作业。

1.简述HDFS是什么。2.简述HDFS体系架构。3.简述HDFS文件存储机制。

复习提问

4.简述HDFS数据读写过程。

1.章节测试

完成线上测试“章节测试3-分布式文件系统HDFS”。

作业2.思考题

(1)简述HDFS元数据的更新和备份过程Checkpoint。

(2)简述备份节点和SecondaryNameNode的区别是什么?

预习线上资源“实验指导书-实验2实战HDFS”,了解实验目的和实脸内容,

预习内容

准备实验环境。

教学环节复习提问新课讲解课堂讨论每课小结布置作业

时间分配

5751532

(以分钟计算)

实验教学教案首页(第3次课)

(以2课时为单元)

课序:6实验日期:实验教师:****批准人:****

一、实验名称

实验2实战HDFS

二、实验目的、要求

1.理解HDFS体系架构。

2.理解HDFS文件存储原理和数据读写过程。

3.熟练掌握HDFSWebUI界面的使用。

4.熟练掌握HDFSShell常用命令的使用。

5.熟练掌握HDFS项目开发环境的搭建。

6.掌握使用HDFSJavaAPI编写HDFS文件操作程序。

三、实验重点、难点

重点:使用HDFSWebUI、HDFSSheikHDFSJavaAPI编程。

难点:使用HDFSJavaAPI编程。

四、实验器材、设备

本实验所需的软件环境包括全分布模式Hadoop集群、Eclipse。

教学设计:

一、复习提问,回顾使用HDFSWebUI、HDFSSheikHDFSJavaAPI编程的关键点。

教师讲述本次实验的先修技能、实验步骤和实验重点难点。

二、采用实验法教学,学生按照本次实验的实验指导书进行实验,教师指导。实验步骤

如下:

1熟练掌握Linux基本命令

2.掌握Java编程

3.熟练掌握全分布模式Hadoop集群的使用

先修技能

4.理解HDFS基础知识:功能、体系架构、文件存储原理HDFS接

口等

1启动Hadoop集群

会2.使用HDFSShell

★3.蝴HDFSWebUI

4.搭建HDFS开发环境Eclipse

在Eelipse中创建Java项目

实战HDFS实验步骤在项目中添加所需JAR包

F*5.使用HDFSJavaAPI编程的目中新建包

户编写Java程序

编译运行程序

6.关闭Hadoop集群

★童点:使用HDFSWeb5、HDFSShell.HDFSJavaAPI编程

实验重点难点,难点:使用HDFSJavaAPI编程

rHDFSNameNodeHA高可用环境搭建

拓展训练-----------------------------

图实验2实战HDFS知识地图

1.启动全分布模式Hadoop集群,守护进程包括NameNode、DalaNode、

SecondaryNameNode、ResourceManager,NodeManager和JobHistoryServer(>

2.查看HDFSWeb界面。

3.练习HDFSShell文件系统命令和系统管理命令。

4.在Hadoop集群主节点上搭建HDFS开发环境Eclipse»

5.使用HDFSJavaAPI编写HDFS文件操作程序,实现上传本地文件到HDFS的功能,

采用本地执行和集群执行的两种执行方式测试,观察结果。

6.使用HDFSJavaAPI编写HDFS文件操作程序,实现查看上传文件在HDFS集群中

位置的功能,采用本地执行和集群执行的两种执行方式测试,观察结果。

7.关闭全分布模式Hadoop集群。

三、布置课后作业

1.完成本次实验的电子版《实验报告》,并与本周日前上传至平台。

2.预习“MapReduce概述和作业执行流程”。

教案首页(第7次课)

(以2课时为单元)

课序授课日期授课班次授课教师批准人

7

课题第5讲MapReduce概述及作业执行流程

1.理解MapReduce编程思想。(重点)

2.掌握MapReduce应用程序WordCount中Mapper类、Reducer类、main。方

法的编写(重点、难点),并熟练掌握向Hadoop集群提交MR作业和查看结果

目的要求的方法(重点)。

3.理解MapReduce作业执行流程的五个阶段,理解MapReduce2.0作业执行

时体系架构。(重点)

4.理解Shuffle机制。(难点)

第4章分布式计算框架MapReduce

4.1MapReduce简介(重点)

分而治之:键值对〈key,vaIue>

4.2第一个MapReduce案例:WordCount(重点)

教学内容

Mapper类、Reducer类、main。方法的编写

4.3MapReduce作业执行流程(重点)

InputFormat,Map,ShuffIe,Reduce,OutputFormat

4.5Shuffle机制(难点)

重点:MapReduce编程思想;WordCount中Mapper类、Reducer类、main()方

法的编写;MapReduce作业执行流程。

重点难点

难点:WordCount中Mapper类、Reducer类、main。方法的编写;Shuffle机

制。

教学方法

讲授法,演示法,案例法

手段

1.复习提问,讲评章节测试3和实验2,导入本节内容。2.精讲教学内容。

教学步骤

3.进行本节小结。4.布置课后作业。

复习提问简述HDFS的体系架构和接口。

作业自行编写MapReduce程序WordCountDIY,并提交Hadoop集群运行。

预习内容预习“MapReduce数据类型与格式”、“在MapReduce中自定义组件”。

教学环节复习提问新课讲解课堂讨论每课小结布置作业

时间分配

10701532

(以分钟计算)

教案首页(第8次课)

(以2课时为单元)

课序授课日期授课班次授课教师批准人

8

课题第6讲MapReduce数据类型和自定义组件

1.掌握MapReduce数据类型(重点),理解序列化和反序列化(难点)。

目的要求2.了解自定义输入组件、自定义排序组件、自定义分区组件、自定义输出组

件的编写。(难点)

第4章分布式计算框架MapReduce

4.4MapReduce数据类型与格式

序列化,反序列化

IntWritable,LongWritable,FloatWritabIe,DoubleWritabIe,ByteWritabIe

BooIeanWritabIe,Text,NuIIWritabIe

4.6在MapReduce中自定义组件

输入组件:org.apache,hadoop.mapreduce.InputFormat,RecordReader,重

教学内容

写createRecordReader()

排序组件:自定义类实现ComparabIe或WritabIeComparabIe,重写

compareToO

分区组件:org.apache.hadoop.mapreduce.Partitioner,重写

getPartition()

输出组件:org.apache.hadoop.mapreduce.OutputFormat,RecordWriter,重

写getRecordWriter()

重点:MapReduce数据类型。

重点难点

难点:序列化和反序列化;MapReduce自定义组件编写。

教学方法

讲授法,演示法,案例法

手段

1.复习提问,导入本节内容。

教学步骤

2.精讲教学内容。3.进行本节小结。4.布置课后作业。

复习提问简述MapReduce作业执行流程。

作业重读MapReduce示例程序WordCount,深入理解其中的数据类型。

预习内容预习“实战MapReduce”、“其它主流计算框架

教学环节复习提问新课讲解课堂讨论每课小结布置作业

时间分配

5701555

(以分钟计算)

实验教学教案首页(第9次课)

(以2课时为单元)

课序:9实验日期:实验教师:****批准人:****

一、实验名称

实验3MapReduce编程(1)

二、实验目的、要求

1.理解MapReduce编程思想。

2.理解MapReduce作业执行流程。

3.理解MR-App编写步骤,掌握使用MapReduceJavaAPI进行MapReduce基本编程,

熟练掌握如何在Hadoop集群上

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论