《Hadoop基础与实践》课程教学大纲

1、Hadoop基础与实践课程教学大纲一、课程基本信息.课程名称：大学计算机基础.课程代码：CST304.学分：4.学时：17周，1次课/周，3学时/I次课，共51学时。二、任课教师、助教、教室等情况三、课程特点.实践与理论并重，着眼于Hadoop等大数据处理工具。.以Hadoop平台搭建及应用为主线，着重培养学生的理解能力、独立完成 实际操作的能力。.以Hadoop技术的核心论文的依据，深入学习Hadoop平台的原理。.培养独立自主学习，引导课堂讨论掌握知识。四、阅读材料（一）推荐教材Tom White著，王海等译，Hadoop权威指南，清华大学出版社。黄宜华等著，深入理解大数据大数据处理与编程

2、实践，机械工业出版 社。（二）参考教材Garry Turkington著，张治起译，Hadoop基础教程，人民邮电出版社。五、课程内容概要（一）课程目标.引导学生进入Hadoop分布式系统的领域。.提升学生阅读、理解、描述Hadoop相关学术论文的能力。.理解Hadoop基本概念体系和基本工作原理。.掌握Hadoop平台搭建的基本方法。.掌握基于Java语言的MapReduce编程方法。.了解Hive, Hbase等基于Hadoop的工具。（二）教学内容序号题目知识点学时IHadoop系统概述Hadoop开展历史Hadoop应用：爬虫系统Hadoop基本设计Hadoop实际案例介绍32HDFS

3、分布式文件系统HDFS的设计HDFS的概念Namcnode 和 DatanodcHDFS的高可用性写数据读数据63Mapreduce计算框架M叩reduce作业提交M叩reduce作业初始化任务的分配任务的执行shufne 过程排序过程64Maprcduce编程基础知 识Mapreduce 的类型M叩类和Reduce类Combiner 函数Sort函数连接计数器65Hadoop简单平台搭建Ubuntu 16.04LTS 安装SSH server 安装JDK 1.8.0 安装HDFS格式化修改配置文件启动和停止守护进程环境设置66Hadoop集群平台搭建集群规模网络拓扑日志通讯设置157HBas

4、e (BigTable)分 布式数据库BigTable 原理BigTable存储格式BigTble优缺点比拟HBase安装HBase杳询基础9（三）课程要求.准时上下课，积极参与到教学活动去。.认真完成课堂布置的编程内容。.课后自主学习相关内容，阅读论文。.积极运用现代教学手段，自主学习，并掌握教学内容。（四）教学进度安排进度教学内容课式 授方课后作业第（）1周课程介绍Hadoop的概述、开展及应用讲解阅读如何配置Hadoop运行环 境的相关材料第02周实验1 ：搭建Hadoop单机模式介绍常用的Linux命令解答践 讲解实第03周 实验2：搭建Hadoop伪分布式模式解答践 讲解实将Hado

5、op单机模式及伪分布 式模式搭建实验结果合并，完 成实验报告第04周 国庆放假第05周实验3： Mapreduce基础算法程序设 计（上）WordCount矩阵乘法关系代数运算解论疑践 讲讨答实完成实验内容第06周论文 1 ： The Google File System学生分小组讲解对关键知识点老师重点引导讨论解论疑 讲1 Mi答课前阅读论文，完成阅读报告第07周实验4： Mapreduce基础算法程序设 计（下）PageRank网页排名算法专利文献分析算法讲解 讨论 答疑 实践完成实验内容，形成实验报告第08周实验5： Hadoop集群搭建（上）（小 组合作）以小组为单位，通过在多台电脑，

6、 或多个虚拟机间建立通讯,搭建Hadoop 集群论践 讨实完成实验内容第09周论文 2： MapReduce: Simplified Data Processing on Large Clusters学生分小组讲解对关键知识点老师重点引导讨论解论疑 讲讨答课前阅读论文，完成阅读报告第10周实验6： Hadoop集群搭建（下）（小 组合作）根据实验3和实验4中完成的算法， 寻找匹配的大数据集，在搭建好的 Hadoop集群上运行，并分析结果论践 讨实完成实验内容，形成实验报告第11周实验7: Hadoop大数据处理（1）（小 组合作）根据提供的数据集片段，分析数据 特点“设计基于数据集的应用编写代

7、码实现数据清洗运用M叩reduce框架提取关键数据对数据集片段进行分析、处理解论疑践 讲讨答实完成实验内容第12周论文 3： Improving MapReduce Performance in Heterogeneous Environments学生分小组讲解解论疑 讲讨答课前阅读论文，完成阅读报告 对关键知识点老师重点引导讨论第13周实验8: Hadoop大数据处理（2）（小 组合作）对M叩reduce结果进行分析将Mapreduce任务发送至大规模分 布式集群（学院实验室提供）运行完整 数据（可选）将上述Mapreduce程序改 写成可在Spark平台上运行，并比拟该 程序在Hadoop

8、和Spark上运行的不同表 现论疑践 讨答实完成实验内容第14周论文 4 ： Bigtable: A Distributed Storage System for Structured Data学生分小组讲解对关键知识点老师重点引导讨论解论疑 讲讨答课前阅读论文，完成阅读报告第15周HBase分布式数据库基础HBase数据模型HBase基本框架解论疑 讲1 wi答阅读HBase相关知识点第16周实验9： HBase安装及应用安装HBase运用HBase Shell命令创立表，插入 数据等讨论 答疑 实践完成实验内容，形成实验报告第17周实验10: Hadoop大数据处理（3）（小 组合作）小组课堂展示讨论 答疑完成实验内容，形成实验报告（五）教学资源六、考核方式工程考察内容考察方式分值论文讲述与