《大数据处理与云计算》教学大纲

《大数据处理与云计算》教学大纲《大数据处理与云计算》教学大纲课程类别：专业训练课课程名称：大数据处理与云计算

开课单位：信息与通信工程学院课程编号：N03050703

总学时：40学分：2.5

适用专业：信息工程专业

先修课程：无

一、课程在教学方案中的地位、作用

大数据处理与云计算是信息工程专业高班级同学开设的一门专业训练课。本课程主要学习大数据处理和云计算的相关原理和技术，依据实际需求，构建相应的大数据处理和云计算平台框架。

通过本课程学习，使同学把握大数据的采集、传输、处理和应用的技术，了解Hadoop分布式系统基础架构，把握HDFS和MapReduce技术。了解HBase、Hive、Zookeeper、Avro、Pig等相关大数据技术，与实际工程应用相结合，构建相应的云计算平台。教学应当结合实际试验条件，培育同学实践动手力量，了解大数据技术进展现状，促进大数据相关教学改革。

二、课程教学内容、要求及学时安排

第一章大数据与云计算概况

1、了解大数据概念

2、了解大数据的产生、应用和作用

3、了解云计算技术的概述

4、了解云计算的特点及技术分类

5、了解大数据与云计算、物联网之间的关系

其次章大数据处理与云计算的关键技术

1、理解大数据处理的基本流程

2、把握大数据的关键技术

3、理解大数据的处理工具

4、了解大数据面临的挑战

5、理解云计算及关系型数据库

第三章Hadoop

1、了解Hadoop概述

2、了解Hadoop进展简史

3、理解Hadoop的功能与作用

4、了解Hadoop的优缺点

5、了解Hadoop的应用现状和进展趋势

6、把握Hadoop项目及其结构

7、把握Hadoop的体系结构

8、把握HDFS的体系结构

第四章MaReduce

1、理解分布式并行编程

2、理解MapReduce模型概述

3、把握Map和Reduce函数

4、把握MapReduce工作流程

5、把握并行计算的实现

6、把握新的MapReduce框架：Yarn

7、理解新旧HadoopMapReduce框架的对比第五章HDFS

1、理解HDFS的假设与目标

2、理解HDFS的相关概念

3、把握HDFS体系结构

4、把握HDFS命名空间

5、把握HDFS存储原理

6、把握通讯协议

7、理解数据错误和特别

8、理解从HDFS看分布式文件系统的设计需求第六章Zookeeper

1、了解Zookeeper简介

2、把握Zookeeper的工作原理

3、理解Zookeeper的数据模型

第七章HBase海量实时处理实战技巧

1、理解HBase简介和架构

2、把握HBase核心学问点

3、把握HBase高级应用

4、理解HBase应用场景

5、理解HBase常用接口和SQL引擎层实战

6、理解基于HadoopV1和V2使用HBase的异同

第八章基于HadoopV2的Hive/Pig开发技巧

1、理解Hive和Pig架构和理论基础

2、理解Hive的作用和原理说明

3、把握Hadoop仓库和传统数据仓库的协作关系

4、理解Hadoop/Hive仓库数据数据流

5、理解基于HadoopV1和V2使用Hive和Pig等工具的异同

6、HQL基本语法

第九章实时流框架StormonYARN（HadoopV2）实战技巧

1、理解实时流计算的概念

2、理解Storm的概念、核心组件、特性

3、理解Storm核心概念和数据流模型

4、了解运行基于Storm的编程实例

第十章内存计算框架SparkonYARN（HadoopV2）实战技巧

1、理解Spark核心架构

2、把握在YARN上安装Spark

3、理解Spark集群配置介绍

4、理解Spark多语言编程

第11章云数据库

1、了解云数据库概述

2、了解云数据库的特性及其需求