《大数据处理及云计算》教学大纲

?大数据办理及云计算?教课纲领?大数据办理及云计算?教课纲领PAGEPAGE4?大数据办理及云计算?教课纲领PAGE

?大数据办理与云计算?教课纲领

课程类型：专业教育课课程名称：大数据办理与云计算

开课单位：信息与通信工程学院课程编号：N03050703

总学时：40学分：2.5

合用专业：信息工程专业

先修课程：无

一、课程在教课方案中的地位、作用大数据办理与云计算是信息工程专业高年级学生开设的一门专业教育课。本课程主要学习大数据办理和云计算的有关原理和技术，依据实质需求，建立相应的大数据办理和云计算平台框架。经过本课程学习，使学生掌握大数据的收集、传输、办理和应用的技术，认识Hadoop散布式系统根基架构，掌握HDFS和MapReduce技术。认识HBase、Hive、Zookeeper、Avro、Pig等有关大数据技术，与实质工程应用相联合，建立相应的云计算平台。教课应该联合实质实验条件，培育学生实践着手能力，认识大数据技术展开现状，促使大数据有关教课改革。二、课程教课内容、要求及学时分派第一章大数据与云计算概略1、认识大数据观点2、认识大数据的产生、应用和作用3、认识云计算技术的概括4、认识云计算的特色及技术分类5、认识大数据与云计算、物联网之间的关系第二章大数据办理与云计算的重点技术1、理解大数据办理的根本流程2、掌握大数据的重点技术3、理解大数据的办理工具4、认识大数据面对的挑战5、理解云计算及关系型数据库第三章Hadoop1、认识Hadoop概括2、认识Hadoop展开简史3、理解Hadoop的功能与作用4、认识Hadoop的优弊端5、认识Hadoop的应用现状和展开趋向6、掌握Hadoop工程及其构造7、掌握Hadoop的系统构造8、掌握HDFS的系统构造第四章MaReduce1、理解散布式并行编程2、理解MapReduce模型概括3、掌握Map和Reduce函数4、掌握MapReduce工作流程5、掌握并行计算的实现6、掌握新的MapReduce框架：Yarn7、理解新旧HadoopMapReduce框架的对比第五章HDFS1、理解HDFS的假定与目标2、理解HDFS的有关观点3、掌握HDFS系统构造4、掌握HDFS命名空间5、掌握HDFS储存原理6、掌握通信协议7、理解数据错误和异样8、理解从HDFS看散布式文件系统的设计需求第六章Zookeeper1、认识Zookeeper简介2、掌握Zookeeper的工作原理3、理解Zookeeper的数据模型第七章HBase海量及时办理实战技巧1、理解HBase简介和架构2、掌握HBase核心知识点3、掌握HBase高级应用4、理解HBase应用处景5、理解HBase常用接口和SQL引擎层实战6、理解鉴于HadoopV1和V2使用HBase的异同第八章鉴于HadoopV2的Hive/Pig开发技巧1、理解Hive和Pig架构和理论根基2、理解Hive的作用和原理说明3、掌握Hadoop库房和传统数据库房的协作关系4、理解Hadoop/Hive库房数据数据流5、理解鉴于HadoopV1和V2使用Hive和Pig等工具的异同6、HQL根本语法第九章及时流框架StormonYARN〔HadoopV2〕实战技巧1、理解及时流计算的观点2、理解Storm的观点、核心组件、特征3、理解Storm核心观点和数据流模型4、认识运转鉴于Storm的编程实例第十章内存计算框架SparkonYARN〔HadoopV2〕实战技巧1、理解Spark核心架构2、掌握在YARN上安装Spark3、理解Spark集群配置介绍4、理解Spark多语言编程第11章云数据库1、认识云数据库概括2、认识云数据库的特征及其需求3、理解云数据库与传统的散布式数据库4、认识云数据库产品5、理解数据模型6、理解数据接见方法及编程模型三、实验四学时分派章节名称第一章大数据与云计算概略第二章大数据办理与云计算的重点技术第三章Hadoop第四章MaReduce第五章HDFS第六章Zookeeper第七章HBase海量及时办理实战技巧第八章鉴于HadoopV2的Hive/Pig开发技巧第九章及时流框架StormonYARN〔HadoopV2〕实战技巧第十章内存