![《大数据开发基础》课程教学大纲_第1页](http://file4.renrendoc.com/view11/M03/38/37/wKhkGWWP2XSAbgVvAAHWKfdeVrg046.jpg)
![《大数据开发基础》课程教学大纲_第2页](http://file4.renrendoc.com/view11/M03/38/37/wKhkGWWP2XSAbgVvAAHWKfdeVrg0462.jpg)
![《大数据开发基础》课程教学大纲_第3页](http://file4.renrendoc.com/view11/M03/38/37/wKhkGWWP2XSAbgVvAAHWKfdeVrg0463.jpg)
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
《大数据开发基础》课程教学大纲大数据开发基础
一、课程性质、目的和任务
1.本课程为计算机专业高校本科生及讨论生选修的一门课程;
2.目的是让同学了解并把握四个领域(即大数据系统的起源及系统特征、大数据系统的架构设计
及功能目标设计、大数据系统程序开发、企业大数据案例分析)的内容,同时利用真机试验环节以及大数据实训一体机来提升同学对大数据开发的实践力量;
3.本课程重点让同学把握五个方面的内容:
(1)HDFS使用操作;
(2)MapReduce开发;
(3)HBase数据库的开发;
(4)Hive数据仓库开发;
(5)大数据案例分析;
二、教学内容及要求
第一章大数据概述
授课学时:1
基本要求:
1.了解大数据概念、特征、数据计量单位以及大数据的类型;
2.了解大数据系统的设计背景、以及当前大数据系统存在的不足;
3.了解大数据系统的设计思想、设计目标和设计原则;
4.了解大数据系统的整体规律架构设计及运行规律,了解当前大数据系统的主流架构;
其次章大数据应用开发思路和开发环境配置
授课学时:1
基本要求:
1.把握大数据系统应用读写操作的开发流程;
2.把握分析大数据开发技术及思路;
3.把握大数据Java开发的环境配置、Plugin插件的安装,Hadoop环境配置;
第三章HDFS分布式文件系统
授课学时:4
基本要求:
1.了解HDFS设计目标、基本概念;
2.把握HDFS文件系统的命令操作;
3.把握Java对HDFS的程序开发操作,包含名目管理、文件列表、读取、导入导出、文件压缩等开发;
4.真机实操训练(试验环节1);
第四章MapReduce分布式编程
授课学时:6
基本要求:
1.了解MapReduce的设计思想、基本概念;
2.了解MapReduce的系统架构、作业运行机制和关键技术;
3.把握MapReduce的数据类型的自定义以及数据类型的使用;
4.把握MapReduce开发,定制输入输出的数据格式;
5.把握将HDFS文件系统中整个文件作为输入数据的开发;
6.把握利用MapReduce完成小文件聚合成一个大文件的开发;
7.把握压缩数据处理程序开发;
8.把握任务组合过程,把握迭代组合、并行组合及串行组合;
9.把握任务的前后链式组合;
10.把握多数据源连接的开发,包含Map端开发以及Reduce端开发;
11.把握Hadoop全局参数的使用,全局文件的使用;
12.把握与关系型数据库的访问连接;
13.真机实操训练(试验环节2);
第五章HBase分布式数据库
授课学时:4
基本要求:
1.了解HBase分布式数据库的设计目标、基本概念;
2.了解HBase规律架构以及物理架构;
3.把握HBase分布式数据库Shell命令操作;
4.把握HBase数据库系统的Java开发,包含创建表、删除表,查询全部表操作;
5.把握HBase数据库系统的Java开发,包含插入记录、查询数据,组合查询、修改删除记录等开发;
6.真机实操训练(试验环节3);
第六章Hive数据仓库开发
授课学时:6
基本要求:
1.了解Hive数据仓库的工作原理及特点;
2.了解Hive架构设计,包含数据类型、数据存储方式以及查询方式;
3.把握Hive数据仓库系统的HQL语言语法;
4.把握HQL的创建表、查看表及查询有结构,修改表以及删除表;
5.把握利用HQL语句将HDFS的文件导入数据仓库;
6.把握分区表、桶表、外部表的使用;
7.把握HQL语句的联合查询、子查询、创建视图等操作;
8.把握利用Java开发UDF自定义函数,以及自定义函数的使用;
9.把握Java连接Hive数据仓库进行数据查询;
10.真机实操训练(试验环节4);
第七章Spark数据挖掘
授课学时:4
基本要求:
1.了解数据挖掘的基本概念和手段,介绍数据挖掘的常用算法、编程语言等;
2.了解常用的数据挖掘工具;
3.了解最新大数据处理技术Spark平台,包括RDD基础及编程接口介绍,以及SparkSQL规律架构,流式处理技术SparkStream等;
4.了解介绍Spark平台下机器学习(MachineLearning)架构解析,以及SparkMLlib经典算法解析和案例;
5.案例详解,解析通过SparkMLlib的协同过滤算法,来分析某大型电商的商品推举过程,并说明实现方法和代码;
第八章综合案例分析
1、某网站访问日志分析
授课学时:2
基本
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 摩托车风挡与导流罩设计考核试卷
- 医用干细胞再生设备产品原材料供应与需求分析
- 妇科用扩张器产品原材料供应与需求分析
- 去虾线器产品原材料供应与需求分析
- 毛巾被单产品原材料供应与需求分析
- 车辆用地垫产品原材料供应与需求分析
- 记号笔文具市场需求与消费特点分析
- 测量用激光器市场需求与消费特点分析
- 眉毛着色料市场需求与消费特点分析
- 足球球门产品原材料供应与需求分析
- 肺结核患者休复学诊断证明
- 云南校长职级考试试题
- 涉农领域涉嫌非法集资风险专项排查工作总结
- 化妆专业学校精品课程《烟熏妆》
- 湖南省家庭经济困难学生认定申请表
- 民宿教学讲解课件
- AutoCAD-2020基础教程配套课件
- 实习带教方案
- 法学概论-课件
- 最新北师大版五年级数学上册教学课件全册
- 竞争情报概论课件
评论
0/150
提交评论