《大数据技术及应用》教学大纲

《大数据技术及应用》课程教学大纲一、课程基本信息课程编号课程名称大数据技术及应用课程基本情况学时32（课堂）+18（实验）课程性质专业选修先修课程高级语言程序设计，数据库原理考核方式考试，作业考核，课堂表现考核教材及参考书教材：严宣辉，张仕，赖会霞，韩凤萍.大数据技术及应用—基于Python语言.\o"电子工业出版社"电子工业出版社.2021.10参考书目：黑马程序员.大数据技术原理与应用.清华大学出版社.2019.薛志东,吕泽化，陈长清,等.大数据技术基础.人民邮电出版社.2018课程简介本课程讲授大数据技术的基本原理和应用方法，主要包括大数据的基础知识、大数据实验平台的构建、大数据采集与预处理、大数据的分布式存储、大数据的分析、大数据可视化等内容。使学生掌握最为主流的Hadoop大数据处理平台和技术方法，并结合实际应用案例，培养学生运用大数据原理和技术解决实际问题的能力。在讲授该课程过程中培养学生探索未知、追求卓越的品质，也注重培养学生精益求精的工匠精神，激发学生科技报国、奉献社会的情怀和使命担当。课程学习目标学习目标1：掌握大数据的基本原理、主流的大数据处理平台和技术方法。学习目标2：提高学生应用大数据思维和技术方法解决实际问题的能力。学习目标3：培养学生运用大数据技术中的科学思维与计算思维，激发学生科技报国、奉献社会的情怀和使命担当。二、课程教学内容和学时分配章节教学内容及其重难点学时安排第1章绪论教学内容：大数据的基本概念、特点和构成通过案例讲解大数据的价值与作用、大数据时代的思维模式变革大数据的基本处理环节和目前流行的大数据技术教学重点：大数据处理的基本环节和主流技术教学难点：大数据带来的思维模式变革2第2章大数据实验环境构建教学内容：在Windows中安装Linux虚拟机的方法和步骤常用的Linux命令和系统配置方法在Linux中构建Hadoop集群的方法和步骤Hadoop集群的配置与测试教学重点：在Linux系统中构建Hadoop集群教学难点：Hadoop集群的配置与测试4+4第3章大数据采集与预处理教学内容：大数据的来源与格式常用数据采集工具的使用（运用Scrapy与Flume采集数据）数据预处理的基本方法教学重点：数据预处理的基本方法教学难点：运用Scrapy与Flume采集数据4+2第4章Hadoop分布式文件系统教学内容：Hadoop的体系结构、核心组件与工作原理HDFS的体系结构和工作原理使用命令对HDFS文件系统进行操作利用pyhdfs实现HDFS文件系统的操作教学重点：HDFS的体系结构和工作原理、HDFS文件系统的操作命令教学难点：利用pyhdfs实现HDFS文件系统的操作4+2第5章HBase基础与应用教学内容：HBase的体系结构、核心组件和工作原理HBase的常用命令，使用命令对HBase系统进行操作利用Jyhdfs实现HBase数据库系统的操作教学重点：HBase的工作原理与数据模型，HBaseShell的交互式应用教学难点：用Jyhdfs实现HBase数据库系统的操作4+2第6章Hive基础与应用教学内容：Hive存储模型和数据表的组织方式Hive常用命令的使用方法运用DDL实现数据仓库表构建、分区设置和应用使用DML语言操纵Hive数据仓库的表数据使用Hive-QL命令进行Hive数据仓库的表构建、分区、数据操纵和数据查询教学重点：Hive建库、建表、数据导入和查询的方法。教学难点：Hive的数据操纵和查询4+2第7章分布式计算框架MapReduce教学内容：MapReduce的基本工作原理WordCount实例详解和原理分析MapReduce作业管理MapReducePython代码的编写与测试利用Python的迭代器和生成器优化wordCount程序MapReduce程序设计模式用MRJob库编写MapReduce程序教学重点：MapReduce的基本工作原理和程序编写方法教学难点：MapReduce设计模式4+2第8章大数据分析与挖掘教学内容：数据的描述性分析回归、分类与聚类的基本原理与常用算法分布式大数据挖掘算法典型案例教学重点：回归、分类与聚类的基本原理与常用算法教学难点：基于MapReduce的分布式大数据挖掘算法的设计与实现4+2第9章数据可视化教学内容：数据