《Hadoop大数据分析基础》教学大纲

《Hadoop大数据分析基础》教学大纲课程英文名AnalysisBasisofBigDataonHadoop课程代码J0701Z03学分3总学时48理论学时24实验/实践学时24课程类别专业课课程性质任选先修课程Hadoop分布式系统适用专业信息与计算科学、数学与应用数学开课学院理学院一、课程地位与课程目标（一）课程地位《Hadoop大数据分析基础》是数据科学与技术方向一门重要的专业课程，它是在Hadoop大数据平台基础上，利用Spark系统进行大数据分析，利用Storm系统进行流式分析。本课程在专业培养体系中具有重要的地位，对培养学生进行大数据计算和分析能力的起到重要的作用。（二）课程目标1.掌握大数据分析基本原理和方法；2.熟悉Hadoop生态环境下的Spark系统配置、常用分析工具及其程序设计实现；3.熟悉Hadoop生态环境下的Storm系统配置、常用分析工具及其程序设计实现；4.掌握大数据分析程序设计方法。二、课程目标达成的途径与方法以课堂教学为主，结合自学、课堂讨论、课外作业、实验验证等。课堂教学，采用ppt和板书结合讲解，并通过程序演示课堂讨论，围绕一个关键问题，分组讨论，并选派学生阐述自己的观点课外作业，在教材每个章节后面的练习中选择有代表性的问题作为学生课后的书面作业，检查学生对知识的掌握程度实验验证，选择适当的案例，通过仿照例子编写一定的程序代码，验证理论，提高能力三、课程目标与相关毕业要求的对应关系课程目标课程目标对毕业要求的支撑程度（H、M、L）毕业要求4毕业要求6毕业要求10课程目标1HMM课程目标2HMM课程目标3HMM课程目标4HMM注：1.支撑强度分别填写H、M或L（其中H表示支撑程度高、M为中等、L为低）。四、课程主要内容与基本要求第1章绪论

内容：大数据的概念；大数据分析的过程、技术与难点要求：了解大数据的概念；了解大数据分析的过程、技术与难点

第2章大数据分析模型

内容：大数据分析模型建立方法，基本统计量，推断统计；关联分析模型；分类分析模型；聚类分析模型；结构分析模型；文本分析模型要求：了解大数据分析模型的建立方法；掌握关联分析模型，分类分析模型，聚类分析模型；了解结构分析模型，文本分析模型大数据分析的数据预处理内容：数据抽样和过滤；数据标准化与归一化；数据清洗；降维要求：掌握数据抽样和过滤，数据标准化与归一化，数据清洗；了解降维方法面向大数据的数据仓库系统

内容：数据仓库；分布式数据仓库系统；基于Hadoop的数据仓库系统要求：了解数据仓库概念；掌握基于Hadoop的数据仓库系统大数据分析算法

内容：回归算法；关联规则挖掘算法；分类算法；聚类算法要求：掌握回归算法；关联规则挖掘算法；分类算法；聚类算法大数据计算平台

内容：基于Spark的大数据分析要求：掌握Spark计算平台的基本使用第7章流式计算平台

内容：流式计算概述；基于Storm的大数据分析实例326

要求：掌握基于Storm计算平台的基本使用五、课程学时安排章节号教学内容学时数学生任务对应课程目标第1章绪论21.完成本章练习2.预习下一章内容课程目标1第2章大数据分析模型121.完成本章练习2.预习下一章内容课程目标1第3章大数据分析的数据预处理41.完成本章练习2.预习下一章内容课程目标1第4章面向大数据的数据仓库系统41.完成本章练习2.预习下一章内容课程目标1第5章大数据分析算法81.完成本章编程练习2.预习下一章内容课程目标1课程目标4第6章大数据计算平台101.完成本章编程练习2.预习下一章内容课程目标1课程目标2课程目标3课程目标4第7章流式计算平台81.完成本章编程练习2.预习下一章内容课程目标1课程目标2课程目标3课程目标4六、实践环节及基本要求序号实验项目名称学时基本要求学生任务实验性质实验类别1大数据分析模型6验证模型完成编程验证验证必做2数据预处理2验证预处理方法完成编程验证验证必做3数据仓库2验证数据仓库管理完成编程验证验证必做4大数据分析算法4验证分析算法实例完成编程验证验证必做5大数据计算平台6验证计算实例完成编程验证验证必做6流式计算平台4验证流式计算实例完成编程验证验证必做注：1.实验性质指演示性、验证性、设计性、综合性等；2.实验类别指必做、选做等。七、考核方式及成绩评定考核内容考核方式评定标准（依据）占总成绩比例过程考核含到课率、课堂讨论发言、平时作业等平时成绩记录40%期末考核开卷卷面评阅成绩60%考核类别考试成绩登记方式百分制八、推荐教材与主要参考书（一）推荐教材：1.大数据分析原理与实践，王宏志著，机械工业出版社，2017.7，第1版。2.实时大数据分析:基于Storm、Spark技术的实时应用，SumitGupta，ShilpiSaxena著,张广骏译，清华大学出版社，2018.1（二）主要参考书：1.Spa