云计算与大数据基础教学大纲

云计算与大数据基础教学大纲适用范围：2019版本科人才培养方案课程代码：08140171课程性质：专业必修课学分：2学分学时：32学时（其中：理论32学时，实验0学时）先修课程：后续课程：数据采集，数据挖掘，数据可视化等适用专业：数据科学与大数据技术等教材：《大数据技术基础》，薛志东编著，人民邮电出版社，2018.8开课单位：计算机科学与技术学院一、课程的性质与任务课程性质：数据科学与大数据技术等专业的专业必修课。课程任务：其任务主要是把握大数据技术的发展趋势，熟悉本专业的前沿知识和研究热点。该课程讲述了大数据的发展简史、大数据技术的基本内容和主要研究领域、大数据技术的热点应用等。要求学生掌握基本大数据技术的相关概念，掌握大数据分析的基本创新方法，能够针对创新点开展切实有效的应用开发。该课程紧密联系大数据技术中的前沿内容和所涉及的新技术，例如Hadoop分布式系统、Nosql数据库、MapReduce分布式编程、数据采集工具、数据分析及数据可视化等，学生通过该课程的学习能够了解基本的大数据技术和解决实际问题的基本工具和方法。二、课程的基本内容及要求（一）大数据基础概念1．课程教学内容（1）大数据的相关概念；（2）大数据处理的基础技术；（3）流行大数据技术；（4）大数据解决方案。（5）大数据发展现状和趋势2．课程重点难点重点:了解大数据技术的基本内容；难点:了解本专业的前沿知识和发展趋势。3．课程教学要求（1）了解大数据技术的特点、内容、发展历史及未来；（2）了解大数据技术的基本内容和主要研究领域，熟悉本专业的前沿知识和研究热点。（二）大数据软件基础1．课程教学内容（1）Linux基础；（2）Java、Python语言基础。（3）SQL语言基础2．课程重点难点重点:大数据技术的主流编程语言的熟练；难点:Linux操作系统的命令。3．课程教学要求（1）了解掌握Java和Python语言的主要知识点；（2）了解掌握SQL语言的主要知识点；（3）掌握虚拟机Linux系统集群的搭建及相关操作。（三）大数据存储技术1．课程教学内容（1）理解HDFS分布式文件系统；（2）NoSQL数据库的概念；（3）Hadoop、Hbase等平台的配置及使用。2．课程重点难点重点:Nosql数据库的原理；难点:掌握Hadoop生态系统3．课程教学要求（1）理解Hadoop生态系统；（2）熟练掌握Hadoop和Hbase等平台的使用。（四）分布式计算框架1．课程教学内容（1）MapReduce框架概述（2）深入理解MapReduce框架的运行过程（3）任务调度框架。2．课程重点难点重点:MapReduce框架的原理和方法；难点:任务调度概念的理解。3．课程教学要求（1）理解MapReduce框架的原理和方法。（2）了解MapReduce编程工具。（五）数据采集与预处理1．课程教学内容（1）数据采集原理；（2）数据采集编码框架；（3）数据采集工具2．课程重点难点重点:数据采集的基本概念和基本方法；难点:数据采集的实现与基本软件设计。3．课程教学要求（1）数据采集的基本概念、基本方法；（2）掌握数据采集程序的原理与基本软件设计，基本创新方法。。（六）数据仓库与联机分析处理1．课程教学内容（1）数据仓库的概念（2）数据模型设计（3）数据仓库及联机分析的工具2．课程重点难点重点:数据仓库的基本概念和基本方法；难点:联机分析的工具和基本设计方法。3．课程教学要求（1）掌握数据仓库的基本概念和基本方法。；（2）了解一些联机分析的工具和方法，掌握相应的应用实例。（七）数据分析与挖掘技术1．课程教学内容（1）数据分析的基本概念（2）推荐系统（3）分类系统（4）聚类系统2．课程重点难点重点:数据分析的基本概念、基本特征、一般结构等基本内容；难点:推荐、分类、聚类系统的设计和开发方法。3．课程教学要求（1）掌握数据分析的基本概念、基本特征、一般结构等基本内容；（2）掌握推荐、分类、聚类系统设计和开发方法，了解专家系统的应用例子。（八）数据可视化技术1．课程教学内容（1）数据可视化概述；（2）数据可视化工具；（3）与大数据平台集成。2．课程重点难点重点:数据可视化工具的应用；难点:数据可视化与大数据工程的结合。3．课程教学要求（1）掌握数据可视化的基本概念；（2）了解常用数据可视化工具的应用；（3）掌握数据工程中数据可视化的综合应用。（九）大数据安全基础及大数据技术发展的未来1．课程教学内容（1）大数据安全的挑战与对策；（2）基础设施安全。（3）数据管理安全（4）安全分析及隐私保护2．课程重点难点重点:大数据基础设置的安全；难点:大数据平台的安全分析和隐私保护。3．课程教学要求（1）了解大数据基础设置的安全的概念；（2）掌握大数据平台的安全分析和隐私保护方法。（3）理解大数据发展方向可能遇到的问题三、课程学时分配教学章节理论实践（验）讨论、习题一、大数据基本概念2二、大数据软件基础4三、大数据存储技术4四、分布式计算框架2五、数据采集与预处理4六、数据仓库与联机分析处理4七、数据分析与挖掘技术4八、数据可视化技术4九、大数据安全基础4总计32四、课程考核方式与要求考核方式：本课程主要以课程论文、作业评价、课内实验、阶段测验、期末笔试等方式对学生进行考核评价。考核基本要求：考核总成绩由期末试卷成绩和过程性评价成绩组成。其中：期末笔试考核成绩为100分（权重60%）；课程论文、作业评价、课堂讨论、课内实验、阶段测验等过程性评价成绩为100分（权重40%）。过程性评价和考试试题分值分配应与教学大纲各章节的学时基本成比例。五、课程资源库王振武编著,《大数据挖掘与应用》,清华大学出版社,2017年1月傅德谦编著,《大数据离线分析》,清华大学出版社,2017年3月王国胤编著,《大数据挖掘及应用》,清华大学出版社,2017年6月吕云翔编著,《大数据基础及应用》,清华大学出版社,2016年12月覃雄派,王会举,杜小勇,等.大数据分析——RDBMS与MapReduce的竞争与共生[J].软件学报,2012,23(1):32-45.杜艳绥.基于MapReduce的大数据时代数据处理技术研究[J].电脑知识与技术,2015(10):1-2.丁伶敏,吕建友.探讨云计算中大数据的MapReduce处理方法[J].物联网技术,2014(9):86-88.SchölkopfB,PlattJ,HofmannT.Map-ReduceforMachineLearningonMulticore[J].AdvancesinNeuralInformationProcessingSystem,