《大数据基础》课程教学大纲

《大数据基础》教学大纲适用范围：2020版本科人才培养方案课程代码：08140211课程性质：专业必修课学分：2学分学时：32学时（其中：理论32学时，实验0学时）先修课程：后续课程：数据采集，数据挖掘，数据可视化等适用专业：数据科学与大数据技术等教材：《大数据导论》，林子雨编著，人民邮电出版社，2020.9开课单位：计算机科学与技术学院一、课程的性质与任务课程性质：数据科学与大数据技术等专业的专业必修课。课程任务：其任务主要是把握大数据技术的发展趋势，熟悉本专业的前沿知识和研究热点。该课程讲述了大数据的发展简史、大数据技术的基本内容和主要研究领域、大数据技术的热点应用等。要求学生掌握基本大数据技术的相关概念，掌握大数据分析的基本创新方法，能够针对创新点开展切实有效的应用开发。该课程紧密联系大数据技术中的前沿内容和所涉及的新技术，例如Hadoop分布式系统、NoSQL数据库、数据采集工具、数据分析及数据可视化等，学生通过该课程的学习能够了解基本的大数据技术和解决实际问题的基本工具和方法。二、课程教学目标1.知识目标了解大数据概念、大数据基础知识、大数据处理的全生命周期，了解大数据技术是新时代对人才的新要求。2.能力目标掌握数据采集与预处理，数据存储与管理，数据处理与分析，数据可视化等基本方法。3.素质目标具备大数据思维，熟悉大数据技术是新时代对人才的新要求，具备从大数据角度分析未来的发展趋势，主动适应社会发展，做对社会对国家有用之人。三、课程的基本内容及要求（一）大数据概述1．课程教学内容（1）大数据时代（2）大数据的概念；（3）大数据与云计算；（4）大数据与物联网；（5）大数据与人工智能。2．课程重点难点重点:了解大数据技术的基本概念和特征；难点:理解大数据技术的发展和其他技术之间的关系。3．课程教学要求（1）了解大数据技术的特点、内容、发展历史及未来；（2）了解大数据技术的基本内容和主要研究领域，熟悉本专业的前沿知识和研究热点。（二）大数据基础知识1．课程教学内容（1）操作系统；（2）编程语言；（3）数据库；（4）大数据平台与开发流程；（5）数据安全。2．课程重点难点重点:了解大数据思维；难点:掌握数据分析编程基础。3．课程教学要求（1）了解大数据思维、数据共享及数据安全；（2）了解掌握R语言或Python的编程基础；（三）数据采集与预处理1．课程教学内容（1）数据采集原理；（2）数据采集编码框架；（3）数据预处理。2．课程重点难点重点:数据采集的基本概念和基本方法；难点:数据预处理的原理与实现。3．课程教学要求（1）数据采集的基本概念、基本方法；（2）掌握数据预处理的原理与基本软件设计，基本创新方法。（四）大数据存储与分布式处理架构1．课程教学内容（1）大数据存储技术；（2）大数据处理架构Hadoop；（3）分布式文件系统HDFS（4）分布式数据库Hbase；（5）分布式计算框架MapReduce；（6）大数据计算平台Spark。2．课程重点难点重点:数据存储的基本概念和基本方法；难点:大数据系统平台和基本使用方法。3．课程教学要求（1）掌握数据存储的基本概念和基本方法；（2）了解大数据存储的工具和方法。（五）数据挖掘技术1．课程教学内容（1）数据分析的基本概念；（2）数据挖掘方法；（3）大数据分析与挖掘技术。2．课程重点难点重点:理解数据分析的基本概念、基本特征、一般结构等基本内容；难点:掌握数据挖掘方法。3．课程教学要求（1）掌握数据分析的基本概念、基本特征、一般结构等基本内容；（2）掌握推荐、分类、聚类系统设计等数据挖掘方法；（3）了解大数据分析与挖掘技术。（六）数据可视化技术1．课程教学内容（1）数据可视化概述；（2）数据可视化工具；2．课程重点难点重点:数据可视化工具的应用；难点:数据可视化与大数据工程的结合。3．课程教学要求（1）掌握数据可视化的基本概念；（2）了解常用数据可视化工具的应用；（七）大数据应用1．课程教学内容（1）理解大数据处理生命周期；（2）掌握大数据技术与领域知识结合方法；（3）掌握综合性大数据处理案例。2．课程重点难点重点:掌握大数据技术与领域知识结合方法；难点:大数据处理案例。3．课程教学要求（1）理解大数据处理生命周期；（2）掌握大数据处理案例；四、课程学时分配教学章节理论实践（验）讨论、习题一、大数据概述4二、大数据基础知识4三、数据采集与预处理4四、大数据存储与分布式处理架构6五、数据挖掘技术6六、数据可视化技术4七、大数据应用4总计32五、课程考核方式与要求考核方式：本课程主要以课程论文、作业评价、课内实验、阶段测验、期末笔试等方式对学生进行考核评价。考核基本要求：考核总成绩由期末试卷成绩和过程性评价成绩组成。其中：期末笔试考核成绩为100分（权重60%）；课程论文、作业评价、课堂讨论、课内实验、阶段测验等过程性评价成绩为100分（权重40%）。过程性评价和考试试题分值分配应与教学大纲各章节的学时基本成比例。五、课程资源库《大数据技术基础》，薛志东编著，人民邮电出版社，2018.8王振武编著,《大数据挖掘与应用》,清华大学出版社,2017年1月傅德谦编著,《大数据离线分析》,清华大学出版社,2017年3月王国胤编著,《大数据挖掘及应用》,清华大学出版社,2017年6月吕云翔编著,《大数据基础及应用》,清华大学出版社,2016年12月覃雄派,王会举,杜小勇,等.大数据分析——RDBMS与MapReduce的竞争与共生[J].软件学报,2012,23(1):32-45.杜艳绥.基于MapReduce的大数据时代数据处理技术研究[J].电脑知识与技术,2015(10):1-2.丁伶敏,吕建友.探讨云计算中大数据的MapReduce处理方法[J].物联网技术,2014(9):86-88.SchölkopfB,PlattJ,HofmannT.Ma