《大数据导论》-理论课程-教学大纲、授课计划

《大数据导论》教学大纲课程名称：大数据导论课程类别：必修适用专业：大数据技术类相关专业总学时：32学时（其中理论32学时）总学分：2.0学分课程的性质发展数字经济已经在全球形成广泛共识，因为当前社会经济生活的生产要素发生了巨大改变，数据已经成为一种新的且十分重要的生产要素。建立在数据基础上的数字经济则成为一种新的经济社会发展形态，并形成新动能，重塑经济发展结构和深刻改变生产生活方式。在数字时代，数据量呈现爆炸式增长，数据的采集和处理方式也发生了巨大改变，如何保证数据的安全性、如何合理地展示数据内容、如何管理和存储数据等成了亟待解决的问题。随着数据量的增长，在数据中发现隐藏的价值信息成为可能，大数据技术成为研究的热点。大数据算法可以对数据进行处理和分析，给出智能决策，帮助行业人员解决传统方法无法解决的问题。本课程系统介绍了大数据技术的发展历史，大数据技术的主要算法及相关技术。课程的任务通过本课程的学习，使学生了解大数据的出现及发展历史，了解大数据的采集算法、存储管理，以及主要的数据存储架构，详细介绍了几种分布式存储框架，学会大数据分析算法，重点介绍掌握数据可视化的各种工具，了解大数据的安全知识，如何在数据处理中保护个人隐私，并详细拆解大数据技术在城市管理，金融领域，和互联网行业的具体案例，将理论与实践相结合，为将来从事大数据分析研究、工作奠定基础。课程学时分配序号教学内容理论学时其它1第1章大数据概述22第2章大数据采集43第3章大数据存储与管理64第4章大数据分析65第5章数据可视化66第6章数据安全、隐私保护与开放共享47第7章大数据技术应用案例4总计32教学内容及学时安排理论教学序号章节名称主要内容教学目标学时1大数据概述了解三次信息化浪潮的内容了解大数据技术的发展历史了解大数据技术的起源和概念掌握大数据的特点了解大数据产业的发展现状了解大数据产业的应用领域和应用价值了解大数据的产业链了解大数据的技术体系了解大数据技术相关的岗位需求掌握大数据的概念和五个特点了解大数据技术发展的历史和重要作用了解大数据技术的应用领域和产业链构成了解大数据的技术体系和相关岗位22大数据采集了解数据采集技术在大数据中的重要作用掌握大数据采集技术掌握主流的大数据采集框架Flume和Sqoop掌握大数据采集包含的内容和过程掌握大数据的数据来源和采集方法掌握大数据的批量采集技术掌握网络数据日志数据的采集内容和方法掌握大数据采集框架43大数据存储与管理了解大数据存储的用途了解传统的大数据存储技术掌握大数据时代的数据存储技术掌握分布式存储和云存储掌握主流的分布式存框架掌握大数据存储的基本概念掌握传统大数据存储技术掌握大数据时代的数据存储技术，与传统数据存储技术的区别掌握分布式存储和云存储技术掌握主流的分布式存储框架64大数据分析了解什么是用户画像了解个性化用户画像的作用了解如何进行用户画像掌握大数据分析技术的基本概念掌握数据分析与数据挖掘的关系掌握数据认知的概念掌握数据处理的方法掌握数据建模的方法掌握模型评估的方法掌握主流的大数据分析框架掌握用户个性化画像的作用和方法掌握大数据分析技术掌握大数据分析框架的概念和使用方法65数据可视化了解数据可视化的概念掌握数据可视化的作用掌握数据可视化的设计方法掌握数据可视化设计工具了解数据可视化技术内容了解数据可视化的发展方向了解数据可视化方法的分类掌握数据可视化的作用掌握数据可视化的设计思路和方法掌握数据可视化的主要设计工具掌握数据可视化的发展方向66数据安全、隐私保护与开放共享了解数据安全的概念了解数据安全和隐私保护的必要性掌握数据安全和隐私保护的技术体系了解大数据安全和隐私保护的关键技术内容掌握数据安全的基本技术了解数据开放和共享的概念了解数据开放和共享的重要作用掌握数据开放和共享的的实施方法掌握大数据安全的概念和意义掌握大数据安全的方法掌握大数据开放共享的意义掌握数据开放共享的方法47大数据技术应用案例分析大数据技术在城市管理中的现状了解城市公共出行数据的分析过程了解城市管理中环保数据的分析方法分析大技术在金融领域的现状掌握大数据分析技术对金融系统的作用了解大数据技术在互联网领域的作用掌握大数据推荐系统的作用和方法了解大数据技术在零售业的作用掌握大数据技术在零售业中的具体使用方法熟悉大数据技术对城市管理的作用和分析过程了解大数据技术在金融领域的作用和应用技术掌握大数据技术在互联网领域的技术方法掌握大数据技术在零售业中的作用4学时合计32考核方式突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成=平时作业（10%）+课堂参与（20%）+期末考核（70%），期末考试建议采用开卷形式，试题应包括基本概念、大数据采集算法描述、采集算法框架配置、大数据存储系统、分布式存储框架、大数据分析框架、数据可视化工具等部分，题型可采用判断题、选择、简答、应用题等方式。教材与参考资料教材林涛，张良均．大数据导论[M]．北京：人民邮电出版社．2024．参考资料[1] 肖芳，张良均．Spark大数据技术与应用[M]．北京：人民邮电出版社．2018．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．学院课程教学进度计划表（学年第二学期） 课程名称大数据导论 授课学时32 参与教学教师 授课班级/人数 专业（教研室） 填表时间教务处编印年月课程教学目的通过本课程的学习，使学生了解大数据技术的发展和起源，了解大数据技术的重要性，掌握大数据的获取，处理，分析和展示等技术，并能够运用教材中的算法对实际应用中的数据进行处理，分析出具有行业价值的结果，将理论与实践相结合，为将来从事数据分析挖掘研究、工作奠定基础。教学方法及手段本课程将采用理论与实践相结合的教学方法。在理论上，通过任务引入概念、原理和方法。在实践上，充分地利用现有的硬件资源，发挥学生主观能动性，指导学生使用Flume和Sqoop进行数据采集，使用Hive和Hbase对数据进行存储，掌握Hadoop和Spark等工具，对数据进行分析，并使用ECharts、FineBI等工具对数据分析结果进行展示。同时结合四个领域的实际案例，引导学生将所学知识与企业需求相结合，将知识活学活用。要求学生自己动手分析实例，学习基本理论和方法，结合已有的知识，适当组织一些讨论，充分调动学生的主观能动性，以达到本课程的教学目的。课程考核方法突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成=平时作业（10%）+课堂参与（20%）+期末考核（70%），期末考试建议采用开卷形式，试题应包括基本概念、大数据采集算法描述、采集算法框架配置、大数据存储系统、分布式存储框架、大数据分析框架、数据可视化工具等部分，题型可采用判断题、选择、简答、应用题等方式。

《大数据导论》教学日历周次学时授课内容作业要求备注14第1章大数据概述第2章大数据采集（1）第1章课后习题24第2章大数据采集（2）第3章大数据存储与管理（1）第2章课后习题34第3章大数据存储与管理（2）第3章课后习题44第4章大数据分析（1）第