《大数据技术导论》-教学大纲、课程标准 张寺宁

《大数据技术导论》教学大纲课程名称大数据技术导论先修课程计算机基础、Python编程课程类别专业基础课课程类型理论+实践总学时48理论学时24实践学时24教学目的大数据是国家发展战略，是各专业培养数智化、复合型技术技能人才的必修课程。通过本课程的学习学生能够了解大数据相关基础知识，知晓大数据行业各岗位的技能需求，体验各岗位工作任务，掌握大数据相关工具的使用，最终能够利用大数据思维和工具解决专业问题，提升学习效率。具体包括：掌握大数据相关基础理论知识，包括大数据特征、发展历程，行业应用，岗位需求邓；了解大数据平台的整个数据处理流程，掌握大数据采集、预处理、存储、分许、可视化的主流技术架构级常用工具的使用方法，例如爬虫、HDFS数据存储、Python数据挖掘分析和可视化；能够应用一些主流的大数据工具进行实践任务，如数据爬取、简单的数据分析、以及数据可视化展现等；能够利用数字思维解决专业问题，从数据中挖掘寻找未知信息，辅助专业实践创新。教学主要内容以二手房数据主线介绍大数据的采集、预处理、存储、分析挖掘、可视化等核心技术。课程内容包括大数据概念和特征、发展历程、行业应用、岗位技能、平台架构等理论知识以及Hadoop环境搭建、Python爬虫和预处理、大数据存储、Spark数据分析挖掘、Python数据可视化等全流程的实践实验。教学方式本课程的教学方式主要采用课堂讲授和实验操作，包括：课堂讲授、多媒体教学、实验操作、习题解析、课堂讨论等多种形式相结合，培养学生的自学能力、分析问题和解决问题的能力。教学方法：采用启发式教学和探究式教学，以学生为主体，鼓励学生在掌握书本知识的基础上针对特定需求动手实践，培养学生的自学能力。教学手段：充分利用电子教案、课件和网络教学平台等多种教学手段和资源。教学进度项目主要内容学时安排大数据与大数据时代大数据时代概念、产生原因、对社会产生的变革，大数据基本特征和处理流程4大数据与大数据时代大数据技术发展历程，大数据产业结构和行业应用，大数据岗位需求4大数据处理平台大数据处理平台产生的原因和特征，Hadoop大数据处理平台架构和两大基础组件HDFS、MapReduce4大数据处理平台大数据处理流程，大数据4种计算模式，5种主流的大数据处理平台架构4Hadoop开发环境搭建虚拟机基础知识和安装使用4Hadoop开发环境搭建Hadoop环境的搭建以及词频统计案例得运行4数据采集与预处理大数据采集的定义，常用的数据采集工具，爬虫的基础知识，Python爬虫环境搭建4数据采集与预处理网页基本结构，网站数据的爬取过程，Python爬虫采集网站上二手房租房数据并进行简单的预处理4数据计算与数据存储常见的大数据计算框架，NOSQL数据库基础知识、HBase数据库基础知识4数据计算与数据存储利用Spark对二手房数据进行简单处理并存储在MySQL4数据分析与可视化常见的大数据分析工具，数据挖掘的常见算法，常见的数据可视化工具4数据分析与可视化利用Python对二手房数据进行分析挖掘并可视化展示结果4合计48作业要求完成课堂布置的每章节课后习题。依照书中的步骤完成每章的实验项目。考核方式期末笔试+大作业成绩构成期末笔试成绩占50%，大作业成绩占50%《大数据技术导论》课程标准课程名称：大数据技术导论适用专业：大数据技术专业，软件技术专业，人工智能技术专业课程学分：2参考学时：54，其中，理论学时24，实践学时30课程类别：专业基础课1课程定位本课程是针对大数据技术与应用专业学生开设的第一门专业课，是专业入门导引课程。课程开设的目的是使学生对大数据领域及其知识技术概况有基本的了解，同时缓冲学生初入大学的专业学习，初步适应高职“行动导向”教学方法，养成“教师重在指导、学生自我能力发展”的专业学习模式。《大数据技术导论》为后续专业课程学习构建一个指导性的知识与技能框架，规划就业导向的学习路线。2课程目标2.1知识目标2.1.1了解大数据技术的历史进程及发展趋势2.1.2了解大数据领域的岗位情况、专业相关工作岗位的技术特点与质素要求2.1.3掌握大数据基础知识：大数据的概念和特点，大数据、人工智能、云计算、物联网技术的关联，大数据行业应用和发展前景等2.1.4了解大数据时代数据工程的相关知识：大数据时代数据特点和数据获取的多样性，数据工程工作流流程（从数据获取-数据存储-数据建模-数据处理），数据存储和数据仓库，数据可视化分析等2.1.5了解常用的大数据分析算法：如分类、回归、聚类等2.1.6大数据开发技术路线知识：了解大数据开发流程，了解Hadoop生态系统组件、Spark生态系统组件、Python数据分析可视化组件等开源大数据处理技术的概念和运用场景。了解常见的大数据开发编程语言、开发工具和前端可视化应用的相关技术2.2能力目标2.2.1大数据开发的工具使用能力：会安装和使用常用的大数据开发工具2.2.2大数据开发的基本编程应用能力：在老师引导入门后，通过案例任务，编程完成数据采集-数据清洗-数据存储-数据分析-数据可视化整个流程2.2.3专业学习概述与规划能力：能向别人介绍大数据行业的大致发展历程、行业特点、职业岗位、能力要求、主流技术等，有概况性专业谈资，能初步规划自己专业学习路线2.3素质目标（含职业素质、道德素质等）2.3.1初步形成计算机行业的职业道德与法律意识，树立正确的行业价值观2.3.2明确大数据专业的就业岗位目标，初步建立项目目标及行动导向的学习模式，培养大数据开发中的边做边钻研的学习能力3课程设计理念和思路《大数据技术导论》必须结合高职特点及专业学习方向,以“行动导向”的理念为指导，依据专业学习方向的技术路线，《大数据技术导论》应介绍大数据的职业领域特点及其技能要求，帮助学生树立就业导向的学习目标，在大学的开始阶段就引导学生对就业方向、岗位目标、技术路线的思考。在适用实用为原则，突现后续专业课程的基本知识与技能框架，为学生以后学习和掌握专业知识与技能提供必要的引导。体现“以学生为主体”的教育思想,注重学生自己的操作和体验,让学生学会主动获取知识(特别是从网络上获取知识)的能力。引导学生的形成正确有效的专业学习模式，适应行动导向的教学方法，习惯“用手思考”。大数据行业技术日新月异，必须不断追踪当前的行业流行软件技术，重点把握软件开发工具与开发方法变化，及时更新教学内容；尽量使用讨论式、案例式的先进教学模式，增加演示实例，增强学生的学习兴趣；应以大数据的经典案例为载体，提高学生的学习体验感，培养学生的能力本位意识与专业学习方法，通过一些真实的IT行业案例、故事，讲授知识，引导学生正确对待行业职业道德问题，树立使用计算机的过程中应有的道德与法律观念。4课程内容、教学要求与学时分配单元名称训练项目学习任务知识要求技能要求教学方法与手段建议学时分配初识大数据项目一大数据与大数据时代任务1-1认识大数据时代1.了解大数据时代定义2.了解大数据时代产生的原因3.了解大数据时代产生的变革1.能够讲述大数据时代概念2.能够讲述大数据时代产生原因3.能够讲述大数据时代产生的变革1.项目驱动法2.案例分析法3.多媒体教学4.微课0.5任务1-2掌握大数据基本特征和处理流程1.了解数据的定义和分类2.了解什么是大数据1.掌握大数据概念和特征2.掌握大数据处理流程1.项目驱动法2.案例分析法3.多媒体教学4.微课0.5任务1-3大数据技术发展历程1.了解大数据发展历程1.能够讲述大数据发展历程1.项目驱动法2.案例分析法3.多媒体教学4.微课1任务1-4大数据产业结构及行业应用1.了解大数据产业结构2.了解大数据技术在各行业领域应用案例1.掌握大数据、云计算、人工智能、物联网的关系1.项目驱动法2.案例分析法3.多媒体教学4.微课1任务1-5了解大数据岗位需求了解大数据岗位需求能够对自我的学习技术路线做规划，大致确定就业方向1.项目驱动法2.案例分析法3.多媒体教学4.微课1大数据处理平台项目二初识大数据处理平台任务2-1了解构建大数据处理平台的原因1.了解大数据时代的数据类型2.了解传统数据处理平台遇到的问题1.掌握大数据处理平台概念2.能够区分大数据处理平台和传统数据处理平台，并说出二者差别1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务2-2认识最早的大数据生态系统—Hadoop1.了解Hadoop的概念和发展历程2.了解Hadoop的设计思想和特点1.掌握Hadoop两大基础组件2.掌握Hadoop生态系统架构和组件的功能1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务2-3熟悉大数据处理平台架构1.了解五种主流大数据处理平台架构2.了解大数据处理平台架构案例1.掌握几种大数据计算模式2.掌握大数据处理平台基本架构及数据处理流程1.项目驱动法2.案例分析法3.多媒体教学4.微课4Hadoop环境搭建项目三Hadoop开发环境搭建任务3-1安装VMware虚拟机1.了解什么是虚拟机2.了解VMware安装流程1.能够在自己电脑上自主安装VMware软件1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务3-2在VMware上安装和配置Ubuntu系统1.了解什么是Ubuntu2.了解虚拟机常用的网络模式1.在自己电脑上安装Ubuntu系统2.对Ubuntu系统进行网络设置，确保能够上网1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务3-3在Ubuntu系统上安装配置Hadoop1.了解什么是SSH免密登录2.了解Hadoop安装步骤1.能够在自己电脑上安装配置Java环境2.能够在自己电脑上安装SSH以及免密码登录设置3.能够在自己电脑上安装配置Hadoop1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务3-4在Hadoop上运行wordcount程序对文件进行词频统计1.了解什么是词频统计2.了解Hadoop自带案例的使用方法1.能够在自己电脑上的Hadoop上运行wordcount程序对文件进行词频统计1.项目驱动法2.案例分析法3.多媒体教学4.微课2大数据采集项目四数据采集与预处理任务4-1初识数据采集1.了解传统数据采集和大数据采集差异2.了解大数据采集方式1.掌握常见的大数据采集工具2.能够讲述数据预处理的内容和作用1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务4-2认识互联网数据采集1.了解爬虫的概念2.了解爬虫编程语言及爬虫分类1.能够说出有几种爬虫，分别有什么区别1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务4-3Windows下Python爬虫开发环境搭建1.了解Windows下Python3.x的安装和环境变量配置2.了解requests和BeautifulSoup包安装3.了解PyCharm安装和使用1.在自己电脑Windows下安装Python3.x并配置环境变量2.在自己电脑安装requests和BeautifulSoup包3.安装并使用PyCharm编写简单的爬虫程序1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务4-4Python爬虫应用程序的编写1.了解爬虫爬取数据过程2.了解网页的基本结构3.了解网站数据的解析过程1.能够分析网页基本结构找出爬取内容所在2.能够编写完整的爬虫程序爬取数据并进行预处理1.项目驱动法2.案例分析法3.多媒体教学4.微课6大数据计算和存储项目五数据计算与数据存储任务5-1初识大数据计算框架1.了解大数据计算和传统数据计算区别2.常见的大数据计算框架简介1.能够列举介绍常见的大数据计算框架1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务5-2初识大数据存储1.了解分布式文件系统概念2.了解NoSQL数据库3.了解HBase概念1.能够列举NoSQL数据库的四种类型2.能够说出HBase数据库的基本架构1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务5-3搭建Spark和HBase开发环境1.了解HBase安装流程2.了解Spark的安装流程1.能够在自己电脑上安装HBase并配置2.能够在自己电脑上安装Spark并配置1.项目驱动法2.案例分析法3.多媒体教学4.微课4任务5-4编写Spark应用程序并提交集群运1.了解ScalaIDEForEclipse工具的安装和基本使用2.了解Spark应用程序打包流程3.了解Spark应用程序jar包提交集群运行流程1.能够在自己电脑上安装ScalaIDEForEclipse工具2.能够利用ScalaIDEForEclipse工具编写Spark应用程序存储数据进入HBase并打包3.能够将打包的程序提交Spark运行1.项目驱动法2.案例分析法3.多媒体教学4.微课4大数据分析可视化项目六数据分析与可视化任务6-1初识大数据分析1.了解数据分析概念2.了解Python大数据分析环境搭建步骤3常见的大数据分析方法1.能够在自己电脑上搭建Python大数据分析环境2.掌握常见的大数据分析方法的编程应用（分类、回归、聚类）1.项目驱动法2.案例分析法3.多媒体教学4.微课4任务6-2初识大数据可视化1.了解大数据可视化概念2.了解常用的数据可视化工具1.能够简单使用一种数据可视化工具1.项目驱动法2.案例分析法3.多媒体教学4.微课2任务6-3房屋数据分析可视化案例编程1.了解PySpark配置流程和基本使用1.能够利用PySpark编写Spark应用程序进行可视化展现并提交集群运行1.项目驱动法2.案例分析法3.多媒体教学4.微课45教学实施建议5.1教材选用建议5.1.1主选教材：《大数据技术导论》，西安电子科技大学出版社，张寺宁主编，2021年3月第1版。5.1.2备选教材：《人工智能与大数据技术导论》，清华大学出版社，杨正洪、郭良越、刘玮主编，2018年2月第1版。5.1.3参考教材：《大数据导论思维、技术与应用》，人民邮电出版社，武志学主编，2019年4月第1版。5.2教学场地要求多媒体教室，安装有Windowsxp/200x/vista/7操作系统、office办公软件、Vmware、Ubuntu虚拟机、idea、JDK以上版本的开发工具，课室以小组方式布置,便于小组讨论及教师巡视指导。5.3教学方法与手段5.3.1教学方法（1）变教师主动讲授为组织指导咨询。教师是多重角色：教学组织管理者、职业知识传播者、职业行动教练员、解答问题咨询师、职业引路人；（2）变学生被动听讲为学生主动学习，教师不再过多讲授，而主要是回答