大数据平台技术实例教程-教学大纲

《大数据平台技术实例教程》教学大纲课程信息课程名称：大数据平台技术实例教程课程类别：素质选修课/专业基础课课程性质：选修/必修计划学时：64计划学分：4先修课程：无选用教材：《大数据平台技术实例教程》，郑啸、李乔主编，2022年，电子工业出版社教材。适用专业：本课程可作为高等学校数据科学与大数据技术、计算机科学与技术、人工智能等理工类专业大数据平台技术的课程，也可供广大计算机爱好者及软件开发人员参考。课程负责人：二、课程简介该课程通过大量实例介绍大数据平台技术，分4篇：大数据存储篇包括第1~3章，内容包括大数据技术概述、数据采集和大数据、大数据框架的安装和配置;大数据管理篇包括第4~7章，内容包括HDFS、Hadoop分布式计算模型、分布式协调服务ZooKeeper、Hadoop的集群资源管理系统YARN;大数据分析篇包括第8~10章，内容包括数据库MySQL和数据仓库Hive、NoSQL数据库HBase、基于内存的分布式计算框架Spark;大数据应用篇包括第11、12章，内容包括数据可视化、大数据应用综合案例。三、课程教学要求序号专业毕业要求课程教学要求关联程度1工程知识在大数据存储篇中，第1章介绍大数据的基本概念和应用领域，阐述大数据、云计算和物联网的关系;第2章介绍数据采集、预处理过程、Python语言及开发环境;第3章介绍大数据处理架构Hadoop,并补充介绍Linux的基本使用方法。在大数据管理篇中，第4章介绍HDFS;第5章介绍Hadoop完全分布式的搭建过程和MapReduce的使用;第6章介绍分布式协调服务ZooKeeper;第7章介绍Hadoop的集群资源管理系统YARN。在大数据分析篇中,第8章介绍传统数据库MySQL和数据仓库Hive;第9章介绍NoSQL数据库HBase;第10章介绍基于内存的分布式计算框架Spark。在大数据应用篇中,第11章介绍基于Python的可视化技术;第12章综合之前介绍的所有技术，完成一个综合案例。L2问题分析近些年，大数据技术迅猛发展，改变了人们的工作、生产、生活方式。国内外学术界和产业界对此都高度重视，希望新技术带来应用场景的改变与生产效率的提高。Hadoop、ZooKeeper、HBase、Hive、Spark等新技术日新月异，大量的相关从业者希望跟上新技术的发展。然而，H3设计/开发解决方案本课程尽量简化学生学习难度，以Python和Java为主。以程序案例为主导，在案例深化中逐步引出知识点，形成清晰的主线，引导学生自主思考并逐步掌握大数据各层次框架的作用和使用方法，每章结束后还有对应的实践操作，让学生在操作中理解和掌握大数据平台技术，避免强行灌输知识点，从而拓宽读者的计算思维。H4研究L5使用现代工具L6工程与社会学生能够意识到大数据技术发展的重要性，不仅要有良好的思想道德素质、科学文化素质、专业技能和健康的身体，而且要有良好的心理素质，勇于承担责任，能够承受失败与挫折等。L7环境和可持续发展L8职业规范L9个人和团队1.学会个人发展和团队合作，提高个人和团队的综合素质。2.学会与他人合作和沟通，建立良好的人际关系和团队合作氛围。H10沟通1.学会进行有效的沟通和表达，与客户、同事和上级保持良好的沟通和协作。2.学会进行跨文化沟通和合作，提高国际化视野和跨文化交流能力。M11项目管理L12终身学习1.学会进行自我学习和自我提升，不断提高自身的专业水平和创新能力。2.学会进行终身学习和职业发展规划，不断拓展职业领域和发展空间。H注：“课程教学要求”栏中内容为针对该课程适用专业的专业毕业要求与相关教学要求的具体描述。“关联程度”栏中字母表示二者关联程度。关联程度按高关联、中关联、低关联三档分别表示为“H”“M”或“L”。“课程教学要求”及“关联程度”中的空白栏表示该课程与所对应的专业毕业要求条目不相关。四、课程教学内容章节名称主要内容重难点关键词学时类型1大数据技术概述大数据源起和应用大数据技术框架大数据就业岗位大数据的特点大数据的深远影响大数据的意义和发展目标大数据与云计算、物联网、人工智能的关系了解大数据的特点及其在各行业的应用；了解大数据与云计算、物联网、人工智能的关系；了解大数据的技术框架、特点；了解大数据的就业岗位；了解大数据的深远影响。3理论+实操2数据采集和大数据数据采集和ETL网络爬虫Python常用开发工具简介Python语言简介基于Python的网络爬虫应用实例了解大数据采集和ETL概念；理解网络爬虫原理；掌握Python语言；熟悉Python集成开发环境；了解与大数据技术有关的Python库。5理论+实操3大数据框架的安装和配置大数据框架配置环境Linux操作系统介绍Linux终端常见命令虚拟机的使用远程登录工具配置Hadoop伪分布式安装和使用了解Linux操作系统；掌握虚拟机的使用；掌握Linux终端常见命令；掌握Hadoop伪分布式安装过程；掌握远程登录工具。7理论+实操4HDFS引言HDFS基础知识HDFS的常用Shell命令Hadoop中HDFS的Web管理界面基于JavaAPI的HDFS操作了解HDFS的运行模式；掌握HDFS的特点和优缺点；理解HDFS的读写文件流程；掌握基于Shell的HDFS操作以及基于JavaAPI的HDFS操作。4理论+实操5Hadoop分布式计算模型完全分布式环境配置完全分布式配置步骤MapReduce计算模型Mapper-Reducer实例了解Hadoop完全分布式各节点的部署步骤；了解Hadoop分布式和伪分布式的区别；理解MapReduce编程模型原理；掌握如何使用Eclipse编写MapReduce实例过程。3理论+实操6分布式协调服务ZooKeeper高可靠性大数据框架配置ZooKeeper简介ZooKeeper的常用命令ZooKeeper的安装与运行掌握ZooKeeper的基本概念；掌握ZooKeeper的安装与运行；理解ZooKeeper和其他大数据框架的关系。2理论+实操7Hadoop的集群资源管理系统YARNHadoop资源管理配置YARN简介YARN的工作流程YARN的安装与运行理解YARN的基本使用和基本架构；掌握YARN的环境搭建；掌握YARN的工作流程。2理论+实操8数据库MySQL和数据仓库Hive基于Hive的大数据分析配置Hive的意义和应用Hive和数据库的异同Hive的架构模式及其执行MySQL的安装和使用Hive的安装Hive表的操作典型内置函数与自定义函数理解MySQL数据库的配置和使用；掌握Hive的应用和运行架构及执行原理；理解Hive的安装过程；了解内部表、外部表及区别；掌握Hive的HQL分析语句以及数据库和数据仓库的异同。8理论+实操9NoSQL数据库HBase大数据框架的数据库存储配置NoSQL概念和分类HBase数据库HBase的安装HBase的Shell操作基于JavaAPI访问HBase实例HBase综合实例掌握NoSQL数据库的分类与应用；了解关系型数据库和非关系型数据库的区别；掌握HBase数据模型及执行原理，HBase体系架构的组件；理解HBase的Shell操作，以及通过JavaAPI访问HBase的实例。7理论+实操10基于内存的分布式计算框架Spark基于Spark的大数据分析框架配置Spark基础知识Spark的安装和使用Spark的常用操作SparkSQL的应用Spark综合应用实例Spark的机器学习掌握Spark和Hadoop框架的区别及特点；理解Spark对RDD和DataFrame的操作；了解SparkSQL的使用方法；了解SparkMLlib库中机器学习的使用方法；掌握机器学习中编程的主要步骤和过程；了解PySpark开发环境。10理论+实操11数据可视化可视化分析展示配置数据可视化概述数据可视化绘图综合实例一鸢尾花数据集的可视化分析了解如何用可视化工具或语言绘制数据分析结果。5理论+实操12大数据应用综合案例医疗大数据应用框架配置案例概述准备数据和开发环境配置数据探索性分析数据迁移数据预处理数据建模与训练模型评估了解大数据案例开发的过程；理解各种大数据技术框架的关系；掌握基于PySpark接口的大数据搭建环境；了解物联网、大数据、云计算、人工智能的关系；掌握性能评价指标对建模的参考依据以及大数据应用对未来社会发展趋势的影响。8理论+实操五、考核要求及成绩评定序号成绩类别考核方式考核要求权重（%）备注1期末成绩期末考试考试50百分制，60分为及格2平时成绩课后作业12次40优、良、中、及格、不及格3平时表现出勤情况10两次未参加课程则无法获得学分注：此表中内容为该课程的全部考核方式及其相关信息。六、学生学习建议学习方法建议1.通过开展课堂讨论、实践活动，增强的团队交流能力，学会如何与他人合作、沟通、协调等等。2.通过思考，加深自己的兴趣，巩固知识点。3.进行练习和实践，提高自己的技能和应用能力，加深对知识的理解和记忆。学生课外阅读参考资料《大数据平台技术实例教程》，郑啸、李乔主编，2022年，电子工业出版社教材。七、课程改革与建设本课