云计算与大数据技术（微课版）-教学大纲

《云计算与大数据技术》课程教学大纲一、课程基本信息（一）课程中文名称：云计算与大数据技术代码：（二）（二）课程英文名称：CloudComputingandBigDataScience（三）课程性质：专业核心课程（四）课程学分：3学分（理论2学分实验1学分）（五）适用专业：数据科学与大数据技术、计算机科学与技术、人工智能、大数据与应用管理、应用与数理统计等（六）开课单位：****学院二、课程教学目标（一）课程定位《云计算与大数据技术》课程是学习云计算和大数据技术的基础课程，是计算机科学与技术、数据科学与大数据技术、人工智能、大数据与应用管理、应用与数理统计等专业的一门专业核心课程。该课程着重讲述云计算领域相关的前沿与趋势，引导学生进行初级实践和了解相关技术，培养学生运用云计算架构、虚拟化技术、云平台服务器的配置与管理、大数据技术架构、大数据技术以及云计算与大数据技术的应用等方法和能力。在整个课程体系中起着承前启后的重要作用。该课程由理论教学和实践教学两个部分组成。其先修课程包括高级语言程序设计、数据结构、数据科学导论、操作系统、数据库原理、计算机网络、大数据技术原理及应用等课程，后续课程包括设计模式、数据可视化技术、机器学习、毕业设计等。（-）课程目标结合新工科应用型人才培养要求，以价值塑造、能力培养、知识传授“三位一体”的人才培养目标为导向，针对基本理论抽象、工程实践复杂的问题，融入课程思政元素，通过翻转课堂和项目/案例化教学使学生达到以下目标：素质目标：培养学生创新应用意识、大国工匠精神、鲁班精神，具备民族自信心、自豪感，具有一定的法制精神和科学素养。知识目标：经过该课程的学习，使学生理解云计算基本概念，了解云计算与大数据、物联网、人工智能的关系，了解当前云计算和大数据的岗位及需求、学习路线；使学生认识目前主流的云计算系统，理解阿里、腾讯、华为、谷歌、微软等虚拟化系统的体系架构和核心技术，尤其是其底层文件系统，分布式计算框-1-架，分布式数据库，以及存储、监控、分析等工具。熟练掌握云计算虚拟化平台和大数据Hadoop平台的部署过程，使学生熟练搭建云计算虚拟化服务器，掌握云平台和大数据平台的创建、管理等操作。掌握OpcnStack云平台的基本概念及其基础服务部署，使学生理解OpenSlack云平台三个核心服务认证服务KeySlone.镜像服务Glance、计算服务Nova的运行机制，掌握大数据平台的搭建，并了解其简单应用。了解云计算和大数据数据中心的特征、网络部署模式、节能技术、容灾备份，使学生理解云计算数据中心的实际应用场景。了解中国国产云计算和大数据技术，包括云存储技术、大数据库技术、云视频监控技术以及云服务，着重介绍阿里、华为、腾讯等企业的相关技术，使学生了解现实生活中的应用场景。最后使学生了解现今主流的云计算和大数据技术解决方案、主流开源云计算和大数据系统，明确云计算和大数据未来的发展趋势。能力目标：本课程围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，着重让学生通过云计算和大数据技术的基本原理、架构、基本方法、技术工具和相关应用学习，帮助学生构建完整的云计算和大数据技术知识体系，使学生了解云计算和大数据应用的整个生命周期，能够熟练使用VMware、OpcnStack、Hadoop等主流云计算平台及其技术工具完成基本的云计算和大数据应用闭环操作，达到知行合一、以用促学的目的。三、课程教学内容1.理论教学第1章云计算和大数据基础教学目标：了解大数据与云计算的关系，了解云计算和大数据技术的概念与特点、发展现状及优势。教学内容：云计算概述，包括云计算发展历程、云计算基本概念、云计算基本特征、云计算关键技术；大数据技术概述，包括大数据发展历程、大数据基本概念、大数据基本特征和大数据关键技术；云计算、大数据、物联网、5G、人工智能以及区块链之间的关系。可以结合阿里云的发展介绍王坚院士的事迹，激发学生坚忍不拔的创新理念和精神。教学方法：讲授法，演示法，讨论法等。学习要求：1）课前掌握云计算、大数据的基本概念与基本特征；2）了解现实生活中的云计算和大数据。重点难点：云计算、大数据的概念、基本特征和关键技术。思考题（案例）：为什么现今社会需要云计算和大数据技术？-2-作业：1）云计算的概念、基本特征和关键技术？2）大数据的概念、基本特征和关键技术？3）云大物移智区块链之间关系？第2章云计算架构教学目标：理解云计算架构的基本概念，掌握云架构设计与部署方法和云计算架构优化等。教学内容：云计算架构，包括企业架构和云计算架构，掌握云计算架构设计原则；云计算架构设计与部署，包括通用架构设计与部署、高可用性架构设计与部署、高性能架构设计与部署、容灾架构设计与部署、云安全架构设计与部署、云桌面架构设计与部署；云计算架构优化，包括云计算架构优化概念、云计算架构优化案例；最后讲了几种典型的云计算架构，包括谷歌云计算架构、阿里云计算架构、腾讯云计算架构、华为云计算架构。通过学习云计算架构典型案例，组织讨论“国内云计算技术在国际处于什么水平？如何在云计算技术发展潮流中脱颖而出，立于不败之地？”教学方法：讲授法，演示法，讨论法等。学习要求：了解云计算架构的基本概念，掌握云架构设计与部署和云计算架构优化等。重点难点：云架构设计与部署思考题（案例）：企业架构和云计算架构的区别？作业：1）云计算架构的设计原则。2）云计算高可用性架构设计基本步骤。3）云计算高性能架构设计的步骤。4）两地三中心容灾架构设计。5）常见的不合理的云计算架构设计。第3章虚拟化技术教学目标：了解虚拟化技术的基本概念、主要特性以及常见的架构类型，掌握虚拟化的关键技术，了解几种典型的虚拟化软件。教学内容：虚拟化概述，包括虚拟化发展历程、虚拟化的几个重要概念、虚拟化的主要特征、虚拟化常见的架构类型；虚拟化的关键技术，包括CPU虚拟化、存储虚拟化、网络虚拟化、服务器虚拟化、桌面虚拟化、应用程序虚拟化;几种典型的虚拟化软件，KVM、Xen、VMwareESXi、MicrosoftHyper-Vo教学方法：讲授法，演示法，讨论法等。学习要求：1）了解虚拟化技术的基本概念、主要特性以及常见的架构类型。2）掌握虚拟化的关键技术。重点难点：虚拟化的关键技术思考题（案例）：虚拟化技术在云计算中的作用？作业：1）虚拟化技术的原理？2）Docker与虚拟机的区别？3）半虚拟化网卡和完全虚拟化网卡的区别？第4章云计算技术教学目标：了解云计算的分布式存储技术、云计算安全技术、云操作系统，云计算运维等相关知识。理解数据中心网络拓扑、软件定义网络基础架构和OpenDaylight管理云网络基本架构。熟悉常见的分布式存储技术以及各自的特点，常用资源调度策略及算法解决云计算资源调度。教学内容：云计算技术概述，包括云计算技术、云计算技术发展历程；分布式存储技术，包括GFS、Swift、Ceph、Lustre；云计算网络，包括数据中心网络、软件定义网络、租户网络管理；云计算完全，包括云安全风险、云计算安全技术；云操作系统，包括基本概念、管理平台、资源调度、实例；云开发，包括云开发和传统开发的区别、一站式后端Serverless服务和应用场景；云计算运维。教学方法：讲授法，演示法，讨论法等。学习要求：在腾讯云云计算平台官网了解和申请进行云开发实践。重点难点：分布式云存储、软件定义网络、云计算安全等思考题（案例）：软件定义网络和传统网络、云开发和传统开发的区别？作业：1）分布式文件存储系统GFS的主要架构？SDN的基本概念？3）云计算的安全技术框架包含哪些内容？4）云时代运维面临的挑战有哪些？第5章大数据技术架构教学目标：了解大数据技术参考模型；理解Lambda、K叩pa到I/OTA架构；熟悉Hadoop>Spark和Flink的基本概念与组成结构；掌握大数据技术架构框架。教学内容：大数据技术架构概述，包括大数据技术参考模型、大数据技术处理平台；大数据技术架构设计，包括Lambda架构、Kappa架构、IOTA架构；Hadoop生态架构，包括基本概念、生态系统、架构特点及优缺点；Spark生态架构，包括Spark基本概念、生态系统、基本流程使用场景：Flink生态架构，包括基本概念、架构体系、架构特性、基本组件、API、扩展库、编程模型、执行过程和应用场景。-4-教学方法：讲授法，演示法，讨论法等。学习要求：1）了解大数据基本架构。2）掌握Hadoop架构、Spark架构和Flink架构。重点难点：Hadoop架构、Spark架构和Flink架构。思考题（案例）：几种架构之间的区别和联系？作业：1）大数据技术参考模型？2）述Lambda>Kappa和IOTA的区别。区别？Spark的基本流程？Flink的作业执行过程第6章大数据技术教学目标：了解和理解大数据存储技术和大数据计算技术；熟练掌握大数据采集及预处理、大数据存储技术、大数据计算技术和数据挖掘与可视化分析。教学内容：大数据处理过程、教学方法：讲授法，演示法，讨论法等。学习要求：掌握从大数据采集与预处理到大数据可视化整个流程及需要的相应技术。重点难点：大数据采集及预处理、大数据存储技术、大数据计算技术。思考题（案例）：总结大数据分析的主要流程？作业：1）HDFS中NameNode和DataNode的作用。2）大数据有几种计算类型，分别解决什么问题。Hive与关系数据库的区别。第7章云计算与大数据应用教学目标：了解云计算与大数据在各行各业的应用，熟悉云计算与大数据的应用架构,能够利用云计算与大数据的技术设计和规划业务应用。教学内容：云计算与大数据在数字政府中的应用，包括城市智能运行中心、社会治理、互联网+监管；云计算与大数据在工业领域中的应用，包括工业互联网、生产过程优化、工业数字挛生；云计算与大数据在医疗健康中的应用，包括数字化医院、医药云、基因测序；云计算与大数据在教育行业中的应用，智慧校园、科研云、智慧教学；云计算与大数据在金融领域中的应用，包括互联网银行、证券智能营销、保险。教学方法：讲授法，演示法，讨论法等。学习要求：熟悉云计算与大数据的应用架构，能够利用云计算与大数据的技术设计和规划业务应用。-5-重点难点：云计算与大数据的应用架构。思考题（案例）：如何利用公有云和私有云设计你所在学校的教学实验云计算和大数据平台？作业：1）查找资料并举例说明云计算与大数据在新零售行业中的应用。2）查找资料并举例说明云计算与大数据在能源领域中的应用。3）查找资料并举例说明云计算与大数据在交通运输行业中的应用。4）查找资料并举例说明云计算与大数据在餐饮行业中的应用。第8章：综合实践：搭建云平台并进行大数据处理分析教学目标：了解云计算、大数据平台以及大数据处理的整个流程，熟悉云计算和大数据技术，掌握云计算平台搭建、大数据平台搭建以及大数据处理过程。教学内容：案例介绍、搭建OpenSlack云计算平台、搭建大数据平台、大数据采集与预处理、大数据分析、大数据可视化。教学方法：讲授法，演示法，讨论法等。学习要求：OpenStack云计算平台、搭建大数据分析平台并进行数据采集与预处理以及可视化展示。重点难点：OpenStack云计算平台、搭建大数据分析平台并进行数据采集与预处理以及可视化展示。作业：搭建云计算平台、大数据分析平台并进行可视化展示。2.实践教学实践一：利用腾讯云部署Web应用实践任务：通过云平台应用实践体验，理解云计算定义与特点。实践场所：计算机实验室实践内容：利用腾讯云部署Web应用。教学方法：演示法，实验教学法，任务驱动法等。学习要求：申请腾讯云计算平台的相关免费账号，体验相关试用服务，明确其所属的服务类型。重点难点：腾讯云部署说明：培养学生拓宽知识面的习惯，了解更多云计算平台及产品。实践二：轻量级虚拟化一一Docker容器实战实践任务：安装配置Docker容器。实践场所：计算机实验室实践内容：安装和配置VMwareWorkstation,安装配置Linux操作系统，安装并且使用Docker容器。-6-教学方法：演示法，实验教学法，任务驱动法等。学习要求：熟悉Linux基本网络配置命令，掌握Docker容器的安装与使用方法。重点难点：Docker容器的安装配置。说明：本次实验主要是在搭建VMware环境下安装部署Docker容器，并进行管理。实践三：使用OpenStack搭建云计算平台实践任务：使用AllinOne安装OpenStack。实践场所：计算机实验室实践内容：使用AHinOne安装OpenStackoo教学方法：演示法，实验教学法，任务驱动法，小组讨论等。学习要求：掌握使用AllinOne安装OpenStack环境配置,掌握AllinOne安装OpenStack方法并创建实例。重点难点：使用AllinOne安装OpenStack。实践四：Hadoop安装与配置实践任务：Hadoop基础环境配置、Hadoop配置、格式化文件系统、启动和验证Hadoop>HadoopWeb管理工具实践场所：计算机实验室实践内容：安装和配置Hadoop系统。教学方法：演示法，实验教学法，任务驱动法等。学习要求：掌握Hadoop系统的安装配置方法。重点难点：Hadoop系统的安装配置。实践五：某招聘网站信息抓取可视化分析实践任务：爬取数据、整理数据、可视化分析。实践场所：计算机实验室实践内容：在VMware环境下创建CentOS7虚拟机，进行必要的网络配置，安装并且启动NTP服务。教学方法：演示法，实验教学法，任务驱动法，小组讨论等。学习要求：爬取数据、整理数据、可视化分析数据。重点难点：爬取数据、整理数据、可视化分析数据。实践六：综合性实验：云计算平台搭建和大数据分析实践任务：搭建云计算平台和大数据平台、大数据采集与预处理、大数据分析及可视化。-7-实践场所：计算机实验室实践内容：搭建云计算平台和大数据平台、大数据采集与预处理、大数据分析及可视化。教学方法：演示法，实验教学法，任务驱动法等。学习要求：掌握keystone服务的概念与原理，掌握其安装方法并验证成功。重点难点：利用云平台搭建大数据平台，并进行大数据分析和可视化。四、教学内容学时分配课程教学学时分配表J'J教学环节敖赢J■——课程内容理论（学时）实验/上机（学时）小计（学时）第一章云计算和大数关法础202第二章云计算架构426第三章虚拟化技术426第四章云计笄技术628第五章大数据技术架构426第六章大数据技术6410第七章云计算与大数据应用202第八章综合实践：搭建云平台并进行大数据处理分析448合计321648五、教学参考资料教材:于长青刘宝宝张善文徐鲁辉.《云计算与大数据技术》[M].北京:人民邮电出版社,2023参考资