大数据与人工智能教学大纲

《大数据与人工智能》课程教学大纲课程代码：课程名称：大数据与人工智能/BigDataandArtificialIntelligence开课学期：学分/学时：理论2/32+实验1/16课程类型：必修适用专业/开课对象：先修课程：计算机导论、数据结构、面向对象程序设计、数据库原理等开课单位：团队负责人： 责任教授：执笔人： 核准院长：一、课程的性质、目的与任务《大数据与人工智能》是计算机/软件工程专业智能前沿方向的一门基础课程，在软件工程学科人才培养体系中占有重要的地位。随着近年来数据科学的发展，人们记录信息的方式和量级不断地发生改变，数据的数量逐渐增多，种类逐渐复杂化，大数据技术得到了广泛的应用。同时，在大数据时代，人工智能相关技术也得到了越来越多的关注，市场对于人工智能产品的呼声也越来越高。人工智能作为大数据应用的重要出口，在与大数据应用相结合的使用过程中将会得到更广泛的应用。《大数据与人工智能》已成为高等学校计算机软件教学体系中的一门重要课程。本课程教材理论和实践相结合，循序渐进地介绍了大数据与人工智能方面的知识，全面、系统地介绍了大数据与人工智能的算法概念和适用范畴，并通过11个具体案例分别阐述了人工智能和大数据技术在生产生活中的应用。全书共20章，分别介绍大数据与人工智能的发展历史、数据工程、机器学习算法知识、深度学习与神经网络知识、大数据存储技术、HadoopMapReduce解析、Spark解析、PyTorch解析等知识，书籍的后半部分包括了大数据技术和机器学习技术相结合的一些实例。通过本课程的学习，要求学生能掌握大数据技术的基本概念、基本原理、使用场景；掌握人工智能技术的基本概念、基本原理、使用场景；学生应能掌握大数据与人工智能相结合的应用领域，以及结合大数据与人工智能有效地解决实际问题，为学生参加大型软件开发项目打下坚实的理论基础。本课程注重培养学生理论应用于实践的能力，课堂上教师向学生讲述大数据与人工智能中的相关原理和概念，并通过课程设计，加深学生对大数据与人工智能技术使用方法的理解，让学生能切实体会到使用大数据与人工智能技术在实际软件项目开发过程中的便捷高效。本课程对提高学生的数据库使用能力和软件开发能力有重要的现实意义。二、教学内容及教学基本要求1.绪论（1学时）通过本章学习，了解大数据与人工智能的概念和发展；了解大数据与人工智能的结合趋势。2.数据工程（1学时）通过本章学习，掌握数据工程的一般流程；了解数据获取、数据存储和数据预处理技术。3.机器学习算法（2学时）通过本章学习，了解机器学习的常用算法；掌握线性回归算法；掌握逻辑回归算法；掌握线性判别分析；掌握分类与回归树分析；掌握朴素贝叶斯；深刻理解K最近邻；深刻理解学习矢量量化；深刻理解支持向量机；深刻理解Bagging；深刻理解随机森林；深刻理解Boosting；深刻理解AdaBoost。4.深度学习（3学时）通过本章学习，了解神经网络的基础知识；掌握神经网络的训练过程；掌握向量化的基本实施步骤；掌握梯度下降和反向传播的基本实施步骤；了解神经网络的优化和改进方式；深刻理解卷积神经网络的结构；了解深度学习的优势；了解深度学习基本框架。5.大数据存储（3学时）通过本章的学习，了解大数据存储技术的发展；深刻理解数据分片与路由；掌握数据复制的基本实施过程；深刻理解数据一致性；掌握大数据技术的重要数据结构和算法；了解分布式文件系统和分布式数据库NoSQL；掌握HBase数据库的搭建与使用步骤。6.HadoopMapReduce解析（3学时）通过本章的学习，了解HadoopMapReduce架构；掌握MapReduce的工作机制；了解MapReduce分布式计算框架在实际中的应用方式。7.Spark解析（2学时）通过本章的学习，了解SparkRDD；深刻理解Spark和MapReduce的区别；掌握DAG工作图；了解Partition；了解Lineage容错方法；了解Spark内存管理方式；了解Spark数据持久化方式。掌握Spark读取数据的基本实施过程；了解Spark在实际中的应用方式。8.分布式数据挖掘算法（2学时）通过本章的学习，深刻K-Means聚类算法的并行化思路；掌握K-Means聚类算法的分布式实现；深刻理解逻辑回归的并行化思路；掌握逻辑回归的分布式实现；了解朴素贝叶斯分类算法的设计思路和实现方案。9.PyTorch解析（3学时）通过本章的学习，了解PyTorch的基础知识；掌握Tensor相关的PyTorch深度学习基本操作；掌握PyTorch框架的使用方法。10.案例：Hadoop平台的搭建和数据分析（2学时）通过本章学习，掌握虚拟机网络的搭建和配置；掌握Hadoop平台大数据环境的安装；进一步掌握Hadoop平台在案例中的应用。11.案例：基于Spark的搜索引擎日志用户行为分析（1学时）通过本章学习，理解Spark在实际场景中的应用方式；进一步掌握Spark的基本操作。12.案例：使用Spark实现数据统计分析及性能优化（1学时）通过本章学习，进一步理解Spark在实际场景中的应用方式；进一步掌握Spark的基本操作。13.案例：使用Spark和HBase实现商品批量存储（1学时）通过本章学习，理解HBase数据库在实际场景中的应用方式；进一步掌握HBase数据库的基本操作。14.案例：使用Keras进行人脸关键点检测（1学时）通过本章学习，理解深度学习在实际场景中的应用方式；进一步掌握卷积神经网络搭建与训练的基本操作。15.案例：使用PyTorch实现基于词级别的情感分析（1学时）通过本章学习，理解PyTorch在实际应用中的使用方式；进一步掌握PyTorch的基本操作与功能。16.案例：短语视觉定位（1学时）通过本章学习，理解深度学习在短语视觉定位领域中的应用方式；进一步掌握卷积神经网络搭建与训练的基本操作。17.案例：使用PyTorch进行视觉问答（1学时）通过本章学习，理解PyTorch在计算机视觉领域的应用方式；进一步理解深度学习的应用；进一步掌握PyTorch的基本操作与功能。18.案例：使用Hadoop和MapReduce分布式计算语料中单词出现的频数（1学时）通过本章学习，理解Hadoop和MapReduce分布式计算在实际场景中的应用方式；进一步大数据平台的相关基本操作。19.案例：使用多种机器学习算法实现基于用户行为数据的用户分类器（1学时）通过本章学习，理解大数据与机器学习的结合方式；进一步掌握分布式数据仓库的使用操作。20.案例：使用PyTorch实现苹果叶病病害分类（1学时）通过本章学习，理解大数据与深度学习在实际场景中的应用方式；进一步熟悉机器学习的基本操作和功能。21.实验（16学时）教学说明及教学基本要求见《大数据与人工智能》实验教学大纲。三、教学方法本课程教学方法以教师为主导的启发式讲授教学法为主，讨论（提问）式教学为辅，结合课外学习的教学方法。实验以学生动手实验为主，教师的启发式讲授教学法为辅，并结合讨论（提问）式教学，以及结合课外学习的教学方法。1．本课程概念较多，因此教学形式以讲授方式为主。本课程拟采用多媒体PPT的教学方法，增加课堂信息，浅显通俗地对概念、定义和原理进行解释，增加教学的直观性，教学过程中注意各个知识点的关联性，以使学生更好地理解课程内容。2．对课程中关键性概念、设计思想方面的问题可辅以课堂讨论的形式。3．为加强和落实动手能力的培养，每章课后应安排作业，帮助学生学习和应用。四、课内外教学环节及基本要求本课程共48个学时，其中理论32个学时，讲授16周（每周2学时）；实验16个学时，讲授8周（每周2学时）。课外学习要求：1．做好课前预习，预习时以教材为主，了解相关的概念、定义、原理。预习中认真思考，以便带着问题主动地听课。2．课后要复习，有余力的学生复习时还应阅读参考资料，认真整理课堂听课笔记。3．要求学生课外自主学习，学生课外阅读的参考资料以本大纲所列参考资料为主。五、考核内容及方式本课程成绩由平时成绩和期末考核成绩组合而成，课程成绩以百分制计算，分配比例如下：1．平时成绩占60%，主要考查作业的完成程度，理论课和实验课的出勤率，实验课的考试结果。其中实验占20%，课程设计占35%，出勤率占5%。2．期末成绩占40%，采用考试的考核方式。考试采用闭卷形式，题型为选择题、正确/错误题、填空题、简答题，以及应用题。六、持续改进本课程根据学生作业、课堂讨论、平时考核情况和学生、教学督导等反馈，及时对教学中不足之处进行改进，并在下一轮课程教学中改进。七、建议教材及参考资料建议教材：[1]吕云翔，钟巧灵，郭婉茹，等.大数据与人工智能[M].北京：清华大学出版社，2022

《大数据与人工智能》课程实验教学大纲教学内容及教学基本要求1.Hadoop平台的搭建(2学时)掌握VirtualBox的安装及配置；掌握Ubuntu虚拟机的安装及配置；掌握Ubuntu系统内网络配置的修改方式；掌握应用Java安装Hadoop大数据平台的基本流程。2.MapReduce数据分析（2学时）深刻理解MapReduce工作机制；掌握WordCount和WordMean的应用案例中MapReduce的处理过程。3.Spark的部署和使用(2学时)了解SparkRDD的使用；了解Spark的工作机制；掌握Spark读取和处理数据的基本流程。4.大数据存储的使用(2学时)了解分布式数据库NoSQL的基础知识；掌握数据分片的概念；掌握HBase分布式数据库和Hive分布式文件存储系统的搭建和使用。5.数据工程技术的使用(2学时)了解数据获取的来源；了解分布式数据挖掘的实现方案；了解数据存储的一