《深度学习实战》课程标准(教学大纲)

PAGE《深度学习实战》课程标准(教学大纲)（一）基本信息适用对象：人工智能技术应用专业、软件工程专业、电子商务专业课程代码：250184课程类别：必修课程学分：4学时：60学时先修课程：Python程序设计语言、机器学习基础制定人：程源（二）课程的性质与定位本课程是专业课，属于专业必修课。本课程包括30学时的理论教学和30学时的实践教学，在校内完成。本课程适用于人工智能技术应用专业、软件工程专业、电子商务专业，让学生在先修课程的基础上，为学生进行人工智能工程与管理职业技能训练、毕业综合实践等后续课程及从事人工智能相关等岗位工作打下基础。（三）课程目标1.总体目标《深度学习实战》是面向人工智能技术应用专业的一门专业课，涉及机器学习基础、深度学习基础、利用深度学习框架实现深度模型以及产品环境中的模型部署等内容。通过本课程的学习，学生能够掌握利用深度学习框架实现深度学习模型的基础知识。本课程主要目标在于帮助学生理解深度学习的基础理论，掌握利用深度学习实现深度学习模型的基本方法，同时具备一定的产品环境中模型的部署能力。通过本课程的学习，使学生掌握深度学习的基本理论和实践方法，同时通过工作任务式学习提升分析问题、归纳总结问题、解决实际复杂问题等方面关键能力，从而使学生形成积极参与、主动探索、注重团队精神和责任意识等方面的职业素质。实施课程思政。以人工智能案例等作为融入点，使学生了解行业最新发展动态，激发学生社会责任感；了解人工智能在政治、经济、军事和社会稳定等方面的重要性，通过实际案例进行分析，培养学生的爱国热情。2.具体目标及要求（1）专业能力目标课程的教学要达到三个层次的目的：1.知识结构。掌握深度学习基础和深度学习框架相关的基础知识和实践技能，能运用TensorFlow或飞桨框架进行程序设计开发。2.思维结构。在教学过程中培养学生的计算思维和逻辑，使学生能够用计算和逻辑思维去分析问题和解决问题，在学习职业技能的同时培养思维习惯。3.职业素养。通过课程的教学，使学生对操作系统的存在问题和发展趋势形成自己的认识，能够在工作实践中更好地解决问题并把握机会。（2）关键能力目标课程传授的关键能力主要包括以下几个方面‌：1.问题模型化能力‌；2.复杂数据结构化能力；3.数据预处理能力；4.特征理解和转换能力；5.选择适当算法的能力；‌6.区分经验误差与泛化误差能力；7.团队合作能力；‌8.业务和技术结合能力。（3）课程思政要求1）通过分析人工智能发展历史和现状，了解行业发展动态，激发学习动力，培养社会责任感和爱国热情。2）在人工智能领域，中国取得了很多瞩目的成绩，通过介绍我国在人工智能领域的成绩，激发学生的民族自豪感，让学生把国家富强、民族振兴、人民幸福内化为努力学习的动力。3）融入企业应用实例，了解行业新技术，培养学生“工匠精神”，提高学生的信息安全意识和法律法规意识。（四）课程设计思路本课程分为五个模块，分别对应于《Python深度学习入门与实战》（程源等，电子工业出版社，2024）的第二部分的第7至11章，集中讨论现代深度学习技术及其应用，可以根据需要选择部分章节讲授。模块一介绍了一系列构建先进卷积神经网络模型的高级技术。模块二展示了深度学习在目标识别中的应用，重点介绍了YOLO算法及其应用。模块三展示了如何将循环神经网络、注意力和Transformer编码器和位置编码用于中文文本分类。模块四介绍Transformer架构及其在机器翻译和文本生成等任务种的应用。模块五介绍了使用卷积神经网络和循环神经网络进行视频分析CNN-RNN架构和基于Transformer的混合模型的视频分类。（五）教学内容1.学时分配模块名称子学习情境学时分配小记模块1卷积神经网络进阶深度学习框架搭建自己的深度学习工作站212构建经典的卷积网络构建AlexNet网络2使用数据增强来降低过拟合2构建VGG网络2构建残差网络2特征提取使用预训练的卷积神经网络进行特征提取2模块2目标检测目标检测的基本概念目标定位212制作正样本交并比先验框非极大值抑制目标检测方法的性能评估YOLOv3算法基本框架4产生候选区域特征提取解码预测结果损失函数训练自己的YOLOv3模型数据集的准备6数据集的处理开始网络训练训练结果预测模块3中文文本分类词嵌入什么是词嵌入212利用词嵌入循环神经网络循环神经网络4理解LSTM层基于LSTM的中文文本分类注意力机制注意力提示2自注意力多头注意力Transformer编码器Transformer编码器的实现2基于Transformer编码器的中文文本分类位置编码位置编码的实现2基于位置编码的中文文本分类模块4超越文本分类序列到序列的学习编码器-解码器架构212Transformer解码器机器翻译准备语料4端到端Transformer利用Transformer模型翻译句子文本生成如何生成序列数据采样策略6实现文本生成可变温度采样的文本生成模块5视频动作识别视频动作识别与数据集数据集简介412数据集获取及划分数据集预处理基于CNN-RNN架构的视频分类数据准备4创建序列模型推断基于Transformer的视频分类数据准备4构建Transformer模型模型推断合计学时60教学设计模块1课程思政要求子学习情境1深度学习框架卷积神经网络进阶本章是全书的理论基础知识，通过本章的学习，让学生对深度学习全貌有一个全面、系统的理解。具体地讲，神经网络的一个重要性质是它可以自动地从数据中学习到合适的权重参数。本章中，我们会先介绍神经网络的概要，然后重点关注神经网络进行识别时的处理，将介绍如何从数据中学习权重参数。为了使神经网络能进行学习，本章导入损失函数这一指标。而学习的目的就是以该损失函数为基准，找出能使它的值达到最小的权重参数。并通过数值微分计算了神经网络的权重参数的梯度。数值微分简单，容易实现，但缺点是计算上比较费时间。职业能力描述知识1.神经网络剖析。训练神经网络主要围绕以下几个方面展开：1）层：深度学习的基础组件。2）模型：由层构成的神经网络。3）损失函数、优化器与监控指标：配置学习过程的关键。4）训练循环：执行小批量梯度随机下降。2.TensorFlow简介。3.搭建自己的深度学习工作站：TensorFlow。技能1.理解神经网络的功工作流程。2.搭建自己的深度学习工作站。关键能力1.问题模型化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.神经网络剖析。2.TensorFlow简介。3.如何搭建自己的深度学习工作站。要求：1.理解神经网络的功工作流程。2.搭建自己的深度学习工作站。子学习情境2构建经典的卷积网络职业能力描述知识1.AlexNet网络。由5个卷积层、2个全连接隐藏层和1个全连接输出层组成。2.数据增强。可以从现有的训练样本中生成更多的训练数据。3.VGG网络。VGG网络中首先提出了使用块的想法。将这些块堆叠起来，可以很容易地实现更为复杂的架构。4.残差网络（ResNet）。残差网络的核心思想是每个附加层都应该更容易地包含原始函数作为其元素之一。ResNet的基础架构–残差块。在残差块中，输入可通过跨层数据线路更快地向前传播。技能1.能用TensorFlow/Keras构建AlexNet网络。2.能使用数据增强来降低过拟合。3.能用TensorFlow/Keras构建VGG网络。4.能用TensorFlow/Keras构建残差网络。关键能力1.问题模型化能力‌；2.复杂数据结构化能力；3.数据预处理能力；4.特征理解和转换能力。主要内容与要求主要内容：1.AlexNet网络。2.数据增强。3.VGG网络。4.残差网络（ResNet）。要求：1.能用TensorFlow/Keras构建AlexNet网络。2.能使用数据增强来降低过拟合。3.能用TensorFlow/Keras构建VGG网络。4.能用TensorFlow/Keras构建残差网络。子学习情境3使用预训练的卷积神经网络进行特征提取职业能力描述知识1.利用特征提取，可以很容易地将现有的卷积神经网络复用于新的数据集。对于小型图像数据集，这是一种很有用的方法。2.将从大型数据集（如ImageNet）学到的知识迁移到目标数据集，这称为迁移学习。技能1.能够使用预训练的卷积神经网络进行特征提取。2.能够将从大型数据集（如ImageNet）学到的知识迁移到目标数据集。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。主要内容与要求主要内容：1.利用特征提取，可以很容易地将现有的卷积神经网络复用于新的数据集。2.迁移学习。要求：1.能够使用预训练的卷积神经网络进行特征提取。2.能够将从大型数据集（如ImageNet）学到的知识迁移到目标数据集。模块2课程思政要求子学习情境1目标检测的基本概念目标检测在人工智能领域，我国取得了很多瞩目的成绩，通过介绍我国在人工智能领域尤其在自动驾驶、无人机侦测等目标识别应用的重要领域，取得的成绩，激发学生的民族自豪感，让学生把国家富强、民族振兴、人民幸福内化为努力学习的动力。职业能力描述知识1.目标检测是用矩形框把图像中关注对象的边界框选出来，确定它们在图像中的具体位置。2.目标定位。3.制作正样本。3.交并比。4.先验框。5.非极大值抑制。6.目标检测方法的性能评估。技能1.理解边界框。2.理解制作正样本。3.理解交并比。4.理解先验框。5.理解非极大值抑制。6.理解目标检测方法的性能评估。关键能力1.问题模型化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.目标定位。2.制作正样本。3.交并比。4.先验框。5.非极大值抑制。6.目标检测方法的性能评估。要求：1.理解边界框。2.理解制作正样本。3.理解交并比。4.理解先验框。5.理解非极大值抑制。6.理解目标检测方法的性能评估。子学习情境2YOLOv3算法职业能力描述知识1.基本框架。骨干网络、颈部网络和检测头。2.产生候选区域：按一定的规则在图像上生成一系列位置固定的先验框，将这些先验框看作是可能的候选区域。对先验框是否包含目标物体进行预测，如果包含目标物体，还需要预测所包含物体的类别，以及预测框相对于先验框位置需要调整的幅度。3.特征提取。YOLOv3提取多特征层进行目标检测，一共提取三个特征层，它们位于主干部分Darknet53的中间层，中下层，底层，三个特征层的形状分别为(52,52,256)、(26,26,512)、(13,13,1024)。4.解码预测结果。网络我们可以获得三个特征层的预测结果，但是这个预测结果并不对应着最终的预测框在图像上的位置，还需要解码才可以完成。5.损失函数。YOLOv3的损失函数包括置信度损失、类别损失和回归损失三部分。技能1.了解基本框架。2.了解产生候选区域。3.了解特征提取。4.了解解码预测结果。5.了解损失函数。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力‌。主要内容与要求主要内容：1.基本框架。2.产生候选区域。3.特征提取。4.解码预测结果。5.损失函数。要求：1.了解基本框架。2.了解产生候选区域。3.了解特征提取。4.了解解码预测结果。5.了解损失函数。子学习情境3训练自己的YOLOv3模型职业能力描述知识1.数据集的准备。2.数据集的处理。3.开始网络训练。4.训练结果预测。技能1.能根据需要识别的目标准备数据集。2.能使用LabelImg等工具标注数据。3.能利用数据集自己的训练YOLOv3模型。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。主要内容与要求主要内容：1.数据集的准备。2.数据集的处理。3.开始网络训练。4.训练结果预测。要求：1.能根据需要识别的目标准备数据集。2.能使用LabelImg等工具标注数据。3.能利用数据集自己的训练YOLOv3模型。模块3课程思政要求子学习情境1词嵌入 中文文本分类本章将介绍神经网络的学习中的一些重要观点，尤其是深度学习今年来取得的最新进展，如注意力机制，Transformer等，使学生领略人工智能最新进展，提高学习兴趣。自2017年横空出世，Transformer开始在大多数自然语言处理任务中超越RNN。Transformer由AshishVaswani等人的奠基性论文“AttentionIsAllYouNeed”引入。这篇论文表明，一种称作神经注意力的简单机制可以用来构建强大的序列模型。这一发现在自然语言处理领域引发了一场革命，并且还影响到其他领域。神经注意力迅速成为深度学习最有影响力的思想之一。职业能力描述知识1.文本向量化的基本流程：标准化，将文本标准化，使其更容易处理，比如转换为小写字母或删除标点符号；词元化，将文本拆分为词元（token），比如字符、单词或词组；对数据中的所有词元建立索引，将每个词元转换为一个数值向量。2.词嵌入，就是用向量表示词，输入一个词，输出一个向量。词嵌入的基本思路是：通过上下文找到这个词的意义。3.获取词嵌入的两种方法：在完成主任务的同时学习词嵌入。在这种情况下，一开始是随机的词向量，然后对这些词向量进行学习，其学习方式与学习神经网络的权重相同。在不同于待解决问题的机器学习任务上预先算好词嵌入。这种词嵌入称为预训练词嵌入。技能1.理解词嵌入。2.能用Keras的Embedding层学习一个新的嵌入空间。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.文本向量化的基本流程。2.词嵌入。3.获取词嵌入的两种方法。要求：1.理解词嵌入。2.能用Keras的Embedding层学习一个新的嵌入空间。子学习情境2循环神经网络职业能力描述知识1.循环神经网络。2.长短期记忆（LSTM）层。3.基于LSTM的中文文本分类。技能1.理解循环神经网络。2.理解LSTM层。3.能够利用LSTM进行中文文本分类。关键能力1.问题模型化能力。2.复杂数据结构化能力。3.数据预处理能力。5.选择适当算法的能力。主要内容与要求主要内容：1.循环神经网络。2.LSTM层。3.基于LSTM的中文文本分类。要求：1.理解循环神经网络。2.理解LSTM层。3.能够利用LSTM进行中文文本分类。子学习情境3注意力机制职业能力描述知识1.注意力机制：把注意力集中在要点上，而忽略其他不重要的因素。2.注意力提示。自主性注意力提示称为查询。可以通过设计注意力汇聚的方式，使得给定的查询（自主性提示）与键（非自主性提示）进行匹配，从而得出最匹配的值。3.自注意力。自注意力的目的是利用序列中相关词元的表示来调节某个词元的表示，从而生成上下文感知的词元表示。4.多头注意力：增强了模型关注不同位置的能力；给attention层带来多个“表征子空间”。技能1.了解注意力提示。2.了解自注意力。3.了解多头注意力。关键能力1.问题模型化能力‌。5.选择适当算法的能力。主要内容与要求主要内容：1.注意力提示。2.自注意力。3.多头注意力。要求：1.了解注意力提示。2.了解自注意力。3.了解多头注意力。子学习情境4Transformer编码器职业能力描述知识1.Transformer编码器的实现。利用自注意力来构建一个Transformer编码器，它是Transformer架构的一个基本组件。2.基于Transformer编码器的中文文本分类。技能1.理解Transformer编码器的实现。2.能够利用Transformer编码器进行中文文本分类。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。主要内容与要求主要内容：1.Transformer编码器的实现2.基于Transformer编码器的中文文本分类。要求：1.理解Transformer编码器的实现。2.能够利用Transformer编码器进行中文文本分类。。子学习情境5位置编码职业能力描述知识1.位置编码的实现。为了使用序列的顺序信息，位置编码为模型提供关于单词在句子中相对位置的信息。2.基于位置编码的中文文本分类。技能1.理解位置编码的实现。2.能够利用位置编码进行中文文本分类。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。主要内容与要求主要内容：1.位置编码的实现2.基于位置编码的中文文本分类要求：1.理解位置编码的实现。2.能够利用位置编码进行中文文本分类。模块4课程思政要求子学习情境1序列到序列的学习超越文本分类本章介绍2023年深度学习最新进展chatGPT相关技术。2018年，Transformer架构开始取代RNN，它不仅可用于有监督的NLP任务，还可用于生成式序列模型，特别是语言模型。生成式Transformer最有名的例子应该是GPT-3，由初创公司OpenAI在一个大得惊人的文本语料库上训练得到。该语料库包含大部分数字图书、维基百科和对整个互联网进行爬取的大部分内容。GPT-3在2020年登上新闻头条，因为它能够在几乎所有话题上生成看似合理的文本段落。职业能力描述知识1.编码器-解码器架构：第一个组件是编码器（encoder）：它接受一个长度可变的序列作为输入，并将其转换为具有固定形状的编码状态；第二个组件是解码器（decoder）：它将固定形状的编码状态映射到长度可变的序列。2.Transformer解码器。Transformer编码器将编码后的表示保存为序列格式，即由上下文感知的嵌入向量组成的序列；Transformer解码器读取目标序列中第0～N个词元，使用神经注意力预测第N+1个词元。3.Transformer解码器的实现。技能1.理解编码器-解码器架构。2.理解Transformer解码器的实现。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。主要内容与要求主要内容：1.编码器-解码器架构。2.Transformer解码器。3.Transformer解码器的实现。要求：1.理解编码器-解码器架构。2.理解Transformer解码器的实现。子学习情境2机器翻译职业能力描述知识1.准备语料。机器翻译的数据集是由源语言和目标语言的文本序列组成。2.端到端Transformer。将源序列和目标序列映射到向后偏移一个时间步的目标序列。3.利用Transformer模型翻译句子。技能1.能够收集并准备机器翻译语料。2.理解端到端Transformer的实现。3.利用Transformer模型翻译句子。关键能力1.问题模型化能力‌；2.复杂数据结构化能力；4.特征理解和转换能力；5.选择适当算法的能力。主要内容与要求主要内容：1.准备语料。2.端到端Transformer3.利用Transformer模型翻译句子。要求：1.能够收集并准备机器翻译语料。2.理解端到端Transformer的实现。3.利用Transformer模型翻译句子。子学习情境3文本生成职业能力描述知识1.Transformer架构不仅可用于有监督的NLP任务，还可用于生成式序列模型，特别是语言模型。2.如何生成序列数据。3.采样策略。4.实现文本生成。5.可变温度采样的文本生成。技能1.收集用于训练的中文文本数据。2.理解基于Transformer的序列到序列模型的实现。3.理解基于Transformer的简单语言模型。4.理解可变温度采样的文本生成模型。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。7.团队合作能力。‌8.业务和技术结合能力。主要内容与要求主要内容：1.如何生成序列数据。2.采样策略。3.实现文本生成。4.可变温度采样的文本生成。要求：1.收集用于训练的中文文本数据。2.理解基于Transformer的序列到序列模型的实现。3.理解基于Transformer的简单语言模型。4.理解可变温度采样的文本生成模型。模块5课程思政要求子学习情境1视频动作识别与数据集视频动作识别融入企业应用实例，了解行业新技术，培养学生“工匠精神”。职业能力描述知识1.数据集的构建过程：定义一个动作列表，结合以前动作识别数据集的标签，并根据用例添加新的类别；将视频标题/字幕与动作列表进行匹配；手动提供注释来指示动作的起始和结束位置；最后通过去重复和过滤噪声清理数据集。2.数据集获取及划分。3.数据集预处理。技能能够从抖音、YouTube和电影等多种来源获取视频，并构建视频数据集。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。7.团队合作能力。‌8.业务和技术结合能力。主要内容与要求主要内容：1.构建数据集。2.数据集获取及划分。3.数据集预处理。要求：能够通过团队协作，从抖音、YouTube和电影等多种来源获取视频，并构建视频数据集。子学习情境2基于CNN-RNN架构的视频分类职业能力描述知识1.CNN-RNN架构。视频由有序的帧序列组成。每个帧包含空间信息，这些帧的序列包含时间信息。使用卷积神经网络和由GRU层组成的循环神经网络来构建视频分类模型。这种混合架构通常被称为CNN-RNN架构。2.数据准备：捕获视频的帧；从视频中提取帧，直到达到最大帧数；如果视频的帧数小于最大帧数，用零填充视频；用预先训练的网络从帧中提取特征。3.创建序列模型。将数据提供给由GRU层组成的序列模型。GRU可以看作LSTM架构的精简版本。4.模型推断。技能1.理解CNN-RNN架构。2.能够使用OpenCV的VideoCapture方法从视频中读取帧。3.能用预先训练的网络，如InceptionV3模型，从帧中提取特征。4.能够模型训练与并进行推理。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数