《深度学习实战》课程标准(教学大纲) -；《Python深度学习入门》课程标准(教学大纲)

PAGE《深度学习实战》课程标准(教学大纲)（一）基本信息适用对象：人工智能技术应用专业、软件工程专业、电子商务专业课程代码：250184课程类别：必修课程学分：4学时：60学时先修课程：Python程序设计语言、机器学习基础制定人：程源（二）课程的性质与定位本课程是专业课，属于专业必修课。本课程包括30学时的理论教学和30学时的实践教学，在校内完成。本课程适用于人工智能技术应用专业、软件工程专业、电子商务专业，让学生在先修课程的基础上，为学生进行人工智能工程与管理职业技能训练、毕业综合实践等后续课程及从事人工智能相关等岗位工作打下基础。（三）课程目标1.总体目标《深度学习实战》是面向人工智能技术应用专业的一门专业课，涉及机器学习基础、深度学习基础、利用深度学习框架实现深度模型以及产品环境中的模型部署等内容。通过本课程的学习，学生能够掌握利用深度学习框架实现深度学习模型的基础知识。本课程主要目标在于帮助学生理解深度学习的基础理论，掌握利用深度学习实现深度学习模型的基本方法，同时具备一定的产品环境中模型的部署能力。通过本课程的学习，使学生掌握深度学习的基本理论和实践方法，同时通过工作任务式学习提升分析问题、归纳总结问题、解决实际复杂问题等方面关键能力，从而使学生形成积极参与、主动探索、注重团队精神和责任意识等方面的职业素质。实施课程思政。以人工智能案例等作为融入点，使学生了解行业最新发展动态，激发学生社会责任感；了解人工智能在政治、经济、军事和社会稳定等方面的重要性，通过实际案例进行分析，培养学生的爱国热情。2.具体目标及要求（1）专业能力目标课程的教学要达到三个层次的目的：1.知识结构。掌握深度学习基础和深度学习框架相关的基础知识和实践技能，能运用TensorFlow或飞桨框架进行程序设计开发。2.思维结构。在教学过程中培养学生的计算思维和逻辑，使学生能够用计算和逻辑思维去分析问题和解决问题，在学习职业技能的同时培养思维习惯。3.职业素养。通过课程的教学，使学生对操作系统的存在问题和发展趋势形成自己的认识，能够在工作实践中更好地解决问题并把握机会。（2）关键能力目标课程传授的关键能力主要包括以下几个方面‌：1.问题模型化能力‌；2.复杂数据结构化能力；3.数据预处理能力；4.特征理解和转换能力；5.选择适当算法的能力；‌6.区分经验误差与泛化误差能力；7.团队合作能力；‌8.业务和技术结合能力。（3）课程思政要求1）通过分析人工智能发展历史和现状，了解行业发展动态，激发学习动力，培养社会责任感和爱国热情。2）在人工智能领域，中国取得了很多瞩目的成绩，通过介绍我国在人工智能领域的成绩，激发学生的民族自豪感，让学生把国家富强、民族振兴、人民幸福内化为努力学习的动力。3）融入企业应用实例，了解行业新技术，培养学生“工匠精神”，提高学生的信息安全意识和法律法规意识。（四）课程设计思路本课程分为五个模块，分别对应于《Python深度学习入门与实战》（程源等，电子工业出版社，2024）的第二部分的第7至11章，集中讨论现代深度学习技术及其应用，可以根据需要选择部分章节讲授。模块一介绍了一系列构建先进卷积神经网络模型的高级技术。模块二展示了深度学习在目标识别中的应用，重点介绍了YOLO算法及其应用。模块三展示了如何将循环神经网络、注意力和Transformer编码器和位置编码用于中文文本分类。模块四介绍Transformer架构及其在机器翻译和文本生成等任务种的应用。模块五介绍了使用卷积神经网络和循环神经网络进行视频分析CNN-RNN架构和基于Transformer的混合模型的视频分类。（五）教学内容1.学时分配模块名称子学习情境学时分配小记模块1卷积神经网络进阶深度学习框架搭建自己的深度学习工作站212构建经典的卷积网络构建AlexNet网络2使用数据增强来降低过拟合2构建VGG网络2构建残差网络2特征提取使用预训练的卷积神经网络进行特征提取2模块2目标检测目标检测的基本概念目标定位212制作正样本交并比先验框非极大值抑制目标检测方法的性能评估YOLOv3算法基本框架4产生候选区域特征提取解码预测结果损失函数训练自己的YOLOv3模型数据集的准备6数据集的处理开始网络训练训练结果预测模块3中文文本分类词嵌入什么是词嵌入212利用词嵌入循环神经网络循环神经网络4理解LSTM层基于LSTM的中文文本分类注意力机制注意力提示2自注意力多头注意力Transformer编码器Transformer编码器的实现2基于Transformer编码器的中文文本分类位置编码位置编码的实现2基于位置编码的中文文本分类模块4超越文本分类序列到序列的学习编码器-解码器架构212Transformer解码器机器翻译准备语料4端到端Transformer利用Transformer模型翻译句子文本生成如何生成序列数据采样策略6实现文本生成可变温度采样的文本生成模块5视频动作识别视频动作识别与数据集数据集简介412数据集获取及划分数据集预处理基于CNN-RNN架构的视频分类数据准备4创建序列模型推断基于Transformer的视频分类数据准备4构建Transformer模型模型推断合计学时60教学设计模块1课程思政要求子学习情境1深度学习框架卷积神经网络进阶本章是全书的理论基础知识，通过本章的学习，让学生对深度学习全貌有一个全面、系统的理解。具体地讲，神经网络的一个重要性质是它可以自动地从数据中学习到合适的权重参数。本章中，我们会先介绍神经网络的概要，然后重点关注神经网络进行识别时的处理，将介绍如何从数据中学习权重参数。为了使神经网络能进行学习，本章导入损失函数这一指标。而学习的目的就是以该损失函数为基准，找出能使它的值达到最小的权重参数。并通过数值微分计算了神经网络的权重参数的梯度。数值微分简单，容易实现，但缺点是计算上比较费时间。职业能力描述知识1.神经网络剖析。训练神经网络主要围绕以下几个方面展开：1）层：深度学习的基础组件。2）模型：由层构成的神经网络。3）损失函数、优化器与监控指标：配置学习过程的关键。4）训练循环：执行小批量梯度随机下降。2.TensorFlow简介。3.搭建自己的深度学习工作站：TensorFlow。技能1.理解神经网络的功工作流程。2.搭建自己的深度学习工作站。关键能力1.问题模型化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.神经网络剖析。2.TensorFlow简介。3.如何搭建自己的深度学习工作站。要求：1.理解神经网络的功工作流程。2.搭建自己的深度学习工作站。子学习情境2构建经典的卷积网络职业能力描述知识1.AlexNet网络。由5个卷积层、2个全连接隐藏层和1个全连接输出层组成。2.数据增强。可以从现有的训练样本中生成更多的训练数据。3.VGG网络。VGG网络中首先提出了使用块的想法。将这些块堆叠起来，可以很容易地实现更为复杂的架构。4.残差网络（ResNet）。残差网络的核心思想是每个附加层都应该更容易地包含原始函数作为其元素之一。ResNet的基础架构–残差块。在残差块中，输入可通过跨层数据线路更快地向前传播。技能1.能用TensorFlow/Keras构建AlexNet网络。2.能使用数据增强来降低过拟合。3.能用TensorFlow/Keras构建VGG网络。4.能用TensorFlow/Keras构建残差网络。关键能力1.问题模型化能力‌；2.复杂数据结构化能力；3.数据预处理能力；4.特征理解和转换能力。主要内容与要求主要内容：1.AlexNet网络。2.数据增强。3.VGG网络。4.残差网络（ResNet）。要求：1.能用TensorFlow/Keras构建AlexNet网络。2.能使用数据增强来降低过拟合。3.能用TensorFlow/Keras构建VGG网络。4.能用TensorFlow/Keras构建残差网络。子学习情境3使用预训练的卷积神经网络进行特征提取职业能力描述知识1.利用特征提取，可以很容易地将现有的卷积神经网络复用于新的数据集。对于小型图像数据集，这是一种很有用的方法。2.将从大型数据集（如ImageNet）学到的知识迁移到目标数据集，这称为迁移学习。技能1.能够使用预训练的卷积神经网络进行特征提取。2.能够将从大型数据集（如ImageNet）学到的知识迁移到目标数据集。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。主要内容与要求主要内容：1.利用特征提取，可以很容易地将现有的卷积神经网络复用于新的数据集。2.迁移学习。要求：1.能够使用预训练的卷积神经网络进行特征提取。2.能够将从大型数据集（如ImageNet）学到的知识迁移到目标数据集。模块2课程思政要求子学习情境1目标检测的基本概念目标检测在人工智能领域，我国取得了很多瞩目的成绩，通过介绍我国在人工智能领域尤其在自动驾驶、无人机侦测等目标识别应用的重要领域，取得的成绩，激发学生的民族自豪感，让学生把国家富强、民族振兴、人民幸福内化为努力学习的动力。职业能力描述知识1.目标检测是用矩形框把图像中关注对象的边界框选出来，确定它们在图像中的具体位置。2.目标定位。3.制作正样本。3.交并比。4.先验框。5.非极大值抑制。6.目标检测方法的性能评估。技能1.理解边界框。2.理解制作正样本。3.理解交并比。4.理解先验框。5.理解非极大值抑制。6.理解目标检测方法的性能评估。关键能力1.问题模型化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.目标定位。2.制作正样本。3.交并比。4.先验框。5.非极大值抑制。6.目标检测方法的性能评估。要求：1.理解边界框。2.理解制作正样本。3.理解交并比。4.理解先验框。5.理解非极大值抑制。6.理解目标检测方法的性能评估。子学习情境2YOLOv3算法职业能力描述知识1.基本框架。骨干网络、颈部网络和检测头。2.产生候选区域：按一定的规则在图像上生成一系列位置固定的先验框，将这些先验框看作是可能的候选区域。对先验框是否包含目标物体进行预测，如果包含目标物体，还需要预测所包含物体的类别，以及预测框相对于先验框位置需要调整的幅度。3.特征提取。YOLOv3提取多特征层进行目标检测，一共提取三个特征层，它们位于主干部分Darknet53的中间层，中下层，底层，三个特征层的形状分别为(52,52,256)、(26,26,512)、(13,13,1024)。4.解码预测结果。网络我们可以获得三个特征层的预测结果，但是这个预测结果并不对应着最终的预测框在图像上的位置，还需要解码才可以完成。5.损失函数。YOLOv3的损失函数包括置信度损失、类别损失和回归损失三部分。技能1.了解基本框架。2.了解产生候选区域。3.了解特征提取。4.了解解码预测结果。5.了解损失函数。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力‌。主要内容与要求主要内容：1.基本框架。2.产生候选区域。3.特征提取。4.解码预测结果。5.损失函数。要求：1.了解基本框架。2.了解产生候选区域。3.了解特征提取。4.了解解码预测结果。5.了解损失函数。子学习情境3训练自己的YOLOv3模型职业能力描述知识1.数据集的准备。2.数据集的处理。3.开始网络训练。4.训练结果预测。技能1.能根据需要识别的目标准备数据集。2.能使用LabelImg等工具标注数据。3.能利用数据集自己的训练YOLOv3模型。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。主要内容与要求主要内容：1.数据集的准备。2.数据集的处理。3.开始网络训练。4.训练结果预测。要求：1.能根据需要识别的目标准备数据集。2.能使用LabelImg等工具标注数据。3.能利用数据集自己的训练YOLOv3模型。模块3课程思政要求子学习情境1词嵌入 中文文本分类本章将介绍神经网络的学习中的一些重要观点，尤其是深度学习今年来取得的最新进展，如注意力机制，Transformer等，使学生领略人工智能最新进展，提高学习兴趣。自2017年横空出世，Transformer开始在大多数自然语言处理任务中超越RNN。Transformer由AshishVaswani等人的奠基性论文“AttentionIsAllYouNeed”引入。这篇论文表明，一种称作神经注意力的简单机制可以用来构建强大的序列模型。这一发现在自然语言处理领域引发了一场革命，并且还影响到其他领域。神经注意力迅速成为深度学习最有影响力的思想之一。职业能力描述知识1.文本向量化的基本流程：标准化，将文本标准化，使其更容易处理，比如转换为小写字母或删除标点符号；词元化，将文本拆分为词元（token），比如字符、单词或词组；对数据中的所有词元建立索引，将每个词元转换为一个数值向量。2.词嵌入，就是用向量表示词，输入一个词，输出一个向量。词嵌入的基本思路是：通过上下文找到这个词的意义。3.获取词嵌入的两种方法：在完成主任务的同时学习词嵌入。在这种情况下，一开始是随机的词向量，然后对这些词向量进行学习，其学习方式与学习神经网络的权重相同。在不同于待解决问题的机器学习任务上预先算好词嵌入。这种词嵌入称为预训练词嵌入。技能1.理解词嵌入。2.能用Keras的Embedding层学习一个新的嵌入空间。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.文本向量化的基本流程。2.词嵌入。3.获取词嵌入的两种方法。要求：1.理解词嵌入。2.能用Keras的Embedding层学习一个新的嵌入空间。子学习情境2循环神经网络职业能力描述知识1.循环神经网络。2.长短期记忆（LSTM）层。3.基于LSTM的中文文本分类。技能1.理解循环神经网络。2.理解LSTM层。3.能够利用LSTM进行中文文本分类。关键能力1.问题模型化能力。2.复杂数据结构化能力。3.数据预处理能力。5.选择适当算法的能力。主要内容与要求主要内容：1.循环神经网络。2.LSTM层。3.基于LSTM的中文文本分类。要求：1.理解循环神经网络。2.理解LSTM层。3.能够利用LSTM进行中文文本分类。子学习情境3注意力机制职业能力描述知识1.注意力机制：把注意力集中在要点上，而忽略其他不重要的因素。2.注意力提示。自主性注意力提示称为查询。可以通过设计注意力汇聚的方式，使得给定的查询（自主性提示）与键（非自主性提示）进行匹配，从而得出最匹配的值。3.自注意力。自注意力的目的是利用序列中相关词元的表示来调节某个词元的表示，从而生成上下文感知的词元表示。4.多头注意力：增强了模型关注不同位置的能力；给attention层带来多个“表征子空间”。技能1.了解注意力提示。2.了解自注意力。3.了解多头注意力。关键能力1.问题模型化能力‌。5.选择适当算法的能力。主要内容与要求主要内容：1.注意力提示。2.自注意力。3.多头注意力。要求：1.了解注意力提示。2.了解自注意力。3.了解多头注意力。子学习情境4Transformer编码器职业能力描述知识1.Transformer编码器的实现。利用自注意力来构建一个Transformer编码器，它是Transformer架构的一个基本组件。2.基于Transformer编码器的中文文本分类。技能1.理解Transformer编码器的实现。2.能够利用Transformer编码器进行中文文本分类。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。主要内容与要求主要内容：1.Transformer编码器的实现2.基于Transformer编码器的中文文本分类。要求：1.理解Transformer编码器的实现。2.能够利用Transformer编码器进行中文文本分类。。子学习情境5位置编码职业能力描述知识1.位置编码的实现。为了使用序列的顺序信息，位置编码为模型提供关于单词在句子中相对位置的信息。2.基于位置编码的中文文本分类。技能1.理解位置编码的实现。2.能够利用位置编码进行中文文本分类。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。主要内容与要求主要内容：1.位置编码的实现2.基于位置编码的中文文本分类要求：1.理解位置编码的实现。2.能够利用位置编码进行中文文本分类。模块4课程思政要求子学习情境1序列到序列的学习超越文本分类本章介绍2023年深度学习最新进展chatGPT相关技术。2018年，Transformer架构开始取代RNN，它不仅可用于有监督的NLP任务，还可用于生成式序列模型，特别是语言模型。生成式Transformer最有名的例子应该是GPT-3，由初创公司OpenAI在一个大得惊人的文本语料库上训练得到。该语料库包含大部分数字图书、维基百科和对整个互联网进行爬取的大部分内容。GPT-3在2020年登上新闻头条，因为它能够在几乎所有话题上生成看似合理的文本段落。职业能力描述知识1.编码器-解码器架构：第一个组件是编码器（encoder）：它接受一个长度可变的序列作为输入，并将其转换为具有固定形状的编码状态；第二个组件是解码器（decoder）：它将固定形状的编码状态映射到长度可变的序列。2.Transformer解码器。Transformer编码器将编码后的表示保存为序列格式，即由上下文感知的嵌入向量组成的序列；Transformer解码器读取目标序列中第0～N个词元，使用神经注意力预测第N+1个词元。3.Transformer解码器的实现。技能1.理解编码器-解码器架构。2.理解Transformer解码器的实现。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。主要内容与要求主要内容：1.编码器-解码器架构。2.Transformer解码器。3.Transformer解码器的实现。要求：1.理解编码器-解码器架构。2.理解Transformer解码器的实现。子学习情境2机器翻译职业能力描述知识1.准备语料。机器翻译的数据集是由源语言和目标语言的文本序列组成。2.端到端Transformer。将源序列和目标序列映射到向后偏移一个时间步的目标序列。3.利用Transformer模型翻译句子。技能1.能够收集并准备机器翻译语料。2.理解端到端Transformer的实现。3.利用Transformer模型翻译句子。关键能力1.问题模型化能力‌；2.复杂数据结构化能力；4.特征理解和转换能力；5.选择适当算法的能力。主要内容与要求主要内容：1.准备语料。2.端到端Transformer3.利用Transformer模型翻译句子。要求：1.能够收集并准备机器翻译语料。2.理解端到端Transformer的实现。3.利用Transformer模型翻译句子。子学习情境3文本生成职业能力描述知识1.Transformer架构不仅可用于有监督的NLP任务，还可用于生成式序列模型，特别是语言模型。2.如何生成序列数据。3.采样策略。4.实现文本生成。5.可变温度采样的文本生成。技能1.收集用于训练的中文文本数据。2.理解基于Transformer的序列到序列模型的实现。3.理解基于Transformer的简单语言模型。4.理解可变温度采样的文本生成模型。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。7.团队合作能力。‌8.业务和技术结合能力。主要内容与要求主要内容：1.如何生成序列数据。2.采样策略。3.实现文本生成。4.可变温度采样的文本生成。要求：1.收集用于训练的中文文本数据。2.理解基于Transformer的序列到序列模型的实现。3.理解基于Transformer的简单语言模型。4.理解可变温度采样的文本生成模型。模块5课程思政要求子学习情境1视频动作识别与数据集视频动作识别融入企业应用实例，了解行业新技术，培养学生“工匠精神”。职业能力描述知识1.数据集的构建过程：定义一个动作列表，结合以前动作识别数据集的标签，并根据用例添加新的类别；将视频标题/字幕与动作列表进行匹配；手动提供注释来指示动作的起始和结束位置；最后通过去重复和过滤噪声清理数据集。2.数据集获取及划分。3.数据集预处理。技能能够从抖音、YouTube和电影等多种来源获取视频，并构建视频数据集。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。7.团队合作能力。‌8.业务和技术结合能力。主要内容与要求主要内容：1.构建数据集。2.数据集获取及划分。3.数据集预处理。要求：能够通过团队协作，从抖音、YouTube和电影等多种来源获取视频，并构建视频数据集。子学习情境2基于CNN-RNN架构的视频分类职业能力描述知识1.CNN-RNN架构。视频由有序的帧序列组成。每个帧包含空间信息，这些帧的序列包含时间信息。使用卷积神经网络和由GRU层组成的循环神经网络来构建视频分类模型。这种混合架构通常被称为CNN-RNN架构。2.数据准备：捕获视频的帧；从视频中提取帧，直到达到最大帧数；如果视频的帧数小于最大帧数，用零填充视频；用预先训练的网络从帧中提取特征。3.创建序列模型。将数据提供给由GRU层组成的序列模型。GRU可以看作LSTM架构的精简版本。4.模型推断。技能1.理解CNN-RNN架构。2.能够使用OpenCV的VideoCapture方法从视频中读取帧。3.能用预先训练的网络，如InceptionV3模型，从帧中提取特征。4.能够模型训练与并进行推理。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。7.团队合作能力。‌8.业务和技术结合能力。主要内容与要求主要内容：1.CNN-RNN架构2.数据准备。3.创建序列模型。4.推断。要求：1.理解CNN-RNN架构。2.能够使用OpenCV的VideoCapture方法从视频中读取帧。3.能用预先训练的网络，如InceptionV3模型，从帧中提取特征。4.能够模型训练与并进行推理。子学习情境3基于Transformer的视频分类职业能力描述知识1.基于混合Transformer的视频分类模型，该模型可在CNN特征图上运行。2.数据准备：捕获视频的帧；从视频中提取帧，直到达到最大帧数；如果视频的帧数小于最大帧数，用零填充视频；用预先训练的网络从帧中提取特征。3.构建Transformer模型。通过位置编码来实现顺序信息。视频分类问题不涉及生成目标序列，只需构建Transformer编码器4.模型推断。技能1.了解基于混合Transformer的视频分类模型。2.能够使用OpenCV的VideoCapture方法从视频中读取帧。3.能用预先训练的网络，如DenseNet121模型，从帧中提取特征。4.能够模型训练与并进行推理。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。7.团队合作能力。‌8.业务和技术结合能力。主要内容与要求主要内容：1.基于混合Transformer的视频分类模型。2.数据准备。3.构建Transformer模型。3.模型推断。要求：1.了解基于混合Transformer的视频分类模型。2.能够使用OpenCV的VideoCapture方法从视频中读取帧。3.能用预先训练的网络，如DenseNet121模型，从帧中提取特征。4.能够模型训练与并进行推理。（六）推荐教材及教学参考书1.推荐教材《Python深度学习入门与实战》.程源等.电子工业出版社.2024.12.教学参考书《Python深度学习入门与实战》.程源等.电子工业出版社.2024.1（七）课程教学资源开发与利用本课程已开发电子教案、电子课件、任务书、学习参考资料等资源，使用学习通在线平台，通过工作任务式（项目化）学习提升算法实验报告撰写等方面职业能力，从而使学生形成人工智能方面的职业素质。《Python深度学习入门》课程标准(教学大纲)（一）基本信息适用对象：人工智能技术应用专业、软件工程专业课程代码：250186课程类别：必修课程学分：4学时：60学时先修课程：Python程序设计语言、机器学习基础制定人：程源（二）课程的性质与定位本课程是专业课，属于专业必修课。本课程包括36学时的理论教学和24学时的实践教学，在校内完成。本课程适用于人工智能技术应用专业，让学生在先修课程的基础上，为学生进行人工智能工程与管理职业技能训练、毕业综合实践等后续课程及从事人工智能相关等岗位工作打下基础。本课程与广东奥普特科技有限公司和深圳汇控智能技术有限公司共同开发，面向合作企业的人工智能和机器人相关岗位，根据需要可以在广东奥普特公司和深圳汇控智能技术有限公司等企业的校外实习基地开展课程相关的实践。（三）课程目标1.总体目标《Python深度学习入门》是面向人工智能技术应用专业的一门专业课，涉及机器学习基础、深度学习基础、利用深度学习框架实现深度模型以及产品环境中的模型部署等内容。通过本课程的学习，学生能够掌握利用深度学习框架实现深度学习模型的基础知识。本课程主要目标在于帮助学生理解深度学习的基础理论，掌握利用深度学习实现深度学习模型的基本方法，同时具备一定的产品环境中模型的部署能力。通过本课程的学习，使学生掌握深度学习的基本理论和实践方法，同时通过工作任务式学习提升分析问题、归纳总结问题、解决实际复杂问题等方面关键能力，从而使学生形成积极参与、主动探索、注重团队精神和责任意识等方面的职业素质。实施课程思政。以人工智能案例等作为融入点，使学生了解行业最新发展动态，激发学生社会责任感；了解人工智能在政治、经济、军事和社会稳定等方面的重要性，通过实际案例进行分析，培养学生的爱国热情。2.具体目标及要求（1）专业能力目标课程的教学要达到三个层次的目的：1.知识结构。通过使用Python库实现经典的深度学习框架的过程逐步深度学习的本质，使学生理解深度学习的基本概念和算法，掌握神经网络的基本概念和理论知识，深度学习中主要网络的基本概念和相关算法。2.思维结构。在教学过程中培养学生的计算思维和逻辑，使学生能够用计算和逻辑思维去分析问题和解决问题，在学习职业技能的同时培养思维习惯。3.职业素养。通过课程的教学，使学生对操作系统的存在问题和发展趋势形成自己的认识，能够在工作实践中更好地解决问题并把握机会。（2）关键能力目标深度学习传授的关键能力主要包括以下几个方面‌：1.问题模型化能力‌；2.复杂数据结构化能力；3.数据预处理能力；4.特征理解和转换能力；5.选择适当算法的能力；‌6.区分经验误差与泛化误差能力；7.团队合作能力；‌8.业务和技术结合能力。（3）课程思政要求1）通过分析人工智能发展历史和现状，了解行业发展动态，激发学习动力，培养社会责任感和爱国热情。2）在人工智能领域，中国取得了很多瞩目的成绩，通过介绍我国在人工智能领域的成绩，激发学生的民族自豪感，让学生把国家富强、民族振兴、人民幸福内化为努力学习的动力。3）融入企业应用实例，了解行业新技术，培养学生“工匠精神”，提高学生的信息安全意识和法律法规意识。（四）课程设计思路本课程旨在让学生能够使用深度学习，不仅从零开始讲授深度学习的概念、背景和代码，同时也介绍深度学习的应用和部署。为使学生能深入理解深度学习模型的细节（这些的细节通常会被深度学习框架隐藏起来），本课程通过使用最基本的Python库构建深度学习的核心组件，并实现一个深度学习框架逐步向读者呈现深度学习的本质。学生一旦理解这些组件是如何工作的，就可以轻松地在随后的教程中使用深度学习框架了。本课程分为6个模块，由20个子学习情境组成。本课程所设计的每个项目均是一个完整的工作过程，实施校企双方共同指导，实施理论与实践一体化教学，让学生做中学、学中做，提高综合职业能力，养成良好的职业素养。（五）教学内容1.学时分配模块名称子学习情境学时分配小记模块1深度学习概述深度学习概述让机器学会学习44深度学习之“深度”深度学习的数据表示为什么要用深度学习模块2神经网络入门神经元人工神经元214激活函数多层神经网络分类问题与独热编码2MNIST数据集神经网络神经网络的输出softmax函数神经网络的前向传播各层间数据传递2多个样本情况识别精度损失函数监督学习2损失函数梯度下降法梯度下降2梯度的实现梯度下降法的实现学习算法的实现两层神经网络模型4神经网络的训练基于测试数据的评价模块3神经网络的反向传播反向传播及其实现反向传播412ReLU层Sigmoid层Linear层Softmax-with-Loss层学习算法的实现构建多层神经网络模型4随机梯度下降法训练与预测构建训练器4训练与推理模块4改善神经网络优化算法动量法26AdaGradRMSpropAdam算法更新方法比较改进训练器数值稳定性和模型初始化梯度消失和梯度爆炸2抑制梯度异常初始化权重初始值的比较正则化与规范化过拟合与欠拟合权值衰减2Dropout正则化批量规范化改进模型模块5卷积神经网络从全连接到卷积卷积运算414填充步幅三维数据的卷积运算卷积层的实现卷积计算4四维数组基于im2col的展开卷积层的实现汇聚层汇聚运算2汇聚层的实现LENET网络构建模型4模型训练预测模块6深度学习实践深度学习的工作流程定义任务210开发模型部署模型训练一个图像分类模型创建图像数据集4数据预处理构建并训练模型文本分类准备文本数据4构建网络合计学时60教学设计模块1课程思政要求子学习情境1深度学习概述深度学习概述通过本章的学习，使学生对深度学习的概念、发展历程有个总体认识，本章既是课程开始的引论，也是课程结束的结论。了解中国人工智能面临的国际形式与发展方向，增强学生社会责任感和爱国热情。分析我国在人工智能领域的成就与贡献，体会通过努力获得的成就感。职业能力描述知识1.从数据中学习。2.深度神经网络：人工神经元、神经网络。3.神经网络的学习。4.深度学习的数据表示。技能1.掌握标量、向量、矩阵与张量。2.理解从数据中学习，从错误中学习。3.理解深度学习的数据表示。4.理解神经网络的学习过程。关键能力1.问题模型化能力。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。‌主要内容与要求主要内容：1.从数据中学习。2.深度神经网络：人工神经元、神经网络。3.神经网络的学习。4.深度学习的数据表示。要求：1.掌握标量、向量、矩阵与张量。2.理解从数据中学习，从错误中学习。3.理解深度学习的数据表示。4.理解神经网络的学习过程。模块2课程思政要求子学习情境1神经元神经网络入门本章是全书的理论基础知识，通过本章的学习，让学生对深度学习全貌有一个全面、系统的理解。具体地讲，神经网络的一个重要性质是它可以自动地从数据中学习到合适的权重参数。本章中，我们会先介绍神经网络的概要，然后重点关注神经网络进行识别时的处理，将介绍如何从数据中学习权重参数。为了使神经网络能进行学习，本章导入损失函数这一指标。而学习的目的就是以该损失函数为基准，找出能使它的值达到最小的权重参数。并通过数值微分计算了神经网络的权重参数的梯度。数值微分简单，容易实现，但缺点是计算上比较费时间。职业能力描述知识1.通过修改由简单的神经元构成的网络中的连接，就能产生智能行为。2.一层线性函数接着一层激活函数构成一个人工神经元。3.神经元中的激活函数使用平滑变化的sigmoid函数或ReLU函数。技能1.使用NumPy多维数组，高效地实现向量和矩阵运算。2.使用NumPy实现加权和。3.使用NumPy实现sigmoid函数。4.使用NumPy实现ReLU函数。关键能力1.问题模型化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.通过修改由简单的神经元构成的网络中的连接，就能产生智能行为。2.一层线性函数接着一层激活函数构成一个人工神经元。3.神经元中的激活函数使用平滑变化的sigmoid函数或ReLU函数。要求：1.使用NumPy多维数组，高效地实现向量和矩阵运算。2.使用NumPy实现加权和。3.使用NumPy实现sigmoid函数。4.使用NumPy实现ReLU函数。子学习情境2多层神经网络职业能力描述知识1.机器学习的问题大体上可以分为回归问题和分类问题。2.关于输出层的激活函数，回归问题中一般用恒等函数，分类问题中一般用softmax函数。3.分类问题中，输出层的神经元的数量设置为要分类的类别数。4.输入数据的集合称为批。通过以批为单位进行推理处理，能够实现高速的运算。5.解决分类问题常使用独热编码。技能1.理解表示分类数据的独热编码，能用Python实现独热编码。2.了解MNIST数据集。3.理解分类问题中常用的softmax函数，使用NumPy实现softmax函数。关键能力1.问题模型化能力。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。主要内容与要求主要内容：1.分类问题与独热编码。2.MNIST数据集。3.神经网络的输出。4.softmax函数。要求：1.理解表示分类数据的独热编码，能用Python实现独热编码。2.了解MNIST数据集。3.理解分类问题中常用的softmax函数，使用NumPy实现softmax函数。子学习情境3神经网络的前向传播职业能力描述知识1.各层间数据传递。2.多个样本情况。3.识别精度。技能1.理解多层神经网络。2.使用NumPy实现神经网络的前向传播。3.使用NumPy多维数组，高效地实现识别精度。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。主要内容与要求主要内容：1.各层间数据传递。2.多个样本情况。3.识别精度。要求：1.理解多层神经网络。2.使用NumPy实现神经网络的前向传播。3.使用NumPy多维数组，高效地实现识别精度。子学习情境4损失函数职业能力描述知识1.机器学习中使用的数据集分为训练数据和测试数据。2.神经网络用训练数据进行学习，并用测试数据评价学习到的模型的泛化能力。3.神经网络的学习以损失函数为指标，更新权重参数，以使损失函数的值减小。4.对于分类问题，常常使用交叉熵误差作为损失函数。技能1.理解为什么要设定损失函数。2.使用NumPy多维数组，高效地实现多个样本情况下的损失函数。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的。主要内容与要求主要内容：1.监督学习。2.损失函数。3.交叉熵误差损失函数及其实现。要求：1.理解为什么要设定损失函数。2.使用NumPy多维数组，高效地实现多个样本情况下的损失函数。子学习情境5梯度下降法职业能力描述知识1.利用某个给定的微小值的差分求导数的过程，称为数值微分。利用数值微分，可以计算损失函数相对于权重参数的梯度，进而实现学习算法。2.梯度下降法的实现步骤如下：步骤1（mini-batch），从训练数据中随机选出一部分数据，这部分数据称为mini-batch。目标是减小mini-batch的损失函数的值；步骤2（计算梯度），为了减小mini-batch的损失函数的值，需要求出各个权重参数的梯度。梯度表示损失函数的值减小最多的方向；步骤3（更新参数），将权重参数沿梯度方向进行微小更新；步骤4（重复），重复步骤1、步骤2、步骤3。技能1.理解数值微分，能用Python实现中心差分法。2.理解梯度下降法的实现步骤。3.能使用NumPy实现数值梯度计算。关键能力1.问题模型化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.利用数值微分，可以计算损失函数相对于权重参数的梯度，进而实现学习算法。2.梯度下降法的实现步骤。要求：1.理解数值微分，能使用NumPy实现中心差分法。2.理解梯度下降法的实现步骤。3.能使用NumPy实现数值梯度计算。子学习情境6学习算法的实现职业能力描述知识1.两层神经网络模型。2.神经网络的训练。3.基于测试数据的评价。技能1.能用Python实现两层神经网络模型。2.能利用MNIST数据集训练神经网络。3.能够利用测试数据评价神经网络的泛化能力。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。5.选择适当算法的能力。主要内容与要求主要内容：1.两层神经网络模型。2.神经网络的训练。3.基于测试数据的评价。要求：1.能使用NumPy实现两层神经网络模型。2.能利用MNIST数据集训练神经网络。3.能利用测试数据评价神经网络的泛化能力。模块3课程思政要求子学习情境1反向传播的实现神经网络的反向传播本章介绍了神经网络中的误差反向传播法，并以层为单位实现了神经网络中的处理。这些层中实现了forward和backward方法，通过将数据正向和反向地传播，可以高效地计算权重参数的梯度。通过使用层进行模块化，神经网络中可以自由地组装层，轻松构建出自己喜欢的网络。职业能力描述知识1.多层神经网络可以视为由多个点积（𝑑𝑜𝑡）、激活函数（𝑎𝑐𝑡𝑖𝑣𝑎𝑡𝑒可以是sigmoid、ReLU或softmax函数等）嵌套成的复合函数。2.基于复合函数求导的链式法则可以程式化的计算神经网络对权重的梯度，实现误差的反向传播。3.利用NumPy高效地实现ReLU层、Sigmoid层、Linear层、Softmax-with-Loss层等，这些层中实现了正向计算（forward）和反向计算（backward）方法。4.通过将数据正向和反向地传播，可以高效地计算权重参数的梯度。技能能够利用NumPy高效地实现ReLU层、Sigmoid层、Linear层和Softmax-with-Loss层。关键能力1.问题模型化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.反向传播。2.ReLU层及其NumPy实现。3.Sigmoid层及其NumPy实现。4.Linear层及其NumPy实现。5.Softmax-with-Loss层及其NumPy实现。要求：能够利用NumPy高效地实现ReLU层、Sigmoid层、Linear层和Softmax-with-Loss层。子学习情境2学习算法的实现职业能力描述知识1.通过使用层进行模块化，神经网络中可以自由地组装层，轻松构建出自己的网络。2.对应误差反向传播法的神经网络的实现。3.随机梯度下降法。技能1.理解构建多层神经网络模型SequentialNet。2.能使用NumPy实现随机梯度下降法SGD。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力‌。主要内容与要求主要内容：1.对应误差反向传播法的神经网络的实现。2.随机梯度下降法的实现。要求：1.理解构建多层神经网络模型SequentialNet。2.能使用NumPy实现随机梯度下降法SGD。子学习情境3训练与预测职业能力描述知识1.神经网络中有合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为学习。2.神经网络的学习分为下面4个步骤：步骤1（mini-batch），从训练数据中随机选择一部分数据；步骤2（计算梯度），计算损失函数关于各个权重参数的梯度；步骤3（更新参数），将权重参数沿梯度方向进行微小的更新；步骤4（重复），重复步骤1、步骤2、步骤3。3.根据神经网络的学习的4个步骤构建训练器。4.利用Fashion-MNIST数据集进行训练与推理。技能1.理解构建训练器的Python代码。2.能够利用SequentialNet构建出自己的深度神经网络，并利用MNIST数据集进行训练与推理。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。5.选择适当算法的能力。‌6.区分经验误差与泛化误差能力。主要内容与要求主要内容：1.根据神经网络的学习的4个步骤构建训练器。2.利用Fashion-MNIST数据集进行训练与推理。要求：1.理解构建训练器的Python代码。2.能够利用SequentialNet构建出自己的深度神经网络，并利用MNIST数据集进行训练与推理。模块4课程思政要求子学习情境1优化算法改善神经网络本章将介绍神经网络的学习中的一些重要观点，主题涉及寻找最优权重参数的最优化方法、权重参数的初始值等。为了应对过拟合，本章还将介绍权值衰减、Dropout等正则化方法，并进行实现。最后将对近年来众多研究中使用的批量规范化方法进行简单的介绍。这些都是现代神经网络中不可或缺的技术。使用本章介绍的方法，可以高效地进行神经网络（深度学习）的学习，提高识别精度。职业能力描述知识1.神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。2.除了SGD，参数更新方法还有Momentum、AdaGrad、RMSprop、Adam等方法。3.并不存在能在所有问题中都表现良好的方法。一般而言，与SGD相比，其他4种方法可以学习得更快，有时最终的识别精度也更高。技能1.理解动量法。2.理解AdaGrad。3.理解RMSprop。4.理解Adam算法。5.能够利用Python和MNIST数据集比较更新方法。6.能够改进训练器。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.参数更新的Momentum、AdaGrad、RMSprop、Adam等方法的实现。2.比较了参数更新的各种算法。与SGD相比，其他4种方法可以学习得更快，有时最终的识别精度也更高。要求：1.理解动量法。2.理解AdaGrad。3.理解RMSprop。4.理解Adam算法。5.能够利用Python和MNIST数据集比较更新方法。6.能够改进训练器。子学习情境2数值稳定性和模型初始化职业能力描述知识1.梯度消失和梯度爆炸是指训练神经网络时，导数或坡度有时会变得非常大，或者非常小，这加大了训练的难度。2.抑制梯度异常初始化。3.权重初始值的比较：随机初始化、sigmoid的权重初始值、ReLU的权重初始值。技能1.理解梯度消失和梯度爆炸。2.理解抑制梯度异常初始化。3.能够利用Python和MNIST数据集进行权重初始值的比较。关键能力1.问题模型化能力。2.复杂数据结构化能力。3.数据预处理能力。5.选择适当算法的能力。主要内容与要求主要内容：1.梯度消失和梯度爆炸。2.抑制梯度异常初始化。3.权重初始值的比较。要求：1.理解梯度消失和梯度爆炸。2.理解抑制梯度异常初始化。3.能够利用Python和MNIST数据集进行权重初始值的比较。子学习情境3正则化与规范化职业能力描述知识1.深度学习的根本问题是优化和泛化之间的对立。优化是指调节模型以在训练数据上得到最佳性能，而泛化是指训练好的模型在没见过的数据上的性能好坏。2.发生过拟合的原因，主要有以下两个：1）模型拥有大量参数、表现力强；2）训练数据少。3.抑制过拟合的正则化技术有权值衰减、Dropout等。

4.使用批量规范化（BatchNormalization）可以加速学习，并且对初始值变得健壮。5.Dropout层和规范化层中实现了forward和backward方法。6.改进模型：在SequentialNet神经网络模型上添加初始化、正则化和批量规范化方法。技能1.理解过拟合与欠拟合。2.理解权值衰减。3.理解Dropout正则化。4.理解批量规范化。5.能够改进SequentialNet神经网络模型，并能利用Fashion-MNIST数据集进行训练和推理。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。主要内容与要求主要内容：1.发生过拟合的原因，主要是：1）模型拥有大量参数、表现力强。2）训练数据少。3.抑制过拟合的正则化技术：权值衰减、Dropout。4.批量规范化。5.Dropout层和规范化层中实现了forward和backward方法；6.改进模型：在SequentialNet神经网络模型上添加初始化、正则化和批量规范化方法。要求：1.理解过拟合与欠拟合。2.理解权值衰减。3.理解Dropout正则化。4.理解批量规范化。5.能够改进SequentialNet神经网络模型，并能利用Fashion-MNIST数据集进行训练和推理。模块5课程思政要求子学习情境1从全连接到卷积卷积神经网络本章的主题是卷积神经网络（CNN）。CNN被用于图像识别、语音识别等各种场合，在图像识别的比赛中，基于深度学习的方法几乎都以CNN为基础。本章将详细介绍CNN的结构，并用Python实现其处理内容。通过实际案例分析，提高学生综合应用能力，培养求真务实的工作态度。职业能力描述知识1.全连接层将3维数据拉平为1维数据，无法利用与形状相关的信息。2.卷积层可以保持形状不变，卷积层的输入数据称为输入特征图，输出数据称为输出特征图。3.卷积运算是将各个位置上滤波器的元素和输入的对应元素相乘，然后再求和，也称为乘积累加运算。4.在进行卷积层的处理之前，有时要向输入数据的周围填入固定的数据，这称为填充。5.应用滤波器的位置间隔称为步幅。6.三维数据的卷积运算。技能1.理解卷积运算。2.理解填充。3.理解步幅。4.理解三维数据的卷积运算。5.能够根据输入大小，滤波器大小，填充和步幅计算，输出大小。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。3.数据预处理能力。4.特征理解和转换能力。5.选择适当算法的能力。主要内容与要求主要内容：1.卷积运算。2.填充。3.步幅。4.三维数据的卷积运算。要求：1.理解卷积运算。2.理解填充。3.理解步幅。4.理解三维数据的卷积运算。5.能够根据输入大小，滤波器大小，填充和步幅计算，输出大小。子学习情境2卷积层的实现职业能力描述知识1.四维数组和基于im2col的展开。2.卷积层中实现了forward和backward方法。技能1.理解卷积计算。2.理解四维数组。3.理解基于im2col的展开。4.理解卷积层的Python实现。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。4.特征理解和转换能力。5.选择适当算法的能力。主要内容与要求主要内容：1.四维数组和基于im2col的展开。2.卷积层中实现了forward和backward方法。要求：1.理解卷积计算。2.理解四维数组。3.理解基于im2col的展开。4.理解卷积层的Python实现。子学习情境3汇聚层的实现职业能力描述知识1.大部分神经网络中会添加汇聚层（也称池化层）和全连接层。2.汇聚是缩小高、宽方向上的空间的运算。3.汇聚只是从目标区域中取最大值（或者平均值），所以不存在要学习的参数；经过汇聚运算，输入数据和输出数据的通道数不会发生变化；汇聚对微小的位置变化具有鲁棒性（健壮）。4.汇聚层的实现中实现了forward和backward方法。技能1.掌握汇聚的计算。2.理解汇聚层的Python实现。关键能力1.问题模型化能力‌。2.复杂数据结构化能力。5.选择适当算法的能力。主要内容与要求主要内容：1.大部分神经网络中会添加汇聚层（也称池化层）和全连接层。2.汇聚是缩小高、宽方向上的空间的运算。3.汇聚只是从目标区域中取最大值（或者平均值），所以不存在要学习的参数；经过汇聚运算，输入数据和输出数据的通道数不会发生变化；汇聚对微小的位置变化具有鲁棒性（健壮）。4.汇聚层的实现中实现了forward和backward方法。要求：1.掌握汇聚的计算。2.理解汇聚层的Python实现。子学习情境4LeNet网络职业能力描述知识1.全连接的神经网络中，Linear层后面跟着激活函数