《深度学习技术》课件

深度学习技术探索人工智能的前沿技术，了解神经网络如何改变我们的世界课程概述1课程目标掌握深度学习核心理论与实践技能2学习内容神经网络基础到前沿应用全覆盖3考核方式理论测试与实践项目相结合第一章：深度学习基础人工智能发展历程从图灵测试到现代AI机器学习与深度学习关系子集关系与核心区别深度学习优势自动特征提取与模型能力人工智能发展历程1图灵测试（1950年）机器智能评估的开创性概念2达特茅斯会议（1956年）人工智能学科正式诞生3AI冬天（1974-1993年）两次研究低谷与资金减少4深度学习兴起（2006年至今）计算能力与数据推动新繁荣机器学习与深度学习的关系1深度学习神经网络多层结构2表示学习自动学习数据表示3机器学习从数据中学习模式4人工智能模拟人类智能的广泛领域深度学习的优势自动特征提取无需手工设计特征端到端学习直接从原始数据到最终输出强大表示能力可学习复杂非线性关系迁移学习能力知识可跨任务迁移第二章：神经网络基础生物神经元与人工神经元从自然到人工的智能单元激活函数引入非线性变换前向传播信息流动与计算过程生物神经元与人工神经元生物神经元结构树突、细胞体、轴突组成人工神经元模型输入、权重、求和、激活权重和偏置决定神经元对输入的响应强度激活函数激活函数引入非线性，使网络能学习复杂模式前向传播输入层原始数据进入网络隐藏层加权求和后通过激活函数输出层产生最终预测结果第三章：深度神经网络训练损失函数衡量模型预测与真实值差距1反向传播算法计算梯度的高效方法2优化算法更新参数以减小损失3损失函数均方误差(MSE)回归问题常用交叉熵损失分类任务首选Hinge损失支持向量机与边界优化反向传播算法1前向计算从输入到输出2计算损失评估预测质量3反向传递误差应用链式法则计算梯度优化算法随机梯度下降(SGD)基础算法，波动大Momentum累积梯度加速收敛Adam优化器自适应学习率，更稳定第四章：卷积神经网络(CNN)1CNN的基本结构专为处理网格数据设计2卷积层使用滤波器提取空间特征3池化层降维并保留重要信息CNN的基本结构1输入层原始图像数据2卷积层提取局部特征3激活函数层引入非线性4池化层降低维度，提高鲁棒性5全连接层综合特征进行分类卷积层卷积核概念提取局部特征的滤波器步长和填充控制特征图尺寸特征图卷积结果表示提取的特征池化层最大池化保留区域最大值平均池化计算区域平均值全局池化整个特征图压缩为单值经典CNN架构1LeNet-5(1998)首个成功的CNN，手写数字识别2AlexNet(2012)深度学习复兴，ImageNet冠军3VGGNet(2014)简单统一结构，3x3卷积堆叠4ResNet(2015)残差连接突破层数限制第五章：循环神经网络(RNN)RNN基本结构处理序列数据的网络长短期记忆网络(LSTM)解决长期依赖问题门控循环单元(GRU)LSTM的简化变体RNN基本结构循环连接状态在时间步间传递展开的RNN多时间步的计算图时间反向传播贯穿时间的梯度计算长短期记忆网络(LSTM)遗忘门决定丢弃哪些信息输入门控制新信息更新输出门筛选输出内容记忆单元长期存储信息门控循环单元(GRU)重置门控制忽略先前状态程度更新门控制新旧信息比例与LSTM比较更简单，参数更少第六章：生成对抗网络(GAN)GAN基本原理生成器与判别器对抗学习1生成器网络创造逼真样本2判别器网络区分真假数据3训练过程博弈平衡达成4GAN的基本原理零和博弈一方收益等于另一方损失生成器目标生成判别器无法识别的样本判别器目标准确区分真实与生成样本生成器和判别器生成器网络结构从随机噪声创造数据判别器网络结构二分类器判别真假损失函数设计对抗目标的数学表达GAN的训练过程固定G训练D判别器学习区分真假固定D训练G生成器改进生成质量重复迭代达到纳什均衡评估生成质量FID、IS等指标第七章：深度强化学习强化学习基础智能体与环境交互Q-learning经典表格式强化学习算法深度Q网络(DQN)深度学习与强化学习结合强化学习基础智能体通过试错学习与环境交互的最优策略Q-learningQ值更新公式当前Q值+学习率×时间差分误差ε-贪心策略平衡探索与利用经验回放存储并重用历史交互数据深度Q网络(DQN)神经网络替代Q表处理高维状态空间目标网络稳定训练过程DoubleDQN减轻Q值过估计第八章：迁移学习迁移学习概念知识跨领域应用预训练模型已学习通用表示的网络微调技术针对特定任务的适应迁移学习概念123知识迁移源任务学习帮助目标任务领域自适应处理分布差异多任务学习同时学习多个相关任务预训练模型ImageNet预训练模型视觉任务基础模型BERT预训练模型双向语言理解GPT系列模型生成式预训练转换器微调技术冻结层策略锁定前层，仅训练后层学习率调整不同层使用不同学习率渐进式微调逐步解冻更多层第九章：模型压缩与加速1模型剪枝移除冗余连接与神经元2知识蒸馏小模型学习大模型知识3量化技术降低参数精度模型剪枝权重剪枝移除小权重连接通道剪枝移除整个特征通道结构化剪枝保持规则结构的剪枝知识蒸馏1训练教师模型大型复杂网络2提取软标签教师模型概率输出3训练学生模型模仿教师知识的小网络量化技术定点量化浮点数转换为整数二值化网络权重限制为+1/-1量化感知训练训练过程模拟量化效果第十章：深度学习框架TensorFlowGoogle开发的端到端平台PyTorchFacebook的动态计算图框架MXNetAmazon支持的高效框架TensorFlowGoogle开发的完整生态系统，从研究到生产部署PyTorch动态计算图运行时构建的计算图autograd机制自动微分追踪操作nn.Module类构建神经网络的基础MXNet符号式编程静态定义计算图命令式编程即时执行操作Gluon接口高级API简化开发第十一章：计算机视觉应用图像分类识别图像主要内容目标检测定位并分类多个物体图像分割像素级别的精确识别图像分类数据集ImageNet与CIFAR-10评估指标准确率与Top-5错误率实现示例迁移学习应用目标检测一阶段检测器YOLO与SSD速度快二阶段检测器FasterR-CNN精度高评估指标mAP衡量检测质量图像分割语义分割FCN与U-Net像素分类实例分割MaskR-CNN区分个体全景分割PanopticFPN统一处理第十二章：自然语言处理应用词嵌入文本数值表示1序列到序列模型变长序列转换2注意力机制关注重要信息3Transformer自注意力架构4词嵌入维度空间训练速度语义捕获词嵌入将单词映射到低维向量空间，捕获语义关系序列到序列模型机器翻译语言间转换文本摘要生成关键内容概述对话系统生成上下文相关回复注意力机制与Transformer自注意力序列内部关系建模多头注意力并行处理不同特征位置编码保留序列顺序信息第十三章：语音识别与合成1语音特征提取从原始波形获取特征2声学模型特征映射到音素3语言模型音素序列转换为文本语音特征提取将声音波形转换为深度学习模型可处理的表示声学模型HMM-DNN混合模型结合统计模型与神经网络CTC模型端到端训练无需对齐RNN-T模型流式识别的转录器语言模型N-gram模型基于词序列概率神经网络语言模型更强的泛化能力BERT应用上下文感知的语言理解第十四章：深度学习前沿元学习学会如何学习图神经网络处理图结构数据神经架构搜索自动设计网络结构元学习1快速适应少量样本学习新任务2MAML算法学习最优初始化参数3Reptile算法MAML的一阶近似简化图神经网络图卷积网络(