《深度学习实践补》课件

《深度学习实践补》课程介绍探索深度学习前沿技术与实践应用掌握从基础理论到实际部署的完整流程系统学习各类神经网络架构与优化方法课程目标与学习成果1掌握主流框架熟练使用PyTorch和TensorFlow开发模型2实现高级模型能独立构建CNN、RNN、Transformer等架构3解决实际问题应用深度学习解决计算机视觉与NLP任务4优化部署技能学习模型压缩与边缘设备部署方法深度学习回顾1感知机模型单层网络结构，线性分类能力2多层前馈网络引入隐藏层，解决非线性问题3反向传播算法高效计算梯度，实现网络训练4深层架构革命计算能力突破，模型规模扩展神经网络基础1深度网络多层架构提取复杂特征2激活函数引入非线性变换能力3神经元模型权重求和与激活计算4数学基础线性代数与微积分深度学习框架概述PyTorch动态计算图，研究友好TensorFlow静态图优化，生产部署强MXNet多语言API，高效分布式JAX函数变换，高性能计算PyTorch简介动态计算图灵活定义与修改网络结构命令式编程直观调试，适合研究探索丰富生态优质模型库与工具支持分布式训练多GPU与多节点扩展能力TensorFlow简介静态计算图预编译优化，高效执行多平台部署支持移动设备与浏览器生产级支持企业级应用与服务集成高级APIKeras简化模型构建流程数据预处理技巧数据清洗处理缺失值与异常值归一化/标准化统一特征值范围与分布特征工程提取关键信息，降低维度数据分割训练集/验证集/测试集划分数据增强方法几何变换旋转、翻转、缩放、裁剪颜色变换亮度、对比度、色相调整噪声添加高斯噪声、模糊、锐化随机擦除遮挡、CutOut、MixUp方法批量归一化（BatchNormalization）计算均值方差每批次特征统计量分析归一化处理转换为零均值单位方差缩放平移可学习参数调整分布加速收敛缓解梯度消失，稳定训练模型训练策略超参数选择学习率、批量大小设定1模型训练前向传播与梯度更新2性能评估验证集指标监控3参数调优根据评估结果优化配置4优化器选择SGD基础随机梯度下降，动量变体AdaGrad/RMSProp自适应学习率调整Adam结合动量与自适应调整LAMB/LARS大批量训练专用优化器学习率调整技巧训练周期固定学习率阶梯衰减余弦退火过拟合问题及解决方案增加数据量扩充训练集，增强多样性简化模型减少参数，降低复杂度正则化L1/L2约束，限制权重Dropout随机失活，提高泛化能力正则化技术L1正则化稀疏性约束，特征选择L2正则化权重衰减，防止过大弹性网络结合L1与L2的优势Dropout技术详解训练时随机断开神经元连接测试时保留所有连接但缩放权重等效于模型集成，提高泛化能力迁移学习基础1源任务知识预训练模型积累的能力2知识迁移将已学习特征用于新领域3目标任务应用针对特定问题优化模型4性能提升减少数据需求，加速收敛预训练模型应用1特征提取器冻结预训练层，仅训练新分类器2初始化基础以预训练权重为起点全面训练3部分层微调冻结底层，调整高层表示4知识蒸馏将大模型知识转移到小模型微调（Fine-tuning）技巧差异化学习率底层小学习率，高层大学习率渐进式解冻逐层解锁训练，自底向上目标任务适配定制输出层匹配新问题正则化控制防止过拟合小数据集卷积神经网络进阶深度可分离卷积分解标准卷积，降低计算量膨胀卷积扩大感受野，保持分辨率残差连接跳跃连接，缓解梯度问题注意力机制动态聚焦重要特征区域目标检测基础问题定义定位物体位置与分类种类评估指标IoU、精确率、召回率、AP主要方法单/两阶段检测器对比后处理非极大值抑制去重YOLO算法解析单阶段设计直接预测边界框与类别1网格划分将图像分成SxS网格单元2多尺度预测不同大小锚框共同作用3高效推理实时检测能力4语义分割入门像素级分类为每个像素分配类别编码器-解码器下采样提取特征，上采样恢复分辨率跳跃连接结合多尺度特征评估标准IoU、Dice系数U-Net架构详解对称编码器-解码器结构多层跳跃连接保留空间信息适用于医学图像等精细分割任务循环神经网络进阶1梯度问题长序列训练中的消失与爆炸2门控机制选择性记忆与遗忘信息3双向结构同时考虑上下文信息4注意力增强动态关注序列关键部分LSTM与GRU对比LSTM输入门、遗忘门、输出门更强记忆能力，参数更多GRU更新门、重置门简化结构，训练更快序列到序列模型编码器将输入序列转为上下文向量中间表示捕获输入序列的语义信息解码器生成目标序列输出应用领域机器翻译、文本摘要、对话系统注意力机制基础1选择性关注动态聚焦于相关输入部分2加权求和基于重要性分配权重3缓解瓶颈解决长序列信息压缩问题4提升性能显著改善序列建模效果Transformer架构解析1输出层根据任务生成结果2多层解码器自注意力与编码器注意力3多层编码器自注意力与前馈网络4位置编码注入序列位置信息5输入嵌入将符号转为向量表示BERT模型介绍双向编码同时考虑左右上下文预训练任务掩码语言模型与下一句预测迁移能力适用多种下游NLP任务变体模型RoBERTa、ALBERT、DistilBERTGPT系列模型概述1GPT-1初代自回归预训练模型2GPT-2扩展规模，零样本能力3GPT-31750亿参数，少样本学习4GPT-4多模态能力，增强推理自然语言处理实践文本预处理分词、清洗、标准化分词策略字符、词、子词分词方法词嵌入选择静态与上下文相关表示模型部署API服务与性能优化文本分类任务数据准备文本清洗与标签处理特征提取词嵌入与句子表示分类器设计CNN/RNN/Transformer选择评估优化准确率、F1值、混淆矩阵命名实体识别（NER）识别文本中的人名、地点、组织等实体序列标注问题，常用BIO标记方案双向LSTM结合CRF层提升识别性能机器翻译实践并行语料库大规模双语对齐文本编码器-解码器Transformer架构主导注意力机制动态对齐源语言与目标语言评估标准BLEU、METEOR、人工评估图像分类进阶残差网络跳跃连接缓解退化问题稠密连接每层连接到所有后续层复合缩放平衡深度/宽度/分辨率视觉Transformer将图像分块序列化处理图像风格迁移将艺术风格应用于内容图像分离内容与风格特征表示优化内容损失与风格损失的加权和生成对抗网络（GAN）基础生成器创造从随机噪声生成样本1判别器评估区分真实与生成样本2对抗训练零和博弈优化过程3渐进收敛生成样本质量提升4DCGAN实现设计原则使用卷积层替代全连接层批量归一化稳定训练生成器转置卷积实现上采样Tanh激活输出范围控制判别器LeakyReLU避免梯度稀疏无池化层保留空间信息条件生成对抗网络1条件输入为生成器和判别器提供控制信号2控制生成指定类别、属性或文本描述3应用场景类别条件生成、图像到图像转换4提升稳定性更好的模式覆盖与训练稳定性强化学习入门1环境交互智能体在环境中执行动作2奖励反馈获得即时或延迟奖励信号3策略优化调整行为最大化累积奖励4自主学习通过试错提升决策能力Q-learning算法状态-动作价值Q函数表示长期收益预期值迭代更新基于贝尔曼方程的迭代优化探索与利用ε-贪心策略平衡尝试与利用离线学习可从历史经验数据中学习深度Q网络（DQN）神经网络近似使用深度网络表示Q函数经验回放存储历史转换随机采样目标网络固定目标稳定训练过程突破性成果掌握多种Atari游戏策略梯度方法直接优化策略不经过值函数中介参数化表示神经网络建模动作概率梯度上升增大高回报动作概率连续动作空间自然处理连续控制问题Actor-Critic算法Actor网络策略模型，决定如何行动1Critic网络值函数，评估动作质量2优势函数减少方差，提升稳定性3双重更新交替优化两个网络4多任务学习特征共享底层表示为多任务共用知识迁移相关任务间互相促进平衡训练处理任务难度与数据不平衡元学习概念学会学习快速适应新任务的能力泛化迁移跨任务知识迁移优化初始化寻找适合快速适应的起点学习算法设计更好的优化过程少样本学习技术1数据增强扩充有限样本集2度量学习学习样本相似性度量3元学习学习快速适应新任务4迁移学习利用已有知识辅助自监督学习简介设计预训练任务利用数据内在结构创建监督信号无标签预训练学习通用特征表示下游任务微调利用学到的特征解决实际问题性能提升减少标注依赖，提高泛化能力对比学习方法学习将相似样本拉近，不同样本推远同一样本不同视角作为正样本对温度参数控制对比强度模型压缩与加速1硬件定制加速专用芯片与加速器2编译优化运算融合与内存管理3量化与剪枝降低精度与移除冗余4知识蒸馏小模型学习大模型能力5架构设计轻量化网络结构设计知识蒸馏技术教师模型大型高性能预训练模型软标签指导传递类别间相似性知识学生模型学习模仿教师输出与中间特征轻量级部署保留性能但大幅减小体积量化与剪枝量化降低数值精度FP32→FP16/INT8/INT4剪枝移除冗余连接结构化与非结构化方法边缘计算部署模型优化压缩、量化、优化计算图硬件适配针对边缘设备特性定制延迟控制平衡精度与响应时间功耗管理适应电池与散热限制模型可解释性注意力可视化关注区域热力图展示特征归因输入对预测的贡献度代理模型可解释模型近似黑盒行为概念分析高级特征与人类概念对应对抗样本与防御对抗攻击微小扰动引起错误预测现实威胁物理世界中的对抗样本防御策略对抗训练与输入净化检测方法识别与过滤对抗输入深度学习伦理与偏见数据偏见训练数据中的社会偏见1算法放大模型学习并强化偏见2社会影响不公平决策与歧视风险3