《深度学习算法》课件2

深度学习算法探索人工智能前沿课程概述1课程目标掌握深度学习核心算法原理2学习内容从基础神经网络到前沿模型架构先修知识什么是深度学习？定义机器学习子领域，基于深层神经网络模拟人脑学习过程与传统机器学习区别自动特征提取，无需人工设计特征深度学习优势处理非结构化数据能力强，可学习复杂模式深度学习的发展历程11943年McCulloch和Pitts提出首个神经元数学模型21986年Hinton提出反向传播算法32012年AlexNet在ImageNet竞赛中取得突破42016-至今Transformer革命与大型语言模型兴起神经网络基础生物神经元vs人工神经元树突→输入，细胞体→加权求和，轴突→输出激活函数引入非线性，使网络能学习复杂函数单层感知器最简单神经网络，仅能解决线性可分问题多层感知器（MLP）结构输入层、隐藏层、输出层组成的前馈神经网络前向传播数据从输入层流向输出层，逐层计算反向传播误差从输出层反向传递，更新各层权重激活函数详解Sigmoid输出范围0-1，早期常用，存在梯度消失问题Tanh输出范围-1到1，零中心化，仍有梯度问题ReLUmax(0,x)，计算高效，解决梯度消失变体LeakyReLU、PReLU、ELU改进负值区间表现损失函数均方误差（MSE）回归任务常用，计算预测值与真实值差的平方和交叉熵分类任务首选，衡量两个概率分布差异HingeLoss支持向量机中使用，最大化分类间隔优化算法梯度下降法使用全部数据计算梯度，更新慢但稳定随机梯度下降每次仅用一个样本，更新快但波动大Mini-batch梯度下降折中方案，平衡计算效率与稳定性高级优化算法1Momentum引入动量，加速收敛并克服局部最小值2AdaGrad自适应学习率，参数更新根据历史梯度调整3Adam结合动量和自适应学习率，目前最流行算法过拟合问题定义模型训练表现好，泛化能力差1表现训练误差低，测试误差高2原因模型过于复杂，训练数据不足3解决方向正则化、数据增强、提前停止4正则化技术L1正则化添加权重绝对值惩罚项，促进特征稀疏L2正则化添加权重平方惩罚项，防止权重过大Dropout训练时随机关闭部分神经元，防止共适应批量归一化（BatchNormalization）原理标准化每层输入，缓解内部协变量偏移优点加速训练，允许更高学习率，减少初始化依赖实现在每个小批量上计算均值方差，进行归一化转换卷积神经网络（CNN）概述1基本结构卷积层+池化层+全连接层的层级结构2与MLP区别局部连接和权重共享，空间结构敏感3适用场景图像识别、视频分析、语音处理等CNN核心组件：卷积层1卷积操作滤波器在输入上滑动，计算点积2卷积核学习提取特定特征的权重矩阵3步长和填充控制输出大小和边界处理方式CNN核心组件：池化层最大池化：取区域最大值，保留显著特征平均池化：计算区域平均值，平滑特征池化作用：降维、减少计算量、增加平移不变性经典CNN架构1LeNet-5(1998)首个成功CNN，手写数字识别2AlexNet(2012)深度CNN突破，ImageNet冠军3VGGNet(2014)使用小卷积核和深度设计，结构规整现代CNN架构ResNet残差连接解决深层网络退化问题Inception并行多尺度卷积，提高特征多样性DenseNet密集连接每层，强化特征重用循环神经网络（RNN）概述基本结构包含循环连接，能处理序列数据适用场景文本、语音、时间序列等顺序数据与前馈网络区别有记忆能力，考虑历史信息RNN的前向传播和反向传播时间展开将循环结构展开为链式结构处理BPTT算法沿时间反向传播误差，更新权重长序列训练时存在梯度消失或爆炸问题长短期记忆网络（LSTM）1解决问题缓解梯度消失，捕获长期依赖2门控机制输入门、遗忘门、输出门控制信息流3细胞状态长期记忆通道，保存重要信息门控循环单元（GRU）结构特点更新门和重置门，简化版LSTM与LSTM比较参数更少，训练更快，性能相当应用场景资源受限环境，数据量较小情况序列到序列模型（Seq2Seq）编码器将输入序列编码为固定长度向量解码器将编码向量解码为目标序列应用机器翻译、文本摘要、对话系统BeamSearch解码时保留多个候选序列，提高质量注意力机制Self-Attention序列内部元素相互关注1Multi-Head多个注意力头并行计算2优势捕获长距离依赖，并行计算3应用增强编解码器模型能力4Transformer模型整体架构编码器-解码器结构，完全基于注意力机制位置编码添加位置信息，弥补序列顺序缺失优势与应用并行训练，处理长序列，NLP革命性进步BERT模型预训练与微调大规模无监督预训练后针对任务微调双向编码同时考虑上下文，全面理解语义应用场景文本分类、问答系统、命名实体识别GPT系列模型1自回归特性单向预测，从左到右生成文本2规模突破GPT-3具1750亿参数，少样本学习能力强3伦理考量可能产生偏见内容，需谨慎使用生成对抗网络（GAN）基本原理生成器和判别器相互博弈学习生成器创造逼真样本，目标是欺骗判别器判别器区分真假样本，提升鉴别能力训练过程交替优化两网络，达到纳什均衡GAN的变体DCGAN引入卷积层，稳定训练，生成高质量图像CycleGAN无需配对数据的图像转换，保持内容一致StyleGAN控制生成图像风格，产生逼真人脸自编码器1结构原理编码器压缩信息，解码器重建数据2降噪自编码器输入加噪声，学习恢复原始数据3变分自编码器学习潜在空间概率分布，可控生成深度强化学习1234马尔可夫决策过程状态、动作、奖励、状态转移Q-learning学习状态-动作价值函数DQN深度Q网络，结合Q学习与深度神经网络经验回放存储交互经验，打破样本相关性策略梯度方法1REINFORCE直接优化策略，高方差2Actor-Critic结合策略和价值学习，降低方差3PPO近端策略优化，稳定高效迁移学习定义利用已有知识解决新问题预训练模型大数据集训练后迁移至小数据集微调策略冻结部分层，仅训练任务相关层领域适应减少源域与目标域分布差异小样本学习问题定义：仅少量样本学习新类别元学习：学会如何学习，快速适应新任务原型网络：计算类别原型，基于距离分类联邦学习1核心思想数据本地训练，仅共享模型更新2隐私保护原始数据不离开设备，降低泄露风险3应用场景医疗数据分析，移动设备协作图神经网络（GNN）图数据表示节点、边、特征的结构化信息消息传递聚合邻居信息，更新节点表示图卷积网络拓展卷积到非规则数据结构知识图谱与深度学习知识表示学习实体和关系嵌入到低维向量空间TransE模型关系建模为向量空间中的平移操作知识图谱补全预测缺失的实体关系，扩展知识库多模态学习跨模态表示将不同模态数据映射到共享语义空间视觉-语言预训练图像文本对联合建模，理解双模态内容CLIP模型对比学习连接图像文本，零样本迁移能力强神经网络压缩与加速模型剪枝移除不重要连接，减少参数量1知识蒸馏大模型知识迁移到小模型2量化技术降低权重精度，减少存储需求3低秩分解分解权重矩阵，压缩模型规模4AutoML与神经架构搜索1问题定义自动寻找最优网络结构，减少人工设计2搜索空间定义可能架构集合，包含层类型和连接方式3搜索策略进化算法、强化学习、梯度下降等方法4效率提升权重共享、早停等技术加速搜索过程可解释AI重要性增加透明度，建立信任，满足法规要求局部解释LIME、SHAP等解释单个预测全局解释理解模型整体行为和决策边界对抗样本与鲁棒性1攻击类型白盒攻击利用梯度，黑盒攻击不需内部信息2防御策略对抗训练、输入处理、模型蒸馏提高鲁棒性3鲁棒性评估测试在不同扰动下模型性能稳定性深度学习的可靠性与安全性不确定性估计模型预测置信度评估，知道何时不知道异常检测识别偏离正常模式的样本，提高安全性模型校准确保预测概率与真实概率一致因果推理与深度学习相关vs因果区分统计相关性与因果关系因果发现从数据中学习因果图结构因果推理预测干预效果，回答"假如"问题深度学习在计算机视觉中的应用图像分类识别图像主要内容，如ImageNet挑战目标检测定位并识别多个物体，如YOLO、FasterR-CNN语义分割像素级分类，明确物体边界深度学习在自然语言处理中的应用1文本分类情感分析、主题分类、垃圾邮件检测2命名实体识别识别文本中人名、地点、组织等实体3机器翻译语言间自动转换，如谷歌翻译4问答系统理解问题并生成答案深度学习在语音识别中的应用声学模型：将语音信号转换为音素序列语言模型：预测单词概率，修正音素识别错误端到端ASR：直接从语音到文本，跳过中间步骤深度学习在推荐系统中的应用1协同过滤基于用户相似性或物品相似性的推荐2深度兴趣网络建模用户动态兴趣，提高点击率预测3序列推荐考虑用户行为时序信息的个性化推荐深度学习在医疗健康领域的应用深度学习显著提高了医疗准确率，尤其在药物发现领域深度学习在金融领域的应用风险评估信用评分模型，违约风险预测欺诈检测异常交易识别，防范金融欺诈量化交易市场预测，自动交易策略优化客户画像精准营销，个性化金融产品推荐深度学习在自动驾驶中的应用环境感知物体检测与追踪，场景理解1路径规划安全高效导航，避障策略2决策控制行为预测，多智能体协调3端到端学习直接从感知到控制的映射4深度学习在游戏AI中的应用AlphaGo系列深度强化学习与蒙特卡洛树搜索结合电子游戏从像素直接学习策略，超越人类水平游戏设计自动生成地形、角色、故事情节深度学习的硬件基础1GPU加速并行计算能力强，矩阵运算高效2TPU与NPU专为神经网络设计，能效比更高3分布式训练多设备协同，加速大模型训练4边缘计算模型部署至终端设备，降低延迟深度学习框架对比框架优势劣势适用场景TensorFlow生产部署强API复杂工业应用PyTorch动态图易用部署不便研究实验MXNet多语言支持社区小分布式训练模型部署与服务模型序列化ONNX格式转换，跨平台兼容容器化Docker封装环境依赖，便于迁移API服务RESTful接口提供推理能力边缘部署模型压缩优化，适应资源受限设备深度学习的伦理问题隐私保护数据收集和使用中的用户隐私考量1算法偏见训练数据中的社会偏见可能被放大2透明度黑盒模型难以解释的决策过程3社会影响就业替代、信息茧房等广泛问题4深度学习的未来趋势大规模预训练超大模型如GPT、DALL-E成为基础设施低资源学习小数据、低能耗、轻量级模型发展神经-符号融合结合神经网络与符号推理优势如何进行深度学习研究问题定义明确研究目标，文献调研，找准切入点实验设计合理