深度学习及自动驾驶应用 课件 第4章 网络优化与正则化

Chapter4网络优化与正则化第四章DeepLearningAndAutonomousDriving深度学习与自动驾驶应用DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第2页4.4数据预处理4.1网络优化4.3参数初始化方法4.2优化方法4.5逐层归一化目录Content4.6超参数优化4.7网络正则化DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第3页深度学习的矛与盾正则化优化降低模型复杂度经验风险最小DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第4页4.1网络优化结构差异大没有通用的优化算法超参数多非凸优化问题参数初始化逃离局部最优梯度消失（爆炸）问题平坦最小值（FlatMinima）一个平坦最小值的邻域内，所有点对应的训练损失都比较接近大部分的局部最小解是等价的局部最小解对应的训练损失都可能非常接近于全局最小解对应的训练损失DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第5页4.1网络优化高维空间的非凸优化问题鞍点（SaddlePoint）驻点（StationaryPoint）：梯度为0的点DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第6页4.1网络优化VISUALIZINGTHELOSSLANDSCAPEOFNNwithoutskipconnectionswithskipconnectionsLiH,XuZ,TaylorG,etal.Visualizingthelosslandscapeofneuralnets[C]//AdvancesinNeuralInformationProcessingSystems.2018:6389-6399.DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第7页4.1网络优化神经网络优化的改善方法更有效的优化算法来提高优化方法的效率和稳定性动态学习率调整梯度估计修正更好的参数初始化方法、数据预处理方法来提高优化效率修改网络结构来得到更好的优化地形优化地形（OptimizationLandscape）指在高维空间中损失函数的曲面形状好的优化地形通常比较平滑使用ReLU激活函数、残差连接、逐层归一化等使用更好的超参数优化方法DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第8页4.2优化方法随机梯度下降DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第9页4.2优化方法小批量随机梯度下降minibatch

几个关键因素：小批量样本数量梯度学习率DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第10页4.2优化方法批量大小的影响批量大小不影响随机梯度的期望，但是会影响随机梯度的方差批量越大，随机梯度的方差越小，引入的噪声也越小，训练也越稳定，因此可以设置较大的学习率而批量较小时，需要设置较小的学习率，否则模型会不收敛4种批量大小对应的学习率设置不同，因此并不是严格对比小批量梯度下降中，每次选取样本数量对损失下降的影响DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第11页4.2优化方法改进方法标准的（小批量）梯度下降学习率学习率衰减AdagradAdadeltaRMSprop梯度Momentum计算负梯度的“加权移动平均”作为参数的更新方向Nesterovacceleratedgradient梯度截断Adamisbetterchoice!Adam梯度方向实际更新方向DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第12页4.2优化方法学习率的影响DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第13页4.2优化方法学习率的衰减梯级衰减（stepdecay）线性衰减（LinearDecay）衰减示意图DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第14页4.2优化方法周期性学习率的调整DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第15页4.2优化方法CyclicalLearningRatesDeepLearningAndAutonomousDriving深度学习与自动驾驶应用第16页4.2优化方法自适应学习率AdagradRMSpropAdadeltaDeepLearningAndAutonomousDriving深度学习与自动驾驶应用第17页5.2优化方法梯度方向优化动量法（MomentumMethod）用之前积累动量来替代真正的梯度。每次迭代的梯度可以看作是加速度DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第18页4.2优化方法梯度方向优化Nesterov加速梯度DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第19页4.2优化方法梯度方向优化Adam算法≈动量法+RMSprop先计算两个移动平均偏差修正更新DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第20页4.2优化方法鞍点几种方法的对比DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第21页4.2优化方法梯度截断梯度截断是一种比较简单的启发式方法，把梯度的模限定在一个区间，当梯度的模小于或大于这个区间时就进行截断按值截断按模截断DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第22页4.2优化方法小结大部分优化算法可以使用下面公式来统一描述概括：gt为第t步的梯度αt为第t步的学习率DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第23页4.3参数初始化方法参数初始化参数不能初始化为0！为什么？对称权重问题！初始化方法预训练初始化随机初始化固定值初始化偏置（Bias）通常用0来初始化DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第24页4.3参数初始化方法随机初始化Gaussian分布初始化

Gaussian初始化方法是最简单的初始化方法，参数从一个固定均值（比如0）和固定方差（比如0.01）的Gaussian分布进行随机初始化。均匀分布初始化参数可以在区间[−r,r]内采用均匀分布进行初始化。DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第25页4.3参数初始化方法随机初始化范数保持性（Norm-Preserving）一个𝑀层的等宽线性网络为了避免梯度消失或梯度爆炸问题，我们希望误差项基于方差缩放的参数初始化正交初始化DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第26页5.3参数初始化方法随机初始化基于方差缩放的参数初始化Xavier初始化和He初始化正交初始化1）用均值为0、方差为1的高斯分布初始化一个矩阵2）将这个矩阵用奇异值分解得到两个正交矩阵，并使用其中之一作为权重矩阵DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第27页5.4数据预处理5.1网络优化5.3参数初始化方法5.2优化方法5.5逐层归一化目录Content5.6超参数优化5.7网络正则化DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第28页5.4数据预处理数据归一化

数据归一化最小最大值归一化标准化PCA

数据归一化对梯度的影响DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第29页5.5逐层归一化逐层归一化

目的更好的尺度不变性内部协变量偏移更平滑的优化地形

归一化方法批量归一化（BatchNormalization，BN）层归一化（LayerNormalization）权重归一化（WeightNormalization）局部响应归一化（LocalResponseNormalization，LRN）DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第30页5.5逐层归一化批量归一化给定一个包含K个样本的小批量样本集合，计算均值和方差批量归一化DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第31页5.5逐层归一化层归一化

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第32页5.5逐层归一化批量归一化VS层归一化DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第33页5.5逐层归一化其他归一化方法DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第34页5.4数据预处理5.1网络优化5.3参数初始化方法5.2优化方法5.5逐层归一化目录Content5.6超参数优化5.7网络正则化DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第35页5.6超参数优化超参数层数每层神经元个数激活函数学习率（以及动态调整算法）正则化系数mini-batch大小优化方法网格搜索随机搜索贝叶斯优化动态资源分配神经架构搜索DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第36页5.6超参数优化超参数假设总共有K个超参数，第k个超参数的可以取𝑚_𝑘个值如果参数是连续的，可以将参数离散化，选择几个“经验”值。比如学习率α，我们可以设置

这些超参数可以有𝑚_1×𝑚_2×···×𝑚_𝐾个取值组合网格搜索α∈{0.01,0.1,0.5,1.0}DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第37页4.7网络正则化神经网络过度参数化拟合能力强泛化性差ZhangC,BengioS,HardtM,etal.Understandingdeeplearningrequiresrethinkinggeneralization[J].arXivpreprintarXiv:1611.03530,2016.DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第38页5.7网络正则化L1/L2约束、数据增强权重衰减、随机梯度下降、提前停止所有损害优化的方法都是正则化。增加优化约束干扰优化过程DeepLearningAndAutonomousDriving深度学习与自动驾驶应用4.7网络正则化

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用5.7网络正则化L1和L2正则化

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用4.7网络正则化神经网络示例不同的正则化系数DeepLearningAndAutonomousDriving深度学习与自动驾驶应用4.7网络正则化提前停止我们使用一个验证集（ValidationDataset）来测试每一次迭代的参数在验证集上是否最优。如果在验证集上的错误率不再下降，就停止迭代DeepLearningAndAutonomousDriving深度学习与自动驾驶应用5.7网络正则化权重衰减

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用4.7网络正则化丢弃法（DropoutMethod）

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用4.7网络正则化循环神经网络上的丢弃法（DropoutMethod）当在循环神经网络上应用丢弃法，不能直接对每个时刻的隐状态进行随机丢弃，这样会损害循环网络在时间维度上记忆能力变分Dropout根据贝叶斯学习的解释，丢弃法是一种对参数θ的采样每次采样的参数需要