深度学习案例教程 课件5.1梯度下降算法

目标检测第五章01理解图像分类、目标检测和实例分割的关系学习目标CONTENTS01理解图像分类、目标检测和实例分割的关系02掌握传统方法在目标检测领域的应用学习目标CONTENTS01理解图像分类、目标检测和实例分割的关系02掌握传统方法在目标检测领域的应用03

了解深度学习中目标检测和实例分割的基本原理学习目标CONTENTS01理解图像分类、目标检测和实例分割的关系02掌握传统方法在目标检测领域的应用03

了解深度学习中目标检测和实例分割的基本原理04熟悉R-CNN、FastR-CNN、FasterR-CNN和MaskR-CNN模型的工作原理学习目标CONTENTS01提高自主学习能力，通过阅读相关文献和实践操作来提高自己的专业素养素质目标CONTENTS01提高自主学习能力，通过阅读相关文献和实践操作来提高自己的专业素养02增强团队协作意识，与他人分享所学知识，共同进步素质目标CONTENTS01提高自主学习能力，通过阅读相关文献和实践操作来提高自己的专业素养02增强团队协作意识，与他人分享所学知识，共同进步03提高解决问题的能力，能够独立分析和解决实际问题素质目标CONTENTS使用Pytorch实现行人的目标检测使用Pytorch实现行人的实例分割

实践任务第一节

梯度下降法基于梯度的优化就是优化一个函数的最终取值。假设θ是函数的输入参数，f(θ)是需要优化的函数，那么基于梯度的优化是指改变θ以得到最小或最大的f(θ)。梯度下降算法是指沿着函数值下降变化最快的方向，改变θ而获得更小的f(θ)的技术。梯度下降法描述第一节

梯度下降法梯度下降的过程类似于下山的过程，我们找到一个最陡峭的方向，从此方向下山，下到山腰的某一点，又开始新的搜索，寻找另一个更加陡峭的方向，从那个更加陡峭的地方下山，不断重复这个过程，直到成功抵达山脚下。梯度下降法描述把整个样本切分为若干份，然后在每一份样本上实施梯度下降算法进行参数更新。批量梯度下降算法梯度下降法指每个批量只有一个样本，并且只在这一个样本上实施梯度下降算法进行参数更新。采取SGD，虽然模型训练起来更灵活，但坏处是算法很难收敛，由于每次只处理一个样本，效率很低。随机梯度下降算法一个理想的情形是纵轴的震荡减少，即学习变慢，而横轴的学习加快。批量梯度下降算法的改进有三种，分别是动量梯度下降算法、均方根加速算法和自适应矩估计算法。批量梯度下降算法的改进第一节

梯度下降法批量梯度下降算法(BatchGradientDescent,BGD)，就是把整个样本切分为若干份，然后在每一份样本上实施梯度下降算法进行参数更新。假设有10万个样本，随机排序后，按照5000大小切分成20份，每一份称为一个批量(Batch),在每一个Batch上计算梯度并优化，这样网络的训练效率会大大提高。批量梯度下降算法第一节

梯度下降法随机梯度下降算法(StochasticGradientDescent,SGD)，是指每个批量只有一个样本，并且只在这一个样本上实施梯度下降算法进行参数更新。采取SGD，虽然模型训练起来更灵活，但坏处是算法很难收敛，由于每次只处理一个样本，效率很低。随机梯度下降算法第一节

梯度下降法梯度下降、批量梯度下降与随机梯度下降算法之间的联系与区别：联系：都是基于梯度下降算法的策略。区别：执行一次计算所需的样本量不同。

联系与区别第一节

梯度下降法无论是批量梯度下降，还是随机梯度下降，都无法避免在纵轴上的震荡问题。一个理想的情形是纵轴的震荡减少，即学习变慢，而横轴的学习加快。批量梯度下降算法的改进第一节

梯度下降法(1)动量梯度下降(GradientDescentwithMomentum)算法：考虑了历史梯度的加权平均作为速率进行优化的方法。批量梯度下降算法的改进第一节

梯度下降法(1)动量梯度下降(GradientDescentwithMomentum)算法：考虑了历史梯度的加权平均作为速率进行优化的方法。(2)均方根加速(RootMeanSquareProp,RMSProp)算法：指对历史梯度加权时，对当前梯度取了平方，并在参数更新时，让当前梯度对历史梯度开根号后的值做了除法运算。批量梯度下降算法的改进第一节

梯度下降法(1)动量梯度下降(GradientDescentwithMomentum)算法：考虑了历史梯度的加权平均作为速率进行优化的方法。(2)均方根加速(RootMeanSquareProp,RMSProp)算法：指对历史梯度加权时，对当前梯度取了平方，并在参数更新时，让当前梯度对历史梯度开根号后的值做了除法运算