深度学习与梯度下降_第1页
深度学习与梯度下降_第2页
深度学习与梯度下降_第3页
深度学习与梯度下降_第4页
深度学习与梯度下降_第5页
已阅读5页，还剩3页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

深度学习与梯度下降目录CONTENTS1深度学习介绍2与梯度下降关系深度学习介绍PART0101什么是深度学习深度学习是机器学习的一个分支领域：它是从数据中学习表示的一种新方法，强调从连续的层（layer）中进行学习，这些层对应于越来越有意义的表示。“深度学习”中的“深度”指的并不是利用这种方法所获取的更深层次的理解，而是指一系列连续的表示层。数据模型中包含多少层，这被称为模型的深度（depth）。这一领域的其他名称包括分层表示学习和层级表示学习。现代深度学习通常包含数十个甚至上百个连续的表示层，这些表示层全都是从训练数据中自动学习的。在深度学习中，这些分层表示几乎总是通过叫作神经网络的模型来学习得到的。神经网络的结构是逐层堆叠。就我们的目的而言，深度学习是从数据中学习表示的一种数学框架。什么是深度学习与梯度下降关系PART0202与梯度下降关系

初始化权值的时候，我们处于损失函数图形中的A点。首先要做的就是查看A点移动的所有可能的方向，看看哪个方向是损失函数的值下降最陡峭的方向，这个就是我们必须移动的方向，它恰恰与梯度的方向相反。梯度是高维导数的另一种说法，它给出了最陡峭的上升方向。在A点移动的平面上有无限个方向，其中，准确来说只有一个使函数上升最快的方向，这个方向由梯度给出，与之相反的方向就是下降最快的方向。这就是算法名称的来源，我们沿着梯度的方向进行下降，所以就叫做梯度下降。现在，既然已经有了前进方向，我们必须决定需要采取步子的大小，而控制下降步幅大小的参数即学习率。为了保证降到最小值，我们必须谨慎地选择学习率。如果移动得太快，我们可能越过最小值，永远都不可能到达最小值。如果移动太慢，训练可能花费太长的时间，根本就不可行，此外太慢的学习率也容易让算法陷入极小值。一旦有了梯度和学习率，我们就开始行动，然后在最终到达的任何位置重新计算梯度，然后重复这个过程。梯度的方向告诉我们哪个方向上升的最快，它的幅值则表示最陡峭的上升/下降有多陡。所以，在最小值的地方，曲面轮

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论