随机梯度下降法概述_第1页
随机梯度下降法概述_第2页
随机梯度下降法概述_第3页
随机梯度下降法概述_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、本节开始介绍第一个机器学习模型：线性回归模型(Linear Regression Model)。线性回 归的目的是预测连续变量的值，比如股票走势，房屋的价格预测。从某种程度上说，线性 回归模型，就是函数拟合。而线性回归，针对线性模型拟合，是回归模型当中最简单一种。形式化描述回归模型：对于给定的训练样本集包含N个训练样本x(i)相应的目标值 t(i)(i=1,2,.N)，我们的目的是给定一个新样本x预测其值t，注意与分类问题不同是地 属于连续变量。最简单的线性回归模型:。(犯 W)=祀口 +，+ WDXD其中，x=x1,x2,x3,.xD，D个特征项，w=w1,w2,w3.wD，被称为参数或者权

2、重。线性回 归模型的关系是求出w。上面的公式可以简化为:M-g(g W)=初口 + 2 吗饱 I*)其中$(x)被成为集函数，令0O(X)= 1，则上式又可以写成:M-1(3)gw) = E 叱饱(x) = wT(x)；：=n集函数的一般有多项式集函数，比如Gaussian集函数，Sigmoidal集函数。为方便出公 式推导，我们假设：最简单的集函数形式：气(x) = xj为了求出模型参数(一旦w求出，模型就被确定)，我们首先需要定义出错误函数 或者(error function)或者又被成为损失函数(cost function)，优化损失函数的过程便是 模型求解的过程。我们定义线性回归模型的

3、损失函数：1 N2所()=!广)一讨必)(4)优化当前函数有很多方便，包括随机梯度下降算法(gradient descent algorithm)算法步 骤如下：随机起始参数W;按照梯度反方向更新参数W直到函数收敛。算法公式表示：wT+l =wx - rVEtt(5)其中，n表示学习速率(learning rate)。倒三角表示对损失函数求导，得到导数方向。对公 式(4 )求导后：此=讨+门 (舟)一(讶)舟)*)公式（5）更新方法又被称为批梯度下降算法（batch gradient descent algorithm）, 每更新一次W需要遍历所有的训练样本，当样本量很大是，将会是非常耗时的。另一种 更新方法，随机梯度下降的算法，每次碰到一个样本，即对W进行更新：”+i =讶 +VW）*随机梯度算法速度要远于批更新，但可能会得到局部最优解。需要注意的是，在随机

人人文库> 全部分类> 图纸下载 > 毕业设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论