版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、mini-batch)梯度下降算法对?(批量下降随机下降?规模机器学习:&*.j-r亠野:-9f-水丄目窃科-MWCiiMrrJTOC o 1-5 h z线性回归的梯度下降算法:Batchgradientdescent(每次更新使?全部的训练样本)LinearregressroriwithgradientdescentIFH琴Jz卫2话d吓ta-l=典Repeat亍:.mv-T勺:=眄他旳L*i朗(foreveryj-0n)批量梯度下降算法(Batchgradientdescent):每计算?次梯度会遍历全部的训练样本,如果训练样本的?较多时,内存消耗过?。linearlegresionwit
2、h尹di亡ntdescent随机梯度下降算法:1、?先将随机打乱的训练样本数据2、外循环:(?般一10次即可,若内循环中次数100000以上,贝U?次即可)内循环:遍历所有的训练样本,每次梯度下降时使??个样本计算梯度。与批量梯度像算法相?,其下降曲线不停,图中右侧红?表?批量梯度下降算法,洋红表?随机梯度下降算法。StochasticgradientdescentRandomlyshuffle(reorder)trainingexamplesRepeatforiI*+f哲=町-严记(foreveryi=un)Mini-Batch梯度下降算法1、设置每次遍历的样本数b2、外循环:内循环:遍历所
3、有的样本,每b个样本更新?次梯度Mini-batchgradientdescentSa”jb=he=0()0RepeatR亠fori=,n.21,31画IF&t:Mflj-肆1届(*可)-沪加(foreveryJ=0T,)对?:批量下降:每次梯度更新使?全部的样本随机下将:每次梯度更新使?1个样本Mini-batch:每次梯度更新使?b个样本,b1,?于全部的样本数。fBatchgradientdescent:Use白1l”fexamplesineachiteration令Stochasticgradientdescent:Use1exampleineachiterationMini-batc
4、hgradientdescent:UseexamplesineachiterationLt岂h.L-随机梯度下降算法的收敛:1、在更新梯度前计算损失函数:2、?如:绘制损失函数的曲线每1000个样本CheckingforconvergencetBatchgradientdescent:-=PlotasafunctionofthenumberofiterationsofgradientdescS(亦动卵(N)-肿fStochasticgradientdescent:亠z(/.#);(加X)-泸尸上d?#-DuringlearningcoFnpuWbeforeupdatingusingW)T-jEverylOOOiterations(s
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 河南省南阳市2023-2024学年六年级上学期英语期中试卷(含答案)2
- 离子共存课件教学课件
- 国有企业退休人员社会化基本信息表
- 幼儿园科学课件教学
- 高中化学实验报告1
- 交通运输视频图像文字信息标注规范第7部分:综合客运枢纽
- 建筑装修-外装修-甘12J1-5
- 四年级上册语文园地三课件
- 2024年氟炭漆项目建议书
- 声纳发展现状及未来趋势分析图
- 《新能源汽车地下停放场所消防安全管理规范》编制说明
- 七年级体育与健康下册 蹲踞式跳远 助跑与起跳教案
- 人音版六年级上册第4课《包龙图打坐在开封府》教学设计
- 义务教育语文课程标准(2022年版)考试真题(含答案)
- 高中数学-函数奇偶性教学设计学情分析教材分析课后反思
- 自考00067财务管理学笔记串讲
- 2024年贵州毕节市直部分事业单位招聘工作人员196人历年重点基础提升难、易点模拟试题(共500题)附带答案详解
- 商务英语口语Task 5 Business Meals
- 12123交管学法减分考试题及答案(完整版)
- 2024年辽宁现代服务职业技术学院单招职业技能测试题库附答案
- 5以内加减法口算卡片
评论
0/150
提交评论