




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、监督学习应用与梯度下降分类: machine learning2014-04-12 23:42 17人阅读 评论(0) 收藏 举报本课内容:1、 线性回归2、 梯度下降3、 正规方程组 (复习)监督学习:告诉算法每个样本的正确答案,学习后的算法对新的输入也能输入正确的答案 1、 线性回归例:Alvin汽车,先让人开车,Alvin摄像头观看(训练),而后实现自动驾驶。本质是一个回归问题,汽车尝试预测行驶方向。 例:上一节课的房屋大小与价格数据
2、集 引入通用符号:m = 训练样本数x = 输入变量(特征)y = 输出变量(目标变量)(x,y) 一个样本 第i个训练样本 = 本例中:m:数据个数,x:房屋大小,y:价格 监督学习过程:1) 将训练样本提供给学习算法2) 算法生成一个输出函数(一般用h表示,成为假设)3)
3、0; 这个函数接收输入,输出结果。(本例中为,接收房屋面积,输出房价)将x映射到y。如下图所示: 对假设进行线性表示: 通常来说,回归问题有多个输入特征。如上例中,我们还已知房屋的卧室数,即有个第二个特征。即表示大小,表示卧室数,则可将假设写成: 为了将公式写整洁,定义,则h可写成:n = 特征数目, :参数 选择的目的,是使h(x)与y的平方差尽量小。又由于有m个训练样本,需要计算每个样本的平方差,最后为了简化结果乘以1/2,即:我们要做的就是求:min(J()求min(J()方法:梯度下降和正规方
4、程组 2、 梯度下降梯度下降是一种搜索算法,基本思想:先给出参数向量一个初始值,比如0向量;不断改变,使得J()不断缩小。 改变 的方法:梯度下降如图所示,水平坐标轴表示,垂直坐标表示J() 一开始选择0向量作为初始值,假设该三维图为一个三维地表,0向量的点位于一座“山”上。梯度下降的方法是,你环视一周,寻找下降最快的路径,即为梯度的方向,每次下降一小步,再环视四周,继续下降,以此类推。结果到达一个局部最小值,如下图: 当然,若初始点不同,则结果可能为另一个完全不同的局部最小值,如下: 表明梯度下降的结果依赖于参数初始值。&
5、#160;梯度下降算法的数学表示: 为赋值运算符,即表示程序中的的赋值语句。每一次将减去对求偏导的结果,即沿最陡峭的“山坡”下降 将偏导数展开分析: 代入上式: :学习速度,即决定你下山时每一步迈多大。设的过小,收敛时间长,设的过大,可能会超过最小值 (1) 批梯度下降算法:上述为处理一个训练样本的公式,将其派生成包含m个训练样本的算法,循环下式直至收敛: 复杂度分析:对于每个的每次迭代,即上式所示,时间为O(m)每次迭代(走一步)需要计算n个特征的梯度
6、值,复杂度为O(mn) 一般来说,这种二次函数的的三维图形为一个碗状,有一个唯一的全局最小值。其等高线为一个套一个的椭圆形,运用梯度下降会快速收敛到圆心。 梯度下降性质:接近收敛时,每次的步子会越来越小。其原因是每次减去乘以梯度,但是梯度会越来越小,所以步子会越来越小。 下图为使用梯度下降拟合的上例房屋大小和价格的曲线 检测是否收敛的方法:1) 检测两次迭代的改变量,若不再变化,则判定收敛2)
7、;更常用的方法:检验,若不再变化,判定收敛 批梯度下降算法的优点是能找到局部最优解,但是若训练样本m很大的话,其每次迭代都要计算所有样本的偏导数的和,时间过慢,于是采用下述另一种梯度下降方法。 (2) 随机梯度下降算法(增量梯度下降算法): 每次计算不需要再遍历所有数据,而是只需计算样本i即可。即批梯度下降中,走一步为考虑m个样本;随机梯度下降中,走一步只考虑1个样本。每次迭代复杂度为O(n)。当m个样本用完时,继续循环到第1个样本。 上述使用了迭代的方法求最小值,实际上对
8、于这类特定的最小二乘回归问题,或者普通最小二乘问题,存在其他方法给出最小值,接下来这种方法可以给出参数向量的解析表达式,如此一来就不需要迭代求解了。 3、 正规方程组给定一个函数J,J是一个关于参数数组的函数,定义J的梯度关于的导数,它自己也是一个向量。向量大小为n+1维(从0到n),如下:所以,梯度下降算法可写成:更普遍的讲,对于一个函数f,f的功能是将一个m*n的矩阵映射到实数空间上,即:假设输入为m*n大小的矩阵A,定义f关于矩阵A的导数为:导数本身也是个矩阵,包含了f关于A的每个元素的偏导数。 如果A是一个方阵,即n*n的矩阵,则将A的迹定义为A的对角元素
9、之和,即: trA即为tr(A)的简化。 一些关于迹运算符和导数的定理:1) trAB = trBA2) trABC = trCAB = trBCA3) 4) 5) 若 ,tra = a6)
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 全球房地产市场动态试题及答案
- 精确定位营养师资格试题及答案
- 演出经纪人资格证针对性试题及答案
- 营养师资格证考试特色试题汇编
- 2025导游证资格考试文化常识试题及答案
- 2024年营养师资格证易错试题与答案解析
- 营养师考试实战经验及试题答案
- 2024年常见饮食误区试题及答案
- 2024营养师考试体验题及答案
- 演出经纪人资格证多层次解析
- 成人肥胖食养指南(2024年版)
- 物流服务师(高级工)职业技能鉴定考试及答案
- 新人教版英语五年级下册教材解读
- 【课件】跨学科实践:探索厨房中的物态变化问题+课件人教版(2024)物理八年级上册
- 环磷酰胺的护理
- 江西省第一届职业技能大赛分赛场项目技术文件(世赛选拔)轨道车辆技术
- HGT 6342-2024《工业用甲基四氢苯酐》
- 排水管网维护、维修施工方案
- DB32-T 2882-2016城市轨道交通桥隧结构养护技术规程
- 2024年北京市丰台区九年级中考复习一模数学试卷含答案
- 峰峰城区规划方案
评论
0/150
提交评论