机器学习 课件 第1章 基础知识_第1页
机器学习 课件 第1章 基础知识_第2页
机器学习 课件 第1章 基础知识_第3页
机器学习 课件 第1章 基础知识_第4页
机器学习 课件 第1章 基础知识_第5页
已阅读5页，还剩22页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

第1章基础知识主讲：胡晓（教授）广州大学，机械与电气工程学院，类脑机器视觉研究室《论语·述而》：三人行，必有我师焉。择其善者而从之，其不善者而改之。1.1什么是机器学习

学习算法

1.1什么是机器学习

属性(Attribute)，也成为特征。构成的向量为特征向量或属性向量

属性值都是随机的，通常假设样本集获得属性向量是独立同分布

标签(label)

1.2机器学习分类

分类回归

1.3模型评估

学习算法

2.准确率和错误率

三角形区

三角形区

4.均方差和峰值信噪比

1.4优化

学习算法

通过训练样本，获得模型参数的过程称为参数学习

1.损失函数

2.目标函数

3.最小二乘法

《机器学习》学习时长与考试成绩的关系学习天数1012015818考试成绩8210989365904.梯度下降法

4.梯度下降法

每次迭代，从训练集中随机抽取一小部分样本计算目标函数，计算梯度、更新参数。5.梯度修正梯度修正动量法Nesterov加速梯度法

目标函数曲面沿不同方向变化快慢不一致。在随机(小批量)梯度下降法中，如果每次选取样本数量比较少，迭代步长则具有随机性。如果梯度方向处于急变区，则变化快；如果处于平坦区，则变化慢，导致损失函数以振荡方式下降。此外，一旦进入损失函数的局部最小点或鞍点，也可能难以跳出。动量法为解决或缓解上述问题提供可能：通过使用最近一段时间内的平均梯度来代替当前的随机梯度。动量法

动量法Nesterov加速梯度法，NAG

5.学习率调整学习率调整学习率衰减，学习率退火Adagrad算法Adadelta算法Adam算法

Adagrad算法是由JohnDuchi等人提出的一种自适应学习率的梯度下降法：对不同的参数采用不同学习率，低频出现参数采用大学习率，高频出现参数采用小学习率。

5.学习率调整学习率调整学习率衰减，学习率退火Adagrad算法Adadelta算法Adam算法

由MatthewD.Zeiler提出的旨在解决Adagrad学习率不断下降问题的一种改进算法，该算法仅计算在近期梯度值的累积和

5.学习率调整学习率调整学习率衰减，学习率退火Adagrad算法Adadelta算法Adam算法

Die

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论