机器学习 课件 第1、2章 基础知识、表征学习

第1章基础知识《论语·述而》：三人行，必有我师焉。择其善者而从之，其不善者而改之。1.1什么是机器学习

学习算法

1.1什么是机器学习

属性(Attribute)，也成为特征。构成的向量为特征向量或属性向量

属性值都是随机的，通常假设样本集获得属性向量是独立同分布

标签(label)

1.2机器学习分类

分类回归

1.3模型评估

学习算法

2.准确率和错误率

三角形区

三角形区

4.均方差和峰值信噪比

1.4优化

学习算法

通过训练样本，获得模型参数的过程称为参数学习

1.损失函数

2.目标函数

3.最小二乘法

《机器学习》学习时长与考试成绩的关系学习天数1012015818考试成绩8210989365904.梯度下降法

4.梯度下降法

每次迭代，从训练集中随机抽取一小部分样本计算目标函数，计算梯度、更新参数。5.梯度修正梯度修正动量法Nesterov加速梯度法

目标函数曲面沿不同方向变化快慢不一致。在随机(小批量)梯度下降法中，如果每次选取样本数量比较少，迭代步长则具有随机性。如果梯度方向处于急变区，则变化快；如果处于平坦区，则变化慢，导致损失函数以振荡方式下降。此外，一旦进入损失函数的局部最小点或鞍点，也可能难以跳出。动量法为解决或缓解上述问题提供可能：通过使用最近一段时间内的平均梯度来代替当前的随机梯度。动量法

动量法Nesterov加速梯度法，NAG

5.学习率调整学习率调整学习率衰减，学习率退火Adagrad算法Adadelta算法Adam算法

Adagrad算法是由JohnDuchi等人提出的一种自适应学习率的梯度下降法：对不同的参数采用不同学习率，低频出现参数采用大学习率，高频出现参数采用小学习率。

5.学习率调整学习率调整学习率衰减，学习率退火Adagrad算法Adadelta算法Adam算法

由MatthewD.Zeiler提出的旨在解决Adagrad学习率不断下降问题的一种改进算法，该算法仅计算在近期梯度值的累积和

5.学习率调整学习率调整学习率衰减，学习率退火Adagrad算法Adadelta算法Adam算法

DiederikP.Kingma等人提出适应性动量估计法(AdaptiveMomentEstimation)

谢谢！第2章表征学习主讲：胡晓2.1表征学习的目的

2.2数据预处理

2.3.2学习模型

混合散布矩阵

2.4.2类可判别测度

在样本表征值的空间分布，类内距离越小和类间距离越大，越有利于实现模式分类。

目标函数

多维缩放的目标是，

2.6流形学习(ManifoldLearning)

2.6流形学习(ManifoldLearning)2.6.2等度量映射

2.6流形学习(ManifoldLearning)

(1)构建邻接图2.6.2等度量映射2.6流形学习(ManifoldLearning)(1)构建邻接图(2)任意两点间最短测地距离重构不相似度矩阵

2.6流形学习(ManifoldLearning)

2.6.3局部线性嵌入2.6流形学习(ManifoldLearning)

由GeoffreyHinton等人于2002年提出，基本思路：首先，在高维空间构建一个反映样本点间相对位置(相似度)的概率分布；然后，通过学习，调整低维空间样本分布，致使低维空间样本相对位置的概率分布能拟合高维空间样本相对位置的概率分布。基本随机近邻嵌入

理论上要求条件概率相等

2.8稀疏表征2.8.1压缩感知

又称为压缩采样(CompressingSampling)，顾名思义，是用少于奈奎斯特定理(Nyquist)要求的最低采样频率对信号进行采样，达到“压缩”观测数据的目的。

2.8稀疏表征

(SparseRepresentations)2.8.1压缩感知

2.8稀疏表征