机器学习简介总结_第1页
机器学习简介总结_第2页
机器学习简介总结_第3页
机器学习简介总结_第4页
机器学习简介总结_第5页
已阅读5页，还剩14页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、1任梓涵任梓涵Xiamen University2Content1 机器学机器学习的定义习的定义2 建立模型的步骤建立模型的步骤3感知器与前馈神经网络感知器与前馈神经网络31机器学习的定机器学习的定义义4研究如何使计算机从给定的数据中学习规律，即从观测数据（样本）中寻找规律，并利用学习到的规律（模型）对未知或无法观测的数据进行预测52建立模型的步骤建立模型的步骤6 寻找决策函数建立x和y之间的关系 评价决策函数的好坏定义损失函数，然后在所有的训练样本上来评价决策函数的风险 经验风险（训练集上的平均损失） 最优模型经验风险最小化7 0-1损失函数：分类问题 平方损失函数：线性回归 交叉熵损失函数

2、：Logistic 回归、SoftMax回归. Hinge 损失函数：SVM.8问题：过拟合模型在训练集上错误率很低，但是在未知数据上错误率很高解决：结构风险最小化原则在经验风险最小化的原则上加上参数的正则化正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值越大。（L1范数，L2范数）9学习参数 ，使得经验风险最小化 梯度下降法 随机梯度下降法 动量法 AdaGrad算法 AdaDelta算法10adagrad相比于sgd和momentum更加稳定，即不需要怎么调参。而精调的sgd和momentum系列方法无论是收敛速度还是precision都比adagrad要好一些。在精调参数下m

3、omentum优于sgd。而adagrad一方面不用怎么调参，另一方面其性能稳定优于其他方法。11TP（True Positive ） - 将正类预测为正类数FN（False Negative） - 将正类预测为负类数 FP（False Positive ） - 将负类预测为正类数TN（True Negative） - 将负类预测为负类数（对于正类来说）准确率 TP/(TP+FP)召回率 TP/(TP+FN) 123感知器与前馈神经网络感知器与前馈神经网络13与神经元相比：权重（突触）、偏置（阈值）及激活函数（细胞体），输出为0 或1。1415损失函数是误分类点到平面的距离采用随机梯度下降法，更新W和b16Novikoff 证明对于两类问题，如果训练集是线性可分的，那么感知器算法可以在有限次迭代后收敛。然而，如果训练集不是线性分隔的，那

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论