DL5.4估计、偏差和方差_第1页
DL5.4估计、偏差和方差_第2页
DL5.4估计、偏差和方差_第3页
DL5.4估计、偏差和方差_第4页
DL5.4估计、偏差和方差_第5页
已阅读5页，还剩18页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

5.4

估计，偏差和方差Deeplearning主讲人：余金英估计偏差和方差

泛化误差偏差-方差窘境欠拟合与过拟合主要内容：2估计

3

4定义：

5定义：

实例：高斯分布6

高斯分布方差估计

78

实例：均匀分布

一致性与渐近无偏性：9泛化误差泛化误差是从哪里来的，什么原因造成了泛化误差？“偏差-方差分解”符号涵义x测试样本D训练集x在数据集中的标记yx的真实标记f训练集D学得的模型由训练集D学得的模型f对x的预测输出模型f对x的期望预测输出10

以回归任务为例：11泛化误差的分解：

12

偏差的含义：偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。方差的含义：方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。噪声的含义：噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度共同决定的。13图解：1415偏差与方差

偏差方差图解：偏差-方差窘境：1617给定一个学习任务,

在训练初期,

由于训练不足,

学习器的拟合能力不够强，训练数据扰动不足以使学习器产生显著变化，此时偏差主导泛化错误率。随着训练程度的加深,

学习器的拟合能力逐渐增强,

训练数据的扰动也能够渐渐被学习器学到，方差逐渐主导泛化错误率。充分训练后,

学习器的拟合能力已非常强,

训练数据发生的轻微扰动都会导致学习器发生显著变化,

当训练数据自身的、非全局的特性被学习器学到了,

则将发生过拟合。

18欠拟合、过拟合过拟合：学习器把训练样本学习的太好了，把训练样本自身的一些特点当

做是所有潜在样本会具有的一般性质，导致泛化性能下降；欠拟合：对训练样本的一般性质尚未学好。欠拟合、过拟合思考：为什么要分析误差来源？偏差方差欠拟合过拟合19训练误差测试误差偏差、方差和欠拟合、过拟合关系：模型越简单，偏差越大；模型越复杂，方差越大。20例：猫咪图片分类器

21泛化误差由偏差、方差和噪声引起。偏差很低，方差很高，模型发生过拟合；偏差很高，方差很低，模型发生欠拟合；偏差、方差都低，表示

人人文库> 全部分类> 图纸下载 > 毕业设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论