模型评估与优化_第1页
模型评估与优化_第2页
模型评估与优化_第3页
模型评估与优化_第4页
模型评估与优化_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

模型评估与优主讲：汤淑宁化01评估方法02性能度量03模型优化目录评估方法1评估方法留出法直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。交叉验证法先将数据集D划分为K个大小相似的互斥子集，然后，每次用k—1个子集的并集作为训练集，余下的那个子集作为测试集。在留出法和交叉验证法中，由于保留了一部分样本用于测试，因此实际评估的模型所使用的训练集比D小，这必然会引入一些因训练样本规模不同而导致的估计偏差。评估方法自助法“自助法”(bootstrapping)是一个比较好的解决方案，它直接以自助采样法为基础。给定包含m个样本的数据集D，我们对它进行采样产生数据集D'：每次随机从D中挑选一个样本，将其拷贝放入D',然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采到。调参与最终模型现实中常用的做法是对每个参数选定一个范围和变化步长，例如在[0,0.2]范围内以0.05为步长，则实际要评估的候选参数值有5个，最终是从这5个候选值中产生选定值。性能度量2性能度量错误率与精度错误率是分类错误的样本数占样本总数的比例，精度则是分类正确的样本数占样本总数的比例。查准率、查全率与F1对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例(truepositive)、假正例(falsepositive)、真反例(truenegative)、假反例(falsenegative)四种情形，令TP、FP、TN、FN分别表示其对应的样例数，则显然有TP+FP+TN+FN=样例总数。性能度量ROC与AUCROC全称是“受试者工作特征”，我们根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值，分别以它们为横、纵坐标作图，就得到了“ROC曲线”。性能度量代价敏感错误率与代价曲线在现实任务中常会遇到这样的情况：不同类型的错误所造成的后果不同。为权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”。如下图所示，正确判断的代价显然应该为

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论