版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、 Comparing Performance of 2 Models: Independent Test Sets q To test if performance difference is statistically significant: d = e1 e2 - d N(dt,t where dt is the true difference - Since D1, D2 are independent, their variance adds up: = + + 2 2 2 2 t 1 2 1 2 2 e1(1 e1 e2(1 e2 = + n1 n2 - At (1- confid
2、ence level, d =d ±Z t /2 t 41 An Illustrative Example q Given: M1: n1 = 30, e1 = 0.15 M2: n2 = 5000, e2 = 0.25 d = |e2 e1| = 0.1 (2-sided test q 0.15(1 0.15 0.25(1 0.25 + = 0.0043 = 30 5000 d q At 95% confidence level, Z/2=1.96 d = 0.100 ± 1.96 × 0.0043 = 0.100 ± 0.128 t => In
3、terval contains 0 => difference may not be statistically significant 42 Comparing Performance of 2 Classifiers: Same Test Sets with CV q Each learning algorithm may produce k models: - L1 may produce M11 , M12, , M1k - L2 may produce M21 , M22, , M2k If models are generated on the same test sets D1,D2, , Dk (e.g., via cross-validation - For each set: compute dj = e1j e2j - dj has mean dt and variance t k 2 - Estimate: q = 2 t t (d j j
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 18《慈母情深》教学设计-2024-2025学年语文五年级上册统编版
- 照明设备在智能会议室照明中的应用考核试卷
- ACC 自适应巡航系统一文详解
- Module 6 Unit 2 There is a small monster(教学设计)-2023-2024学年外研版(一起)英语三年级下册
- 水产品加工设备研发与优化设计考核试卷
- 新苏教版小数加减教学课件
- 北师大版初一语法计划实施
- 一年级上册北师大版数学教案探秘
- 苏教版二年级下册美术教学计划评价改革评价准则
- 小学语文教案编写心得
- 【课件】Unit+2+Keep+Tidy!+Section+B+1a-1d+课件人教版英语七年级上册
- GB 44499-2024家用和类似用途电器节能环保规范
- 2024-2030年中国文件扫描仪行业市场发展趋势与前景展望战略分析报告
- 江西美术出版社(赣美版)美术三年级上册全册课件
- 解读国有企业管理人员处分条例(2024)课件(全文)
- 4.4.7.3 跟踪出站调车作业课件讲解
- 猪场转让协议合同范本
- 2024年河北高考生物试卷真题评析及答案详解(精校打印)
- 《兼爱》教学课件
- TD/T 1072-2022 国土调查坡度分级图制作技术规定(正式版)
- YB/T 6328-2024 冶金工业建构筑物安全运维技术规范(正式版)
评论
0/150
提交评论