机器学习第2章 模型评估与选择.ppt

1、第2章模型评估与选择,主要内容,经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差,误差,误差（error）：学习器实际预测输出与样本真实输出之间的差异 训练集：训练误差（training error），（经验误差，empirical error） 训练集的补集：泛化误差（generalization error） 我们希望泛化误差小的学习器,过拟合,过拟合（overfitting）：训练过度使泛化能力下降 欠拟合（underfitting）：未能学好训练样本的普遍规律 过拟合是机器学习的关键障碍 且不可避免！ 模型误差包含了数据误差， 或者说模型信息中包含了噪声。,学习器泛化评估实验

2、测试,测试集：测试误差（testing error） 训练集和测试集组成数据集。 假设测试样本是从真实分布中采样而得，避免因数据划分引入偏差。 测试集应与训练集互斥。,调参与最终模型,参数调节（parameter tuning） 算法参数 人工设定候选值 模型参数 通过学习产生候选模型 数据集 训练集训练估计模型 验证集模型参数调整 测试集估计泛化能力 学习算法和参数配置确定后要用整个数据集重新训练模型,性能度量,性能度量（performance measure）：衡量模型泛化能力的评价标准 回归（regression）：均方误差（mean squared error） 离散数据： ; = 1

3、 =1 ( ) 2 连续数据： ; = 2 分类（classification）：错误率（error rate）和精度（accuracy） 离散数据： ; = 1 =1 ( ) ,acc ; = 1 =1 ( = ) 连续数据： ; = ,acc ; = = ,任务需求以二分类为例,混淆矩阵（confusion matrix），非对角，纠缠相 查准率（precision）：= + 查全率（recall）：= + P-R曲线 面积、平衡点（Break-Even-Point，BEP） 1度量：,的调和平均 度量： ,的加权调和平均,多混淆矩阵,先分别计算查准率和查全率，再平均 宏查准率（macro

4、）：macro= 1 =1 宏查全率（macro）：macro= 1 =1 宏1（macro1） 先平均各混淆矩阵对应元素，再计算查准率和查全率 微查准率（micro）：micro= + 微查全率（micro）：micro= + 微1（micro1）,ROC与AUC,受试者工作特征曲线（Receiver Operating Characteristic） 横轴假正例率：FPR= + 纵轴真正利率：TPR= + AUC（Area Under ROC curve） AUC= 1 2 =1 1 ( +1 )( + +1 ) AUC反应样本预测的排序质量 AUC=1 (排序损失),代价敏感错误率与代价

5、曲线,非均等代价（unequal cost） 代价矩阵（cost matrix） 代价敏感错误率：加权的错误率 代价曲线（cost curve）： 横轴正例概率代价 + = 01 01 +(1) 10 纵轴归一化代价 = FNR 01 +FPR(1) 10 01 +(1) 10,比较检验,如何比较？从统计的角度 统计假设检验（hypothesis test）：根据测试错误率估计推断泛化错误率的分布。 提出假设找到符合某种概率分布的中间变量利用该概率分布确定在某个置信度（confidence）下是否接受该假设,单个学习器,二项检验 泛化错误率为的学习器，个测试样本，测试错误率为 假设“ 0 ”，

6、置信度为1，拒绝域为 ，其中临界值 =max s.t. = 0 +1 (1) /2,一个数据集多个学习器,成对t检验 学习器A和B，折交叉验证法得测试错误率 和 (=1,) 计算得差值 及它们的均值和样本方差 2 假设“ = ”，显著度，拒绝域为 = /2 McNemar检验 学习器A和B，留出法得列联表（contingency table） 假设“ 01 = 10 ”，显著度，拒绝域为 2 = ( 01 10 1) 2 01 + 10 2,多个数据集和多个学习器,Friedman检验 由数据集 1 , 对算法 A (=1,)测试结果排序得算法平均序值 假设“各算法性能相同”， ，显著度，拒绝域为 = (1) 2 1 2 1, 1 1 (/2)，其中 2 = 12 +1 ( =1 2 (+1) 2 4 ) Nemenyi后续检验 若假设被拒绝，计算平均序值差别的临界值域= (+1) 6 假设“两个算法性能相同”，显著度，拒绝域为 ,偏差与方差,泛化误差可分解为偏差、方差和噪声之