数据挖掘模型评估学习教案

1、会计学1数据挖掘模型数据挖掘模型(mxng)评估评估第一页，共42页。2022-5-92 评估分类法准确率的技术有保持（holdout）和k-折交叉确认（k-fold cross-validation）方法。 另外，还有两种提供分类法准确率的策略：装袋（bagging）和推进（boosting）。 1、保持和k-折交叉 在保持方法中，给定(i dn)数据随机划分成两个独立的集合：训练集和测试集。通常，三分之二的数据分配到训练集，其余三分之一分配到训练集。第1页/共42页第二页，共42页。2022-5-93 “保持”这种评估方法是保守的，因为只有一部分初始(ch sh)数据用于导出的分类法。 随

2、机子选样是“保持”方法的一种变形，它将“保持”方法重复k次。总体准确率估计取每次迭代准确率的平均值。第2页/共42页第三页，共42页。2022-5-94第3页/共42页第四页，共42页。2022-5-95装袋第4页/共42页第五页，共42页。2022-5-96推进(tujn)即使用相同的分类器，各个分类器不是独立的；使用同一个算法对样本(yngbn)迭代训练，后建立的分类器关注于先前建立的分类器不能更好处理的部分数据；最终的输出为各个分类器的加权投票。第5页/共42页第六页，共42页。该分类能够识别“cancer”（称作正样本）的情况。2022-5-97第6页/共42页第七页，共42页。202

3、2-5-98第7页/共42页第八页，共42页。2022-5-99灵敏性特效(txio)性精度(jn d)第8页/共42页第九页，共42页。2022-5-910预测值预测值1 1（实际（实际“cancercancer”）0 0（实际（实际no_cancerno_cancer）1(预测“cancer”)000(预测“no_cancer”)1090第9页/共42页第十页，共42页。2022-5-911第10页/共42页第十一页，共42页。(mxng)的准确度92%，B公司的准确度是68%。银行和A公司签约。2022-5-912第11页/共42页第十二页，共42页。2022-5-913第12页/共42

4、页第十三页，共42页。2022-5-914第13页/共42页第十四页，共42页。nDM的价值就在于的价值就在于(ziy)能够利能够利用历史资料找出用历史资料找出“小概率事小概率事件件”。2022-5-915小概率(gil)事件：第14页/共42页第十五页，共42页。2022-5-916第15页/共42页第十六页，共42页。H0 为真H0 为假真实情况所作判断接受H0拒绝H0正确正确弃真错误 取伪错误两类错误(cuw)犯第一类错误(cuw)是弃真错误(cuw)；犯第二类错误(cuw)是取伪错误(cuw) 。2022-5-917第16页/共42页第十七页，共42页。是第一类错误，把一个呆账的人当作

5、好账是第二类错误。2022-5-918第17页/共42页第十八页，共42页。预测值预测值1 1（实际（实际“会违约会违约”）0 0（实际（实际“不会违约不会违约”）1662801857212022-5-919表中，预测为会违约且实际也会违约的有66人，预测不会违约且实际没有违约的有721人，这些是分类(fn li)正确者。表中，预测为会违约且实际没有违约的有28人，预测不会违约且实际违约的有185人，这些是预测模型判断错误的部分。其中，后者还会造成比较严重的损失，是值得关注的部分。第18页/共42页第十九页，共42页。2022-5-920主要看三个指标，即回应率、反查率以及间距(jin j)缩

6、减。第19页/共42页第二十页，共42页。=(66+185)/(66+185+28+721)=25.1%2022-5-921预测值预测值1 1（实际（实际“会违约会违约”） 0 0（实际（实际“不会违约不会违约”）166280185721回应率(response rate)：在预测的名单(mngdn)中找出有多少小概率事件（在预测违约的名单(mngdn)中，真正违约的所占比例是多少）。第20页/共42页第二十一页，共42页。顾客，因此，还得参考“反查率”这个指标。2022-5-922第21页/共42页第二十二页，共42页。的可能性越小，那么模型越好。2022-5-923预测值预测值1 1（实际

7、（实际“会违约会违约”）0 0（实际（实际“不会违约不会违约”）166280185721反查(recall)：预测出来(ch li)的小概率事件占总体小概率事件的比例是多少。第22页/共42页第二十三页，共42页。2022-5-924预测值预测值1 1（实际（实际“会违约会违约”）0 0（实际（实际“不会违约不会违约”）167380184711预测值预测值1 1（实际值）（实际值）0 0（实际值）（实际值）166280185721第23页/共42页第二十四页，共42页。低越好。2022-5-925预测值预测值1 1（实际值）（实际值）0 0（实际值）（实际值）166280185721间距缩减(

8、range reduce)：通过(tnggu)DM模型来找出小概率事件时，名单缩小了多少。第24页/共42页第二十五页，共42页。2022-5-926第25页/共42页第二十六页，共42页。2022-5-927第26页/共42页第二十七页，共42页。2022-5-928横轴百分比代表根据DM模型根据概率(gil)由高到低排序后的名单占总体百分比。纵轴则是在这批名单(mngdn)中小概率事件的人数占总体小概率事件人数的百分比。45度线表示随机的状态，代表当筛选一半的名单去检查违约状况时，刚好会包含全体名单一半的违约户数量。正常模型的增益图要比45度线向第二象限弯曲，越向上弯曲表示模型效果越好。理

9、想模型线：在增益图的最上方两段直线所构成的，表示完美预测的结果。第27页/共42页第二十八页，共42页。nn吉尼系数越接近1，表示模型的预测能力越高。2022-5-929第28页/共42页第二十九页，共42页。AUCAUCGiniGini模型预测能力模型预测能力=50%0无预测能力50%-70%0-0.4极差70%-80%0.4-0.6可以接受80%-90%0.6-0.8非常良好90%-100%0.8-1过度完美2022-5-930第29页/共42页第三十页，共42页。2022-5-931第30页/共42页第三十一页，共42页。(d do)利或是减少的损失。2022-5-932第31页/共42

10、页第三十二页，共42页。2022-5-933第32页/共42页第三十三页，共42页。2022-5-934600000500000400000300000200000 0-10000015万535万假设行销(xngxio)活动针对全体客户进行，获利为-15万从图上看，在概率最高的前34%-39%之间名单进行行销(xngxio)，可以获利的最高点是535万元。横轴表示模型会根据行销成功概率由高至低将客户排序纵轴表示行销收益第33页/共42页第三十四页，共42页。2022-5-935第34页/共42页第三十五页，共42页。2022-5-93660000050000040000030000020000

11、0 0-100000横轴表示(biosh)模型会根据违约概率由高至低将客户排序本例最低点为35%，因此(ync)，建议该银行针对违约概率最高的35%客户拒绝发给信用卡因为前半段都是高违约率客户，因此损失曲线是直线下降纵轴表示行销收益第35页/共42页第三十六页，共42页。2022-5-937第36页/共42页第三十七页，共42页。2022-5-9386000005000004000003000002000001000000 0 100000 200000 300000 400000 500000 600000 横轴是实际(shj)数值纵轴是预测(yc)数值当模型越准确时，则代表(dibio)预测值越接近实际值，也就是越接近45度线第37页/共42页第三十八页，共42页。n于其质化的意义，即可诠释性的