评价指标模型方法模型的评价

1、评价指标模型方法-模型的评价【各位读友,本文仅供参考,望各位读 者知悉,如假设喜欢或者需要本文,可点 击下载下载本文,谢谢！】祝大家工作顺利】评分模型的评价指标【摘要】如何评价一个评分 模型的判别水平,一般在统计上用ROC、 CAP、K-S统计量、GINI系数统计量等 图形工具或统计指标.其中ROC曲线是 较受欢送的,而K-S统计量、GINI系数 等和ROC曲线之间有一定的联系.【关键词】评分模型评价指标 如果把业务上的二分类问题从统计 角度理解,都在于寻找一个分类器,这 个分类器可能是logistic模型,也可以是 多元判别模型,还可以使其它复杂形式 的模型.一、ROC曲线ROC,英文全称

2、Receiver Operating Curve,译成中文,简称受试者工作特 征曲线.其在统计实务中应用甚广,尤 其应用于处理医学研究中的 正常组和 异常组区分建模问题,用于评价分类 模型的表现水平.ROC曲线原理.要说清楚ROC曲线的原理,我们从 一个简单的分类实例问题说起.假设我 们有了基于商业银行企业贷款数据建立 违约-非违约的业务分类模型,比方说我 们是预测的所有样本的违约概率或者信 用评级得分,比方信用评级得分,我们 获得了关于两类样本的分布图形：图两类样本的违约率经验分布1.根本假设上面的图例可以看成一个基于银行 债务人违约率分类的分类器.左边的分 布表示历史样本数据中违约者预测得

3、到 的违约率的分布；右边的分布相应表示 非违约者的分布,其中C点表示决策者 做出决断的切分点,对于该点有这样的经济意义：一旦我们确定了 C点,不考 虑其他业务处理,的样本被预测为违约 者,反之被预测为非谓语这.对于一个 固定的Cutoff点,我们可得到一些有实 际意义的量化指标：HR=,表示在C点左边,对Defaulters 的信用得分分布中,基于C点做决策时 候,被正确命中的比率,这里 H表示被 正确预测的违约者的样本个数,ND表示 违约样本的总数.HR=,表示在C点左边,对 non-Defaulters的信用得分分布中,基于 C点做决策时候,被错误预测的比率, 这里F表示被错误预测的违约者

4、的样本 个数,NND表示非违约样本的总数.绘制方法很显然,当我们移动C点的时候, 我们得到了一个二维坐标点的集合, FAR, HR|C?缀信用得分区间这里的 FAR, HR是风险治理领域的专用表示方 法.将其用统计中的一些概念进行一般 化处理,得到：FD=,表示在C点左边 违约样本个数,FD表示在C点违约者信 用得分的累积概率；FND=FAR那么相应表 示非违约者信用得分的累积概率；同样 我们可得到二维坐标集合FND , |C?缀 信用得分区间.我们将FND , |C?缀在xy坐标平 面上绘制,就得到了 ROC曲线.ROC曲线与其他评价指标间关系.统计量图 ROC曲线切线一K-S统计量K-S检

5、验,用于检验样本是否来自 一个指定的分布或者检验两类样本是否 同分布.对上述例子,两样本分布独立 性的检验常用K-S统计量：D=MAX|FD-FD| ,这里为了符合常 识,我们用表示变量得分.系数/AR准确率GINI系数和AR准确率实际上是同 一个东西,GINI系数这一称呼不知道来 源于哪,倒是 AR准确率这一术语常常 在金融风险治理中出现.它的计算方法 是：ROC曲线和对角线之间的面积与perfect model和对角线围成的面积之比, 用于度量模型精确性的一个相对指标.AR,这里表示ROC曲线与对角 线围成的面积,a p味示y=1直线与对 角线围成的面积.很容易计算： AR=2AUC-1.

6、考虑ROC曲线上的导数,很显然由 这个关系式,我们得到在ROC曲线上某 点的似然比为该点的导数,这一指标可 以刻画模型局部的区分水平.二、CAP曲线CAP曲线,亦称水平曲线,被各大 银行和评级机构用于对违约率类模型的 检验,它检验模型的预测结果排序水平.我们依然以上面信用评分模型为例 子,水平曲线的绘制通过以下步骤得到：1 .对已经评分的银行客户按其预测 的违约概率从高到低排序；2 .横坐标表示客户按违约率概率从 高到低排序后得到样本总数的累计百分 比,纵坐标表示违约客户总数的累计百分比；3 .曲线上任何一点的坐标具有如下 意义：表示给定所有排序后客户样本的 一个比例；表示在给定的条件下,违约 客户概率大于等于比例的客户中最小概 率样本个数占总的违约客户样本总数的 比率.很显然,对于任何水平方向的数值, 曲线越高,说明模型的预测水平越强.参考文献：郭英见