正确率和错误率评价指标的缺陷

正确率和错误率评价指标的缺陷

分类是一种用于评估属性的指导策略，强调将新的示例分配给定义的类中。对不同分类器的分类精度进行评价和比较,是分类器设计的最后阶段,也是数据挖掘过程中最关键的步骤之一。目前普遍使用正确率和错误率作为分类器的分类精度评价指标,例如最小错误率贝叶斯分类器,该分类器是很多分类器设计的理论框架和基础。在一个数据集中,尽管样本数据非常大,但是对人们有用的数据往往非常有限,通常仅占全部数据的一小部分。这种某类样本数据明显少于其他样本数量的不平衡数据集的分类问题大量存在于人们的现实生活和工业生产之中。例如,寻求电信运营商的逃离客户,一般情况下逃离的客户要远远少于非逃离客户;利用检测数据诊断病人的疾病,如癌症,人们患癌症的概率是非常低的,因此癌症患者要远远少于健康的人;其他如从卫星图片中油井的定位、学习单词的发音、文本自动分类、分辨恶意的骚扰电话等。在这些应用中,人们主要关心的是数据集中的少数类分类精度,而不仅仅关注整个分类器的分类精度。在多分问题中,正确率和错误率仅适合互不相关的多分问题,不适合语义相关的多分问题,而语义相关多分问题广泛存在文本分类等实际应用中。在分类器设计中,使错误率达到最小是重要的,但在二分问题中,所设计出来的分类器会同时犯有“错误接受”和“错误拒绝”两类错误。评价分类器好坏时,不仅要考虑到尽可能做出正确的判断,而且还要考虑到做出错误判断时会带来什么后果。很多时候,某种错分类会比另一种更加严重。本文详细分析了正确率和错误率在上述不平衡数据集、语义相关多分、不同代价错分等分类问题中存在的缺陷,郭一平、李明方等人各自提出了新的分类器评价的方法,本文建议根据具体问题的不同,综合使用查准率、查全率、漏检率、误检率、F-measure和分类代价矩阵、损失函数等新的分类器分类评价指标。通过实验证明,新的分类评价指标确实能很好地适应不平衡数据集、语义相关多分、不同错分代价等分类问题的分类器性能评价。1正确率和误误率的定义1.1类的混淆矩阵对于一个两分问题,例如,一个信用卡申请要么被接受,要么被拒绝,使用如表1所示的矩阵来分析和比较所设计的分类器的分类精度。给定样本集中的一个实例tj,tj可能被分类器计算后判定为属于类ω或,记分类器计算后判定实例tj属于类ω为事件M。对于tj,可能有tj∈ω或这样所设计的分类器就会产生如表1所示的4种情况:正确接受:tj∈ω,M发生,表1中的a表示正确接受样本集中类ω的实例个数。正确拒绝:,发生,表2中的d表示正确拒绝样本集中类ω的实例个数。错误接受:,M发生,表2中的c表示错误接受样本集中类ω的实例个数。错误拒绝:tj∈ω,发生,表2中的b表示错误拒绝样本集中类ω的实例个数。混淆矩阵(Confusionmatrix),就是用于总结有指导分类结果的矩阵。沿着主对角线上的项表示正确分类的总数,其他非主对角线的项表示分类的错误数,如表1所示。二分问题存在“错误接受”和“错误拒绝”两种不同类型的错误。类ω的二分问题的混淆矩阵归一化之后,是两个仅取0-1二值的离散变量的联合分布概率。正确率和错误率之和为1,一个确定,另一个也确定了。1.2错误的二化学成分类属对于一个m分的标准分类问题来说,也可以定义如表1所示m×m的m分混淆矩阵和每一个类属的Recall、Precision、F-measure和Accuracy值。错误可能有m2-m种不同的情况。此时,也可以针对类属ωi,可将全部样本集划分为ωi和两种类属,将m分问题转化为二分问题,如表2所示。2应用限制2.1accurcy的计算假设某一门诊中由先验知识得知,病人患某一种癌症的概率1%,如果设计一个分类器,对所有的输入都得出计算拒绝的结论,其Accuracy已达到99%,但实际上却并没有意义。而对表3所示的分类器A和B,AccuracyA=79.999%,AccuracyB=97.996%都小于99%。不平衡数据集上的分类器分类精度评价,应该同时考虑数据的不平衡度,整个分类器的分类精度和少数类分类精度,是一个多目标优化问题。2.2根据年龄分类1.2节定义的评价指标仅适合互不相关m分问题,不适合语义相关的m分问题。例如表4所示,将人按身高分为矮、中、高3类时,将矮个和中等之间,中等和高个之间绝对区分开来也不一定合道理。一个学生个子不高,但在矮个子中算很高的,所设计的分类器将其误分为中等,误差可能还不大;但将其分为高个,误差就很明显了。2.3不同误分成本分类Accuracy同等对待错误分类每一对象的严重性,无法区分在表5中的分类器A和B。3改进的计划3.1tki分类器比bF-measure关注“正确接受”,正确率关注分类的“正确”,它们同时兼顾到了查全率和查准率,但是不够细致。对信用卡申请问题,拖欠信用卡费用的平均成本比拒绝具有良好信誉的人所带来的平均潜在收益损失大得多,所以评价分类器时更应该关注前者,故在正确率相同的情况下,有,分类器B更好。对一些具体问题来说,P(ω)和为先验概率,往往是确定的。在二分问题中,所设计出来的分类器有犯两类错误,即:“错误接受”和“错误拒绝”的可能。最小错误率分类器是使这两种错误率之和最小。实际中,有时要求限制其中某一类错误率不得大于某个常数而使另一类错误率尽可能地小。例如,在癌细胞识别中,已经认识到把癌细胞误判为正常的损失非常严重,所以常希望这种漏检率Mistake(ω)很小,即使Mistake(ω)≤ε0(ε0是一个给定的很小的常数)。在这种条件下,再要求另一类的漏检率尽可能的小。在表3所示的癌细胞识别不平衡数据集中,分类器;分类器假设国家规定该癌症的漏报率ε0不能超过0.5%,分类器A和分类器B均达标,但分类器B高一个数量级,显然分类器B分类精度比分类器A更高。该评价标准可应用在不平衡数据集分类精度的问题上,将多目标优化问题转化为单目标优化问题。3.2权值因子eij为了克服正确率同等对待错误分类每一对象的严重性这一不符合实际的假设,应根据问题的实际情况,对不同的错分所带来的不同代价而赋予不同的权值因子,形成代价矩阵,如表6所示。对m分问题也同样可以根据每种不同的情况赋予不同的权值因子eij,形成m×m的代价矩阵。当不同类型的误差对应不同的权值时,将每个误差元素cij乘以所给的权值因子eij,那么总损失函数C(替代精度计算中的错误数)可以计算为:可应用在不同错分代价分类问题上,C为所设计的分类器总体的损失。代价矩阵和损失函数应用于语义相关分类问题中,权值因子eij可代表分类器的“错误”程度,在表5当中,将矮个误判为高个比将矮个误判为中个“错误”要大,因此对c13所赋予的权值因子要比c12大,此时总损失函数C为所设计的分类器总的分类错误程度。对于不平衡数据集分类器评价标准也可以根据样本的不平衡度和分类感兴趣度调大少数类上错分的代价权值,从而解决问题。代价矩阵和损失函数已在最小代价贝叶斯分类器中应用。4新的分类性能评价指标本文指出正确率和错误率不适用于不平衡数据集、语义相关多分、不同代价错分等分类问题。分类器的分类性能评价指标并不固定,而是应该根据具体应用问题的不同而不同。新的分类性能评价指标不仅应用于分类器的分类性能评价,而且应用于指导分类器的设计