第八章 测评质量检验

第八章

测评质量检验本讲内容效度01信度02项目分析03其他指标的检测041效度第一节效度

效度是指测评结果对所测评素质反映的真实程度。对这种真实性的考评，常见的方法有四种：从内容性质方面分析其内容效度从效标相关性方面分析其关联效度从实证方面分析其结构效度从其项目方面分析其元素效度，即项目效度效度的概念第一节效度内容效度：

是指实际测评到的内容与期望测评的内容的一致性程度。当实际测评到的内容与我们事先所想测评到的内容越一致时，则说明测评结果的内容效度越高，测评结果就越有效。内容效度具体从以下两个方面测评:(１)是否包括了想测评素质中的各种成分；(２)包括在测评范围内的行为样本的比例结构是否与工作分析的结果相一致内容效度在实际操作中的鉴定主要采用定性分析的方法,有蓝图对照分析法与专家比较判断法。第一节效度结构效度：结构效度又称作构想效度、构思效度、构念效度、构建效度等。结构效度是指实际所测评的结果与想测评素质的同构程度。它表明了在多大程度上，实际测评结果能够被看作是所要测评的素质在结构上的替代物。在素质测评中，它是人们最关心的一种效度。这是由素质测评的间接性所决定的。人们总是通过选取一些具体的行为测评来判断实际的素质水平。结构效度与检验效度的人对素质结构的理解有直接关系。例如李某认为忠诚这一素质即是对本企业的忠诚而张某认为忠诚这一素质主要表现为实事求是的态度那么对于某人向其他企业泄露本企业产品存在的问题这一行为李某和张某显然会将其归类到不同的素质成分中并给予不同的评价。因此，结构效度的检验分析也是一种定性的主观判断。在分析考评过程中，要采取有力措施把主观影响控制在最低点上。第一节效度结构效度的分析可按一下几步进行：1.给所要测评的素质的结构模式下一个操作化的定义“我们所要测评的素质是对xx的态度、有关xx的品质、有关xx的技能。”像这样一些表述所测评素质的具体形象是什么，结构如何，我们并不清楚，它仍然是从具体行为概括抽象出的某种意识或观念，因此对结构效度的分析没有多大作用。我们必须再次把这些“态度”“品质”“技能”进行建构。这里的构建不是从行为到观念构建，相反，是由观念向具体行为的构建。不是简单还原，而是在更高的水平上抓住所测素质的本质特征，确定一个可感觉、可操作的结构模式，由这种具体的结构模式作为抽象观念建构的替代物。这种替代物的成分显然应该是我们实际能够看到的、听到的、感觉到的东西。例如：外显行为、客观性生理反应等。素质测评的目标体系实际上就是所测素质的一个行为构建模型，这种结构模型分别由项目、指标、权重、标度等组成。这种模型的建构，在很大程度上取决于所测素质本身的特征及其抽象程度等组成。第一节效度要定义或建构一个素质的结构模型，可以从以下几方面着手：首先，采取工作分析方法，对所想测评的素质进行结构分析与行为分析，确定各种素质结构及其代表的行为。其次，用图表的形式逐一列出工作分析得到的素质因素及其特征行为。除此之外，还可以通过查找历史上或现在人们对所测评素质的模型的现成资料，丰富已有分析的结果。图表中要表明结构模型中的全部成分及其相互关系还要包括具备这种模型中大部分成分或仅具备其中一点成分的人的行为描述图表的描述既可以是图形的面积比例也可以是数字比例，最后，还要另外准备一份与已经建构的模型可能混淆的但关系密切的其他模型图表。要反问自己并向人说明为什么所测素质是你所定义的结构模型而不是其他别的结构模型。第一节效度2.收集事实资料，评判结构效度具体方法有：排除法如果测评结果能明确的排除它所对应素质结构模型的其他解释，那就表明所获得的测评结果具有较好的结构效度。咨询法可以请一些有经验的专家对获得的测评结果所对应的素质结构进行判断，询问他们该测评结果实际测评的素质是什么。如果专家们的回答与所想测评的素质结构几乎一致，那么说明测评结果具有较好的结构效度。相关法找一个具有较高结构效度的测评工具或结果，与你所获得的测评结果进行相关性分析，如果相关性很高，说明你的测评结果具有较高的结构效度。例如：某一个具有“自尊”结构效度的测评量表，它的测评结果就应该与自信、社交能力及领导作用等测评量表的测评结果成正比，而与诸如内向性、自卑、孤独等测评量表测评的结果成反比。第一节效度2.收集事实资料，评判结构效度具体方法有：逻辑分析法

当大家对所测素质的结构模型具有比较一致的认识时，只要能判定测评内容（工具）选择正确，且整个测评过程排除了一切外来干扰因素，就可以说测评结果具有较好的结构效度。例如：测评时间足以保证被测评者完成所有的工作，被测评者没有受到催促因素的影响；测评工具的指导十分明确，并操作准确。多元分析多元分析就是采取聚类分析与主成分分析等数学手段，对测评结果进行分析。例如：所找出的主要因素与分类结果与所想测评素质的结构是否一致，如果一致，则说明所获得的测评结果具有较好的结构效度。第一节效度关联效度：关联效标的分析关键在于效标的选择。效标作为衡量测评结果有效性的参照标准，应该是可以直接测评到到独立于所分析的测评结果的行为结果。效标可以分为行为效标与观念效标。行为效标的选择以客观性为基准。常见的行为效标有以下六类：学术成就特殊训练成绩实际工作表现与成绩团体特征等级评定结果先前被证明是有效的测评结果第一节效度项目分数效度：项目在这里是指测验中的试题、量表中的指标、面试中的问题或评定要素。每名被测评者在同一项目上会有一个得分。这些得分与外部的某组效标分数的相关性即为项目的效度。相关系数越高则项目效度越高。第一节效度项目分数效度：项目在这里是指测验中的试题、量表中的指标、面试中的问题或评定要素。每名被测评者在同一项目上会有一个得分。这些得分与外部的某组效标分数的相关性即为项目的效度。相关系数越高则项目效度越高。第一节效度效度分析中的几个理论问题：效度评价问题任何一种素质测评的结果，其效度不是“全有”或“全无”，而只是程度上的差别而已，因此其效度系数一般介于０与１之间。评价时我们不能说某一素质测评的结果无效或有效，只能说“较高”或“较低”。一般来说，效度高低标准要视测评的性质和所采取的分析方法而定。例如，能力测评常采用预测效度、同时效度与内容效度分析法，而品德测评多采用结构效度，且预测与同时效度应保证在0.30以上。我们认为效度评价可考虑以下方案：高：效度系数在0.70以上或α＝0.01及以上；中：效度系数在0.30~0.70或α＝0.01~0.10；低：效度系数低于0.30或α>0.10。第一节效度效度分析中的几个理论问题：效度的相对性问题效度是针对某种特殊测评目的而言的，并不具有普遍意义。如对技能测评有效度的结果相对品德测评就不一定有效度了。效度分析的多方面性问题效度是一个复杂的对象，采取单一的分析方法有时是不够的，需要同时分析各种类型的效度，综合起来才能把握测评结果的有效性第一节效度效度分析中的几个理论问题：效度概念的特定性问题效度这一概念一般是相对测评总分来说的。换句话说，效度分析的数据是每名被测评者的总分数，但是相对于每个素质测评的子分数与每个测评项目(试题、行为指标)来说，也同样有效度问题。当一个测验同时测评了几种素质时，针对每种素质的数个试题组合，实际上就是一个分测验，被测评者在这些分测验上的总分即为子分数。当针对一种素质测评的子分数或一个项目上的得分与某个外在参照效标分数作相关分析时，所揭示的就是子分数或项目得分的关联效度。第一节效度效度分析中的几个理论问题：效度的定义问题一般认为效度是测评结果反映所测评素质的正确性或真实性的程度。实际上，素质本身是模糊不清的，测评结果究竟是否反映了素质根本无法对证。如果把效度定义为测评结果反映被测评者个体间素质差异的真实性程度，却是比较可行的，因为差异可以测评到也可以感觉到。对效度的这一定义对于区分性与选拔性的测评来说是可行的，然而对诊断性、目标管理性、总结评价性的素质测评来说，不如原先的定义好。2信度第二节信度信度的概念

信度是指测评结果反映所测评素质的准确性、可靠性和一致性。对于信度的考评目前大致有稳定系数分析、等值系数分析、分半系数分析、内部一致系数分析、评分一致性系数分析等。

以上几种信度都是针对常模参照测验而言的，标准参照测验中的信度计算通常使用分类一致性信度，这种信度的的常用估计方法是考察同一批被测者在两次是册或者复本测验中的分类是否一致。标准参照测验中的信度也可以使用K系数计算，较分类一致性信度在统计上更合理（Cohen，1968；Aiken，1988）。第二节信度指以测评结果以同样的测评工具、测评方式与测评对象再次获得测量结果的变异程度。再测信度的计算一般采用皮尔逊积差相关系数。

个体的素质测评在测评过程中会涉及许多因素的影响，素质本身有时也无法精确定义。我们常常把对个体测评结果的准确性检验置于群体测评结果的相互关系之中，转化为两次位置关系的一致性分析。当同一对象的测评结果以同样的测评方式再次获得后，其顺序位置关系变异很小时，则说明测评结果比较准确。

例如：在技能测评中，李某的分数是８８，在全体被测者中排名第一，这到底准不准呢？我们再重复测评一次，结果李某的分数是9５，还是排名第一，而且其他被测的位置顺序变化很小，我们就可以说第一次的技能测评结果很可靠。再测信度第二节信度指测评结果相对另一个非常相同的测评结果的变异程度。“非常相同”一般以“等值”解释。所谓等值，是指在测评内容、效度、要求、形式上都与原测评一样，其中一个测评可以看作是另一个测评的近似的复写或重复，即复本。“变异程度”一般用它的反义词“一致性”解释。因此复本信度实际上是一种用等值系数揭示的信度，等值系数即为两组测评结果的相关系数。复本信度第二节信度又称同质性信度，指相同素质测评项目分数间的一致性程度。一致性信度的分析又两种常用方法：一种是项目折半分析，主要采用斯皮尔曼-布朗修正公式计算；另一种是α系数分析，主要采用库德-理查逊公式和克朗巴哈а系数。如果被测在第一个项目上比其他人分数高，在第二个项目上又比其他人高，在第三个项目上也比其他人高……相反另一个人在第一个项目上比其他人分数低，在第二个项目上又比其他人低，在第三个项目上也比其他人低……那么毫无疑问，我们会认为测评结果比较可靠。一致性信度第二节信度评分者信度指多个测评者给同一组被测样组进行评分的一致性程度。测评结果的差异程度来自两方面：一是被测评者自身，二是被测评者及其测评。信度的度量以后者作为依据，测评者及其测评的无关差异越小，说明测评结果就越可靠。测评者的评分是引起主观性测评结果差异的主要原因。客观性测评是利用计算机评分，不受主观因素影响，不存在评分误差。评分者信度分析主要采用肯德尔和谐系数公式计算信度系数。评分者信度第二节信度测评方法在这里包括测评工具、测评过程及其组织，它与评分者的评分信度共同决定着测评结果的可靠性。它们之间具有以下四种关系：(１)高信度的评分者用高信度的测评方法获得高信度的测评结果。(２)高信度的测评者用低信度的测评方法难以获得高信度的测评结。(３)低信度的测评者用高信度的测评方法难以获得高信度的测评结果。(４)低信度的评分者用低信度的测评方法则测评结果必然不可靠。因此要提高测评结果的可靠性，一要选择高质量的测评工具，二要控制测评过程及其组织的误差，三要训练与提高测评者的操作水平。培训与提高测评者的测评能力，关键在于对测评标准的理解与把握，在于对测评信息的收集、分析与判断，在于对各种心理效应、趋中心理及反差效应等误差的控制技巧。评分者信度与测评方法信度对测评结果的影响3项目分析项目分析适合度

在人员素质测评中，项目不仅仅是试题，更多的是一些咨询问题或观察评定点（指标），它们无难易之分，只有是否之别。适合度指的是被测者行为（包括回答与实际表现）符合项目测评标准的程度。当项目为试题时，适合度即难度；当项目是问卷中的问题时，符合度即所有选对的被测者人数与总人数之比；当项目为观察评定量表中的指标时，符合程度即所有被测得分平均值与指标满分值之比。

区分度

又称鉴别力，指项目把具有不同素质水平的被测评者适当区分开来的鉴别能力。项目区分度的计算方法主要有相关分析法（包括积差相关法、二列相关法和点二列相关法）、两端分组法（鉴别度指数、临界比）和因素分析法

独立性

在能力测评中，常常需要项目之间有一定的独立性。所谓独立性即非相关性或低相关性。项目的独立性的分析一般采用项目间分数的相关系数揭示，相关系数越大说明独立性越小。根据实际得分分布是否均匀，可以分别采用rφ系数法和列联表χ²（卡方）检验法。第三节项目分析项目分析选项质量对于诱答或正答质量的分析方法有两种：诱惑力分析法这种方法是采用表格形式，分别统计高分组与低分组中的被测评者对同一项目各选项的选择次数。“白智”试测法这种方法是找一些对测验内容一无所知或十分陌生的人作为被测者进行测试，通过分析这些人对每个诱答选择的人次来分析选项的质量。第三节项目分析4其他指标检测第四节其他指标的检测客观性

测评的客观性由测评方法的客观性与测评者的客观性两方面构成总体分布与水平总体分布指测评结果在各水平层次上的分布情况，总体水平一般指对测评结果集中量的分析。区分性与差异性测评工具的区分性是指把不同水平的被测者区分开来的程度，测评区分性一般通过测评结果差异性的分析来揭示。误差误差是指通过测评结果进行定性定量分析，判断测评结果是否受到心理效应的严重影响。分析的主要内容是心理误差、标准误差以及单个测评结果的致信区间。第四节其他指标的检测误差心理误差

哈罗效应误差

哈罗效应又称晕轮效应，是指测评者往往会因为对被测评者整体印象的好坏从而影响对其每个素质的测评。例如因看到一个人相貌端庄、严肃，就容易产生此人责任感很强的看法，这是一种演绎影响。由哈罗效应引起的误差叫哈罗效应误差。