第十二章人才测评质量分析

1、第十二章 人才测评的质量分析 一项测评是否可靠、可信？一项测评是否可靠、可信？ 一项测评是否准确、有用？一项测评是否准确、有用？ 一项测评是否公正、公平？一项测评是否公正、公平？ 本章教学内容本章教学内容： 第一节第一节 测量的信度测量的信度 1 1 信度及其影响因素信度及其影响因素 2 2 信度的评估方法信度的评估方法 第二节第二节 测量的效度测量的效度 1 1 效度及其影响因素效度及其影响因素 2 2 效度的评估方法效度的评估方法 第一节第一节 测量的信度测量的信度 一、一、信度及其影响因素信度及其影响因素 1 1、信度的概念、信度的概念 2 2、信度的计算、信度的计算 3 3、信度的作用

2、、信度的作用 4 4、信度的影响因素、信度的影响因素 1 1、信度的概念、信度的概念 信度（信度（reliabilityreliability）信度是标）信度是标 示测验一致性高低的统计指标。示测验一致性高低的统计指标。 主要指测量结果的可靠性或一主要指测量结果的可靠性或一 致性。致性。 测量结果的可靠性与误差的大小密切相关。测量结果的可靠性与误差的大小密切相关。 误差越大，分数的可靠性就越低误差越大，分数的可靠性就越低 信度便是说明测量的可靠性或一致性的指标信度便是说明测量的可靠性或一致性的指标。 2 2、信度的计算：信度系数信度的计算：信度系数 信度指标的一般公式：测验分数信度指标的一般公

3、式：测验分数 = = 真实分数真实分数 + + 测量误差测量误差 或者：或者： X = T + e X = T + e 信度的高低通常以相信度的高低通常以相 关系数表示，称为信关系数表示，称为信 度系数（度系数（reliability reliability coefficientcoefficient）。信度）。信度 系数一般是同一样本系数一般是同一样本 所得的两组资料的相所得的两组资料的相 关，因此有：关，因此有： 测验分数方差测验分数方差 = = 真实分真实分 数方差数方差+ + 误差分数方差误差分数方差 2 2 t x xx S S r 解释真实分数与实得分数之间的解释真实分数与实得分

4、数之间的 相关相关 信度可以解释为总的方差（标准差的平方的缩略信度可以解释为总的方差（标准差的平方的缩略 语）中有多少比例是由真实分数的方差决定的，语）中有多少比例是由真实分数的方差决定的， 即测量分数的变化中有多少是真正反映了被测者即测量分数的变化中有多少是真正反映了被测者 分数的变化。分数的变化。 例如：当例如：当r rxx xx = 0.90 = 0.90时，我们可以说，实得分数中时，我们可以说，实得分数中 有有90%90%的方差是来自真实分数的变化，仅有的方差是来自真实分数的变化，仅有10%10%是是 来自测量的误差。来自测量的误差。 信度系数的分布是从信度系数的分布是从0.00-1.

5、000.00-1.00的正数范围，代表的正数范围，代表 了从缺乏信度到完全可信的所有状况。了从缺乏信度到完全可信的所有状况。 思考：如果思考：如果r rxx xx = 1.00 = 1.00表示什么？表示什么？ r rxx xx = 0.00 = 0.00表示表示 什么？什么？ 3 3、信度的作用、信度的作用 测验信度要能够区分出：测验信度要能够区分出： 导致一致性的因素：导致一致性的因素： 个体稳定的特性（测量对象）个体稳定的特性（测量对象） 导致不一致性的因素：导致不一致性的因素： 可能影响测验，但又与测验对象可能影响测验，但又与测验对象 没有关系的个体和环境的特性没有关系的个体和环境的特

6、性 在人事测量中，对信度系数进行确定通常有以下在人事测量中，对信度系数进行确定通常有以下 作用：作用： 解释真实分数与实得分数之间的相关解释真实分数与实得分数之间的相关 说明可以接受的信度水平说明可以接受的信度水平 说明可以接受的信度水平说明可以接受的信度水平 信度的理想水平是信度的理想水平是1.001.00，但是实际上是达不到，但是实际上是达不到 的。的。 一般能力与成就测验的信度系数在一般能力与成就测验的信度系数在0.900.90以上；以上； 人格、兴趣等测验的信度通常在人格、兴趣等测验的信度通常在0.80-0.850.80-0.85之间。之间。 一般来说，当一般来说，当r rxx xx

7、0.70 0.700.70时，可用于团体间比较；当时，可用于团体间比较；当r rxx xx 0.85 0.85时，时， 可用于鉴别个人。可用于鉴别个人。 4 4、信度的影响因素、信度的影响因素 受试者个体持久而泛化的特性：受试者个体持久而泛化的特性： 进行测验的一般技能水平进行测验的一般技能水平 理解测验指示语的一般能力水平理解测验指示语的一般能力水平 进行类似测验的一般的人格特质进行类似测验的一般的人格特质 受试者个体持久而特殊的特性：受试者个体持久而特殊的特性： 进行某项测验（或其形式）需要的特殊的技能、能力进行某项测验（或其形式）需要的特殊的技能、能力 和特质；以及稳定的反映定势；和特质

8、；以及稳定的反映定势； 对某个测验项目内容的熟悉程度对某个测验项目内容的熟悉程度 受试者个体短时而泛化的特性：受试者个体短时而泛化的特性： 健康、疲劳、动机、情绪状态、测验自如性；温度、健康、疲劳、动机、情绪状态、测验自如性；温度、 光亮、通风等测验外部条件光亮、通风等测验外部条件 二、二、 信度的评估方法信度的评估方法 针对不同的误差来源，信度可以有不同的针对不同的误差来源，信度可以有不同的 确定方法。确定方法。 1 1、重测信度、重测信度(test-retest (test-retest reliability)reliability) 又称为稳定性系数，是采用重测法计算信度的方又称为稳定

9、性系数，是采用重测法计算信度的方 法，即用同一测验在不同时间对同一对象施测两法，即用同一测验在不同时间对同一对象施测两 次，两次测量分数的相关系数即为重测系数。次，两次测量分数的相关系数即为重测系数。 例如：如果用一个智力测验测量某人的智力，第例如：如果用一个智力测验测量某人的智力，第 一天测量得到一天测量得到100100分，表示智力中等；第二天测量分，表示智力中等；第二天测量 却变成了却变成了150150分，这个分数意味着这个人在一夜之分，这个分数意味着这个人在一夜之 间变成了天才，如果没有特殊原因，这种事绝对间变成了天才，如果没有特殊原因，这种事绝对 是小概率事件，不太可能发生，可信度极低

10、。不是小概率事件，不太可能发生，可信度极低。不 能用这个结果帮助决策。能用这个结果帮助决策。 在日常生活中，你也许常常到市场上去买在日常生活中，你也许常常到市场上去买 东西。如果你买了东西。如果你买了5 5斤瘦肉后觉得比上次少斤瘦肉后觉得比上次少 了点，没有那么重，那么你可以自己再用了点，没有那么重，那么你可以自己再用 称称一下。如果也是称称一下。如果也是5 5斤，那么你可能就会斤，那么你可能就会 觉得确实有觉得确实有5 5斤。这是因为两次称得的结果斤。这是因为两次称得的结果 完全一致，变异度为完全一致，变异度为0 0。 重测信度的计算重测信度的计算 重测信度反映的是两次测验结果的稳定程度重测

11、信度反映的是两次测验结果的稳定程度, , 所以重测信度又称稳定系数所以重测信度又称稳定系数, ,用前后两次结果用前后两次结果 的相关系数来表示的相关系数来表示, ,计算公式如下计算公式如下: : 式中式中,n,n表示两次参与测评的同一组人员的表示两次参与测评的同一组人员的 人数人数;X;X表示各人初次测评所得的结果表示各人初次测评所得的结果;Y;Y表示重表示重 测所得到的结果测所得到的结果;r;r是两次结果之间的相关系数是两次结果之间的相关系数 也即重测信度。也即重测信度。 重测信度的考察对象重测信度的考察对象 重测信度所考察的误差来源是时间的变化所带来的随机影重测信度所考察的误差来源是时间的

12、变化所带来的随机影 响（气候、噪音的干扰、疾病、疲劳、情绪的影响等），响（气候、噪音的干扰、疾病、疲劳、情绪的影响等）， 根据重测相关系数的高低，可以得知测量结果在经过一段根据重测相关系数的高低，可以得知测量结果在经过一段 时间之后的稳定程度。重测信度表示测量能够应用于不同时间之后的稳定程度。重测信度表示测量能够应用于不同 时间的程度，信度越高说明测量结果受环境中日常的随机时间的程度，信度越高说明测量结果受环境中日常的随机 因素影响越小，测量结果越稳定、可靠。因素影响越小，测量结果越稳定、可靠。 评估重测信度时，要注意重测间隔的时间，时间太短被试评估重测信度时，要注意重测间隔的时间，时间太短被

13、试 对测试题记忆犹新，必然会造成假性相关；时间太长，测对测试题记忆犹新，必然会造成假性相关；时间太长，测 验结果又会受应试者的身心特质改变的影响，使相关系数验结果又会受应试者的身心特质改变的影响，使相关系数 降低。间隔时间的长短必须根据测验的性质和目的来确定。降低。间隔时间的长短必须根据测验的性质和目的来确定。 如果希望测量结果能预测较长时间的变化，则重测间隔时如果希望测量结果能预测较长时间的变化，则重测间隔时 间应该长一些。例如人格测验一般间隔间应该长一些。例如人格测验一般间隔2-62-6个月比较合适。个月比较合适。 2 2、复本信度、复本信度(alternative-form (alter

14、native-form reliability)reliability) 所谓的复本信度所谓的复本信度, ,就是指同一组受测者在两个平行就是指同一组受测者在两个平行 ( (等值等值) )的测验上所得分数的相关程度的测验上所得分数的相关程度, ,也即两个测也即两个测 验之间的等值程度验之间的等值程度, ,因此有人又把复本信度称为等因此有人又把复本信度称为等 值系数。值系数。 复本信度的计算复本信度的计算 第一步第一步, ,准备或制定两个等值的测评工具准备或制定两个等值的测评工具A A和和B B。 第二步第二步, ,先用先用A(A(原测评原测评) )对受测者进行测评。对受测者进行测评。 第三步第三

15、步, ,紧接着或间隔一段时间后用紧接着或间隔一段时间后用B(B(复本复本) )对对 该组人员进行测评。该组人员进行测评。 第四步第四步, ,计算两种工具所测结果的相关系数计算两种工具所测结果的相关系数, ,公公 式如下式如下: : n n表示两次参与测试的同一组人员的人数表示两次参与测试的同一组人员的人数;X;X表表 示各人在示各人在A A测评中所得到的结果测评中所得到的结果;Y;Y表示各人在表示各人在B B 测评测评( (复本复本) )中所得到的结果中所得到的结果;r;r是两种工具所测是两种工具所测 得的结果之间的相关系数即重测信度。得的结果之间的相关系数即重测信度。 3 3、一致性信度、一

16、致性信度consistency consistency reliabilityreliability 一致性信度又称为同质性信度，是指一个测评活一致性信度又称为同质性信度，是指一个测评活 分测评中各个题目所测内容的一致性。分测评中各个题目所测内容的一致性。 同质性是保证测评只测量同一特质的必要条件。同质性是保证测评只测量同一特质的必要条件。 也就是说，评估一组测验题目内部一致性程度，也就是说，评估一组测验题目内部一致性程度， 对于确定测验题目是否测量了同一事物很重要。对于确定测验题目是否测量了同一事物很重要。 如果同质性差，则表示测评混淆了不同的测评内如果同质性差，则表示测评混淆了不同的测评内

17、 容，其结果就无从判断究竟是否反映了被测者的容，其结果就无从判断究竟是否反映了被测者的 某一特质。某一特质。 一致性信度应用实例一致性信度应用实例 例如：在人格测评中，乐观情绪特质和外向特质例如：在人格测评中，乐观情绪特质和外向特质 是两个容易混淆的内容，这就要求测评设计时能是两个容易混淆的内容，这就要求测评设计时能 够找到相应的题目把二者区分开来。够找到相应的题目把二者区分开来。 再例如：在考察管理技能时，预测和决策、监督再例如：在考察管理技能时，预测和决策、监督 和控制等都是不太容易区分的，对题目设计的要和控制等都是不太容易区分的，对题目设计的要 求就相当高，否则就会把不同技能混淆，导致结

18、求就相当高，否则就会把不同技能混淆，导致结 论错误和用人失误。论错误和用人失误。 在设计测评题目时，所有测评题目都要保证只测在设计测评题目时，所有测评题目都要保证只测 量一种特质或内容，如果需要在一个测评中测量量一种特质或内容，如果需要在一个测评中测量 不同内容，就应该将测评设计为几个分测评进行不同内容，就应该将测评设计为几个分测评进行 分别测评。例如分别测评。例如16PF16PF人格测评就包括人格测评就包括1616个分测评，个分测评， 每个分测评量表只对一种人格特质进行测评。每个分测评量表只对一种人格特质进行测评。 一致性信度的计算方法一致性信度的计算方法 分半信度分半信度项目折半分析，是通

19、过将测验分成项目折半分析，是通过将测验分成 两半，计算这两半测验之间的相关性而获得的信两半，计算这两半测验之间的相关性而获得的信 度系数。通常的方法是在测验实施后将测验分为度系数。通常的方法是在测验实施后将测验分为 等值的两半，并分别计算每位被测者在两半测验等值的两半，并分别计算每位被测者在两半测验 上的得分，再求出这两个分数的相关系数。这个上的得分，再求出这两个分数的相关系数。这个 相关系数就代表了两半侧眼内容取样的一致性程相关系数就代表了两半侧眼内容取样的一致性程 度。度。 同质性信度同质性信度系数分析，是指测验内部的各系数分析，是指测验内部的各 题目在多大程度上考察了同一内容，即所有测验

20、题目在多大程度上考察了同一内容，即所有测验 题目测量的只是单一特质或内容，表现为所有测题目测量的只是单一特质或内容，表现为所有测 验题目得分的一致性。验题目得分的一致性。 4 4、评分者信度（、评分者信度（raters reliabilityraters reliability） 在有些测量情形中，评分者的评判也是误差的来在有些测量情形中，评分者的评判也是误差的来 源之一。例如投射测验、创造力测验、无领导小源之一。例如投射测验、创造力测验、无领导小 组讨论、管理者情境模拟等，都依赖于评分者的组讨论、管理者情境模拟等，都依赖于评分者的 判断，这种判断的主观性往往造成不同评分者的判断，这种判断的主

21、观性往往造成不同评分者的 评分很不一致，因此有必要考虑评分者信度。评分很不一致，因此有必要考虑评分者信度。 评分者信度是指不同评分者对同一对象进行评定评分者信度是指不同评分者对同一对象进行评定 时的一致性。最简单的估计方法就是随机抽取若时的一致性。最简单的估计方法就是随机抽取若 干份答卷，由两个独立的评分者打分，再求每份干份答卷，由两个独立的评分者打分，再求每份 答卷两个评判分数的相关系数。评分者的评分越答卷两个评判分数的相关系数。评分者的评分越 一致，评分者信度越高。（等级相关）一致，评分者信度越高。（等级相关） 三、影响信度的因素分析三、影响信度的因素分析 误差：随机误差误差：随机误差偶然

22、因素引起的；系统误偶然因素引起的；系统误 差差恒定而有规律的因素引起。恒定而有规律的因素引起。 测评信度就是随机误差大小的反应，影响因素：测评信度就是随机误差大小的反应，影响因素： 测评者因素：测评者因素： 被测者因素被测者因素: :总体水平的离散程度和平均水平总体水平的离散程度和平均水平 测评工具：如测评的测题取样不当，题太少或面测评工具：如测评的测题取样不当，题太少或面 太窄。太窄。 测评环境的因素：测评环境的因素： 思考题：思考题： 1 1、与对某人品德测评分数的可靠性进行考察，与对某人品德测评分数的可靠性进行考察， 随机抽取其中随机抽取其中1010个被试的分数，分别是：个被试的分数，分

23、别是：7474、 7171、8080、8585、7676、7777、7777、6868、7474、7474，再，再 次测评后次测评后1010个被试的分数分别是：个被试的分数分别是：8282、7575、 8181、8989、8282、8989、8888、8484、8080、8787。请问可。请问可 以用什么方法评价测评的可靠性？以用什么方法评价测评的可靠性？ 2 2、如果一个部门的三个经理分别给部门的几如果一个部门的三个经理分别给部门的几 十位员工考核，你认为应当怎样检查三位评十位员工考核，你认为应当怎样检查三位评 分者评定的可靠性？分者评定的可靠性？ 3 3、某态度量表共某态度量表共7 7题，

24、题，100100个被试在各题上个被试在各题上 的得分方差分别是的得分方差分别是 0.81,0.82,0.79,0.83,0.85,0.76,0.77,0.81,0.82,0.79,0.83,0.85,0.76,0.77,测测 验总分的方差为验总分的方差为14.0014.00，则此测量的的信度，则此测量的的信度 如何评价如何评价? ? 4 4、：5 5位评分者对位评分者对5 5个学生的摄影比赛的排个学生的摄影比赛的排 列名次如下表，试估计评分者之间的信度。列名次如下表，试估计评分者之间的信度。 第二节第二节 测量的效度测量的效度 一、一、效度及其影响因素效度及其影响因素 1 1、效度的概念、效度

25、的概念 2 2、效度与信度的关系、效度与信度的关系 3 3、效度的作用、效度的作用 4 4、效度的影响因素、效度的影响因素 二、二、效度的评估方法效度的评估方法 1 1、内容效度、内容效度 2 2、效标关联效度、效标关联效度 3 3、构想效度、构想效度 一一、效度的概念、效度的概念 1、效度的概念、效度的概念 效度：测评结果对素质反映的真实程度，效度：测评结果对素质反映的真实程度， 即准确性和有效性。即准确性和有效性。 效度是指所测量的与所要测量的心理特点之间符效度是指所测量的与所要测量的心理特点之间符 合的程度，或者简单地说是指一个心理测验的准合的程度，或者简单地说是指一个心理测验的准 确性

26、。或是指一个测验或量表实际能测出其所要确性。或是指一个测验或量表实际能测出其所要 测的心理特质的程度。测的心理特质的程度。 在测验理论中，效度被定义为在一组测量在测验理论中，效度被定义为在一组测量 中，与测量目标有关的真实方差（或称有中，与测量目标有关的真实方差（或称有 效方差，由所要测量的变因引起的有效变效方差，由所要测量的变因引起的有效变 异）与总方差异）与总方差( (实得变异数实得变异数) )的比率，即的比率，即 2 2 2 v x y x s r s 2 2、效度与信度的关系效度与信度的关系 二者的区别：信度与效度的差别在于所考虑二者的区别：信度与效度的差别在于所考虑 的误差不同。信度

27、考虑的是随机误差的影响；的误差不同。信度考虑的是随机误差的影响； 效度考虑的误差包括随效度考虑的误差包括随机机误差和对测验目的误差和对测验目的 无关的变量引起的系统误差。无关的变量引起的系统误差。 二者的联系：信度是效度的必要条件，但不二者的联系：信度是效度的必要条件，但不 是充分条件。换句话说，信度高不一定效度是充分条件。换句话说，信度高不一定效度 必然高。但效度高必定信度高必然高。但效度高必定信度高。 3 3、效度的作用、效度的作用 就好像用磅秤测量身高，每次测量的结果都就好像用磅秤测量身高，每次测量的结果都 很一直稳定（信度很高），但它并不能代表很一直稳定（信度很高），但它并不能代表 身

28、高，也就是说其测量值并不反映身高这一身高，也就是说其测量值并不反映身高这一 属性（效度很低），所以说，磅秤不是身高属性（效度很低），所以说，磅秤不是身高 这一测量对象的适宜测量工具。这一测量对象的适宜测量工具。 例如一个数学测验可能对学生的数学成绩的例如一个数学测验可能对学生的数学成绩的 预测效度很好，但对学生整体智力的预测效预测效度很好，但对学生整体智力的预测效 度就没有那么好，对学生的性格可能根本就度就没有那么好，对学生的性格可能根本就 没有预测效度。没有预测效度。 二、二、效度的评估方法效度的评估方法 1 1、内容效度内容效度 2 2、构想效度构想效度 3 3、效标关联效度效标关联效度

29、1 1、内容效度内容效度 测验的行为样组能代表所测量的特质的程度。测验的行为样组能代表所测量的特质的程度。 即即一个测验实际测到的内容与所要测的内容之一个测验实际测到的内容与所要测的内容之 间的吻合程度。间的吻合程度。 估计一个测验的内容效度就是确定该测验在多估计一个测验的内容效度就是确定该测验在多 大程度上代表了所要测量的心理特质。大程度上代表了所要测量的心理特质。 内容效度的评估方法：内容效度的评估方法： （1 1）专家判断法：请有关专家对测验题目）专家判断法：请有关专家对测验题目 与原定内容的符合性作出判断，看测验的与原定内容的符合性作出判断，看测验的 题目是否代表规定的内容，这种估计效度题目是否代表规定的内容，这种估计效度 的方法，是一个逻辑分析的过程，所以内的方法，是一个逻辑分析的过程，所以内 容效度有时也可称为容效度有时也可称为“逻辑效度逻辑效度”。 （2 2）统计分析法）统计分析法 （3 3）经验推测法：）经验推测法： 2 2、构想效度、构想效度 构想效度是指测验能够测量到理论上的构想或构想效度是指测验能够测量到理论上的