第十二章人才测评的质量分析剖析

1、第十二章 人才测评的质量分析一项测评是否可靠、可信？一项测评是否可靠、可信？一项测评是否准确、有用？一项测评是否准确、有用？一项测评是否公正、公平？一项测评是否公正、公平？本章教学内容本章教学内容： 第一节第一节 测量的信度测量的信度1 1 信度及其影响因素信度及其影响因素2 2 信度的评估方法信度的评估方法 第二节第二节 测量的效度测量的效度1 1 效度及其影响因素效度及其影响因素2 2 效度的评估方法效度的评估方法第一节第一节 测量的信度测量的信度一、一、信度及其影响因素信度及其影响因素1 1、信度的概念、信度的概念2 2、信度的计算、信度的计算3 3、信度的作用、信度的作用4 4、信度的

2、影响因素、信度的影响因素1 1、信度的概念、信度的概念 信度（信度（reliabilityreliability）信度是标）信度是标示测验一致性高低的统计指标。示测验一致性高低的统计指标。主要指测量结果的可靠性或一主要指测量结果的可靠性或一致性。致性。 测量结果的可靠性与误差的大小密切相关。测量结果的可靠性与误差的大小密切相关。 误差越大，分数的可靠性就越低误差越大，分数的可靠性就越低 信度便是说明测量的可靠性或一致性的指标信度便是说明测量的可靠性或一致性的指标。2 2、信度的计算：信度系数信度的计算：信度系数 信度指标的一般公式：测验分数信度指标的一般公式：测验分数 = = 真实分数真实分数

3、 + + 测量误差测量误差 或者：或者： X = T + e X = T + e 信度的高低通常以相信度的高低通常以相关系数表示，称为信关系数表示，称为信度系数（度系数（reliability reliability coefficientcoefficient）。信度）。信度系数一般是同一样本系数一般是同一样本所得的两组资料的相所得的两组资料的相关，因此有：关，因此有：测验分数方差测验分数方差 = = 真实分真实分数方差数方差+ + 误差分数方差误差分数方差22txxxSSr 解释真实分数与实得分数之间的解释真实分数与实得分数之间的相关相关 信度可以解释为总的方差（标准差的平方的缩略信度可以

4、解释为总的方差（标准差的平方的缩略语）中有多少比例是由真实分数的方差决定的，语）中有多少比例是由真实分数的方差决定的，即测量分数的变化中有多少是真正反映了被测者即测量分数的变化中有多少是真正反映了被测者分数的变化。分数的变化。 例如：当例如：当r rxx xx = 0.90= 0.90时，我们可以说，实得分数中时，我们可以说，实得分数中有有90%90%的方差是来自真实分数的变化，仅有的方差是来自真实分数的变化，仅有10%10%是是来自测量的误差。来自测量的误差。 信度系数的分布是从信度系数的分布是从0.00-1.000.00-1.00的正数范围，代表的正数范围，代表了从缺乏信度到完全可信的所有

5、状况。了从缺乏信度到完全可信的所有状况。 思考：如果思考：如果r rxx xx = 1.00= 1.00表示什么？表示什么？ r rxx xx = 0.00= 0.00表示表示什么？什么？3 3、信度的作用、信度的作用 测验信度要能够区分出：测验信度要能够区分出：导致一致性的因素：导致一致性的因素： 个体稳定的特性（测量对象）个体稳定的特性（测量对象）导致不一致性的因素：导致不一致性的因素： 可能影响测验，但又与测验对象可能影响测验，但又与测验对象没有关系的个体和环境的特性没有关系的个体和环境的特性 在人事测量中，对信度系数进行确定通常有以下在人事测量中，对信度系数进行确定通常有以下作用：作用

6、：解释真实分数与实得分数之间的相关解释真实分数与实得分数之间的相关说明可以接受的信度水平说明可以接受的信度水平说明可以接受的信度水平说明可以接受的信度水平 信度的理想水平是信度的理想水平是1.001.00，但是实际上是达不到，但是实际上是达不到的。的。 一般能力与成就测验的信度系数在一般能力与成就测验的信度系数在0.900.90以上；以上；人格、兴趣等测验的信度通常在人格、兴趣等测验的信度通常在0.80-0.850.80-0.85之间。之间。 一般来说，当一般来说，当r rxx xx 0.700.700.70时，可用于团体间比较；当时，可用于团体间比较；当r rxx xx 0.850.85时，

7、时，可用于鉴别个人。可用于鉴别个人。4 4、信度的影响因素、信度的影响因素 受试者个体持久而泛化的特性：受试者个体持久而泛化的特性：进行测验的一般技能水平进行测验的一般技能水平理解测验指示语的一般能力水平理解测验指示语的一般能力水平进行类似测验的一般的人格特质进行类似测验的一般的人格特质 受试者个体持久而特殊的特性：受试者个体持久而特殊的特性：进行某项测验（或其形式）需要的特殊的技能、能力进行某项测验（或其形式）需要的特殊的技能、能力 和特质；以及稳定的反映定势；和特质；以及稳定的反映定势；对某个测验项目内容的熟悉程度对某个测验项目内容的熟悉程度 受试者个体短时而泛化的特性：受试者个体短时而泛

8、化的特性： 健康、疲劳、动机、情绪状态、测验自如性；温度、健康、疲劳、动机、情绪状态、测验自如性；温度、 光亮、通风等测验外部条件光亮、通风等测验外部条件二、二、 信度的评估方法信度的评估方法 针对不同的误差来源，信度可以有不同的针对不同的误差来源，信度可以有不同的确定方法。确定方法。1 1、重测信度、重测信度(test-retest (test-retest reliability)reliability) 又称为又称为稳定性系数稳定性系数，是采用重测法计算信度的方，是采用重测法计算信度的方法，即用同一测验在不同时间对同一对象施测两法，即用同一测验在不同时间对同一对象施测两次，两次测量分数的

9、相关系数即为重测系数。次，两次测量分数的相关系数即为重测系数。 例如：如果用一个智力测验测量某人的智力，第例如：如果用一个智力测验测量某人的智力，第一天测量得到一天测量得到100100分，表示智力中等；第二天测量分，表示智力中等；第二天测量却变成了却变成了150150分，这个分数意味着这个人在一夜之分，这个分数意味着这个人在一夜之间变成了天才，如果没有特殊原因，这种事绝对间变成了天才，如果没有特殊原因，这种事绝对是小概率事件，不太可能发生，可信度极低。不是小概率事件，不太可能发生，可信度极低。不能用这个结果帮助决策。能用这个结果帮助决策。 在日常生活中，你也许常常到市场上去买在日常生活中，你也

10、许常常到市场上去买东西。如果你买了东西。如果你买了5 5斤瘦肉后觉得比上次少斤瘦肉后觉得比上次少了点，没有那么重，那么你可以自己再用了点，没有那么重，那么你可以自己再用称称一下。如果也是称称一下。如果也是5 5斤，那么你可能就会斤，那么你可能就会觉得确实有觉得确实有5 5斤。这是因为两次称得的结果斤。这是因为两次称得的结果完全一致，变异度为完全一致，变异度为0 0。 重测信度的计算重测信度的计算 重测信度反映的是两次测验结果的稳定程度重测信度反映的是两次测验结果的稳定程度, ,所以重测信度又称稳定系数所以重测信度又称稳定系数, ,用前后两次结果用前后两次结果的相关系数来表示的相关系数来表示,

11、,计算公式如下计算公式如下: : 式中式中,n,n表示两次参与测评的同一组人员的表示两次参与测评的同一组人员的人数人数;X;X表示各人初次测评所得的结果表示各人初次测评所得的结果;Y;Y表示重表示重测所得到的结果测所得到的结果;r;r是两次结果之间的相关系数是两次结果之间的相关系数也即重测信度。也即重测信度。重测信度的考察对象重测信度的考察对象 重测信度所考察的误差来源是时间的变化所带来的随机影重测信度所考察的误差来源是时间的变化所带来的随机影响（气候、噪音的干扰、疾病、疲劳、情绪的影响等），响（气候、噪音的干扰、疾病、疲劳、情绪的影响等），根据重测相关系数的高低，可以得知测量结果在经过一段根

12、据重测相关系数的高低，可以得知测量结果在经过一段时间之后的稳定程度。时间之后的稳定程度。重测信度表示测量能够应用于不同重测信度表示测量能够应用于不同时间的程度，信度越高说明测量结果受环境中日常的随机时间的程度，信度越高说明测量结果受环境中日常的随机因素影响越小，测量结果越稳定、可靠。因素影响越小，测量结果越稳定、可靠。 评估重测信度时，要注意重测间隔的时间，时间太短被试评估重测信度时，要注意重测间隔的时间，时间太短被试对测试题记忆犹新，必然会造成假性相关；时间太长，测对测试题记忆犹新，必然会造成假性相关；时间太长，测验结果又会受应试者的身心特质改变的影响，使相关系数验结果又会受应试者的身心特质

13、改变的影响，使相关系数降低。间隔时间的长短必须根据测验的性质和目的来确定。降低。间隔时间的长短必须根据测验的性质和目的来确定。如果希望测量结果能预测较长时间的变化，则重测间隔时如果希望测量结果能预测较长时间的变化，则重测间隔时间应该长一些。例如人格测验一般间隔间应该长一些。例如人格测验一般间隔2-62-6个月比较合适。个月比较合适。2 2、复本信度、复本信度(alternative-form (alternative-form reliability)reliability) 所谓的复本信度所谓的复本信度, ,就是指同一组受测者在两个平行就是指同一组受测者在两个平行( (等值等值) )的测验上

14、所得分数的相关程度的测验上所得分数的相关程度, ,也即两个测也即两个测验之间的等值程度验之间的等值程度, ,因此有人又把复本信度称为等因此有人又把复本信度称为等值系数。值系数。 复本信度的计算复本信度的计算 第一步第一步, ,准备或制定两个等值的测评工具准备或制定两个等值的测评工具A A和和B B。 第二步第二步, ,先用先用A(A(原测评原测评) )对受测者进行测评。对受测者进行测评。 第三步第三步, ,紧接着或间隔一段时间后用紧接着或间隔一段时间后用B(B(复本复本) )对对该组人员进行测评。该组人员进行测评。 第四步第四步, ,计算两种工具所测结果的相关系数计算两种工具所测结果的相关系数

15、, ,公公式如下式如下: : n n表示两次参与测试的同一组人员的人数表示两次参与测试的同一组人员的人数;X;X表表示各人在示各人在A A测评中所得到的结果测评中所得到的结果;Y;Y表示各人在表示各人在B B测评测评( (复本复本) )中所得到的结果中所得到的结果;r;r是两种工具所测是两种工具所测得的结果之间的相关系数即重测信度。得的结果之间的相关系数即重测信度。3 3、一致性信度、一致性信度consistency consistency reliabilityreliability 一致性信度又称为同质性信度，是指一个测评活一致性信度又称为同质性信度，是指一个测评活分测评中各个题目所测内容

16、的一致性。分测评中各个题目所测内容的一致性。 同质性是保证测评只测量同一特质的必要条件。同质性是保证测评只测量同一特质的必要条件。也就是说，评估一组测验题目内部一致性程度，也就是说，评估一组测验题目内部一致性程度，对于确定测验题目是否测量了同一事物很重要。对于确定测验题目是否测量了同一事物很重要。如果同质性差，则表示测评混淆了不同的测评内如果同质性差，则表示测评混淆了不同的测评内容，其结果就无从判断究竟是否反映了被测者的容，其结果就无从判断究竟是否反映了被测者的某一特质。某一特质。一致性信度应用实例一致性信度应用实例 例如：在人格测评中，乐观情绪特质和外向特质例如：在人格测评中，乐观情绪特质和

17、外向特质是两个容易混淆的内容，这就要求测评设计时能是两个容易混淆的内容，这就要求测评设计时能够找到相应的题目把二者区分开来。够找到相应的题目把二者区分开来。 再例如：在考察管理技能时，预测和决策、监督再例如：在考察管理技能时，预测和决策、监督和控制等都是不太容易区分的，对题目设计的要和控制等都是不太容易区分的，对题目设计的要求就相当高，否则就会把不同技能混淆，导致结求就相当高，否则就会把不同技能混淆，导致结论错误和用人失误。论错误和用人失误。 在设计测评题目时，所有测评题目都要保证只测在设计测评题目时，所有测评题目都要保证只测量一种特质或内容，如果需要在一个测评中测量量一种特质或内容，如果需要

18、在一个测评中测量不同内容，就应该将测评设计为几个分测评进行不同内容，就应该将测评设计为几个分测评进行分别测评。例如分别测评。例如16PF16PF人格测评就包括人格测评就包括1616个分测评，个分测评，每个分测评量表只对一种人格特质进行测评。每个分测评量表只对一种人格特质进行测评。一致性信度的计算方法一致性信度的计算方法 分半信度分半信度项目折半分析，是通过将测验分成项目折半分析，是通过将测验分成两半，计算这两半测验之间的相关性而获得的信两半，计算这两半测验之间的相关性而获得的信度系数。通常的方法是在测验实施后将测验分为度系数。通常的方法是在测验实施后将测验分为等值的两半，并分别计算每位被测者在

19、两半测验等值的两半，并分别计算每位被测者在两半测验上的得分，再求出这两个分数的相关系数。这个上的得分，再求出这两个分数的相关系数。这个相关系数就代表了两半侧眼内容取样的一致性程相关系数就代表了两半侧眼内容取样的一致性程度。度。 同质性信度同质性信度系数分析，是指测验内部的各系数分析，是指测验内部的各题目在多大程度上考察了同一内容，即所有测验题目在多大程度上考察了同一内容，即所有测验题目测量的只是单一特质或内容，表现为所有测题目测量的只是单一特质或内容，表现为所有测验题目得分的一致性。验题目得分的一致性。4 4、评分者信度（、评分者信度（raters reliabilityraters reli

20、ability） 在有些测量情形中，评分者的评判也是误差的来在有些测量情形中，评分者的评判也是误差的来源之一。例如投射测验、创造力测验、无领导小源之一。例如投射测验、创造力测验、无领导小组讨论、管理者情境模拟等，都依赖于评分者的组讨论、管理者情境模拟等，都依赖于评分者的判断，这种判断的主观性往往造成不同评分者的判断，这种判断的主观性往往造成不同评分者的评分很不一致，因此有必要考虑评分者信度。评分很不一致，因此有必要考虑评分者信度。 评分者信度是指不同评分者对同一对象进行评定评分者信度是指不同评分者对同一对象进行评定时的一致性。最简单的估计方法就是随机抽取若时的一致性。最简单的估计方法就是随机抽

21、取若干份答卷，由两个独立的评分者打分，再求每份干份答卷，由两个独立的评分者打分，再求每份答卷两个评判分数的相关系数。评分者的评分越答卷两个评判分数的相关系数。评分者的评分越一致，评分者信度越高。（等级相关）一致，评分者信度越高。（等级相关）三、影响信度的因素分析三、影响信度的因素分析 误差：随机误差误差：随机误差偶然因素引起的；系统误差偶然因素引起的；系统误差恒定而有规律的因素引起。恒定而有规律的因素引起。 测评信度就是随机误差大小的反应，影响因素：测评信度就是随机误差大小的反应，影响因素： 测评者因素：测评者因素： 被测者因素被测者因素: :总体水平的离散程度和平均水平总体水平的离散程度和平

22、均水平 测评工具：如测评的测题取样不当，题太少或面测评工具：如测评的测题取样不当，题太少或面太窄。太窄。 测评环境的因素：测评环境的因素：思考题：思考题： 1 1、与对某人品德测评分数的可靠性进行考察，与对某人品德测评分数的可靠性进行考察，随机抽取其中随机抽取其中1010个被试的分数，分别是：个被试的分数，分别是：7474、7171、8080、8585、7676、7777、7777、6868、7474、7474，再，再次测评后次测评后1010个被试的分数分别是：个被试的分数分别是：8282、7575、8181、8989、8282、8989、8888、8484、8080、8787。请问可。请问可

23、以用什么方法评价测评的可靠性？以用什么方法评价测评的可靠性？ 2 2、如果一个部门的三个经理分别给部门的几如果一个部门的三个经理分别给部门的几十位员工考核，你认为应当怎样检查三位评十位员工考核，你认为应当怎样检查三位评分者评定的可靠性？分者评定的可靠性？ 3 3、某态度量表共某态度量表共7 7题，题，100100个被试在各题上个被试在各题上的得分方差分别是的得分方差分别是0.81,0.82,0.79,0.83,0.85,0.76,0.77,0.81,0.82,0.79,0.83,0.85,0.76,0.77,测测验总分的方差为验总分的方差为14.0014.00，则此测量的的信度，则此测量的的信

24、度如何评价如何评价? ?4 4、：5 5位评分者对位评分者对5 5个学生的摄影比赛的排个学生的摄影比赛的排列名次如下表，试估计评分者之间的信度。列名次如下表，试估计评分者之间的信度。第二节第二节 测量的效度测量的效度一、一、效度及其影响因素效度及其影响因素1 1、效度的概念、效度的概念2 2、效度与信度的关系、效度与信度的关系3 3、效度的作用、效度的作用4 4、效度的影响因素、效度的影响因素二、二、效度的评估方法效度的评估方法1 1、内容效度、内容效度2 2、效标关联效度、效标关联效度3 3、构想效度、构想效度一一、效度的概念、效度的概念 1、效度的概念、效度的概念 效度：测评结果对素质反映

25、的真实程度，效度：测评结果对素质反映的真实程度，即准确性和有效性。即准确性和有效性。 效度是指所测量的与所要测量的心理特点之间符效度是指所测量的与所要测量的心理特点之间符合的程度，或者简单地说是指一个心理测验的合的程度，或者简单地说是指一个心理测验的准准确性确性。或是指一个测验或量表。或是指一个测验或量表实际实际能测出其所要能测出其所要测的心理特质的程度。测的心理特质的程度。 在测验理论中，效度被定义为在一组测量在测验理论中，效度被定义为在一组测量中，与测量目标有关的真实方差（或称有中，与测量目标有关的真实方差（或称有效方差，由所要测量的变因引起的有效变效方差，由所要测量的变因引起的有效变异）

26、与总方差异）与总方差( (实得变异数实得变异数) )的比率，即的比率，即222vx yxsrs2 2、效度与信度的关系效度与信度的关系 二者的区别：二者的区别：信度与效度的差别在于所考虑信度与效度的差别在于所考虑的误差不同。信度考虑的是随机误差的影响；的误差不同。信度考虑的是随机误差的影响；效度考虑的误差包括随效度考虑的误差包括随机机误差和对测验目的误差和对测验目的无关的变量引起的系统误差。无关的变量引起的系统误差。 二者的联系：二者的联系：信度是效度的必要条件，但不信度是效度的必要条件，但不是充分条件。换句话说，信度高不一定效度是充分条件。换句话说，信度高不一定效度必然高。但效度高必定信度高

27、必然高。但效度高必定信度高。3 3、效度的作用、效度的作用 就好像用磅秤测量身高，每次测量的结果都就好像用磅秤测量身高，每次测量的结果都很一直稳定（信度很高），但它并不能代表很一直稳定（信度很高），但它并不能代表身高，也就是说其测量值并不反映身高这一身高，也就是说其测量值并不反映身高这一属性（效度很低），所以说，磅秤不是身高属性（效度很低），所以说，磅秤不是身高这一测量对象的适宜测量工具。这一测量对象的适宜测量工具。 例如一个数学测验可能对学生的数学成绩的例如一个数学测验可能对学生的数学成绩的预测效度很好，但对学生整体智力的预测效预测效度很好，但对学生整体智力的预测效度就没有那么好，对学生的性

28、格可能根本就度就没有那么好，对学生的性格可能根本就没有预测效度。没有预测效度。二、二、效度的评估方法效度的评估方法 1 1、内容效度内容效度 2 2、构想效度构想效度 3 3、效标关联效度效标关联效度1 1、内容效度内容效度 测验的行为样组能代表所测量的特质的程度。测验的行为样组能代表所测量的特质的程度。即即一个测验实际测到的内容与所要测的内容之一个测验实际测到的内容与所要测的内容之间的吻合程度。间的吻合程度。 估计一个测验的内容效度就是确定该测验在多估计一个测验的内容效度就是确定该测验在多大程度上代表了所要测量的心理特质。大程度上代表了所要测量的心理特质。内容效度的评估方法：内容效度的评估方

29、法： （1 1）专家判断法：请有关专家对测验题目）专家判断法：请有关专家对测验题目与原定内容的符合性作出判断，看测验的与原定内容的符合性作出判断，看测验的题目是否代表规定的内容，这种估计效度题目是否代表规定的内容，这种估计效度的方法，是一个逻辑分析的过程，所以内的方法，是一个逻辑分析的过程，所以内容效度有时也可称为容效度有时也可称为“逻辑效度逻辑效度”。 （2 2）统计分析法）统计分析法 （3 3）经验推测法：）经验推测法：2 2、构想效度、构想效度 构想效度是指测验能够测量到理论上的构想或构想效度是指测验能够测量到理论上的构想或特质的程度。所谓构想通常指一些抽象的、假特质的程度。所谓构想通常指一些抽象的、假设性的概念或特质，如智力、创造力、言语流设性的概念或特质，如智力、创造力、言语流畅性、焦虑等。这些构想无法直接观察。但是畅性、焦虑等。这些构想无法直接观察。但是每个构想都有其心理上的理论基础和客观现实每个构想都有其心理上的理论基础和客观现实性，可以通过各种可观察的材料加以确定。性，可以通过各种可观察的材料加以确定。 例如言语流畅性可以通过语速、语句间的逻辑例如言语流畅性可以通过语速、语句间的逻辑性、口误的数量等可观