人员测评理论与方法萧鸣政测评质量检验

人员测评理论与方法萧鸣政测评质量检验第1页/共40页测评质量检验测评质量的检测，其内容主要有两个方面：一是分项素质测评结果分析；二是各项素质的综合结果分析。分析的指标主要有效度、信度、区分度、独立性第2页/共40页第一节效度所谓的效度是指测评结果对所测素质反映的真实程度。考评人员素质测评的效度的方法有三种：一是从内容性质方面分析其内容效度；二是从实证方面分析其结构效度；三是从校标相关性方面分析其关联效度。第3页/共40页1、内容效度contentvalidity效度即测评结果的有效性程度。内容效度是指实际测评到的内容与我们所想测评内容的一致性程度。当实际测评到的内容与我们事先所相测评的内容越一致时，则说明测评结果的内容效度越高，测评结果就越有效。比如，要测验学生的学习能力，学习能力包括识记、理解、应用、分析、综合以及评价等方面的能力。检测内容效度就可以看测验内容是否反映了这些方面的能力。第4页/共40页

内容效度主要是分析被包括在测评范围之内的所有被测行为样本是否具有代表，代表程度如何。其分析具体为两个方面的检查：1.是否包括了欲测素质中的各种成分；2.包括在测评范围内的行为样本的比例结构是否与工作分析的结果相一致。第5页/共40页确定内容效度的方法（定性方法）蓝图对照分析法：××××年全国硕士研究生入学考试英语试卷结构框架专家比较判断法：C＝(n－N÷2)／N÷2（N为专家总数，n为肯定人数）第6页/共40页部分节考试内容试题形式试题量分值权重考试时间语法结构与词汇A语法填空（单句）四选一1052020%35B语法辨错（单句）四选一105C词语填空（单句）四选一2010完形填空完形填空（1篇短文）四选一101010%15阅读理解阅读理解（5篇短文）四选一204040%60英译汉正确理解英语原文并用汉语表达原文所述内容五段译文51515%30短文写作根据所给题目或素材写出叙述、说明或议论性的短文一篇作文11515%40总计76100100%1801999年全国硕士研究生入学考试英语试卷结构基本框架第7页/共40页2、结构效度constructvalidity结构效度也称构想效度、建构效度，是指实际所测评的结果与我们所想测评素质的同构程度，是测验能够测量到理论上的构想或特质的程度，它表明了在多大程度上，实际的测评结果能够被看作是所要测评的素质在结构上的替代物第8页/共40页2、结构效度constructvalidity构想，通常指一些抽象的、假设性的概念或特质，如智力、创造力、能力倾向、行为习惯、焦虑等。这些构想无法直接测量，具有抽象性。但是每个构想都有其心理上的理论基础和客观现实性，都和具体的可观察的事件相联系，可以通过各种可观察的材料加以确定。例如言语流畅性可以通过语速、语句间的逻辑性、口误的数量等可观察的指标进行确定。适用范围：适用于智力测验、人格测验等。第9页/共40页3、关联效度criterion-relatedvalidity关联效度是指测评结果与某种标准结果的一致性程度。反映的是测验分数与外在标准（效标）的相关程度，即测验分数对个体的效标行为表现进行预测的有效性程度。（效标是用来衡量测评有效性的参照标准。）例如一个机械能力倾向测验，其标准（效标）可以是成为机械师之后的表现；对于一个管理能力测验而言，其效标可以是将来从事管理工作的绩效。效标关联效度往往用于预测性测验。第10页/共40页常见效标种类学术成就——前提是“智力高的人，学术成就应该越大”。如：在校成绩、学历、研究成果等。特殊训练成绩——能力倾向测验成绩常用某种特殊训练中取得的成绩做效标。如：言语智商用语文成绩做效标；机械能力用技术培训成绩做效标等。实际工作表现与成绩。如产品量、晋升速度、劳模表扬情况等。团体特征——用两个在效标表现上有差别的团体比较他们在预测源分数上的差别。如：一个音乐倾向测验的效度，可以由比较音乐学院学生的分数与一般大学生分数获得。等级评定结果——必须是由权威的专家或主管人员作出的，或者是广大群众作出的。先前被证明是有效的测评结果。如用明尼苏打机械性向测验得到的结果。第11页/共40页第二节信度信度是标准化素质测评的基本要求之一，如果测评工具的信度不理想，测量结果就无法被认为能代表应试者的一致、稳定和可靠的行为表现，就可能误导对应试者的评价。第12页/共40页信度及其影响因素如果我们用一个游标卡尺来测量一个钢管的外直径，每次测量时都难免会有一定的误差。首先，游标卡尺作为一种测量工具是有一定精度限制的，也就是说，测量工具本身存在误差。当然这种误差是必然存在的，而且误差是在一定范围中有规律的变动的，这种误差在测量工作中被称之为系统误差（systematicerror）。其次，我们每一次测量都可能出现操作上的差异，或者由于不可预见的外界因素的影响，产生测量误差。这些误差是很难控制的，而且无规律可循，有时大有时小，这种误差被称为随机误差（randomerror）。前者在一定程度上可以控制，而后者很难控制，一个好的测量工具应该不仅要有尽可能高的精确度（与系统误差相关），还能够把误差控制在一个有规律的范围以内，这样才能够得到稳定可信的测量结果。信度实际上就是对随机误差的一种度量。第13页/共40页1、信度的概念信度（reliability）是指是指测评结果反映所测素质的准确性。通常任何测验都存在某种程度的不一致性（同一受试者在不同时间或在不同的测验条件下做同一测验）因为误差的存在，我们永远不可能完全揭示人的心理特点，只能无限接近真实分数。第14页/共40页

例如：所有测验都有误差，心理测验分数也不例外。如果一个人连续两天接受同一测验，或者完成同一测验被认为是等值的两个版本，如果得分相同会让人感到惊讶，如果分数有相当大的变化可能让人吃惊，但是有一点可以肯定，这是由于偶然或随机因素影响了每次测验的成绩。然而，对于儿童，如果同一测验在半年或一年之后测第二遍，分数有很大的差异是不足为奇的，因为他们的成长导致测验成绩的变化非常自然。问题将是确定有多少变化是由于成绩的随机变化引起的，又有多少可以归因于个人在这段时间内所发生的变化。第15页/共40页信度的评估方法针对不同的误差来源，信度可以有不同的确定方法。信度系数类型误差来源再测信度时间取样复本信度（连续施测）内容取样重测复本信度时间和内容取样分半信度内容取样同质性信度内容的异质性评分者信度评分者间差异第16页/共40页1、再测信度(test-retestreliability)是指测评结果以同样的测评工具、测评方式与测评对象再次获得的变异程度。也即是同一测验在不同时间对同一对象施测两次，两次测量分数的相关系数即为再测系数。r=√N∑xy-∑x٠∑y[N∑x2-(∑x)2][N∑y2-(∑y)2]式中：N表示两次测评结果数据配对总数；

x表示被分析的测评结果（分数）；

y表示重复测评得到的测评结果（分数）。r越接近1，则说明测评结果（x）越准确可靠，否则就说明测评结果越不准确、不可信。第17页/共40页人员测量所测查的特质中，有相当多的内容具有一定的稳定性，如人格、能力倾向等，因此，对于这些内容而言，再测信度对于衡量测量工具的质量是很重要的指标。例如：如果用一个智力测验测量某人的智力，第一天测量得到100分，表示智力中等；第二天测量却变成了150分，这个分数意味着这个人在一夜之间变成了天才，如果没有特殊原因，这种事绝对是小概率事件，不太可能发生，可信度极低。不能用这个结果帮助决策。第18页/共40页在日常生活中，你也许常常到市场上去买东西。如果你买了5斤瘦肉后觉得比上次少了点，没有那么重，那么你可以自己再用秤称一下。如果也是5斤，那么你可能就会觉得确实有5斤。这是因为两次称得的结果完全一致，变异度为0。人的素质测评没有这么简单，因为素质本身又是无法精确定义，因而我们常常把对个体测评结果的准确性检验，置于群体测评结果的相互关系之中，转化为两次位置关系的一致性分析。当同一对象的测评结果以同样的测评方式再次获得后，其顺序位置关系变异很小时，则说明测评结果比较准确。例如：在技能测评中A分数88，在全体被测者中排名第一。这是否可靠可信？我们可以再测一次，结果A分数105，还是排名第一，而且其他被测的位置顺序变化很小。这时我们可以说第一次的技能测评结果是可靠的（信度高）。第19页/共40页2、复本信度(alternative-formreliability)复本信度是指测评结果相对另一个非常相同的测评结果的变异程度。它是以两个测验复本（功能等值但题目内容不同）来测量同一对象，然后求得被测者在这两个测验上得分的相关系数。复本信度反映了两个测验复本在内容上的等值性程度。r=6∑D2式中：N表示测评结果的总个数（被测人数）；

D表示对应同一个被测两次评定等级（名次）的差，一般以被检验的测评结果为被减数。1-N（N2-1）第20页/共40页复本信度考虑的是内容取样误差的影响问题，计算复本信度的主要目的在于考察两个测验复本的题目取样或内容取样是否等值。例如同样是测量数学运算能力的测验，如果一个测验复本侧重于考核加减法的运算，而另一个复本侧重乘除法的运算，两者之间的相关必定不会太高，即复本信度低，说明必定有一项测验复本的取样有问题。第21页/共40页3、一致性信度ConsistencyReliability一致性信度是指相同素质测评项目分数间的一致性程度。如果被测者在第一个项目上比其他人分数高，在第二个项目上又比其他人高，在第三个项目上也比其他人高……相反另一个人在第一个项目上比其他人分数低，在第二个项目上又比其他人分数低，在第三个项目上也比其他人分数低……那么毫无疑问，我们会认为测评结果比较可靠。第22页/共40页一致性信度的作用再测信度和复本信度分别注重考虑测量跨时间的一致性（稳定性）和跨形式的一致性（等值性），而内部一致性信度用内部一致性系数表示，主要反映的是测验内部题目之间的关系，考察测验的各个题目是否测量了相同的内容或特质。第23页/共40页一致性信度应用实例例如：在人格测评中，乐观情绪特质和外向特质是两个容易混淆的内容，这就要求测评设计时能够找到相应的题目把二者区分开来。在设计测评题目时，所有测评题目都要保证只测量一种特质或内容，如果需要在一个测评中测量不同内容，就应该将测评设计为几个分测评进行分别测评。例如16PF人格测评就包括16个分测评，每个分测评量表只对一种人格特质进行测评。第24页/共40页一致性信度的计算方法分半信度——项目折半分析，是通过将测验分成两半，计算这两半测验之间的相关性而获得的信度系数。通常的方法是在测验实施后将测验分为等值的两半，并分别计算每位被测者在两半测验上的得分，再求出这两个分数的相关系数。这个相关系数就代表了两半侧眼内容取样的一致性程度。同质性信度——α系数分析，是指测验内部的各题目在多大程度上考察了同一内容，即所有测验题目测量的只是单一特质或内容，表现为所有测验题目得分的一致性。rt=2r1+r式中：r表示两半项目分数相关系数；

rt越大，则说明测评结果越可靠。式中：n表示测评项目数；

st2表示测评结果的方差；

vi2表示第i个项目得分的方差。rt=nn-1St2-∑vi2St2·第25页/共40页信度可以接受的水平一般的能力测验和成就测验的信度系数在0.90以上，有时可以达到0.95；人格测验、兴趣、态度、价值观等测验的信度一般在0.80-0.85或更高些；一般信度系数rt<0.70,测验因不可靠而不能用；0.70<rt<0.85,可以用于团体比较rt>0.85时，才可以用来鉴别或预测个人成绩第26页/共40页4、评分者信度（ratersreliability）

在有些测量情形中，评分者的评判也是误差的来源之一。例如投射测验、创造力测验、无领导小组讨论、管理者情境模拟等，都依赖于评分者的判断，这种判断的主观性往往造成不同评分者的评分很不一致，因此有必要考虑评分者信度。评分者信度是指不同评分者对同一对象进行评定时的一致性。

信度的度量是以后者作为依据，测评者及其测评的无关差异越小，说明测评结果就越可靠。第27页/共40页如何提高测评结果的可靠性？一、要选择高质量的测评工具二、要控制测评过程及其组织的误差三、要训练与提高测评者的操作水平第28页/共40页信度小结：各种信度评估的适用情景：再测信度评估侧重考察测评跨时间的一致性和稳定性；复本信度评估侧重考察测评跨形式的一致性和等值性；内部一致性信度评估主要反映的是一个测评内部题目之间的关系，揭示测评的各个题目是否测量了相同的内容或特质。评分者信度评估主要是考察评分者的主观误差。第29页/共40页第三节项目分析项目适合度在素质测评中，项目不仅仅是试题，更多的是一些咨询问题或观察评定点（指标），它们无难易之分。因此提出“适合度”一词。适合度指的是被测者行为符合项目测评标准的程度。当项目为试题时，适合度即难度；当项目是问卷中的问题时，适合度即所有选对的被测者人数与总人数之比；当项目为观察评定量表中的指标时，适合度即所有被测得分平均值与指标满分值之比。第30页/共40页当项目为试题时，适合度即难度

计算公式为：难度的计算： 二分法计分项目的难度计算（只有答对或答错两种情况）第31页/共40页项目区分度

又称鉴别力，指项目得分对被试实际能力或心理特质水平的区分能力或鉴别力，也即项目得分的高低与被试实际能力或心理特质水平高低的一致性程度。

在项目分析中，项目得分与总分的相关系数揭示了项目区分度的大小，相关系数越大则说明项目区分度越高第32页/共40页项目独立性

在能力测评中，常常需要项目之间有一定的独立性。所谓独立性即非相关性或低相关性。独立性的分析一般采用项目间分数的相关系数揭示，根据实际得分分布是否均匀，可以分别采用rφ系数法和列联表χ²检验法。第33页/共40页第四节其他指标的分析客观性测评的客观性由测评方法的客观性与测评者的客观性两方面构成测评方法的客观性指它对测评者主观影响的控制程度。如检核表就比一般评定量表更客观一些第34页/共40页误差

误差是指通过测评结果的定性定量分析，判断测评结果是否受到心理效应的严重影响。分析的主要内容是心理误差、标准误差以及单个测评结果的致信区间。第35页/共40页误差

心理误差哈罗效应误差

哈罗效应又称晕轮效应