人事测评质量分析ppt课件

1、第五章 人事测评质量分析 一项测评能否可靠、可信？ 一项测评能否准确、有用？ 一项测评能否公正、公平？ 一项测评能否经济、合理？本章教学内容： 5-1 丈量的信度 5-1-1 信度及其影响要素 5-2-2 信度的评价方法 5-2 丈量的效度 5-2-1 效度及其影响要素 5-2-2 效度的评价方法5-1 丈量的信度 信度是规范化人事丈量的根本要求之一，假设丈量工具的信度不理想，丈量结果就无法被以为能代表应试者的一致、稳定和可靠的行为表现，就能够误导对应试者的评价。 5-1-1 信度及其影响要素 5-2-2 信度的评价方法5-1-1 信度及其影响要素假设我们用一个游标卡尺来丈量一个钢管的外直径，

2、每次丈量时都难免会有一定的误差。首先，游标卡尺作为一种丈量工具是有一定精度限制的，也就是说，丈量工具本身存在误差。当然这种误差是必然存在的，而且误差是在一定范围中有规律的变动的，这种误差在丈量任务中被称之为系统误差systematic error。其次，我们每一次丈量都能够出现操作上的差别，或者由于不可预见的外界要素的影响，产生丈量误差。这些误差是很难控制的，而且无规律可循，有时大有时小，这种误差被称为随机误差random error。前者在一定程度上可以控制，而后者很难控制.1、信度的概念2、信度的计算3、信度的作用4、信度的影响要素1、信度的概念 信度reliability信度是标示检验一

3、致性高低的统计目的。主要指丈量结果的可靠性或一致性，可以定义为检验结果不受检验情境或检验过程中无关变量影响的程度。2 信度的计算：信度系数 信度目的的普通公式：检验分数 = 真实分数 + 丈量误差 或者： X = T + e 信度的高低通常以相关系数表示，称为信度系数reliability coefficient。信度系数普通是同一样本所得的两组资料的相关，因此有： 检验分数方差 = 真实分数方差+ 误差分数方差X2 = T2 + e2 信度系数： rxx= T2 / X2 = T2 / T2 + e2 信度系数即是真实分数方差变异数与检验分数总方差变异数之比。3、信度的作用 检验信度要可以区

4、分出： 导致一致性的要素： 个体稳定的特性丈量对象 导致不一致性的要素： 能够影响检验，但又与检验对象 没有关系的个体和环境的特性 在人事丈量中，对信度系数进展确定通常有以下作用： 解释真实分数与实得分数之间的相关 阐明可以接受的信度程度解释真实分数与实得分数之间的相关 信度可以解释为总的方差规范差的平方的缩略语中有多少比例是由真实分数的方差决议的，即丈量分数的变化中有多少是真正反映了被测者分数的变化。 例如：当rxx = 0.90时，我们可以说，实得分数中有90%的方差是来自真实分数的变化，仅有10%是来自丈量的误差。 信度系数的分布是从0.00-1.00的正数范围，代表了从缺乏信度到完全可

5、信的一切情况。 思索：假设rxx = 1.00表示什么？ rxx = 0.00表示什么？阐明可以接受的信度程度 信度的理想程度是1.00，但是实践上是达不到的。 普通才干与成就检验的信度系数在0.90以上；人格、兴趣等检验的信度通常在0.80-0.85之间。 普通来说，当rxx 0.70时，可用于团体间比较；当rxx 0.85时，可用于鉴别个人。几种心思检验的信度系数几种心思检验的信度系数测验类型测验类型信度信度低低中中高高成套成就测验0.660.920.98学术能力测验0.560.900.97成套倾向性测验0.260.880.96客观人格测验0.460.850.97兴趣问卷0.420.840

6、.93态度量表0.470.790.984、信度的影响要素 受试者个体耐久而泛化的特性： 进展检验的普通技艺程度 了解检验指示语的普通才干程度 进展类似检验的普通的人格特质 受试者个体耐久而特殊的特性： 进展某项检验或其方式需求的特殊的技艺、才干 和特质；以及稳定的反映定势； 对某个检验工程内容的熟习程度 受试者个体短时而泛化的特性： 安康、疲劳、动机、心情形状、检验自若性；温度、 光亮、通风等检验外部条件 受试者个体短时而特殊的特性 对特殊检验的了解，检验所需求的特殊技巧；为做检验所进展的练习； 对检验工程内容的留意、记忆等的飘忽不定。 影响检验过程和解释的外部要素系统改动 检验条件；对检验的

7、各种限制；干扰程度；指示语的明晰度； 受试者在个性、性别、种族等与检验主试的交互作用； 对检验结果的不一致或有偏向的评判。 无法解释的变化随机要素 猜测、运气，以及暂时的干扰4、信度的影响要素5-2-2 信度的评价方法 针对不同的误差来源，信度可以有不同确实定方法。信度系数类型信度系数类型误差来源误差来源重测信度时间取样复本信度（连续施测）内容取样重测复本信度时间和内容取样分半信度内容取样同质性信度内容的异质性评分者信度评分者间差异1、重测信度(test-retest reliability) 又称为稳定性系数，是采用重测法计算信度的方法，即用同一检验在不同时间对同一对象施测两次，两次丈量分数

8、的相关系数即为重测系数。 人事丈量所测查的特质中，有相当多的内容具有一定的稳定性，如人格、才干倾向等，因此，对于这些内容而言，重测信度对于衡量丈量工具的质量是很重要的目的。 例如：假设用一个智力检验丈量某人的智力，第一天丈量得到100分，表示智力中等；第二天丈量却变成了150分，这个分数意味着这个人在一夜之间变成了天才，假设没有特殊缘由，这种事绝对是小概率事件，不太能够发生，可信度极低。不能用这个结果协助决策。 在日常生活中，他也许经常到市场上去买东西。假设他买了5斤瘦肉后觉得比上次少了点，没有那么重，那么他可以本人再用称称一下。假设也是5斤，那么他能够就会觉得确实有5斤。这是由于两次称得的结

9、果完全一致，变异度为0。 人的素质测评没有这么简单，由于素质本身又是无法准确定义，因此我们经常把对个体测评结果的准确性检验，置于群体测评结果的相互关系之中，转化为两次位置关系的一致性分析。当同一对象的测评结果以同样的测评方式再次获得后，其顺序位置关系变异很小时，那么阐明测评结果比较准确。 例如：在技艺测评中A分数88，在全体被测者中排名第一。这能否可靠可信？我们可以再测一次，结果A分数95，还是排名第一，而且其他被测的位置顺序变化很小。这时我们可以说第一次的技艺测评结果是可靠的信度高。重测信度的调查对象 重测信度所调查的误差来源是时间的变化所带来的随机影响气候、噪音的干扰、疾病、疲劳、心情的影

10、响等，根据重测相关系数的高低，可以得知丈量结果在经过一段时间之后的稳定程度。重测信度表示丈量可以运用于不同时间的程度，信度越高阐明丈量结果受环境中日常的随机要素影响越小，丈量结果越稳定、可靠。 评价重测信度时，要留意重测间隔的时间，时间太短被试对测试题记忆犹新，必然会呵斥假性相关；时间太长，检验结果又会受应试者的身心特质改动的影响，使相关系数降低。间隔时间的长短必需根据检验的性质和目的来确定。假设希望丈量结果能预测较长时间的变化，那么重测间隔时间应该长一些。例如人格检验普通间隔2-6个月比较适宜。运用重测信度应留意： 重测信度普通只反映由随机要素导致的变化，而不反映被测者行为的长久变化。例如被

11、测者智力的开展与才干的提高，不是重测信度调查的要素。这些要素导致的重测相关系数的降低，不能阐明检验的重测信度低。 不同行为受随即误差影响不同。例如手指矫捷性就比言语了解力更容易受疲劳、环境等要素的影响。因此必需分析丈量目的和了解所预测的行为。当丈量的行为或特质较为稳定时，重测信度的解释才有效。 只需不大容易受反复影响的检验，如觉得-运动检验或人格检验，才比较适宜用重测法计算信度系数。由于被测者一旦知道答案就不容易忘记，从而呵斥假性相关。2、复本信度(alternative-form reliability) 又称为等值性系数，它是以两个检验复本功能等值但标题内容不同来丈量同一对象，然后求得被测

12、者在这两个检验上得分的相关系数。复本信度反映了两个检验复本在内容上的等值性程度。 复本信度思索的是内容取样误差的影响问题，计算复本信度的主要目的在于调查两个检验复本的标题取样或内容取样能否等值。 例好像样是丈量数学运算才干的检验，假设一个检验复本偏重于考核加减法的运算，而另一个复本偏重乘除法的运算，两者之间的相关必定不会抬高，即复本信度低，阐明必定有一项检验复本的取样有问题。 优点： 可以防止重测信度的一些问题，如记忆效果、练习效应等； 适用于进展长期追踪研讨或调查某些干涉变量对检验成果的影响； 减少了辅导或作弊的能够性。 缺陷： 假设丈量的行为受练习的影响，复本信度只能减少而不能消除这种影响

13、； 有些检验的性质会由于反复丈量而发生改动，例如某些问题处理型的检验，假设掌握了解题原那么就有能够产生迁移，尤其当复本只是在标题详细内容上有改动时，这种正迁移的作用会很强； 有些检验很难找到复本。3、一致性信度consistency reliability 一致性信度又称为同质性信度，是指一个测评活分测评中各个标题所测内容的一致性。 同质性是保证测评只丈量同一特质的必要条件。也就是说，评价一组检验标题内部一致性程度，对于确定检验标题能否丈量了同一事物很重要。假好像质性差，那么表示测评混淆了不同的测评内容，其结果就无从判别终究能否反映了被测者的某一特质。 假设被测者在第一个工程上比其他人分数高，

14、在第二个工程上又比其他人高，在第三个工程上也比其他人高相反另一个人在第一个工程上比其他人分数低，在第二个工程上又比其他人分数低，在第三个工程上也比其他人分数低那么毫无疑问，我们会以为测评结果比较可靠。一致性信度的作用 重测信度和复本信度分别注重思索丈量跨时间的一致性稳定性和跨方式的一致性等值性，而内部一致性信度用内部一致性系数表示，主要反映的是检验内部标题之间的关系，调查检验的各个标题能否丈量了一样的内容或特质。 同质性的检验，其结果的解释较为明确。例如：在一个同质性的言语逻辑推理才干检验中，应试者的得分可以反映其言语逻辑推理才干的高低；而假设一个检验既包含有测查逻辑推理才干的试题，又含有测查

15、数量分析才干的试题，那么在应试者得分低的情况下，就无法阐明被测者究竟哪种才干缺乏。一致性信度运用实例 例如：在人格测评中，乐观心情特质和外向特质是两个容易混淆的内容，这就要求测评设计时可以找到相应的标题把二者区分开来。 再例如：在调查管理技艺时，预测和决策、监视和控制等都是不太容易区分的，对标题设计的要求就相当高，否那么就会把不同技艺混淆，导致结论错误和用人失误。 在设计测评标题时，一切测评标题都要保证只丈量一种特质或内容，假设需求在一个测评中丈量不同内容，就应该将测评设计为几个分测评进展分别测评。例如16PF人格测评就包括16个分测评，每个分测评量表只对一种人格特质进展测评。一致性信度的计算

16、方法 分半信度工程折半分析，是经过将检验分成两半，计算这两半检验之间的相关性而获得的信度系数。通常的方法是在检验实施后将检验分为等值的两半，并分别计算每位被测者在两半检验上的得分，再求出这两个分数的相关系数。这个相关系数就代表了两半侧眼内容取样的一致性程度。 同质性信度系数分析，是指检验内部的各标题在多大程度上调查了同一内容，即一切检验标题丈量的只是单一特质或内容，表现为一切检验标题得分的一致性。4、评分者信度raters reliability 在有些丈量情形中，评分者的评判也是误差的来源之一。例如投射检验、发明力检验、无指点小组讨论、管理者情境模拟等，都依赖于评分者的判别，这种判别的客观性

17、往往呵斥不同评分者的评分很不一致，因此有必要思索评分者信度。 评分者信度是指不同评分者对同一对象进展评定时的一致性。最简单的估计方法就是随机抽取假设干份答卷，由两个独立的评分者打分，再求每份答卷两个评判分数的相关系数。评分者的评分越一致，评分者信度越高。等级相关信度小结： 各种信度评价的适用情景： 重测信度评价偏重调查测评跨时间的一致性和稳定性； 复本信度评价偏重调查测评跨方式的一致性和等值性； 内部一致性信度评价主要反映的是一个测评内部标题之间的关系，提示测评的各个标题能否丈量了一样的内容或特质。 评分者信度评价主要是调查评分者的客观误差。思索题： 与对某人品德测评分数的可靠性进展调查，随机

18、抽取其中10个被试的分数，分别是：74、71、80、85、76、77、77、68、74、74，再次测评后10个被试的分数分别是：82、75、81、89、82、89、88、84、80、87。请问可以用什么方法评价测评的可靠性？ 假设一个部门的三个经理分别给部门的几十位员工考核，他以为该当怎样检查三位评分者评定的可靠性？ 某面试考官对被试的7项素质进展测评，总共面试了8位被测者，其评定等级如下表，请考评一下这位面试考官的面试结果能否可靠？ 测评项目被测者1234567A3651427B5641327C2751436D3672415E4762315F4562317G3742516H2741635Ri

19、265141123214485-2 丈量的效度5-2-1 效度及其影响要素1、效度的概念2、效度与信度的关系3、效度的作用4、效度的影响要素5-2-2 效度的评价方法1、内容效度content validity2、效标关联效度criterion-related validity3、想象效度construct validity1、效度的概念、效度的概念 1、效度的概念、效度的概念 丈量结果的效度就是指丈量的有效性，是丈量结果的效度就是指丈量的有效性，是与丈量目的有关的真实变异数与总变异数与丈量目的有关的真实变异数与总变异数的百分比的百分比 。 普通被定义为检验能丈量到所要丈量东西普通被定义为检验

20、能丈量到所要丈量东西的程度。在评价任何检验时这都是最重要的程度。在评价任何检验时这都是最重要的思索。的思索。 “效度指从分数进展推论的证据的程度。效度指从分数进展推论的证据的程度。英国英国2 效度与信度的关系 二者的区别：信度与效度的差别在于所思索的误差不同。信度思索的是随机误差的影响；效度思索的误差包括随即误差和对检验目的无关的变量引起的系统误差。 例如游标卡尺的精度，能够由于设计缘由或者工具制造工艺、刻度描写、金属资料的温度特性等要素的影响，卡尺对长度的反映会出现误差。这些误差景象是由于丈量工具本身的缘由呵斥的，具有稳定性，不论什么人、什么时间运用都会出现。而另一方面，每次运用卡尺，不同的

21、人呵斥的误差不同，这种误差是随机误差，是偶尔性的不稳定的，属于信度调查的内容，指的是丈量结果的一致性如何。 二者的联络：信度是效度的必要条件，但不是充分条件。换句话说，信度高不一定效度必然高。但效度高必定信度高。3、效度的作用 就好似用磅秤丈量身高，每次丈量的结果都很不断稳定信度很高，但它并不能代表身高，也就是说其丈量值并不反映身高这一属性效度很低，所以说，磅秤不是身高这一丈量对象的适宜丈量工具。 例如一个数学检验能够对学生的数学成果的预测效度很好，但对学生整体智力的预测效度就没有那么好，对学生的性格能够根本就没有预测效度。4、效度的影响要素 一个检验效度的高低，很大程度上取决于该检验受无关要

22、素影响的程度。凡是能呵斥检验结果误差的要素，都会影响检验效度。 检验标题的质量：难易程度、暗示性、题意表达、试题内容取样的代表性 实施检验时的干扰要素：指点语、计分错误 被试的影响要素：反响定势、检验动机、心情 检验的长度：添加检验标题往往能添加检验的信度和效度。5-2-2 效度的评价方法 对丈量效度的调查反映在下面两个问题之中： 该检验可以很好的预测我们感兴趣的成果吗？ 该检验真正丈量的是什么？ 第一个问题集中于效标，也就是判别一个检验预测的胜利性的规范。这就要求建立检验成果与那个规范之间的关系。预测效度 第二个问题集中于检验，要求明确关于检验所丈量目的的内在实际或心思想象。内容效度 检验效

23、度不能按笼统的方式去丈量，而只能根据检验所思索的特定用途去丈量，在决议能否运用检验时，我们需求了解从知检验结果做出某种推论的有效性，也就是说，我们是证明检验的有效性，还是证明我们希望对检验结果进展推论的有效性。对于一个特定问题，丈量目的决议了所用的效度评定方法，问题是关于运用检验成果来预测在校标上的成果，还是关于研讨检验实践丈量的内容或想象。1、内容效度content validity 内容效度是一个检验实践测到的内容与所要丈量的内容之间的吻合程度，是检查检验内容能否是所预丈量的行为领域的代表性取样的目的。如高中物理包括力学、电学、光学、热学以及原子物理学5个方面。 在实践任务中我们编制的检验

24、不能够包含所要丈量的行为领域的全部能够的资料或情境，只能选择一个有代表性的样本，经过察看被试对个别标题的反响，来推测他的总体行为表现。 运用范围：主要运用于成就检验、职业选拔检验。不适宜才干倾向检验和人格检验。 内容效度的评价可以回答： 该检验能否是应调查的某种技艺和知识的代表性样本 检验成果能否不受无关要素的影响 内容效度对效标参照检验尤为重要，由于在校标参照检验中，被试的表现往往以检验内容来解释。确定内容效度的方法蓝图对照分析法：2019年全国硕士研讨生入学考试英语试卷构造框架专家比较判别法：CnN2N2N为专家总数，n为一定人数部分节考试内容试题形式试题量分值权重考试时间语法结构与词汇A

25、语法填空（单句）四选一1052020%35B语法辨错（单句）四选一105C词语填空（单句）四选一2010完形填空完形填空（1篇短文）四选一101010%15阅读理解阅读理解（5篇短文）四选一204040%60英译汉正确理解英语原文并用汉语表达原文所述内容五段译文51515%30短文写作根据所给题目或素材写出叙述、说明或议论性的短文一篇作文11515%40总计76100100%1802、效标关联效度同时 效标关联效度又称为效标效度，指测评结果与某种规范结果的一致性程度，反映的是检验分数与外在规范效标的相关程度，即检验分数对个体的效标行为表现进展预测的有效性程度。把一组人的测评分数和其绩效分数求出

26、相关就可以得到同时效度 例如一个机械才干倾向检验，其效度的规范效标可以是成为机械师之后的表现；对于一个管理才干检验而言，其效标可以是未来从事管理任务的绩效。 效标关联效度往往用于预测性检验，在这些检验中，检验分数普通用于甄选决策，只需当证明检验分数确实可以预测所研讨的行为时，这种决策才能够正确。效标效度的种类 根据效标结果与测评分数获得的时间能否一样可分为预测效度和同时效度。同时效度的效标资料可以和检验分数差不多同时搜集。预测效度的效标资料是在丈量终了后相隔一段时间才获得的，它反映的是由检验分数对任一段时间间隔后被试行为表现的预测程度。适用于对人员进展选拔、分类、安顿的人事丈量，这些丈量需求对

27、应试者未来的任务绩效进展可靠的预测。 二者的差别根源不在于搜集效标的时间，而是在于预测目的的不同，预测效度多用于预测未来的结果，同时效度多用于诊断如今的形状。 “某人胜利了吗？或“某人患病了吗？ “某人会胜利吗？或“某人会患病吗？常见效标种类 学术成就前提是“智力高的人，学术成就应该越大 。如：在校成果、学历、研讨成果等。 特殊训练成果才干倾向检验成果常用某种特殊训练中获得的成果做效标。如：言语智商用语文成果做效标；机械才干用技术培训成果做效标等。 实践任务表现 团体特征用两个在效标表现上有差别的团体比较他们在预测源分数上的差别。如：一个音乐倾向检验的效度，可以由比较音乐学院学生的分数与普通大

28、学生分数获得。 等级评定结果 前期测评结果3、想象效度construct validity 想象效度是指检验可以丈量到实际上的想象或特质的程度。所谓想象通常指一些笼统的、假设性的概念或特质，如智力、发明力、言语流畅性、焦虑等。这些想象无法直接察看。但是每个想象都有其心思上的实际根底和客观现实性，可以经过各种可察看的资料加以确定。 例如言语流畅性可以经过语速、语句间的逻辑性、口误的数量等可察看的目的进展确定。 适用范围：适用于智力检验、人格检验等。确定想象效度的方法1、提出实际假设，并将其分解成细目；2、根据实际框架，推上演有关检验成果的假设操作化定义；3、用逻辑的和实证的方法来验证假设排除法、

29、咨询法、相关法、逻辑分析法、多元分析法。例如：韦克斯勒首先假设“智力是一个人去了解和应付他周围世界的总的才干，然后，他根据这一定义，编制11个分检验从十几个方面来阐明智力，编好检验又从多个角度加以验证，最后，用要素分析法验证，该检验实践丈量了三类共同要素，即A要素言语了解、B要素知觉组织、C要素记忆和留意集中。5-3 工程分析 工程分析是指根据试测结果对组成检验的各个标题工程进展分析，从而评价标题好坏、对标题进展挑选的程序和方法。经过工程分析，对检验标题进展选择和修正，可以提高检验的信度和效度。了解工程分析的概念和方法，可以协助检验运用者评价现有的各种检验。 定性分析：主要思索内容效度，即标题

30、表达的恰当性和有效性等方面。 定量分析：主要调查标题难度和鉴别度能否适当。5-3-1 丈量的难度分析 难度分析就是对标题的难度进展估计以确定适宜的难度，难度的目的通常以“经过率表示，即答对或经过该标题的人数百分比。经过人数越多标题越容易。 检验难度确实定，要根据检验的目的、性质和标题的方式而定。 检验目的：难度极大或难度极小时，都不容易区分个体差别。难度中等的标题比较适宜区分个体差别。 检验作用：选拔性检验应使难度接近录取率。 标题方式：选择题的难度普通应大于概率程度如四选一标题难度0.63最适宜；是非题难度应该为0.75最适宜。5-3-2 丈量的鉴别度分析 工程鉴别度是指检验工程对于所测查的

31、心思特性的鉴别才干和区分程度，可以从工程效度和内部一致性方面进展思索。 工程效度分析主要以效标为根据，调查被试在每个试题上的反响与其在效标上表现的相关程度，即每个试题所测查的行为能否反映了被试在效标上的表现。 内部一致性分析有时进展工程分析难以找到适宜的效标，这是就用检验总分替代效标，调查每个试题与总分的一致性。5-3-3 检验的公平性分析 掷色子或扔硬币协助做决策他以为公平吗？ 结果的公平性：在职业选拔中，结果公平指选用了“最好 的人。如何定义“最好 以及怎样确保“最好 可以被丈量决议结果的公平性，这主要由检验的技术性方面来确定，是检验过程和丈量效标过程二者的函数。 过程的公平性：指的是某些

32、人的检验分数遭到误差的影响不会与其他人显著不同。由于受测者的表现总是发生在一定情境中，检验成果必然反映一定情境的作用。 检验选择时要思索文化、言语要素 检验实施时要公平对待每个受测者 监测不同群体的成果分布能否存在显著差别，是合理缘由呵斥的还是另有隐情。5-3-4 检验的经济效益分析 成效分析 在选拔性测评中，需求计算因录取率提升和消费效率上升而带来的价值。 在招聘测评中要计算经过测评技术提高的任务效率和录用准确性带来的价值。各种测评方法在四项目的上的比较：各种测评方法在四项目的上的比较： 测评方法测评方法 效度效度 公平性公平性 可用性可用性 本钱本钱智力检验智力检验 中等中等0.49 0.49 中等中等 高高 低低性向与才干测定性向与才干测定 中等中等0.27 0.27 高高 中等中等 低低个性与兴趣测定个性与兴趣测定 中等中等 高高 低低 中等中等面谈面谈 低低0.09 0.09 中等中等 高高 中等中等任务模拟任务模拟 高高0.54 0.54 高高 低低 高高情景练习情景练习 中等中等 低低 中等中等 个人资料个人资料 高高0.30 0.30 中等中等 高高 低