第四章人员测评系统的构建与效度信度检验ppt课件

1、第四章 人员测评系统的构建与效度信度检验.本章内容人员测评系统的构建与效度信度检验1、测评系统的构成2、测评的效度3、测评的信度4、信度与效度的关系及提升战略.一、测评系统的构成人员测评过程：测评考官根据岗位需求，运用测评工具对被测人员施以刺激，被测人员对此刺激做出反响，测评考官对被测人员的反响情况进展度量与评价。测评考官测评工具被测人员.测评考官测评体系的主体，是决议人员测评能否胜利的关键要素。在我国，测评考官分三类：具有人员测评专门知识的专门人士咨询师、高校教师、研讨人员从事人力资源管理实务的专业人士HR人员运用部门的资深人士主管或骨干.测评考官应具备的根本素质：良好的个人品格和品德涵养测

2、评组织方面的知识程序公平和与测评内容相关的知识评分公平测评技巧无指点小组讨论中的座位摆放，面试中随机场景的设置等任务阅历和社会阅历阅历直觉判别.测评工具与方法才干检验普通才干、特殊才干成就检验知识检验、任务样本测试人格量表自陈式量表面试构造化、非构造化评价中心针对管理者书面信息分析恳求表、履历表、人事档案、引荐信.测评客体被测人员测评焦虑测评前训练： 针对测评的工程做大量的强化练习 顺应性训练 认识技艺训练要实现人-职匹配，就要对其全过程进展监控，监控的根据和规范主要是测评的效度和信度.二、 丈量的信度 一、信度( reliability)一信度的概念：是丈量结果的一致性( consisten

3、cy)或者稳定性( stability)程度，也就是研讨者对一样或者类似的丈量对象进展不同方式或不同时间的丈量所得结果的一致性程度。.在丈量实际中，信度是指一组检验分数的真变异数与总变异数的比率。在实践运用中，它通常以同一样本所得的两组资料的相关作为丈量一致性的目的。 信度可以回答丈量工具能否稳定;丈量结果能否可以推论，也就是概化才干，即从一次丈量来推论总体的正确程度。 .我们可以举例阐明信度的问题：假设想知道某人的体重，我们可以叫两个人来估计，一个人的估计为150镑，另一个人的估计为300镑，那么我们就可以以为，叫他人来估计体重是非常不可信的方法。假设用磅秤 ，延续丈量两次的结果都是一样的，

4、因此我们可以说，在丈量体重方面，用磅秤的方法要比叫人来估计更可信。.例:假设想知道一个人的智商，首先我们请对这个人熟习的两个教师来估计，一个人的估计为110，另一个人的估计为150，显然，这种宏大的差距阐明叫人来估计智商是非常不可信的方法。但是，用智力丈量量表，延续丈量两次的结果差别却很小。因此我们可以说，在丈量智商方面，用智力丈量量表的方法要比叫人来估计具有更高的信度。在人员测评的过程中， 应该选择具有较高信度的丈量工具，这样才干保证丈量结果的可靠性。信度-就是对随机误差的一种丈量，随机误差决议了信度的高低。.二信度的种类 由于误差来源的不同，对信度的丈量也有不同的方法。详细有以下三种不同的

5、信度类型和相应的评价方法 。1.再测信度( test-retest reliability) 与时间有关又称为稳定性系数，它是指对同样的一个检验在不同的时间对一样的群 体丈量两次，这两次丈量的分数的相关系数就是再测信度。我们经过再测信度的相关系数可以了解丈量结果在经过一段时间后的稳定程度。 .再测信度的两次测评运用的是同一个测评工具，同一种测评方式，但较难把握的是两次测评间隔的时间长短。时间间隔过长，被测者特征将随时间的添加而开展变化，由此计算的稳定系数将失去意义；假设时间间隔过短，又能够产生记忆与练习效应，这也将影响稳定系数。 .2.与测评内容有关的信度 单个工程的信度组成信度内部一致性信度

6、主要关注的是检验内部标题之间的关系。它所思索的问题是一个丈量工具一切的维度丈量的均一性折半信度将一份检验按照一定的方法分成尽能够平行的两个半份检验 (例如按照奇偶分半) ，然后计算两半之间的相关，得到的相关系数即为折半信度系数复本信度 .3.与评分者有关的评分者信度相关系数法随机抽取假设干份答卷，有两个以上独立的评分者打分，再求每份答卷两个评判分数的相关系数概化系数和可靠性系数相对误差-概化系数-常模参照测评，绝对误差-可靠性系数-规范参照测评.三影响信度的要素 1.被试者的特征被试者的特征对信度的影响主要表如今被试者在丈量属性方面的个体差别上。假设一种丈量工具对某种属性的丈量得分的差别幅度越

7、大，那么该丈量工具能区别开被丈量的个体，因此我们说该丈量工具有较好的信度;个体之间被丈量的特征或者属性差别差别很小，那么很难进展可靠的丈量，检验信度能够会很低。 .2.检验的长度和难度普通来说，丈量分数分布越广，信度系数就相对越高。这就好比让他来 速记一组数字，随着让他察看这组数字的时间的延伸，他会发现他可以描画的数字的准确性和详细程度也在不断提高。一个给定的检验，当添加检验的长度并且相应地延伸检验的时间的时候，也会发生上述类似的效果。 .3.不同信度检验方法的选择 前面我们可以看到，不同的信度丈量方法处置丈量误差的方式都不同， 这样在我们估计信度的过程中对不同方法的选择就会产生不同的估计值。

8、有 些方法倾向于对信度范围做上限估计，有些倾向于做下限估计，这样针对不 同特点的检验我们要学会选择估计方法。 .4.检验过程中的误差 测试现场由于照明、背景音乐、温度、噪声、通风、桌椅和空间不符合人体工程学等缘由导致被试精神和身体情况的不适，或者被试由于不熟习答题的款式，答题阅历的缺乏或者生病等突发情况的发生，都会导致丈量的误差。 .三、 丈量的效度 一效度的含义和特性 效度Validity即有效性，它是指丈量工具或手段可以准确测出所需丈量的某素质特征的程度。效度是指所丈量到的结果反映所想要调查内容的程度，丈量结果与要调查的内容越吻合，那么效度越高；反之，那么效度越低。或者简单地说是指一个检验

9、的准确性、有用性。 .假设我们用体重秤来测身高，显然这种丈量工具的选择是不正确的， 所以说这个丈量工具没有效度。测评过程：测评工具的研制、计分和指点语的规范化、被试作答反响、主试或评分者、检验的实施、数据整理、统计分析、结果的解释。每一步都要保证其科学性和准确性，这样才干保证丈量的结果和结论是有效而正确的。 .效度的性质1.效度具有相对性 任何检验的效度是对一定的目的来说的，或者说检验只需用于与检验目的一致的目的和场所才会有效。 所以，在评价检验的效度时，必需思索效度检验的目的与功能。 2.效度具有延续性 检验效度通常用相关系数表示，它只需程度上的不同，而没有“全有或“全无的区别。效度是针对检

10、验结果的。 .效标和效标丈量效标，即衡量检验有效性的参照规范，指的是可以直接而且独立丈量的我们感兴趣的行为。我们感兴趣的行为，就是要预测的行为，这是一个总的观念，故必需以可操作的丈量来确定才有实践意义。因此有必要把效标细分为两个层次，其一是实际程度的“观念效标，其二是操作定义程度的“效标丈量。 .常用的效标有： 1、学业成就：如在校成果、学历、有关的奖励和荣誉、教师对学生智力的评定等，常作为智力检验的效标，也可作为某些多重才干倾向检验和人格检验的效标。2、实践任务表现：是最称心的效标丈量，为普通智力检验、人格检验和一些才干倾向检验的效标；3、特殊训练成果 ；4、精神病诊断；5、等级评定：是察看

11、者根据检验欲丈量的心思特质在被试身上的表现而作出的一种个人判别；6、效标团体的比较：即找出两个在效标表现上有差别的团体，比较他们在检验分数上的差别；7、先前有效的检验：一个新检验与先前有效的检验的相关也经常作为效度检验的证据。 .二效度的类型 根据效度评价方法不同，效度可以从六个角度来划分：内容、反响过程、内部构造、与其他变量的关系、检验结果。1.内容效度( content validity) 内容效度就是检验检验的内容对所要考核范围的代表性程度。例如面试的时候对一个技术人员所掌握的技术程度的检验可以经过选取不同程度的具有代表性的技术问题来丈量，这样就能大致推断技术人员的技术程度。 .内容效度

12、指的是检验标题对有关内容或行为取样的适用性，从而确定检验能否是所欲丈量的行为领域的代表性取样。目的“构念“构念详细化确定测评内容.不同于其他几种效度，内容效度首先重点是强调新丈量工具的建构而不是己有丈量工具的效度。设计并采用这种方法的目的是协助确保丈量工具的建构是针对所要丈量的内容。这种方法主要是依托专家根据阅历来判别一个丈量 工具的效度，而不是依托相关系数。因此，内容效度被称作一种描画性 效度。 .为了确保内容效度的客观，可以经过以下的流程来保证: 1.对所丈量的内容进展全面的分析，尽能够地搜索到最齐全的资料。 2.挑选参与内容效度研讨的专家，这些专家应该可以承当相关丈量范围的职责并且具有这

13、些职责所具备的知识、技术和才干。 3.瓢选丈量内容。 4.评价颤选丈量工具与被丈量内容的相关性。 .2.基于反响过程的效度3.基于内部构造的效度建构效度建构效度：指检验可以丈量到实际上的想象或特质的程度，即检验的结果能否能证明或解释某一实际的假设、术语或想象，解释的程度如何。 例如我 扪根据实际的假设构造来编制一份心思丈量量表或者检验，假照实践丈量结果所测得的实践分数经过统计检验可以有效地解释受试者的心思特质，那么我们说这个量表或者检验具有良好的建构效度。 .3.基于与其他变量的关系的效度效标关联效度( criterion-related validity) 1效标与效标丈量 效标是衡量一个检

14、验有效性的参照规范。效标丈量就是将效标转化为某种可 以操作的丈量目的。效标具有四个特性:多样性、复杂性、特殊性、时间性。2效标关联效度 效标关联效度是指检验与外在效标间关联的程度。即一个检验对处于特定情境中的个体行为进展预测时的有效性(准确性)。效标效度主要思索的是检验分数与效标之间的关系。 .效标关联效度根据运用时间间隔的长短又分为同时效度与预测效度。同时效度( concurrent validity)是指搜集效标资料与检验分数差不多同时进展，多用于对现有员工的测评。例如，有两个智力检验A和B，A实施起来很费时间，而B检验时间短。假设B的成果与A的成果有很高的相关，那么B可以作为A的替代检验

15、。.预测效度(predictive validity)是指搜集效标资料在实践丈量终了后隔一段时间再获得，多用于人员选拔和配置等任务。区分同时效度与预测效度的规范不是时间，而是检验的目的。前者主要用于丈量如今的形状，后者主要用于预测未来的情况。例如，入学考试成果假设可以很好地预测入学后的学习成果的话，这个入学考试的预测效度就高。 .3确定效标关联效度的方法 A.相关法 相关法是指计算检验结果分数与效标之间的相关，得到的结果为效度系数。计算效度系数常用的相关方法是积差相关又叫皮尔森( Pearson)相关。 要运用积差相关必需同时具备如下两个条件:两个变量都是由丈量获得的 延续性数据，即等距或等比

16、数据。两个变量的总体都呈正态分布，或接近 正态分布。普通来说，相关系数必需到达统计上的显著程度。假设其他情况 己定，那么效度系数越高越好。 .B.区分度 区分度是指预测源分数能否能区分由效标丈量所定义的群体。操作方法是选取两种效标A和B，先根据A将群体区分开来，再用B将群体区分开来，根据 两种效标区分的结果来判别，假设A和B区分的结果一致，那么阐明效度较高。 .C.命中率 命中率是根据检验所做的正确决议的比率。它主要用作取舍决策。某种丈量工具的效度高不高，主要是看做的决议能否与实践一致，这就是命中率的高低。命中率包括有：总命中率、正命中率、负命中率。 .对于检验的效果，从图2 -2中可以更直观

17、地了解。在左下角的正确回绝区域中，我们可以看出，这部分的被试是属于任务成果和检验分数都很低的被试群体，所以回绝这些被试是正确的;左上角的区域是任务成果高但是检验分数却相对较低的被试群体，这里假设回绝了，显然是错误的;右下角的区域是属于任务成果低但是检验分数却相对较高的被试群体，假设录取了他们，显然是错误的;右上角的区域是任务成果高而且检验分数也高的被试群体，录取他们显然是正确的。 .5.基于测评结果的效度统计结论效度衡量对测评数据进展分析时所用程序与方法的有效性的目的 重点是测评本身的质量和统计方法的恰当性内部效度目的：找出导致绩效的缘由外部效度测评结果能普通化和普遍适用于样本所在的总体以及其

18、他同类总体内部效度是外部效度的必要条件，但不是充分条件.(三)影晌效度的要素 效度的大小主要受以下几方面要素影响: 1.丈量工具本身要素 假设一个丈量工具本身存在误差，那么就是不可靠的。这些误差越多， 不可靠性就越大，效度也随之降低。详细表如今丈量内容的难度不适当、区 分度不高、试题标题描画内容或选项设置存在迷惑性问题、标题太多、丈量 内容的范围太广等。这些丈量工具本身的要素对效度的影响是很大的，假设 不留意控制，那么就无法保证丈量的较高效度。 .2.样本的要素 人是复杂的，参与测试的人会遭到各方面要素的影响，有能够一顿油腻的早饭就能让一个参与测试的人临场发扬表现不佳。被试者的心情、动机、 兴趣、身体安康、态度等方面的要素都会影响测试的效度。 在其他条件一样的情况下，被测者异质性越高，效度越高，由于效度遭到被试团体分数分布的影响 .3.效标污染 效标污染( contenon contamination)是指效标遭到预测变量以外的变量的 影响，偏见结果导致效度下降。例如当我们想考核一个员工的任