第四章人员测评系统的构建与效度信度检验

第四章人员测评系统的构建与效度信度检验本章内容人员测评系统的构建与效度信度检验1、测评系统的构成2、测评的效度3、测评的信度4、信度与效度的关系及提升策略一、测评系统的构成人员测评过程：测评考官根据岗位需要，运用测评工具对被测人员施以刺激，被测人员对此刺激做出反响，测评考官对被测人员的反响情况进展度量与评价。测评考官测评工具被测人员测评考官测评体系的主体，是决定人员测评能否成功的关键要素。在我国，测评考官分三类：具有人员测评专门知识的专门人士〔咨询师、高校教师、研究人员〕从事人力资源管理实务的专业人士〔HR〕人员使用部门的资深人士〔主管或骨干〕测评考官应具备的根本素质：良好的个人品格和道德修养测评组织方面的知识〔程序公平〕和与测评内容相关的知识〔评分公平〕测评技巧〔无领导小组讨论中的座位摆放，面试中随机场景的设置等〕工作经历和社会经历〔经历直觉判断〕测评工具与方法能力测验〔一般能力、特殊能力〕成就测验〔知识测验、工作样本测试〕人格量表〔自陈式量表〕面试〔构造化、非构造化〕评价中心〔针对管理者〕书面信息分析〔申请表、履历表、人事档案、推荐信〕测评客体——被测人员测评焦虑测评前训练：针对测评的工程做大量的强化练习适应性训练认识技能训练要实现人-职匹配，就要对其全过程进展监控，监控的依据和标准主要是测评的效度和信度二、测量的信度一、信度(reliability)〔一〕信度的概念：是测量结果的一致性(consistency)或者稳定性(sta­bility)程度，也就是研究者对一样或者相似的测量对象进展不同形式或不同时间的测量所得结果的一致性程度。在测量理论中，信度是指一组测验分数的真变异数与总变异数的比率。在实际应用中，它通常以同一样本所得的两组资料的相关作为测量一致性的指标。信度能够答复测量工具是否稳定;测量结果是否可以推论，也就是概化能力，即从一次测量来推论总体的正确程度。我们可以举例说明信度的问题：如果想知道某人的体重，我们可以叫两个人来估计，一个人的估计为150镑，另一个人的估计为300镑，那么我们就可以认为，叫别人来估计体重是非常不可信的方法。如果用磅秤，连续测量两次的结果都是一样的，因而我们可以说，在测量体重方面，用磅秤的方法要比叫人来估计更可信。例:如果想知道一个人的智商，首先我们请对这个人熟悉的两个教师来估计，一个人的估计为110，另一个人的估计为150，显然，这种巨大的差距说明叫人来估计智商是非常不可信的方法。但是，用智力测量量表，连续测量两次的结果差异却很小。因而我们可以说，在测量智商方面，用智力测量量表的方法要比叫人来估计具有更高的信度。在人员测评的过程中，应该选择具有较高信度的测量工具，这样才能保证测量结果的可靠性。信度---就是对随机误差的一种测量，随机误差决定了信度的上下。〔二〕信度的种类由于误差来源的不同，对信度的测量也有不同的方法。具体有以下三种不同的信度类型和相应的评估方法。1.再测信度(test-retestreliability)〔与时间有关〕又称为稳定性系数，它是指对同样的一个测验在不同的时间对一样的群体测量两次，这两次测量的分数的相关系数就是再测信度。我们通过再测信度的相关系数可以了解测量结果在经过一段时间后的稳定程度。再测信度的两次测评使用的是同一个测评工具，同一种测评方式，但较难把握的是两次测评间隔的时间长短。时间间隔过长，被测者特征将随时间的增加而开展变化，由此计算的稳定系数将失去意义；假设时间间隔过短，又可能产生记忆与练习效应，这也将影响稳定系数。2.与测评内容有关的信度单个工程的信度组成信度内部一致性信度〔主要关注的是测验内部题目之间的关系。它所考虑的问题是一个测量工具所有的维度测量的均一性〕折半信度〔将一份测验按照一定的方法分成尽可能平行的两个半份测验(例如按照奇偶分半)，然后计算两半之间的相关，得到的相关系数即为折半信度系数〕复本信度

3.与评分者有关的评分者信度相关系数法〔随机抽取假设干份答卷，有两个以上独立的评分者打分，再求每份答卷两个评判分数的相关系数〕概化系数和可靠性系数〔相对误差-概化系数-常模参照测评，绝对误差-可靠性系数-标准参照测评〕〔三〕影响信度的因素1.被试者的特征被试者的特征对信度的影响主要表现在被试者在测量属性方面的个体差异上。如果一种测量工具对某种属性的测量得分的差异幅度越大，那么该测量工具能区别开被测量的个体，因而我们说该测量工具有较好的信度;个体之间被测量的特征或者属性差异差异很小，那么很难进展可靠的测量，测验信度可能会很低。2.测验的长度和难度一般来说，测量分数分布越广，信度系数就相对越高。这就好比让你来速记一组数字，随着让你观察这组数字的时间的延长，你会发现你能够描述的数字的准确性和详细程度也在不断提高。一个给定的测验，当增加测验的长度并且相应地延长测验的时间的时候，也会发生上述类似的效果。

3.不同信度测验方法的选择

前面我们可以看到，不同的信度测量方法处理测量误差的方式都不同，这样在我们估计信度的过程中对不同方法的选择就会产生不同的估计值。有些方法倾向于对信度范围做上限估计，有些倾向于做下限估计，这样针对不同特点的测验我们要学会选择估计方法。

4.测验过程中的误差测试现场因为照明、背景音乐、温度、噪声、通风、桌椅和空间不符合人体工程学等原因导致被试精神和身体状况的不适，或者被试由于不熟悉答题的样式，答题经历的缺乏或者生病等突发状况的发生，都会导致测量的误差。三、测量的效度〔一〕效度的含义和特性效度〔Validity〕即有效性，它是指测量工具或手段能够准确测出所需测量的某素质特征的程度。效度是指所测量到的结果反映所想要考察内容的程度，测量结果与要考察的内容越吻合，那么效度越高；反之，那么效度越低。或者简单地说是指一个测验的准确性、有用性。如果我们用体重秤来测身高，显然这种测量工具的选择是不正确的，所以说这个测量工具没有效度。测评过程：测评工具的研制、计分和指导语的标准化、被试作答反响、主试或评分者、测验的实施、数据整理、统计分析、结果的解释。每一步都要保证其科学性和准确性，这样才能保证测量的结果和结论是有效而正确的。效度的性质1.效度具有相对性任何测验的效度是对一定的目标来说的，或者说测验只有用于与测验目标一致的目的和场合才会有效。所以，在评价测验的效度时，必须考虑效度测验的目的与功能。2.效度具有连续性测验效度通常用相关系数表示，它只有程度上的不同，而没有“全有〞或“全无〞的区别。效度是针对测验结果的。效标和效标测量效标，即衡量测验有效性的参照标准，指的是可以直接而且独立测量的我们感兴趣的行为。我们感兴趣的行为，就是要预测的行为，这是一个总的观念，故必须以可操作的测量来确定才有实际意义。因此有必要把效标细分为两个层次，其一是理论水平的“观念效标〞，其二是操作定义水平的“效标测量〞。常用的效标有：1、学业成就：如在校成绩、学历、有关的奖励和荣誉、教师对学生智力的评定等，常作为智力测验的效标，也可作为某些多重能力倾向测验和人格测验的效标。2、实际工作表现：是最满意的效标测量，为一般智力测验、人格测验和一些能力倾向测验的效标；3、特殊训练成绩；4、精神病诊断；5、等级评定：是观察者根据测验欲测量的心理特质在被试身上的表现而作出的一种个人判断；6、效标团体的比较：即找出两个在效标表现上有差异的团体，比较他们在测验分数上的差异；7、先前有效的测验：一个新测验与先前有效的测验的相关也经常作为效度检验的证据。〔二〕效度的类型根据效度评估方法不同，效度可以从六个角度来划分：内容、反响过程、内部构造、与其他变量的关系、测验结果。1.内容效度(contentvalidity)内容效度就是检验测验的内容对所要考核范围的代表性程度。例如面试的时候对一个技术人员所掌握的技术水平的测验可以通过选取不同水平的具有代表性的技术问题来测量，这样就能大致推断技术人员的技术水平。内容效度指的是测验题目对有关内容或行为取样的适用性，从而确定测验是否是所欲测量的行为领域的代表性取样。目的→“构念〞→“构念〞具体化→确定测评内容不同于其他几种效度，内容效度首先重点是强调新测量工具的建构而不是己有测量工具的效度。设计并采用这种方法的目的是帮助确保测量工具的建构是针对所要测量的内容。这种方法主要是依靠专家根据经历来判断一个测量工具的效度，而不是依靠相关系数。因此，内容效度被称作一种"描述性"效度。为了确保内容效度的客观，可以通过以下的流程来保证:1.对所测量的内容进展全面的分析，尽可能地搜索到最齐全的资料。2.挑选参与内容效度研究的专家，这些专家应该能够承担相关测量范围的职责并且具有这些职责所具备的知识、技术和能力。3.瓢选测量内容。4.评估颤选测量工具与被测量内容的相关性。2.基于反响过程的效度

3.基于内部构造的效度——建构效度建构效度：指测验能够测量到理论上的设想或特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或设想，解释的程度如何。例如我扪根据理论的假设构造来编制一份心理测量量表或者测验，如果实际测量结果所测得的实际分数经过统计检验能够有效地解释受试者的心理特质，那么我们说这个量表或者测验具有良好的建构效度。3.基于与其他变量的关系的效度—效标关联效度

(criterion-relatedvalidity)〔1〕效标与效标测量效标是衡量一个测验有效性的参照标准。效标测量就是将效标转化为某种可以操作的测量指标。效标具有四个特性:多样性、复杂性、特殊性、时间性。〔2〕效标关联效度效标关联效度是指测验与外在效标间关联的程度。即一个测验对处于特定情境中的个体行为进展预测时的有效性(准确性)。效标效度主要考虑的是测验分数与效标之间的关系。效标关联效度根据使用时间间隔的长短又分为同时效度与预测效度。同时效度(concurrentvalidity)是指收集效标材料与测验分数差不多同时进展，多用于对现有员工的测评。例如，有两个智力测验A和B，A实施起来很费时间，而B测验时间短。如果B的成绩与A的成绩有很高的相关，那么B可以作为A的替代测验。预测效度(predictivevalidity)是指收集效标材料在实际测量完毕后隔一段时间再获得，多用于人员选拔和配置等工作。区分同时效度与预测效度的标准不是时间，而是测验的目的。前者主要用于测量现在的状态，后者主要用于预测未来的情况。例如，入学考试成绩假设能够很好地预测入学后的学习成绩的话，这个入学考试的预测效度就高。〔3〕确定效标关联效度的方法A.相关法相关法是指计算测验结果分数与效标之间的相关，得到的结果为效度系数。计算效度系数常用的相关方法是积差相关又叫皮尔森(Pearson)相关。要使用积差相关必须同时具备如下两个条件:①两个变量都是由测量获得的连续性数据，即等距或等比数据。②两个变量的总体都呈正态分布，或接近正态分布。一般来说，相关系数必须到达统计上的显著水平。如果其他情况己定，那么效度系数越高越好。B.区分度

区分度是指预测源分数是否能区分由效标测量所定义的群体。操作方法是选取两种效标A和B，先根据A将群体区分开来，再用B将群体区分开来，根据两种效标区分的结果来判断，如果A和B区分的结果一致，那么说明效度较高。C.命中率命中率是根据测验所做的正确决定的比率。它主要用作取舍决策。某种测量工具的效度高不高，主要是看做的决定是否与实际一致，这就是命中率的上下。命中率包括有：总命中率、正命中率、负命中率。对于测验的效果，从图2-2中可以更直观地理解。在左下角的正确拒绝区域中，我们可以看出，这局部的被试是属于工作成绩和测验分数都很低的被试群体，所以拒绝这些被试是正确的;左上角的区域是工作成绩高但是测验分数却相对较低的被试群体，这里如果拒绝了，显然是错误的;右下角的区域是属于工作成绩低但是测验分数却相对较高的被试群体，如果录取了他们，显然是错误的;右上角的区域是工作成绩高而且测验分数也高的被试群体，录取他们显然是正确的。5.基于测评结果的效度统计结论效度〔衡量对测评数据进展分析时所用程序与方法的有效性的指标〕重点是测评本身的质量和统计方法的恰当性内部效度〔目的：找出导致绩效的原因〕外部效度〔测评结果能一般化和普遍适用于样本所在的总体以及其他同类总体〕内部效度是外部效度的必要条件，但不是充分条件(三)影晌效度的因素效度的大小主要受以下几方面因素影响:1.测量工具本身因素

如果一个测量工具本身存在误差，那么就是不可靠的。这些误差越多，不可靠性就越大，效度也随之降低。具体表现在测量内容的难度不适当、区分度不高、试题题目描述内容或选项设置存在迷惑性问题、题目太多、测量内容的范围太广等。这些测量工具本身的因素对效度的影响是很大的，如果不注意控制，那么就无法保证测量的较高效度。2.样本的因素人是复杂的，参加测试的人会受到各方面因素的影响，有可能一顿油腻的早饭就能让一个参加测试的人临场发挥表现不佳。被试者的情绪、动机、兴趣、身体安康、态度等方面的因素都会影响测试的效度。在其他条件一样的情况下，被测者异质性越高，效度越高，因为效度受到被试团体分数分布的影响3.效标污染效标污染(contenoncontamination)是指效标受到预测变量以外的变量的影响，偏见结果导致效度下降。例如当我们想考核一个员工的工作绩效的时候，如果评价者