第四章人员素质测评工具评价和选择

1、第四章第四章 人员素质测评工具人员素质测评工具的评价与选择的评价与选择第一节第一节 人员素质测评工具人员素质测评工具 的测量学特征的测量学特征一、信度一、信度 信度是指测验结果的可靠性、稳定性，即测验手信度是指测验结果的可靠性、稳定性，即测验手段和结果不受随机误差干扰的程度。段和结果不受随机误差干扰的程度。1 1、再测信度、再测信度 也称稳定性系数，指同一测评对象在不同时间用同一测也称稳定性系数，指同一测评对象在不同时间用同一测评工具测量两次（间隔一定时间），两次测评所得结果的评工具测量两次（间隔一定时间），两次测评所得结果的（分数）之间的相关系数（差异程度），表示测评工具在（分数）之间的相关

2、系数（差异程度），表示测评工具在时间上的稳定性。时间上的稳定性。 通过积差相关系数来计算，验证测评的科学性与可靠性。通过积差相关系数来计算，验证测评的科学性与可靠性。2 2、复本信度、复本信度 又称等值系数，反映的是两个相等的（等值的）复又称等值系数，反映的是两个相等的（等值的）复份测验之间的一致性，是两个平行测验分数的相关性。份测验之间的一致性，是两个平行测验分数的相关性。u优点：优点：避免再测信度的记忆效果和练习效应；避免再测信度的记忆效果和练习效应；适用于长期追踪研究或调查某些干涉变量对检测结果的影响适用于长期追踪研究或调查某些干涉变量对检测结果的影响减少作弊的可能性减少作弊的可能性u缺

3、点：缺点：不能消除练习效应；不能消除练习效应；副本与正本之间仍有迁移作用副本与正本之间仍有迁移作用副本及其难度难以把握副本及其难度难以把握3 3、内部一致性信度、内部一致性信度 又称内在一致性系数，反映测评工具（项目）内部又称内在一致性系数，反映测评工具（项目）内部之间的同质性，考察一个测评工具中想要测量相同内容之间的同质性，考察一个测评工具中想要测量相同内容或特质的各个项目是否真正测量了相同的内容或特质。或特质的各个项目是否真正测量了相同的内容或特质。u分析方法：分析方法：（1 1）项目折半分析）项目折半分析 rt=2r/1+r r r：奇数项与偶数项分数的相关系数：奇数项与偶数项分数的相关

4、系数（2）系数分析系数分析 rt=(n/n-1) (s2t-v2i)/s2tn：测评工具包含的项目数：测评工具包含的项目数 S2t：测评结果总分的方差：测评结果总分的方差V2i：第：第i个项目得分的方差个项目得分的方差 例例P3124 4、评分者一致性信度、评分者一致性信度 指的是不同的评分者使用同一测评工具时所评分数指的是不同的评分者使用同一测评工具时所评分数间一致性。主要反映测评者主观上的误差。间一致性。主要反映测评者主观上的误差。u分析方法：肯得尔和谐系数分析方法：肯得尔和谐系数 W=R2i (Ri)2 / (1/12)n2(m3m) n：测评者人数测评者人数 m: 测评项目个数测评项目

5、个数 R: 第第i个项目所有被测者的等级之和或（分数之和）个项目所有被测者的等级之和或（分数之和） 例例P3135 5、影响信度的因素、影响信度的因素被测试者被测试者测评者（主试）测评者（主试）测评内容测评内容分数的分布情况分数的分布情况意外干扰因素意外干扰因素二、效度二、效度 测评工具的有效性就叫效度，指测量的正确测评工具的有效性就叫效度，指测量的正确性与准确程度。反映测量的结果是否与实际的结性与准确程度。反映测量的结果是否与实际的结果相符合。果相符合。（一）效度与信度的关系（一）效度与信度的关系1、二者所考虑的误差性质不同二者所考虑的误差性质不同u 信度评估的是随机误差信度评估的是随机误差

6、u 效度评估的是系统误差效度评估的是系统误差2、高信度是高效度的必要条件，而不是充分条件高信度是高效度的必要条件，而不是充分条件二、效度的种类二、效度的种类1、内容效度内容效度 即测评工具的内容能否有效代表测评所要求的内容即测评工具的内容能否有效代表测评所要求的内容范围。范围。内容效度最适合于评估教育和职业成就测试；内容效度最适合于评估教育和职业成就测试；适合于某些用于选拔和分类的人事测评；适合于某些用于选拔和分类的人事测评；内容效度一般不适用于能力倾向测试和人格测试内容效度一般不适用于能力倾向测试和人格测试u内容效度应用中应注意内容效度应用中应注意1 1、内容效度背后的假设是，将来被聘用的人

7、在被聘用、内容效度背后的假设是，将来被聘用的人在被聘用是已经具备了一定的知识、技术和能力；是已经具备了一定的知识、技术和能力；2 2、由于主观判断在内容效度中所取的作用很大，因而将、由于主观判断在内容效度中所取的作用很大，因而将判断过程中的推测成分降到最小显得非常关键。判断过程中的推测成分降到最小显得非常关键。2 2、构想效度、构想效度 人员素质测评所关心的心理特征往往具有一定的理人员素质测评所关心的心理特征往往具有一定的理论构想，例如关于能力结构、人格结构的假设。那么，论构想，例如关于能力结构、人格结构的假设。那么，从测评的理论依据来说，测验实际所得的结果应该符合从测评的理论依据来说，测验实

8、际所得的结果应该符合测验的理论构想或假设，即测评的构想效度。测验的理论构想或假设，即测评的构想效度。u确定构想效度的步骤：确定构想效度的步骤：建立理论框架，以解释被试者在测试上的表现建立理论框架，以解释被试者在测试上的表现依据理论框架，推演出有关各种测试成绩的假设；依据理论框架，推演出有关各种测试成绩的假设；以逻辑或实证的方法来验证假设。以逻辑或实证的方法来验证假设。3 3、实证效度、实证效度 就是指测评工具对处于特定环境中的个体行为进行就是指测评工具对处于特定环境中的个体行为进行预测时的有效性，即测评工具对于我们所感兴趣的行为预测时的有效性，即测评工具对于我们所感兴趣的行为能够预测得怎么样。

9、能够预测得怎么样。（三）影响效度的因素（三）影响效度的因素被测试者被测试者测试的长度测试的长度测试题目的质量测试题目的质量实施测试时的干扰因素实施测试时的干扰因素三、难度和区分度三、难度和区分度1、项目难度项目难度 P=R/N P：难度指数：难度指数 R：答对人数：答对人数 N：参与测试总人数：参与测试总人数 一般测试试题难度指数应在一般测试试题难度指数应在0.30.30.70.7之间；整份测之间；整份测试试卷的平均难度指数在试试卷的平均难度指数在0.50.5是理想的。应注意避免是理想的。应注意避免“天花板效应天花板效应”和和“地板效应地板效应”。2、项目区分度、项目区分度 D=（H-L）/N

10、 D：区分度指数：区分度指数 H：高分组答对题的人数：高分组答对题的人数 L：低分组答对题的人数：低分组答对题的人数 N：参与测试总人数：参与测试总人数 例例P317 区分度与难度是密切相关的。区分度与难度是密切相关的。 也就是对被测试者的水平有良好的鉴别能力，能将也就是对被测试者的水平有良好的鉴别能力，能将高水平的受测者与低水平的受测者很好的区分开来。高水平的受测者与低水平的受测者很好的区分开来。三、标准化三、标准化 标准化是指测验编制、实施、记分和对分数的解释标准化是指测验编制、实施、记分和对分数的解释必须遵循严格的统一的科学程序，保证对所有被测者来必须遵循严格的统一的科学程序，保证对所有

11、被测者来说，施测的内容、条件、记分过程、解释系统都相同。说，施测的内容、条件、记分过程、解释系统都相同。它包括：它包括：测验题目的标准化；测验题目的标准化；实施过程和记分的标准化；实施过程和记分的标准化；选用有代表性的常模。选用有代表性的常模。第二节第二节 人员素质测评的常用工具人员素质测评的常用工具一、标准化纸笔测验一、标准化纸笔测验 标准化纸笔测验就是只用笔和纸就能进行的测验，标准化纸笔测验就是只用笔和纸就能进行的测验，但它要求测验全过程（包括题目、回答方式、测验时间、但它要求测验全过程（包括题目、回答方式、测验时间、评分及分数解释等的标准化。评分及分数解释等的标准化。 常用的标准化纸笔测

12、验有常用的标准化纸笔测验有：人格测验、成就测验、：人格测验、成就测验、能力测验等。能力测验等。n标准化纸笔测验的优缺点标准化纸笔测验的优缺点优点优点 方便性方便性 经济性经济性 客观性客观性缺点缺点 无法测验被测者的行为表现；无法测验被测者的行为表现； 测验实施程序较为正式化；测验实施程序较为正式化； 无法避免考试技巧和猜测因素的影响。无法避免考试技巧和猜测因素的影响。二、投射测验二、投射测验1 1、投射测验的含义投射测验的含义 要求被试对一些模棱两可或模糊不清、结构不明要求被试对一些模棱两可或模糊不清、结构不明确的刺激做出描述和反映，据此来分析和推断被试的确的刺激做出描述和反映，据此来分析和

13、推断被试的内在心里特征。投射测验主要用于人格、动机等内容内在心里特征。投射测验主要用于人格、动机等内容的测验。的测验。2 2、投射测验的特点投射测验的特点n 非结构性非结构性n 隐蔽性隐蔽性n 整体性整体性3 3、投射测验的分类、投射测验的分类n 联想法投射测验联想法投射测验n 构造法投射测验构造法投射测验n 完成法投射测验完成法投射测验n 表露法投射测验表露法投射测验n 选择或排列法投射测验选择或排列法投射测验4 4、投射测验的局限投射测验的局限n 计分和解释缺乏客观标准；难以体现公平计分和解释缺乏客观标准；难以体现公平n 难以避免防御反映的干扰难以避免防御反映的干扰n 耗费的时间精力大，对

14、主试要求高耗费的时间精力大，对主试要求高三、行为模拟与观察类测验三、行为模拟与观察类测验 它是通过安排一定的情境，在其中观察特定的个体它是通过安排一定的情境，在其中观察特定的个体或群体的特定行为，从中分析需要考察对象的内在素或群体的特定行为，从中分析需要考察对象的内在素质或特征，它的技术核心是行为观察。具体又分为：质或特征，它的技术核心是行为观察。具体又分为：n 自然观察自然观察n 设计观察设计观察n 自我观察自我观察n行为模拟与观察类测验的优缺点行为模拟与观察类测验的优缺点优点优点 真实真实 预测效果好预测效果好 可获取较多信息可获取较多信息缺点缺点 操作较为困难；操作较为困难； 测验成本高

15、；测验成本高； 分析较复杂。分析较复杂。四、基于工作情景的综合类测验四、基于工作情景的综合类测验n 公文筐测验：公文筐测验：即让被测试者在所安排的假想的情境中扮即让被测试者在所安排的假想的情境中扮演某一管理者的角色，进行一系列的公文处理，对其处理的演某一管理者的角色，进行一系列的公文处理，对其处理的方式方法以及结果等进行评价的一种方法。方式方法以及结果等进行评价的一种方法。这类测验主要有：这类测验主要有：n 面试：面试：即考官针对与工作有关的内容，与被试进行面对即考官针对与工作有关的内容，与被试进行面对面的交谈，达到了解，评价的目的。面的交谈，达到了解，评价的目的。n 调查：调查：即对员工的某

16、些意愿、态度、观点或感受等认知即对员工的某些意愿、态度、观点或感受等认知性或情感性心里状态或行为倾向进行信息搜集，并做出分析性或情感性心里状态或行为倾向进行信息搜集，并做出分析评价。评价。第三节第三节 人员素质测评工具设计人员素质测评工具设计一、素质测评工具设计和编制的一般程序一、素质测评工具设计和编制的一般程序明明 确确 测测 验验 目目 的的制制 定定 编编 题题 计计 划划编编 辑辑 题题 目目题目的测试与分析题目的测试与分析组组 合合 成成 测测 验验将将 测测 验验 标标 准准 化化对测验进行鉴定对测验进行鉴定编写测验说明书编写测验说明书（一）测量目标的分析（一）测量目标的分析1、预

17、测性测验预测性测验2、显示性测验、显示性测验3、特殊心理品质或特质测验、特殊心理品质或特质测验（二）制定编题计划（二）制定编题计划1、指标范围、权重和内容指标范围、权重和内容2、题目类型与数量、题目类型与数量3、编题记分方法、编题记分方法（三）编辑题目（三）编辑题目1、搜集有关资料搜集有关资料2、选择题目形式、选择题目形式3、编写和修订题目、编写和修订题目（四）题目的试测与分析（四）题目的试测与分析1、试测对象试测对象2、过程与情境要真实、过程与情境要真实3、时限可适当放宽、时限可适当放宽4、详细记录、详细记录（五）组合成测验与标准化（五）组合成测验与标准化1、题目编排组合方式题目编排组合方式

18、u 并列直进式并列直进式u 混合螺旋式混合螺旋式2、复本难度与区分度把握、复本难度与区分度把握（六）对测验的鉴定（六）对测验的鉴定1、测量学特征、指标分析测量学特征、指标分析2、获取有关的信度、效度资料、获取有关的信度、效度资料（七）编写测验说明书（七）编写测验说明书1、标题名称、作者、实施形式和记录形式标题名称、作者、实施形式和记录形式2、测验的目的和功能、测验的目的和功能3、测验编制的理论背景和选题依据、测验编制的理论背景和选题依据4、测验实施方法、时限、注意事项、对主试的要求、测验实施方法、时限、注意事项、对主试的要求5、标准答案与评分方法、标准答案与评分方法6、对分数的解释、对分数的解

19、释7、测验的信度、效度等资料数据、测验的信度、效度等资料数据二、测题的设计与测量的编制二、测题的设计与测量的编制( (一一) )命题的一般原则命题的一般原则符合测验目的符合测验目的具有代表性具有代表性避免歧义和误解避免歧义和误解文句简明扼要文句简明扼要答案唯一确定答案唯一确定各个题目彼此独立各个题目彼此独立不要隐含暗示不要隐含暗示难度适中难度适中避免个人隐私避免个人隐私实施评分简便实施评分简便( (三三) )测验题目的来源及注意事项测验题目的来源及注意事项1、测验题目的主要来源有：、测验题目的主要来源有：从已经出版的各种标准的测评工具中选择合适的题目；从已经出版的各种标准的测评工具中选择合适的

20、题目；聘请专家设计题目；聘请专家设计题目；自行设计题目。自行设计题目。2 2、收集题目应注意：、收集题目应注意：题目来源要尽可能的丰富；题目来源要尽可能的丰富；题目要有普遍性题目要有普遍性要尽量避免文化背景差异的影响。要尽量避免文化背景差异的影响。( (四四) )题目类型及编制要领题目类型及编制要领1、是非题是非题优点：评分客观、迅速优点：评分客观、迅速缺点：带有一定的机遇成分（缺点：带有一定的机遇成分（50%）注意：注意：内容以有意义的事实、概念和原理为基础；内容以有意义的事实、概念和原理为基础；每道题只能包括一个重要概念；每道题只能包括一个重要概念；避免模棱两可和暗示性词语；避免模棱两可和暗示性词语；对错的数量大致相等并随机排列对错的数量大致相等并随机排列2、选择、选择题题优点：适用范围广；优点：适用范围广；积分客观；有诊断作用积分客观；有诊断作用 阅卷快捷方便阅卷快捷方便 保密性较好，可反复使用保密性较好，可反复使用缺点：答案固定，测评的内容有限；有技巧的成分缺点：答案固定，测评的内容有限；有技巧的成分原则：原则：题干问题明确、选项要简练；题干问题明确、选项要简练；答案要有迷惑性，错误不要太明显；答案要有迷惑性，错误不要太明显；选项形式上要协调一致，文字长短相当；选项形式上要协调一致，文字长短相当；正确答案的位置、频次大体