人员测评理论与方法课件-第九章-测评质量检验

第九章测评质量检验第一节效度效度——是指测评结果对所测素质反映的真实程度。这种真实性的考评常见的方法有三种从实证方面分析其结构效度从效标相关性方面分析其关联效度从内容性质方面分析其内容效度123一、内容效度内容效度——是指实际测评到的内容与我们所想测评内容的一致性程度。内容效度的分析目前主要是定性方法一是蓝图对照分析法二是采取专家比较判断法二、结构效度结构效度——就是实际所测评的结果与我们所想测评素质的同构程度。（二）收集事实资料，评判结构效度1.排除法如果测评结果能明确地排除它所对应素质结构模型的其他解释，那么表明所获得的测评结果具有较好的结构效度。2.咨询法3.相关法可以请一些有经验的专家对获得的测评结果所对应的素质结构进行判断或推断。找一个具有较高结构效度的测评工具或结果，与所获得的测评结果进行相关性分析，如果相关性很高，说明测评结果同样具有较高结构效度。4.逻辑分析法当大家对所测素质的结构模型具有比较一致的认识时，只要能断定测评内容（工具）选择正确且整个测评过程排除了一切外来干扰因素，就可以说结果具有较好的结构效度。5.多元分析多元分析就是采取聚类分析与主成分分析等数学手段，对测评结果进析，看分析的结果。三、关联效度关联效度——是指测评结果与某种标准结果的一致性程度。四、项目分数效度项目在这里指测验中的试题、量表中的指标、面试中的问题或评定要素。每个被测评者在同一项目上均会有一个得分。这些得分与外部的某组效标分数的相关性即为项目的效度。五、效度分析中的几个理论问题1.效度评价问题2.效度的相对性问题3.效度分析的多方面性问题

4.效度概念的特定性问题5.效度的定义问题1.效度评价问题任何一种素质测评的结果，其效度不是“全有”或“全无”，而只是程度上的产别而已，因此其效度系数一般介于0与1之间。2.效度的相对性问题效度是针对某种特殊测评目的而言的，并不具有普遍意义。3.效度分析的多方面性问题

4.效度概念的特定性问题效度是一个复杂的对象，采取单一的分析方法有时是不够的，需要同时分析各种类型的效度之后，综合起来才能把握测评结果的有效性。效度分析的数据是每个被测者的总分数，但是相对每个素质测评的子分数与相对每个测评项目（试题、行为指标）来说，也同样有效度问题。5.效度的定义问题一般认为效度是测评结果反映所测素质的正确性或真实性的程度。第二节

信度一、再测信度二、复本信度三、一致性信度四、评分者信度五、评分者信度与测评方法信度对测评结果的影响一、再测信度再测信度——即指测评结果以同样的测评工具、测评方式与测评对象再次获得的变异程度。复本信度——即指测评结果相对另一个非常相同的测评结果的变异程度。二、复本信度三、一致性信度一致性信度——是指相同素质测评项目分数间的一致性程度。四、评分者信度测评结果的差异程度来自两个方面：一方面是被测本身。另一方面是测评者及其测评。测评者及其测评引起的差异又划分为两个方面：一种是恒定的系统误差与随机误差；另一种是测评者个体的主观误差。五、评分者信度与测评方法信度对测评结果的影响1.高信度的评分者用高信度的测评方法获得高信度的测评结果2.高信度的测评者用低信度的测评方法难以获得高信度的测评结果3.低信度的测评者用高信度的测评方法难以获得高信度的测评结果4.低信度的评分者用低信度的测评方法测得结果必然不可靠1二要控制测评过程及其组织的误差2一要选择高质量的测评工具3三要训练与提高测评者的操作水平提高测评结果的可靠性第三节项目分析一、适合度二、区分度三、独立性四、选择率一、适合度二、区分度适合度，特指被测评者行为（包括回答与实际表现）符合项目测评标准的程度。所谓区分度就是指项目把具有不同素质水平的被测评者适当区分开来的鉴别能力。三、独立性四、选择率独立性——即非相关性或低相关性。选择率在这里指被测评者对非正确答案选项的选择比例。它是反映选项质量的一个指标。第四节其他指标的检测一、客观性测评结果的客观性——由测评方法的客观性与测评者的客观性两方面构成测评方法的客观性——指它对测评者主观影响的控制程度二、误差（一）心理效应误差种类与分析1．哈罗效应误差哈罗效应又称晕轮效应——是指测评者往往会因为对被测整体印象的好坏而影响对其每个素质的测评。2．趋中心理误差3．宽大心理误差趋中心理误差——是指因为测评者既不愿把被测评得过好，也不愿评得过差而过于集中在中间分数段产生的误差。宽大心理误差——是指因测评者不坚持测评的标准要求，就高不就低地测评而产生的误差。这种误差表现为皆大欢喜、高分低能。4．逻辑误差5．对比效应误差逻辑误差——指测评者不是实事求是地对每个素质独立测评，而是依据其是否具有相关性特点而进行逻辑上的推断。对比效应误差——指测评者在测评过