人员素质与能力测评工具

1、人员素质与能力测评工具第1页，共81页，2022年，5月20日，10点45分，星期日了解构想和基于构想的解释内容掌握信度、效度、常模的概念掌握人员测评工具组合的内容、设计内容熟悉人员测评工具的组合原理能进行简单的信度和效度检验第2页，共81页，2022年，5月20日，10点45分，星期日案例分析请同学们阅读教材P60 的案例“国内某保健公司中高层营销管理人员的考核与评估”，思考以下几个问题： 1、回顾人员测评的作用与意义，此次测评主要起到什么作用？ 2、该公司主要运用哪种方法进行测评要素的设计的？怎样进行数据收集？ 3、你认为该公司的测评有效吗？为什么？第3页，共81页，2022年，5月20日

2、，10点45分，星期日第4页，共81页，2022年，5月20日，10点45分，星期日为什么需要测量工具？你知道foot（英尺）的来历吗？第5页，共81页，2022年，5月20日，10点45分，星期日请列举一些你所使用过或接触过的量表思考: 量表的作用是什么？第6页，共81页，2022年，5月20日，10点45分，星期日你如何解释下述现象？一个很聪明的孩子，测得智商是80分一个学习很好的学生，考试成绩为60分一个人缘很好的人，人际关系测量低于常模值第7页，共81页，2022年，5月20日，10点45分，星期日量表帮助我们了解心理现象（心理特质），就像尺子帮助我们测量身高。 思考:我们如何知道我们

3、有多高？有两个工具：尺子 / 秤 第8页，共81页，2022年，5月20日，10点45分，星期日尺子的数据与我们的目测更一致，而秤盘的数据则与我们的目测不一致。因此，尺子是测量身高的有效工具效度。什么材料的尺子？钢铁（热胀冷缩）涉及到一致性的问题。信度第9页，共81页，2022年，5月20日，10点45分，星期日1.70与1.7的关系量表是我们用来了解心理特质等方面的工具，但这个工具是有误差的。误差要控制在一个许可的范围内。第10页，共81页，2022年，5月20日，10点45分，星期日什么是误差?误差的种类?误差是在测量中与目的无关的变因所产生的不准确或不一致的效应。第11页，共81页，20

4、22年，5月20日，10点45分，星期日何谓随机误差？随机误差（random error）由于在测定过程中一系列有关因素微小的随机波动而形成的具有相互抵偿性的误差。 热起伏 磁场的变化第12页，共81页，2022年，5月20日，10点45分，星期日一、测评的信度（一）信度的概念 是一种测验手段不被随机误差干扰的程度，也就是测量数据和结论的可靠性程度。信度的意义1信度指实测值和真值相差的程度2信度指统计量与参数之间的接近程度3信度是指一种测验对相同的应试者再次测验时引起同样反应的程度第13页，共81页，2022年，5月20日，10点45分，星期日信 度 稳定性 可靠性 一致性信度乃是一个被测团体

5、真分数的变异数与实得分数的变异数之比。rXX=ST2/SX2第14页，共81页，2022年，5月20日，10点45分，星期日第15页，共81页，2022年，5月20日，10点45分，星期日第16页，共81页，2022年，5月20日，10点45分，星期日（二）测量表的信度参考依据：信度r评价r0.30不可信0.30r0.40勉强可信0.40r0.50稍微可信0.50r0.70可信0.700.90十分可信第17页，共81页，2022年，5月20日，10点45分，星期日她朝那边转？第18页，共81页，2022年，5月20日，10点45分，星期日看到几张脸？第19页，共81页，2022年，5月20日，

6、10点45分，星期日这是什么？第20页，共81页，2022年，5月20日，10点45分，星期日（三）信度的估计方法1、重测信度（Test-Retest Reliability）定义：同一量表，同一被试群体，在不同时间，两次施测，求其相关。实质：表示测验结果的稳定性。故称之为稳定性系数（Coefficient of Stability） 形式：施测适当时间再施测第21页，共81页，2022年，5月20日，10点45分，星期日一般采用计算两次评价结果的积差的相关系数的方法，计算公式如下： n是两次测评结果的配对数据总数；X是第一次测评的测评结果（分数）；Y是重复测评的测评结果（分数）r 越接近1，

7、则表示测评结果的稳定性越高，测评结果越准确、可信；如果r的数值越低，表示测评结果稳定性越低，测评结果越不准确、不可信。第22页，共81页，2022年，5月20日，10点45分，星期日任务一：计算下列测试的重测信度（独立完成） 从某组织一次员工能力测验中，随机抽取了10个被测评者，记录他们所得的分数如下： 77 81 69 91 88 84 76 70 86 79 半个月后，在相同的条件对相同的被测评者群体再次进行同样的测评，按照被测评者先后两次测评的成绩两两对应，记录他们的此次的所得测评分数如下： 78 83 74 92 91 85 78 75 88 80第23页，共81页，2022年，5月2

8、0日，10点45分，星期日完成得怎么样？第24页，共81页，2022年，5月20日，10点45分，星期日时间间隔的把握间隔时间越长，稳定性系数越低。适宜时间间隔依照测验目的、性质及被试特点而定。几分钟至几年。年幼儿童，间隔要小；年长群体，间隔可大。智力测验的间隔不能太短，成就测验的间隔不能太长。 一般间隔时间不超过六个月。（即不能让被试记住上一次测验的内容，又不能让其特质发生变化，或对所学知识产生遗忘）第25页，共81页，2022年，5月20日，10点45分，星期日2、复本信度（Alternate-form raliability）因为任何测验只是所有可能题目中的一份取样（行为样本），所以可编

9、制许多平行的等值测验，叫做复本。复本信度的计算方法有两种，一种如果测评的结果为分数，就按积差相关法计算，另一种方法，如果测评结果为等级或名次，就使用等级相关法计算。 第26页，共81页，2022年，5月20日，10点45分，星期日 式中，n是测评结果的总个数（被测评者数量），D是同一个被测评者在两次测评结果中排列等级或者名次的差；r的数值越接近1，表示复本信度越高。第27页，共81页，2022年，5月20日，10点45分，星期日A卷：你是一个喜欢热闹的人吗？1=绝对是 2=是 3=不一定 4=不是 5=绝对不是第28页，共81页，2022年，5月20日，10点45分，星期日B卷：你是一个喜欢安

10、静的人吗？1=绝对是 2=是 3=不一定 4=不是 5=绝对不是第29页，共81页，2022年，5月20日，10点45分，星期日任务二：计算下列测验的复本信度（独立完成）从某公司的一次创造力测评中随机抽取的10个被测评者，使用某种测量工具，这10个人按照名次排列如下： A B C D E F G H I J为了检验上述测评工具的可靠性，组织又进行了一次类似的创造力测评，同样10个被测者此次结果按名次排列如下： B A C F E E G I J H第30页，共81页，2022年，5月20日，10点45分，星期日对我们来说，这很简单！ 放松一下，继续 前进！ 第31页，共81页，2022年，5月

11、20日，10点45分，星期日复本等值要符合下列条件：各份测验测量的是同一种心理特性。 各份测验具有相同的内容和形式。 各份测验的题目不应重复。 各份测验题目数量相等，难度和区分度大体相同。 各份测验的分数分布（平均数和标准差）大致相等。复本编好后，应再测一次，以确保各份测验的等值。第32页，共81页，2022年，5月20日，10点45分，星期日定义：两个复本施测同一被试群体，求其相关。等值性系数：同时连续施测，反映内容变异。形式：复本A最短时间复本B稳定性与等值性系数：时间间隔施测，内容变异重测信度误差形式：复本A适当时间复本B 第33页，共81页，2022年，5月20日，10点45分，星期日

12、3、内部一致性信度（Homogeneity Reliability）内部一致性（同质性)指测验的所有题目测量的是同一种心理特质，表现为各个题目得分之间有较高的相关，相关越高则同质性越强。 第34页，共81页，2022年，5月20日，10点45分，星期日内部一致性信度一般用 系数法式中，k是测评项目数量， 是测评结果的方差， 是第i个项目上得分的方差， 是测评总分的方差。 第35页，共81页，2022年，5月20日，10点45分，星期日任务三：计算下列测验的内部一致性信度（独立完成）在一次关于学习能力的人力资源测评中，被测评者为100名员工，测试题目为7道，统计各个题目上被测评者的方差分别为 0

13、.81, 0.82, 0.9, 0.83, 0.85， 0.76, 0.77 测评总分的方差为14，则此次测评的信度为多少？第36页，共81页，2022年，5月20日，10点45分，星期日奖励： 胡萝卜一个！第37页，共81页，2022年，5月20日，10点45分，星期日 评分者信度（Scorer Reliability）评分者信度是指不同评分者之间在测验结果计分上的一致性。在心理测验中,评分者信度的计算,通常是随机抽取若干份试卷,由至少两位受过训练的评分者按计分规则分别判分,然后计算它们的相关。几个评分者的评分越一致,评分者信度越高。第38页，共81页，2022年，5月20日，10点45分，

14、星期日4、评分者间信度（Scorer Reliability）最简单的估计方法就是随机抽取若干份答卷，由两个独立的评分者打分，再求每份答卷两个评判分数的相关系数。这种相关系数的计算可以用积差相关方法，也可以采用斯皮尔曼等级相关方法。如果评分者在三人以上，而且又采用等级记分时，就需要用肯德尔和谐系数来求评分者信度。第39页，共81页，2022年，5月20日，10点45分，星期日其中，K是测评者人数，n是被测评的数量，第i个被测评者被测等级之和。 第40页，共81页，2022年，5月20日，10点45分，星期日任务四：计算下列测验的评分者间信度（独立完成）在一次关于沟通能力的测验中，共有四个测评者

15、，被测评者有5个员工，测评结果按照等级排列，整理出的结果如表所示：员工甲员工乙员工丙员工丁员工戊A12345B23154C12543D3142578131517第41页，共81页，2022年，5月20日，10点45分，星期日为我们自己鼓鼓掌第42页，共81页，2022年，5月20日，10点45分，星期日 估计信度的方法与测验复本的数目以及施测次数的关系所需要施测的次数所需要副本的数目一二一同质性信度评分者信度复本信度（连续施测）二再测信度复本信度（间隔施测）第43页，共81页，2022年，5月20日，10点45分，星期日在一般情况下，间隔施测的副本信度最低，因为很多因素有机会影响到分数。相反，

16、校正过的分半相关，因为影响的因素少，所得的信度估计为最高。第44页，共81页，2022年，5月20日，10点45分，星期日各种信度系数相应误差变异的来源信度系数的类型误差变异的来源再测信度复本信度（连续施测）复本信度（间隔施测）同质性信度评分者信度时间取样内容取样时间与内容取样内容的异质性评分者间的差异第45页，共81页，2022年，5月20日，10点45分，星期日实际上，有多少种误差来源，便有多少种估计信度的方法。一个测验哪种误差大，便应该用哪种误差估计。有时一个测验需要有几种信度系数，这样我们就把总分数的变异数分成不同的分支。第46页，共81页，2022年，5月20日，10点45分，星期日

17、二、人员测评的效度（一）效度的一般定义及其内涵 效度是指测验的准确性，即测验能够 测出他们所预测的特质的程度。 （二）效度的分类 1966年美国心理学会在教育心理测验 值标准中将效度分为三大类 内容效度 构想效度 准则效度第47页，共81页，2022年，5月20日，10点45分，星期日1内容效度（Content Validity）内容效度指测验实际测到的内容与所要测量的内容之间的吻合程度。2结构效度(Construct Validity)结构效度是指测验对于被称作构想的某一理论概念或特质测量的程度。3实证效度(Criterion related Validity)实证效度是指一个测验对处于特定

18、情景中的个体的行为进行估计的有效性。（三）效度与信度的关系信度是效度的必要条件效度是信度的充分条件第48页，共81页，2022年，5月20日，10点45分，星期日（四）提高测量效度的方法1、控制系统误差2、精心编制量表3、妥善组织测验4、扩充样本容量5、适当增加测验的长度第49页，共81页，2022年，5月20日，10点45分，星期日三、测验的项目分析 项目分析包括定性分析和定量分析。定性分析包括考虑内容效度、题目编写的恰当性和有效性等；定量分析主要是指题目难度和区分度的测量。 对项目进行筛选和修订，可以提高测验的信度和效度。（一）难度（difficulty）的意义 难度，指项目的难易程度。

19、在最高作为测验中，称为“难度”，而在典型作为测验中，则指“通俗性”。两者都是指在总体中，能够正确或确切回答某项目的人数。第50页，共81页，2022年，5月20日，10点45分，星期日（二）难度的计算1、二分法记分项目的难度（1）通过率 P=R/N（2）极端分组法（上下27%） P=（PH+PL）/22、非二分法记分项目的难度 P=X / XmaxX为所有被试在该项目上的平均得分， Xmax为该项目的满分。第51页，共81页，2022年，5月20日，10点45分，星期日（三）测验难度水平的确定 效标参照测验、掌握测验：不考虑难度； 选拔测验：难度=录取率； 对于选择题来说，难度一般应大于猜测概

20、率； 无论是速度测验，还是难度测验，一般都应防止被试得满分，因为满分的意义是不明确的。 第52页，共81页，2022年，5月20日，10点45分，星期日 难度对测验的影响测验难度影响测验分数的分布形态 难度大，正偏态 难度低，负偏态第53页，共81页，2022年，5月20日，10点45分，星期日测验难度影响测验分数的离散程度测验过难或过易，分数全距缩小，信度降低。P=0.50时最佳大体而言，难度为0.50时最理想，此时项目具有最大的鉴别力。但在实际操作中，让所有项目难度都到达0.50困难很大，而且也不必要，一般只需使项目的平均难度接近0.50，而各个项目的难度在0.50 0.20之间变化。第5

21、4页，共81页，2022年，5月20日，10点45分，星期日（四） 测验的区分度1、区分度的意义区分度（discrimination）是指测验项目对被试心理品质水平差异的区分能力或鉴别能力。项目的区分度是测验是否有效的“指示器”。2、区分度的计算（1）项目鉴别指数法1鉴别指数（index of discrimination，D）的计算：D = PH - PL取值范围：-1 +1第55页，共81页，2022年，5月20日，10点45分，星期日鉴别指数题目评价0.40以上很好0.300.39良好，修改会更好0.200.29尚可，仍需修改0.19以下差，必须淘汰第56页，共81页，2022年，5月2

22、0日，10点45分，星期日 极端组的划分27%规则一般情况下，取上下25%33%均可。样本少时，可以取50%注意：由于计算机的方便使用，可以上下50%作为划分高低组的标准，或者多分几组，对区分度和难度作详细分析。因为只取上下两端，只利用了一部分资料，浪费了很多信息，有可能得出错误结论。第57页，共81页，2022年，5月20日，10点45分，星期日（2）相关法（项目-总分相关）点二列相关 Xp-Xq rpb= pq St第58页，共81页，2022年，5月20日，10点45分，星期日（五）区分度与难度的关系难度（）区分度（）1.0000.900.200.800.400.700.600.600.

23、800.5010.400.800.300.600.200.400.100.200.000第59页，共81页，2022年，5月20日，10点45分，星期日难度和区分度都是针对一定团体而言的。一般来说，较难的项目对高水平被试区分度高，较易的项目对低水平被试的区分度高。第60页，共81页，2022年，5月20日，10点45分，星期日四、标准化与常模（一）标准化 人员素质与能力测评工具的编制、实施、计分以及测验分数、解释程序都依据一套系统的程序。 内容标准化 实施标准化 客观计分 分数解释标准化第61页，共81页，2022年，5月20日，10点45分，星期日（二）常模 又称测验常模，指某一标准化样组在

24、某一测评上的结果或平均数。标准化样组：能够很好地代表被测评者全域的一个样本。它的产生与抽样的方法有关。第62页，共81页，2022年，5月20日，10点45分，星期日现实的问题小明的期中考试，语文考了84分，数学考了96分，他的父母想知道他的学习究竟怎么样？你怎么解释？张苗今年六岁，他做智力量表测验，得分148分，他的家长想让他跳级，你将给出什么建议？ 我们总是与很多数字打交道，但很多人困惑是因为不知道这些数字的意义。第63页，共81页，2022年，5月20日，10点45分，星期日常模即解释分数的标准。测验常模是指某个标准样本或有代表性团体的测验的分数，如平均数、四分位。常模的主要用途是对测验

25、的分数做出解释。 只有比较才有鉴别； 解决两个问题：发展水平和相对位置第64页，共81页，2022年，5月20日，10点45分，星期日总体与样本总体样本抽样第65页，共81页，2022年，5月20日，10点45分，星期日常模团体的特征群体的构成必须有明确的界限常模团体必须是所测群体的代表性样本样本的大小要适当标准化样组是一定时空的产物第66页，共81页，2022年，5月20日，10点45分，星期日同学们来回顾一下统计学基础的知识，常用的取样方法有哪几种，分别是什么意思？简单随机抽样系统抽样分组抽样分层抽样第67页，共81页，2022年，5月20日，10点45分，星期日（三）常模的类型：发展常模百分位常模标准分数常模第68页，共81页，2022年，5月20日，10点45分，星期日发展常模（Development Norm）某一年龄或某一年级心理发展的平均水平。导出分数：已经达到的发展水平。如：年龄当量、年纪当量、顺序量表、比率智商、教育商数等。第69页，共81页，2022年，5月20日，10点45分，星期日第70页，共81页，2022年，5月20日，10点45分，星期日第71页，共81页，2022年，5月20日，10点45分，星期日组内常模（WithinGroup Norm）具有同一身份的人的平均水平。导出分数：在某一特殊团队中的相对位置。如：百分位常模、标准分