人才测评·第二讲

1、人才测评与员工招聘第二讲测验常模与统计学基础1我们为什么需要统计？测验的结果总是表现为一定的分数统计可以用于描述可以使用统计对不能或难以直接观测的事物进行符合逻辑的推论系统的研究要求一定的数学分析学会理解数据的含义2从日常看到的有趣研究报告开始饮食导致大多数婚姻问题的产生1、没有婚姻问题的人群情况如何？2、饮食习惯和婚姻问题是如何界定的？3、何为因？何为果？难道不能是婚姻问题导致不良饮食习惯吗？生男孩的家庭相对生女孩家庭的离婚率较低白色车辆不容易产生交通事故3测量量表（1/2）测量：按照法则给事物赋予数值；其中，法则是将事物的属性转变为数字的特定程序。量表的特征量值：具有强度的特征。等距：在量

2、表中任何两个数值之间的差别与另外两个数值之间的差别具有相同的含义的时候，量表就具有等距的特征。绝对零点：当测量的特征根本就不存在的时候，我们就称之为绝对零点。4四种尺度类别尺度（nominal scale）测量水准最低一个集合的所有成员都被分派到相同的数字，并且没有两个集合被分派到相同的数字。等级尺度（ordinal scale）物体或事物能够依操作定义所界定的明确特征或属性而排列大小或程度。等距尺度（interval scale）要求尺度上的等差代表所测量的特质的量之等差。等比尺度（ratio scale）测量的最高水准除以上特征外，还具有绝对零点。5测量量表（2/2）量表的种类1、类别量表

3、1黄种人；2白种人；3黑种人2、顺序量表身高第1姚明；2王治郅；3易建联3、等距量表华氏温度表4、比率量表开氏温度表；速度等可以进行的运算频数分布可以运算但结果难以解释可以进行任何算术运算并进行有意义的解释；但不能用比率运算可以进行任何数学运算并解释6频数分布频数分布是系统反映一个变量或测量分数中每一数值出现的次数多少的一种技术。7图5 全国分就业地域农民工月均工资水平（2003年）数据来源：中国农业政策研究中心2004年农村经济与社会调查数据。下图是否频数分布？8百分等级（percentile rank）百分等级：“有百分之多少的分数（观测值）落在一个特定的分数（观测）值之下？”1、计算有多

4、少观测值在我们感兴趣的特定分数值之下。2、计算观测值的总数。3、用特定分数值之下的观测值个数（步骤1）除以观测值的总数（步骤2）。4、将步骤3的结果乘以100。例：在50000名选手中排名62：（50000-62）5000010099.889百分位数（Percentiles）百分位数（Percentiles）是分数分布中的一个特定的分数值或点，它是一个原始分数。例如：中国的百分等级是44，百分位数是40/1000。注意：联系分数代表的特定意义来理解。考虑总体的情况。10描述分数分布(描述性统计)（1/2）平均数（mean）：算术平均数观察事件的平均水平方差（Variance）标准差（stand

5、ard deviation）原始分数相对于平均数的变化程度标准差等于方差的平方根专栏2-3：描述总体和样本的术语和符号11练习题某生产部门使用一种抽样程序来检验新制产品的质量检验的原则是，随机抽取一含有个产品的样本，如果其标准差超过，那该生产线必须关闭检修假定抽取的某样本如下：3.51 3.50 3.49 3.48 3.453.38 3.43 3.41 3.70 3.60试问该生产线必须关闭检修吗？12描述分数分布（2/2）Z分数（标准分数）：用标准差为单位来度量原始分数与平均数的离差。为什么要使用Z分数？平均数和标准差仅仅表示了总体的状况，如果我们想描述某个样本值（原始分数），就需要用到Z分

6、数。Z分数代表原始分数高于或低于平均数分数的程度。例如：X4，平均数为5.75，标准差为2.11。Z-0.83说明X低于平均数0.83个标准差。13标准正态分布（standard normal deviation）标准正态分布：Z分数的平均数为0，标准差为1。Z分数频数 -3 -2 -1 0 1 2 3.3413 .3413如图，曲线下的数值就是预期事件发生的概率。问题：平均数以上一个标准差的原始分数点的百分等级？14常模（norms）常模是某一群体在特定测验上的表现情况。常模有多种表示方法：Z分数、百分位数和平均数等。当测验在一个样本群体中运用，并获得这个样本的分数分布的时候，测验的常模就建

7、立了。有些测验在不同的年龄群体中使用不同的常模。15痕迹痕迹：与同伴相比倾向于保持保持在相同水平上的趋势称之为痕迹。标准参照测验常模参照测验（norm-referenced test）把每一个被试的成绩与常模进行比较。例如，前面提到的，根据总体成绩评定A、B、C、D、E五个等级标准参照测验（criterion-referenced test）用于描述考生在特定类型的技能、任务和知识方面的表现水平。如：IQ测试；算术能力测试16信度与效度概述样本总体变异量(Observed Variances; O),包括:(1)真实差异(True Variance；T) (2)独有因素带来的差异(Unique

8、 Variance；U)(3)随机误差带来的差异(Error Variance；E) O = T + U + E信度准确性： E 佔 O 的比重，信度为測量的工具免於随机誤差的程度。效度正确性： T 佔 O 的比重，样本与总体真实差异的比例。17 D B C D C C B A A A B DA准确且正确B正确但不准确C准确但不正确D既不正确也不准确18信度模型信度真分数方差观测分数方差19估计测验信度的方法重测法：时间取样，考察不同场合的测验结果的一致性。重测信度（test-retest reliability）平行测验技术：项目取样，评估不同测验之间的一致性。平行测验信度（parallel

9、 forms reliability）内部一致性技术：考察被试在测验的相似项目之间的表现情况。分半技术； KR20公式； 系数20重测信度（test-retest reliability）适用范围：所测量的“特质”或特征不随时间而改变的情况。估计方法：1、在两个不同时间进行同一测验2、计算两次测验之间的相关迁移效应（carryover effect）练习效应（practice effect）注意：时间间隔；测验特征的变化21平行测验信度（parallel forms reliability）又叫等值信度（equivalent forms reliability）、平行信度功能：考察误差的方差是

10、不是由于编制者选择了特定系列的项目所导致的。估计方法：1、为同一测验设计两个等值的版本2、将两个版本在同一天施测于同一群被试3、计算两个版本的皮尔逊积差相关系数局限性：实践中很难拥有两个版本的测验。22分半信度（split-half reliability）估计方法：1、对被试施测一个测验；2、人为地将测验分为两半，分别计分；3、将两部分的分数进行比较：（1）计算两个部分之间的相关系数（2）利用Spearman-Brown formula来修正。修正后的分半信度修正前的分半信度23KR20公式(1/2)适用范围：测验项目是0、1计分的情况。N=测验的项目数S2=总的测验分数的方差p=每一个项目

11、的被试答对比率（各个项目上被试回答情况彼此独立）q=1-p每一个项目的被试答错比率24KR20公式(2/2)！只有在测验的各个项目之间存在协方差的情况下，即项目之间存在相关的时候， KR20公式计算的信度才不为0。项目数越多，信度越高。KR21公式：前提假设：所有项目具有相等的难度，或整个测验的平均难度水平为50%。通常低估了分半信度25系数（1/2）Cronbach ：用于估计项目非0、1计分的测验的内部一致性。所有的内部一致性测量，都是去评估测验的每一个项目测量同一特质的程度。因素分析（factor analysis）：将项目划分到具有内部一致性的不同子集中去。26系数（2/2）使用分半技

12、术时，当测验两部分的方差不等的时候，使用 系数。用于估计分半信度的 系数整个测验的分数方差测验两部分的方差27行为观察研究中的信度对行为进行直接观察也涉及到信度问题。估计观察者的信度：考察两个或更多的观察者之间相一致的次数所占的百分比。库珀统计量（Kappa statistic）28什么样的信度是可信的？一般情况：0.7-0.8涉及到个体未来的决策时，信度应该要求更高（0.95）29面对低信度怎么办？（13）增加测验项目理想信度水平下的测验长度：理想信度水平测验长度是当前测验版本长度的倍数理想的信度水平当前测验版本的信度水平30效度定义（1/2）测验能否说明想要说明的问题？测验是否有价值？多种

13、多样的定义美国教育研究会、美国心理学会和国家教育测量委员会：效度是对测验分数进行推论的证据。31效度定义（2/2）这些证据分成三种类型：结构相关的证据效标相关的证据内容相关的证据最近的标准：效度是一个整合的概念。效度的分类32表面效度（face validity）测验看起来是有效的。表面效度就是你所要关注的内容。如果项目表面上看起来是和测验的目的是相关的，我们就说这个测验有表面效度。表面效度的意义鉴定方式：观察测项，逻辑推理，无需统计证实33内容效度教育测验中的内容效度内容效度与其它类效度之间的区别：不明显只需要逻辑推理，无需统计证实。鉴定方式：专家判断。34效标效度（criterion va

14、lidity）(1/5)效标效度证据（criterion validity evidence）：测验与特定的效标相一致的情况。效标测验所真正感兴趣的效标效度包括：预测效度：测验的预测功能。Predictive validity evidence同时效度：测验与同时进行的效标之间的效度关系。Concurrent validity evidence35效标效度（criterion validity）(2/5)招聘测验公平录用机会标准：用于测验候选人的任务与现实的工作表现必须有关另一种同时效度证据：职业兴趣测验将参加测验的个体的兴趣形式和各种职业领域中成功的个体的兴趣形式相匹配。36效标效度（cri

15、terion validity）(3/5)效度系数（validity coefficient）：测验和效标之间的相关效度系数0.3，显著水平0.5例子：一个自陈抑郁测量的效度有什么证据表明这个量表测量的就是抑郁？与其他研究相比较效度系数的平方：测验分数能够解释效标的百分比。37效标效度（criterion validity）(4/5)测验产业与公众：Ralph Nader：“他们拥有了一种罕见的公司权力通过使人们被动地接受ETS所提供的测验分数和决定个体是否能够获得教育和职业机会的方式，改变了人们对自己潜能进行自主评价的权力。”我国的情况？胆固醇测验：测验：血液中的胆固醇水平；效标：过早死亡效

16、标效度系数为0.1每年有超过60万美国人死于心脏病。38效标效度（criterion validity）(5/5)效度系数的评价1、察看变量间的关系是否发生改变2、明了效标的价值是什么？3、审查效度研究的被试群体4、确保样本规模的充分性5、不能混淆效标和预测源6、检查预测变量和效标的取值范围7、审查效度可推广的证据8、考虑不同的预测情况39构想效度证据（1/3）大多数社会和心理特征缺乏明确的效标。构想（construct），又称“构念”，我们在心理上所建构的某种内容。不是看得见、摸得着的。是主观的例如：智力、爱情、好奇心、心理健康又如：工作满意度、组织承诺、领导风格40构想效度证据（2/3）构

17、想效度证据（construct validity evidence）搜集测验的意义聚焦案例：爱情的含义会聚证据（convergent evidence）与效标效度的异同变量的构成成分之间的相关；测项之间的相关41构想效度证据（3/3）区分证据（discriminant evidence）或区分效度（divergent vabidity）独特性：该测验与其它无关的测验具有低相关，或是测验其他测验所未能测量的内容。独特的结构Cronbach：所有的效度在一定意义上都是构想效度。42信度与效度的关系信度是效度的必要非充分条件效度无法说明信度信度与效度可以共同解释预测变量的变异。43进入下一章节44C

18、ronbachs coefficient alpha克隆巴赫(19162001)，美国心理学家、教育学家。他创建了一套常用的衡量心理或教育测验可靠性的方法“克隆巴赫系数”(Cronbachs coefficient alpha)，并在此基础上建立了一个用于确定测量误差的统计模型。1957年当选为美国心理学会主席，1973年获美国心理学会颁发的杰出科学贡献奖，1974年当选为国家科学院院士。 Received his PhD from the University of Chicago in educational psychology in 1940, developed a frequent

19、ly used measure of the reliability of a psychological or educational test, seminal research in measurement theory, program evaluation, instruction, 4546聚焦案例:爱情的含义（1/3）鲁宾的研究把人们关于爱情的智慧语言精简为一系列的陈述让被试进行回答（5点量表）项目包括测量爱情和测量喜欢的每一个项目回答两次：情人与异性朋友得到三个因素：依恋、关心和亲近筛选能够区分情人和朋友差异的项目爱情量表和喜欢量表爱情量表：当写下情人名字时，男女在此量表得分高于写下朋友名字时“强烈爱情”与