人员素质测评质量分析课件

1、 第11章 素质测评的质量分析人员素质测评质量分析本讲内容效度的概念及其分析方法信度的概念及其分析方法区分度的概念及其分析方法选题质量分析及其分析方法人员素质测评质量分析第一节 效度效度的概念 效度是指测评结果对所测评素质反映的真实程度。对这种真实性的考评，常见的方法有三种：从内容性质方面分析其内容效度从效标相关性方面分析其关联效度从实证方面分析其结构效度人员素质测评质量分析一、内容效度定义 是指实际测评到的内容与期望测评的内容的一致性程度。当实际测评到的内容与我们事先所想测评到的内容越一致时，则说明测评结果的内容效度越高，测评结果就越有效。分析方法 内容效度在实际操作中的鉴定主要采用定性分析

2、的方法, 有蓝图对照分析法与专家比较判断法。持肯定判断的人数判断总人数人员素质测评质量分析二、结构效度结构效度又称作构想效度、构思效度、构念效度、构建效度等。结构效度是指实际所测评的结果与想测评素质的同构程度。它表明了在多大程度上，实际测评结果能够被看作是所要测评的素质在结构上的替代物。在素质测评中，它是人们最关心的一种效度。这是由素质测评的间接性所决定的。人们总是通过选取一些具体的行为测评来判断实际的素质水平。人员素质测评质量分析二、结构效度结构效度与检验效度的人对素质结构的理解有直接关系。如果李某认为忠诚这一素质即对本企业的忠诚，张某认为忠诚这一素质表现为实事求是的态度，那么对于向其他企业

3、说明本企业产品所存在的问题这一行为，显然李某与张某会把它归类到不同的素质成分中给与不同的素质成分中并给与不同的评价。因此结构效度的检验分析也是一种定性的主观判断。在分析考评过程中，要采取有力措施把主观影响控制在最低点上。人员素质测评质量分析二、结构效度结构效度的分析可按一下几步进行：1.给所要测评的素质的结构模式下一个操作化的定义 “我们所要测评的素质是对xx的态度、有关xx的品质、有关xx的技能。”像这样一些表述所测评素质的具体形象是什么，结构是什么，我们并不清楚，它仍然是从具体行为概括出某种意识或观念，因此对结构效度的分析没有多大意义。这里的构建不是从行为向观念构建，而是相反，由观念向具体

4、行为的构建。不是简单还原，而是在更高的水平上抓住所测素质的本质特征，确定一个可感觉可操作的结构模式，由这种具体的结构模式作为抽象观念建构的替代物。这种替代物的成分显然应该是我们世纪能够看到的、听到的、感觉到的东西。例如：外显行为、客观性生理反应等。素质测评的目标体系实际上就是所测素质的一个行为构建模型，这种结构模型分别由项目、指标、权重、标度等组成。这种模型的建构，在很大程度上取决于所测素质本身的特征及其抽象程度等组成。人员素质测评质量分析要定义或建构一个素质的结构模型，可以从以下几方面着手：首先，采取工作分析方法，对所想测评的素质进行结构分析与行为分析，确定各种素质结构及其代表的行为。其次，

5、用图表的形式逐一列出工作分析得到的素质因素及其特征行为。除此之外，还可以通过查找历史上或现在人们对所测评素质的模型的现成资料，丰富已有分析的结果。再次，还要另外准备一份与已经建构的模型可能混淆的但关系密切的其他模型图表。要反问自己并向人说明为什么所测素质是你所定义的结构模型而不是其他别的结构模型。人员素质测评质量分析2.收集事实资料，评判结构效度，具体方法有：排除法 如果测评结果能明确的排除它所对应素质结构模型的其他解释，那就表明所获得的测评结果具有较好的结构效度。咨询法 可以请一些有经验的专家就你所获得的测评结果、所对应的素质结构进行判断或推断，问他们该测评结果实际测评的素质是什么。如果大家

6、的回答与你所想测评的素质结构几乎一致，那么说明你的测评有较好的结构效度。相关法 找一个具有较高结构效度的测评工具或结果，与你所获得的测评结果进行相关性分析，如果相关性很高，说明你的测评结果具有较高的结构效度。 例如：某一个具有“自尊”结构效度的测评量表，它的测评结果就应该与自信、社交能力及领导作用等测评量表的测评结果成正比，而与诸如内向性、自卑、孤独等测评量表测评的结果成反比。人员素质测评质量分析逻辑分析法 当大家对所测素质的结构模型具有比较一致的认识时，只要能判定测评内容（工具）选择正确，且整个测评过程除了一切外来干扰因素，就可以说测评结果具有较好的结构效度。 例如：测评时间足以保证被测评者

7、完成所有的工作，被测评者没有受到催促因素的影响；测评工具的指导十分明确，被测操作准确。多元分析 多元分析就是采取聚类分析与主成分分析等数学手段，对测评结果进行分析，看分析的结果。 例如：所找出的主要因素与分类结果与所想测评素质的结构是否一致，如果一致，则说明所获得的测评记过具有较好的结构效度。人员素质测评质量分析三、关联效度又称实证效度、效标效度、效标关联效度，是指测评结果与效标的一致性程度。效标是一种用来衡测评有效性的外在参照标准, 它可以是一种测评的结果, 也可以是标准测评分数。根据效标是否可以同时获得, 可将关联效度分为同时效度与预测效度。作为效标的结果与预测结果同时获得, 这种效度称之

8、为同时效度。当作为效标的结果是后来测评中获得, 这种效度称为预测效度。它反映了现在的测评结果对未来素质发展的预测程度。 例如：两个人同时采用观察评定与问卷测验测评同一个人的工作态度，两个测评结果相关系数很高，例如0.80，那么以后在类似的情况下，可以用问卷测验代替花时太多的行为观察法。人员素质测评质量分析关联效度 例如想检测一下自编品德测评的效度，决定采用效标关联中的同时效度分析方法，故让被测者同时接受自编品德测验与卡特尔16因素问卷测验。 关联效标的分析关键在于效标的选择。效标作为衡量测评结果有效性的参照标准，应该是可以测评到且独立于所分析的测评结果的行为结果。效标可以分为行为效标与观念效标

9、。 行为效标的选择以客观性为依据。常见的行为效标有以下几种：学术成就特殊训练成绩实际工作表现与成绩团体特征等级评定结果先前被证明是有效的测评结果人员素质测评质量分析效度分析中的几个理论问题关于效度概念的研究 1921年美国教育研究指导协会提出,效度是“测验在多大程度上测到所要测的东西”。同时被提出的还有“预测效度”和“共时效度”,后来被统称为“效标效度”。19世纪30年代,人们将更多的注意力放在测验对于具体目标课程的代表性高低上。于是引入“课程效度”,后更名为“内容效度”。1954年美国心理学会出版了关于心里测验和诊断的技术建议书，明确列举了四种类型的效度：预测效度、同时效度、构想效度、内容效

10、度。美国心理学会、美国教育研究学会和国家教育测量委员会1966年联合出版的教育与心理测验的标准和指南中，将效度类型进一步简化为效标关联效度、构想效度和内容效度三种。和又进一步把前两类归结为准则关联效度。这是一种三位一体的分类法观点。指出,延续了30年的旧观念(即把效度分为相互分离且并列的三类)已经过时,取而代之的是一元论的产生。人员素质测评质量分析以建构效度概念为中心,提出了检验测验效度的四个层面(渐进矩阵)。测试解释测验使用证据基础结构效度结构效度+适切性和实用性后果基础结构效度+隐含的价值结构效度+适切性和实用性+社会效果关于效度概念的研究人员素质测评质量分析结构效度概念产生后第二年,.和

11、.提出了5种验证方法,即分组区分法、相关矩阵与因素分析法、内部结构研究、不同场合下的变化研究、过程研究。DeborahLee提到,效度指的是一个测验准确测量它所要测的东西的能力,包括内容效度、效标关联效度和结构效度。张厚粲、孙晓敏、王晶、叶映华、郑全全对效度概念演进及其新发展进行了研究。张厚粲、孙晓敏（孙晓敏、张厚粲，2004）回顾了心理测量学中效度概念发展的三个阶段,早期效度概念关注的是两个变量之间的相关.随后重点转向效度的多种类型,现阶段则注重考察测验的构想效度。总之,效度确证成为一个持续不断的动态过程;在这个过程中,运用各种技术不断地评价、质疑和检查由测验分数所作推论和解释的有效性成为心

12、理与教育测量研究中不可或缺的组成部分。关于效度概念的研究人员素质测评质量分析关于结构效度的研究肯贝尔和菲斯克（D.W.Fiske）对构想效度的考验办法进行了研究（肯贝尔和菲斯克，1959），1960年肯贝尔指出，要确定一个测验的构想效度，则该测验不仅应与测量相同特质或构想等理论上有关的变量有高的相关，也应与测量不同特质或构想等理论上有关的变量有低的相关，前者称为会聚效度，后者称为区分效度。聂建中、汤晓媚（聂建中、汤晓媚，2006年5月）对结构效度的发展演变进行了综述，文章分析了结构效度在内容、验证方式和威胁因素这三方面所发生的变化,指出结构效度从概念、内容到与其他效度的关系上都发生了微妙的变化

13、,其概念内涵更加清晰,涵盖内容更加广泛,在整个效度概念中占据了更加重要的位置。同时,还指出了以往常用的结构效度验证方法的不足,提出要对结构效度进行试前和实施阶段的理论验证。人员素质测评质量分析效度应用内容效度分析适用于某些对员工进行选拔和分类的职业测验，舍恩菲尔特、阿克、柏尔森（Schoenfeldt，Acker&Perlson,1976）清楚而详细的说明了编织工业阅读测验是怎样应用各种内容效度分析法。在编制联邦政府和州政府公务员测验时，这种方法得到了广泛的采用。郭庆科（郭庆科，2002）对各种效度的应用进行了分析，他指出效标关联资料可以应用于对个人分数的预测（包括简单回归法、多种测验信息的综

14、合）、人员的分类与安置（人员分类的性质、人员分类的优点、差异效度）。 人员素质测评质量分析小结： 效度研究两个问题：一个是测量什么东西，即测验所要测量的变量性质是什么？第二个是测验对它所测量的东西达到什么程度，并在帮助取舍决定上效果如何？ 结构效度回答第一个问题； 准则关联效度可用来了解测验分数能否有效地预测或估计某种行为表现； 内容效度研究的变量的内容范围，帮助解决测验分数能否代表某种学习结果的成果。 任何一个测验都需要各式各样的效度证据，根据测验目的，不同的测验偏重不同的测验效度。 效度的验证通常是测验编制好后进行的工作，但效度的基本指导思想在测验编制中始终起主导作用。人员素质测评质量分析

15、第二节 信度信度的概念 信度是指测评结果所反映素质的一致性性。一个人的高度在同一天测量了两次,一次是162厘米,一次是159厘米. 一个学生，参加研究生入学考试春季考了300分,秋季考了390分.一个人参加两个不同形式的智力测验,一个测验获得智商是100,另一个测验上的智商是114.人员素质测评质量分析BDBBDD AA A CC C信度(Reliability):测验是否精确(Precision)效度(Validity) :测验是否正确(Accuracy)信度和效度的意义A：精準又正確(Reliable & Valid ) C： 精準但不正確(Reliable but Invalid ) D

16、：不精準也不正確(Unreliable & Invalid ) B：不精準但正確(Unreliable but Valid )人员素质测评质量分析信度在实践中的重要性如果你打算招聘一个销售代表,第一次职业能力测试某个人得分很高,有销售天才;第二次得分很低,不适合销售工作,那么你将如何进行这次招聘决策?人员素质测评质量分析第二节 信度信度的测量 目前大致有稳定系数、等值系数、分半系数、内部一致系数、评分一致性系数等。 以上几种信度都是针对常模参照测验而言的，标准参照测验中的信度计算通常使用分类一致性信度，这种信度的的常用估计方法是考察同一批被测者在两次是册或者复本测验中的分类是否一致。标准参照测

17、验中的信度也可以使用K系数计算，较分类一致性信度在统计上更合理（Cohen,1968;Aiken,1988）。人员素质测评质量分析一、再测信度指以同样的测评与选拔工具, 按照同样的方法, 对于相同的对象再次进行测评与选拔, 所得先后结果的一致性程度。再测信度的计算一般采用皮尔逊积差相关系数。个体的素质测评在测评过程中会涉及许多因素的影响，素质本身有时也无法精确定义。我们常常把对个体测评结果的准确性检验，置于群体测评结果的相互关系中，转化为两次位置关系的一致性分析。当同一对象的测评结果以同样的测评方式再次获得后，其顺序位置关系变异很小时，则说明测评结果比较准确。例如：在技能测评中李某的分数是，在

18、全体被测者中排名第一，这到底准不准呢？我们再重复测评一次，结果李某的分数是，还是排名第一，而且其他被测的位置顺序变化很小，我们就可以说第一次的技能测评结果很可靠。人员素质测评质量分析计算公式(图片1）X1,X2分别代表首测和再测分数,n代表样本数人员素质测评质量分析重测信度的实际运用如你想设计一套题目,能够精确地测量员工的长期工作表现,那么这套题目就应该有较高的重测信度.人员素质测评质量分析二、复本信度（parallel-form coefficient) 两套测验包含相似的题目，但是又完全不同。这两套测验得分的相关，就是复本信度，也称等值系数。 适用于同一测验不能用来实施两次，以及有关学业能

19、力、智力、特殊能力。X1,X2分别代表两套测验分数,n代表样本数（图片2）人员素质测评质量分析三、内部一致性系数（internal consistency coefficients)被试者在同一测验的不同题目上表现出的一致性.如果被测在第一个项目上比其他人分数高，在第二个项目上又比其他人高，在第三个项目上也比其他人高相反另一个人在第一个项目上比其他人分数低，在第二个项目上又比其他人低，在第三个项目上也比其人那么毫无疑问，我们会认为测评结果比较可靠。 适用于既无复本，也无法重复测量时；内部一致性不能反映施测条件和施测时间不同所产生的误差。 人员素质测评质量分析内部一致性法分类分半法（split-

20、half method)克伦巴赫系数库德-理查逊公式（Kuder-Richardson formulas）人员素质测评质量分析分半信度（split-half reliability) 用奇偶分半，难度排序奇偶分半，随机安置，内容匹配等方法把一份测验分成两个尽可能平行的半分测验，然后计算两半之间的相关，即得到分半信度系数 分半信度常低估信度，需要修正，斯皮尔曼-布朗公式来估计。 人员素质测评质量分析分半信度（split-half reliability）估计方法：1、对被试施测一个测验；2、人为地将测验分为两半，分别计分；3、将两部分的分数进行比较：（1）计算两个部分之间的相关系数（2）利用Sp

21、earman-Brown formula来修正。修正后的分半信度修正前的分半信度假设在一个测验中,全部奇数项题目得分与全部偶数项题目得分的相关为0.80.那么这个测验的信度为多少?人员素质测评质量分析分半信度中 的计算奇数项目得分偶数项目得分n是样本数人员素质测评质量分析库德-理查逊法由于分半法的平分方法不同，得到的信度系数也不同，无法说明哪种分法更好，解决方法是：将所有分半法得到的信度系数加以平均，用这个平均值作为对整个测验信度的估计值。测验题目数测验的平均得分测验得分的方差假设一个测验包括75个题目,测验平均得分为50,方差为100,那么测验的信度是多少?人员素质测评质量分析克拉巴赫系数利

22、用每道题的方差或协方差计算信度，主要适用于测验项目为0，1记分的一种内在一致性系数公式:题目数量在项目i上得分的方差测验总分的方差人员素质测评质量分析四、评分者信度评分者信度指多个测评者给同一组被测样组进行评分的一致性程度。测评与选拔结果的差异程度来自两方面一是被测评者自身, 二是被测评者及其测评。信度主要是对后者的度, 测评者及其测评的无关差异越小, 测评与选拔结果就越可靠。测评者的评分是引起主观性测评结果差异的主要原因。客观性测评是利用计算机评分, 不受主观因素影响, 不存在评分误差。评分者信度主要采用肯德尔和谐系数计算。人员素质测评质量分析 方法： 评分者为两人：根据连续变量还是等级变量

23、，计算两次评分的积差相关或等级相关 评分者多于三人：可计算肯德尔和谐系数评分者数受测者数每个受测者得分的总和人员素质测评质量分析速度测验的信度速度测验是指那种由于时限很紧或题目很多使被试不可能全部完成的测验。以上介绍的几种信度都是针对常模参照测验而言的，速度测验中的信度通常采用做答速度的一致性为依据。可以使用重测法和复本法，根据被试两次回答题目数量的变化对速度的一致性作出估计。人员素质测评质量分析信度多高才算可靠 对人事测评中信度系数与测评质量的关系，以下给出了几种心理测验的信度系数：测验类型信度低中高成套成就测验066092098学术能力测验056090097成套倾向测验026088096客

24、观人格测验046085097兴趣问卷042084093态度量表047079098人员素质测评质量分析各种信度系数应用 信度系数类型估计方法应用稳定性系数重测法（积差相关）人格、速度测验等值性系数复本法（积差相关）智力、学绩、速度测验等值稳定性系数复本法（积差相关）智力、学绩、人格测验内部一致性系数分半法（积差相关，用斯-布公式校正）库德尔-理查森公式法系数法智力、学绩、选拔测验评分信度系数斯皮尔曼等级相关法肯德尔和谐系数法作文、创造力、投射、道德判断测验人员素质测评质量分析项目分析适合度 在素质测评中，项目不仅仅是试题，更多的是一些咨询问题或观察评定点（指标），它们无难易之分，适合度指的是被测

25、者行为符合项目测评标准的程度。当项目为试题时，适合度即难度；当项目是问卷中的问题时，符合度即所有选对的被测者人数与总人数之比；当项目为观察评定量表中的指标时，符合程度即所有被测得分平均值与指标满分值之比。区分度 又称鉴别力，指项目得分对被试实际能力或心理特质水平的区分能力或鉴别力，也即项目得分的高低与被试实际能力或心理特质水平高低的一致性程度。项目区分度的计算方法主要有相关分析法（包括积差相关法、二列相关法和点二列相关法）、极端组法（鉴别度指数、临界比）和因素分析法独立性 在能力测评中，常常需要项目之间有一定的独立性。所谓独立性即非相关性或低相关性。独立性的分析一般采用项目间分数的相关系数揭示

26、，根据实际得分分布是否均匀，可以分别采用r系数法和列联表检验法。 人员素质测评质量分析1、题目合适度即难度，指题目的难易程度（1）题目难度的计算总分前27%的受测者中答对该题目的人数总分在最后27%的受测者中答对该题目的人数总分前27%的受测者数总分后27%的受测者数项目难度（2）测验难度水平的确定识别或挑选最优秀者，题目难度应该大，P值最好较低；淘汰一些非常差的人，题目难度应该小，P值最好较高；测量宽范围能力，适宜的题目难度P值应该接近0.5。P值越低，题目难度越大人员素质测评质量分析不同选项数情况下项目的适宜平均难度值选项数适宜的平均难度指标20.8530.7740.7450.69开放式题

27、目0.5人员素质测评质量分析2、题目区分度（discrimination）是对题目在区分测验高分者和低分者方面的有效性的度量。（1）题目区分度的计算总分前27%的受测者中答对该题目的人数总分在最后27%的受测者中答对该题目的人数总分前27%的受测者数项目区分度（2）适当的区分度通常认为区分度D=0.3或高于0.3的题目是可接受的。D值越高，题目越能有效区分高分者和低分者。人员素质测评质量分析3、独立性P318人员素质测评质量分析项目分析选项质量对于诱答或正答质量的分析方法有两种：诱惑力分析法 这种方法是采用表格形式，分别统计高分组与低分组中的被测者对同一项目各选项的选择次数。“白智”试测法 这种方法是找一些对测验内容一无所知或十分陌生的人作为被测者进行测试，通过分析这些人对每个诱答选择的人次来分析选项的质量。人员素质测评质量分析其他指标的分析客观