素质测评的质量

第11讲素质测评的质量分析Hr-pku本讲内容效度的概念及其分析方法信度的概念及其分析方法区分度的概念及其分析方法选题质量分析及其分析方法效度效度的概念效度是指测评结果对所测评素质反映的真实程度。对这种真实性的考评，常见的方法有三种：从内容性质方面分析其内容效度从效标相关性方面分析其关联效度从实证方面分析其结构效度内容效度是指实际测评到的内容与期望测评的内容的一致性程度。当实际测评到的内容与我们事先所想测评到的内容越一致时，则说明测评结果的内容效度越高，测评结果就越有效。内容效度在实际操作中的鉴定主要采用定性分析的方法,有蓝图对照分析法与专家比较判断法。结构效度结构效度又称作构想效度、构思效度、构念效度、构建效度等。结构效度是指实际所测评的结果与想测评素质的同构程度。它表明了在多大程度上，实际测评结果能够被看作是索要测评的素质在结构上的替代物。在素质测评中，它是人们最关心的一种效度。这是由素质测评的间接性所决定的。人们总是通过选取一些具体的行为测评来判断实际的素质水平。结构效度与检验效度的人对素质结构的理解有直接关系。如果李某认为忠诚这一素质即对本企业的忠诚，张某认为忠诚这一素质表现为实事求是的态度，那么对于向其他企业说明本企业产品所存在的问题这一行为，显然李某与张某会把它归类到不同的素质成分中给与不同的素质成分中并给与不同的评价。因此结构效度的检验分析也是一种定性的主观判断。在分析考评过程中，要采取有力措施把主观影响控制在最低点上。结构效度结构效度的分析可按一下几步进行：1.给所要测评的素质的结构模式下一个操作化的定义“我们所要测评的素质是对xx的态度、有关xx的品质、有关xx的技能。”像这样一些表述所测评素质的具体形象是什么，结构是什么，我们并不清楚，它仍然是从具体行为概括出某种意识或观念，因此对结构效度的分析没有多大意义。这里的构建不是从行为向观念构建，而是相反，由观念向具体行为的构建。不是简单还原，而是在更高的水平上抓住所测素质的本质特征，确定一个可感觉可操作的结构模式，由这种具体的结构模式作为抽象观念建构的替代物。这种替代物的成分显然应该是我们世纪能够看到的、听到的、感觉到的东西。例如：外显行为、客观性生理反应等。素质测评的目标体系实际上就是所测素质的一个行为构建模型，这种结构模型分别由项目、指标、权重、标度等组成。这种模型的建构，在很大程度上取决于所测素质本身的特征及其抽象程度等组成。要定义或建构一个素质的结构模型，可以从以下几方面着手：首先，采取工作分析方法，对所想测评的素质进行结构分析与行为分析，确定各种素质结构及其代表的行为。其次，用图表的形式逐一列出工作分析得到的素质因素及其特征行为。除此之外，还可以通过查找历史上或现在人们对所测评素质的模型的现成资料，丰富已有分析的结果。再次，还要另外准备一份与已经建构的模型可能混淆的但关系密切的其他模型图表。要反问自己并向人说明为什么所测素质是你所定义的结构模型而不是其他别的结构模型。2.收集事实资料，评判结构效度，具体方法有：排除法如果测评结果能明确的排除它所对应素质结构模型的其他解释，那就表明所获得的测评结果具有较好的结构效度。咨询法可以请一些有经验的专家就你所获得的测评结果、所对应的素质结构进行判断或推断，问他们该测评结果实际测评的素质是什么。如果大家的回答与你所想测评的素质结构几乎一致，那么说明你的测评有较好的结构效度。相关法找一个具有较高结构效度的测评工具或结果，与你所获得的测评结果进行相关性分析，如果相关性很高，说明你的测评结果具有较高的结构效度。例如：某一个具有“自尊”结构效度的测评量表，它的测评结果就应该与自信、社交能力及领导作用等测评量表的测评结果成正比，而与诸如内向性、自卑、孤独等测评量表测评的结果成反比。逻辑分析法当大家对所测素质的结构模型具有比较一致的认识时，只要能判定测评内容（工具）选择正确，且整个测评过程除了一切外来干扰因素，就可以说测评结果具有较好的结构效度。例如：测评时间足以保证被测评者完成所有的工作，被测评者没有受到催促因素的影响；测评工具的指导十分明确，被测操作准确。多元分析多元分析就是采取聚类分析与主成分分析等数学手段，对测评结果进行分析，看分析的结果。例如：所找出的主要因素与分类结果与所想测评素质的结构是否一致，如果一致，则说明所获得的测评记过具有较好的结构效度。关联效度又称实证效度、效标效度、效标关联效度，是指测评结果与效标的一致性程度。效标是一种用来衡测评有效性的外在参照标准,它可以是一种测评的结果,也可以是标准测评分数。根据效标是否可以同时获得,可将关联效度分为同时效度与预测效度。作为效标的结果与预测结果同时获得,这种效度称之为同时效度。当作为效标的结果是后来测评中获得,这种效度称为预测效度。它反映了现在的测评结果对未来素质发展的预测程度。例如：两个人同时采用观察评定与问卷测验测评同一个人的工作态度，两个测评结果相关系数很高，例如0.80，那么以后在类似的情况下，可以用问卷测验代替花时太多的行为观察法。关联效度例如想检测一下自编品德测评的效度，决定采用效标关联中的同时效度分析方法，故让被测者同时接受自编品德测验与卡特尔16因素问卷测验。

关联效标的分析关键在于效标的选择。效标作为衡量测评结果有效性的参照标准，应该是可以测评到且独立于所分析的测评结果的行为结果。效标可以分为行为效标与观念效标。行为效标的选择以客观性为依据。常见的行为效标有以下几种：学术成就特殊训练成绩实际工作表现与成绩团体特征等级评定结果先前被证明是有效的测评结果效度分析析中的几几个理论论问题关于效度度概念的的研究1921年美国国教育研研究指导导协会提提出,效效度是““测验在在多大程程度上测测到所要要测的东东西”。。同时被被提出的的还有““预测效效度”和和“共时时效度””,后来来被统称称为“效效标效度度”。19世纪纪30年年代,人人们将更更多的注注意力放放在测验验对于具具体目标标课程的的代表性性高低上上。于是是引入““课程效效度”,后更名名为“内内容效度度”。1954年美国国心理学学会出版版了《关关于心里里测验和和诊断的的技术建建议书》》，明确确列举了了四种类类型的效效度：预预测效度度、同时时效度、、构想效效度、内内容效度度。美国国心理学学会、美美国教育育研究学学会和国国家教育育测量委委员会1966年联合合出版的的《教育育与心理理测验的的标准和和指南》》中，将将效度类类型进一一步简化化为效标标关联效效度、构构想效度度和内容容效度三三种。Ｃｒｏｎｎｂａｃｃｈ和ＭＭｅｅｈｈｌ又进进一步把把前两类类归结为为准则关关联效度度。这是是一种三三位一体体的分类类法观点点。Ｃｒｒｏｎｂｂａｃｈｈ指出,延续了了30年年的旧观观念(即即把效度度分为相相互分离离且并列列的三类类)已经经过时,取而代代之的是是一元论论的产生生。Ｍｅｓｓｓｉｃｋｋ以建构构效度概概念为中中心,提提出了检检验测验验效度的的四个层层面(渐渐进矩阵阵)。

测试解释测验使用证据基础结构效度结构效度+适切性和实用性后果基础结构效度+隐含的价值结构效度+适切性和实用性+社会效果关于效度度概念的的研究结构效度度概念产产生后第第二年,Ｌ.ＪＪ.Ｃｒｒｏｎｂｂａｃｈｈ和Ｐ.Ｅ.ＭＭｅｅｈｈｌ提出出了5种种验证方方法,即即分组区区分法、、相关矩矩阵与因因素分析析法、内内部结构构研究、、不同场场合下的的变化研研究、过过程研究究。DeborahLee提提到,效度指指的是一个测测验准确测量量它所要测的的东西的能力力,包括内容容效度、效标标关联效度和和结构效度。。张厚粲、孙晓晓敏、王晶、、叶映华、郑郑全全对效度度概念演进及及其新发展进进行了研究。。张厚粲、孙孙晓敏（孙晓晓敏、张厚粲粲，2004）回顾了心心理测量学中中效度概念发发展的三个阶阶段,早期效效度概念关注注的是两个变变量之间的相相关.随后重重点转向效度度的多种类型型,现阶段则则注重考察测测验的构想效效度。总之,效度确证成成为一个持续续不断的动态态过程;在这这个过程中,运用各种技技术不断地评评价、质疑和和检查由测验验分数所作推推论和解释的的有效性成为为心理与教育育测量研究中中不可或缺的的组成部分。。关于效度概念念的研究关于结构效度度的研究肯贝尔和菲斯斯克（D.W.Fiske）对构想想效度的考验验办法进行了了研究（肯贝贝尔和菲斯克克，1959），1960年肯贝尔尔指出，要确确定一个测验验的构想效度度，则该测验验不仅应与测测量相同特质质或构想等理理论上有关的的变量有高的的相关，也应应与测量不同同特质或构想想等理论上有有关的变量有有低的相关，，前者称为会会聚效度，后后者称为区分分效度。聂建中、汤晓晓媚（聂建中中、汤晓媚，，2006年年5月）对结结构效度的发发展演变进行行了综述，文文章分析了结结构效度在内内容、验证方方式和威胁因因素这三方面面所发生的变变化,指出结结构效度从概概念、内容到到与其他效度度的关系上都都发生了微妙妙的变化,其其概念内涵更更加清晰,涵涵盖内容更加加广泛,在整整个效度概念念中占据了更更加重要的位位置。同时,还指出了以以往常用的结结构效度验证证方法的不足足,提出要对对结构效度进进行试前和实实施阶段的理理论验证。效度应用内容效度分析析适用于某些些对员工进行行选拔和分类类的职业测验验，舍恩菲尔尔特、阿克、、柏尔森（Schoenfeldt，Acker&Perlson,1976））清楚而详细细的说明了编编织工业阅读读测验是怎样样应用各种内内容效度分析析法。在编制制联邦政府和和州政府公务务员测验时，，这种方法得得到了广泛的的采用。郭庆科（郭庆庆科，2002）对各种种效度的应用用进行了分析析，他指出效效标关联资料料可以应用于于对个人分数数的预测（包包括简单回归归法、多种测测验信息的综综合）、人员员的分类与安安置（人员分分类的性质、、人员分类的的优点、差异异效度）。信度信度的概念信度是指测评评结果所反映映素质的准确确性。对于这这种准确性的的考评目前大大致有稳定系系数、等值系系数、分半系系数、内部一一致系数、评评分一致性系系数等。以上几种信度度都是针对常常模参照测验验而言的，标标准参照测验验中的信度计计算通常使用用分类一致性性信度，这种种信度的的常常用估计方法法是考察同一一批被测者在在两次是册或或者复本测验验中的分类是是否一致。标标准参照测验验中的信度也也可以使用K系数计算，，较分类一致致性信度在统统计上更合理理（Cohen,1968;Aiken,1988）。再测信度指以同样的测测评与选拔工工具,按照照同样的方法法,对于相相同的对象再再次进行测评评与选拔,所所得先后结结果的一致性性程度。再测测信度的计算算一般采用皮皮尔逊积差相相关系数。个体的素质测测评在测评过过程中会涉及及许多因素的的影响，素质质本身有时也也无法精确定定义。我们常常常把对个体体测评结果的的准确性检验验，置于群体体测评结果的的相互关系中中，转化为两两次位置关系系的一致性分分析。当同一一对象的测评评结果以同样样的测评方式式再次获得后后，其顺序位位置关系变异异很小时，则则说明测评结结果比较准确确。例如：在技能能测评中李某某的分数是８８８，在全体体被测者中排排名第一，这这到底准不准准呢？我们再再重复测评一一次，结果李李某的分数是是９５，还是是排名第一，，而且其他被被测的位置顺顺序变化很小小，我们就可可以说第一次次的技能测评评结果很可靠靠。复本信度复本信度测评评结果相对另另一个非常相相同的测评结结果的变异程程度。“非常相同””一般以等值值解释。所谓谓等值,是是指在测评内内容、效度、、要求、形式式上都与原测测评一样,其其中一个测测评可以看作作是另一个测测评的近似复复写,即复复本。“变异程度””一般以它的的反义词“一一致性”解释释。因此复本信度度实际上是一一种用等值系系数揭示的信信度。等值系系数即为两组组测评结果的的相关系数。。一致性信度一致性信度又又称同质性信信度，是一种种常用的估计计信度的方法法，反映了测测验题目与所所测量内容的的一致性程度度。一致性信度的的计算公式主主要有分半信信度，主要采采用斯皮尔曼曼-布朗修正正公式计算；；库德-理查查逊公式和克克伦巴赫а系系数。如果被测在第第一个项目上上比其他人分分数高，在第第二个项目上上又比其他人人高，在第三三个项目上也也比其他人高高．．．．．．．相反另一一个人在第一一个项目上比比其他人分数数低，在第二二个项目上又又比其他人低低，在第三个个项目上也比比其他人低．．．．．．．．那么毫无疑疑问，我们会会认为测评结结果比较可靠靠。评分者信度评分者信度指指多个测评者者给同一组被被测样组进行行评分的一致致性程度。测评评与与选选拔拔结结果果的的差差异异程程度度来来自自两两方方面面一一是是被被测测评评者者自自身身,二二是是被被测测评评者者及及其其测测评评。。信信度度主主要要是是对对后后者者的的度度,测测评评者者及及其其测测评评的的无无关关差差异异越越小小,测测评评与与选选拔拔结结果果就就越越可可靠靠。。测评评者者的的评评分分是是引引起起主主观观性性测测评评结结果果差差异异的的主主要要原原因因。。客客观观性性测测评评是是利利用用计计算算机机评评分分,不不受受主主观观因因素素影影响响,不不存存在在评评分分误误差差。。评评分分者者信信度度主主要要采采用用肯肯德德尔尔和和谐谐系系数数计计算算。。速度度测测验验的的信信度度速度度测测验验是是指指那那种种由由于于时时限限很很紧紧或或题题目目很很多多使使被被试试不不可可能能全全部部完完成成的的测测验验。。以上介介绍的的几种种信度度都是是针对对常模模参照照测验验而言言的，，速度度测验验中的的信度度通常常采用用做答答速度度的一一致性性为依依据。。可以以使用用重测测法和和复本本法，，根据据被试试两次次回答答题目目数量量的变变化对对速度度的一一致性性作出出估计计。信度多多高才才算可可靠对人事事测评评中信信度系系数与与测评评质量量的关关系，，以下下给出出了几几种心心理测测验的的信度度系数数：测验类型信度低中高成套成就测验0．660．920．98学术能力测验0．560．900．97成套倾向测验0．260．880．96客观人格测验0．460．850．97兴趣问卷0．420．840．93态度量表0．470．790．98各种信信度系系数应应用信度系数类型估计方法应用稳定性系数重测法（积差相关）人格、速度测验等值性系数复本法（积差相关）智力、学绩、速度测验等值稳定性系数复本法（积差相关）智力、学绩、人格测验内部一致性系数分半法（积差相关，用斯-布公式校正）库德尔-理查森公式法α系数法智力、学绩、选拔测验评分信度系数斯皮尔曼等级相关法肯德尔和谐系数法作文、创造力、投射、道德判断测验项目分分析适合度度在素质质测评评中，，项目目不仅仅仅是是试题题，更更多的的是一一些咨咨询问问题或或观察察评定定点（（指标标），，它们们无难难易之之分，，适合合度指指的是是被测测者行行为符符合项项目测测评标标准的的程度度。当当项目目为试试题时时，适适合度度即难难度；；当项项目是是问卷卷中的的问题题时，，符合合度即即所有有选对对的被被测者者人数数与总总人数数之比比；当当项目目为观观察评评定量量表中中的指指标时时，符符合程程度即即所有有被测测得分分平均均值与与指标标满分分值之之比。。区分度度又称鉴鉴别力力，指指项目目得分分对被被试实实际能能力或或心理理特质质水平平的区区分能能力或或鉴别别力，，也即即项目目得分分的高高低与与被试试实际际能力力或心心理特特质水水平高高低的的一致致性程程度。。项目目区分分度的的计算算方法法主要要有相相关分分析法法（包包括积积差相相关法法、二二列相相关法法和点点二列列相关关法））、极极端组组法（（鉴别别度指指数、、临界界比））和因因素分分析法法独立性性在能力力测评评中，，常常常需要要项目目之间间有一一定的的独立立性。。所谓谓独立立性即即非相相关性性或低低相关关性。。独立立性的的分析析一般般采用用项目目间分分数的的相关关系数数揭示示，根根据实实际得得分分分布是是否均均匀，，可以以分别别采用用rφφ系数数法和和列联联表χχ²检检验法法。项目分分析选项质质量对于诱诱答或或正答答质量量的分分析方方法有有两种种：诱惑力力分析析法这种方方法是是采用用表格格形式式，分分别统统计高高分组组与低低分组组中的的被测测者对对同一一项目目各选选项的的选择择次数数。“白智智”试试测法法这种方方法是是找一一些对对测验验内容容一无无所知知或十十分陌陌生的的人作作为被被测者者进行行测试试，通通过分分析这这些人人对每每个诱诱答选选择的的人次次来分分析选选项的的质量量。其他指指标的的分析析客观性性测评的的客观观性由由测评评方法法的客客观性性与测测评者者的客客观性性两方方面构构成总体分分布与与水平平总体分分布指指测评评结果果在各各水平平层次次上的的分布布情况况，总总体水水平一一般指指对测测评结结果集集中量量的分分析。。区分性性与差差异性性测评工工具的的区分分性是是指把把不同同水平平的被被测者者区分分开来来的程程度，，测评评区分分性一一般通通过测测评结结果差差异性性的分分析来来揭示示。误差误差是是指通通过测测评结结果的的定性性定量量分析析，判判断测测评结结果是是否受受到心心理效效应的的严重重影响响。分分析的的主要要内容容是心心理误误差、、标准准误差差以及及单个个测评评结果果的致致信区区间。。其他指指标的的分析析误差心理误误差哈罗效效应误误差哈罗效效应又又称晕晕轮效效应，，是指指测评评者往往往会会因为为对被被测评评者整整体印印象的的好坏坏从而而影响响他对对每个个素质质的测测评。。例如如因看看到一一个人人相貌貌端庄庄、严严肃，，就容容易产产生此此人责责任感感很强强的看看法。。由哈哈罗效效应引引起的的误差差叫哈哈罗效效应误误差。。哈罗效效应还还表现现为因因对某某个重重要因因素的的印象象好坏坏而对对整体体评价价产生生影响响，所所谓一一好百百好，，一丑丑白丑丑。虽虽然这这是一一种泛泛化影影响，，而前前者是是一种种演绎绎影响响。趋中心心理误误差趋中心心理误误差是是