人员素质测评的质量

素质测评的质量分析Hr-pku本讲内容效度的概念及其分析方法信度的概念及其分析方法区分度的概念及其分析方法选题质量分析及其分析方法效度效度的概念效度是指测评结果对所测评素质反映的真实程度。对这种真实性的考评，常见的方法有三种：从内容性质方面分析其内容效度从效标相关性方面分析其关联效度从实证方面分析其结构效度内容效度是指实际测评到的内容与期望测评的内容的一致性程度。当实际测评到的内容与我们事先所想测评到的内容越一致时，则说明测评结果的内容效度越高，测评结果就越有效。内容效度在实际操作中的鉴定主要采用定性分析的方法,有蓝图对照分析法与专家比较判断法。结构效度结构效度又称作构想效度、构思效度、构念效度、构建效度等。结构效度是指实际所测评的结果与想测评素质的同构程度。它表明了在多大程度上，实际测评结果能够被看作是索要测评的素质在结构上的替代物。在素质测评中，它是人们最关心的一种效度。这是由素质测评的间接性所决定的。人们总是通过选取一些具体的行为测评来判断实际的素质水平。结构效度与检验效度的人对素质结构的理解有直接关系。如果李某认为忠诚这一素质即对本企业的忠诚，张某认为忠诚这一素质表现为实事求是的态度，那么对于向其他企业说明本企业产品所存在的问题这一行为，显然李某与张某会把它归类到不同的素质成分中给与不同的素质成分中并给与不同的评价。因此结构效度的检验分析也是一种定性的主观判断。在分析考评过程中，要采取有力措施把主观影响控制在最低点上。结构效度结构效度的分析可按一下几步进行：1.给所要测评的素质的结构模式下一个操作化的定义“我们所要测评的素质是对xx的态度、有关xx的品质、有关xx的技能。”像这样一些表述所测评素质的具体形象是什么，结构是什么，我们并不清楚，它仍然是从具体行为概括出某种意识或观念，因此对结构效度的分析没有多大意义。这里的构建不是从行为向观念构建，而是相反，由观念向具体行为的构建。不是简单还原，而是在更高的水平上抓住所测素质的本质特征，确定一个可感觉可操作的结构模式，由这种具体的结构模式作为抽象观念建构的替代物。这种替代物的成分显然应该是我们世纪能够看到的、听到的、感觉到的东西。例如：外显行为、客观性生理反应等。素质测评的目标体系实际上就是所测素质的一个行为构建模型，这种结构模型分别由项目、指标、权重、标度等组成。这种模型的建构，在很大程度上取决于所测素质本身的特征及其抽象程度等组成。要定义或建构一个素质的结构模型，可以从以下几方面着手：首先，采取工作分析方法，对所想测评的素质进行结构分析与行为分析，确定各种素质结构及其代表的行为。其次，用图表的形式逐一列出工作分析得到的素质因素及其特征行为。除此之外，还可以通过查找历史上或现在人们对所测评素质的模型的现成资料，丰富已有分析的结果。再次，还要另外准备一份与已经建构的模型可能混淆的但关系密切的其他模型图表。要反问自己并向人说明为什么所测素质是你所定义的结构模型而不是其他别的结构模型。2.收集事实资料，评判结构效度，具体方法有：排除法如果测评结果能明确的排除它所对应素质结构模型的其他解释，那就表明所获得的测评结果具有较好的结构效度。咨询法可以请一些有经验的专家就你所获得的测评结果、所对应的素质结构进行判断或推断，问他们该测评结果实际测评的素质是什么。如果大家的回答与你所想测评的素质结构几乎一致，那么说明你的测评有较好的结构效度。相关法找一个具有较高结构效度的测评工具或结果，与你所获得的测评结果进行相关性分析，如果相关性很高，说明你的测评结果具有较高的结构效度。例如：某一个具有“自尊”结构效度的测评量表，它的测评结果就应该与自信、社交能力及领导作用等测评量表的测评结果成正比，而与诸如内向性、自卑、孤独等测评量表测评的结果成反比。逻辑分析法当大家对所测素质的结构模型具有比较一致的认识时，只要能判定测评内容（工具）选择正确，且整个测评过程除了一切外来干扰因素，就可以说测评结果具有较好的结构效度。例如：测评时间足以保证被测评者完成所有的工作，被测评者没有受到催促因素的影响；测评工具的指导十分明确，被测操作准确。多元分析多元分析就是采取聚类分析与主成分分析等数学手段，对测评结果进行分析，看分析的结果。例如：所找出的主要因素与分类结果与所想测评素质的结构是否一致，如果一致，则说明所获得的测评记过具有较好的结构效度。关联效度又称实证效度、效标效度、效标关联效度，是指测评结果与效标的一致性程度。效标是一种用来衡测评有效性的外在参照标准,它可以是一种测评的结果,也可以是标准测评分数。根据效标是否可以同时获得,可将关联效度分为同时效度与预测效度。作为效标的结果与预测结果同时获得,这种效度称之为同时效度。当作为效标的结果是后来测评中获得,这种效度称为预测效度。它反映了现在的测评结果对未来素质发展的预测程度。例如：两个人同时采用观察评定与问卷测验测评同一个人的工作态度，两个测评结果相关系数很高，例如0.80，那么以后在类似的情况下，可以用问卷测验代替花时太多的行为观察法。关联效度例如想检测一下自编品德测评的效度，决定采用效标关联中的同时效度分析方法，故让被测者同时接受自编品德测验与卡特尔16因素问卷测验。

关联效标的分析关键在于效标的选择。效标作为衡量测评结果有效性的参照标准，应该是可以测评到且独立于所分析的测评结果的行为结果。效标可以分为行为效标与观念效标。行为效标的选择以客观性为依据。常见的行为效标有以下几种：学术成就特殊训练成绩实际工作表现与成绩团体特征等级评定结果先前被证明是有效的测评结果效度分析中中的几个理理论问题关于效度概概念的研究究1921年年美国教育育研究指导导协会提出出,效度是是“测验在在多大程度度上测到所所要测的东东西”。同同时被提出出的还有““预测效度度”和“共共时效度””,后来被被统称为““效标效度度”。19世纪30年代,人们将更更多的注意意力放在测测验对于具具体目标课课程的代表表性高低上上。于是引引入“课程程效度”,后更名为为“内容效效度”。1954年年美国心理理学会出版版了《关于于心里测验验和诊断的的技术建议议书》，明明确列举了了四种类型型的效度：：预测效度度、同时效效度、构想想效度、内内容效度。。美国心理理学会、美美国教育研研究学会和和国家教育育测量委员员会1966年联合合出版的《《教育与心心理测验的的标准和指指南》中，，将效度类类型进一步步简化为效效标关联效效度、构想想效度和内内容效度三三种。Ｃｒｏｎｂｂａｃｈ和和Ｍｅｅｈｈｌ又进一一步把前两两类归结为为准则关联联效度。这这是一种三三位一体的的分类法观观点。Ｃｒｒｏｎｂａａｃｈ指出出,延续了了30年的的旧观念(即把效度度分为相互互分离且并并列的三类类)已经过过时,取而而代之的是是一元论的的产生。Ｍｅｓｓｉｉｃｋ以建建构效度概概念为中心心,提出了了检验测验验效度的四四个层面(渐进矩阵阵)。

测试解释测验使用证据基础结构效度结构效度+适切性和实用性后果基础结构效度+隐含的价值结构效度+适切性和实用性+社会效果关于效度概概念的研究究结构效度概概念产生后后第二年,Ｌ.Ｊ.Ｃｒｏｎｎｂａｃｈｈ和Ｐ.ＥＥ.Ｍｅｅｅｈｌ提出出了5种验验证方法,即分组区区分法、相相关矩阵与与因素分析析法、内部部结构研究究、不同场场合下的变变化研究、、过程研究究。DeborahLee提到,效度指的的是一个测测验准确测测量它所要要测的东西西的能力,包括内容容效度、效效标关联效效度和结构构效度。张厚粲、孙孙晓敏、王王晶、叶映映华、郑全全全对效度度概念演进进及其新发发展进行了了研究。张张厚粲、孙孙晓敏（孙孙晓敏、张张厚粲，2004））回顾了心心理测量学学中效度概概念发展的的三个阶段段,早期效效度概念关关注的是两两个变量之之间的相关关.随后重重点转向效效度的多种种类型,现现阶段则注注重考察测测验的构想想效度。总总之,效度度确证成为为一个持续续不断的动动态过程;在这个过过程中,运运用各种技技术不断地地评价、质质疑和检查查由测验分分数所作推推论和解释释的有效性性成为心理理与教育测测量研究中中不可或缺缺的组成部部分。关于效度概概念的研究究关于结构效效度的研究究肯贝尔和菲菲斯克（D.W.Fiske）对构想想效度的考考验办法进进行了研究究（肯贝尔尔和菲斯克克，1959），1960年年肯贝尔指指出，要确确定一个测测验的构想想效度，则则该测验不不仅应与测测量相同特特质或构想想等理论上上有关的变变量有高的的相关，也也应与测量量不同特质质或构想等等理论上有有关的变量量有低的相相关，前者者称为会聚聚效度，后后者称为区区分效度。。聂建中、汤汤晓媚（聂聂建中、汤汤晓媚，2006年年5月）对对结构效度度的发展演演变进行了了综述，文文章分析了了结构效度度在内容、、验证方式式和威胁因因素这三方方面所发生生的变化,指出结构构效度从概概念、内容容到与其他他效度的关关系上都发发生了微妙妙的变化,其概念内内涵更加清清晰,涵盖盖内容更加加广泛,在在整个效度度概念中占占据了更加加重要的位位置。同时时,还指出出了以往常常用的结构构效度验证证方法的不不足,提出出要对结构构效度进行行试前和实实施阶段的的理论验证证。效度应用用内容效度度分析适适用于某某些对员员工进行行选拔和和分类的的职业测测验，舍舍恩菲尔尔特、阿阿克、柏柏尔森（（Schoenfeldt，，Acker&Perlson,1976）清楚楚而详细细的说明明了编织织工业阅阅读测验验是怎样样应用各各种内容容效度分分析法。。在编制制联邦政政府和州州政府公公务员测测验时，，这种方方法得到到了广泛泛的采用用。郭庆科（（郭庆科科，2002））对各种种效度的的应用进进行了分分析，他他指出效效标关联联资料可可以应用用于对个个人分数数的预测测（包括括简单回回归法、、多种测测验信息息的综合合）、人人员的分分类与安安置（人人员分类类的性质质、人员员分类的的优点、、差异效效度）。信度信度的概概念信度是指指测评结结果所反反映素质质的准确确性。对对于这种种准确性性的考评评目前大大致有稳稳定系数数、等值值系数、、分半系系数、内内部一致致系数、、评分一一致性系系数等。。以上几种种信度都都是针对对常模参参照测验验而言的的，标准准参照测测验中的的信度计计算通常常使用分分类一致致性信度度，这种种信度的的的常用用估计方方法是考考察同一一批被测测者在两两次是册册或者复复本测验验中的分分类是否否一致。。标准参参照测验验中的信信度也可可以使用用K系数数计算，，较分类类一致性性信度在在统计上上更合理理（Cohen,1968;Aiken,1988）。。再测信度度指以同样样的测评评与选拔拔工具,按照照同样的的方法,对于于相同的的对象再再次进行行测评与与选拔,所得得先后结结果的一一致性程程度。再再测信度度的计算算一般采采用皮尔尔逊积差差相关系系数。个体的素素质测评评在测评评过程中中会涉及及许多因因素的影影响，素素质本身身有时也也无法精精确定义义。我们们常常把把对个体体测评结结果的准准确性检检验，置置于群体体测评结结果的相相互关系系中，转转化为两两次位置置关系的的一致性性分析。。当同一一对象的的测评结结果以同同样的测测评方式式再次获获得后，，其顺序序位置关关系变异异很小时时，则说说明测评评结果比比较准确确。例如：在在技能测测评中李李某的分分数是８８８，在在全体被被测者中中排名第第一，这这到底准准不准呢呢？我们们再重复复测评一一次，结结果李某某的分数数是９５５，还是是排名第第一，而而且其他他被测的的位置顺顺序变化化很小，，我们就就可以说说第一次次的技能能测评结结果很可可靠。复本信度度复本信度度测评结结果相对对另一个个非常相相同的测测评结果果的变异异程度。。“非常相相同”一一般以等等值解释释。所谓谓等值,是指指在测评评内容、、效度、、要求、、形式上上都与原原测评一一样,其其中一一个测评评可以看看作是另另一个测测评的近近似复写写,即即复本。。“变异程程度”一一般以它它的反义义词“一一致性””解释。。因此复本本信度实实际上是是一种用用等值系系数揭示示的信度度。等值值系数即即为两组组测评结结果的相相关系数数。一致性信信度一致性信信度又称称同质性性信度，，是一种种常用的的估计信信度的方方法，反反映了测测验题目目与所测测量内容容的一致致性程度度。一致性信信度的计计算公式式主要有有分半信信度，主主要采用用斯皮尔尔曼-布布朗修正正公式计计算；库库德-理理查逊公公式和克克伦巴赫赫а系数数。如果被测测在第一一个项目目上比其其他人分分数高，，在第二二个项目目上又比比其他人人高，在在第三个个项目上上也比其其他人高高．．．．．．．．相反另另一个人人在第一一个项目目上比其其他人分分数低，，在第二二个项目目上又比比其他人人低，在在第三个个项目上上也比其其他人低低．．．．．．．．那么毫毫无疑问问，我们们会认为为测评结结果比较较可靠。。评分者信信度评分者信信度指多多个测评评者给同同一组被被测样组组进行评评分的一一致性程程度。测评与选选拔结果果的差异异程度来来自两方方面一是是被测评评者自身身,二二是被测测评者及及其测评评。信度度主要是是对后者者的度,测评评者及其其测评的的无关差差异越小小,测测评与选选拔结果果就越可可靠。测评者的的评分是是引起主主观性测测评结果果差异的的主要原原因。客客观性测测评是利利用计算算机评分分,不不受主观观因素影影响,不不存在在评分误误差。评评分者信信度主要要采用肯肯德尔和和谐系数数计算。。速度测验验的信度度速度测验验是指那那种由于于时限很很紧或题题目很多多使被试试不可能能全部完完成的测测验。以上介绍绍的几种种信度都都是针对对常模参参照测验验而言的的，速度度测验中中的信度度通常采采用做答答速度的的一致性性为依据据。可以以使用重重测法和和复本法法，根据据被试两两次回答答题目数数量的变变化对速速度的一一致性作作出估计计。信度多高高才算可可靠对人事测测评中信信度系数数与测评评质量的的关系，，以下给给出了几几种心理理测验的的信度系系数：测验类型信度低中高成套成就测验0．660．920．98学术能力测验0．560．900．97成套倾向测验0．260．880．96客观人格测验0．460．850．97兴趣问卷0．420．840．93态度量表0．470．790．98各种信度度系数应应用信度系数类型估计方法应用稳定性系数重测法（积差相关）人格、速度测验等值性系数复本法（积差相关）智力、学绩、速度测验等值稳定性系数复本法（积差相关）智力、学绩、人格测验内部一致性系数分半法（积差相关，用斯-布公式校正）库德尔-理查森公式法α系数法智力、学绩、选拔测验评分信度系数斯皮尔曼等级相关法肯德尔和谐系数法作文、创造力、投射、道德判断测验项目分析析适合度在素质测测评中，，项目不不仅仅是是试题，，更多的的是一些些咨询问问题或观观察评定定点（指指标），，它们无无难易之之分，适适合度指指的是被被测者行行为符合合项目测测评标准准的程度度。当项项目为试试题时，，适合度度即难度度；当项项目是问问卷中的的问题时时，符合合度即所所有选对对的被测测者人数数与总人人数之比比；当项项目为观观察评定定量表中中的指标标时，符符合程度度即所有有被测得得分平均均值与指指标满分分值之比比。区分度又称鉴别别力，指指项目得得分对被被试实际际能力或或心理特特质水平平的区分分能力或或鉴别力力，也即即项目得得分的高高低与被被试实际际能力或或心理特特质水平平高低的的一致性性程度。。项目区区分度的的计算方方法主要要有相关关分析法法（包括括积差相相关法、、二列相相关法和和点二列列相关法法）、极极端组法法（鉴别别度指数数、临界界比）和和因素分分析法独立性在能力测测评中，，常常需需要项目目之间有有一定的的独立性性。所谓谓独立性性即非相相关性或或低相关关性。独独立性的的分析一一般采用用项目间间分数的的相关系系数揭示示，根据据实际得得分分布布是否均均匀，可可以分别别采用rφ系数数法和列列联表χχ²检验验法。项目分析析选项质量量对于诱答答或正答答质量的的分析方方法有两两种：诱惑力分分析法这种方法法是采用用表格形形式，分分别统计计高分组组与低分分组中的的被测者者对同一一项目各各选项的的选择次次数。“白智””试测法法这种方法法是找一一些对测测验内容容一无所所知或十十分陌生生的人作作为被测测者进行行测试，，通过分分析这些些人对每每个诱答答选择的的人次来来分析选选项的质质量。其他指标标的分析析客观性测评的客客观性由由测评方方法的客客观性与与测评者者的客观观性两方方面构成成总体分布布与水平平总体分布布指测评评结果在在各水平平层次上上的分布布情况，，总体水水平一般般指对测测评结果果集中量量的分析析。区分性与与差异性性测评工具具的区分分性是指指把不同同水平的的被测者者区分开开来的程程度，测测评区分分性一般般通过测测评结果果差异性性的分析析来揭示示。误差误差是指指通过测测评结果果的定性性定量分分析，判判断测评评结果是是否受到到心理效效应的严严重影响响。分析析的主要要内容是是心理误误差、标标准误差差以及单单个测评评结果的的致信区区间。其他指标标的分析析误差心理误差差哈罗效应应误差哈罗效应应又称晕晕轮效应应，是指指测评者者往往会会因为对对被测评评者整体体印象的的好坏从从而影响响他对每每个素质质的测评评。例如如因看到到一个人人相貌端端庄、严严肃，就就容易产产生此人人责任感感很强的的看法。。由哈罗罗效应引引起的误误差叫哈哈罗效应应误差。。哈罗罗效效应应还还表表现现为为因因对对某某个个重重要要因因素素的的印印象象好好坏坏而而对对整整体体评评价价产产生生影影响响，，所所谓谓一一好好百百好好，，一一丑丑白白丑丑。。虽虽然然这这是是一一种种泛泛化化影影响响，，而而前前者者是是一一种种演演绎绎影影响响。。趋中中心心理理误误差差趋中中心心理理误误差差是是指指因因为为测测评评者者既既不不愿愿把把被被测测评评的的过过好好，，也也不不愿愿把把被被测测评评的的过过差差而而过过于于集集中中在在中中间间段段而而产产生生的的误误差差。。这这种种误误差差使使有有差差异异的的被被测测得得到到相相同同或或相相近近的的分分数数，，缺缺乏乏区区分分性性。。可可以以通通过过测测量量结结果果的的分分布布及及差差异异量量分分析析来来揭揭示示这这种种误误差差的的情情况况。。宽大大心心理理误误差差宽大大心心理理误误差差指指因因测测评评者者不不坚坚持持测测评评的的标标准准要要求求就就高高不不就就低低的的测测评评而而产产生生的的误误差差。。这这种种误误差差表表现现为为皆皆大大欢欢喜喜，，高高分分低低能能。。另另一一种种负负向向宽宽大大心心理理误误差差，，则则是是过过于于严严格格，，以以一一些些脱脱离离实实际际的的高高标标准准去去测测评评人人的的素素质质，，测测评评结结果果普普遍遍较较低低。。逻辑