员工素质测评的质量

素质测评的质量分析Hr-pku.....本讲内容效度的概念及其分析方法信度的概念及其分析方法区分度的概念及其分析方法选题质量分析及其分析方法.....效度效度的概念效度是指测评结果对所测评素质反映的真实程度。对这种真实性的考评，常见的方法有三种：从内容性质方面分析其内容效度从效标相关性方面分析其关联效度从实证方面分析其结构效度内容效度是指实际测评到的内容与期望测评的内容的一致性程度。当实际测评到的内容与我们事先所想测评到的内容越一致时，则说明测评结果的内容效度越高，测评结果就越有效。内容效度在实际操作中的鉴定主要采用定性分析的方法,有蓝图对照分析法与专家比较判断法。.....结构效度结构效度又称作构想效度、构思效度、构念效度、构建效度等。结构效度是指实际所测评的结果与想测评素质的同构程度。它表明了在多大程度上，实际测评结果能够被看作是索要测评的素质在结构上的替代物。在素质测评中，它是人们最关心的一种效度。这是由素质测评的间接性所决定的。人们总是通过选取一些具体的行为测评来判断实际的素质水平。结构效度与检验效度的人对素质结构的理解有直接关系。如果李某认为忠诚这一素质即对本企业的忠诚，张某认为忠诚这一素质表现为实事求是的态度，那么对于向其他企业说明本企业产品所存在的问题这一行为，显然李某与张某会把它归类到不同的素质成分中给与不同的素质成分中并给与不同的评价。因此结构效度的检验分析也是一种定性的主观判断。在分析考评过程中，要采取有力措施把主观影响控制在最低点上。.....结构效度结构效度的分析可按一下几步进行：1.给所要测评的素质的结构模式下一个操作化的定义

“我们所要测评的素质是对xx的态度、有关xx的品质、有关xx的技能。”像这样一些表述所测评素质的具体形象是什么，结构是什么，我们并不清楚，它仍然是从具体行为概括出某种意识或观念，因此对结构效度的分析没有多大意义。这里的构建不是从行为向观念构建，而是相反，由观念向具体行为的构建。不是简单还原，而是在更高的水平上抓住所测素质的本质特征，确定一个可感觉可操作的结构模式，由这种具体的结构模式作为抽象观念建构的替代物。这种替代物的成分显然应该是我们世纪能够看到的、听到的、感觉到的东西。例如：外显行为、客观性生理反应等。素质测评的目标体系实际上就是所测素质的一个行为构建模型，这种结构模型分别由项目、指标、权重、标度等组成。这种模型的建构，在很大程度上取决于所测素质本身的特征及其抽象程度等组成。.....要定义或建构一个素质的结构模型，可以从以下几方面着手：首先，采取工作分析方法，对所想测评的素质进行结构分析与行为分析，确定各种素质结构及其代表的行为。其次，用图表的形式逐一列出工作分析得到的素质因素及其特征行为。除此之外，还可以通过查找历史上或现在人们对所测评素质的模型的现成资料，丰富已有分析的结果。再次，还要另外准备一份与已经建构的模型可能混淆的但关系密切的其他模型图表。要反问自己并向人说明为什么所测素质是你所定义的结构模型而不是其他别的结构模型。.....2.收集事实资料，评判结构效度，具体方法有：排除法如果测评结果能明确的排除它所对应素质结构模型的其他解释，那就表明所获得的测评结果具有较好的结构效度。咨询法可以请一些有经验的专家就你所获得的测评结果、所对应的素质结构进行判断或推断，问他们该测评结果实际测评的素质是什么。如果大家的回答与你所想测评的素质结构几乎一致，那么说明你的测评有较好的结构效度。相关法找一个具有较高结构效度的测评工具或结果，与你所获得的测评结果进行相关性分析，如果相关性很高，说明你的测评结果具有较高的结构效度。例如：某一个具有“自尊”结构效度的测评量表，它的测评结果就应该与自信、社交能力及领导作用等测评量表的测评结果成正比，而与诸如内向性、自卑、孤独等测评量表测评的结果成反比。.....逻辑分析法当大家对所测素质的结构模型具有比较一致的认识时，只要能判定测评内容（工具）选择正确，且整个测评过程除了一切外来干扰因素，就可以说测评结果具有较好的结构效度。例如：测评时间足以保证被测评者完成所有的工作，被测评者没有受到催促因素的影响；测评工具的指导十分明确，被测操作准确。多元分析多元分析就是采取聚类分析与主成分分析等数学手段，对测评结果进行分析，看分析的结果。例如：所找出的主要因素与分类结果与所想测评素质的结构是否一致，如果一致，则说明所获得的测评记过具有较好的结构效度。.....关联效度又称实证效度、效标效度、效标关联效度，是指测评结果与效标的一致性程度。效标是一种用来衡测评有效性的外在参照标准,它可以是一种测评的结果,也可以是标准测评分数。根据效标是否可以同时获得,可将关联效度分为同时效度与预测效度。作为效标的结果与预测结果同时获得,这种效度称之为同时效度。当作为效标的结果是后来测评中获得,这种效度称为预测效度。它反映了现在的测评结果对未来素质发展的预测程度。例如：两个人同时采用观察评定与问卷测验测评同一个人的工作态度，两个测评结果相关系数很高，例如0.80，那么以后在类似的情况下，可以用问卷测验代替花时太多的行为观察法。.....关联效度

例如想检测一下自编品德测评的效度，决定采用效标关联中的同时效度分析方法，故让被测者同时接受自编品德测验与卡特尔16因素问卷测验。

关联效标的分析关键在于效标的选择。效标作为衡量测评结果有效性的参照标准，应该是可以测评到且独立于所分析的测评结果的行为结果。效标可以分为行为效标与观念效标。行为效标的选择以客观性为依据。常见的行为效标有以下几种：学术成就特殊训练成绩实际工作表现与成绩团体特征等级评定结果先前被证明是有效的测评结果.....效度度分分析析中中的的几几个个理理论论问问题题关于于效效度度概概念念的的研研究究1921年美美国国教教育育研研究究指指导导协协会会提提出出,效度度是是“测验验在在多多大大程程度度上上测测到到所所要要测测的的东东西西”。同时被提提出的还有有“预测效度”和“共时效度”,后来被统称称为“效标效度”。19世纪30年代,人们将更多多的注意力力放在测验验对于具体体目标课程程的代表性性高低上。。于是引入入“课程程效效度度”,后更名为为“内容效度度”。1954年美国心心理学会会出版了了《关于心里里测验和和诊断的的技术建建议书》，明确列列举了四四种类型型的效度度：预测测效度、、同时效效度、构构想效度度、内容容效度。。美国心心理学会会、美国国教育研研究学会会和国家家教育测测量委员员会1966年联合出出版的《教育与心心理测验验的标准准和指南南》中，将效效度类型型进一步步简化为为效标关关联效度度、构想想效度和和内容效效度三种种。Ｃｒｏｎｎｂａｃｃｈ和ＭＭｅｅｈｈｌ又进进一步把把前两类类归结为为准则关关联效度度。这是是一种三三位一体体的分类类法观点点。Ｃｒｒｏｎｂｂａｃｈｈ指出,延续了30年的旧观观念(即把效度度分为相相互分离离且并列列的三类类)已经过时时,取而代之之的是一一元论的的产生。。.....Ｍｅｓｓｓｉｃｋｋ以建构构效度概概念为中中心,提出了检检验测验验效度的的四个层层面(渐进矩阵阵)。

测试解释测验使用证据基础结构效度结构效度+适切性和实用性后果基础结构效度+隐含的价值结构效度+适切性和实用性+社会效果关于效度度概念的的研究.....结构效效度概概念产产生后后第二二年,Ｌ.Ｊ.Ｃｒｏｏｎｂｂａｃｃｈ和和Ｐ.Ｅ.Ｍｅｅｅｈｌｌ提出出了5种验证证方法法,即分组组区分分法、、相关关矩阵阵与因因素分分析法法、内内部结结构研研究、、不同同场合合下的的变化化研究究、过过程研研究。。DeborahLee提到,效度指指的是是一个个测验验准确确测量量它所所要测测的东东西的的能力力,包括内容效效度、效标标关联效度度和结构效效度。张厚粲、孙孙晓敏、王王晶、叶映映华、郑全全全对效度度概念演进进及其新发发展进行了了研究。张张厚粲、孙孙晓敏（孙孙晓敏、张张厚粲，2004）回顾了心心理测量学学中效度概概念发展的的三个阶段段,早期效度概概念关注的的是两个变变量之间的的相关.随后重点转转向效度的的多种类型型,现阶段则注注重考察测测验的构想想效度。总总之,效度确证成成为一个持持续不断的的动态过程程;在这个过程程中,运用各种技技术不断地地评价、质质疑和检查查由测验分分数所作推推论和解释释的有效性性成为心理理与教育测测量研究中中不可或缺缺的组成部部分。关于效度概概念的研究究.....关于结构效效度的研究究肯贝尔和菲菲斯克（D.W.Fiske）对构想效效度的考验验办法进行行了研究（（肯贝尔和和菲斯克，，1959），1960年肯贝尔指指出，要确确定一个测测验的构想想效度，则则该测验不不仅应与测测量相同特特质或构想想等理论上上有关的变变量有高的的相关，也也应与测量量不同特质质或构想等等理论上有有关的变量量有低的相相关，前者者称为会聚聚效度，后后者称为区区分效度。。聂建中、汤汤晓媚（聂聂建中、汤汤晓媚，2006年5月）对结构构效度的发发展演变进进行了综述述，文章分分析了结构构效度在内内容、验证证方式和威威胁因素这这三方面所所发生的变变化,指出结构效效度从概念念、内容到到与其他效效度的关系系上都发生生了微妙的的变化,其概念内涵涵更加清晰晰,涵盖内容更更加广泛,在整个效度度概念中占占据了更加加重要的位位置。同时时,还指出了以以往常用的的结构效度度验证方法法的不足,提出要对结结构效度进进行试前和和实施阶段段的理论验验证。.....效度应用内容效度分分析适用于于某些对员员工进行选选拔和分类类的职业测测验，舍恩恩菲尔特、、阿克、柏柏尔森（Schoenfeldt，Acker&Perlson,1976）清楚而详详细的说明明了编织工工业阅读测测验是怎样样应用各种种内容效度度分析法。。在编制联联邦政府和和州政府公公务员测验验时，这种种方法得到到了广泛的的采用。郭庆科（郭郭庆科，2002）对各种效效度的应用用进行了分分析，他指指出效标关关联资料可可以应用于于对个人分分数的预测测（包括简简单回归法法、多种测测验信息的的综合）、、人员的分分类与安置置（人员分分类的性质质、人员分分类的优点点、差异效效度）。.....信度信度的概概念信度是指指测评结结果所反反映素质质的准确确性。对对于这种种准确性性的考评评目前大大致有稳稳定系数数、等值值系数、、分半系系数、内内部一致致系数、、评分一一致性系系数等。。以上几种种信度都都是针对对常模参参照测验验而言的的，标准准参照测测验中的的信度计计算通常常使用分分类一致致性信度度，这种种信度的的的常用用估计方方法是考考察同一一批被测测者在两两次是册册或者复复本测验验中的分分类是否否一致。。标准参参照测验验中的信信度也可可以使用用K系数计算，，较分类一一致性信度度在统计上上更合理（（Cohen,1968;Aiken,1988）。.....再测信度指以同样的的测评与选选拔工具,按照同样的的方法,对于相同的的对象再次次进行测评评与选拔,所得先后结结果的一致致性程度。。再测信度度的计算一一般采用皮皮尔逊积差差相关系数数。个体的素质质测评在测测评过程中中会涉及许许多因素的的影响，素素质本身有有时也无法法精确定义义。我们常常常把对个个体测评结结果的准确确性检验，，置于群体体测评结果果的相互关关系中，转转化为两次次位置关系系的一致性性分析。当当同一对象象的测评结结果以同样样的测评方方式再次获获得后，其其顺序位置置关系变异异很小时，，则说明测测评结果比比较准确。。例如：在技技能测评中中李某的分分数是８８８，在全体体被测者中中排名第一一，这到底底准不准呢呢？我们再再重复测评评一次，结结果李某的的分数是９９５，还是是排名第一一，而且其其他被测的的位置顺序序变化很小小，我们就就可以说第第一次的技技能测评结结果很可靠靠。.....复本信度复本信度测测评结果相相对另一个个非常相同同的测评结结果的变异异程度。“非常相同”一般以等值值解释。所所谓等值,是指在测评评内容、效效度、要求求、形式上上都与原测测评一样,其中一个测测评可以看看作是另一一个测评的的近似复写写,即复本。“变异程度”一般以它的的反义词“一致性”解释。。因此复复本信信度实实际上上是一一种用用等值值系数数揭示示的信信度。。等值值系数数即为为两组组测评评结果果的相相关系系数。。.....一致性性信度度一致性性信度度又称称同质质性信信度，，是一一种常常用的的估计计信度度的方方法，，反映映了测测验题题目与与所测测量内内容的的一致致性程程度。。一致致性性信信度度的的计计算算公公式式主主要要有有分分半半信信度度，，主主要要采采用用斯斯皮皮尔尔曼曼-布朗朗修修正正公公式式计计算算；；库库德德-理查查逊逊公公式式和和克克伦伦巴巴赫赫а系数数。。如果果被被测测在在第第一一个个项项目目上上比比其其他他人人分分数数高高，，在在第第二二个个项项目目上上又又比比其其他他人人高高，，在在第第三三个个项项目目上上也也比比其其他他人人高高．．．．．．．．．．．．相相反反另另一一个个人人在在第第一一个个项项目目上上比比其其他他人人分分数数低低，，在在第第二二个个项项目目上上又又比比其其他他人人低低，，在在第第三三个个项项目目上上也也比比其其他他人人低低．．．．．．．．．．．．那那么么毫毫无无疑疑问问，，我我们们会会认认为为测测评评结结果果比比较较可可靠靠。。.....评分者信度度评分者信度度指多个测测评者给同同一组被测测样组进行行评分的一一致性程度度。测评与选拔拔结果的差差异程度来来自两方面面一是被测测评者自身身,二是被测评评者及其测测评。信度度主要是对对后者的度度,测评者及其其测评的无无关差异越越小,测评与选拔拔结果就越越可靠。测评者的评评分是引起起主观性测测评结果差差异的主要要原因。客客观性测评评是利用计计算机评分分,不受主观因因素影响,不存在评分分误差。评评分者信度度主要采用用肯德尔和和谐系数计计算。.....速度测验的的信度速度测验是是指那种由由于时限很很紧或题目目很多使被被试不可能能全部完成成的测验。。以上介绍的的几种信度度都是针对对常模参照照测验而言言的，速度度测验中的的信度通常常采用做答答速度的一一致性为依依据。可以以使用重测测法和复本本法，根据据被试两次次回答题目目数量的变变化对速度度的一致性性作出估计计。.....信度多高才才算可靠对人事测评评中信度系系数与测评评质量的关关系，以下下给出了几几种心理测测验的信度度系数：测验类型信度低中高成套成就测验0．660．920．98学术能力测验0．560．900．97成套倾向测验0．260．880．96客观人格测验0．460．850．97兴趣问卷0．420．840．93态度量表0．470．790．98.....各种信度系系数应用信度系数类型估计方法应用稳定性系数重测法（积差相关）人格、速度测验等值性系数复本法（积差相关）智力、学绩、速度测验等值稳定性系数复本法（积差相关）智力、学绩、人格测验内部一致性系数分半法（积差相关，用斯-布公式校正）库德尔-理查森公式法α系数法智力、学绩、选拔测验评分信度系数斯皮尔曼等级相关法肯德尔和谐系数法作文、创造力、投射、道德判断测验.....项目分析适合度在素质测评评中，项目目不仅仅是是试题，更更多的是一一些咨询问问题或观察察评定点（（指标），，它们无难难易之分，，适合度指指的是被测测者行为符符合项目测测评标准的的程度。当当项目为试试题时，适适合度即难难度；当项项目是问卷卷中的问题题时，符合合度即所有有选对的被被测者人数数与总人数数之比；当当项目为观观察评定量量表中的指指标时，符符合程度即即所有被测测得分平均均值与指标标满分值之之比。区分度又称鉴别力力，指项目目得分对被被试实际能能力或心理理特质水平平的区分能能力或鉴别别力，也即即项目得分分的高低与与被试实际际能力或心心理特质水水平高低的的一致性程程度。项目目区分度的的计算方法法主要有相相关分析法法（包括积积差相关法法、二列相相关法和点点二列相关关法）、极极端组法（（鉴别度指指数、临界界比）和因因素分析法法独立立性性在能能力力测测评评中中，，常常常常需需要要项项目目之之间间有有一一定定的的独独立立性性。。所所谓谓独独立立性性即即非非相相关关性性或或低低相相关关性性。。独独立立性性的的分分析析一一般般采采用用项项目目间间分分数数的的相相关关系系数数揭揭示示，，根根据据实实际际得得分分分分布布是是否否均均匀匀，，可可以以分分别别采采用用rφ系数法和和列联表表χ²检验法。。.....项目分析析选项质量量对于诱答答或正答答质量的的分析方方法有两两种：诱惑力分分析法这种方法法是采用用表格形形式，分分别统计计高分组组与低分分组中的的被测者者对同一一项目各各选项的的选择次次数。“白智”试测法这种方法法是找一一些对测测验内容容一无所所知或十十分陌生生的人作作为被测测者进行行测试，，通过分分析这些些人对每每个诱答答选择的的人次来来分析选选项的质质量。.....其他指标标的分析析客观性测评评的的客客观观性性由由测测评评方方法法的的客客观观性性与与测测评评者者的的客客观观性性两两方方面面构构成成总体体分分布布与与水水平平总体体分分布布指指测测评评结结果果在在各各水水平平层层次次上上的的分分布布情情况况，，总总体体水水平平一一般般指指对对测测评评结结果果集集中中量量的的分分析析。。区分分性性与与差差异异性性测评评工工具具的的区区分分性性是是指指把把不不同同水水平平的的被被测测者者区区分分开开来来的的程程度度，，测测评评区区分分性性一一般般通通过过测测评评结结果果差差异异性性的的分分析析来来揭揭示示。。误差差误差差是是指指通通过过测测评评结结果果的的定定性性定定量量分分析析，，判判断断测测评评结结果果是是否否受受到到心心理理效效应应的的严严重重影影响响。。分分析析的的主主要要内内容容是是心心理理误误差差、、标标准准误误差差以以及及单单个个测测评评结结果果的的致致信信区区间间。。.....其他他指指标标的的分分析析误差差心理理误误差差哈罗罗效效应应误误差差哈罗罗效效应应又又称称晕晕轮轮效效应应，，是是指指测测评评者者往往往往会会因因为为对对被被测测评评者者整整体体印印象象的的好好坏坏从从而而影影响响他他对对每每个个素素质质的的测测评评。。例例如如因因看看到到一一个个人人相相貌貌端端庄庄、、严严肃肃，，就就容容易易产产生生此此人人责责任任感感很很强强的的看看法法。。由由哈哈罗罗效效应应引引起起的的误误差差叫叫哈哈罗罗效效应应误误差差。。哈罗罗效效应应还还表表现现为为因因对对某某个个重重要要因因素素的的印印象象好好坏坏而而对对整整体体评评价价产产生生影影响响，，所所谓谓一一好好百百好好，，一一丑丑白白丑丑。。虽虽然然这这是是一一种种泛泛化化影影响响，，而而前前者者是是一一种种演演绎绎影影响响。。.....趋中中心心理理误误差差趋中中心心理理误误差差是是指指因因为为测测评评者者既既不不愿愿把把被被测测评评的的过过好好，，也也不不愿愿把把被被测测评评的的过过差差而而过过于于集集中中在在中中间间段段而而产产生生的的误误差差。。这这种种误误差差使使有有差差异异的的被被测测得得到到相相同同或或相相近近的的分分数数，，缺缺乏乏区区分分性性。。可可以以通通过过测测量量结结果果的的分分布布及及差差异异量量分分析析来来揭揭示示这这种种误误差差的的情情况况。。宽大大心心理理误误差差宽大大心心理理误误差差指指因因测测评评者者不不坚坚持持测测评评的的标标准准要要求求就就高高不不就就低低的的测测评评而而产产生生的的误误