标准参照测验课件

第七章

标准参照测验第七章

标准参照测验1Companyname主要内容1.标准参照测验的定义与作用2.标准参照测验的题目分析3.标准参照测验的信度与效度4.标准参照测验的分数解释Companyname主要内容1.标准参照测验的定义与作2一、标准参照测验的定义与作用（一）标准参照测验的产生20世纪早期，出于解释测验原始分数含义的需要，西方早期心理与教育测量学专家提出了相对能力的测量，由此发展起来的测验模式就是常模参照测验，随之发展了常模参照测验项目分析、信效度分析及分数解释的方法。20世纪中期，人们发现了常模参照测验的局限：并不是所有的测验都只关心个体间测差异，有的测验目的在于了解被试在测验内容上掌握的绝对水平。一、标准参照测验的定义与作用（一）标准参照测验的产生3一、标准参照测验的定义与作用这一测验的目的在于确定在某个教学领域内，被试是否掌握了该教学领

域的知识和技能，了解被试在该领域的困难，并对其有目的地加以教

学辅导与补救。由于常模参照测验不能解决这一问题，目标参照测验应运而生。1962年，戈莱塞、克劳斯首先提出了目标参照测验的概念。怎样通过测验评价被试在教学活动中对内容的掌握程度？一、标准参照测验的定义与作用这一测验的目的在于确定在某个教学4一、标准参照测验的定义与作用（二）标准参照测验的定义标准参照测验（Criterion-ReferencedTest）又称目标参照测验。它为人们提供了有关被试是否达到某种行为标准水平或要求的信息。是一种与以经典测验理论为基础的常模参照测验相对的测验类型。明确界定的行为标准–分界点戈莱塞（1971年）描述与界定：是根据某一明确界定的内容范围而紧密编制的测验，并且被试在测验上所得结果也是根据某一明确界定的行为标准直接进行解释的。一、标准参照测验的定义与作用（二）标准参照测验的定义戈莱塞（5一、标准参照测验的定义与作用（三）标准参照测验的作用了解个体在所规定的测量内容上的行为水平，其出发点是个体本身的绝对水平，而不是个体间的差异。标准参照测验与常模参照测验的不同之处在于：①常模参照测验的分数反应了一个人在所属群体中的相对位置，而标准参照测验的分数标志一个人能力或知识的绝对水平。所以常模代表了某一群体的真正水平，而标准则是希望达到的目标，它有很大的人为性。②标准参照测验在对测验结果进行评价时不是以常模为标准，而是根据特定的操作标准和行为领域，对个体作出是否达标或达到什么程度的判断，它不与其他人的分数比较。一、标准参照测验的定义与作用6二、标准参照测验的项目分析（一）内容范围的确定1、内容范围具有边界。2、每一内容范围内容可分为几类，每一类中又可分为更细更小的类。3、特定测验目的的确定常为内容范围的界定提供依据，而界定的结果常常以双向细目表的形式表现出来。二、标准参照测验的项目分析（一）内容范围的确定7标准参照测验课件8（二）测验项目的内容效度分析1、对构成测验的每一个题目是否合适以及有效进行分析，即检验题目与测验内容范围所要求内容与目标的一致性。2、对于测验中每一项目的内容与其目标内容之间一致性的等级评定，通常需要邀请多位专家共同进行。二、标准参照测验的项目分析（二）测验项目的内容效度分析二、标准参照测验的项目分析9标准参照测验课件10标准参照测验课件11标准参照测验课件12（三）测验项目的难度和区分度分析1、测验的预测目的：选取一定数量的被试进行预测，获得预测数据，在此基础上对项目的难度和区分度进行量化分析。预测方法

：前测-后测法：已接受教学组-未接受教学组方法

：对照组方法（教师评定的掌握组和未掌握组）二、标准参照测验的项目分析（三）测验项目的难度和区分度分析二、标准参照测验的项目分析13（三）测验项目的难度和区分度分析（续）2、难度分析难度已不能简单地解释成题目的难易程度或题目的通过率，而必须理解为测验者对测验内容要求的高低，它通过测量目标反映出来。纯粹的标准参照测验一般注重的是所测内容范围以及被试在所测内容范围上的掌握程度，因而若某项目所测为内容范围内不可缺的重要内容，那么无论该项目是难是易，均应得到保留。对于标准参照测验的项目难度的计算，在大多情况下只是作为项目区分度分析的基础。测验项目的难度分析—可用通过率来表示

二、标准参照测验的项目分析（三）测验项目的难度和区分度分析（续）二、标准参照测验的项目14（三）测验项目的难度和区分度分析（续）2、区分度分析区分度反映的则是测题对区别掌握与未掌握两类被试的能力，而非笼统地指对被试能力的鉴别程度。由于人们通常将被试的掌握或未掌握的原因归咎于教学的因素，"教学敏感性系数"常被采用为项目区分度的一种指数。测验项目的区分度分析：难度差值-掌握组-未掌握组鉴别指数（D）、

教学敏感性或称个人获得指数（DIG）：相关系数二、标准参照测验的项目分析（三）测验项目的难度和区分度分析（续）二、标准参照测验的项目15三、标准参照测验的信度与效度（一）信度及其估计

在常模参照测验的信度评估中，通常是以相关系数作为信度指标，相

关程度高，信度就高，测验越可靠。然而，以相关系数表示的测验信度的高低很大程度上受到受测者团体

异质性的影响，即被试异质性越高，从而相关系数越高，测验信度相

应也越高，标准参照测验的目的一般不在于鉴别个体差异，而在于了解个体在所

测内容上的掌握水平，因而在大多数情况下，被试团体在标准参照测

验上的分数分布比较集中（例如高考）。即使测验本身有较高的稳定性和一致性，所得的信度系数也会很低。通常以相关系数所标示得信度指标在标准参照测验上是不太适用的。三、标准参照测验的信度与效度（一）信度及其估计在常模参照测16三、标准参照测验的信度与效度（一）信度及其估计（续）

1、分类一致性信度

：对测验的分类一致性的度量指标统计指标：同一被试团体在两次测验结果中均被分为及格或不及格类别中的人数百分比作为分类一致性信度的指标。优点-计算简单、意义直观易懂缺点-再测法和复本法的缺点同样存在；受测验长度和被试分数分布的影响；而且分界点不同意味着被划分为及格不及格的标准改变，人数比例也必然会发生变化。三、标准参照测验的信度与效度（一）信度及其估计（续）17三、标准参照测验的信度与效度（一）信度及其估计（续）2、方差分析方法–荷伊特信度：利用方差分析的方法，将信度视为真分数的变异在实得分数变异中所占比例，作为信度的估计值。此法不受测验目的或被试异质性的影响，因而同样适用

于目标参照测验的信度评估。测验分数的总变异数可以划分为三个来源：人与人之间的差别（SS人）、题目间的差别（SS题）、人与题目交互作用的差别（MS人×题）计算公式：rXX=1-MS人×题/SS人

（

MS人×题为误差方差估计值）三、标准参照测验的信度与效度（一）信度及其估计（续）测验分数18三、标准参照测验的信度与效度（二）效度及其估计

1、内容效度内容效度主要从以下两方面入手1）测题的正确性指测题正确地反映测量目标所欲测量的知识、技能的程度。检验主要包括：测题的技术质量和测题与测量目标之间的

一致性程度。2）测题的代表性要求组成标准参照测验的测题必须对测验领域总体有一定的

代表性，从而使测验具有较高的内容效度。为了保证测题的代表性，标准参照测验编制中往往需要制订

双向细目表；同时人们也提出了利用“重复实验”方法。三、标准参照测验的信度与效度（二）效度及其估计19三、标准参照测验的信度与效度（二）效度及其估计（续）2、效标关联效度效标关联效度的验证方法仍可沿用以往的常用方法，关键问题仍在于效标的选择及其效标的正确性上。

采用决策效度来计算效标关联效度。测验结果根据某分数分界点分为及格和不及格两类。3、结构效度标准参照测验在多数情况下是对于被试在特定教学或训练内容上的掌握程度的检验，较少关注测验目的所蕴含的理论构想问题。常模参照测验的结构效度评估大多是以相关系数为基础所以，关于目标参照测验的结构效度，目前尚未得到较大关注。总体上说来，标准测验的信效度验证理论还未发展成熟和完善，有待于进一步的研究和拓广、深化。三、标准参照测验的信度与效度（二）效度及其估计（续）总体上说20专家判定法1、Nedelsky方法2、Angoff方法分数分界点的确定效标组预测法1、临界组法2、对照组法四、标准参照测验的分数解释在测验的内容范围明确界定的基础上，由专家来判断处于临界水平的被试在每一题目上正确回答的可能性，进一步以此为标准确定分数分界点。专家判定法分数分界点的确定效标组预测法四、标准参照测验的分数21Nedelsky方法

主要针对多重选择题组成的测验而言，由专家来判断处于临界水平的被试在每一题上有能力排除的错误选项，从而计算其正确回答的可能性，再求每一题上正确回答的可能性之和，作为测验分数分界点。Angoff方法

由专家直接判断处于临界水平的被试在某测验的每一题目正确作答的可能性（Pi），设每题的满分为Fi，则该测验的分数分界点（λ）为：

λ=∑FiPi四、标准参照测验的分数解释-专家判定法

Nedelsky方法四、标准参照测验的分数解释-专家判定22CompanynameCompanynamewww.themegallery.c23临界组法

由专家判断和选择一组正处于临界水平的被试，将测验施测于该组被试，计算他们在测验上的平均成绩，以体现测验的内容范围所要求的临界水平，因而可视该平均成绩为测验分数分界点的估计值。

该方法的困难在于临界水平被试的选择和评定。对照组法

先采取专家评定的方法确定两组被试，一组被明确判为掌握组，另一组被明确判为未掌握组，那些不容易被判为“掌握”或“未掌握”的被试一概剔除。对这两组被试施测，可得到两组被试原始分数分布图，分布图中两条分布曲线的交界点即为测验分数分界点。四、标准参照测验的分数解释–效标组预测法临界组法四、标准参照测验的分数解释–效标组预测法24CompanynameCompanynamewww.themegallery.c25总结Companyname各种测验的分数分界点的确定过程中，专家评定是中占据一定的位置，这就使得分界点带有一定的主观色彩。对此一般采用多位专家评定的方法，综合采用专家的意见。标准参照测验和常模参照测验虽然是两种不同的测验模式，但它们并非互不相容，可被采用到同一种测验中。总结Companyname各种测验的分数分界点的确定过程中26ThankYou!ThankYou27第七章

标准参照测验第七章

标准参照测验28Companyname主要内容1.标准参照测验的定义与作用2.标准参照测验的题目分析3.标准参照测验的信度与效度4.标准参照测验的分数解释Companyname主要内容1.标准参照测验的定义与作29一、标准参照测验的定义与作用（一）标准参照测验的产生20世纪早期，出于解释测验原始分数含义的需要，西方早期心理与教育测量学专家提出了相对能力的测量，由此发展起来的测验模式就是常模参照测验，随之发展了常模参照测验项目分析、信效度分析及分数解释的方法。20世纪中期，人们发现了常模参照测验的局限：并不是所有的测验都只关心个体间测差异，有的测验目的在于了解被试在测验内容上掌握的绝对水平。一、标准参照测验的定义与作用（一）标准参照测验的产生30一、标准参照测验的定义与作用这一测验的目的在于确定在某个教学领域内，被试是否掌握了该教学领

域的知识和技能，了解被试在该领域的困难，并对其有目的地加以教

学辅导与补救。由于常模参照测验不能解决这一问题，目标参照测验应运而生。1962年，戈莱塞、克劳斯首先提出了目标参照测验的概念。怎样通过测验评价被试在教学活动中对内容的掌握程度？一、标准参照测验的定义与作用这一测验的目的在于确定在某个教学31一、标准参照测验的定义与作用（二）标准参照测验的定义标准参照测验（Criterion-ReferencedTest）又称目标参照测验。它为人们提供了有关被试是否达到某种行为标准水平或要求的信息。是一种与以经典测验理论为基础的常模参照测验相对的测验类型。明确界定的行为标准–分界点戈莱塞（1971年）描述与界定：是根据某一明确界定的内容范围而紧密编制的测验，并且被试在测验上所得结果也是根据某一明确界定的行为标准直接进行解释的。一、标准参照测验的定义与作用（二）标准参照测验的定义戈莱塞（32一、标准参照测验的定义与作用（三）标准参照测验的作用了解个体在所规定的测量内容上的行为水平，其出发点是个体本身的绝对水平，而不是个体间的差异。标准参照测验与常模参照测验的不同之处在于：①常模参照测验的分数反应了一个人在所属群体中的相对位置，而标准参照测验的分数标志一个人能力或知识的绝对水平。所以常模代表了某一群体的真正水平，而标准则是希望达到的目标，它有很大的人为性。②标准参照测验在对测验结果进行评价时不是以常模为标准，而是根据特定的操作标准和行为领域，对个体作出是否达标或达到什么程度的判断，它不与其他人的分数比较。一、标准参照测验的定义与作用33二、标准参照测验的项目分析（一）内容范围的确定1、内容范围具有边界。2、每一内容范围内容可分为几类，每一类中又可分为更细更小的类。3、特定测验目的的确定常为内容范围的界定提供依据，而界定的结果常常以双向细目表的形式表现出来。二、标准参照测验的项目分析（一）内容范围的确定34标准参照测验课件35（二）测验项目的内容效度分析1、对构成测验的每一个题目是否合适以及有效进行分析，即检验题目与测验内容范围所要求内容与目标的一致性。2、对于测验中每一项目的内容与其目标内容之间一致性的等级评定，通常需要邀请多位专家共同进行。二、标准参照测验的项目分析（二）测验项目的内容效度分析二、标准参照测验的项目分析36标准参照测验课件37标准参照测验课件38标准参照测验课件39（三）测验项目的难度和区分度分析1、测验的预测目的：选取一定数量的被试进行预测，获得预测数据，在此基础上对项目的难度和区分度进行量化分析。预测方法

：前测-后测法：已接受教学组-未接受教学组方法

：对照组方法（教师评定的掌握组和未掌握组）二、标准参照测验的项目分析（三）测验项目的难度和区分度分析二、标准参照测验的项目分析40（三）测验项目的难度和区分度分析（续）2、难度分析难度已不能简单地解释成题目的难易程度或题目的通过率，而必须理解为测验者对测验内容要求的高低，它通过测量目标反映出来。纯粹的标准参照测验一般注重的是所测内容范围以及被试在所测内容范围上的掌握程度，因而若某项目所测为内容范围内不可缺的重要内容，那么无论该项目是难是易，均应得到保留。对于标准参照测验的项目难度的计算，在大多情况下只是作为项目区分度分析的基础。测验项目的难度分析—可用通过率来表示

二、标准参照测验的项目分析（三）测验项目的难度和区分度分析（续）二、标准参照测验的项目41（三）测验项目的难度和区分度分析（续）2、区分度分析区分度反映的则是测题对区别掌握与未掌握两类被试的能力，而非笼统地指对被试能力的鉴别程度。由于人们通常将被试的掌握或未掌握的原因归咎于教学的因素，"教学敏感性系数"常被采用为项目区分度的一种指数。测验项目的区分度分析：难度差值-掌握组-未掌握组鉴别指数（D）、

教学敏感性或称个人获得指数（DIG）：相关系数二、标准参照测验的项目分析（三）测验项目的难度和区分度分析（续）二、标准参照测验的项目42三、标准参照测验的信度与效度（一）信度及其估计

在常模参照测验的信度评估中，通常是以相关系数作为信度指标，相

关程度高，信度就高，测验越可靠。然而，以相关系数表示的测验信度的高低很大程度上受到受测者团体

异质性的影响，即被试异质性越高，从而相关系数越高，测验信度相

应也越高，标准参照测验的目的一般不在于鉴别个体差异，而在于了解个体在所

测内容上的掌握水平，因而在大多数情况下，被试团体在标准参照测

验上的分数分布比较集中（例如高考）。即使测验本身有较高的稳定性和一致性，所得的信度系数也会很低。通常以相关系数所标示得信度指标在标准参照测验上是不太适用的。三、标准参照测验的信度与效度（一）信度及其估计在常模参照测43三、标准参照测验的信度与效度（一）信度及其估计（续）

1、分类一致性信度

：对测验的分类一致性的度量指标统计指标：同一被试团体在两次测验结果中均被分为及格或不及格类别中的人数百分比作为分类一致性信度的指标。优点-计算简单、意义直观易懂缺点-再测法和复本法的缺点同样存在；受测验长度和被试分数分布的影响；而且分界点不同意味着被划分为及格不及格的标准改变，人数比例也必然会发生变化。三、标准参照测验的信度与效度（一）信度及其估计（续）44三、标准参照测验的信度与效度（一）信度及其估计（续）2、方差分析方法–荷伊特信度：利用方差分析的方法，将信度视为真分数的变异在实得分数变异中所占比例，作为信度的估计值。此法不受测验目的或被试异质性的影响，因而同样适用

于目标参照测验的信度评估。测验分数的总变异数可以划分为三个来源：人与人之间的差别（SS人）、题目间的差别（SS题）、人与题目交互作用的差别（MS人×题）计算公式：rXX=1-MS人×题/SS人

（

MS人×题为误差方差估计值）三、标准参照测验的信度与效度（一）信度及其估计（续）测验分数45三、标准参照测验的信度与效度（二）效度及其估计

1、内容效度内容效度主要从以下两方面入手1）测题的正确性指测题正确地反映测量目标所欲测量的知识、技能的程度。检验主要包括：测题的技术质量和测题与测量目标之间的

一致性程度。2）测题的代表性要求组成标准参照测验的测题必须对测验领域总体有一定的

代表性，从而使测验具有较高的内容效度。为了保证测题的代表性，标准参照测验编制中往往需要制订

双向细目表；同时人们也提出了利用“重复实验”方法。三、标准参照测验的信度与效度（二）效度及其估计46三、标准参照测验的信度与效度（二）效度及其估计（续）2、效标关联效度效标关联效度的验证方法仍可沿用以往的常用方法，关键问题仍在于效标的选择及其效标的正确性上。

采用决策效度来计算效标关联效度。测验结果根据某分数分界点分为及格和不及格两类。3、结构效度标准参照测验在多数情况下是对于被试在特定教学或训练内容上的掌握程度的检验，较少关注测验目的所蕴含的理论构想问题。常模参照测验的结构效度评估大多是以相关系数为基础所以，关于目标参照测验的结构效度，目前尚未得到较大关注。总体上说来，标准测验的信效度验证理论还未发展成熟和完善，有待于进一步的研究和拓广、深化。三、标准参照测验的信度与效度（二）效度及其估计（续）总体上说47专家判定法1、Nedelsky方法2、Angoff方法分数分界点的确定效标组预测法1、临界组法2、对照组法四、标准参照测验的分数解释在测验的内容范围明确界定的基础上，由专家来判断处于临界水平的被试在每一题目上正确回答的可能性，进一步以此为标准确定分数分界点。专