经典测验理论和项目反应理论的区别与联系

1、2008年03月内蒙古民族大学学报Mar .2008第14卷第2期Journal of I nnerMongolia University f or Nati onalities Vol .14No .2经典测验理论和项目反应理论的区别与联系3李夏妍(广东金融学院,广东广州510521摘要经典测验理论与项目反应理论是现代测量学的基本理论。这两种理论既有区别又有联系,在理论基础、基本假设、数学模式、信度估计、项目参数等几个方面经典测验理论和项目反应理论有较大区别;但两者都建立在数学模型上,真分数与潜在特质值一一对应,经典测验理论和项目反应理论的项目参数有密切关系。项目反应理论是对经典测验理论的批

2、判与超越。关键词经典测验理论;项目反应理论;区别与联系中图分类号G44文献标识码A 文章编号1008-5149(200802-0075-03心理与教育测验是用于测量人的心理特质和学业成就的主要方法之一。随着心理与教育研究的日益科学化,对心理和教育测验的要求越来越高,心理与教育测验的理论也随之不断发展。当今存在着三种主要的测验理论,包括经典测验理论(Classical Test Theory,CTT 、概化理论(Generalizability Theory,GT 和项目反应理论(Item Response Theory,I RT 。其中,概化理论是对经典测验理论的扩展,它们都属于随机抽样理论,

3、而且都建立在真分数模式的理论基础上1。但是,项目反应理论无论在理论基础、基本假设、数学模式,还是在信度估计、项目参数上都与经典测验理论有明显的区别,本文主要讨论这些区别以及这两种测验理论之间的联系。1经典测验理论和项目反应理论的区别111理论基础经典测验理论的理论基础是真分数理论,其基本思想是把测验的得分(通常称为测验的观测分数看作真分数和误差分数的线性组合,可归结为如下简单的数学模型:X =T +e 。其中X 是观测分数,T 是真分数,e 是误差分数。传统的测验信度、效度、项目分析的原理与方法均建立在这一模型之上2。项目反应理论的理论基础是潜在特质理论,其基本思想与心理学中关于潜在特质的一般

4、理论有关。它假设被试对测验的反应受某种心理特质(因其无法直接测量而称为潜在特质支配,我们可以对这种特质进行界定。项目反应理论估计出被试在这种特质的分数,并根据分数的高低来预测、解释被试对项目或测验的反应。因此项目反应理论主要用于建立各种与数据拟合的模型,确定被试的潜在特质值与他们对项目的反应之间的关系2。112基本假设经典测验理论是建立在弱假设的基础上,基本假设主要有:(1观测分数等于真分数与误差分数之和,即X =T +e ;(2观测分数的期望值等于真分数;(3真分数与误差分数的相关为零;(4不同测验的误差分数的相关为零;(5不同测验的误差分数与真分数的相关为零1。项目反应理论是建立在强假设的

5、基础上,基本假设主要有:(1潜在特质空间的一维性,即被试的某一测验结果只取决于一种潜在特质或称能力,其他能力的影响均可忽略;(2局部独立性,即被试回答该项目时不受其他项目的影响,项目间无相关存在;(3适合的数学模型,即对被试在某项目的正确反应概率与其能力之间的函数关系所作的模型,该模型必须经过拟合检验3。这些假设属于强假设条件:到目前为止还没有一种能验证一维性假设的方法,常用因素分析来检验对一组测验项目作573收稿日期2007-12-03作者简介李夏妍(1980-,女,广东广州人,助教,硕士,主要研究方向为心理统计与测量。 一维性假设的合理性;局部独立主要通过统计独立的方法来进行检验;建立的数

6、学模型与实测数据的拟合要求较高,不容易做到。113数学模式经典测验理论是建立在真分数模式的基础上,即任何测量值都由真分数和误差分数两部分组成,这两部分之间互相独立,数学公式是:X =T +e 。被试的某种潜在特质无法由某次测验的分数来表示,必须在无数次测验的基础上求平均值才能得到1。项目反应理论是以项目特征曲线和潜在特质等理论为架构,其核心是项目特征曲线。项目特征曲线描绘了被试的某一能力水平与他可能正确回答项目的概率之间的关系。项目反应理论有各种各样的特征曲线,其中比较著名的是二级评分模型中的单参数L og istic 模型(即R asch 模型和三参数L og istic 模型,公式如下:P

7、 1(=c i +(1-c i 11+e -Da i (-b i 表示被试的能力参数,Pi (表示能力的被试回答i 项目的正确率。三个参数a i 为项目的区分度,b i 为项目的难度,c i 为项目的猜测系数。在曲线中,a i 指曲线拐点处的斜率,b i 指曲线拐点上的值,c i 是下渐近线,表示随机猜测的可能性1。只要找到适合数据的模型,就可以对项目进行比较精确的分析。项目反应理论中的和经典测验理论中的T 都表示被试的潜在特质,两者的区别在于,当求得的均值和方差以后,被试的值就不再依赖于特定的测量工具,以表示的个体可用于不同组测验项目之间的比较,但T 是按照被试所回答的特定项目来定义的,从测

8、量同一结构的两组不同项目中得到的T 值是不可比的,除非是经典测验理论中“平行的”项目组,但在实际测验中“严格平行”的假设很难实现。114信度估计经典测验理论中常用信度来表示测量的可靠程度。信度被定义为真分数的变差与观测分数的变差之比,公式是:=2t 2x。t 为真分数变差,x 为观测分数变差。根据估计的信度,就可以求出测验误差变差:=2t 2x =1-2e 2x,2e =(1-2x ,2e 为误差变差3。项目反应理论中,不使用依赖于平行测验的信度指标,而是深入到分析每一个项目所能提供的信息量的大小,分析每一个项目的测量误差,并得出整个测验的信息函数,以这些指标对测量的可靠程度作出估计。对于一个

9、特定的水平,可以计算出项目提供的信息量Ii (,公式为:I i (=P i (2P i (1-P i (式中P i (是给定能力的被试在项目i 上正确反应的概率,即项目特征曲线上的值。Ii (为项目的信息函数,Ii (值越大表明项目提供的信息越多,在水平的测量越精确。项目反应理论能根据Ii (确定对于一个特定水平的被试,用哪些项目测量最佳。测验的信息函数等于各项目的信息函数之和:I (=ni =1I i(1。项目对测验信息的贡献是独立的,因此无需知道其它项目的情况就可以知道个别测验项目的贡献大小。这是经典测验理论所不具备的。经典测验理论中,一个项目发生变化,测验分数随之改变,信度估计也相应发生

10、变化。项目反应理论中测量误差的定义与测量信息函数有关,在0处的信息量与测量误差成反比,即S E (0=1I (0。S E (0即估计的标准误差。项目反应理论中的S E (0与经典测验理论中的测量标准误差的目的是一致的,区别在于S E (0不是一个统计量,它依赖于能力水平,是关于的函数,对于一个给定的测验来说,不同的0有不同的标准误,而经典测验理论中标准测量误差是一个集体统计量,它用于样本中的所有被试。115项目参数不同测验理论提供的项目参数有所不同,经典测验理论主要计算项目的难度、区分度以及描绘项目难度曲线;项目反应理论主要计算项目的难度、区分度、猜测系数以及绘制项目特征曲线。表面看来两者区别

11、不大,但实际上根据不同理论所得到的项目参数有实质的区别。经典测验理论中难度和区分度都可以通过数学公式来计算。难度参数通常以答对或通过该项目的人数比例来表示,当项目是二分变量时,P =R /N ,P 为难度系数,R 为答对或通过该项目的人数,N 为全体人数。当被试人数较多时,可以根据测验总成绩取被试的高分组和低分组,分别求这两组被试的通过率,再求项目的难度系数:P =P H +P L2,P H 为高分组通过率,67 P L 为低分组通过率1。区分度主要以效标为依据,考察被试在每个项目上的反应与其在效标上的表现之间的相关程度。常用点二列相关、二列相关、四分相关等计算方法。这些参数都是依赖于样本而求

12、得的,不同样本组将得到不同的参数。项目反应理论中项目参数可由不同的数学模式来估计。在三参数L og istic 模型中,参数b i 为难度系数,参数a i 为区分度系数,可以用迭代逼近法或递次逼近法估计。这些参数的求得与样本无关,具有不变性。不同样本组中求得的参数只是量纲位置不同,可以通过等值转换把不同样本组的参数转到同一量表上。2经典测验理论和项目反应理论的联系211经典测验理论与项目反应理论都建立在数学模型上经典测验理论和项目反应理论都将测验数据的统计分析建立在一定的数学模型之上,都把可观察到的被试的反应和无法观察到的被试的潜在特质联系起来,只是经典测验理论采用了线性确定性模型,而项目反应

13、理论采用了非线性概率模型,能更好地反映人的心理现象和学业水平2。212真分数T 与潜在特质值一一对应经典测验理论的真分数T 和项目反应理论中的潜在特质值之间存在一一对应的关系,它们只是用不同的度量方式来表示同一种心理特质。经典测验理论中,真分数被定义为无数次测量的平均值,对特定能力水平的被试,其真分数是其观测分数X 的期望值,即T =E (X 。在项目反应理论中,能力为的被试在项目i 上的得分的期望值E (U i 即是他在该项目上的正确反应概率P i (,即E (U i =P i (。对整个测验的所有项目有E (U i =P i (,又因为T =E (X =E (U i ,所以T =P i (

14、。由于P i (是的严格单调函数,所以与真分数T 也是一一对应的4。213经典测验理论与项目反应理论的项目参数有密切关系从项目参数来看,两种测量理论有密切关系。洛德认为,当被试能力为标准正态分布,项目特征曲线是拟合良好的二参数正态卵形(N or m a l O g ive 函数时,经典测验理论与项目反应理论中的项目区分度有如下关系:a i =i 1-i ,a i 为项目反应理论中项目的区分度,i 为经典测验理论中项目i 的区分度。对于项目难度,则有如下关系:i a i 1+a 2i ,b i -1(P i -i ,b i 是项目反应理论中项目的难度,P i 是经典测验理论中项目i 的难度, -

15、1(P i 是标准正态分布的Z 轴上某一点的Z 分数通过该点作Z 轴垂线的左边部分的面积4。大量研究表明,经典测验理论和项目反应理论的项目参数有很高的相关。目前,我国对于项目反应理论的应用研究尚处于起步阶段,还有很多急需解决的问题,如项目反应理论对一维性假设的条件在实际应用时常常不能得到满足,要求采用很大的样本和适当的模型,不能用于分析主观项目和多级计分模型,没有论及测验的系统误差项目等。但是随着项目反应理论的逐步推广,其在题目参数稳定性、对测量误差的评估等多个方面的优势逐渐为人们所认识。近20年来,以项目反应理论为代表的考试理论研究取得了一些新的进展,出现了多维度项目反应理论(M ulti

16、-di mensional I RT 、非参数项目反应理论(Non -parametric I RT 以及认知诊断理论(Cognitively D iagnosticTheory 等5。这些新的理论的出现加深了人们对项目反应理论的理解。经典测验理论发展至今,有其自身无法克服的缺陷。项目反应理论是对经典测验理论的批判和超越。但项目反应理论也仍不完善,还有很多需要继续深入研究的问题。此外,项目反应理论的推广和应用受到了客观条件的限制,需要有计算机的辅助才能完成繁琐的运算过程。因此尽管项目反应理论在理论架构、项目参数等方面比经典测验理论更为精确和有效,但目前还是以经典测验理论的应用更为广泛。然而,随着项目反应理论研究的深入,计算机技术的发展和客观条件的不断完善,项目反应理论将逐渐广泛