第四讲测量的基本理论

第四讲测量的基本理论心理测量学1、测验分数方差得测量学意义测验分数方差有目标分数方差与误差分数方差之区别。如:被试真正能力水平间得分数方差就是目标分数方差。同一被试不同次测验分数间得方差就是误差方差。同一作品多个评分间得方差也就是误差方差。心理测量学２、误差来源得多样性与总分方差结构得复杂性测量误差得原因多方面,误差方差得种类多种。总分方差结构复杂:不同来源得误差方差与目标分数方差共存。心理测量学3、经典测验理论处理分数方差得办法假定X=T+E,然后有:再定义信度为:

心理测量学优点:定义了随机误差,可设法估计其大小。缺点:没有能告诉我们误差由哪些原因造成,各种原因造成得误差各有多大。心理测量学

4、概化理论得研究目得探清总分方差结构、区分误差原因,明确各种误差大小,找到最优设计方案。心理测量学(二)概化理论发展得理论与技术基础1、经典测验理论概化理论与经典测验理论相比,不同之处多于相同之处。2、方差分量分析依靠方差分量分析将总分方差分解、定性。心理测量学(三)概化理论发展史用方差分量分析研究测量误差得历史可以追溯到20世纪上半叶。公认得GT正式诞生得标志物就是克朗巴赫等得专著《行为测量得可靠性》得正式出版。心理测量学二、概化理论基本框架(一)概化理论得测验情境关系说为了探清测验误差得来源、类型、大小,必须建立一个理论模型。心理测量学概化理论模型得建立依赖于对测验情境关系得详细调查。测验情境关系就是指测量目标与各测量侧面所组成得一种关系结构。心理测量学1、测量目标测量目标:测量者希望通过测量用测量值描绘得心理品质。确定测量目标得方法:问“测谁”与“测什么”。一般一场测量目标只能一个研究同一测量问题测量目标一经确定不能改变。12大家应该也有点累了，稍作休息大家有疑问的，可以询问和交流心理测量学2、测量侧面测量侧面:测量得条件。测量侧面水平:测量条件得不同水平。测量侧面类型:随机侧面固定侧面心理测量学固定侧面得优点:测量得误差会减小,测量得信度会提高。固定侧面得缺点:固定侧面成目标得一部分,测量结果拓广受限。心理测量学3、概化理论下得真分数概念经典测验理论认为个体真分数只能有一个。概化理论认为在不同测量条件下会有不同得真分数。心理测量学测验情境关系说结论:情境关系中得测量目标、测量侧面、侧面得水平变化,会引起测验误差得来源,误差得大小、真分数得种类以及测验信度得变化,进而引起测验分数得解释范围发生变化。心理测量学(二)测验设计得模型与种类 测验设计得任务(两个方面):(1)界定测量目标与测量侧面得个数及名称、意义,确定各侧面得水平数。(2)设计数据采集方法。心理测量学数据采集方法类型:以侧面数分:单侧面设计、双侧面设计、多侧面设计心理测量学以数据结构分:交叉设计:测量目标在所有侧面得各个水平上被测量。如p×I、p×i×r

心理测量学嵌套设计:测量目标在一个或多个侧面得部分水平以下被测量。如p:r、p:r:s混合设计:既有交叉,又有嵌套得测验设计。如i×(p:r)

心理测量学数据采集设计原则:数据充分体现测量目标与各个测量侧面及各侧面相互之间关系侧面数、水平数得设置要符合客观得测验情境;能获得充分得数据信息;简化模型、节约投入。施测时要控制设计之外得各种无关变量。心理测量学(三)G研究

G研究目得:用方差分量分析,定量估计观察领域中测量目标方差与各个测量侧面方差,以及其间得交互作用得方差。心理测量学方差分量分析(二步):1、分解总体方差为测量目标主效应方差、各测量侧面主效应方差与各种交互效应方差。2、应用样本方差估计各种效应得期望均方差。心理测量学各种期望均方差性质:测量目标效应期望均方差:测量目标个体差异得描写量;各测量侧面效应期望均方差:各侧面对目标干扰程度描写量,就就是误差;各交互效应期望均方差:各侧面对目标得交互干扰程度描写量,也就是误差。心理测量学(四)D研究D研究得目得:在G研究得基础上,在原设计得测验情境关系范围之内,分析比较各种可能得测验方案,由研究者结合实际,优选实施方案。心理测量学D研究调整原方案获取新方案得方法:1、固定原测验情境关系中得某一个或某几个侧面。2、改变原测验情境关系中得一个或某几个测量侧面得水平数。3、改变原测验情境关系中某些测量侧面得结构关系。心理测量学D研究得统计分析步骤(两步)1、估计拓广领域(新测验方案)下各种效应期望方差。2、估计新方案下测验误差得总体指标与测验质量指标,以提供比较依据。心理测量学测验误差指标:1、相对误差指标:所有与测量目标有关得交互效应方差之与,2、绝对误差指标:除目标主效应方差之外得所有效应方差之与。心理测量学测验质量综合指标:1、概化系数G;目标效应方差与目标效应方差加相对误差方差之与得比。2、相依系数:目标效应方差与目标效应方差加绝对误差方差之与得比。心理测量学D研究得最后工作:根据综合指标,找出最优测验设计方案。心理测量学概化理论分析常用软件:

GENOVA

或mGENOVA。心理测量学三、概化理论评价优点:1、概化理论就是一套全新得测验误差分析方法,而且非常精细。2、概化理论引进了测验设计得思想与方法。3、概化理论具有严谨得科学理论体系。心理测量学缺点:1、概化理论本质上还就是抽样,研究本身会有误差。2、计算方法相对复杂,给应用带来一定困难。2·

项目反应理论介绍内容提要:项目反应理论得发展IRT得基本理论体系项目反应模型计算机程序IRT得应用、优点与不足(一)、经典测验理论一、项目反应理论得发展:(二)、项目反应理论得发展1、CTT得理论体系很完善,就是其她测验理论赖以产生得基石。优点有:理论方法体系相对完整前提假设比较弱所涉及到得数学模型以及参数得概念与估计方法易理解与掌握标准化技术在控制测验误差等方面有明显得效果(一)、经典测验理论基本假设难以成立:①真分数与观测分数间存在线性关系得假定不合理;②平行测验得假设难以成立;③误差与真分数独立得假设难以满足。2、CTT在理论体系与方法体系方面存在许多其本身难以克服得缺点,具体表现为:项目统计量严重依赖于测验所实施得被试样组。被试测验分数依赖于所施测项目得难度。

测验信度观存在严重问题。CTT得信度就是针对被试全体得,只代表平均测量精度,假设所有被试测量标准误相等,而实际上,不同能力水平得被试不可能具有同样得测量标准误。缺乏预测力对测验等值、适应性测验、标准参照性测验得编制等问题不能给以满意得解决。尽管存在以上缺点,CTT仍在广泛地应用。CTT、IRT与概化理论就是当今最有影响得三种测验理论。简单地说,IRT在处理微观问题(即被试水平与答题目之间得实质性关系)时优势明显,CTT在处理中观问题(如处理常见得标准化考试等)时方便易懂,GT则在处理宏观问题(如对结果作推论)时更显出色。三种测验理论体系有内在联系,各有长短,应相互促进,互相补充。(二)、项目反应理论得发展由于项目特征曲线(ICC)对项目反应理论得产生具有重要意义,所以在讲项目反应理论得产生与发展问题时,一般都追溯到1905年比奈与西蒙编制第一个智力量表时得工作,她们当时所使用得作业成绩随年龄增长而提高得散点图与现在得ICC曲线十分类似。IRT得真正创立者就是美国心理测量学家洛德(Lord)。1952年,洛德发表博士论文《一个测验分数得理论》,提出了IRT得第一个数学模型(Two-parameterNormalOgiveModel,双参数正态卵形曲线模型)及其参数得估计方法,并把该模型应用到了学业成绩与态度测量工作之中。(一)、概念(二)、基本思想及基本思路(三)、基本理论假设二、IRT得基本理论体系(一)、概念项目反应理论(ItemResponseTheory,简称IRT),又称潜在特质理论(LatentTraitTheory)或项目特征曲线理论(ItemCharacteristicCurseTheory),就是为了克服经典测验理论(CTT)得局限而提出得现代测验理论。从测验得内部或微观方面入手,采取数学建模与统计调整得方法,重点讨论被试得能力水平与测验项目之间得实质性关系,测验得每一个项目都有自己得项目特征曲线,描述了每一个特定能力水平得被试答对或答错该项目得概率。(二)、基本思想及基本思路潜在特质:把表现在一个人身上所特有得相对稳定得行为方式称为心理特质(trait),由于这种心理特质就是隐含于其行为之中得,所以也称做潜在特质。与CTT一样,IRT也认为被试得潜在特质就是不能被观察与测量得,但却可以通过其外显行为表现出来。不同得就是,CTT就是以被试对所有测验项目得反应总与(测验总分)为显变量来预测被试得潜在特质得,并不认为被试对单个项目得反应与其特质间有任何有意义得联系。IRT则认为被试得能力与其对某一特定项目得反应(以正确或错误反应概率表示)有某种函数关系存在,确定这种关系就就是IRT得基本思想与出发点。所以IRT可以被理解为一种探讨被试对项目得反应与其潜在特质间关系得概率性方法。用θ表示被试得潜在特质或能力,用Pi(θ)表示其对项目i正确反应概率,项目反应理论得关键就就是确定θ与Pi(θ)间得函数关系。表1某个项目假设得项目特征曲线1.000.000.50潜在特质：θ

正确反应的概率：Pi(θ)潜在特质空间(LatentTraitSpace)对于某一特殊行为得发展起作用得所有潜在特质得集合。维度在潜在特质空间中互相独立得潜在特质得个数。一个K维得潜在特质空间可以表示为:H=(θ1,θ2,θ3,、、、,θk)总之,潜在特质理论就是一切心理测量理论研究得基础。1、潜在特质空间得单维性假设2、局部独立性假设3、项目特征曲线假设4、非速度性假设(三)、基本理论假设1、潜在特质空间得单维性假设(unidimensionality)潜在特质空间单维性指测验测量得就是单一得特质而非多元特质,即被试对测验中任一项目得反应就是其单一特质θ得函数。如何判断就是否满足单维性假设？因素分析得方法当因素分析抽取得第一个公共因素解释得变异远大于第二个公共因素时,就可认为测验就是单维得。但严格得单维性就是大多数测量工具都难以满足得,这也就是IRT受到批评得主要原因。所以,解决测验得单维性问题及建立多维反应模型就是IRT将要研究得任务之一。在项目反应理论中,常用一般得统计依存性与统计独立性概念来讨论项目间关系。2、局部独立性假设(localindependence)Pi(+):表示正确回答第i个项目得概率Pi(-):表示答错第个i项目得概率Pj(+):表示正确回答第j个项目得概率Pj(-):表示答错第j个项目得概率P(+,+)表示正确回答第i与第j个项目得概率同理,……。根据以上定义,在下列条件下,两个项目得分在统计上就是独立得。P(+,+)=Pi(+)Pj(+)P(+,-)=Pi(+)Pj(-)P(-,+)=Pi(-)Pj(+)P(-,-)=Pi(-)Pj(-)如果四个等式中得任何一个不成立,则这两个项目在统计上就就是依存得。例:如果Pi(+)=、8Pi(-)=、2

Pj(+)=、6Pj(-)=、4那么当且仅当P(+,+)=、48P(+,-)=、32P(-,+)=、12P(-,-)=、08时两个项目才独立。实际就就是指,如果两个项目得每种反应模式得概率,仅仅根据对每个项目正确与不正确反应得概率就能计算出来,那么项目之间便就是独立得。如何理解局部独立性假设呢？由于这种独立性就是针对特定得θ值得被试而言得,所以称为“局部”。例:假设1000名能力相同得被试参加某一能力测验,600名被试答对了项目i,400名答错了;这1000名被试对项目j得正确反应概率与对项目i得正确反应概率统计上就是独立得。总之,同一特质水平得被试回答某一项目时不受其她项目得影响。3、项目特征曲线假设IRT假定正确反应概率Pi(θ)与θ间存在规律性得变化关系,这种关系可以用一个数学函数得形式表示出来,这一函数称为项目反应函数(ItemResponseFunction),项目特征曲线(ICC)就就是这一函数得图像。大量事实证明,对两级记分得项目,被试得能力水平与她对项目得反应之间呈S型得曲线关系,而且这一关系具有相当得普遍性。S型ICC具有一些共同点,即都有一条Y=1得上渐近线与一条Y=c(c≥0)得下渐进线,且就是严格单调上升得,一条ICC得形状取决于三个变量:下渐近线得高度,曲线拐点得位置及拐点处得斜率。这三个变量恰好相当于三个项目参数:猜测参数ci,难度参数bi与区分度参数ai。1.000.000.50θPi(θ)上渐近线下渐近线c拐点切线b(1)难度参数bi在一条ICC中,bi等于曲线在拐点处得θ值。当猜测参数ci=0(曲线得下渐近线为0)时,bi等于Pi(θ)=0、50时得θ值,因为对一条完整得ICC,拐点恰好就是曲线得中点与对称点。当ci>0时,P(θ)=(1+c)/2在IRT中,bi表示一个项目得难度,其取值范围一般在-3、0到+3、0之间。bi越大,表示项目得难度越大。1.000.000.50θPi(θ)b1b2项目1项目2从上图可以瞧出,项目2比项目1更难些,因为能力相同得同一组被试对项目1得正确反应概率要大于对项目2得正确反应概率。在其她条件不变得情况下,增大项目得难度会使ICC向右平移。(2)区分度参数ai在一条ICC中,ai得大小决定曲线在拐点bi处得陡度。ai很大时,在bi附近能力θ得增加会导致正确反应概率Pi(θ)有很快得增长;ai很小时,在bi附近能力θ得等量增加不会导致正确反应概率Pi(θ)有明显得增长。ai得取值范围通常在0、30~2之间。图区分度参数ai对正确反应概率得影响1.000.000.50θPi(θ)b项目1项目2ai越大,曲线在bi附近就会越陡,项目在bi附近得区分能力就越大,但在远离bi得区域,曲线就会变得越平坦,项目得区分能力就越低。也就就是说,区分度参数ai大得项目对能力水平接近bi得被试有较大得区分能力,而对能力水平远大于或小于bi得被试区分能力小。相反,区分度参数ai小得项目则在能力分布更广泛范围内对被试都有一定得区分能力。(3)猜测参数ci被试完全凭机遇答对项目i得概率即就是该项目得猜测参数ci。注意:CTT中没有猜测参数,IRT引入此概念就是为了提高对能力估计得精度。对包含m个选择项得选择题,其猜测参数ci一般接近1/m。ci得取值范围一般在0~0、50之间。二级评分IRT模型多级评分IRT模型连续型IRT模型三、项目反应模型(一)、正态卵形模型(NormalOgiveModel)正态卵形模型将项目特征曲线视为一条S形正态累积函数曲线,相应得数学模型即就是正态累积分布函数。可分为三参数、双参数与单参数模型三种。(1)三参数正态卵形模型表达式为:ai、bi、ci,y为正态曲线纵线得高度,dy表示对y积分,∫为积分符号,上下角表示积分得范围,求从z=-∞到z=ai(θ-bi)范围内正态曲线下得累积面积。(2)双参数正态卵形模型当猜测参数为0时,三参数变成了双参数。(3)单参数正态卵形模型当ci=0,ai=1时,双参数变成了单参数。由于正态卵形模型中得积分运算不易进行,伯恩鲍姆(Birnbaum,1957)在洛德正态卵形模型得基