经典测评理论的发展技术及运用

1、经典测评理论的发展、技经典测评理论的发展、技术及运用术及运用西北师范大学教育科学学院吕国光 Email: 山 茶 书主要内容主要内容 测评的含义及教育测评的历史发展测评的含义及教育测评的历史发展 经典测评理论实施的条件经典测评理论实施的条件 经典测评理论的实施技术及在教育经典测评理论的实施技术及在教育评价中的运用评价中的运用测评的含义测评的含义及教育测评的历史发展及教育测评的历史发展教育测评的含义和特点教育测评的含义和特点教育测评的含义和特点教育测评的含义和特点教育测评的含义和特点教育测评的含义和特点教育测评的历史发展教育测评的历史发展 1864年英国教师年英国教师George Fisher收

2、集许多学生成绩收集许多学生成绩样本，分别优劣，汇集成样本，分别优劣，汇集成量表集量表集（Scale Book），作为度量学生各科成绩的标准。），作为度量学生各科成绩的标准。 1895年美国学者年美国学者Rice主张用统一的测验考察、比主张用统一的测验考察、比较各校学生的成绩，并编制了算术、语言等测验。较各校学生的成绩，并编制了算术、语言等测验。 1905年法国学者年法国学者Binet和和Simon制订的第一个智力制订的第一个智力量表。量表。 1940年由美国学者年由美国学者Tyler主持的主持的“八年研究八年研究”结结束，标志束，标志经典测评理论实施的条件经典测评理论实施的条件 信度 效度 难

3、度 区分度一、信度一、信度(reliability)的意义的意义 信度指观测值和真值相差的程度信度指观测值和真值相差的程度 信度指统计量与参数之间的接近程度信度指统计量与参数之间的接近程度 信度是指一种测验对相同被试再次测验时引信度是指一种测验对相同被试再次测验时引起同样反映的程度起同样反映的程度信度指观测值和真值相差的程度信度指观测值和真值相差的程度X=T+E X表示观测值表示观测值,T表示真值表示真值,E表示误差分数表示误差分数.在在团体测验中团体测验中, T可以理解为许多人可以理解为许多人(理论上应理论上应是无限多人是无限多人)在相同条件下进行同类测量所获在相同条件下进行同类测量所获得的

4、大量观测值的平均数得的大量观测值的平均数.各人的真值与观测各人的真值与观测值之差仍称测量误差值之差仍称测量误差. E=X-T由于测量误差是随机产生的,与真值无关.在理论上正的误差分数和负的误差分数相抵消,平均误差为0.根据这一假设,观测值的方差应等于真值的方差加上测量误差的方差.即:x =t +e 于是，信度（用于是，信度（用rxx表示）可定义为真表示）可定义为真值方差（值方差（ t ）与观测值方差（）与观测值方差（ x ）的比率。即：的比率。即：rxx =t /x 此公式表明：真值的方差在观测值此公式表明：真值的方差在观测值方差中所占的比重越大，则信度就方差中所占的比重越大，则信度就越高。越

5、高。计算信度的公式计算信度的公式rxx =t /x （1）x =t +e （2）t =x -e （3）rxx =t /x = 1- e / x （4）信度系数的计算信度系数的计算常用的信度系数有：稳定性系数（coefficient of stability）等值性系数（coefficient of equivalence）内部一致性系数（coefficient of internal constancy）稳定性系数 稳定性系数（coefficient of stability）：用同一量表对相同被试在不同时间测验两次的观测分数的相关系数。稳定性系数的意义稳定性系数的意义 任何事物都在运动变化着

6、，但也具有一定的稳任何事物都在运动变化着，但也具有一定的稳定性，所以才能对事物进行测量和研究。教育定性，所以才能对事物进行测量和研究。教育测量也是假定所测量的特性处于相对稳定的状测量也是假定所测量的特性处于相对稳定的状态，如果用同一种量表对相同的被试测量两次，态，如果用同一种量表对相同的被试测量两次，其结果应相同或近似。换言之，测量结果应具其结果应相同或近似。换言之，测量结果应具有稳定性。例如，在一次测验中得高分的学生，有稳定性。例如，在一次测验中得高分的学生，在另一次测验中也有得高分的倾向，被试在两在另一次测验中也有得高分的倾向，被试在两次测验中的相对地位也非常接近。这种稳定性次测验中的相对

7、地位也非常接近。这种稳定性也就表明测验结果是可靠的或信度高的。也就表明测验结果是可靠的或信度高的。使用稳定性系数时要注意的问题使用稳定性系数时要注意的问题 两次测验的时间间隔要适宜；两次测验的时间间隔要适宜； 重测法适用于速度测验而不适用于难度重测法适用于速度测验而不适用于难度测验。测验。 要注意提高被试的积极性。要注意提高被试的积极性。 等值性系数 等值性系数（coefficient of equivalence）是以两个等值（题型、题数、难度、区分度等）但具体内容不同的量表，在最短时距内，对相同被试先后试测两次所获得的两组对应分数的相关系数。等值性系数可采用复份法（equivalence

8、forms reliability）使用等值性系数时要注意的问题内部一致性系数 内部一致性系数（coefficient of internal constancy）：是同一测验量表的两个部分得分的相关系数。 计算内部一致性系数的方法有两种：（1）分半法（2）Cronbach 分半法 将测验按题目的编号分为两半：一半是奇数题，一半是偶数题。先计算每个人的奇数题和偶数题总分，然后求奇数题和偶数题总分的相关系数。最后用Spearman-Brown公式校正。求整个测验的信度系数。 问题：为什么要进行校正呢？Cronbach 系数 使用最广泛的信度系数 计算公式： =n/（n-1）*（1- i / x

9、）其中，n为题目数， i 为每题被试观测分数的方差之和， x 为所有被试观测总分的方差。影响信度的因素 测验的长度 测验愈长，内容愈具代表性，信度愈高 变量的方差 方差愈大，信度愈高rxx = 1 -e /x 信度 题目数和信度的关系 测验的难度 太难或太简单均会降低信度 测验的客观性 愈客观，信度愈高 100 75 50 25 0 1 2 3分數难度太小难度太大难度适当平均数（M）：85 21 60标准差（) ：3.9 4.2 12.4信度（KR21）：0.43 0.46 0.90 分数之分散度和难度与信度之间的关系提高测验信度的方法效度的意义 测验分数的正确性，意即“有多正确的程度” 效度

10、的种类 内容效度(content validity) 效标关联效度(criterion-related validity) 建构效度(construct validity) 传统上强调效度的概念有三种，而且是有所区别的內容效度(content validity) 意义：测验在逻辑上能测出所要测量的变量或特质的程度；测验内容的代表性或取样的适切性；又称为逻辑效度(logical validity)或专家效度(expert validity) 考验方法：由专家以逻辑判断的方式来决定，测验内容是否具有代表性以代表潜在的总体试题效标关联效度(criterion-related validity) 意义

11、：测验分数与外在效标间的关联程度，意义：测验分数与外在效标间的关联程度，效标是指测验所要衡量或预测的某些特质。效标是指测验所要衡量或预测的某些特质。又称为统计效度又称为统计效度(statistical validity)(statistical validity)或或实证效度实证效度(empirical validity)(empirical validity) 类型类型 同时效度同时效度(concurrent validity)(concurrent validity) 预测效度预测效度(predictive validity)(predictive validity) 考验方法：求测验分数

12、与其他测验成绩之相考验方法：求测验分数与其他测验成绩之相关。其他测验成绩如在同时测量则为同时效关。其他测验成绩如在同时测量则为同时效度；如在往后测量则为预测效度度；如在往后测量则为预测效度结构效度(construct validity)的意义结构效度的考查方法 测验的难度影响测验分数的分布形态 测验难度影响测验分数的离散程度（Ebel的实验） 测验难度影响测验的鉴别能力 难度对测验的影响难度对测验的影响测验的适宜难度测验的适宜难度 .50 .20-.80区分度区分度 区分度区分度(Discrimination)是指测验对是指测验对被试实际水平的区分程度被试实际水平的区分程度.区分度的计算方法区分度的计算方法客观题客观题（1）D=Ph-Pl 其中，其中， D为区分度符号，为区分度符号，Ph为高分为高分组通过试题的人数比例，组通过试题的人数比例，Pl为低分为低分组通过试题的人数比例。（组通过试题的人数比例。（27%）经典测评理论的实施技术及经典测评理论的实施技术及在教育评价中的运用在教育评价中的运用有关教育测评的资源有关教育测评的资源 ERIC Clearinghouse on Assessment and Evaluation at