教育测量课件

1、教育测量1. 教育测量基本概念回顾2. 教育测量的分类3. 教育测量理论 3.1经典测量理论（CTT） 3.2项目反映应论（IRT）4. 教育测验的编制 4.1编制步骤 4.2编制细则评价测量（量的记述）或非测量（质的记述）价值判断教育测量1. 教育测量基本概念回顾1. 教育测量基本概念回顾测量的定义量表信度效度难度区分度1. 教育测量基本概念回顾测量的定义2. 教育测量的种类按测验的目标分类： 学业成就测验 智力测验 能力倾向测验测验结果的评价标准分类： 常模参照测验 目标参照测验2. 教育测量的种类按测验的目标分类：经典测量理论 （ Classical Test Theory ）经典测量理

2、论 （ Classical Test T在实际测验中所得到的分数称作实测分数实测分数的组成：有效分数测量误差，测量误差随机误差系统误差故实测分数有效分数（V）随机误差（E）系统误差（I）即：XVIE真分数：通常把上式中稳定出现的V、I之和称作真分数，用T表示TVI实测分数XTE，移项得：EXTE是由偶然因素造成的，结果可正可负3.1.1概念描述在实际测验中所得到的分数称作实测分数3.1.1概念描述3.1.2 CTT的基本假设对某个学生进行测验所得分数X可看作是代表该生实际知识水平的真实分数和测验误差分数的线性组合，真实分数是指在测验完全没有误差时所得到的理想值；是由随机误差引起（并未包括系统误

3、差）。所谓随机误差是指，由与测量目的无关的偶然因素所引起的无规律的误差；系统误差则是指，由与测量目的无关的固定因素所引起的有规律的误差。可正、可负，因而测得的分数X可能大于真实分数，也可能小于。误差分数的数学期望（统计平均值）为零，因此真实分数也可以用一个被试在大量测验中所得分数的统计平均值来表示。任意两次测验所产生的误差相互独立。3.1.2 CTT的基本假设对某个学生进行测验所得分数X可看3.1.3假设的公式推演3.1.3假设的公式推演3.1.4 项目分析项目分析是对测验中的每一道题目进行分析，所以也称“题目分析”。对测验题目的分析一般包括难度分析、区分度分析和迷惑效力分析等三个方面。3.1

4、.4 项目分析项目分析是对测验中的每一道题目进行分析，3.1.5难度分析非客观性试题（填空题，证明题，问答题，计算题，改错题等）的难度为：客观性试题（选择题）的难度为：3.1.5难度分析非客观性试题（填空题，证明题，问答题，计算3.1.6 区分度分析好的试题应能对不同知识水平和能力水平的被试加以区分，所谓区分度就是用来表示这种区分能力大小的质量指标。一道试题的区分度高是指，该题被能力强者答对的可能性大，被能力弱者答对的可能性小；区分度低的试题则不能反映出这种差别。计算区分度的方法有多种，较简单而有效的一种是“两极分组法”。这种方法的基本思想是，比较测验总分最高和最低的两组被试在答对率上的差别。

5、其计算公式如下：3.1.6 区分度分析好的试题应能对不同知识水平和能力水平的3.1.7迷惑效力分析迷惑性答案的效力，是指多项选择题中用的非正确答案被考生选中的可能性，所以这项指标只对多项选择题有意义。对这项指标的计算比较困难，通常是用一次测验中选中某答案的次数来估计该答案的迷惑效力。如果在考试中某一选项无一人挑选，则说明改选项没有迷惑力；如果选用的人数多且低分组的选用多于高分组，则说明改选项的迷惑力强；如果高、低分组选择某选项的人数都较少且人数接近，则说明该选项的迷惑力较弱。显然，在测验组卷时应尽量少用或不用迷惑力弱的试题，以免影响测验效果。3.1.7迷惑效力分析迷惑性答案的效力，是指多项选择

6、题中用的3.1.8整体分析为了检验某一测验是不是良好的测量工具，应当对测验的质量进行分析评估。一个高质量的测验的测验，它的结果应当是可靠而且有效的。所谓可靠是指多次测验的结果一致；所谓有效是指该测验准确地测量了它所要测的内容。用来估计测量一致性程度的指标称为“信度”；而用来估计测量准确性程度的指标则称为“效度”。显然，信度和效度是评价测量质量的两个最主要的指标。 3.1.8整体分析为了检验某一测验是不是良好的测量工具，应当3.1.9信度的估计信度是测量的可靠性度量，而在测验所得的分数中，随机误差所占比重的大小直接反映了测验的可靠性。因此我们可以将真实分数的方差（真实分数的变异数）与测验所得分数

7、的方差（总变异数）之比用来表示信度的大小，并称之为信度系数，用 表示，即：3.1.9信度的估计信度是测量的可靠性度量，而在测验所得的分3.1.10效度的估计 效度是测量的有效性度量。在一个测验所得分数中，与测量目的无关的因素影响越小（或者说与测量目的有关的因素影响越大），测验的有效性就越高，由上式可见这就相当于要求增大 的比重。因此我们就可以将真实分数的方差中与测量目的有关的部分即 （称为“有效变异数”）与测验所得分数的方差 （总变异数）之比，用来表示效度的大小，并称之为“效度系数”，用 表示，即：3.1.10效度的估计 效度是测量的有效性度量。在一个测验所3.1.11效度类型内容效度：指试题

8、对欲测内容的符合程度，即该测验所采用的试题是否能充分反映欲测范围内的教学内容与教学目标。当以考试结果作为了解学生在某一学科的整体表现时，应采用内容效度来评价考试的有效性。对内容效度的估计至今没有定量的计算方法，目前主要采用的是专家判断法和再测法。构想效度：构想效度是指测验对某种理论上的构想或假设的符合程度，因此构想效度主要用于理论研究。估计构想效度的基本步骤是：先从某一理论出发，提出关于某种心理特质或认知能力的假设；然后设计和编制响应的测验对被试施测；最后对测验结果用相关分析法进行分析以验证与理论构想（假设）的符合程度。 3.1.11效度类型内容效度：指试题对欲测内容的符合程度，即3.1.11

9、效度类型准则关联效度 ：准则关联效度是根据测验所作的预测是否能被证实来衡量测验的有效性。如果测验所作的预测与未来实际发生的事情很接近，这个测验就是一个有效的好测验。在这种场合，被预测行为是用来衡量测验是否有效的标准，因此被称之为“准则”。准则关联效度就是要考察测验得分与准则之间有什麽样的关系。例如用“模拟考试”来预测高考的成绩，模拟考试在这里就是一个准则。如果预测的准确性高，该模拟考试就是一个有效的好测验。3.1.11效度类型准则关联效度 ：准则关联效度是根据测验所3.1.12经典测量理论的局限第一，CTT用于评价试题质量的指标（如难度和区分度）严重依赖于计算这些指标时所用的被试样本。例如：对

10、同一试题，若被试样本的能力水平异质（程度参差不齐），则求出的区分度值会很高，反之会很低。经典测量理论(CTT)在三条基本假设的基础上建立了自己的测验方法体系，导出了包括信度、效度、难度、区分度和迷惑效力在内的一整套质量指标的计算公式，使整个测验过程比较科学和客观，因而具有较大的实用价值。但是，随着测量实践的深入和发展，经典测量理论也暴露出一些难以克服的局限：3.1.12经典测量理论的局限第一，CTT用于评价试题质量的3.1.12经典测量理论的局限第二，CTT对被试的某项能力或知识水平的估计，只有当所有被试都使用同一个测验或并行的测验时才是可比的；若对同一水平的被试使用不同的测验，则其测量效果无

11、法进行直接比较。第三，CTT主要适合与检查学生相对能力水平的测验（亦称“常模参照测验”），而不适合于考察学生实际能力水平的测验（亦称“目标参照测验”）。例如，在目标参照测验中，当被试组全部通过或全部不能通过测验时（这种情况完全可能发生），CTT根本无法对这种情况的难度和区分度进行计算。3.1.12经典测量理论的局限第二，CTT对被试的某项能力或3 .2项目反映理论 （Item Response Theory）3 .2项目反映理论 （Item Response The3.2.1 项目反映理论项目反映理论（IRT）正是针对经典测量理论的上述局限提出来的。它的最大优点就是，项目参数（CTT中的质量指

12、标对应）的估计值与被试样本的选择无关；对被试能力水平的估计值与施测所用试题无关；同时还能给出测验项目对被试实际能力估计值的精度。 3.2.1 项目反映理论项目反映理论（IRT）正是针对经典测3.2.2 项目反映理论的假设第一、单维性假设即假定当前测验仅测量被试的某一项知识或能力。事实上，任何测验都不可能是单维，因为除了该测量的能力之外，被试的个性、认知特点、测验环境等因素都可能对测验有影响。但是，只要所测量的内容是其中最主要的或主导的因素，就可以认为是单维性测验。这样做不仅简化了对问题的分析，也基本符合绝大多数的实际情况。第二、局部独立性假设被试对某一测验项目的反应只与该测验项目本身有关，而不

13、受其它测验项目的影响；在某一测验项目上作答的各个被试也彼此独立，各被试的成绩仅由本身的内在素质和能力水平决定，一个被试的成绩不会影响另一个被试。第三、项目特性曲线假设IRT认为，可观察的被试的测验得分与影响测验成绩的不可观察的内在素质、能力水平之间所存在的关系，可用“项目特性曲线”描述。所谓项目特性曲线假设，就是对这种关系的数学表示形式所作出的一种假设。在IRT中，这种假设也被称为“项目反映模型”。换句话说，项目反映模型就是用来表示被试的测验得分（或正答概率）与被试内在素质、能力水平之间所存在关系的一种数学函数，所以也叫“项目反映函数”。3.2.2 项目反映理论的假设第一、单维性假设即假定当前

14、3.2.3项目反映模型3.2.3项目反映模型3.2.4项目反应模型的参数 被试的能力参数，用Q表示项目的质量参数，用a、b、c标识，分别称为区分度参数、难度参数和猜测参数这些参数值都不能由直接测量得到，而必须通过对被试的反应数据进行估计来求出。对于项目反应模型中参数的估计，通常采用的是极大似然估计法3.2.4项目反应模型的参数 被试的能力参数，用Q表示项目的3.2.5项目与测验的信息函数 某个试题j的信息函数值的大小直接反映出该题对被试能力素质水平的估计精度，信息函数值越大，这种估计就越精确。因而信息函数可作为衡量测验试题是否有效的工具。在项目反应理论中，某个测验项目j的信息函数定义为：3.2

15、.5项目与测验的信息函数 某个试题j的信息函数值的大小4 教育测验的编制与实施4 教育测验的编制与实施4.1编制测验的一般步骤确定测验目的分析教育目标测验取材并编拟题目试测与分析编制测验（测验的目的、时间限制、回答试题的方法、记分的方法）4.1编制测验的一般步骤确定测验目的4.2.1简答题与填空题1.基本特点根据呈现的问题，学生以一个词、短语、数字或者符号做出回答适合测量各种相对简单的学习结果问题答案可以由数字或符号表示的数学和科学领域（此类问题用选择题的方式进行测试，可能会不能达到测试的目的）2.优点和局限性优点：容易编制学生必须提供答案，减少了通过猜测获得答案的可能局限性：不适合测量复杂的

16、学习结果记分的难度4.2.1简答题与填空题3.编制简答题的一些建议题目措辞时，应使要求的答案简洁具体以其他动物的肉为食的动物是（ ）以其他动物的肉为食的动物属于（ ）类不要直接引用教材上的陈述作为简答题的基础直接提问通常比不完整的陈述效果更好如果答案要以数字单位的形式表示，请标明要求的答案类型给题目答案留的空白长度应该一样而且都放在题目的右端使用填空题时，需要学生填的空不要太多4.2.1简答题与填空题4.2.1简答题与填空题1.基本特点用于测量事实性陈述、术语定义以及定律表述是否正确的辨认能力2.优点和局限性优点：效率高可以获得课程内容的大样本局限性：测量的学习结果种类有限（大多为知识领域）具

17、有猜测性4.2.2是非题4.2.2是非题3.编制是非题的一些建议要判断正误，应避免过于宽泛的判断美国总统是选举产生的（ ）美国总统通常是选举产生的（ ）避免琐碎的陈述避免使用否定句式，尤其是双重否定避免使用长的复杂句型如果不是测量因果关系，应避免在一个判断中包含两个观点避免使用没有任何来源的观点，除非要测的是判断观点的能力避免使用长度不一的正确判断和错误判断避免正确判断和错误判断地数量不合比率4.2.2是非题4.2.2是非题1.基本特点由一个问题和一列选项组成学生答题方式是选择正确的或者最佳的选项错误的选项叫干扰项，目的在于干扰那些知识掌握不牢固的学生答题2.优点和局限性优点：较强的灵活性，可

18、以用来测量多种类型的知识和理解水平的学习内容在测量各种类型的学业成绩方面有广泛的应用性摆脱了其他类型的客观题的局限性与填空题相比：呈现一个更加明确的问题与匹配题相比：不需要同质性的材料与判断题相比：减少了线索和猜测的可能性局限性：局限于对言语水平的测量难以找到足够多的似是而非的干扰项4.2.3 选择题4.2.3 选择题3.设计选择题的建议题干本身具有意义并以一个确定的问题呈现南美（ ） 大多数居住在南美的殖民者来自于（ ）题干应包括尽可能多的内容，但与题干无关的材料应该删去大多数南美国家的居民是来自西班牙的殖民者。你将如何解释大量的西班牙殖民者定居在那里呢？西班牙殖民者定居在南美许多国家是为了寻找除非某种重要的学习结果需要，一般不使用否定式的题干下面哪个州不位于回归线以北？下面哪个州位于回归线以南？全部的选项都应与题干在语法上保持一致除非说明是多选题，否则一个题目应该只有一个正确或者明显的最佳答案4.2.3选择题4.2.3选择题3.设计选择题的建议用来测量理解力的题目应该具有一定的新颖性，但也不要过于新颖所有的干扰项都应该是似是而非的选择题中应该有多少个选项？编制具有迷惑性的干扰项的方法使用学生最常见的错误使用