计算机辅助教育测量与评价第3章

1、中国水利水电出版社第3章 教育测量与评价的质量分析3.1 信度3.1.1 同质性信度3.1.2 分半信度3.1.3 再测信度3.1.4 评分者的信度3.1 信度 测验的信度是指测验结果的可靠性或可靠程度。所谓可靠性是指对同一组对象进行两次相同测量所得结果的一致性和稳定性程度。常用的信度估计方法有：计算测验内部各项目的得分的一致性，得到同质性信度；用同一测验对同一组被试，前后测验两次，据两次测验分数计算其相关系数，得到再测信度；当一种测验只能施行一次且没有复本时，可按测验题目的奇偶数分两半计分，求相关系数，经校正得到分半信度。同质性信度 同质性信度也称为内部一致性信度，是指测验内部所有项目的一致

2、性。常用的估计方法有克伦巴赫系数等。同质性信度 对于信度系数，应该注意以下要点：（1）Cronbach的信度系数衡量的是测量某一心理结构的一组试题测量结果的可靠程度。（2）理论上说，Cronbach的信度系数取值范围在0到1之间，但实际上95%的测量的系数在0.50到0.90之间。根据Nunnally（1967），信度系数的不同范围，反映出测量量表的不同问题。同质性信度 信度系数的解释（Nunnally，1967） 同质性信度 （3）Cronbach的信度系数可以表示成试卷的试题数与试题间平均相关系数的函数，即信度系数的标准化形式：由公式可见，试题数增加，信度系数增加。若试题间相关系数的平均值

3、低，信度系数就比较低；反之，信度系数就比较高。同质性信度 （4）如果信度系数高，说明试题间的相关系数平均值比较高，考生在某道试题上得高分，在另一道试题上得高分的概率就比较高，这可能说明这些试题测量的是单一的心理结构。（5）如果信度系数较低，说明试题间相关系数平均值较低，这暗示数据可能存在多维结构。在这种情况下，需要进行因子分析，确定数据维度。然后，对同一维度的试题计算信度系数。同质性信度 （6）Cronbach在2004年已经提出，不应再将信度系数看作是考试结果信度的主要衡量指标，应该用标准测量误差来衡量考试结果的信度。标准测量误差与信度系数以及考试的标准偏差相关：分半信度 分半信度是在测试以

4、后对测试项目按奇项、偶项或其他标准分成两半，分别记分，由两半分数之间的相关系数得到信度系数。分半信度 由于分半，所求得的相关系数只是半个测验的信度，可能会高估原测验的信度，因此需要根据斯皮尔曼布朗公式校正：其中：为两半测验分数的相关系数。 再测信度 同一个测验项目，对同一组人员进行前后两次测试，两次测试所得分数的相关系数即为再测信度。它反映两次测验结果有无变动，也就是测验分数的稳定程度，故又称为稳定性系数。再测信度 再测信度的计算必须满足以下几个假设：（1）所测量的特质必须是稳定的；（2）遗忘和练习的效果相同；（3）两次测试期间被试对问题的熟悉情况没有差别。评分者的信度 当测验是论文式试题时，

5、不同评分者对同一试卷的评分结果不相同，有时差异很大。这时不宜用系数计算其信度，必须对评分者评分的一致性进行估计，因为此时误差主要来自评分者的差异。 评分者的信度 若只有两人参加评N份试卷，可用斯尔曼等级相关方法计算；若三个以上评分者评N分试卷，则需采用肯德尔（Kendall）和谐系数来表示信度：式中K为评分者人数，N为评分的试卷数，为第i个被评价对象的K个等级之和 。3.2 效度 3.2.1 内容效度3.2.2 结构效度3.2.3 因素分析的SPSS操作3.2.4 验证性因素分析的应用例举3.2.5 效标关联效度3.2.6 效度与信度的关系3.2 效度 效度是指一个测验或量表实际能测出其所要测

6、量的特性的程度。测验或量表就是测量使用的工具。如果一次测量能测出其所要测的特性，那么我们就认为这个测验或量表是有效的。显然，效度是测量质量的一个极其重要的方面，测量工具如果无效或效度太低，就失去了存在的价值。内容效度 内容效度：测验题目样本对于应测内容与行为领域的代表性程度。一个测验具备良好的内容效度应满足两个条件：测验内容范围要明确。对学业成绩测验来说，就是试题要符合教材内容和教学大纲，试题不应该超出确定的范围。试题应是已界定的内容范围的代表性样本，它应该覆盖所测内容的主要方面，并使各部分题目所占比例适当。 结构效度 所谓结构，是指心理学或社会学上的一种理论构想或特质。它本身观察不到，并且也

7、无法直接测量到，但学术理论假设它是存在的，以便能够来解释和预测个人或团体的行为表现。结构效度就是指测验成绩所能够解释心理学或社会学理论上的某种结构或特质的程度。因素分析的SPSS操作 SPSS for Windows使用Factor过程进行因子分析，其基本步骤为：（1）计算相关矩阵，判断是否需要进行因子分析，并采用KMO检验及球形检验来判断原始变量是否适合于因子分析。（2）进行因子分析，按一定标准确定提取的因子数目。（3）考察因子的可解释性，并在必要时进行因子旋转，以寻求最佳解释方式。（4）计算并保存因子得分，以便进一步分析使用。验证性因素分析的应用例举 验证性因素分析属于结构方程模型（str

8、uctural equation modeling；简称SEM）的一种次模型，为SEM分析的一种特殊应用。由于SEM的模型界定能够处理潜在变量的估计与分析，具有高度的理论先验性，因而若是研究者对于潜在变量的内容与属性，能提出适当的测量变量以组成测量模型，借由SEM的分析程序，便可以对潜在变量的结构或影响关系进行有效的分析。 效标关联效度 效标关联效度是指测验分数与作为效标的另一独立测验结果之间的一致性程度。一般是用本测验分数与效标测验结果之间的相关系数表示。 效标是用来检测效度的参照标准，可用来作效标的变量很多。 效标关联效度效标关联效度可以分为两种:同时效度:一种测验的结果与另一大约同 时获

9、得的测验结果（效标）之间的一致程 度，并用两测验结果的相关系数来估算。预测效度:某一测验结果与另一将来获得 的测验结果之间的相关程度。 效标关联效度从效度估计的方法上来看，效标关联效度可以用三种方法进行估计: 命中率 显著差异法 相关法 效度与信度的关系 效度是测量准确性的量度，信度是测量结果一致性或稳定性的量度，准确性与一致性的关系，亦即效度与信度的关系。若一测验的信度低，则其效度也不会高；而测验的信度高时，却不一定保证效度高。但是，具有高效度的测验都必定有足够高信度。所以，高信度是高效度测验的一个必要条件而非充分条件。3.3 难度 3.3.1 难度系数的计算办法3.3.2 难度的转换3.3

10、.3 难度对测验的影响3.3 难度 难度是衡量试题与试卷难易程度的指标，而且是相对于被试的该批考生而言的。定量刻画被试作答一个题目所遇到的困难程度的量数，就叫题目的难度系，或称难度值，用符号P表示。难度系数的计算办法 客观试题的难度计算:（1）对于采用二分法记分的题目，难度以通过率来表示：（3-7） 难度系数的计算办法 （2）当被试人数很多时，可以将被试依照总分从高到低排列，然后将总分最高的27%和最低的27%的被试分别定为高分组和低分组，运用公式（3-7）分别计算两组的通过率，然后用下式计算该题难度： （3-10） 难度系数的计算办法 2主观性试题的难度计算（1）设为被试在某一试题上的平均分

11、，W为该题的满分，则 上式适用于论题题、问答题和计算题等非二分法记分的题目。（3-11） 难度系数的计算办法 （2）当被试人数很多时，主观性试题可采用下式计算难度：（3-12） 难度系数的计算办法 3难度的测前估算 在未测试前就估算难度，需要了解影响试题难度的一般因素：熟悉程度信息数量题目结构变化动态难度的转换 人们常假设每个试题所要测量的潜在特质或能力是呈正态分布的，然后就可以根据正态分布曲线，将试题的难度指数P作为正态曲线下的（概率）面积，转换成具有相等单位的等距量表，即Z分数（标准分数）。由于标准分数具有相等单位，属于等距量表。所以，用标准分数作为题目难度的指标，为进一步作难度分析带来了

12、一些方便。难度对测验的影响 难度对测验分数分布的影响 难度对测验信度的影响 难度与测验目的的关系 3.4 区分度 3.4.1 区分度的意义3.4.2 区分度的计算3.4.3 区分度对测验的影响区分度的意义 题目区分度就是题目区别被试水平能力的量度，常记为D。测验多少都带有将被试的水平加以区分的意图，那么构成测验的每一个题目就应该为这一目标作贡献，区分度就是刻画试题的这种功能的质量指标。 区分度的意义 区分度的分析方法，大约可以归纳成两类：一为外在效标法，即分析被试在测验题目上的得分与外在客观标准上的表现之间的关系。另一为内部一致性法，即分析被试在测验题上的得分与在整个测验总分之间的一致性程度。 区分度的意义 区分度的取值范围在-1.00至1.00之间。通常D为正值，称作积极区分；D为负值，称作消极区分；D为0，称作无区分作用。具有积极区分作用的项目，其D值越大，