第二章 教育测量的质量指标效度

第二章教育测量的质量指标第二节效度第二节效度一、效度的概念二、效度的统计学原理及其与信度的关系三、效度的估计四、提高效度的方法一、效度的概念效度（Validity）是指测量结果的准确性和有效性的程度，亦即测量是否达到了预期的目的。第一，效度是一个相对的概念。1.测量的效度始终是对一定的测量目的而言的。2.测量的效度是相对于测量的结果而言的。第二，一种测验的效度只是高或低的问题。第三，在教育测量中，效度问题比在其他领域的测量中更为重要。一、效度的概念这是因为：⑴教育测量的对象大多是精神现象，只能通过对其具有可测性的外部表现（如语言或动作等）的测量，以间接认识其心理活动、心理特征或知识水平等。⑵学生的心理活动、心理特征与其外部表现之间，一般仅具有相关关系而无函数关系，外部行为并不能准确无误地反映某种心理状态。⑶教育测量的对象不是物而是有主观能动性的人。人能有意识地调节自己的外部行为，掩盖自己的内心活动，这就增加了认识其精神现象的难度。二、效度的统计学原理及其与信度的关系

1、效度的统计学原理在实际测量中，影响效度的主要因素是系统误差。因而在讨论效度时，还必须把真分数方差分解为两个部分，一是潜在真分数方差（σV2），另一部分是系统误差分数方差（σI2），它与由随机误差引起的变异（σE2）不同。2、效度与信度的关系σV2σI2σE2σV2σI2σE2σV2σI2σE2根据公式（2-2）和（2-3），可将效度与信度的关系图解于后：根据分析，可得结论如下:1)高信度是高效度的必要条件，而非充分条件。2)效度系数不会大于信度系数的平方根。可以用下式表示：高效度、高信度低效度、高信度低效度、低信度三、效度的估计效度估计就是多方寻找证据来证明一个测验的有效性程度的过程。1974年美国心理学会发行的《教育和心理测量的标准》一书将效度分为三大类：内容效度、效标关联效度和结构效度。（一）内容效度（Contentvalidity）又称合理效度或逻辑程度，是指测验内容或行为取样的代表性和适当程度；即测验的内容范围、材料与所要测量的内容范围、教育目标是否相符合；测验中测题所引起的行为是否是所要测量的属性的明确反应；测验的结果是否是一个有代表性的行为样本。估计内容效度的方法：估计内容效度的方法：（1）逻辑分析的方法。其工作思路是请有关专家对测验题目与原定内容范围的吻合程度作出判断。（2）统计分析法。从同一个教学内容总体中抽取两套独立的平行测验，用这两个测验来测同一批被试，求其相关。若相关高，表明测验内容效度较高；若相关低，表示测验的内容效度较低。采用求统计量的公式进行计算，其公式有以下三种形式：内容效度主要应用于成就测验、学科测验、选拔和分类职业测验。内容效度不适合用于能力倾向和人格测验。（二））效标标关联联效度度又可称称为经经验效效度或或统计计效度度，是是以测测验分分数和和效标标之间间的相相关系系数来来表示示测验验效度度的高高低的的。效标就是足足以显显示测测验所所欲测测量的的特性性的变变量或或足以以显示示测验验所欲欲预测测的特特性的的变量量。它它是用用来检检验测测验效效度的的外在在的、、客观观的标标准和和尺度度。效标关关联效效度又又可分分为同时效效度和预测效效度。（用全全国高高考的的成绩绩作为为效标标来检检验高高中毕毕业生生会考考的成成绩，，计算算两者者之间间的相相关系系数就就是会会考的的同时时效度度；而而用大大学一一年级级的成成绩作作为效效标来来检验验高考考的成成绩，，计算算两者者的相相关系系数就就是高高考的的预测测效度度。））估计效标关关联效度可可采用积差差相关、二二列相关或或点二列相相关、四格格相关和多多元相关系系数等计算算各种相关关系数。1、用积差差相关系数数的方法估估计效度积差相关，是计算两两个变量线线性相关的的一种方法法，由英国国统计学家家皮尔逊提出，因此此也称为皮皮尔逊(Pearson)相相关。要使使用积差相相关必须同同时具备如下几几个条件：①两个变量量都是由测测量获得的的连续性数数据，即等等距或等比比数据。②两个变量量的总体都都呈正态分分布，或接接近正态分分布，至少少是单峰对对称分布，，当然样本本并不一定定要正态。。③必须是成成对的数据据，而且每每对数据之之间是相互互独立的，，即各自互互不影响，，本条件是是难以检验验的。④两个变量量之间呈线线性关系。。一般用描描绘散点图图的方式来来观察，最最好是先各各自转化为为Z分数，，单位会统统一些。例：某中学数学学教研组的的教师积多多年的教学学法经验，，认为刚入入高中的学学生学习立立体几何感感到困难的的主要原因因是空间想想像力弱。。为了证明这这个论点，，他们让刚刚入高中的的103名名学生作10道题，，测量其空空间想像力力。为避免免知道了某某些学生的的刚入高中中时的成绩绩影响以后后考试的评评分，试卷卷暂不评阅阅。立体几几何学完后后，进行考考试，按得得分多少把把成绩分为为五等（A、B、C、D、E）分别得得5、4、、3、2、、1分。这这时才评阅阅入学时的的试卷，统统计出期末末得5、4、3、2、1分者者在入学测测验中分别别答对1道道题至10道题的人人数（见表表2-1））。就现有资料料，用什么么方法可以以判断教师师们的意见见是否正确确？表2-1：：（答对的题数）12345678910所评的等级ABCDE543211310542168843124598311321111211解：（1）设期末考考试的等第第为y，空空间想像力力测验答对对的题数为为x，列出出二重交叉叉次数分布布表：X（答对的题数）12345678910Y所评的等级ABCDE54321131054216884312459831132111121125313296合计241014202017952103（2）用积积差相关系系数公式计计算效度系系数：二列相关适用于两个个变量就其其实际含义义而言是等等距或等比比数据，它它们服从正正态分布，，其中一列列人为地划划分为两类类。点二列相关关适用于一列列数据为等等距或等比比且总体服服从正态分分布（实际际上只需要要单峰对称称分布，如如Ｔ分布）），另一列列变量是按按事物的性性质划分为为两类的变变量，也可可以是一个个双峰分布布，人为划划分为两类类，如文盲盲与非文盲盲。这种相相关系数多多用于测验验中评价题题目的区分分度。对选选择题、判判断题在整整个测量中中作用作出出判断。基本计算公公式：例：有一位位教师自编编了一套测测验题，用用来预测学学生一年后后的某科成成绩，自编编测验按百百分制评分分，一年后后考试评分分只把学生生分为及格格者和不及及格者。试试就所获资资料估计自自编测验的的预测效度度。解：1)把把两次测验验成绩成对对排列：被试者1234567891011121314自编测验的成绩（X）6710204460436110262330183523一年后考试成绩（Y）111001101001112)计算出二二列相关公公式所需统统计量：（三）结构构效度（Constructvalidity）结构效度是指一个测测量能实际际测量出理理论上的构构想或心理理特性的程程度。它的的目的在于于从心理学学的理论观观点就测验验的结果加加以解释和和探讨。这里的结构构的含含义义是是心心理理学学理理论论所所涉涉及及的的抽抽象象而而属属假假设设性性的的概概念念、、构构想想、、特特性性或或变变量量，，如如智智力力、、焦焦虑虑、、机机械械能能力力倾倾向向、、成成就就、、动动机机等等。。结构效度主要要用于智力测测验、人格测测验等一些心心理测验方面面。例如：人的创创造力可以分分解为人的思思维流畅性、、灵活性和创创造性三大特特性，并根据据这三大特性性编制测验，，若有足够的的证据来证明明该测验确实实可以测到这这些特性，则则认为该测验验是个结构效效度较高的创创造力测验。。（1）结构效效度的特点结构效度的大大小完全取决决于事先假定定的心理特质质理论，一旦旦人们对同一一种心理特质质有着不同的的定义或假设设，则会使得得关于特质测测验的结构效效度的研究结结果无法比较较。当实际测量的的资料无法证证实我们的理理论假设时，，并不一定就就表明该测验验结构效度高高。因为还有有可能出现理理论假设不成成立，或者该该实验设计不不能对该假设设作适当的检检查等情况，，这就使得结结构效度的获获取更为困难难。（2）建立结结构效度的步步骤A、提出理论论假设；B、根据假定定结构拟定测测题，编制测测验；C、以测验结结果为根据来来验证假设结结构中的各种种因素是否成成立。（3）结构效效度的估计A、因素分析析法其目的是把一一些具有错综综复杂关系的的因素归结为为数量较少的的几个综合因因素或称共同同因素，并以以此测验所测测之特质对测测验分数作出出解释。B、多元特质质多重方法矩矩阵法是由肯贝尔和和菲斯克1959年提出出的最受欢迎迎的一种结构构效度的评估估方法。这种方法的设设想：若采用用两种方法以以上的方法去去测量两种以以上的特质，，那么这些测测量结果之间间可以形成一一个多元特质质多重方法矩矩阵。四、提高效度度的方法（一）各种效效度系数的要要求（二）影响效效度的因素测验的构成（（要素）测验实施方面面（过程）被试主观状态态方面估计效度所依依循的效标样本方面四、提高效度度的方法（三）提高效效度的方法：：1、控制系统统误差2、精心编制制量表3、妥善组织织测验4、扩充样本本的容量和代代表性5、合理处理理效度和信度的的关系6、适当增加测验验的长度表2.1测测验长度与信信度和效度的的关系题数与原测验题数之比信度系数效度系数1020306012014048012361214480.3000.4620.5620.7200.8370.9110.9540.4000.4960.5480.6190.6680.6790.713第三节难度度及其计算一、难度的概概念难度是指测量量试题的难易易程度。一个题目的难难度大小，除除了所测的内内容本身的难难易程度有关关以外，还与与测验的编制制技术和被试试的知识经验验有关。这就是说测验验的难度具有有相对性，正正因为此，必必须让试题通通过实践来对对难度作出检检验。二、难度的计计算（一）计算难难度的基本公公式1、客观题难难度的计算2、主观题难难度的计算P表示难度指指标，N表示示参加考试的的总人数，R表示答对某某道客观题的的人数。二、难度的计计算例1：在100个学生中中，答对第一一题的30人人，答对第二二题的60人人，求第一、、二道题的难难度？比较这这两道题谁比比谁难？例2：某道论论述题满分12分，所有有考生在这道道题上的平均均得分为3.6分，求该该题的难度？？例3：语文测测验第五题最最高得分为12分，这道道题考生的平平均得分是8.5分，求求该题难度？？例4：60人人参加考试，，某题满分为为12分，正正确得分累积积是480分分，求该题难难度？（二）用极端端分组法计算算试题的难度度1、用极端分分组法计算客客观题的难度度具体步骤如下下：1）先按测验验总分的高低低，按由高到到低的顺序依依次排列试卷卷。2）从得分最最高的一份试试卷开始依次次向下选出全全部试卷的27%作为高高分组；从得得分最低的一一份试卷开始始依次向上选选出全部试卷卷的27%作作为低分组。。3）按计算公公式计算难度度例题5：某区域1000人参加考考试，试卷第第一题高分组组180人答答对，低分组组60人答对对，求该题难难度？(约为0.44)如果该题满分分为10分，，高分组得分分总数为2100分，低低分组得分总总数为830分，求该题题难度？2、用极端分分组法计算论论文试题难度度步骤如下：1）按测验得得分排列试卷卷，确定高分分组与低分组组，各占总人人数的25%（方法同前前）。2）分别为高高分组、低分分组编制每道道试题的分析析表。3）按下列公公式计算难度度，例：某道论文题，，高分组得分分总和为40分，低分组组得分总和为为15分，有有40人参加加考试，这道道题最高得分分为8分，最最低得分为2分，则此题题的难度为多多少？（0.125）计算解：依据主观观题极端分组组法计算公式式=0.125三、难度的分分析与控制1、难度分析析进行难度分析析的主要目的的是为了筛选选题目。A、测验题目目难度水平的的确定测验题目难度度水平的适当当与否，取决决于测验的目目的、性质和和题目的形成成。当P值接近于于0或接近于于1时，即被被试在该题上上全部答对或或全部答错，，则该题无法法提供个体的的信息。而只只当P值接近近于0.50时，题目才才能把被试做做最大的程度度的区分。但在实际工作作中，若每一一题的难度值值均为0.50，那么此此测验很可能能只能区分出出好与差两种种极端被试的的差异，却不不能对各种被被试作更精确确的区分。因因此，一般各各题的难度可可在0.50+20之间。B、测验难度度对分数分布布的影响1）测验难度度影响分数的的分布形态。。难度值越接近近0，测验的的难度就越大大，测验分数数就越是集中中在低分端，，其分数分布布越呈现正偏偏态；反之，，难度值越接接近1.00，其难度就就越小，测验验分数越集中中在高分端，，分数分布呈呈负偏态。2）测测验难难度影影响测测验分分数的的离散散程度度测验难难度过过大过过小，，都会会造成成测验验分数数偏离离正态态分布布，从从而使使分数数的全全距缩缩小，，使测测验分分数的的离散散程度度变小小。3）测验难难度影响测测验的鉴别别能力在测验中，，考生之间间相互配对对比较的可可能性越多多，就越有有利于准确确地鉴别考考生的不同同能力。2、难度的的控制一般说来，，影响题目目难度的主主要因素有有：考察知识点点的多少；；考察能力的的复杂程度度或层次的的高低；考生对题目目的熟悉态态度；命题的技巧巧。难度控制：：正确估计考考生水平；；弄清弄懂各各知识点；；掌握命题技技巧。第四节区区分度及其其计算一、区分度度的意义（一）区分分度（Discrimination）是指测测验对考生生实际水平平的区分程程度，用符符号D表示示。又叫鉴鉴别力，它它是评价试试题质量，，筛选试题题的主要指指标与依据据。区分度（D）的取值值范围介于于-1.00—+1.00之间，值值越大，区区分度的效效果越佳。。区分度D>0为正区区分，D<0为负区区分，D=0为零区区分。区分度的高高低直接影影响到测验验的信度和和效度。（二）区分分度与测验验信度、难难度的关系系1、区分度度与信度的的关系（见见下表2.2）这里是假定定全部试题题的难度均均为0.50时所预预测的信度度系数。区分度指的的是平均值值。可见，要想想达到理想想的测验信信度，提高高区分度是是一个好办法。。区分度信度0.12250.160.200.300.400.500.000.420.630.840.9150.949（二）区分分度与难度度的关系表2.3D的最大大值与试题题难度的关关系由上表可知知，难度适适中，可使使区分度达达到最大值值。难度区分度的最大值1.00.90.70.50.30.10.00.00.20.601.00.60.2000二、区分度度的计算（一）用极极端分组法法计算区分分度1、客观题题区分度的的计算：D＝PH－P