考试质量分析中的统计量数处理

考试质量分析中的统计量数处理

过去，考试只是评分、评分和计算平均值，很少很少科学评价分数的可靠性和有效性。因此,有必要根据教育测量学和教育统计学的基本原理和方法,对原始分数进行处理和解释,只有这样才能对考生的真实水平以及对试题和试卷的质量做出科学的比较和评价。笔者编制了名为Examanls(Examinationanalysis)的考试质量分析专用软件,简要介绍考试质量分析中,有关考试分数处理和解释的基本原理及各统计量数的意义和优缺点,以利于考试质量分析的普及和推广。1.分布分布的描述和分析1.1频率分布算法根据统计学的中心极限定理,只要考生足够多,他们的水平一般应接近正态分布。判断考分是否近似正态分布,最直观和有效的方法是把考分的频率分布曲线与均值和方差相同的正态分布曲线加以比较。但一般常见的考试,由于数据过少(只有数十到一二百名考生),分数分组不可能太细(否则大多数组别的频率将会是零,从而显示不出分数分布的规律性),不可能画出光滑的频率分布曲线,而只能代之以频数多边形或直方图。Examanls提供传统的按优、良、中、及格和不及格分组的频数直方图(根据不同用户的需要,也可提供等组距频数直方图)。频数多边形或直方图虽然能给出分数分布的直观图像,但如需深入了解和准确描述分数分布的全貌和特征,并与正态分布进行定量的比较,则必须进一步整理原始分数并计算出描述分数分布特征的各种统计量数。1.2集中量数的使用集中量数是描述一批分数的集中趋势的量数。集中量数可用于参加同一考试的不同班级之间的比较。Examanls提供平均数、中数和众数三个描述集中趋势的统计量数。1.2.1考生数n本文中的平均数指的就是平均分,即原始分数的算术平均数:其中xi是第i个考生的原始分数,n是考生数。平均数具有严密、可靠、代表性强、容易计算和易于理解等优点。其缺点是易受极端数值的影响,从而损害其代表性。1.2.2中数中数中数(又称中值或中位数)是指把所有考生的原始分数从高到代排列时,处于中间位置上的那个分数(如果考生人数为偶数,则中数取处于中间位置的那两个分数的平均值)。中数具有意义明确,不受极端数值影响的优点。一旦平均数由于极端数值的存在而失去代表性时,中数则可作为这批数据的代表数值。中数的缺点是缺乏灵敏性,不如平均数可靠,不能用代数方法计算。1.2.3众数可是的特点众数(又称为范数或密集数)是原始分数中出现次数最多的分数。众数只有在考生人数较多,且有明显集中趋势时才有意义。在考生人数较少的情况下,可能会没有众数,也可能会出现两个或两个以上的众数。然而,这些情况出现的几率会随着考生人数的增加而减少,因此在正常情况下,大型考试的众数往往是惟一的。Examanls通过计算机的直接“观察”得出众数。众数的特点是用频数的多少来反映集中趋势,不受极端数值的影响,其频数在总体中所占的比重越大,其代表性也就越强;其缺点是在反映集中趋势上不如平均数可靠,而且不能用代数方法准确计算。1.3集中量数的代表性差异量数是描述一批分数的差异程度或离散趋势的统计量数。集中量数是一个点,表示各分数围绕该点而分布;差异量数则是一段距离,表示各分数与某一量数或与中心点间相差的统计距离。只有知道了差异量数,才能了解集中量数的代表性。差异量数越大,集中量数的代表性就越小,反之亦然。Examanls提供全矩和标准差两个描述离散趋势的差异量数。1.3.1测试卷的基本结果应符合以下四全距(又称为极差或两极差)是包含全部分数在内的最小区间长度,即一批分数中的最高分数xmax与最低分数xmin之差:全矩在一定意义上反映了这批考生在学业水平上的最大差距。因此,如果xmax等于满分分数,或者xmin等于0分(或者两者同时成立),则表明这份试卷无法测出考生水平的最大差距。要适当调整部分试题的难度,才能测出考生真正的全矩。全矩具有计算简单、意义明确的优点,其缺点是完全取决于最高和最低这两个极端分数,而没有反映出处于两者之间的各分数的差异状况,因此,用它来描述离散趋势的代表性是很差的。1.3.2考试全距和标准差标准差是最为常用的、非常优良的差异量数,它能精确地描述分数分布的离散程度,其定义为:在分数呈正态分布时,全距约为6个标准差。在考生人数不太多的情况下,全距接近或超过满分分数的1/2,而标准差约为全距的1/5～1/4时,分数的离散程度比较合理。如果全距和标准差都很小,则表明考生水平相近(既没有拔尖的,也没有太差的),或表明这份试卷未能测量出考生在学业水平上实际存在的差距。一般对于有数十(或更多)人参加的考试,第一种情况是十分罕见的。因此,一旦发现差异量数过小,首先应从试卷上找原因。如果全距和标准差都很大,就表明考生的发展很不平衡(水平很高和水平很低的考生均不少,相对而言,处于平均分附近考生的则不算太多),这种高离散的情况在实践中也是不多见的。1.4字段号形态量数是定量描述分布偏离正态程度的统计量数。Examanls提供偏态系数和峰态系数两类形态量数。1.4.1偏态系数和次中心动差相对数如果分数呈对称性分布(包括正态分布),其平均数、中数和众数是重合的。一旦三者错开,则表明分数偏离对称分布。偏态系数就是描述分数偏离对称分布程度的统计量数。Examanls提供用平均数—众数比较法偏态相对数以及第三次中心动差相对数(即对均值的三阶中心矩)来表示的两个偏态系数,其计算公式分别为:比较法只适用于微偏(分布曲线仍呈钟形)的情况,动差法则既可用于微偏,也可用于极偏(分布曲线呈U形或J形)的情况。对称分布的偏态系数S(包括Sx和Sm)为零;S>0为正偏态分布(对钟形分布,一般会有X>Md>M0),表明分数高于平均分的考生比例小于50%;S<0为负偏态分布(对钟形分布,一般会有M0>Md>X),表明分数高于平均分的考生比例大于50%。三种分布曲线的形状如图1所示。1.4.2正态分布曲线峰态系数是描述频数分布曲线高峰形态(高耸程度)的统计量数,一般以正态分布的高峰作为比较的标准。峰态可以用第四中心次动差相对数(即对均值的四阶中心距)来描述。由于正态分布的第四次动差相对数等于3,习惯上把峰态系数定义为:K=0为正态高峰;K>0表示该分布曲线比正态分布曲线陡峭,为尖顶高峰;K<0则表示该分布曲线比正态分布曲线平缓,为平顶高峰(见图2)。Examanls根据偏态系数和峰态系数的不同搭配,提供多种评价语句,显示其对分数分布状态的综合评语,一旦出现严重偏离正态的情况,Examanls就会显示警告语句,并提示出现这种情况的可能原因。根据Examanls提供的集中量数、差异量数和形态量数及其对分数分布状况的评语,就能详尽而精确地了解分数分布的全貌和特征,从而可以对考试的总体情况做出正确的判断和评价。2.考试成绩的表示方法、初始得分和导出得分2.1考生的学业水平和原始分数不高用百分制表示的原始分数无疑是使用最广泛的成绩表示法。然而,原始分数并不具有可比性,即使在同一考试中,原始分数和考生的学业水平也不存在简单的比例关系。为正确解释分数的意义和进行比较,就必须把原始分数转换成具有比例量表性质的导出分数,从而得出有益于教学决策的信息。Examanls提供原始分数、名次、百分等级分、标准分、正态标准分和T分数等六种学生成绩的表示方法,供用户选择。2.2百分等级分与原始分数把考生按原始分数从高到低顺次排列,各考生所对应的序号(原始分数相同的考生共占同一个序号)就是考生的名次。名次虽然能说明各考生在全体考生中所处的绝对位置,但名次的价值是随考生人数的不同而不同的。显然,30人的小班中的第十名和120人的大班中第十名是不能等值而论的。百分等级分更能够反映出考生所处地位的相对位置量数,它定义为比该考生成绩差的考生占考生总数的百分比。在上述例子中(如果不存在并列第十名的话)前者的百分等级分只有66.7%,而后者则高达91.7%。百分等级分不但能确定各考生在全体中的相对位置,而且还能给出一些有关分数分布的信息。例如,把任意两个原始分数所对应的百分等级分相减,就可以知道成绩处于这两个原始分数之间(左开右闭区间)内的考生比例。值得注意的是,名次或百分等级分与原始分数不是成比例的(或者说前两者的单位不是等值的)。一般说来,在高分与低分两个极端,名次和百分等级分对原始分数的反应迟钝,原始分数要有比较大的变化,名次或百分等级分才会跳动一个档次;相反,在峰值分数附近它们反应十分敏感,原始分数有一点点变化也会引起名次和百分等级分的极大波动。单位的不等值导致不能对名次和百分等级分进行代数处理。使用下文介绍的正态化标准分或T分数则能避免这个缺陷。2.3标准分的变分为比较测量结果,必须有一个等值的单位和一个特定的参照点。原始分数之所以不能直接进行比较,是因为分数的单位并不等值。不同的考试(由于难度不同)分数的单位固然不同,就连同一份试卷中的不同试题的分数单位也是不等值(甚至可以说是无定值)的。为使分数之间能够进行比较,必须找到一个不变的测量参照点和一个对同批考生参加所有的考试都保持等值的测量单位。根据统计学原理,引入变换:可把一般的正态分布函数化为标准正态分布函数。标准正态分布函数的平均值恰好是0,其标准差恰好是1,这正好可以作为对任何正态分布都不变的参考点和等值单位。Z称为标准分(或Z分数),它代表分数X距离平均分有多少个标准差。标准分可用于不同考试、不同考生、甚至不同科目的考试之间进行相对位置的比较。例如,某考生数学和英语考试的原始分数分别为85和73分,而两次考试的平均分分别为68和55分,标准差分别为12分和8分。如果只看原始分数,人们可能会认为该考生的数学学得比英语好,然而,一旦变换为标准分:Z数=1.42和Z英=2.25,即可发现,原来该考生的英语成绩在班上的相对位置实际上比数学要高得多。从引入过程可知,仅当分数呈(或接近)正态分布时,标准分才有其作为比较标准的意义。一旦分数分布较为严重地偏离正态,就必须把标准分正态化后才能用于比较。为方便用户,避免查找正态概率积分表的麻烦,Examanls采用曲线拟合法和比例插值法直接计算出各考生的正态化标准分(与其标准分并列显示,通过比较可进一步了解分布偏离正态的程度)。正态化标准分(下文简称为标准分或Z分数)不但具有可比性,而且还具有可加性,可以接受各种代数处理。例如,可以计算考生各门考试的加权平均标准分,从而确定各考生的总体学业水平在全体中的相对位置。标准分的意义明确、内涵丰富是教育测量学中一个常用的导出分数。标准分的主要缺点是有负数和小数(对于正态分布而言,标准分多在-3到+3之间,而且往往是小数);另外,标准分的0代表考生的分数等于平均分(而不是0分)等等,一般人对这种表示方法会感到不习惯,从而会给以后的统计分析带来一定的麻烦。采用T分数就可以