中学多重成就测验的设计与实施

中学多重成就测验的设计与实施

成就是指通过学习和培训获得的知识和技能。成就测验对经过学习和训练后所获得的知识和技能进行测验,以认定学习和训练的成效。它有明确的、相对限定的范围。通常用于测量受试者对某项学科或某组学科经过学习和训练所获得的知识和技能。成就测验通常分为教育成就测验和诊断性成就测验,分别适用于教育情景下和对学习成就有关问题的临床诊断中。我国近些年来在发展心理方面,关于Cattell和Horn所提出的流体—晶体智力理论在实际当中的研究较多。研究认为,在人的一生中,总的发展趋势是:随着年龄的增长,流体智力越来越少,作用也越来越小;而晶体智力则逐渐变大,所起作用也越来越大。晶体智力主要代表需要经过教育培养而获得的能力,其受文化、教育和环境的影响较大。在学校情景下的晶体智力的增长和变化情况,可通过标准化的成就测验以及其他形式的成就测验而获得,但还需可适用于不同年龄段的成就测验以研究人们晶体智力的变化情况。增龄(aging)问题是近些年来相关学科研究的热点问题。人类寿命的不断延长和出生率下降,使世界各国的人口结构逐渐老化。人口老化带来了养老、看护等一系列社会福利问题,同时也使老年病的发病率增加。如老年性痴呆的发病率在60～69岁为1‰左右,70～79岁为5～16‰,80～90岁为10～20‰。老年性痴呆的心理障碍主要是认知功能受损,早期以记忆障碍最为明显,并且从近记忆发展到远记忆。近记忆由于与现在的日常生活紧密相连,有无障碍易于发现;而远记忆真实与否很难核实,其鉴定、测量都较难,尤其是采用自传法,需要完整和清晰的证明材料,所以研究远不如近记忆的进展迅速。成就测验则可以以易于核对的学科知识为材料,测量老年人的记忆变化情况。其它神经心理测验在临床上使用的频率很高,而神经心理测验通常还要结合记忆、智力和成就测验。而我国还没有合适的可结合的成就测验。随着科技的发展,社会的进步,社会对人才的需要越来越紧迫,这就要通过成就测验来测定、评估、选拔人才;同时,个人也需要通过成就测验来表现自己知识和技能的程度,以求不同层次、级别以及各种专门学校的培养和社会各个不同部门的接纳。教育的研究和发展最先增长了测验的指导价值,也正如Haney(1985)所说,“使测验更富教育性”。国外的教育成就测验在整个测验领域中一直占有很重要的地位。在测验的标准化方面,教育成就测验也是做得最好的一种测验。而使用频率上,在英国,成就测验是所有测验中应用最为广泛的测验。据估计,公立学校的每个学生每年平均要进行2.5个测验,其中主要是成就测验。我国自20世纪七十年代末期开始的高考,是国家主办的、每年都要投入大量的人、财、物力的一项规模巨大、政策性、技术性都很强的国家考试,为高校选拔几十万新生,也属于一种教育成就测验。但是,在一般学校里一直使用的是教师自编测验。教师自编测验虽然有其优点,但绝大部分教师未受过教育心理方面的专业训练,不懂测验学的理论和技术,所编测验的质量不能令人满意,且多为单科测验。也就是说学校教育中,也无真正标准化的成就测验,无论是综合还是单科的都缺乏。由于上述发展心理、临床应用、人才选拔以及教育方面的需要,而目前国内未见此类合适的测验,所以我们设计并编制了本测验。目的是测量晶体智力(能力)在不同年龄、不同教育水平的发展状况;在临床上,用于诊断智力损害的状况;人事上,用于人才的选拔;教育上,可用于学科成绩的估计。本测验的编制策略是根据教材,但又不完全拘泥于教材,而是根据编制测验的目的,以国家统编中学教材做效标(国家标准的效标)与(中学专科教师和我们的)经验相结合的策略。本研究是用MATs预试本在山西省太原市和太原市附近城市的一个有代表性的样本(1448人)中所做的进一步测试,本文是这一工作的初步总结。1方法1.1量表的配置1.1.1多重成就测验根据测验编制的目的,确定测验的性质为多学科、多年级适用的成就测验,即多重成就测验。全量表分为五大部分,也就是五个分量表:语文、化学、物理、历史和数学。1.1.2分布式任务2包括确定条目形式和条目编制二方面:(1)条目的形式:根据测验的内容和团体测验的要求,在题型方面主要采用是非题、选择题(分单项选择和多项选择)和填空题等几种便于纸笔测验的题型。语文内容丰富,形式多样,在MATs中,也努力反映语文的特点:还采取了注音填空,句中改错别字,断句加标点等形式。(2)条目的收集:首先,请有关课程的具有丰富经验和十分熟悉不同时期教材内容变化的中学专科老师,按照编者的要求,根据中学的教材内容和经验收集条目。其中,语文根据中学教师收集的条目,做出条目范围的确定和题型设计的参考,我们还增加了现代文章和杂志中的常用词语、知识和阅读材料。历史的内容主要根据中国通史和初、高中历史教材,尽量编制能反映重大历史事件和重要文史资料的内容。1.1.3化学、化学、环保、文化通过以上的工作,基本确定了测验的内容和结构。现将各分量表、分测验所测内容简要介绍如下:(1)语文分量表,包括五个分测验:(1)名人名著、名句出处和词语解释。(2)汉语拼音注音。(3)改错别字。(4)阅读理解。(5)断句和加标点。(2)化学分量表,包括四个分测验:(1)基本概念和理论:a.物质的组成和表示;b.周期表和周期律;c.物质的分类;d.物质的变化和表示;e.物质的化学量;f.关于溶液、胶体和电离理论;g.化学反应速度及化学平衡。(2)常见元素及重要的化合物:a.非金属元素及单质;b.金属元素及单质;c.氧化物;d.氢化物;e.酸;f.碱;g.盐。(3)有机化学:a.有机化学的基本概念;b.重要的有机物。(4)化学实验:a.物质的制备;b.物质的检验。(3)物理分量表,包括五个分测验:(1)力学:a.运动学;b.静力学;c.运动定律;d.冲量和动量;e.功和能;f.万有引力;g.机械振动和机械波(包括声学)。(2)热学:a.分子运动论基础;b.热和功;c.气体的性质;d.固体和液体的性质;f.物态变化。(3)电学:a.静电场;b.稳恒电流;c.交流电。(4)光学:a.几何光学;b.光的本质。(5)原子和原子核:a.原子;b.原子核。(4)历史分量表,包括两个分测验:(1)中国历史部分:a.中国重大历史事件;b.重要文史资料。(2)世界历史部分a.世界重大历史事件;b.重要文史资。(5)数学分量表,包括两个分测验:(1)代数:a.数;b.代数式;c.方程和方程组;d.不等式;e.集合和函数;f.三角函数;g.数列和数学归纳法;h.排列、组合、二项式定理。(2)几何:a.平面几何;b.立体几何;c.平面解析几何。语文、历史和数学分量表用于初一至大一年级,物理分量表用于初二以上年级,化学分量表用于初三以上年级。1.1.4第一次预测验算经以上工作,将所有符合要求的题目集成一个整套题本。根据条目内容,兼顾其形式又分成甲、乙两套,在山西省太原市附近的阳泉市的两所中学进行了第一次预测验。甲乙两套随机抽取各100名学生的答卷进行了难度计算。根据计算结果,将题目按难度进行排列,删除少部分形式欠佳的题目,并确定了分量表时限。1.2测量样本2结果2.1各学期的原始分类各年级的原始分见表1。结果表明,各年级的各分量表分、学科分和总分都随年级的升高而升高。2.2项目分析2.2.1按分测验平均难度计算在这里是以通过率来表示难度。通过率是每一条目回答正确的比率。即难度(P)等于正确回答人数(R)除以作答总人数(N),P=/。用公式:P=X/Xmax,X代表被试在某一条目上的平均得分,Xmax为该项目的满分。先计算出每一条目的难度,再计算其分测验和分量表的平均难度。按分测验平均难度计算的结果见表2。表2表明,绝大多数分测验的平均难度值都在.20～.80之间。只有乙套物理分量表中的原子和原子核分测验的难度过大以外,甲乙共36个分测验中,35个符合测验学的要求。2.2.2区分度测定区分度是指测验条目的区分能力。即某一条目在总测验中得高分的受试者通过此条目的人数比率也高;相反,总测验得分低的人中,通过此条目的人数比例也很低,这便说明此条目的区分度高,区分度指数用d表示。计算d的方法因答题方法而不同。我们用计算测验各个条目与该测验总分相关的方法计算了各条目的区分度。同时又仿照Ebel(1972)提出的试题区分度指数的评价标准,将区分度d<.20的条目数也列于表2中。表2表明,所有分测验的区分度都在.20以上,但甲套的化学较乙套的稍低,而历史和数学又较高。3讨论3.1对传统测验理论和方法的考察成就测验的内容要能代表学科的主要内容,同时也要结合测验的目的和实施方法而定。本测验的目的是用中学主要课程的知识、以团体测验的方法测量中学生对课程知识的记忆和成人晶体能力的发展趋势。因此将量表内容确定为:语文、历史、化学、物理和数学,条目则是这些学科内的重要知识点。条目的收集主要依据国家统编中学教材,以及资深中学教师和我们的经验;测验条目的形式是根据团体测验的要求确定的。我们的测验有别于一般教育成就测验,不是完全根据教学大纲测量学生对教材内容的掌握情况的,因而我们的条目与一般成就测验条目所考察的学科内容是有差异的。如语文,中学教学要求学生通过语文学习,掌握语文基础知识和养成作文能力,而作文能力的养成,有知识记忆的作用,但更重要的是一种思维、想象甚至是创造的过程,并且无法用团体测验的形式进行测量,因而我们的量表中无此内容;中外历史的内容浩如烟海,十分丰富,但测验时间有限,学生学习历史的时间也较短(高二理科班就已不学历史),所学的历史知识也不系统,所以只能测验一般认为是重大的历史事件、重要的文化史料等;数学当中有大量的计算和作图等,我们只选择了其中主要的定义、定理、公式以及用来证明这些定义、定理和公式的简单计算条目;理、化当中更有许多操作方面的内容,如化学中的有机化学实验、化学仪器,物理中的磁场、电磁感应等,我们的测验都未涉及。另外,在条目多少的分布上,也考虑到比例问题,如化学中的基本概念和理论、常见元素和重要化合物的条目较多,而有机化学和化学实验较少,物理中的力学和电学较多,原子和原子核部分却很少,这一方面是基于各部分在教材中所占比例;另一方面则是根据我们的测验目的和方法考虑的。将测验分为甲乙套,在施测过程中,可避免舞弊和相互干扰。甲乙套从总体上讲,测量的是同一种心理品质,条目数相同,形式相同,内容相近。此次测验则是在同时、同地、同校和同班当中进行的,所以甲乙套可作为相互的替代本,为以后的追踪研究服务。3.2条目的区分度难度通常以难度P值的大小来衡量。P值越大,难度越小:P值越小,则难度越大。理论上认为,项目难度指数值以0.50为宜,难度分布以窄一点为好,各题难度不要小于0.20和大于0.80。本测验的难度计算结果,分测验的平均难度除了乙套的原子物理分测验难度稍大以外(0.13),其它分测验的难度值都在0.20～0.80之间,基本符合以上要求。在整个测验的难度上,难的条目随着年龄的增长而后移,前面较易的条目对低年级学生有鉴别意义,但对高年级学生来说,却通过率很高;相反地,后面难的条目对高年级学生较适合而对低年级学生无意义。在每一个阶段里,都体现出通过率随年级增长而提高的趋势,但后一阶段的起始不一定比前一阶段结束时的通过率更高,换句话说,高一的通过率不一定比初三的高,大一的通过率不一定比高二的通过率高,这一点甲套比乙套表现得明确。原因可能是现行教育对于不同年级的学生重视程度不同;也可能是因为地方教育政策中将学生过早分成文理科班,对不同学科学生的不同科目重视程度不同(如高二文科班不学物理和化学,理科班不学历史和地理)而造成的。测验条目不仅要有好的难度指数,还要有好的区分度指数。具有良好区分度的条目,能将不同水平的被试区分开来,所以测验专家们把条目的区分度称为测验是否具有效度的“指示器”,并作为评价条目质量,筛选条目的主要指标和依据。区分度的计算方法因测验的计分方法不同而有异。根据本测验的条目计分方法,我们采取相关法计算了条目的区分度。Ebel认为,区分度指数d在0.20以上的条目即达到可接受水平,0.30～0.39为良好,修改后会更好,0.40以上为很好;而Aken则认为区分度指数在0.30以上的条目较为理想,但对偏离平均难度较大的条目,稍低于0.30也可接受。本测验的各分测验区分度指数均在0.20以上,基本符合要求。在甲乙套化学分量表的有机化学、化学实验,物理分量表中的热学、光学和甲套物理中的电学等分测验区分度指数在0.30以下,在甲乙套总和的36个分测验中,有9个,占总数的25%。余下的28个分测验,占75%,达到了很好的水平。3.3试验的可靠性和效率1.1.5测量量和信效度是测定测试的一个重要方法之一,对于难点第二试测题本是在第一次预测的基础上修改重排而成的。两套测题各包括5个分量表18个分测验265道(乙套263道)测题。在山西省的太原市和太原市附近的忻州市,采用分层按比例整群抽样的方法,即按照学校为一类(重点中学)、二类(普通中学)、三类(较差中学),根据其所在类别抽出一定比例的班级;还注意学生的家庭背景和父母的受教育程度以及家庭经济状况等因素要具有一定的代表性等原则,在两市共抽取8所中学21个班,其中一类和三类各两所,二类四所。剔除无效问卷后,余有效问卷1196份,其中甲套610份,乙套586份;还