em-4证书的效度调查

em-4证书的效度调查

平衡和评估考试质量的重要指标之一是考试的效率。自高校英语专业四级考试(TEM-4)施测以来,其信度和效度研究就一直受到高度关注,在此基础上,TEM-4得到了不断的修改和完善,其权威性不断增强,考试声誉越来越高,成为衡量高校英语专业基础阶段学生英语水平的有效手段。随着我国英语教育事业的发展,考生规模不断扩大,越来越多的高校,特别是中小规模的省属高校也参加了这一考试,我校就是其中之一。为了了解我校英语专业学生对TEM-4效度的评价,我们组织了一次基于学生的大规模问卷调查,其目的是希望广大教师、学生和TEM-4使用者能正确认识这项考试,增强TEM-4对英语教学的正面反拨作用,以更好地促进英语教育事业发展。1.研究设计1.1tem-4效度评价本研究主要解决以下几个问题:1)我校英语专业学生对TEM-4效度的评价;2)参加该问卷调查的我校英语专业学生对TEM-4的效度的评价能否代表使用TEM-4的考生对TEM-4效度的评价?1.2问卷的回收我们选取了我校英语专业二年级以上学生390人参加此次问卷调查,剔除填写不合乎要求的问卷(如果考生没做答的题目超过10个,则怀疑该考生反应的可靠性),回收有效问卷310份。1.3研究工具1tem-4效度的考查效度与试卷难度和区分度密切相关,因为难度是分析题目特征的关键因素之一,它决定某题是否适用于某一被试群体,也决定该题在试卷中的取舍(Henning,2001)。如果某题或某次考试对某一被试群体而言太难的话,它就不适用。区分度是试题的另一个最重要的特征,它能有效地区分被试的能力水平。如果把测验总分视为内部效标,测题的区分度就是测题内部效标的效度(王孝玲,2004)。可以这样说,难度、区分度和效度是筛选题目的重要指标,因此关于TEM-4效度的考查,除效度本身外,我们还选取了难度和区分度两大内容,按照7个维度来进行,即:TEM-4试卷总体和听写、听力理解、完形填空、语法和词汇、阅读理解以及写作等六个分测验。同时,考虑到考生的总体差异,在调查问卷中我们还编制了一个考查考生基本情况的项目,即考生对TEM-4作用的评价以反映TEM-4的社会效应。整个调查问卷由22道题构成,都是多项选择题,每题都采用5级评分制,考生只能选择一个答案。1-7题分别考查考生对TEM-4试卷总体和听写、听力理解、完形填空、语法和词汇、阅读理解以及写作等六个分测验难度的评价,选项为:A.非常难、B.比较难、C.一般、D.比较容易、E.非常容易。8-14题分别考查考生对TEM-4试卷总体和六个分测验区分度的评价,选项为:A.非常具有区分度、B.比较有区分度、C.一般、D.没有区分度、E.根本没有区分度。15-21题分别考查考生对TEM-4试卷总体和六个分测验效度的评价,选项为:A.能真实考查考生的实际水平、B.基本能考查考生的实际水平、C.不清楚、D.不太能考查考生的实际水平,E.根本不能考查考生的实际水平。22题是有关考生对TEM-4证书作用的评价:TEM-4证书能帮助你找到工作吗?选项为:A.帮助非常大、B.帮助比较大、C.不清楚、D.帮助比较小、E.基本没有帮助。2按先发后文的变化程度分级1-7题从A到E按照从消极到积极的变化程度依次记为1-5分,8-22题从A到E按照从积极到消极的变化程度依次记为5-1分,这种记分方法是后文检验的需要。检验是一种非参数检验方法,对数据总体的分布形态不需要任何假设,能处理一个因素两项或多项分类的实际观察频数与理论频数分布有无显著差异(张厚粲、徐建平,2003)。3spss18。0用于本研究的计算工具2.结果与分析我们对回收的310份有效问卷进行统计分析的结果如下:2.1考生的写作能力本次问卷调查中,考生对TEM-4试卷总体和听写、听力理解、完形填空、语法和词汇、阅读理解以及写作等六个分测验难度的评价见表1。从表1可以看出,听写、听力理解、阅读理解都有超过半数的考生认为偏难,完形填空和试卷总体也有近半数的考生认为偏难,其中尤以听写被认为是所有分测验里最难的,没有考生选择“非常容易”。也有超过半数的考生认为语法和词汇比较容易,认为写作容易的考生差不多也近半数。这和我们的教学实践基本一致:听写和听力理解过程中的语速、生词(短语或句子)、背景知识以及考生对语言的产出等对考生的影响极大,比如,考生听懂了听写和听力理解原文,但写不出来或回答不了问题。而影响完形填空和阅读理解的最大障碍是考生的语篇能力以及考试的时间。由于语法和词汇项受语篇的影响较少,而考生又积累了一定的词汇量,再加上猜测因素,这部分对考生的影响不大。但考生对作文的反应出乎我们的意料。平时,考生的写作存在主谓、性数格的不一致,修饰语错位,句子不完整,悬垂修饰语、词语乱用,一个简单句出现多个谓语动词,累赘以及意思表达不连贯等问题。他们认为写作偏易的原因可能是他们还没有意识到自己存在的问题,他们认为只要自己写完了作文规定的字数,哪怕行文是“中式英语”,他们也会觉得自己的写作能力不错。2.2区分度的比较通过考查考生对TEM-4区分度的评价(见表1),不难看出,六个分测验的区分度从高到低依次为写作、听写、阅读理解、完形填空、听力理解、语法和词汇。虽然考生认为听写具有很大的难度,但该项目仍然能有效区分他们的能力。对TEM-4试卷总体而言,考生普遍认为它具有较高的区分度,认为没有区分度的考生只占不到7%。2.3考生对该分题的效度评价效度是衡量考试质量的重要指标之一,它指考试是否测出了或在多大程度上测出了它想测的东西(Heaton,2000)。同样,从表1中考生的反应来看,他们对除语法和词汇项外的五个分测验以及TEM-4试卷总体效度的评价都是积极态度>中间态度>消极态度,对语法和词汇项效度的评价则是中间态度>积极态度>消极态度,这和考生对该分测验的难度和区分度的评价一致。其中,对写作和听写的效度评价是最高的,对语法和词汇项的效度评价是最低的。这表明语法和词汇部分单独作为考试的一个项目已经显示出其劣势,因为它所考查的内容不涉及语篇知识,而且还鼓励猜测,这对学习者的英语学习来说都具有消极的反拨作用,如英语学习者在学习英语时会花费大量的时间孤立地记忆单词以应对该部分的测试而忽略了对英语综合技能的练习与掌握,这也不符合《高校英语专业四级考试大纲》(2004)中所规定的“考核学生综合运用各项基本技能的能力。”而且,由于现行的TEM-4中已经有“完形填空”项目,其测试目的已包含了“语法和词汇”项目想要考查的内容,因此TEM-4研发者可以考虑删去“语法和词汇”部分。另外,考生对TEM-4效度的评价持消极态度的比较少。检验(见表1)结果表明,参加该问卷调查的考生对TEM-4的难度、区分度和效度的评价频次分布差异能代表使用TEM-4的考生对TEM-4这些项目的评价差异,因为这种差异是十分显著的(p=.000,df=6)。2.4中间项的选择关于对TEM-4证书作用的评价,选择“帮助非常大”或“比较大”的考生约占64%,约30%的考生选择了消极选项,即“帮助比较小”和“基本没有帮助”。选择中间项“不清楚”的考生非常少。这也从一方面支持了李传益(2010)的调查研究:在对大四学生的调查中,100%的用人单位在招聘时都会提到应聘者有无TEM-4等证书。这使得大部分考生对TEM-4证书的权威性一点儿也不怀疑,这也解释了他们为什么会如此看重该考试,甚至会在考试中作弊的原因。3.考生对tem-4效度的评价通过对这次TEM-4问卷调查的统计分析,总体来说,考生对TEM-4的满意度比较高,概括如下:3.1除语法和词汇项外,考生普遍认为TEM-4偏难,其中尤以听写和听力理解最难。结合教师教学实践和学生的学习,我们认为影响考试难度的因素主要有听力语速、生词(短语或句子)、语言背景知识、时间以及考生自身的产出性技能。但我们对试卷的分析结果发现,学生认为较难的测验,如听力理解和完形填空未必如此,而学生认为较易的测验,如写作等也未必容易。这说明,考生的感觉和试题的实际难度并不完全等值,这其中不可避免地存在考生的主观因素;另外,当试卷某部分明显偏难或偏易时,考生能达成共识,如语法和词汇项。3.2对TEM-4区分度和效度的评价,绝大多数考生都持积极态度,认为它能有效区分能力水平不同的考生,并能测出考生的真实水平。考生对TEM-4的评价和他们平时的学习状况、答题情况以及自身的英语水平一致。3.3考生对TEM-4证书作用的评价一方面反映了他们学习英语的动机,也从另一侧面反映了该考试的社会效应。即,用人单位倾向于将TEM-4证书与英语能力水平等同起来,这在某种程度上造成了教师、学生加重了TEM-4在教学中的权重;综上所述,考生对TEM-4效度的评价总体上持积极态度,其中并