学生学业成绩分析、反馈与指导系统saae的构建契合

学生学业成绩分析、反馈与指导系统saae的构建契合

一、以“英语学科”为依托的测量评价,探索和掌握学生学业发展情况的方法教育质量一直是教育行政部门、教育研究人员、学生和监护人的中心问题。以往各界人士对于教育质量的思考仅限于学生中考、高考所取得的成绩。升学率常常被认为是教学质量的“试金石”。在这当中,我们忽视了学生学业成绩形成性发展及学校环境、家庭社会经济情况等诸多因素对于学生学业成绩的影响。基础教育新一轮课程改革的一项重要内容就是提倡形成性评价,关注学生学业进步的过程,“注重培养和激发学生学习的积极性和自信心”(教育部,2001:3)。一项有效实施课程改革的重要措施则是建立不同于中考、高考的学生学业质量评价体系。自2001年课改初步展开后,教育部基础教育课程教材发展中心于2004年启动了“建立中小学生学业质量分析、反馈与指导系统”项目,目的是在抽样测试的基础上,逐步建立对中小学生学业质量进行分析、反馈与指导的工作机制,探索基于实证数据的教学研究与提高学业质量的方法。项目以基础教育主要课程的课程标准为依据,通过纸笔测验检测学生学科学业成绩,考查学生掌握基础知识和基本技能的情况,与此同时,利用问卷方式分析研究与学生学业发展关系密切的相关因素。这个评价体系的主要特点是在评价工具设计理念方面突出学业成绩检测,在试题编写和问卷设计重要环节上借鉴世界相似教育评价项目的经验(见附件)。测试实施的取样、测试数据的统计处理都是由高度专业化的团队完成,以便确保获取有价值的信息。这使得评价结果科学可靠,也使得评价反馈信息有实际应用价值。自开测到2010年,全国已经有十几个省、市参加了这个教育测量项目,考生总人数超过百万。有些地区连续参测五次,有些地方隔年参测。英语学科考查对象是完成八年级全部学习任务的初中学生。八年级英语学科学业成绩检测的依据是课程标准四级所规定的教学目标。通过检测学生英语语言技能掌握及综合语言能力运用的表现,分析学生学业发展以及课程教学情况,并结合问卷调查信息进行综合分析。学科组向参测地区针对教育管理、学校和教师进行不同层次的信息反馈。这些信息有利于各级教育行政和各类学校了解英语教育教学发展状况,以便于进行科学的教育决策。连续几年参与测试还有助于建立地区学科教育常模,对于区域性教育发展有重要意义。二、测试与诊断性测试首先,我们需明确诊断性评价的含义。Linn&Gronlund(1995:15)指出:“诊断性评价的目的是确定顽固性学习问题的原因,从而计划弥补行动。”“教育机构通常给新生做诊断性语言测试,以便决定他们是否需要教学语言方面的支持”(Davis,etal.,1999)。诊断性评价可用于课程教学的不同阶段,依据教学大纲或课程教学目标命题,因而是标准参照性质的。例如到英美等英语国家高校学习的非英语国家留学生也许需要一定程度的英语补习,才能比较顺利地听课。入学时的测验可提供相关信息。教学过程中使用的诊断性评价是要确定课程具体教学目标是否达到。教师根据课程的特定教学目标检测学生掌握情况,从而更有效地制定下一步教学方案(Brown,2005:12-15)。就是说,检测内容即教学内容,形式上与我们两周一次的小测验相仿,一般是教师自行设计题目。由于要考查学生是否真正掌握了所学内容,设计试题时常常需要考虑在知识点上,特别是在必须掌握的内容上多设考题。因为在考试中学生答对某一题目往往带有一些猜测的成分,所以同一考点,特别是重要的知识点需要多设几个考题,这样我们就能较好确定学生是否真正掌握(Hughes,1989:13)。学期末的考试是学业成绩考试,主要特点是覆盖面宽,涉及实际教学内容,但是如果学生还要继续学习,那么教师也可以分析他们的考试结果,获得有益于接续下来的学期课程内容设计的诊断性信息。Bachman(1990:60)认为,“实际上任何考试都有提供诊断性信息的潜能。语言测试可用来诊断学生学习的强项和不足,以便制定合适的教学方式和水平以及学习活动。分级考试(placementtest)可看作是一种宽泛意义的诊断测试。因为它可以帮助辨别班级中较强或较弱的学生,以便设计适合他们水平的教学活动。仔细分析学生答题情况可提供更加具体的信息。”作为欧洲覆盖14国语言的诊断测试DIALANG(见附件)项目的创始人,Alderson(2005)对于诊断性语言测试进行了较为深入的研究并总结归纳了这种测试评价的主要性质与特征。笔者根据本文重点,摘要如下(基于Alderson,2005:10-11):1)诊断性测试基于特定语言发展理论,需借助二语习得研究,或泛而言之,借助应用语言学的理论与研究;2)诊断性测试基于教学中所讲授内容或即将讲授的内容;3)诊断性测试通常为低利害或无利害,因此学生不会因为焦虑或其它情感因素而影响最佳表现;4)诊断性测试更多关注不足而非强项;5)诊断性测试更多倾向于分立式而不是综合性,或者说注重具体成分而非整体能力;更多倾向于“低水平”语言技能而非高层次的综合性强的技能;6)诊断性测试应能便于做详细分析并报告试题应答或任务完成情况,而且反馈信息有使用价值,有利于下一步教学中的补缺。Alderson(2005:257)进一步解释说:“诊断测试更倾向于使用分立式方法而非综合性测试方法,是因为综合性测试学生的表现比较难以解释。于是,为了辨别(学业上的)不足之处,诊断性测试更倾向于注重具体成分而非整体能力,注重语言而非语言使用技能,注重‘低水平’语言能力而非‘高层次’综合技能。不过,为了确定学生的水平,注重整体技能和能力也是重要的,虽然这或许不是诊断测试的一个功能”。Alderson(2005:258)还指出,“诊断应该透彻深入,涉及对于相关变量的广泛考查,而不仅仅是个简短快速的令人生厌的考试。”他还说,“文献中反复出现的一个话题是学习过程的复杂性,以及例如动机、学能、心智成熟度、前期经验、记忆、认知等等因素的重要性。这些因素并不独立发生作用,而是互相制约,这就使得诊断学习问题或是学业止步不前的症结更加困难。因此,诊断需要是多截面的,实证分析需是含多因素的。不要指望造成学业的强项或不足是单一成因的。”综上所述,诊断性语言评价用于发现学生学业发展或不足之处。测试构念基于语言发展理论,特别是二语习得及至应用语言学的理论与研究。它是标准参照性的,例如课程标准或课程教学目标。诊断性测试主要采用分立式测试方法考查低水平语言能力,以便于确定具体需要改进的语言点。诊断性评价还应关注其他诸如兴趣、动机、教学环境等影响学业发展的相关因素。测试结果为教学提供旨在改进或补救的反馈信息。三、英语试卷的设计和任务及任务学生学业成绩分析、反馈与指导系统是一个诊断性评价体系。所涉及的学科课程有语文、数学、英语和科学。英语学业成绩诊断性评价体系的构成参考了美国、英国、澳大利亚等国家的相近教育测量项目文献与实践经验,其中包括英语是母语和英语是外语的教育教学评价标准。布卢姆的认知能力分类(Anderson&Krathwohl,2001)与SOLO教育成效分类法(Biggs,1982),以及Bachman(1990)的交际语言能力模式是构建八年级英语评价标准的主要理论基础。八年级英语检测内容为英语课程标准四级教学内容要求。英语语言能力的评价标准突出学生语言能力的可观察表现,并在连年检测数据的支持下形成A、B、C、D四个能力等级。以写作能力的评价标准为例(见表1)。这一评价标准能够帮助教师看到学生写作能力发展情况,了解不同能力水平学生在特定语言技能方面的发展趋势,并据此确定教学重点和教学策略,帮助学生提高学业成绩。英语试卷的构成与题目的设计构念以英语语言教学与测试的交际语言能力理论为基础。检测方法以分立式为主,体现诊断性测试基本特征;也采用考查较好能力的综合性试题,体现课程标准提倡发展综合语言运用能力的理念。每年检测试卷分为A、B卷。两份试卷结构相同,一方面扩大内容覆盖面,另一方面由于题量增加便于加强一些语言点的考查力度。试卷的设计考虑到以下要素:1)试题设计基于《英语课标》所规定的四级教学内容要求,重点是考查学生在学校教育体制下,英语课程教学内容目标的掌握情况,因此测试带有学业成绩考试的特征;2)试题设置不考虑选拔优秀,而是关注学生实际掌握情况,因此检测体现标准参照测试的主要特征;3)检测不涉及升学或选拔,因此对学生来说是低利害的;4)试题尽可能体现真实的语言运用或交际情境;5)试题测量不同能力水平,获取更为准确的诊断性信息;6)题目设计适合学生的生活经验、心理特征和认知能力;7)测试内容及形式要轻松活泼,避免引起学生过度焦虑。试卷检测需用80分钟完成。内容包括听力理解、阅读理解、书写和综合运用。全卷共56个题目:听力部分有21题、阅读部分29题、书写部分6题。综合运用共11题,题目涉及听对话记录关键信息、读短文并简短回答问题和借助图片做50个单词的连续表达。词汇和语法没有用单项选择题方式检测。词汇知识考查采用了非显性检测方式,例如在阅读短文题目中的根据上下文猜测判断生词词义。语法知识掌握情况的检测使用完形填空和连词成句方式。一方面在语篇环境中考查学生语法知识的掌握,另一方面在连词成句过程中考查学生英语句法知识运用情况。整个试卷指导语为简单英语,每个题型提供样例。问卷内容包含有两部分,一部分是涵盖语文、数学、科学和英语各学科的题目,如学生基本家庭经济情况、学校办学条件、学生课外活动、师生关系、睡眠时间、自信心与压力等。另一部分是学科内容。具体到英语学科,问卷的维度包括:学习兴趣、积极性和自信心、英语学习环境和教师教学理念与教学方法。问卷总体采用里克特量表模式。学生在答完笔试卷后完成问卷,答卷时间为20～30分钟。笔试卷和问卷的数据处理由项目组数据统计团队负责,依据经典测试理论和项目反应理论。每一年度学生成绩四个能力水平的划分全部基于实际检测数据。四、报告并显示测试结果1.不同高等院校的学业成绩发展不均衡,有的改试卷测试分析采用经典测试理论和项目反应理论两种方式。根据试题所检测的能力级别和学生得分情况划分A、B、C、D四个等级,即优秀、良好、合格、有待合格。项目组向参测地区报告检测的总体情况和所辖区县情况。还根据参测地区的具体要求报告不同类别学校情况、男女生情况、汉族与少数民族学生情况、不同类型学生情况等信息。报告重点在于D水平或有待合格学生的百分比。例如图1所显示的某地区检测的基本情况(鉴于保密缘故,举例所用为虚拟数据)。从全省情况来看,学业成绩达到优秀的学生所占比例为33.6%,良好为25.5%,合格为31%。有待合格学生比例是9.83%。从学校所在地来看,这个省的城市和农村学校有待合格的学生人数比例有差距。城市学校学生学业成绩明显好于农村学校。学业成绩优秀和良好的学生比例区别是66.6%︰45.1%。这表明农村学校在英语教学方面与城市学校的确存在差距,需要在师资培养和教育资源投入方面加大力度。从不同办学性质来说,公办学校不如民办学校,这是因为民办学校条件好师资强。不过要认识到公办学校代表了绝大多数基础教育办学模式,而民办学校整体规模很小。在这个省,不同学制学校学生学业成绩也有差别。初中和九年一贯制学校情况相似,而包含有初中和高中的完中学生学业成绩明显好于其他两种学制学校的学生,特别表现在优秀和良好水平的学生方面,达到74.8%。从性别角度分析,女同学英语学习成绩总体上说高于男同学,特别是在有待及格人数比例上,八年级男同学已经有约15%不能达到合格水平。2.综合能力测试结果学生在英语听读写技能方面的掌握和综合运用能力表现通常是不平衡的。检测报告给予这方面的反馈,可帮助学校在教学方面更加有针对性。如图2所示。我们看到,整体上说,学生听力技能掌握较好:优秀和良好占总人数的近70%,有待合格人数比例只有5%。阅读方面,学业成绩达到合格以上的占93%,但其中优秀和良好成绩的学生比例低于听力能力考查结果。写作部分和综合运用能力两部分的整体合格率都是83%,学生能力水平达到优秀和良好的人数比例都是低于听力和阅读的。而这两部分有待合格学生人数比例都达17%之多。这表明学生的英语语言产出能力发展滞后于接收性技能,综合运用能力则是英语学习的主要困难所在。3.民办学校学生听力能力发展现状反馈信息还可以具体到不同能力水平学生在不同语言技能上的表现。以听力考查结果为例。我们可以分析学生英语技能发展是否受到学校所处地域、学校性质、学校学制或学生性别等因素的影响(见图3)。可以看出,城市学校学生基本上全部达到合格要求,其中听力理解能力优秀和良好的学生达到74%。农村学校没能合格的学生比例占8%,而合格以上的82%的学生中接近40%的学生是合格。公办学校(包括城市和农村学校)学生听力技能发展较好,但是民办学校学生表现则是非常好,优秀和良好学生比例是84%。初中、完中(初中和高中)及九年一贯制三种学制学校的学生考查结果表明,完中学校学生表现大大优于其他两种学制学校的学生。女生英语听力能力发展相对于男生优势十分明显。仅从听力理解能力考查结果来看,省教育管理部门应该增强对农村学校英语教学设备的投入,如录音机及其他多媒体教学设施,以保障课堂内外英语学习的需求。公办学校是正规学校教育的主力军,可持续研究听力教学和训练。不同学制学校所表现出的差异应引起教育管理部门的重视,深入研究问题症结所在。男女生语言学习存在差异虽然显得比较正常,但学校和教师都应注意保护男同学英语学习的兴趣,提高他们的学习主动性。4.英语教师回应实验1:问题3将问卷数据分析与考查结果建立联系可以为教学反馈提供十分有价值的信息。表2显示师生关系、学习压力、学习环境、学习自信心和教师教学评价与学生的学业成绩显著相关(P<0.01)。从下面图4可以看出,英语学业水平优秀的学生中喜欢英语的占70%以上,而有待合格学生中一半以上不喜欢英语(见图4。图中自左往右依次表示为“非常不符合、比较不符合、一般符合、比较符合和非常符合”)。这就证实了学习兴趣是影响学业成绩的重要因素。比较分析问卷中学生和教师在教学方法和教学理念方面的应答情况也为学业成绩分析提供有意义的信息。数据常常显示教师认识和学生感受的差异。例如在关于教学过程中教师给学生纠正错误问题的调查中,我们常常发现教师和学生意见上的分歧。图5显示了学生对“英语老师在我们说英语时随时纠正我们的语法错误”一题的应答结果和教师应答与之对应的“我在学生说英语时随时纠正他们的语法错误”一题的数据。图中低行线条显示教师应答结果,上扬线条是学生数据。我们看到,高达80%的学生认为教师“总是”或是“常常”给他们随时纠错,而教师较多认为自己是“有时”纠错,达30%。认为自己“总是”或是“常常”给学生随时纠错的教师人数比例占40%左右。分析这样的结果,我们认为大致有两种情况。一种情况是不少教师在教学理念上知道学生开口讲英语是十分重要的。因为学生在全班面前说英语非常容易紧张,教师的鼓励是十分重要的。而学生讲英语时出现错误就予以纠正的直接后果是使部分学生自信心受挫,从而削弱英语学习兴趣。同样严重的后果是教师把学生注意力过多地引向语法准确性,忽视了语言意义表达。另外一种情况是还有不少教师坚持认为学生说英语时出现错误一定要及时纠正,否则不仅学生本人,就连全班学生也会受到不良影响。所以应答“从不”和“很少”随时纠错的教师只占20%左右。对于前一种,我们会肯定课堂规范语言输入的重要性,同时建议教师加强研究应该怎样以恰当方式帮助学生恰当地表达自己的意思,同时尽量避免语言错误。对于仍然认为学生有错必纠的教师我们则提议加强英语教师培训,更新语言教学理念。所有教师都应意识到教师对每个教学环节的处理都与维系和增强学生学习兴趣密切相关。检测结果分析可以帮助教师清楚地看到师生关系、英语教学及评价理念对学生学习兴趣和成绩的影响。举例说明见图6(左端为师生关系差,右端表示师生关系好)。我们看到,学业成绩在全省平均分上下的市,师生关系都不是太好,而两个学业成绩高的市都是师生关系很好的。我们也注意到一个市的学校师生关系很好,但是学业成绩平均得分不高,而且是低于全省平均分。出现这样的情况,相关教育管理部门可进一步调查,了解该市师资专业能力情况以及外语教育资源配备情况。五、英语语音意识的培养学科组要面对参测地区教研员、教师做检测信息反馈。反馈内容一般包括:学业成绩检测与分析指导思想与检测工具的研制、检测数据总体归纳分析、结合测试数据的典型题目讲解和问卷信息所调查的各种变量数据及其所表现的对学生学业成绩的影响。反馈内容既可以是宏观的,涉及课程教学的整体情况;也可以是微观的,重点是反映教学的具体问题或是值得重视的方面。这种反馈对基础教育发展产生直接影响。首先,反馈报告参测地区主要课程发展状况。教育管理部门可参照全国常模,比对地区课程发展是否与当地经济发展总体水平以及教育投入相符,联系办学方式、学生性别、学生家庭经济状况、学校管理等多种因素对学生学业成绩的影响,帮助其在教育决策时予以考虑。在教研层面,地区的教研员和教师可通过学科组的反馈认识到课程教学中所应关注的教学问题,考虑调整课堂教学策略。在反馈过程中,学生学业成绩分析、反馈和指导系统关于学生成绩评定的形成性发展理念对教研员和教师产生积极影响。例如,教师们一般认为,评判学生拼写单词、听写数字等的标准应该是非对即错。而新课程提倡关注语言能力发展的阶段性和学生个体发展的不平衡。这恰好符合目前提倡的科学发展观。我们的检测系统记录并报告的是学生在拼写单词或数字方面的发展状况。例如,在要求学生拼写London一词时,我们的评分标准是首字母没有大写不罚分,听音准