语言评估与测试课件

语言评估与测试定义主要研究对象基本研究方法基本发展概况以及其例子主要研究成果主要价值发展前景可待解决的问题四个概念的对比测试是一种特殊测量技术，以获取量化（由数字体现）的信息为目的，该信息反映应试者所掌握的某一方面的知识或能力的程度。测量指收集量化的信息来决定被测量之物（不限于知识或能力）存在的程度。在这一点上测量和测试是一致的。但在测量中可以使用那些不要求评分人对其答案做出正误判断的问题。从某种意义上说，评估是评述的一种形式，是需要做出价值判断或决定的评述。测量是评估的一种形式，仅采用定量手段收集信息。测试是测量的一种形式，仅由评分人可以对其答案做出正误判断或是否达到测试要求的判断的题目构成。测试的种类测试可以根据其在教育中的作用或功能分成若干种类，包括学业测试、进展测试、水平测试、学能测试、诊断测试、分级测试等。学业测试考察学习者掌握教学大纲规定的学习内容的情况。学业测试通常在一门课程结束的时候实施，测试内容的选择应以该课程的教学大纲规定的教学目标和教学内容为依据，不受具体课程和教材的影响。很多学业测试采用标准化测试形式，由测试专家组命题。我国高中的各学科的会考和大学中的非英语专业英语四六级考试和英语专业四八级考试是典型的学业测试。进展测试又称课程进展测试，和学业测试很类似。课程进展测试可以在一门课程的不同阶段或结束时实施，目标是考察学习者掌握课程或教材内容的情况。课程进展测试通常由任课教师命题，参加考试的学习者人数较少。测试的正式程度一般低于学业测试。学能测试又称预测性测试，用来考察应试者学习某一学科的潜能。Carroll和S.Sapon设计的MLAT和Pimsleur设计的PLAB是著名的语言学能测试。分级测试考察应试者的科学知识或能力水平，并以此为依据把他们纳入适当的课程计划中。入学新生都参加英语分级测试，根据测试结果，他们分别进入一、二、三或四级英语学习。常模参照性测试和准则参照性测试是根据解释应试者所得分数的方法区分的两类测试。常模参照性测试的作用是根据应试者在测试中的表现（分数的高低）将其排成等级序列，应试者所得的分数本身没有确切的含义，不能说明这些应试者达到何种水平或标准。而是以等级序列的方法建立分界线。“托福”是典型的常模参照性测试。准则参照性测试测量应试者应掌握的某一目标行为领域的知识或能力的水平。准则参照性测试以事先确定的标准作为测量依据。应试者的分数只与这些既定的标准比较，而不必彼此比较以确定相对位置。“雅思”是典型的准则参照性英语水平测试，采用九分制，每一个分数对应一套行为描述。另外，期中考试、期末考试、毕业考试、原非英语专业大学英语四六级考试（有分界线的）等也都是准则参照性考试。能力测试与运用测试语言测试的最终目的不是取得反应测试表现的分数，而是对在非测试环境下的语言运用情况进行推测。语言能力是不可能直接观察的，因而也不能直接测量，只有通过测量能够体现能力的各种行为来对能力进行推测。语言运用是可以直接观察的，因而可以直接测量。能力测试：测试表现→推测→不可观察的语言能力→推测→非语言测试环境下的语言运用运用测试：测试表现→推测→非语言测试环境下的语言运用例子：美国教育测试服务中心开发并实施的“托福考试”是典型的能力测试，而英国——澳大利亚测试专家联合开发的“雅思考试”则是运用测试的典型代表。试题的种类强制选择类强制选择类试题亦称选择答案类试题或固定选择类试题。构建答案类构建答案类试题也被称作开放类试题。根据评分的客观性或客观程度把构建答案类试题进一步分为限制答案类试题和扩展性答案类试题。限制答案类试题要求应试者自己构建答案。这类试题答案一般只有一个或少数几个正确答案。答案通常很简单，有一个词或短语构成。语句填空题、语篇填空题和简短答案题、句型转换题都是典型的答案限制题。扩展性答案类试题要求应试者构建自己的语篇性答案。而且这类答案不限于一个或几个。分立性试题和综合性试题分立性试题相互独立，每一试题测量应试者语言能力中的一个成分，例如对一个语音、词汇、语法结构的把握。综合性试题涉及一个以上的语言技能或一个以上的语言层次的知识。完形填空、听写、口语面试等都是典型的综合性试题。分离试题和语篇依附试题分离试题指那些自主的、相互无关连的试题。同时这些试题也不和语篇或启用它辅助材料发生关系。语篇依附试题指依附于语篇的试题。阅读理解和听力理解测试经常使用语篇依附试题。效度效度指证据支持我们根据测试分数做出的推论取得证据的过程。即应试者从一个总体语言水平测试中该所的的分数是否能作为我们判断这些应试者的总体语言水平的依据。也就是说，他们测试分数的差异是否说明他们总体语言水平的差异，或者说，在多大程度上他们测试分数的差异说明他们总体语言水平的差异。效度研究就是为支持我们根据测试分数作出的推论取得证据的过程。效度研究的主要形式有三类：内容效度研究、关联效度研究、结构效度研究准则关联性效度研究是取得证据说明可以根据应试者的测试成绩去推论他们在同一变量的其他测量形式中的表现的合理性程度。准则关联性效度可分为两类：同期效度研究和预测效度研究两者的区别之一是作为准则的测量手段的实施时间。结构效度研究结构指心理结构，是对无法直接测量或观察的人类行为的一个方面的理论阐述。智能、学能、语言能力、阅读能力等都是这样的结构。在语言测试中，结构可以被定义为测试行为反应的一种能力或一套技能，可以根据测试分数对其作出推论。结构效度研究指取得证据说明一项测试确实测量了该测试的设计者想要测量的心理结构的过程，同时也取得证据说明根据分数推论应试者在测量相同结构的测试中的表现的合理性程度的过程。实用性实用性也是衡量测试的一个重要指标。例如测试时间的长短、测试所需要的费用等等都是需要考虑的方面。定性方法定量方法研究方法现象学观点逻辑实证主义观点强调亲身参与活动以获得经验强调用实验方法来获得数据只有通过个人主观经验才能认识人类行为只有摆脱主观状态才能了解社会现象因果关系研究手段自然观察操纵和控制观察面广，但分散观察卖弄窄，但集中变量不加控制，有利于了解它们的复杂关系，但容易顾此失彼变量有所控制，有利于了解它们的因果关系，但容易简单化注意内容，但容易忽略形式注意形式，但容易忽略内容研究方法归纳法演绎法以数据为出发点以假设为出发点没有事先形成的概念进行预测可没有生成假设检验假设研究成果：描述或假设研究成果：理论研究过程综合过程分析过程从分体到整体从整体到分体全面观特殊观无控制的自然观察有控制的实验旨在发现形式旨在验证假设效度高、信度低信度高、效度低归纳与描写数据归纳数据进行推断概括程度地：个案研究概括程度高：多元观察实验方法在语言学中的应用定量研究也可以称为实验性研究，定量方法也就是实验方法实验方法是建立在可计算性原则的基础上的，是把计算的理论、模型和人的行为加以比较的重要手段。实验方法有时建立在信息处理原则的基础上的，是把人脑看成是一个有限通量的信息处理系统。实验方法是科学研究经常使用的方法和程序。由于采取定性的研究方法更难作出实验和实际活动的区别，更不容易作出对人的复杂因素的分离工作，所以实验方法即定量方法在语言学的研究中越来越被广泛采用。科学实验主要涉及到两个问题：效度的问题和信度的问题效度的问题，即怎样准确判断哪些事件和个案是相同的。信度的问题，即怎样把所得到的结果应用到更一般的场合。实验方法的特点：系统性、逻辑性、经验性、简约性、重复性和传递性社会科学实验比物理实验困难，表现以下的几个方面实验的对象是人，而人是很难重复的。社会科学的实验并非在实验室里做的，而是在现实的世界里做的，所以，实验室条件对所有的被试者不容易保持一致，也很难区别实验和实际活动。人是一个十分复杂的统一体，即使是同一个被试者，在不同的外部环境下，每一次测试都会显示出智力上的、生理上的、心理上的差异，从而影响测试的结果。语言测试有悠久的历史。其间，经历了传统语言测试、心理测量学—结构主义语言测试、综合测试方法、交际语言测试。语言测试的目标、手段都有很大的变化。传统语言测试主要采用面试、翻译、作文等试题。这和当时依赖于开放性、综合性、主观性试题的教育测试的情况基本一致。心理测量学—结构主义语言测试的理论基础是心理测量学、结构主义语言学、对比分析和外语教学听说法。把这些思想基础，特别是前三者，结合起来，完成心理测量学—结构主义语言测试模式构建的是美国应用学家RobertLado。心理测量学—结构主义语言测试的核心思想，即作为该语言测试的目标的语言成分和语言技能。以下是语言成分与语言技能相互之间的关系表：语言成分语言技能听说读写语音√√语相√√词汇√√√√语法√√√√速度和流利程度√√√√语言成分是分离性的，而语言技能是综合性的。心理测量学——结构主义语言学测试的整体框架语言→分析↓准则语言能力语言成分语言技能听说读写语音√√语相√√词汇√√√√语法√√√√

↓

抽样

↓

测试语言能力→构卷→测试语言运用→测量→分数→判断→结果构卷

其过程包括测试设计、命题、试题、评议和修改、试测和项目分析、确定试题、复制测试六个步骤。部分题型题目数分值时间（分）1听力2词汇3结构4阅读5写作多项选择题多项选择题多项选择题多项选择题作文2020﹪

2020﹪2020﹪2020﹪120﹪

3015153030心理测量学——结构主义语言测试方法评述优点该语言测试方法的出现是语言测试史上划时代的事件。它结束了传统语言测试时期，开创了现代语言测试时代。从心理测量学——结构主义语言测试方法开始语言测试成为了一门学科。语言测试史第一次有了对语言测试目标的以语言学为基础的清晰的描述。心理测量学——结构主义语言测试方法第一次给语言测试引入了一套测试开发的科学程序，从测试设计、题目审查、试测，一直到项目分析和测试分析。心理测量学——结构主义语言测试方法第一次给语言测试引入了分立式、间接式客观试题，丰富了语言测试手段，使语言测试的信度达到了空前的高度。心理测量学——结构主义语言测试方法第一次给语言测试的分数解释引入了一套统计方法：集中趋势、离散趋势、百分位、标准分等丰富了分数解释的手段和科学性。缺陷心理测量学——结构主义语言测试框架中，作为测试目标的语言运用能力得到了清晰的解释。但这个解释本身有问题。解释不够全面解释存在明显的历史局限性语言测试方法上片面性，导致在有些测试中语言形式知识被过度测量。当然和心理测量学——结构主义语言测试方法所青睐的客观、间接性测试的经济性优势有密切的关系。语言测试方法在测量手段上有局限性。综合语言测试测试目标综合语言测试的代表人物是美国教育家J.Oller。他提出的“整体语言能力假设”和语言知识——语言技能模型针锋相对。根据Oller的观点，作为综合语言测试的测试目标的整体语言能力假设包括三方面的内容：语言能力不可分不可分的语言能力可以直接用综合测试项目来测量可用来直接测量不可分语言能力的测试项目包完形程序和听写。

综合语言测试的测试手段（一）完形测试完形程序的心理学基础是德国格式塔心理学。完形是格式塔心理学的核心概念：人们有在头脑中补全不完整图形的能力。完形程序有多种形式：标准完形程序、强制选择完形程序、C—测试、完形删除等等。他缺啥呢？（二）听写传统上听写被看做是拼写能力测试。主要用来测试学生的听力和拼写能力，而Oller所提出的综合测试中的听写却可以测量考生的听力以及词汇、语法、语言与语境、非语言知识等。综合测试的听写有若干形式：标准听写、不完全听写、听写作文、听—记录、听力语篇填空Oller的综合语言测试模型可以用下面的流程图表示语言

↓

准则语言能力

↓

测试行为→测量→分数→判断→结果综合语言测试的评价优点完形程序和听写的出现打破了分立式测试主宰语言测试的局面，增加了测试手段。语境对语言处理的作用受到语言测试界的重视。完形程序和听写的命题过程非常简单，评分有相当高的客观性，评分速度也比较快。这在完型测试中体现尤为充分。完形程序和听写都是经济实用的测试，即使在Oller的整体语言能力假设失去吸引力的今天仍然在广泛应用，特别是在水平测试中。缺点Oller的“整体语言能力”、“语用预期语法”“不可分语言能力”等假设没有充分的理论与实证数据支持。应该说语言能力由若干相互联系又各自独立的成分构成，因此语言能力基本上是可分的。这意味着Oller的综合语言测试方法的理论基础有明显缺陷。单独使用的完形程序和听写测试显得形式单一。对于考生来说，不像严肃、全面的语言测试。这会对考生的测试心理和行为产生负面影响。完形程序和听写是否真的能全面考察考生的语言能力值得怀疑。交际语言运用测试20世纪60、70年代，有相当数量的语言研究者的兴趣从语言形式扩展到语言交际。美国社会语言学家Hymes提出了交际能力的概念。于此同时，英国语言学家Haliday的语言功能分类引起了广泛关注。

功能意念型和任务型交际语言教学。

交际语言教学要求交际语言运用测试。下图展示语言运用测试的成分及其之间的关系应试者→测试工具→测试语言运用←评分量表←评分人↓分数与语言运用测试相对的是固定答案题测试，主要是多项选择题测试和正误判断题测试。这类测试的成分及其之间的关系可以图示如下

应试者→测试工具↓分数交际语言测试并不是最早的语言运用测试。出现在心理测量学—结构主义语言主义时期的美国FSI口语面试就已经具备了McNamara所描述的语言运用测试的全部部分。Carroll的交际语言运用测试测试目标交际语言运用测试的目标是考察应试者的语言运用行为。测试内容的确定和需要分析需要分析的目的是根据学习者的学习目的、语言学习与运用环境、交往的对象、语言媒介形式、方言或语域、语言的难度水平或复杂程度、交际事件与交际活动、交际口吻等确定学习者最需要掌握的语言运用行为。这些行为就成为交际语言运用测试的内容。应试者在交际语言运用测试中的语言运用行为理论上是人们实际交际语言运用行为的一部分。因此，交际语言运用测试是直接性语言测试。需要分析是交际语言教学的倡导者在确定教学内容时选择语义单位及其语言体现形式时采用的方法。其主要特点就是根据学习者的特点和需要为其选取在交际活动中要表达的意义和表达这些意义所需的语言手段。需要分析的意义需要分析在语言运用测试模式中占据核心地位。它是选择测试内容的手段，也是建立交际语言运用测试效度的依据。合理的需要分析能保证测试的内容效度，即测试了应该测试的内容。测试方法Carroll的交际语言运用测试模式主要采用两类测试方法：单焦点测试和混合型是测试。完全综合性测试在正规语言环境测试中使用较少。这样的测试不适合用作严肃、对应试者有重要意义的测试。在正规语言环境测试中使用较多的是单焦点测试，即分别测试听、说、读、写行为。因为在交际语言运用测试中说的测试通常采用口语面试和口头交际，所以说的测试也会涉及到听。当年的ELTS和近年的IELTS实际上就是单焦点测试。单焦点测试的常用题型有主观题（如口试与面试、写作等）和简答题（如根据听力或阅读材料简答问题）。但单焦点测试也不排斥客观题。例如，多项选择题也常出现在单焦点听力或阅读理解测试中。当然，交际语言运用测试的特征主要体现在对说和写这样的生成性语言行为的测量上。但在Carroll交际语言运用测试模式中，测试题目都分别测量不同的语言行为。（四）评分交际语言运用测试常采用九分制交际性评分量表。这是交际语言运用测试的重要特征之一。以下是交际语言运用测试中的总评量表9权威使用者：交际行为具有权威性、精确性、得体性；英语惯用语和专门英语运用自如。8优秀使用者：清楚、合乎逻辑地讨论话题，文体恰当，能理解情感态度标记；几乎达到双语水平。7良好使用者：能够应付大多数英语使用情景；虽偶有失误或能力欠缺，但不影响交际。6合格使用者：虽能应付可能遇到的大多数英语使用情景，但流利程度和准确性上仍有欠缺，有事会产生误解或出现严重错误。5欠缺使用者：尽管能设法交际，但经常使用不精确和不得体的语言。4边缘使用者：缺乏文体、精确性和得体性；与其交际有困难，发音与语言用法会引起误解；可以勉强应付生活用语，不至会出现交际崩溃。3极端欠缺使用者：不具备日常交际所需的基本知识，但好于纯粹初学者；理解与生产技能都不足以连续交际。2断断续续使用者：语言运用水平与满足基本日常交际需要相去甚远；交际时断时续。1/0非语言使用者：甚至可能不能确定对方在使用哪一种语言。Caroll的交际语言运用测试评价1980年，英国文化委员会和剑桥大学地方考试委员会托两位爱丁堡大学应用语言学家CliveCriper和AlanDavies对ELTS的效度进行研究。高效度研究历时6年，于1986年完成。这一效度研究也可以看做是对Caroll交际语言运用测试模型评估的重要内容。①ELTS的预测效度和其他类似英语水平测试相似，进入英国大学学习的外国留学生的ELTS成绩和其大学课程成绩之间的相关系数约为0.3。这说明ELTS有一定预测效度。②ELTS的预测效度主要是由其中的一般用途英语测试部分，而非专门用途英语测试部分决定的。③ELTS中用于测量阅读和听力理解的多项选择题有较高的信度，信度系数范围是0.8到0.93。④ELTS中用于测量说和写的开放类试题的信度较低，信度系数只有0.5左右。⑤ELTS与其他英语水平考试之间的相关系数约为0.80，但与指导教师的评价等级之间的相关系数只有0.30左右。⑥应试者和指导教师一般都认为ELTS是公平的。McNamara的第二语言运用测试McNamara以他参与开发的OET为例，探讨了被称作工作样本的第二语言运用测试模型。McNamara的第二语言运用测试模型对我国开发、设计以英语为工作语言的职业技能测试有重要的借鉴意义。OETOET的背景OET是面向医疗卫生职业从业人员的澳大利亚政府的专门用途英语测试，目的是评价应试者在从事医疗卫生工作中有效地用英语交际的能力。OET测试内容的选择1)咨询相关专业人士2)文献搜索3)对工作场所的直接观察和工作分析4)工作场所的语篇收集和考察OET测试形式与评分办法在权衡了测试的可行性和内容测试之后，OET的开发人员决定为各专业的被测试者设计相同的听力和阅读测试，而在口语和写作测试中采用相同的格式，但测试内容却因被测试者的专业不同而有所区别。

口语测试

OET口语测试采用语义微分式的评分量表，分别评价被测试人测试行为的六个方面：总体交际效果、可理解性、流利程度、理解、语言得体性、语法与表达方式资源。总体交际效果接近本族语使用者的灵活性和范围_｜_｜_‖_｜_｜_有局限性可理解性可理解_｜_｜_‖_｜_｜_不可理解流利程度流畅_｜_｜_‖_｜_｜_不流畅理解完全理解_｜_｜_‖_｜_｜_不完全理解语言得体性得体_｜_｜_‖_｜_｜_不得体语法与表达方式资源丰富、灵活_｜_｜_‖_｜_｜_ 有局限性写作测试OET写作测试也同样采用语义微分式的评分量表。听力理解测试阅读理解测试交际语言运用测试评述交际语言运用测试的优点包括：⑴能够直接考察应试者的语言运用情况。⑵测试分数有直接意义。⑶由准则语言运用行为和测试语言运用行为之间的相似性来保证测试的表面效度。⑷用需要分析或工作分析来保证测试的内容效度（即考察了本应该考察的内容）.交际语言运用测试的缺点包括：⑴交际语言运用测试采用比较多的主观题型。目前使用的主观题型（如面试、作文）是一柄双刃剑。优点是有较高的交际性；缺点是信度相对较低。⑵心理测量学—结构主义测试主要依赖于命题人的专业水平来保证测量质量，而交际语言运用测试更多地依赖评分人的专业水平来保证测试质量。同时，交际测试常常要求数量较多的评分人，导致测试成本增加。⑶含面试的测试实施过程比较复杂，好事较多，评分成本较高。⑷对交际语言运用能力的阐述尚存在缺陷。Bachman的语言测试模型交际能力Hymes是最早提出交际语言能力的学者。他区分了交际能力的两个成分：知识和使用能力，并把后者定义为：语言使用者个体实现一个形式可能的、心理上可能的、语境上得体的言语行为的潜能。潜能不等于实际交际语言运用行为。Hymes用交际语言运用来指后者。Hymes的交际观可用下表体现：交际能力交际语言运用知识使用能力

Hymes的观点和Chomsky最早提出能力与运用区分观点不同。而Chomsky把语用能力包含在语言运用中。他的观点可以用下表体现：能力运用语法能力语用能力实际运用Chomsky（1980）说：“我认为在理论上可能出现人们具有全面的语法能力，但不具备语用能力，因此也就不具备得体地运用语言的能力的情况，尽管他们的句法和语义功能完好无损。”交际语言能力语言测试学家Bachman（1990）提出了交际语言能力概念。Bachman的交际语言能力概念图示如下：交际语言能力：语言能力：语言组织能力：语法能力词汇形态句法语言∕语相衔接语篇能力修辞组织

语言运用能力：施为性语言能力概念功能操纵功能探究功能想象功能语域和方言社会语言能力文化参照和修辞格自然性

策略能力心理—生理机制：生成：口头书面接受：口头书面测试方法Bachman把测试方法特征的框架称为测试方法方面框架。该框架包括：测试环境方面、测试指导语方面、测试语言输入方面、预期应答方面、输入与应答之间的关系方面等。现代语言测试模型的比较心理测量——结构主义模式心理语言学——社会语言学模式交际语言测试模式1分解语言成分不可分语言能力分解交际能力2分立式试题（一般）综合性试题综合性试题3间接测试能力间接测试能力直接测试能力4常模参照常模参照准则参照5效度低效度低效度高6客观评分（一般）客观评分主观评分7评分信度高评分信度高评分信度低8重视语言（知识）的正确性重视语言（知识）的正确性重视语用得体性9阅卷速度快阅卷速度中阅卷速度较慢10命题难度大命题容易命题简便11需抽样分析无需抽样分析需抽样分析12便于大规模考试便于中小规模考试不便于大规模考试13测试听、读、写测试听、读、写测试真实的综合技能14对教学有不良反应对教学有不良反应积极促进教学语言测试与评估科学成果李筱菊，语言测试科学与艺术，湖南教育出版社，1997刘润清，语言测试和它的办法，外语教学与研究出版社，1991刘润清、韩宝成，2000，《语言测试和它的方法》（英）阿里·戴维斯著，语言测试原理，任福昌等译，经济科学出版社，1998Oller,J.1979.LanguageTestsatSchool.London;Longman.Lado,R.1957.LinguisticsacrossCultures.AnnArbor;UniversityofMichiganPress.Lado,R.1961.LanguageTesting;TheConstuctionandUseofForeignLanguageTests.London;Longmans.Carroll,J.andSapon,S.1967.ModernLanguageAptitudeTest-Elementary.NewYork;ThePsychologicalCorporation.Bachman,L.1990.FundamentalConsiderationsinLanguageTesting.Oxford:OUP.Bachman,L.a