完形填空测试研究综述 - 英语视听说

1、英语测试中的完形填空题：理论基础及相关研究综述邓杰，王正 邓杰，副教授，博士，硕士研究生导师，研究方向：语言测试学、外语教学，电子邮箱：djie505。王正，硕士研究生，研究方向：语言学及应用语言学，电子邮箱：doble.wang。(湖南师范大学 外国语学院 湖南 长沙 410081)摘 要：本文着重介绍了完形填空测试的理论基础，并对国内相关研究进行了综述。理论基础主要介绍体现整体完形思想的格式塔心理学和强调冗余信息重要性的信息论；相关研究则主要围绕语言测试的两大核心问题目标构念和效度验证问题进行综述。最后本文对早期和近期相关研究中存在的问题进行了讨论，以期能为英语教学与测试，尤其是为英语测试

2、的命题、审题和研究人员提供借鉴和参考。关键词：完形填空；目标构念；效度验证English Cloze Test: Theoretic Foundations and Relevant StudiesDeng Jie, Wang Zheng(Foreign Studies College, Hunan Normal University, Changsha Hunan, 410081)Abstract: This paper mainly introduces the theoretic foundations and some relevant studies of cloze test bo

3、th abroad and at home. The part of theoretic foundations focuses on the Gestalt psychology which holds a unitary whole view of the world and Information Theory that stresses redundancy information. The review of relevant studies centers on the two basic questions of language testing: the target cons

4、truct and the validation of cloze tests. In the conclusion, this paper includes a discussion of the problems of both earlier and recent studies, with the hope that this will benefit English language teaching and testing, especially item writers, reviewers and researchers of English testing.Keywords:

5、 Cloze Test; Target Construct; Validation中图分类号: H319. 1 文献标识码: A 文章编号:一、 引言完形填空(cloze test)既是一种较理想的阅读理解能力测试题型，也能较好测试学生的总体语言水平。这种题型最早由美国语言学家Taylor于1953年用来检测英语文章的易读性，由于形式灵活且具有较好信度，后来被广泛用于语言教学和测试，尤其是大规模语言测试。例如，美国的托福考试(TOEFL)和我国的高考(NME)、公共英语四级(CET-4)和六级(CET-6)、英语专业四级(TEM-4)等，长期以来都有完形填空这种题型。本文重点介绍完形填空题的理

6、论基础及国内外对这种题型的测试目标、方式和效度等所进行的相关研究，以期能为英语教学和测试，尤其是为英语测试的命题、审题和研究人员提供借鉴和参考。二、 完形填空的理论基础完形填空指“通过要求考生还原从正常文本中删除的单词来测试考生语言水平或语言能力的测试方式”(Jonz, 1990, p. 61 )。Taylor (1953:416)将一个完形单位(a cloze unit)定义为“任何一个可成功再现消息(可为任何语言形式)中已删除内容的单词”，并且认为删除的内容可以从删词后剩余文本的上下文中判断出来，考生需要根据自己对语篇的理解来填空，所以，完形填空通常被认为是一种典型的阅读理解能力测试方式(

7、McNamara, 2000)。尤其是，这种题型既适于分项测试词汇、语法等语言知识，也可测试不同语境中综合运用各种语言知识和技能的综合语言能力(Henning, 2001)。到上个世纪70年代，分项测试(discrete tests)受到广泛批评，完形填空开始广泛用于教育测量和二语和外语学习者的英语水平测试之中(Alderson, 1978; Oller, 1973)。对完形填空理论基础的解释主要有以下两种：格式塔心理学(Gestalt Psychology)和冗余信息理论(Redundancy)。1.格式塔心理学格式塔心理学源于十九世纪末的奥地利和南德意志，代表人物有苛勒(Kohler)、考

8、夫卡(Koffka)等(见高兰生, 1996, p.120-121)。Gestalt是一个德语词，意为“完形”。格式塔心理学研究的“是整体，是具有特殊的内在规律的完整的历程，是有具体的整体原则的结构”(朱智贤，1989，p. 401)。格式塔心理学强调学习的实质在于构造一种完形，即在学习的过程中人通过组织情境的刺激，实现对情境关系的认识，构成一种心理上的完形。格式塔心理学家认为，人们观察物体形状时，会下意识地把形状中的空缺填补上去，使之具有完整的形式。例如，下图为一个不完整的圆形，中间存在若干间隔，但人们很容易将间隔部分补上。人们的阅读过程也是完形补缺的过程。一个句子或语篇去掉几个词以后，就好

9、像有空缺的图形一样，人们阅读时也会“下意识地”把空缺补上，使之成为完整的句子或文章(刘润清, 1991)。图 1 图名(李光荣，1990, p.38)根据这一思想，“出题者先将一段选文内的某些词删去，切断语言结构模式，然后要求被试将删去的词重新填上，恢复选文的语言结构模式”(李光荣, 1990, p.37)。完形填空的删词设计通常有两种方法：定距删词和意向删词。正如Alderson (2000, p. 207)所说，“完形填空的典型做法就是每隔n个词删除一词，然后只需让考生还原删除的词即可。”这即是定距删词。但至于每隔多少词删除一词为宜，观点并不统一。Alderson (2000)认为理想的删

10、词距离为5至12词，Weir (1990)提出以5至11词为宜，McNamara (2000)则认为最好在5至7词之间。显然，这种做法具有很大的随机性，或者说针对性不强。另一种做法就是结合测试目标，有针对性地删除某些词，即意向删词。这种方法能较好体现命题人员的意图，也便于命题人员把握每空的测试目标，但不足之处是有时很难做到均匀分布各空，或者说难以确保各空两两之间的距离具有较好的一致性。我国的NME、CET-4和CET-6、TEM-4等考试中的完形填空都是采取后一种设计方式。2.冗余信息理论为了确保交际效果，自然语言中通常包含一些多于实际所需的内容，即冗余信息(redundancy inform

11、ation)。冗余信息的概念来自信息理论(Shannon, 1948)。信息论认为一个有效的信息系统，或任何有效的系统，都必须包含比所需信息更多的信息内容(Fiske, 1990)。冗余信息虽然理论上说是多余的，但又必不可少，因为冗余使得语言信息更饱满，更具预见性和交际性(Ozete, 1977)。实际上，电报用语就是采用精简冗余信息的方法得到的。电报中虽然包含了所有必要的信息，但由于缺乏冗余，交际性能差。语言作为一种人类的信息系统，需要包含足够的冗余信息，才能达到有效交际的目的。后来，研究者们发现用冗余信息理论可以较好解释完形填空这种测试方式。相关研究(Irvine et al., 1974

12、; Oller, 1972b, 1979; Alderson, 1980)认为，学生语言知识的积累过程实际上也是对英语语言中的冗余信息的认识过程。完型填空测试实际上是通过人为降低语篇的信息冗余度来考查学生对语篇的理解能力和语言水平的，学生的理解能力越强、语言水平越高，对信息冗余度降低的容忍程度越大。因此可以说，完形填空考查的是实际上学生理解自然语言中的冗余信息的能力。当然，删除某些词后，语篇中应该保留足够的冗余信息来帮助学生还原已删除的内容。三、 国内外相关研究1. 国外相关研究国外对完形填空的研究最早始Taylor(1953)对英语文章的易读性研究，Anderson(1972)也使用完形填空

13、来研究阅读材料的可读性和适当性。作为一种测试方式，Backer(1971)利用完形填空研究了特殊和一般阅读理解能力；Darnell (1970)最先将完形填空引入英语二语测试，考察以英语为第二语言的学习者的阅读能力，并且是对第二语言能力的“强有力的、经济的测量”(Oller, 1972b, p.?)。与此同时，完形填空“对教师来说，是一种很有用的诊断工具”(Stubbs & Tucker, 1974, p. ?)。完形填空一般被认为是一种综合语言能力测试。Anderson (1976)通过研究发现，完形填空可以测量实验对象的词汇、语法、语篇结构等语言知识和逻辑思维能力，是一项有效的综合性测试；

14、并在Alderson (2000)中强调完形填空以格式塔心理学中的完形概念为基础，适于对语言综合能力进行考察。Jonz(1987)认为，完形填空会激活从认读词汇到建立概念的所有层次的语言行为机制，被试要对完形填空有所反应，就必然激活一系列高水平的语言行为。Heaton(1988)也认为，完形填空和听写是综合性测试中最有代表性的两项内容。Brown(1988, 1993)的研究发现，虽然完形填空与一些分立式测验的相关也较高，但相比之下还是与综合性测验的相关最高。Fotos (199l)按固定频率删词并采用精确词评分法进行研究，发现可以用完形测试来代替英语能力测试中的写作测验(怎么证明与写作的关系

15、？)，并指出设计良好的完形填空能够即可测试基本语言技能，也可测试较高层次的语言(写作吗？)技能。Eckes & Grotjahn (2006)运用Rasch模型和验证性因素分析方法，证实完形填空具有较高的效度，能综合测试不同维度的语言能力，包括阅读能力、听力能力、写作能力和口语能力。Bensoussan & Ramraz(1984)则认为完形填空主要是测试阅读理解能力。Yamashita(2003)的研究也表明，总的来说，意向删词完形填空主要是测量阅读理解能力的方法，并指出高水平和低水平被试对篇章层面上的信息使用都高于对其他层面，但高水平被试在篇章层面上的信息使用又远远高于低水平被试。Bach

16、man(1982)则认为，完形填空并不是测量综合语言能力或某种语言特质的单调的测试，并找到了支持意向删词完形测试可以用来测量高水平语言技能的证据(费解)。Hanania & Shikhani(1986)认为，完形测试同时具备综合性测试和分项测试两者的优点。随着完形填空题的使用越来越广，学者们对这种题型的效度也更为关注。研究发现，完形填空测试的效度受多方面因素的影响，测试形式本身并不一定意味着高效度。效标关联效度验证研究发现，完形填空与TEFOL(Irvine et al., 1974)和一些大学的入学安置测试(Oller, 1972b; Stubbs & Tucker, 1974)都有很高的相

17、关。但是，Oller(1972a, 1972b)、Alderson(1979a, 1980)以及Bachman(1985)等的研究结果表明，完形测试的效标关联效度在.43到.91之间波动，并且Bachman(1985)的研究还表明完形测试的信度系数在.31到.96之间。Alderson(1983)认为影响完形填空效度和信度的因素众多，不同的删词比例和类别、有选项还是无选项测试方式等都会影响测试的结果。Kobayashi(2002)的研究支持Adlerson(1983)的看法，指出完形项目的难度和区分度会因被删词的功能不同而不同。Bachman(1985)将答题所需的信息分为分句内、整句内、语篇

18、内和超语篇四个层面，并指出删掉不同层面的词所测的能力也不一样。Dastjerdi & Talebinezhad (2006)通过对删词进行研究，发现如果删词破坏了语篇的连贯性则能更好地测试语篇信息的还原能力。OToole & King (2011)通过对同一文本进行三种不同形式的完形填空测试研究，发现不同测试形式和评分方法对测试文本的可理解性和受试的阅读能力都有不同的影响，并且可接受词评分法比精确词评分法更能有效测出受试的阅读能力。2. 国内相关研究我国对完形填空这种题型的研究起步较晚。根据我们的检索，鲁曙明(1985)为国内第一个介绍完形填空测试的文章，研究用完形填空题测试英语作为外语的能力

19、水平(是理论介绍还是实证研究？)。随后，有关完形填空测试的理论介绍和实证研究不断出现。在理论层面介绍和诠释完形填空测试的研究有：金木(1993)介绍完形填空作为整体外语能力测试手段的可行性；武凝秋(1993)介绍了在文学教学中运用完形填空的局限性；武绪颐(1994)介绍了完形填空作为阅读工具的可行性，等等。在实证研究方面，完形填空题的设计与开发、答题过程及策略、测试效度及影响效度的因素等均有涉及，并且大部分研究都会同时涉及多个方面。不过，根据侧重点的不同，仍可对大致分为几类进行讨论。在设计与开发方面，喻爱菊(1990)就完形填空的选项设计问题进行了探讨，周长银(1999)、聂建中&赵秀红(20

20、05)、王准(2010)等从命题质量控制的角度对我国高考英语完形填空题的效度进行了分析，并对如何控制高考完形填空的表面效度、构念效度和反拔作用等提出了一些建议；薛荣(2009)根据交际语言测试的基本理论和语言交际中的信息差(Information Gap)原理，尝试在口语测试中通过完形填空的形式将听、说、读、写等语言技能结合起来，综合测试考生的口语水平。随着完形填空在大规模、高风险测试中的广泛应用，更多人开始关注完形填空题的答题策略及应用。李建仓(2003)、王华&王静(2003)、矫永芹&王玉伟(2005)等就完形填空的一般特点讨论了完形填空的命题思路与解题策略；夏郁芹&赵冰(2002)、周

21、小玲(2006)讨论了大学英语四级考试中完形填空的解题技巧。在测试的目标构念及效度验证方面，徐昂(1998)验证了多选和传统完形填空（有选项和无选项吗？）在效度和信度方面的差异，强调删词要考虑到词类的平衡分配；张玲(2005)对完形填空和C-试题（什么是传统完形填空和C试题？）的效度进行对比分析，发现在试题的编写、评写和信度方面，C-试题优于完形填空，但完形填空则在效度方面高于C-试题，建议在综合英语能力测试中用完形填空替换C-题型；谢期繁(2005)讨论了2005年高考广东卷的完形填空题，认为完形填空能较全面客观地测试考生的语言运用能力、阅读理解能力、逻辑分析以及判断推理能力。值得特别指出的

22、是，针对基于分数解释效度验证方法的局限性，近年的研究开始关注答题心理过程的分析。例如，陈晓扣&李绍山(2006)先根据冗余信息层次和词义辨析能力定义了完形填空测试的目标构念，然后让学生口述答题过程并录音(也即有声思维法)，最后根据实际答题过程与预期答题过程的吻合程度，对TEM-4中完形填空题的构念效度进行了验证。陈艳君(2008)也以类似的方法对学生答题过程的有声思维进行分析，探讨同一语篇相同删词位置不同题型(是选择填空和开放式填空的不同吗？)所测量的语言能力是否存在差异，结果发现。杨秋娜&和倩(2008)通过对比分析2004到2007年TEM-4完型填空题的难度一致性情况(选项、题目还是语篇

23、的难度？)，对影响完形填空的难度因素进行了研究，结果发现：TEM4完型填空题在选词出现率(什么意思？)、句子长度两方面具有较高难度；语境恢复跨度方面难度较低；文章题材则是从图式激活的丰富度及适宜度方面影响试题的难度。四、 总结与讨论本文着重介绍了完形填空测试的理论基础，并对国内外对这种题型的有关研究进行综述。理论基础主要为体现整体完形思想的格式塔心理学和强调冗余信息重要性的信息论；相关研究自然离不开语言测试的两大核心问题：测试的目标构念问题和效度验证问题，即完形填空究竟考什么？在多大程度上达到了预期目标、根据何在？至于考什么的问题，比较一致的观点为完形填空是一种综合语言能力测试题型，不仅能从不

24、同层次和多个维度较全面反映考生的阅读理解能力，也可在一定程度上体现出考生的听力、口语和写作水平。效度验证问题，其结论的合理性取决于证据的说服力程度。虽然每项研究都会给我们一定的启示，并可为后续研究提供指导或积累经验，但我们同时也必须清楚认识各研究的不足或局限性，尤其是目标构念的定义、数据采集的方法和数据分析的手段等方面还有待进一步改进和提高的地方。例如，早期的完形填空效度研究往往以测试分数与某个参照标准测试的相关系数为证据得出结论，但是如果缺乏测试内容的相关性、典型性和全面性等方面的内容，缺乏答题心理过程的相关证据，单凭分数又有多大的说服力呢？再如，近期的答题过程研究也不是没有可疑之处。首先，

25、冗余信息层次和选项词义辨识两个方面是否能较全面完整地代表完形填空的目标测试构念？如果目标构念的定义存在严重缺失，那么研究结论即难具说服力。再者，在判定实际答题过程与预期答题过程的吻合程度时，操作起来问题也不少。有些题目在命题期间就难以判定期望学生作答的冗余信息究竟处于哪个层次；答题过程中也不能断定学生到底是在哪个冗余信息层次上答对或答错的。尤其是，有些题目可能与多个层次的冗余信息有关，这就意味着吻合程度本身就存在问题，以此得出的结论就有可能不合理，甚至是完全错误的。完形填空作为一种测试方式，是一定语言观的具体操作，或者说，是一定语言观的可操作化处理(Operationalization)。可以

26、说，任何一种语言测试方法都是一定语言观的具体操作。上个世纪七十年代以前，受结构主义语言学观念的影响，多项选择题广泛使用，强调针对语言能力结构的不同构成要素进行分项测试。自七十年代起，人们开始注重不同语境中各种语言知识和技能的综合运用，完形填空运应而生，强调从低级到高级不同层面和词汇、语法、衔接、连贯等不同维度对语言能力进行综合测试。九十年代以来，随着交际教学法的发展，语言教学和学习愈来愈重视交际语言能力的培养，此期间语言测试虽没有提出某种“交际测试”题型，但测试内容的选择和测试任务的开发均注重语言交际的真实性、实用性和语用功能(参见Bachman, 1990; Bachman & Palmer

27、, 1996)。到本世纪初，随着认知心理学和学习策略理论在语言教学与研究中的迅猛发展，语言测试更加关注认知心理过程在语言交际中作用(Weir, 2005; Khalif & Weir, 2009)。这就意味着当今的完形填空测试，不仅应注重语言使用的交际目的，也不能忽视认知心理过程对测试结果的影响。无论是测前的设计与开发、测中的答题过程或考生反映、还是测后的分数解释和使用，都应充分考虑语言使用的交际功能和使用过程中的认知心理活动，充分体现语言教学与测试研究发展的新内容、目标和方向。项目支持：本文为湖南省哲学社会科学基金项目“语言理解能力测试的命题质量控制研究”（项目编号09YBB289）和湖南省

28、教育科学“十一五”规划课题“语言理解能力测试的命题质量控制基于语篇分析的命题策略和质量审查研究”（项目编号XJK08JKZB016）的研究成果之一。参考文献Anderson, J. C. 1976. Psycholinguistic experiments in foreign Language testing M. St Lucia, Queensland: University of Queensland Press.Alderson, J.C. 1979a. The Cloze Procedures and Proficiency in English as a Foreign Lang

29、uage. J. TESOL Quarterly, Z/13:219-227.Alderson, J.C. 1979b. The Effect on the Cloze Test of Changes in Deletion Frequency J. Journal of Research in Reading Z/2:108-119.Alderson, J.C. 1980. Native and nonnative speaker performance on cloze testsJ. Language Learning, 30:59-76.Bachman, L.F., 1982.The

30、Trait Structure of Cloze Test Scores J. TESOL Quarterly l/16: 61-70.Bachman, L.F., 1985. Performance on Cloze Tests with Fixed Ratio and Rational Deletion J. TESOL Quarterly 3/19:535-555.Bachman, L.F., 1990.Fundamental Considerations in Language Testing M. Oxford,UK: OUPBachman, L.F & Palmer, A.S. 1

31、996. Language Testing in Practice M.Oxford: Oxford University Press.Baker, D.1989. Language Testing: A Critical Survey and Practical Guide M. London: Edward Arnold.Brown, J.D.1983. A closer look at cloze: validity and reliability A. In Issues in Language Testing Research,ed. J.W.Oller,Jr.,PP.237-50.

32、Rowley,MA: Newbury House.Brown, J.D. 1984. A cloze is a cloze ? A In Handscombe, J. O, R. A. & Taylor, B. P., (editors), Union TESOL 83, Washington, D.C.: TESOL Publications, 109-19.Brown, J.D. 1988a. What makes a cloze item difficult? A University of Hawaii Working Papers in ESL,7(2):17-39.Brown, J

33、.D. 1988b. Tailored cloze: improved with classical item analysis techniquesJ. Language Testing 10:93-106. Brown, J.D. 1993. What are the characteristics of natural cloze tests? J Language Testing 10:93-116.Caroll, J. B.1961. Fundamental Considerations in Testing English Proficiency of Foreign Studen

34、ts M. Washington, D.C: Center for Applied Linguistics.Conrad, C. 1970. The cloze procedure as a measure of English proficiency A (Masters Thesis,University of California,Los Angeles).Eckes, T., & Grotjahn, T., 2006. A closer look at the construct validity of C-TestsJ Language Testing, 23:290-325.Fot

35、os, S.S. 1991. The cloze test as an Integrative measure of EFL Proficiency: a substitute for essays on college entrance examinations? J Language Learning, 41:3,313-336.Hale, G. A., 1989. The relation of multiple-choice cloze items to the Test of English as a Foreign LanguageJ. Language Testing, 6:49

36、-78.Hanania, E. & Shikhani, M. 1986. Interrelationships among three tests of language proficiency: Standardized ESL, cloze, and writingJ. TESOL Quarterly, 20:97-109.Heaton, J. B. 2000. 英语写作测试M. 北京：外语教学与研究出版社.Henning, G. 1987.语言测试指南：发展、评估与研究M. 北京:外语教学与研究出版社.Jonz, J. 1990. Another turn in the conversa

37、tion: what does the cloze measure? J TESOL Quarterly 24:61-68.Khalif, H. & C. Weir. 2009. Examining Reading: research and practice in assessing second language reading. Cambridge: Cambridge University Press.Klein-Braley, C. & U. Raatz. 1984. A survey of research on the C-test J. Language Testing, l(

38、2):134-146.Kobayashi, M. 2002.Cloze tests revisited: Exploring item characteristics with special attention to scoring methods J. Modern Language Journal, 86:571-586.Oller, J.W. Jr. 1972a. Dictation as a test of ESL Proficiency A. In Allen,H.B. and Campbell,R.N.,editors,Teaching English as a second l

39、anguage: a book of readings,New York: McGraw-Hill.Oller, J.W. Jr. 1972b. Scoring methods and difficulty levels for cloze tests of Proficiency in English as a second language J. Modern Language Journal 56:151-58.Oller, J.W. Jr. 1973. Cloze Tests of Second Language Proficiency and What They Measure. L

40、anguage Testing l/23:105-117.Ozete, 1977. The cloze procedure: A modification J. Foreign language Annals,10:565-68.Pike, L. W. 1973. An evaluation of present and alternative item formats for use in the test of English as a foreign language J. Unpub. Ms, Educational Testing Service.Shannon, C. E. 194

41、8. A Mathematical Theory of CommunicationJ. The Bell System Technical Journal, (27).Taylor, W. L. 1953. Cloze Procedure: a new tool for measuring readabilityJ. Journalism Quarterly, 30:416.Trujillo, J. L. 2006. The effect of format and language on the observed scores of secondary-English speakers. (UMI No.319