张德禄-多模态话语分析理论与外语教学.ppt

多模态话语分析多模态话语分析 理论及在教学中的应用理论及在教学中的应用 张德禄张德禄 1 目录目录 1. 1. 引言引言 2. 2. 理论基础理论基础 3. 3. 符号资源符号资源 4. 4. 多模态设计多模态设计 5. 5. 多模态语法多模态语法 6. 6. 模态之间的关系模态之间的关系 7. 7. 模态选择及用途模态选择及用途 8. 8. 多模态读写多模态读写 9. 9. 问题与不足问题与不足 10. 10. 将来的研究将来的研究 2 pp 1. 1.引言引言 pp 多模态性在历史上多模态性在历史上没有受到人们的重视没有受到人们的重视; ; pp 在现代语言学在现代语言学研究中：被看作非语言特征和伴随语言特征研究中：被看作非语言特征和伴随语言特征 ；一种语言的辅助表达系统，没有作为意义表达模态来研；一种语言的辅助表达系统，没有作为意义表达模态来研 究。究。 pp 多模态产生的原因：多模态产生的原因： pp （1 1）是话语分析理论发展的一个历史阶段是话语分析理论发展的一个历史阶段：人们发现话语：人们发现话语 的意义很大一部分是由非语言特征实现的。的意义很大一部分是由非语言特征实现的。 pp （2 2）人类话语越来越多模态化）人类话语越来越多模态化：多媒体和网络多媒体和网络的产生促进的产生促进 了了多模态话语多模态话语的研究；人类的交际过程需要听觉、视觉、的研究；人类的交际过程需要听觉、视觉、 触觉并用；触觉并用；在一些领域，交际的主模态已经由语言转为图在一些领域，交际的主模态已经由语言转为图 像或其它模态像或其它模态，网页、电影、画展等。，网页、电影、画展等。 3 pp1.1 1.1 多模态话语分析研究多模态话语分析研究 pp 1.1.最早的研究者之一是最早的研究者之一是r. barthesr. barthes，在他，在他19771977年发表的论文年发表的论文图像的修辞图像的修辞 （ rhetoric of the imagerhetoric of the image）中探讨了图像在表达意义上与语言的相互作）中探讨了图像在表达意义上与语言的相互作 用。另外几个主要的研究者包括：用。另外几个主要的研究者包括： pp 2. kress2. kress， g. and van leeuweng. and van leeuwen， t. t. (1996; 1998; 2001; 2002)(1996; 1998; 2001; 2002)研究了研究了模态模态 与媒体与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括视的关系，专门探讨了多模态现象规则地表达意义的现象，包括视 觉图象、颜色的语法，以及报纸的版面设计和不同媒介的作用等。觉图象、颜色的语法，以及报纸的版面设计和不同媒介的作用等。 pp 3. ohalloran3. ohalloran， k. lk. l. (1999a. (1999a；1999b; 2000; 2003; 2004)1999b; 2000; 2003; 2004)不仅研究不仅研究多模态多模态 的理论建构的理论建构，还专门研究了数学语篇中的多模态现象。，还专门研究了数学语篇中的多模态现象。 pp 5. royce5. royce， t.t. (1998a; 1998b; 2002) (1998a; 1998b; 2002)研究了不同符号在研究了不同符号在多模态话语中的互多模态话语中的互 补性补性，以及在第二语言课堂教学中，以及在第二语言课堂教学中多模态的协同性多模态的协同性等。等。 pp 还有其他许多研究者：还有其他许多研究者：jewitt 2008jewitt 2008；new london group (1996)new london group (1996)；lemke, lemke, j. (2002)j. (2002)；bednarek 1985halliday, 1973; 1985），语言要同时体现三），语言要同时体现三 种元功能种元功能概念功能、人际功能、谋篇功能。概念功能、人际功能、谋篇功能。 pp 那么，从多模态话语的角度讲，除了语言之外，那么，从多模态话语的角度讲，除了语言之外，其他符号系统其他符号系统也同样是也同样是 实现三个元功能的系统，如实现三个元功能的系统，如kress and van leeuwen (1996) kress and van leeuwen (1996) 和和 otoole otoole (1994) (1994) 把多元功能的思想把多元功能的思想延伸到图像上延伸到图像上，提出视觉语法的概念；，提出视觉语法的概念；otoole otoole (1994) (1994) 则提出了一个以多元功能分析为基础的，用于分析图画的模式。则提出了一个以多元功能分析为基础的，用于分析图画的模式。 24 pp 例如，例如，kress and van leeuwen (1996)kress and van leeuwen (1996)建立了一个图像分析的建立了一个图像分析的 社会符号学框架社会符号学框架。 pp 模拟系统功能语言学中的功能语法的及物性系统，他们把模拟系统功能语言学中的功能语法的及物性系统，他们把 把图像的语法系统分为把图像的语法系统分为叙事类和概念类叙事类和概念类。在。在叙事类叙事类中，有中，有 行动过程、反应过程和心理与话语过程。行动过程、反应过程和心理与话语过程。行动过程行动过程表示图表示图 像所表现的动作和行为，由动作者和一个矢量，再加情景像所表现的动作和行为，由动作者和一个矢量，再加情景 成分组成。成分组成。 25 26 the dentist is examining the patients teeth. pp 反应过程反应过程也是由矢量组成的，是一个或多个图像中的参与也是由矢量组成的，是一个或多个图像中的参与 者的目光的方向构成的。者的目光的方向构成的。心理和言语过程心理和言语过程是矢量由话语和是矢量由话语和 思维形成的，在图像中通常由思维形成的，在图像中通常由言语泡或思维泡言语泡或思维泡组成。组成。 27 pp 这样话语的叙事表现可以由下图表示：这样话语的叙事表现可以由下图表示： 28 pp 图像的概念类过程图像的概念类过程实际上表达语言的关系过程的主要内容，实际上表达语言的关系过程的主要内容， 分为分类过程、分析过程和象征过程。分为分类过程、分析过程和象征过程。 pp 分类过程分类过程表示一组相似的参与者，个体特征、距离和等级相表示一组相似的参与者，个体特征、距离和等级相 同，沟通从属于一个更高层次的参与者，它可以是显性的，同，沟通从属于一个更高层次的参与者，它可以是显性的， 也可以是隐性的。也可以是隐性的。 pp 分析过程分析过程实际上表示整体部分，即整体可以分析为部分。其实际上表示整体部分，即整体可以分析为部分。其 关系是整体部分关系。另外，他们还区分了穷尽的和包含的关系是整体部分关系。另外，他们还区分了穷尽的和包含的 ，类型学和拓扑学的分析过程。，类型学和拓扑学的分析过程。 pp 象征过程象征过程表示参与者是什么或者意味着什么。它可以有两个表示参与者是什么或者意味着什么。它可以有两个 参与者，一个是承载者，另一个表示其意义或者身份，是象参与者，一个是承载者，另一个表示其意义或者身份，是象 征属性。征属性。 29 30 31 pp 与此同时，他们还讨论了体现人际意义的特征与此同时，他们还讨论了体现人际意义的特征，包括距离、，包括距离、 接触、视点和情态等。接触、视点和情态等。 pp 从这个角度讲，我们有从这个角度讲，我们有两个问题两个问题需要考虑：需要考虑： pp 一是每个符号系统的语法一是每个符号系统的语法如何确定如何确定？ pp 二是各个符号系统的语法二是各个符号系统的语法如何相互协作如何相互协作来共同实现三个元功来共同实现三个元功 能？能？ 32 6.6.多模态话语的形式及其关系多模态话语的形式及其关系 6.1 6.1 多模态话语的形式多模态话语的形式 媒体只有通过形式层面的组织和模式化才具有直接表达意义的能力。媒体只有通过形式层面的组织和模式化才具有直接表达意义的能力。 形式对媒介进行组织有两种手段：一是直接赋予某个媒介符号某种意义形式对媒介进行组织有两种手段：一是直接赋予某个媒介符号某种意义。由这。由这 种符号组成的符号系统通常没有能产性、没有任意性；种符号组成的符号系统通常没有能产性、没有任意性； 二是把一定的媒介符号进行组合，然后赋予这种组合一定的意义二是把一定的媒介符号进行组合，然后赋予这种组合一定的意义，这就是语法，这就是语法 的作用。由这种符号和符号组成规则形成的符号系统具有任意性、能产性、双的作用。由这种符号和符号组成规则形成的符号系统具有任意性、能产性、双 分性，由三个层次的代码组成（媒介、形式（词汇语法）和意义）。语言属于分性，由三个层次的代码组成（媒介、形式（词汇语法）和意义）。语言属于 这一类。这一类。 语言：词汇语言：词汇语法语法 图像：图符图像：图符图形语法图形语法 音响：音符音响：音符声响语法声响语法 接触：实体接触：实体- -感触语法感触语法 33 pp 6.2 6.2 多模态话语形式之间的关系多模态话语形式之间的关系 pp 运用多模态的理由运用多模态的理由：一种模态不足以表达清楚交际者的意：一种模态不足以表达清楚交际者的意 义，从而利用另一者来强化、补充、调节、协同，达到更义，从而利用另一者来强化、补充、调节、协同，达到更 加充分，或者尽量充分表达意义，让听话者理解话语的目加充分，或者尽量充分表达意义，让听话者理解话语的目 的。的。 pp 关系：互补关系：互补 vs vs 非互补非互补 pp 互补：互补：强化（突出、主次、扩充）强化（突出、主次、扩充） vs vs 非强化（交叉、联非强化（交叉、联 合、协调）合、协调） pp 非互补非互补：交叠（冗余、排斥、抵消）：交叠（冗余、排斥、抵消）vs vs 内包（部分、具内包（部分、具 体）体）vs vs 语境交互（独立语境交互（独立vs vs 依赖依赖） 34 35 pp 借用韩礼德的功能语法研究中的逻辑语义关系，来表示不借用韩礼德的功能语法研究中的逻辑语义关系，来表示不 同模态之间的关系同模态之间的关系： pp 说明说明 pp 详述详述 pp 例证例证 pp 扩展扩展 延伸延伸 pp 时间时间 pp 逻辑语义逻辑语义 增强增强 空间空间 pp 关系关系 因果因果 pp 话语话语 pp 投射投射 pp 思想思想 pp 逻辑语义关系（逻辑语义关系（martinec & salway, 2005). martinec & salway, 2005). 36 7.7.外语教学中的模态选择外语教学中的模态选择 pp 7.1 7.1 模态选择程序模态选择程序 pp 对多模态话语理论框架进行选择的基本程序是：对多模态话语理论框架进行选择的基本程序是： pp 意义选择意义选择：在文化语境中，受意识形态的支配和体裁系统的：在文化语境中，受意识形态的支配和体裁系统的 制约，根据具体的情景语境，选择要表达的意义，包括概念制约，根据具体的情景语境，选择要表达的意义，包括概念 意义、人际意义和谋篇意义；意义、人际意义和谋篇意义； pp 意义体现意义体现：所选择的意义要以合适的模态表达出来：即时的：所选择的意义要以合适的模态表达出来：即时的 口语；安静的口语；安静的手势；手势； pp 同样，对多模态的选择也是同样，对多模态的选择也是受语境的制约受语境的制约的：噪音的：噪音声音声音+ + 手势。手势。 37 不同模态之间的相互配合问题不同模态之间的相互配合问题：语义表达的需要；交际的需：语义表达的需要；交际的需 要。我们在选择中所要考虑的关键因素是在一定的情景中，要。我们在选择中所要考虑的关键因素是在一定的情景中， 如何选择合适模态来有效地表达所要传达的意义。如何选择合适模态来有效地表达所要传达的意义。 模态与媒体基本上是形式和实体的关系。模态与媒体基本上是形式和实体的关系。模态语法确定选择模态语法确定选择 什么样的媒体。如视觉语法确定不同视觉媒体之间的相互配什么样的媒体。如视觉语法确定不同视觉媒体之间的相互配 合。例如，课堂教学：熟悉的事物：语言讲解；不熟悉的事合。例如，课堂教学：熟悉的事物：语言讲解；不熟悉的事 物：讲解物：讲解 + + 实物实物 （图像等）。（图像等）。 38 7.2 7.2 模态选择的动因模态选择的动因 总体原则：总体原则：充分利用现代媒体技术，最大限度地充分表达讲话者充分利用现代媒体技术，最大限度地充分表达讲话者 的意义，取得最佳效果，为更好地利用现代技术提供一个合适的的意义，取得最佳效果，为更好地利用现代技术提供一个合适的 理论框架。理论框架。 基本思路：基本思路：人类交际中意义的体现具有多模态特点：在形式层面人类交际中意义的体现具有多模态特点：在形式层面 涉及不同模态的词汇语法系统之间的关系；形式层面由媒体来体涉及不同模态的词汇语法系统之间的关系；形式层面由媒体来体 现。现。现代媒体技术现代媒体技术都主要是在媒体层面，所以充分利用好现代媒都主要是在媒体层面，所以充分利用好现代媒 体技术是重要的研究课题。体技术是重要的研究课题。 在多模态话语交际框架下，对在多模态话语交际框架下，对模态的选择模态的选择可以从三个角度进行：可以从三个角度进行： （1 1）为外语教学提供）为外语教学提供教学情景和便利条件教学情景和便利条件（工具）；（工具）； （2 2）为外语教学提供）为外语教学提供辅助条件辅助条件（助手）；（助手）； （3 3）为多模态话语交际提供）为多模态话语交际提供多通道话语意义表达方式多通道话语意义表达方式（补充）。（补充）。 39 7.2.1 7.2.1 作为工具作为工具 多媒体技术的发展实际上为提供尽可能真实的语境的提供多媒体技术的发展实际上为提供尽可能真实的语境的提供 了便利条件，可以提供图像、录像、声音，作为学习的实了便利条件，可以提供图像、录像、声音，作为学习的实 际环境。利用从真实交际场合中得到的录像材料作为：际环境。利用从真实交际场合中得到的录像材料作为： （1 1）学习材料）学习材料，让学生了解和认识真实语境的实际情况，让学生了解和认识真实语境的实际情况 ，使获得的语境知识更加具体；，使获得的语境知识更加具体； （2 2）背景信息）背景信息，让学生与录像中的交际者在录像提供的，让学生与录像中的交际者在录像提供的 语境中进行交际。语境中进行交际。 发展现代多媒体技术的一个最基本的理念是发展现代多媒体技术的一个最基本的理念是多模态交际可多模态交际可 以使受话人通过多通道获得信息以使受话人通过多通道获得信息，比单模态话语更容易使，比单模态话语更容易使 受话者理解和记忆。受话者理解和记忆。 如如 ppt: ppt: 文字、语音、图形、图像、录像：视觉和听觉文字、语音、图形、图像、录像：视觉和听觉 40 7.2.2. 7.2.2. 作为助手作为助手 为教师提供条件，使他的工作容易进行；现代技术还可以从内部为教师提供条件，使他的工作容易进行；现代技术还可以从内部 提供动力，使教师和学生从内心愿意从事这种活动，把外因转化提供动力，使教师和学生从内心愿意从事这种活动，把外因转化 为内因。为内因。 第一，特殊的东西、大的东西、颜色艳丽或者浓的东西第一，特殊的东西、大的东西、颜色艳丽或者浓的东西更能吸引更能吸引 人们的注意力，这就是突出，把事物前景化。例如，在教学中在人们的注意力，这就是突出，把事物前景化。例如，在教学中在 pptppt画面上用艺术体、黑体、大体字，可以使文字突出；在文字中画面上用艺术体、黑体、大体字，可以使文字突出；在文字中 加上图片可以更能引起学生的注意等。加上图片可以更能引起学生的注意等。 第二，美丽的东西、怪诞的东西、幽默的东西第二，美丽的东西、怪诞的东西、幽默的东西更能引起人们的兴更能引起人们的兴 趣，提高学生的参与度，所以，在教学中，用现代技术提供美丽趣，提高学生的参与度，所以，在教学中，用现代技术提供美丽 的图片，幽默的简笔画，美丽的环境介绍可以使学生积极参与，的图片，幽默的简笔画，美丽的环境介绍可以使学生积极参与， 注意力集中。注意力集中。 第三，有挑战性的环境，或对抗的环境，或者幽默的环境，第三，有挑战性的环境，或对抗的环境，或者幽默的环境，可以可以 激发人们参与的热情，如提供一些有一定难度的破解题，谜题；激发人们参与的热情，如提供一些有一定难度的破解题，谜题； 描述一个对抗的语境；或者提供一项交际任务等。描述一个对抗的语境；或者提供一项交际任务等。 41 pp7.2.3. 7.2.3. 作为补充作为补充 pp 模态的选择要以增加正效应为原则，具体可以包括：互相强化、互相协模态的选择要以增加正效应为原则，具体可以包括：互相强化、互相协 调、前景背景、整体部分（抽象具体）等关系。调、前景背景、整体部分（抽象具体）等关系。 pp 1. 1. 强化关系强化关系 pp 用用pptppt显示句子显示句子“ “peter was killed in a traffic accident”peter was killed in a traffic accident”， 并可同时读出这个并可同时读出这个 句子，在句子，在pptppt画面上配上皮特发生车祸的照片，或者放一段发生车祸的画面上配上皮特发生车祸的照片，或者放一段发生车祸的 录像片，配上发生车祸是的声音等。录像片，配上发生车祸是的声音等。 pp 2. 2. 协调关系协调关系 pp 协调关系是利用多模态之间的协调性，就是还原人类社会交际的本来面协调关系是利用多模态之间的协调性，就是还原人类社会交际的本来面 目，即由一种媒体不能独自完成的交际任务可以由其他媒体来补充。例目，即由一种媒体不能独自完成的交际任务可以由其他媒体来补充。例 如，在讲包括下面一个对话的故事时，如果没有图画，我们会不知所云如，在讲包括下面一个对话的故事时，如果没有图画，我们会不知所云 ： pp 1 big nutbrown hare1 big nutbrown hare， “i love you as high as i can reach.” “i love you as high as i can reach.” pp little nutbrown hare little nutbrown hare， “that is quite high. i wish i had arms like that.” “that is quite high. i wish i had arms like that.” pp 但是如果我们配上图画就很容易了，而且还很幽默。但是如果我们配上图画就很容易了，而且还很幽默。 42 43 3. 3. 前景背景关系前景背景关系 第三种选择第三种选择多模态教学的依据是语言交际中的前景和背景的多模态教学的依据是语言交际中的前景和背景的 关系关系。在外语教学中，语言交际显然都是处在前景中，由其。在外语教学中，语言交际显然都是处在前景中，由其 他模态提供背景。例如，在戏剧的开始，首先出现一个布景他模态提供背景。例如，在戏剧的开始，首先出现一个布景 ，提供事件发生的时间、地点、环境，还可以包括人物等。，提供事件发生的时间、地点、环境，还可以包括人物等。 4. 4. 整体部分（抽象具体）关系整体部分（抽象具体）关系 在多媒体时代，教师可以通过在多媒体时代，教师可以通过选择合适的媒体来提供具体的选择合适的媒体来提供具体的 信息，从而使学生能更清楚地理解所教的内容信息，从而使学生能更清楚地理解所教的内容。例如，当你。例如，当你 教授一种新奇的动物或者植物时，你一般首先提供名称，然教授一种新奇的动物或者植物时，你一般首先提供名称，然 后做些简单的讲解。学生仍然不知所云。但如果提供一个照后做些简单的讲解。学生仍然不知所云。但如果提供一个照 片，如果条件允许的话，提供一段有关这种动物或者植物的片，如果条件允许的话，提供一段有关这种动物或者植物的 录像，会使学生一目了然。录像，会使学生一目了然。 44 pp 7.3.4 7.3.4 多模态选择的目标多模态选择的目标 pp 从经济的角度讲，使用单模态要比用多模态要简单、省力，从经济的角度讲，使用单模态要比用多模态要简单、省力， 所以使用多模态进行交际必然要有一定的理由，组成这些理所以使用多模态进行交际必然要有一定的理由，组成这些理 由的最主要因素是使用多模态的所要取得的效果或者目标；由的最主要因素是使用多模态的所要取得的效果或者目标； 形成多模态选择的动因可以总结为一下几个方面形成多模态选择的动因可以总结为一下几个方面： 45 1. 1. 补缺补缺，一种模态不足以表达意义，或不能使听话者理解意一种模态不足以表达意义，或不能使听话者理解意 义，用另一种来补充剩余的意义，即一种模态只能体现要表义，用另一种来补充剩余的意义，即一种模态只能体现要表 达的部分意义，另一部分需要通过另一种模态来体现，例如达的部分意义，另一部分需要通过另一种模态来体现，例如 ：在较远的距离内或者噪杂的环境中喊叫某个人时同时打手：在较远的距离内或者噪杂的环境中喊叫某个人时同时打手 势；在幽默图画中只提供语境依赖性强的书面话语，或者在势；在幽默图画中只提供语境依赖性强的书面话语，或者在 录像中提供同类口头话语。图画没有文字则不能把整体意义录像中提供同类口头话语。图画没有文字则不能把整体意义 表达出来；同样录像没有口头话语也会使看者一头雾水。表达出来；同样录像没有口头话语也会使看者一头雾水。 2. 2. 强化强化，一种模态表达整体意义，另一种来突出部分意义，一种模态表达整体意义，另一种来突出部分意义， 例如：（重音、黑体、前景图像、彩色等）例如：（重音、黑体、前景图像、彩色等） 目的目的：使重点意义突出。：使重点意义突出。 46 3. 3. 吸引注意力吸引注意力，一种模态表达基本的意义，另一种来更加具，一种模态表达基本的意义，另一种来更加具 体和形象地重现这种意义；例如，用文字标出某个动物或者体和形象地重现这种意义；例如，用文字标出某个动物或者 植物的名称，用图像把这种动物或者植物的典型形式表现出植物的名称，用图像把这种动物或者植物的典型形式表现出 来；用语言艺术、图像、动作来幽默的表达意义，吸引听话来；用语言艺术、图像、动作来幽默的表达意义，吸引听话 者的注意力等；者的注意力等； 形象形象 幽默幽默 激发兴趣激发兴趣 目的：目的：使读者或听话者把注意力转移到话语交际上来。使读者或听话者把注意力转移到话语交际上来。 47 4.4.抒发情感抒发情感，用一种模态来表达基本的概念意义，用另一种，用一种模态来表达基本的概念意义，用另一种 模态来表达人际意义，包括态度、情感、目的等，例如：在模态来表达人际意义，包括态度、情感、目的等，例如：在 用文字描述游行事件的同时，用照片再现当时的场景，用一用文字描述游行事件的同时，用照片再现当时的场景，用一 定的角度和方式把警察表现为邪恶的人，或者用相同的方法定的角度和方式把警察表现为邪恶的人，或者用相同的方法 把他们表现为英雄，都属于这一类。把他们表现为英雄，都属于这一类。 喜爱喜爱 憎恨憎恨 目的：目的：力图左右听话者或者读者的态度和价值观等，使其转力图左右听话者或者读者的态度和价值观等，使其转 向有利于自己的观点和态度。向有利于自己的观点和态度。 48 5. 5. 易理解易理解，一种模态表达比较抽象、概括、偏僻、难度特别，一种模态表达比较抽象、概括、偏僻、难度特别 大、深奥道理或者结论等，用另一种模态来提供其实例、说大、深奥道理或者结论等，用另一种模态来提供其实例、说 明、关系等使理解更加容易。例如，在谈论龙时，在中国人明、关系等使理解更加容易。例如，在谈论龙时，在中国人 头脑中出现的形象是中国雄伟荣耀的、代表皇帝的龙。即使头脑中出现的形象是中国雄伟荣耀的、代表皇帝的龙。即使 说的是西方的龙，如果不加说明，也是如此；用文字说明则说的是西方的龙，如果不加说明，也是如此；用文字说明则 需要很多的话语，但用图形方式表现出来则十分容易理解，需要很多的话语，但用图形方式表现出来则十分容易理解， 因为根据形象本身我们就可以发现，西方的龙是邪恶的化身因为根据形象本身我们就可以发现，西方的龙是邪恶的化身 。这类多模态的用途还包括用表格表示数量和关系、用简化。这类多模态的用途还包括用表格表示数量和关系、用简化 图表示理论框架、用流程图表示进程等。图表示理论框架、用流程图表示进程等。 具体化、形象化、图形化、关系化具体化、形象化、图形化、关系化 目的目的：使所交流的信息易于被听话者理解和接受，避免模糊：使所交流的信息易于被听话者理解和接受，避免模糊 和不确定性理解。和不确定性理解。 49 8. 8. 多模态读写多模态读写 （多元识作）（多元识作） pp 多模态读写多模态读写(multiliteracy(multiliteracy) )指具有阅读可接触到的所有媒体和指具有阅读可接触到的所有媒体和 模态的信息，并能据此产生相应的材料，如阅读互联网或互模态的信息，并能据此产生相应的材料，如阅读互联网或互 动的多媒体的能力。动的多媒体的能力。 pp 传统的以读写为主的读写能力传统的以读写为主的读写能力在多媒体时代已不够用。在多媒体时代已不够用。 pp 其次，在教育中，其次，在教育中，教室里不断增加使用多种媒体，如教室里不断增加使用多种媒体，如图像操图像操 作软件、电子音乐、科学模拟、存在于计算机上的虚拟剧场作软件、电子音乐、科学模拟、存在于计算机上的虚拟剧场 等。等。多模态化和多元符号学多模态化和多元符号学试图把这些信递形式理论化，探试图把这些信递形式理论化，探 讨各种图像、词语和动作的模态如何互相依赖，以产生整体讨各种图像、词语和动作的模态如何互相依赖，以产生整体 意义意义(williamson 2005) (williamson 2005) 。 50 pp 重要的是有时一种模态需要依赖其他模态来完成信递行为重要的是有时一种模态需要依赖其他模态来完成信递行为 ，如没有口述的词语说明，图表会一无意义；没有模型课，如没有口述的词语说明，图表会一无意义；没有模型课 件，教师用手做的节奏性动作也就没有意义；因而每一种件，教师用手做的节奏性动作也就没有意义；因而每一种 模态，作为符号资源，对所做的表达都有贡献。模态，作为符号资源，对所做的表达都有贡献。 pp 学生的任务学生的任务是将教师的各模式和符号资源转变为理解。是将教师的各模式和符号资源转变为理解。 51 pp 多模态读写多模态读写是是多元读写能力多元读写能力（multiliteraciesmultiliteracies）的主要组成部）的主要组成部 分；分；多元读写能力多元读写能力也包括也包括多元模态读写能力多元模态读写能力。 pp 在全球化的今天，多元读写能力用来描写在全球化的今天，多元读写能力用来描写语言和文化的多样语言和文化的多样 性和对变异的尊重性和对变异的尊重。虽然多元文化概念扩展了对知识的看法。虽然多元文化概念扩展了对知识的看法 ，它也加大了能接触不同，它也加大了能接触不同“ “读写方法读写方法” ”和不能接触这些读写方和不能接触这些读写方 法的识读者之间的鸿沟。法的识读者之间的鸿沟。 pp 这样，读写能力有这样，读写能力有两层意思两层意思，文化读写文化读写能力和能力和技术读写技术读写能力能力 ，后者就是多模态读写能力。，后者就是多模态读写能力。 52 pp8.18.1多元读写能力的类型多元读写能力的类型 ppthwaites(1999)thwaites(1999)提出了提出了六六种主要的多元种主要的多元读写读写能力，分别是能力，分别是 ： pp 1.1.科技科技读写读写能力能力：在多模态话语时代，许多模态是由科技手段实现：在多模态话语时代，许多模态是由科技手段实现 的，如网络、计算机、的，如网络、计算机、pptppt等。所以，提高多元等。所以，提高多元读写读写能力需要学生能力需要学生 学好学习现代科技知识，掌握现代技术设备的使用和操作学好学习现代科技知识，掌握现代技术设备的使用和操作。 pp 2.2.模态模态读写读写能力能力：学习了解有哪些媒体可以用作交际的手段，各自：学习了解有哪些媒体可以用作交际的手段，各自 可实现什么模态，以及这些模态之间在体现语篇的整体意义中的关可实现什么模态，以及这些模态之间在体现语篇的整体意义中的关 系。系。 pp 3. 3. 文化文化读写读写能力能力：文化：文化读写读写能力是多元能力是多元读写读写能力中最关键的能力，能力中最关键的能力， 它包括相关的业务知识、有关社会的基本知识，相关的道德标准和它包括相关的业务知识、有关社会的基本知识，相关的道德标准和 原则等。原则等。 53 pp 4. 4. 政治政治读写读写能力：能力：政治政治读写读写能力包括有成熟的政治立场和能力包括有成熟的政治立场和 觉悟，掌握有关政治的知识，对政治的敏感度，以及对政觉悟，掌握有关政治的知识，对政治的敏感度，以及对政 治现象的解读能力。治现象的解读能力。 pp 5. 5. 批评批评读写读写能力：能力：多元多元读写读写能力的重要组成部分之一是对能力的重要组成部分之一是对 选择的模态和表达的意义有批评能力。学生不仅要学会相选择的模态和表达的意义有批评能力。学生不仅要学会相 关的知识，还必须要有自己的观点关的知识，还必须要有自己的观点。 pp 6.6.后现代后现代读写读写能力能力( postmodern literacy) (thwaites, 1999)( postmodern literacy) (thwaites, 1999)： 后现代主义推崇解构主义，强调变异性、独特性、异质性后现代主义推崇解构主义，强调变异性、独特性、异质性 和多元化，反对以规范和定律来认识事物。这和多模态交和多元化，反对以规范和定律来认识事物。这和多模态交 际的出现是一致的。际的出现是一致的。 54 + + 8.2 8.2 多元多元读写读写能力的培养能力的培养 + + 除了学生要主动学习之外，除了学生要主动学习之外，再一个关键因素是老师在学生的多元再一个关键因素是老师在学生的多元读写读写 能力的发展方面的作用能力的发展方面的作用。新伦敦小组（。新伦敦小组（the new london group, 1996the new london group, 1996 ）提出了以下）提出了以下四个方面的教学方式：四个方面的教学方式：实景实践实景实践、明确指导明确指导、批评性解、批评性解 读、读、转化的实践转化的实践。 + + 已有的建立在语境、交际、知识、形式、功能、认知等基础上的教学已有的建立在语境、交际、知识、形式、功能、认知等基础上的教学 方法很多，方法很多，那么为什么新伦敦小组会提出这些方面呢？这四者之间是那么为什么新伦敦小组会提出这些方面呢？这四者之间是 什么关系呢？什么关系呢？按照新伦敦小组的观点（按照新伦敦小组的观点（19961996），它们之间没有先后关），它们之间没有先后关 系，或者存在复杂的关系，难以以一种模式来固定的。系，或者存在复杂的关系，难以以一种模式来固定的。 + + 实际上，这四个方面是任何学习都涉及的过程，只是在以前的教学方实际上，这四个方面是任何学习都涉及的过程，只是在以前的教学方 法中，每个方法通常只强调其中一个方面，而忽略其他。例如，法中，每个方法通常只强调其中一个方面，而忽略其他。例如，语法语法 翻译法等强调知识学习的重要性翻译法等强调知识学习的重要性，把一切看作知识，而忽视了实践能，把一切看作知识，而忽视了实践能 力；而力；而交际教学法、情景教学法、任务教学法交际教学法、情景教学法、任务教学法等则强调实践的重要性等则强调实践的重要性 ，而忽视其他；，而忽视其他；反思教学法反思教学法强调反思的作用。强调反思的作用。 55 + + ( (1 1) ) 实景实践实景实践 + + 实景实践实景实践的关键因素是的关键因素是完全投完全投入到实践入到实践的交际过程中，以的交际过程中，以 学习者已经有的经历和已经掌握的知识为基础来发展某些学习者已经有的经历和已经掌握的知识为基础来发展某些 基本技能或者获取某些知识，这个过程也需要把基本技能或者获取某些知识，这个过程也需要把学习者的学习者的 文化或次文化态度考虑在内文化或次文化态度考虑在内，而不是把学习者当作训练的，而不是把学习者当作训练的 对象。对象。这是个设计过程。这是个设计过程。 + + 学生需要学生需要运用一系列话语来浸入实际的训练运用一系列话语来浸入实际的训练中，也就是说中，也就是说 ，学生需要进行真正的社会实践来学习。在这个过程中，学生需要进行真正的社会实践来学习。在这个过程中， 可以有教师的指导。新伦敦小组所推崇的实践教学方法是可以有教师的指导。新伦敦小组所推崇的实践教学方法是 浸入法浸入法，即学生需要完全进入实际社会交际中来提高多元，即学生需要完全进入实际社会交际中来提高多元 读写读写能力，所以，能力，所以，交际教学法、任务教学法、商谈教学法交际教学法、任务教学法、商谈教学法 都是直接用语言及相关模态进行交际的，可以在多模态教都是直接用语言及相关模态进行交际的，可以在多模态教 学中发挥作用。学中发挥作用。 56 + + 实景实践实景实践说起来容易，但做起来难。说起来容易，但做起来难。在三个方面需要在这个基础在三个方面需要在这个基础 上向外延伸上向外延伸。 + + 第一、多元第一、多元读写读写能力包括多种能力，在实践中同时学习这些能力能力包括多种能力，在实践中同时学习这些能力 很难很难； + + 第二、在多模态话语时代，要学习符号资源不仅是语言，而且是第二、在多模态话语时代，要学习符号资源不仅是语言，而且是 很多其他模态很多其他模态。新伦敦小组（。新伦敦小组（19961996）把它们总结为以下类别：）把它们总结为以下类别： + + （1 1）语言类）语言类：语言表达、词汇和隐喻、情态、及物性、过程的正：语言表达、词汇和隐喻、情态、及物性、过程的正 规化、信息结构、局部连贯关系、宏观连贯关系；规化、信息结构、局部连贯关系、宏观连贯关系； + + （2 2）视觉类）视觉类：颜色、视角、前景化与背景化等；：颜色、视角、前景化与背景化等； + + （3 3）身势类）身势类：行为、身体动作、手势、感觉、情感、身势语、空：行为、身体动作、手势、感觉、情感、身势语、空 间关系等；间关系等； + + （4 4）空间类）空间类：生态系统、地理位置、建筑系统等；：生态系统、地理位置、建筑系统等； + + （5 5）声音类）声音类：音乐、声响等。：音乐、声响等。 57 + + 这么多类别的模态系统同时学习难度很大；这么多类别的模态系统同时学习难度很大； + + 第三、可以进行浸入式学习的环境更是有限，不仅是受时空第三、可以进行浸入式学习的环境更是有限，不仅是受时空 的影响，而且受到科技等多种条件的影响的影响，而且受到科技等多种条件的影响。 + + 所以，从这个角度讲，所以，从这个角度讲，真正的浸入式教学和学习真正的浸入式教学和学习是很少见的是很少见的 ，因为给教学可提供的环境和条件是很难达到的。这样，我，因为给教学可提供的环境和条件是很难达到的。这样，我 们可以从两个方面来克服这个问题。们可以从两个方面来克服这个问题。 + + 一是一是减少需要学习的模态类型减少需要学习的模态类型； + + 二是二是为浸入式教学提供可替代的教学模式为浸入式教学提供可替代的教学模式。 58 + + 1 1：筛选要求学生学习的模态和模态组合，去掉哪些对有意筛选要求学生学习的模态和模态组合，去掉哪些对有意 识交际意义不大的模态或者模态组合识交际意义不大的模态或者模态组合： + + （1 1）剔除）剔除无意识模态无意识模态：在交际过程中，为了使交际成功，在交际过程中，为了使交际成功， 要要选择适合完成交际任务的模态选择适合完成交际任务的模态，如在外语教学中，教学的，如在外语教学中，教学的 首选模态一般是首选模态一般是口语话语口语话语，同时，为了增强效果，也同时选，同时，为了增强效果，也同时选 择择黑板板书，或黑板板书，或pptppt上的图像、动画、彩色文字上的图像、动画、彩色文字等。而老师等。而老师 在交际中的在交际中的手势、面部表情、动作手势、面部表情、动作等则是无意识产生的。对等则是无意识产生的。对 于这类模态，虽然在交际中是其作用的，但不必要进行精心于这类模态，虽然在交际中是其作用的，但不必要进行精心 设计。设计。 + + （2 2）淡化）淡化辅助性模态辅助性模态：在众多交际模态中，有些起主要作：在众多交际模态中，有些起主要作 用，为主模态，如教学中的用，为主模态，如教学中的口语口语，读书中，读书中书面语书面语；有些模态；有些模态 只是起辅助作用，用以增强效果，如只是起辅助作用，用以增强效果，如身体的动作、身体的动作、pptppt上显上显 示的文字、图画、动画示的文字、图画、动画等。对于辅助性模态要等。对于辅助性模态要利用好，使其利用好，使其 产生增效作用，而避免无效模态和低效模态产生增效作用，而避免无效模态和低效模态。 59 + + 2. 2. 用科技手段提高模拟实践环节用科技手段提高模拟实践环节，如录像、实景学习软件，如录像、实景学习软件 等。也就是说，如果找不到合适的主模态，则需要等。也就是说，如果找不到合适的主模态，则需要寻找相寻找相 近的、等效的或者近效的模态近的、等效的或者近效的模态来替代它，以求来替代它，以求尽量产生好尽量产生好 的效果的效果。 + + （1 1）用空间布局提供合适的实践环境）用空间布局提供合适的实践环境，如在，如在教室里布置合教室里布置合 适的环境适的环境，让学生在假设的环境中进行实践活动；在教室，让学生在假设的环境中进行实践活动；在教室 中中布置合适的桌椅布局布置合适的桌椅布局，创造适合于辩论、协商、交谈的，创造适合于辩论、协商、交谈的 环境；环境； + + （2 2）用图像、动画等创设接近于真实语境的环境）用图像、动画等创设接近于真实语境的环境，使学生，使学生 感觉在真实的语境中交际；感觉在真实的语境中交际；编撰合适软件编撰合适软件，把真实的语境，把真实的语境 置入软件中，在真实环境中创造交际环境，让学生参与到置入软件中，在真实环境中创造交际环境，让学生参与到 实际交际中去等。实际交际中去等。 60 + + ( (2 2) ) 明确指导明确指导 + + 明确指导也是一个设计过程，其明确指导也是一个设计过程，其主要目的是主要目的是发展学生的已有发展学生的已有 资源资源（已有设计资源）。（已有设计资源）。 + + 明确指导明确指导的目标的目标不是像传统的教学那样，灌输知识、进行训不是像传统的教学那样，灌输知识、进行训 练、死记硬背，而是让学生练、死记硬背，而是让学生： + + （1 1）明确交际的基本规律、基本程序明确交际的基本规律、基本程序、具体步骤、具体步骤等等，了解相，了解相 关的知识关的知识； + + （2 2）有意识地控制他们学过的东西有意识地控制他们学过的东西，能够了解那是重点，那，能够了解那是重点，那 是焦点信息是焦点信息；这些知识与以前已经学过的东西有什么关系，；这些知识与以前已经学过的东西有什么关系， 是否是其一个部分，是否可以丰富已有资源，组成新的知识是否是其一个部分，是否可以丰富已有资源，组成新的知识 框架。框架。 + + （3 3）教他们）教他们做到他们自己做不到的事情做到他们自己做不到的事情，学习新的知识，发，学习新的知识，发 展新的能力。展新的能力。 61 + + 学生学习是学自己以前没有掌握的东西，所以，必然涉及学学生学习是学自己以前没有掌握的东西，所以，必然涉及学 习新的知识、技能、能力等。习新的知识、技能、能力等。老师的作用是把学生引入到这老师的作用是把学生引入到这 些新的知识和能力中。这个过程些新的知识和能力中。这个过程其中一个重要步骤是要其中一个重要步骤是要给学给学 生明确的指导生明确的指导，包括指导他们如何进行活动，以及老师如何，包括指导他们如何进行活动，以及老师如何 指导他们等。指导他们等。 + + 第一、第一、这些理论和知识首先包括这些理论和知识首先包括元语言元语言，即，即用以论述和讨论用以论述和讨论 这个领域的语言这个领域的语言，以使学生能够对相关的领域进行反思、讨，以使学生能够对相关的领域进行反思、讨 论、概括、推理等。论、概括、推理等。 + + 这些理论知识是需要老师教的。这些理论知识是需要老师教的。 62 + + 第二，第二，这些理论和知识包括这些理论和知识包括模态的系统特征模态的系统特征，如在现代社，如在现代社 会交际中主要会交际中主要有哪些主要模态有哪些主要模态在起作用；在起作用；语言语言作为主要的作为主要的 教学对象的系统特征，包括媒体（音系、字系）、词汇语教学对象的系统特征，包括媒体（音系、字系）、词汇语 法和语义系统；以及除语言之外的法和语义系统；以及除语言之外的其他主要模态系统其他主要模态系统的媒的媒 体、词汇语法和语义系统，和语言与其他模态之间的关系体、词汇语法和语义系统，和语言与其他模态之间的关系 等。等。 + + 最后，这些知识还包括最后，这些知识还包括模态在社会交际中的基本模式和功模态