图像知识对现代汉语多媒体学习的影响

1、    图像知识对“现代汉语”多媒体学习的影响    张黎一、引言广义上，图像就是所有具有视觉效果的画面，它包括：纸介质上的，底片或照片上的，电视、投影仪或计算机屏幕上的。作为一种感觉媒体，图像具有形象、生动、直观、内容丰富的特点，是人们最主要的信息源。古希腊哲学家赫拉克利特曾说：“眼睛是比耳朵可靠的见证。”1我国也有“耳听为虚，眼见为实”“百闻不如一见”“一目了然”等俗语，这些说法都道出了视觉在认识上具有其它感官无法比拟的优越性，同时也反映了具有视觉效果的图像在信息传递中的独特效果。如今是一个图像丰富乃至迅猛膨胀的时代，各种纷繁的广告影像到创意的形象设

2、计随处可见，一个又一个转瞬即逝的图像不断吸引、刺激着人们的眼球，当然课堂教学也会受其影响。众多信息的“可视化”表达在许多高校多媒体教学中也受到了前所未所的关注，于是大量的多媒体教学代替了“黑板加粉笔”的传统模式，但仍有不少多媒体教学虽然使用了课件，却只有教材内容的摘录和翻版，通篇的文字，形式单一。这种以“照课件宣读”的多媒体教学，不仅对学习者的学习是无效的，而且对多媒体教学本身也是无效的。所以，如何让学习者在多媒体教学中形成有意义的学习是“现代汉语”教学者需要认真思考的问题。二、研究背景美国知名教育心理学家和实验心理学家mayer（理查德·梅耶）在anderson的图式理论（1983

3、）、wittrock的生成学习理论（1990）、paivio的双重编码理论（1986）、baddeley工作记忆模式（1986）和sweller的认知负荷理论（1988）的基础上，通过大量科学实验提出了多媒体学习理论，他认为“多媒体教学信息是一种用语词和画面共同呈现的信息”2，其中“画面”指“用图像形式（pictorial）呈现材料，如使用静态图像（包括插图、图表、照片和地图）或动态图像（包括动画和录像带）”3。可见，梅耶的多媒体学习理论将图像知识，即“画面”作为多媒体教学信息的重要内容之一，尤其是他的多媒体学习认知模型（图1）集中体现了学习者接受图像的过程是一个主动学习的认知过程，具体解释如

4、下：多媒体的呈现方式有来自外部世界的信息材料（画面和语词），当信息呈现给眼睛（如插图、动画、录像或屏幕文本）和耳朵（解说或非言语声音）时，学习者开始在视觉通道和听觉通道中加工信息。这时语词和图像在感觉记忆中可以保持一段时间;图中的工作记忆是多媒体学习的主要过程，根据容量有限原则，只有少量的图像在工作记忆中保存，根据主动加工假设，学习者在工作记忆中选择相关语词和图像，在听觉和视觉记忆中加工相关的语词和图像，然后在选择和加工中的语词和图像中建立内在联系并形成一致的言语心理模型和图像心理模型;最后，学习者将言语心理模型和图像心理模型和先前知识进行加工整合，形成有意义的学习（mayer，1997）。梅

5、耶的多媒体学习认知机制的分析为多媒体课件的设计提供了一个理论基础，“现代汉语”多媒体课件应该以学习者的认知过程为基础，深入探索多媒体教学中的图像知识的呈现内容和方式。图1多媒体学习认知模型三、实验研究国内汉语学界多从理论上讨论多媒体教学和优劣，尚无与汉语教学相联系的实证研究，本文旨在为提高“现代汉语”学习绩效，通过多媒体学习实验，考察多媒体教学中图像知识的有无对该课程多媒体学习的影响。（一）实验对象随机抽取甘肃政法学院人文学院汉语言文学专业一年级的15位同学为实验对象，将其平均分为试验组和对照一组、二组。（二）实验内容与设计从“现代汉语”的“语音”章里，提供辅音nn、ll和n?的发音与辨析问题

6、。因为从汉语方言的全局来看，辅音声母n和l混读的地区占汉语的一半，如西南方言的大部分，江淮方言、西北方言中的一部分，还有南方的湘、赣、闽等地。辅音n除了作声母外，还可以作韵尾，所以在吴方言、西南官话、西北方言等地，有-n与-n相混现象，有-n混入-n的，也有-n混入-n的。因此，这三个辅音的发音与辨析有着普遍性的意义。对于这个问题，教师都先用语词解释，说明传统的以单一媒体呈现教学信息的方式。然后，教师介绍基于书本环境的多媒体信息是如何用印刷文本和插图构建而成以基于计算机环境的多媒体教学信息是如何解说和动画建构而成。最后，教师阐述了如何通过保持测验和迁移测验来测量学习结果，前者测量学习者对学习内

7、容记忆的程度，要求学生写出n、l和n发音形成过程，后者测量学习者对学习内容理解的程度，如辨别这三个辅音的发音及方言纠音等。（三）实验过程实验1：对于以上三个辅音发音，“现代汉语”课本“语音”章对其进行了全面而详细的文字描述：nn是舌尖中、浊、鼻音。发音时，舌尖抵住上齿龈，软腭下降，打开鼻腔通路，气流振动声带，从鼻腔通过发音;阻碍解除时，气流冲破舌尖的阻碍，发出轻微的塞音。ll是舌尖中、浊、边音。发音时，舌尖抵住上齿龈，软腭上升，堵塞鼻腔通路，气流振动声带，从舌头两边或一边通过。4n?是舌面后、浊、鼻音。发音时，软腭下降，打开鼻腔通道，气流从鼻腔出来，舌面后部后缩抵住软腭，气流振动声带后从鼻腔通

8、过。5让对照组的5位学生阅读完由188个汉字组成的发音描写后立即进行保持测验和迁移测验。实验2：在基于书本的环境中，教师在每一段文本解释中各增加一幅插图，分别是辅音n（图2-1）、l（图2-2）和n（图2-3）的发音示意图，在口腔剖面图中展现了各个辅音的发音部位、箭头表示气流的走向等，然后把三幅插图分别排放在学生刚刚读过的188个汉字的文本段落里。这里的打印文本就是语词，插图就是画面。打印文本和插图最佳地结合在一起就形成了多媒体的信息。 图2-1  n发音示意图                  

9、;    图2-2   l发音示意图                 图2-3  n发音示意图让试验一组的5位学生在阅读完由188个汉字组成的发音描写和图2的三个插图后立即进行相同内容的测验。实验3：同样的方法在基于计算机的环境中制作了一个带解说的动画多媒体课，每个发音由22秒的动画组成，描绘这三个辅音的具体发音特点，同时还伴有对应的50个左右的汉字的女声解说，描述每个发音的关键步骤。最后，解说示范两次标准读音，以供学习者参考。这样学习者从发音示例中不仅可以听到标准的汉语发音

10、及讲解，还可以清楚地从屏幕上看到每个发音所展示唇、齿、牙、腭、喉、声带、气管、鼻腔、气流等发音器官在口腔中变化活动的全过程。这里的解说是文本的简化版，就是语词，动画由插图中的线条画改编的，就是画面、解说和动画的相互配合也形成了多媒体的信息。例如：发辅音n时，屏幕上先显示辅音n和与两幅口形图，一个是正面口形图，一个是侧面口腔剖面图。解说与动态图像同时进行，当剖面图上的舌头由平展慢慢抬起，舌尖翘起，并顶住上齿龈时，解说同步发声说明关键语词：“舌尖”“上齿龈”;当气流从肺部呼出来经过咽腔、然后从鼻腔出来时，解说同步说明关键语词：“鼻腔出气”。发辅音l时，解说与动态图像同时进行，当剖面图上的舌头由平展

11、慢慢抬起，然后舌尖翘起，并顶住上齿龈时，解说同步发声说明关键语词：“舌尖”“上齿龈”;当气流从肺部呼出来经过咽腔、然后从口腔中的舌头两边出来时，解说同步说明关键语词：“舌头两边出气”。为了说明辅音n和l的关键区别点，屏幕上还会再次将它们的两幅发音动态图在同一时间同一屏幕上进行展示并加以对照，尤其是对二者的气流不同走向，图像将以红色动态曲线重新演示一遍。同样，在展示辅音n的发音时，当剖面图上的舌面后部慢慢抬起，然后抵住软腭时，解说同步发声说明关键语词：“舌面后部”“软腭”;当气流振动声带后从鼻腔通过时，解说同步说明关键语词：“鼻腔出气”;为了说明辅音n和n的关键区别点，屏幕上也会再次将它们的两幅

12、发音动态图在同一时间同一屏幕上进行展示并加以对照，尤其是对二者不同的发音部位，图像将以红色动态曲线重新演示一遍。让试验二组的5位学生在看完三个动态发音示意图，同时听完相关发音解说后也立即进行相同内容的测验。（四）结果与分析对照组的学生在阅读完由188个汉字组成的发音描写后立即进行了保持测验和迁移测验，但是成绩都不太理想。当要求学生写出n、l和n发音形成过程（即保持测验），他们一般能回忆出一些片断的内容;当要求学生回答如何辨别这两个发音时（即迁移测验），他们大部分不能说出主要的区别点。显而易见，传统的崇尚时间的呈现教学信息的方法以打印文字的形式呈现解释的方法似乎不能很好地发挥作用。试验一组和二组

13、的学生在两种不同的多媒体信息呈现方式环境下也进行了相同的测试。在保持测验中，大部分学生能记得这三个辅音的主要发音器官，如n和l都是舌尖抵住上齿龈，n和n都是鼻音等关键点;在迁移测验中，大部分学生还能辨析出它们的区别点，如n和l不同之处主要在于有无鼻音，有的学生对于n和n的差异虽然说不上具体什么发音部位，但是大致了解它们在于形成阻碍的发音部位。考察发现试验组的学生在对辅音的发音步骤和辨析上基本达到了识记和理解的目的，但是在具体方言语音的纠正方面，仍然不知如何准确运用。四、讨论从实验中可以看到只考虑言语的呈现形式是有局限性的，当在言语表征中增加视觉表征，并从两种多媒体环境印刷文本和插图构建的书本环

14、境和以解说与动画建构而成计算机环境中是可以提高学习者的学习效果的。根据多媒体学习的认知理论，多媒体呈现（语词和画面共同呈现）比只用一种形式对学习内容的呈现能使学生的学习更深入。多媒体呈现可以引导学生建立起辅音的发音及辨析的言语心理模型和图像心理模型，并在两种模型中建立联系。多媒体呈现使学生的短时记忆中同时保存相应的言语表征和图像表征，因此增加了在两种表征之间建立心理联系的可能性。根据多媒体学习的认知理论，在言语表征和图像表征之间建立联系的过程是形成概念理解的重要步骤，因此，探索结构良好的多媒体信息的学生比接受只用语词呈现信息的学生在迁移测验（测量理解度）中表现更佳。这一结果也让教师意识到应该不

15、断寻求使学生更容易理解学习材料的不同方法，教师的任务不仅是要呈现材料，而且还要引导学生对所呈现的材料进行认知加工，特别要使学生能形成言语表征和图像表征，并在两种表征之间建立联系，精心设计的多媒体信息可以帮助学习者完成这些加工。五、图像知识的有效呈现条件多媒体效应证实，如果把图像加入到语词中当材料以两种形式而不是一种形式呈现时，会增强学生的学习。但并不是所有的多媒体信息都同样有效。因此，梅耶在大量实验研究基础上，探讨了有效的多媒体呈现条件，如空间接近原则、时间接近原则、一致性原则、冗余原则和通道原则，它们对多媒体何时起作用提供了规范，所以对改进“现代汉语”多媒体课件同样有着重要的指导意义。（一）

16、空间接近原则和时间接近原则所谓的空间邻近（spatial contiguity principle）指在书页上或屏幕上对应的语词和画面邻近呈现比隔开呈现能使学生学得更好6;时间邻近原则（spatial contiguity principle）是指对应的语词和画面同时呈现比继时呈现时能使学生学得更好7。梅耶的多媒体学习理论认为，语词和画面（图像）临近呈现，可以帮助学习者在二者之间建立心理联系，学习者不必在屏幕和书页上到处寻找与句子相对应的图像，可以把认知资源应用于主动学习的过程。因此，教师在“现代汉语”多媒体课程设计中应把语词文本与对相应文本进行解释的图片进行临近呈现，对相应文本进行解释的语音

17、也应该与文本同步呈现。 （二）一致性原则梅耶的多媒体学习理论中的一致性原则（coherence principle）对于核心图文的有效呈现具有指导性意义。一致性原则指当无关的材料被排除而不是被包括时，学生学得更好8。它主张减少与教学内容无关的语词、画面和声音，因为它们会争夺工作记忆中的认知资源，分散学生对重要材料的注意力，从而需要较多的时间、精力来学习。“现代汉语”作为语言教学，往往比较单调，不易引起学生的兴趣和重视。有些教师为了减少课堂的枯燥抽象，会尽量在课件加入一些有趣的图片、前景音乐、动画视频和各种颜色，让人眼花缭乱、目不暇接，有的界面设计还很复杂，有超链接、按钮、选择框等交互形式。这些

18、信息表面上有趣，但实际上并不激励学习效果的产生，相反还会干扰学习者对学习内容的组织和整合。因此，教师在设计课件之前，应合理规划课件所呈现的内容和形式，建议只呈现精练的文本内容和一些主要的图形、表格等信息，如大纲、重难点和必须的语料等，减少额外信息的投入。（三）冗余原则和通道原则梅耶的多媒体学习理论中的冗余原则（redundancy principle）和通道原则（modality principle）都是在双通道假设和通道容量有限性假设前提下主张语词文本应少量呈现。前者指学生学习由动画加解说组成的呈现材料比学习由动画加解说再加屏幕文本组成的呈现材料能取得更好的效果9;后者指学生通过动画和解说组

19、成的多媒体呈现比学习由动画和屏幕文本组成的多媒体呈现的学习效果好10。有些教师认为“现代汉语”课件多使用语音、文本和图示会为学习者提供多样的学习信息，但是梅耶的实验结论是语音、文本和图示的共同呈现效果反而不如语音和图示的组合，因为当画面和语词都以视觉形式呈现时，视觉通道会超载，会导致学生知识建构的阻碍。因此我们在设计课件时，应学会以最少的呈现方式去说明教学内容，不要画蛇添足。六、结论通过此次语音教学实验，考察了图像知识的有无对“现代汉语”课程多媒体学习的影响。结果表明：有图像知识能提高学习者的学习兴趣，增加了学习者视觉通道;但同时要注意与言语知识的呈现关系。梅耶的“以学习者为中心”多媒体学习理论关注了学习者的信息加工活动，为“现代汉语