多模态交互视角下的学龄儿童教具设计研究

1、多模态交互视角下的学龄儿童教具设计研究EDUCATIONAL PRODUCT DESIGN FOR CHILDREN WITH ADHD FROM THE PERSPECTIVE OF MULTIMODAL INTERACTION摘要：针对教学过程中因参与度低、互动性差而影响儿童学习兴趣和效率的问 题，运用多模态交互理论，探索强调互动与参与、更适用于儿童教学的多模态 交互教具设计。根据多模态交互理论和学龄儿童的多模态交互特性，采用用户 体验地图挖掘学龄儿童教具设计需求，并构建适用于学龄儿童教学的多模态交 互模型，总结和提炼基于多模态交互的学龄儿童教具设计方法。基于多模态交 互视角搭建学龄儿童教

2、具设计模型，井根据模型中不同层次的教具设计要素， 以儿童“讲故事”活动为例设计多模态参与式教具并投入教学实践验证。多模 态交互参与式教具增添了学习过程的参与性和互动性，锻炼了儿童的创造力、 动手能力和认知水平，为提高学龄儿童学习兴趣和学习效率的教具设计研究提 供了新思路。关键伺：多模态交互学龄儿童教具设计互动与参与产品设计Abstract： In view of the problem that childrens learning interest and efficiency are affected by low participation and poor interaction in

3、 the teaching process, the multimodal interaction theory is applied to explore the design of multi-modal interactive teaching AIDS that emphasize interaction and participation and are more suitable for childrens teaching.According to the theory of multimodal interaction and the characteristics of mu

4、ltimodal interaction of school-age children ,this paper uses user experience map to mine the design requirements of teaching AIDS for school-age children, builds a multimodal interaction model suitable for school-age childrens teaching,and summarizes and extracts the design methods of teaching AIDS

5、for school-age children based on multimodal interaction.Based on the perspective of multi-modal interaction,a teaching AIDS design model for school-age children was built. According to the design elements of different levels of teaching AIDS in the model, multi-modal participatory teaching AIDS were

6、 designed and put into teaching practice for verification by taking childrens story telling activity as an example.The multimodal interactive and participatory teaching AIDS increase the participation and interaction in the learning process, exercise childrens creativity, hands-on ability and cognit

7、ive level,and provide a new idea for the study of teaching AIDS design to improve the learning interest and learning efficiency of school-age children.Keywords： Multimodal interaction School-age children Teaching AIDS design Interaction and participation Product design引言学龄儿童在教学环境中与教具间的交互是影响儿童认知和理解的重

8、 要因素。研究证明，儿童在做重复单调、不新奇的事情时，其注意力的维 持难度最大；在有吸引力的情况下，症状有所减轻；而在直接而连续的多 感官刺激下，注意力的维持情况明显转好。然而，目前儿童教学中通常使 用的教具存在交互形式单一、互动性差、同质化严重等问题，导致儿童参 与感不足，进而出现走神的情况。儿童教学需要在教具和教学方式中融 入更多互动性和趣味性的元素，在儿童行为、教学内容和教具间建立起多 维度的联系。本研究将多模态交互理论应用到教具设计中，在由认知、身 体、环境所构成的动态统一的背景下探索更符合儿童生理和认知发展特 点的多模态交互教具，寓教于乐，提升儿童的学习体验和效率。一、多模态交互与儿

9、童教具设计（-）多模态交互理论概述多模态是融合多种表征方式于一体，通过不同的媒介和手段的运 用，作用于人的感知觉通道（视觉、听觉、触觉、味觉、嗅觉等）,以达到 与外部环境进行互动的目的1。随着现代多媒体网络和人机交互技术的 飞速发展，“多模态交互”相比于传统的交互方式，通过图像、符号、表 情、声音、动作等多种模态信息的输入和输出2,以更丰富的形式充分调 动主体的感知觉运动通道，使主体更为沉浸地参与到当前的行为活动当 中，并形成身体、认知和环境动态统一的认知结构。（二）儿童教具发展现状国务院在中国大百科全书中将教具定义为“在教学中为学生提 供的用于辅助教学和感知的模型、实物等用具。” 3。按照国

10、家教委颁 布的玩教具配备目录中的分类，目前儿童教具可分为体育类、构造 类、角色表演类、科学启蒙类、音乐类、美工类、图书类、电教类和劳动 工具这九大类别，其中科学启蒙类教具在教学中应用最为广泛。本研究 选择了一些市面上常见的传统科学启蒙类教具和智能科学启蒙类教具进 行分析，如图1,可以看到存在以下问题：图1现有儿童教具分析对于传统科学启蒙类教具而言，儿童在使用过程中的交互大多集中 在视觉和触觉通道，感官刺激较为单一，互动性差，儿童使用过程中也更 容易因参与感不强而出现走神的情况。而市场现有的儿童智能科学启蒙类教具，通常有参与人数和交互形 式的限制，导致儿童缺乏与同学和老师间的互动分享，不适于在课

11、堂教学 中对儿童沟通协作能力的培养：另外，部分智能教具只是将卡通造型和 简单交互技术相结合，交互形式单一，产品形态同质化，无法持续吸引儿 童注意力，激发儿童的创造性。总之，参与度低、互动性差是目前儿童教 具设计最突出的问题。（三）多模态交互应用于儿童教具的意义针对市面上现有儿童教具的问题，将多模态交互理论应用到儿童教 具设计当中，有利于发挥儿童主体性，提升学习体验。多模态交互强调个 体的感知觉通道在学习和认知活动中的重要作用，在学习过程中，个体的 感知觉通道偏好和特点决定了认知内容的不同和认知方式的差异。在多 模态交互视角下，从感知觉通道出发思考儿童的感官发展和学习体验，不 仅有利于设计者根据

12、儿童的生理特征、认知特征和认知方式等方面考虑 如何发挥他们的主体性并提升学习体验，而且有利于从相反的视角思考 如何设计教学情境和教学用具，以适应儿童自身的感知觉发展特征和认 知特征。对于儿童教具设计来说，设计出符合儿童身体发展和不同感知觉运 动系统偏好的产品显得尤为重要，这不仅决定着儿童能否通过与教具间 的多模态交互获得丰富的主体性发挥和学习体验，而且也影响着儿童的 认知方式和学习效果。二、学龄儿童的特征根据多模态交互理论，儿童在教学情境中所进行的学习活动的方式 和产生的体验影响着儿童感知觉运动通道获得的经验，进而影响着认知 的塑造。而对于尚处于发育阶段的学龄儿童来说，其感知觉运动通道和 认知

13、发展也具有其独特的特征。（_）生理特征根据著名心理学家让皮亚杰的认知发展理论，学龄儿童正处于具体 运算阶段，且已经具有了一定的逻辑能力，但具体运算仍需要事物的支 持5。这一阶段的儿童主要通过自己的身体来探索世界，在感知觉通道 方面，他们喜欢通过眼看、手摸、耳听、鼻嗅等方式来探索事物的基本概 念，且对于每种交互方式呈现出一定的偏好特点，如表1。表1学龄儿童的交互偏好感知觉通道元素特点视觉色彩明度和饱和度较高的色彩；形态卡通和简单的几何图形触觉触感不同的材质和肌理听觉音量30-50dB的音量音色温柔、可爱的卡通音效嗅觉 味觉气味 味道配合视、听、触觉感知形成全方位认知（二）认知特征学龄儿童的注意力

14、水平尚处于发展阶段。研究证明，儿童在做重复 性、不新奇的事情时，其注意力的维持最困难；在连续而直接的强化程序 下，注意力的维持情况明显转好6。因此，针对学龄儿童的教具设计需因 材施教，通过更符合其身心特征的直觉化行为，创造更丰富、更有趣的交 互形式和及时的行为反馈，以提升儿童的兴趣，帮助其全身心地投入到 教学互动中。三、学龄儿童教具需求分析（一）儿童教学流程与教具使用本研究以北京市半步桥小学三年级儿童为调研对象，展开了实地调 研和用户访谈。半步桥小学教师教学主要使用多媒体白板等设备，通过播 放视频和口头讲解等单向、线性的授课方式将教学内容讲述给儿童，具 体流程如图2。整个教学过程中，仅讨论环节

15、和点评环节涉及学生间和师 生间的交互，学生学习参与感明显不足，且教学互动性和趣味性较差，导 致部分儿童出现注意力不集中的问题。图2半步桥小学教学流程图（二）学龄儿童教具需求痛点基于实地调研结果，采用用户体验地图的方式，对学龄儿童在教学 过程中的主要行为与情绪进行分析，可以发现儿童在使用现有教具过程 中存在功能和情感两个层面的需求痛点7，如图3。图3学龄儿童用户体验地图功能层面：学龄儿童在功能层面的需求主要表现为教育产品能否 以合适的方式满足儿童的身心特征及其对知识的需求。针对儿童的身 体、心理及认知特征，多模态交互视角下的教育产品采取多个感知觉通 道的刺激以有效提升学生的学习兴趣，从而避免儿童

16、出现走神的情况。 同时，在学习模式上，加入多人协同模式，以帮助儿童锻炼其沟通协作能 力；通过趣味性的复习模式和激励体系，也可以进一步强化儿童对于所 学知识的认知和理解。情感层面：由于儿童自身注意力不集中、坐立不安、性格冲动等问 题的影响，儿童或因为影响课堂纪律而受到老师批评，或因为学习成绩 差而不易受到同学欢迎。通过在教学活动中使用教育产品，让儿童与同 学合作，与老师交流，加深儿童与老师、同学的情感联系，既可以加强儿 童对于所学知识的认知，也有助于儿童改善和老师、同学的关系，提升学 习的积极性。四、多模态交互视角下的教具设计模型（-）学龄儿童多模态交互教具设计模型的搭建根据儿童教具的需求分析，

17、运用多模态交互理论，从使用教具的 前、中、后三个阶段的行为出发，在主体行为、认知程度与客体要素的设 计间建立起一一对应的关联，最终搭建出儿童与教具的多模态交互模 型，如图4。图4儿童与教具的多模态交互模型在儿童使用教具过程中，其身体器官是产生多模态交互的媒介和载 体，通过身体与教具间的离身交互和具身交互，大脑获得了多模态的感 官刺激，这些感官刺激经由大脑思考和内化，最终形成了稳定的认知，如 图5所示。这一流程中儿童的感官通道与客体间的交互主要分为离身交互 和具身交互两大类。离身交互主要通过信息通信技术的遥在感，使得人 类意识可以与认知载体产生遥在分离回 ,如基于图形用户界面的人机交互 等，其交

18、互媒介主要为视觉、听觉和嗅觉等；而具身交互则基于具身认知图5多模态交互视角下的认知流程示意图理论，强调身体、认知、环境间的动态统一特性9 ,其交互媒介主要表现 为皮肤、肌肉等行为和动作器官。（二）儿童与教具的远距离促发要素提取人类学家爱德华把人的感知觉器官分为距离型器官和直接型器官两 大类10，其中工作范围较为广泛的距离型器官“眼、耳、鼻”等是儿童初 步了解教具并进行深层次行为的关键。儿童通过距离型器官与教具进行 了大量的离身交互，同时其身体所获的多模态感官刺激通过视觉、听觉、 嗅觉通道等传入感受器，再经由大脑进行加工和处理，以指导身体进行 下一步的行为。儿童在与教具交互过程中，往往出于好奇而

19、将注意力转向吸引其眼 球的事物，在这一过程中，教具的形态、色彩、声音、气味等影响儿童第 一印象和初步认知的要素，可以称为教具的远距离促发要素，是教具元 素的第一层，对应儿童认知程度的第一层“感受”。（三）儿童与教具的近距离行为要素提取儿童与教具的远距离要素进行离身交互后产生了初步的认知和了 解，随着距离的缩短，儿童与教具之间的人机互动变得更为丰富，在这一 阶段儿童运用皮肤组织、肌肉等直接型器官与教具进行更丰富、更直接 的行为互动。这些行为主要可以分为：手部动作（包括点击、拖拽、滑动 等）、全身动作、语言交流等。通过多种交互行为的结合让儿童全方位的 参与到与教育的具身交互过程中，手、眼、脑并用，

20、从而提升用户使用中 的体验感和沉浸感口。此时，人与物和人与人之间的交互方式以及交互 行为决定了儿童在学习过程中的专注程度和接受程度，可以称为教具的 近距离行为要素，与儿童认知程度的第二层“理解”相对应；（四）儿童与教具的内在黏性要素提取儿童通过与教具间的离身和具身交互获得了丰富的感官刺激，这些 刺激信息经由大脑加工最终形成了认知。在这一过程中，教学模式和奖 励作为教具的内在要素，影响着儿童学习过程中的体验和态度，是促进 儿童认知形成与发展的重要手段12。在教学模式方面，儿童由于自身认 知水平仍处于发展当中，且学习过程中所接受的知识量大，往往需要通过 复习以深入理解和运用这些知识。因此，通过教具

21、的辅助和引导，让儿童对于所学知识进行复习和 应用，可以达到质疑解难、深化理解的教学目标，让知识真正为儿童 所掌握；在教学奖励方面，适当的物质奖励和精神奖励可以作为儿童 教具的辅助手段，影响着儿童学习过程中的体验和态度，是促进儿童 道德品质形成与发展的重要手段。在儿童与教具的多模态交互模型 中，教学模式和奖励是第三层的内在黏性元素，对应儿童认知程度层 次中的“内化”。五、学龄儿童多模态参与式教具设计 在使用这些产品时通常是使用眼、耳等单通道交互形式，所获得的感知 觉刺激较为单一，时间一长很容易出现注意力分散的情况。而儿童在使 用多模态参与式教具过程中，与教具实体之间产生了一系列的双向人机 交互行

22、为，并形成一种交互丰富、寓教于乐的多模态教学情境。主体置身 于多模态教学情境之中，并通过与教具间大量的多通道交互行为获得了 丰富的感官刺激和身心体验，同时身体与教具间互动时所获得的感知觉 经验和运动经验强化了认知的形成，如图6所示。图6多模态交互视角下的教学情境（一）多模态教具的使用模式创新设计为给儿童更丰富、直接的多模态刺激，本产品由智能交互屏幕和拼 图两部分组成。其主要使用场景可分为协同创作模式和复习模式。协同创作模式：协同创作模式流程如图7。儿童可自行分工并共同 完成不同的角色拼图；完成拼图后，将其放至教具的摄像头前进行扫描， 摄像头会实时捕捉拼图内容，从图像中提取特征点，并结合图像识别

23、技 术和AR技术，将拼图上的平面图像转化为三维图像的完整故事场景13。 儿童们可以用手指在三维故事场景中与喜欢的角色进行点击、拖拽等互 动行为，屏幕内的角色随着儿童提出故事内容中不同的问题，考察儿童 对知识的掌握程度。儿童回答正确角色会说“你真棒”这样的鼓励。如果 回答有误，儿童需要在拼图中找到教师指定的故事场景，然后屏幕中的 角色会说出正确答案。图7协同创作模式通过多模态交互教具的辅助和启发，可以使抽象的知识概念与教具 之间建立起多维度的联系，并让儿童在与教具交互的过程中，把身体获 得的感知觉经验逐步转化为对于所学知识概念的认知。以“讲故事”这一教学活动为例，常规教学中“讲故事”这一活动，

24、或让儿童阅读图文并茂的故事书，或观看影视视频，或听有声故事，儿童图8复习模式复习模式：在复习模式中，儿童需要根据智能交互屏幕的语音提 示，正确选择符合条件的角色，例如听到语音“单纯的小女孩”正确选中 白雪公主，产品就会说“你真棒”这样的鼓励，然后出现三段白雪公主的 故事让儿童选择，如图8。若选择正确则可获得一张动画人物贴纸；若选择错误，则需在拼图中找到教师指定的内容后，在屏幕中展示正确答案， 并语音鼓励儿童“继续加油”。通过与屏幕中的场景图像和拼图中的场 景进行互动，以复习先前学习的知识，AR场景展示的同时也会伴随着主 题内容的语音讲解，给予儿童多感官通道的体验，进一步打造沉浸式教 学场景与学

25、习模式。（二）多模态教具产品设计远距离促发要素设计：儿童与教育产品间的远距离交互主要集中 在产品形态及产品视听觉反馈方面。在产品形态方面选用柔和的圆角矩 形，让产品有圆润可爱的特点，同时增加产品的亲和力；在产品色彩方 面，乳白色的产品主体给人以清新，温暧的感觉，搭配LED屏幕中丰富的 色彩可以营造出更生动的学习气氛；在产品视觉反馈方面，屏幕中离身的动画图像伴随着儿童具身的拼 图行为实现了二维到三维的转化，这种离身的视觉反馈使儿童所获的二 维和三维视觉体验之间建立起了新的关联，并在儿童不断的拼图行为过 程中得以激发和强化。在听觉反馈方面，儿童搭建场景内的元素伴随着自身不同的交互行 为进行不同的语

26、音播报和交互，实时讲解动画角色的特征和相关知识，进 而使儿童在不断获得听觉反馈的过程中，获得对于抽象概念的理解更深 刻、更全面的具身认知。在声音方面，语音讲解使用温柔可爱的卡通音效 进行播报，避免儿童的因感到陌生而影响学习效果；同时音量也控制在50 分贝以内，避免音量过大造成儿童精神不集中，进而影响学习效率。近距离行为要素设计：儿童与教育产品间近距离的交互主要涉及 儿童与拼图间的实体交互以及儿童与屏幕元素间的交互。儿童与拼图间 的实体交互主要包括对拼图的抓、捏、移动、按压等行为，与屏幕元素间 的交互则主要以点击、滑动、拖拽等行为为主，如图9。屏幕内的动画形 象展示效果能够根据儿童不同的交互行为

27、而产生不同的反馈，从而使儿 童在参与场景及内容创作的同时把自身的行为与动画场景和故事内容 的创作联系起来。这样既加强了儿童与教育产品间的互动性，同时也把 儿童的行为与所完成的动画形象建立起联系，使儿童先前通过距离型器 官所获的离身认知在具身交互的过程中得到进一步验证和强化。除此之 外，儿童在交互的过程中自身的距离感、方位感等日常概念也得到了相应 的训练和激发。教具的内在黏性要素设计：本教育产品通过儿童较为熟悉的动 画拼图将知识进行传递和呈现，并由学生在课堂上自主选择主题角色 拼图。这种寓教于乐的教学方式将图案拼接等知识与儿童的行为联系 起来，使儿童能够充分调动自己的感知觉器官与教育产品进行多模

28、态交 互，集中而持续的与教育产品进行互动，促进了知识的内化和理解。同时 产品的学习模式和内容本身也具有一定的挑战和思考空间，在协同创作 模式中，儿童们需要以组为单位，合作分工，共同完成场景的搭建，在游 戏过程中促进儿童的沟通能力和合作能力；在复习模式中，产品的一系 列激励体系也可以进一步强化儿童对于所学知识的认知和理解。（三）产品评价用户可用性测试：为了测试多模态教具的可行性，邀请了5名学龄儿 童体验“讲故事”多模态交互教具产品原型。模拟课堂学习场景分别使用 多媒体教学和多模态交互教具对儿童进行“讲故事”教学，针对故事情节 设计了 10道难度相近的问题进行评测，以分析对比儿童在使用多媒体教 学和多模态交互教具时的学习和注意力表现，测评情况，如图10。表2用户可用性测试数据儿童 编号正确率 （改良前正确率 （改良后变化率平均解题时长