增强现实技术在儿童识字教育中的应用探究

1、增强现实技术在儿童识字教育中的应用探究0.1汉字文化传承汉字是华复祖先留给我们的独一无二的珍贵的文化遗产，是华复文明的文化精箭随着数字化时代的到來.电脑、于机等智 能设备的发展.汉字却在逐步被遗忘，我们的文化在流失。要从根源解决问题，必须激发大家的学习兴趣.有了学习的兴趣才能有好的 记忆力，从而使汉字文化渊源流传。央视科教频道于2013年推出了中国汉字听写大会旨在通过简乳淳朴的方式吸引广大的电 视观众跟随节目中的参赛学生一同动笔书写汉字，在游戏中学习知识，在节目中陶冶情操尽情领略汉字之兌 节目的推岀也掀起了 全民书写汉字的热潮.汉字亟需筝元化的展示方式，让汉字教育变得更加的生活化.趣味化、现代

2、化、科技化.多角度全方位的充分展示 汉字的魅力。0. 2 增强现实技术的发展増强现实(Augmented Reality.简称AR),又叫做混合现实，是一种将真实世界信息和虚拟世界信息进行合成的新技术.它 可以把原本一些在真实世界很难体验和感受到的实体信息，通过一些科技于段进行模拟仿真后再叠加到现实世界中，将虚拟的信息 应用到真实的世界，从而达到超越现实的感官体验。增强现实技术在教育领域中的应用具有得天独厚的优势.它可以为用户再现“真实”场景，并在环境中参与互动提供身临其境 的神奇感受戏。这种新奇的形式.互动的特点吸引学习者更加商效的进行学习。Augmented chemistry是一款利用増

3、强现实技术进行 开发的化学分子式的辅助教学系统.每个化学元素都由不同的图片进行标记，系统经过识别就可以在屏幕中看到图片上显示出各自对 应的化学元素的原子模型.可以更加生动立体的展现化学元素的关妙同时也有助于提商学习效率，增加学习兴趣，具体的显示效果如图 1所示。图1增强化学增强现实技术与图书的结合可以为读者带來全新的闻读体验。新加坡MXR公司研发了一款基于增强现实技术的三维互动式娱 教产品wIzQubes,此产品通过童话故事的互动式教学來吸引小读者的注总:力，在游戏过程中儿童将会学习认识物体.颜色.词 汇.故事背景、生活哲理等.游戏中儿童还可以进行提问和回答等互动活动.发挥小读者的主导作用.増

4、强学习的主动性.游戏效果如图 2所示。图2曦法方块0. 3增强现实技术在儿童识字教育中的应用伴随普増强现实技术从研究领域到各个行业的创新性运用.增强现实技术与传统纸质媒体的结合也得到了快速发展.这种新颖的 互动阅读方式既满足了广大用户对传统纸质媒体的依赖习惯，又加入了藝媒体的内容，用户看到的不再仅仅是枯燥的文字和图片，还包 括逼真的三维形熟 生动的动画视频，并可以与之进行互动，用户可以多感官、全方位立体化的充分感受互动媒体的独特魅力 。在儿童识字教育方式不断创新的路途中，増强现实技术与传统纸质媒体的结合无疑为我们打开了新的思路囿。将増强现实技术 应用于儿童识字教育中，让孩子在新奇的环境中饶有兴

5、趣的学习，在有兴趣的基础上更加有效的学习记忆。这不仅是一种教育方式的创 新，更是思维模式的创新，同时可以从小培养孩子对科学的兴趣.鼓励他们拥有创造性的思维。1总体设计1.1用户需求分析此次的研究目的是帮助3一8岁的儿童进行汉字的学习。我们根据年龄层次、消费能力.社会角色的不同把用户主要分为 三类：儿童、家长.教师。其中儿童是我们的战终用户，他们是产品的最直接的使用者：家长是辅助用户，协助儿童一起使用.而且家 长的消费能力决定门也们才是真正的产品消费决策者：教师是扩展用户，教师在教育产品中的作用不容小觑.他们的评价直接关系到家长 和儿童的产品观念。儿童喜欢感受这个世界的新奇.对这个未知的世界具有

6、非常强烈的好奇心.但是儿童注总力的持续时间比较短暂.容易受到外物 的影响，因此，新奇简短髙效的物品更容易受到儿童的青睐。儿童的审关具有很强的直觉性，他们的第一眼往往决定了喜欢与否， 所以明亮的色彩，卡通的风格.I纯的内容更能一下抓住他们的眼球。儿童的生活经验和社会阅历的欠缺，导致了他们的理解程度相对 较低.因此贴近他们生活的爭物更易于让他们接受和认知。爱玩是儿童的天性.轻松活泼的游乐时光是儿童的最爱，因此营造自由 欢乐的情境才更符合儿童学习的需求。家长是孩子的第一任老师.在儿童教育中占有举足轻重的地位。家长一直伴随着儿童的成长，在儿童教育中起到陪伴和辅助的作 用.他们在教育环节中最关心的是孩子

7、喜欢什么.能学到什么.使用是否安全.方便等。深入分析家长的持点，合理解答家长的駐问. 切实关t不孩子的成长便会贏得家长的认同。教师是儿童教育的发言人.是权威性的代表，他们时刻关注巷儿童教育的新方法，探索普儿童教育的新途径，引领着儿童教育的 新航向。他们的关注点往往集中在科学性上，探索如何能更加科学的让孩子J解这个世界。1. 2总体架构在对用户需求有所了解的基础上.我们把合理需求转化为产品功能C汉字來了的设讣分为两部分：纸质识字卡片设讣和 Android T-机应用软件开发。两者相互配合.藝元化全方位的展现汉字信息。纸质识字卡片的设il主裂分为内容设汁、色彩设汁、 图形设计、版式设讣和制作卬刷.

8、于机应用程序主要包括平台的搭建和互动内容的制作：$】具体实施路线如图3。实施路线总结成果 權写论文图3实施路线纸质识字卡片与手机应用软件是捆绑使用的.打开应用软件把于机的镜头对准卡片指定部位，程序便会实时识别出扌旨定的三维 模型或者动画并进行跟踪点击喇叭按钮启动虚拟按钮功能可以听到相关汉字的正确读音：孩子在接收到这些信息后可以在识字卡片指 定的IB字格区域书写对应的汉字，打开翻折的卡片可以看到正确的字形使用于机镜头对准正确字形的识别图片即可观看一段与汉字内容 相关的科普小视频。Android智能于机应用程序的系统流程图如图4所示。(孚2关键技术2. 1平台部署此次研究増强现实技术在儿童识字教育

9、中的应用.把纸质媒体与女媒体进行J结合:炖.既需要在Photoshop中进行纸质识字 卡片的设计与制作，又需要进行Android版木于机应用软件的开发，而把两者结合起來的便是増强现实技术.基于以上需求我们最 终选择具有笫平台性.功能强大的Unity 3D作为引擎.它可以便捷的导出Android版木的应用软件安装包.对部分增强现实SDK 拥有良好的兼容性，同时支持导入在3ds Max中导出的FBX格式的三维模型及动画。针对此次汉字來了的制作要求.最终需要导出Android版木。使用Unity 3D发布Android版木还需要安装两个工具. Java虚拟机(JDK)和Android模拟器(SDK)

10、。安装完成后可以通过Android SDK Manager T载需要的安卓版本之后在Unity 3D中定位Android SDK的安装路径，设迓完毕后就可以发布Android版木了。AR SDK (Augmented Reality Software Development Kit)即增强现实软件开发匸具包。基于功能需求及成木考虑，战终选择功 能全面、性价比髙的Qualcomm Vuforia作为増强现实功能的开发:具.把Vuforia集结于Unity 3D中來进行整体的环境搭建与 配迓。2. 2纸质卡片模块设计儿童处于发育中，视觉系统还不完善因此需要减少认知信息：S,减少视觉思维的难度，适十

11、减少视觉的负担山。在儿童读 物中，通常用生动有趣的图形作为主要的表达手段同时利用文木的差异性加以修饰.安插进一些带有提示的修饰、图标.引领儿童进 行阅读。纸质卡片的模块设貝如下，如图5图6图7所示：(1谜语模块：针对汉字内容设定一些简氓的谜语。(2)图片模块：以图片的方式对汉字代表的卡通的物体形彖进行展示。(3)书写模块：设宜(II字格书写区域让孩子可以标准的书写字形。扩展词语英文模块：对汉字内容进行扩充，涉及词语和英文。图7正确字形羊山羊绵羊(5)正确字形模块：展示正确的字音字形，让孩子对自己的书写进行验证，加深印彖。不纪不算大，胡子一犬把 不分大如小，只令叫妈妈一仃-动轲sheep图6词组

12、扩展图2. 3交互模块实现良好的交互效果是一个产品成功的关键.所以把探究新奇的交互方式作为木次研尤的重点。交互功能的实现是基干増强现 实技术.伙I此识别图的制作是实现交互功能的前提。Vuforia是通过识别图片上的关键信息点來进行跟踪识别的，图片的信息越 复杂识别点越多.识别效果越好。一个理想的识别图应该具有表1的属性特点。表1识别图用性属性说明丰富的细节例如汉字等.识别时对于尖锐.轮廉分明的图像拥有更好的识别跟踪性能.比如方形比闘形好很多。良好的对比度尽扯黑白分明.光线充足.亮度和色彩不沉闷.对比度越奇识别跟踪性能越好.无重复模式此类图不适合于检測和跟踪.虽然此类图吋能 包含足第的细节和良好

13、的对比度.但足車复模 式妨碍檢测性能.为获得最佳结果.还足应该 选择无觅坂基序(即使旋转和缩放或强皈转 对称的图像.恪式S位或24位的PM和JPG挤式.图片人小小 于2 VS图像格式为RG5或灰度。针对上述特点.把设汁的识别图上传到Vufona的官方网站，査看是否符合要求.如图8、图9所示，星级越岛识别跟踪效 果越好。图S牛图形讲别图X摄像头对准正面的识别图进行对焦之后.会在于机屏幕中出现虚拟的三维物体及其动画c具体制作步骤如下：在Unity 3D 中导入vufona提供的unitypackage和识别图package删除场景中的main Camera把ARcamera和ImageTarget

14、拖入到场 景中.并对其屈性进行设宜。接下來导入制作的三维模型，每个模型文件夹包含FBX模型文件和其对应的贴图。对于带有动画的 动物模型.对其Animations进行调节c在 c口脚木 DefaultTrackableEventHandler 中，DefaultTrackableEventHandler 类实现 ITrackableEventHandler 接口，因 此十检测到目标时，它会得到通知，此时，预制的三维模型被实例化附若在图像目标下，可以对三维模型的位宜和大小进行调整，使模 型可以在现实世界中更真实地显示出來。其中OnTrackingFound为找到追踪后的逻辑.OnTrackmgLo

15、st为目标消失之后的逻输c由于最终需要摄像头的辅助.所以需要对相机对焦模式进行设定。在Vufona中的对焦模式的行为主要有五种，其中比较常见 的有三种，NORMAL是默认的对焦模式,TRIGGERAVTO会触发一个单一的自动对焦操作，CONTINVOUSAUTO可以进行连续的自动对焦 操作，但是并不是所有的设备都支持自动对焦模式，所以此次采用TRIGGERAVTO模式，每、”1用户点击触換屏幕时，就会触发自动 对焦方法，进行一次画而对焦。(2)虚拟按钮实现一个理想的虚拟按钮可以拥有很好的识别效果.展示良好的互动性能.具体的属性要求如表2所示。表2虚拟按钮展性属性建议尺寸选择在貝冇图像目标人约1

16、0%的尺寸的图像区域。形状使按键易于识别.从图像中脱颜而出.纹理或对比尽fit避免在图像目标的对比度比较低的区域定义按 钮.选择一个在纹理上与物体不同的按钮的设计。目标安排虚拟按钮与图像边缘耍有足够的空间.避免当用户按 按钮的时候失去跟踪。虚拟按钮的功能是点击纸质卡片喇叭按钮于机应用可以播放对应的汉字读音。制作的正面卡片的每个识别图的右下角都会有 一个喇叭形状的虚拟按钮.大小适中，方便后期进行点击操作播放汉字读音。具体制作方法如下：在ImageTarget下新建一个平【加命名为voice为其添加墟拟按钮脚本Virtua 1 Bu11onBehaviour在Unity 3D中对voice的参数进

17、行设宜，相应的对模型添加Audio Source声源.注总音频文件修改为2D Soundc在 ImageTarget 中添加脚VirtualButtonEventHandlert 该类中掖重耍的就是 IVirtualButtonEvemHandle 接口.这个接 口保证类实现OnButtonPressed和OnButtonReleased方法。首先.先要把Button注册为一个活动事件.在Start方法中添加 如下代码内容。VirtualButtonBehaviour l vbsGetComponentsInChildren0; for (int i = 0; 1 vbs. Length;十+

18、i) vbsiRegisterEventHandler(this); 在场景中找到声音元素和模型元素，首先要为类创建三个公有字段。public AudioSource m_ModelVoice;public AudioClip m_ModelClip;public GameObject mModel;在Start方法中给模型赋值，mModel = transformFindChild(gameObject;接下來編写OnButtonPressed方法，即设定按钮点击爭件。利用这个参数，可以实现按钮播放声音，按下播放声音一遍，如 果按下时正在播放声音则此次按下不播放。实现如下：case *voi

19、ce*：if(! m_ModelVoiceisPlaying)m_ModelVoice. PlayOneShot(m_ModelClip);Debug Log(voice);按钮释放时的代码如下：case *voice*：if(m_ModelVoice isPlaying)m_ModelVoice Stop();Debug Log(stop);VirtualButtonEventHandler可以对虚拟按钮的事件进行监听控制.可以通过修改它來改变按钮的触发事件。(3)视频播放实现对字形识别图进行识别之后会出现科普视频，点击播放按钮可以在识别图区域播放视频，双击之后可以全屛播放。具体制作过 程如

20、下：在对应的ImageTarget下添加video侦设，ImageTarget主要用來进行标志的识别和三维注册，video则主要用來控制 视频的播放。在video的检视面板中添加VideoPlaybackBehaviour脚本.在Path中填写视频路径.设宜贴图等如图10所示， 针对视频的路径需要注懑的是可以把视频文件放在StreamingAssets文件夹中.这样即可在Path中直接填写视频名称.例如 baicai.mpdo由于设备资源等的限制.视频格式最好为mp4或者 如 大小控制在2M以内。冏 Video Playback Behavio 6ScriptVideoPlavbackSeOPathbaicai.mp4Play TextureOicon olav03usy TextureOicon loadina0Error Texturedicon emoi-0Keyfiame Texture图 10 VideoPlaybackBehaviour 脚本设JI3总结与展望木文把增强现实技术应用到儿童识字教育中，以儿童