智能增强现实学习环境中多通道信息融合计算及评测研究

1、智能增强现实学习环境中多通道信息融合计算及评测研究14立项依据特色与创新目录CONTENTS 2 研究内容、目标、拟 5研究计划、预期成果解决的关键科学问题36研究方案及可行性分析研究基础、工作条件及简历智能增强现实学习环境中多通道信息融合计算及评测研究(研究意义、国内外研究现状及发展动态分析，需结合科学研究发展趋势来论述科学意义；或结合国民经济和社会发展中迫切需要解决的关键科技问题来论述其应用前景。附主要参考文献目录。建议8000字以下)PART ONE1 立项依据智能增强现实学习环境中多通道信息融合计算及评测研究(1)项目研究意义-(A)智能化虚实融合学习环境 教育具有开放性、不可还原性、

2、非线性与非均衡性等特征，是IMMERSIONINTELLIGENCE沉浸性智能性一个复杂系统，其发展规律很难轻易被人们深刻认识。虚拟学习环境是除理论和试验之外帮助人们认识教育系统的复杂性和教育的发生发展规律的第三种方式，但目前教育领域的虚拟环境研究主要集中于简单仿真工具、技术、软件、方法等在教育领域中的应用，对虚实融合的智能化学习环境的研究比较匮乏。I4I3INTERACTION交互性IMAGINATION想象性Burdea, G., & Coiffet, P. (1994). Virtual reality technology: John Wiley & Sons.赵沁平. (2017).

3、 虚拟现实中的10个科学技术问题. 中国科学:信息科学, 47(06), 800-803.因此，融合智能的虚拟学习环境在当前教育信息化背景下成为一个研究热点，其研究成果能帮助解决对教育本质规律的认识问题智能增强现实学习环境中多通道信息融合计算及评测研究(1)项目研究意义-(B)多通道信息融合交互计算鼠标键盘 语音、笔 手势、姿态、表情、眼动、脑电传统的单一通道人机交互方式，如鼠标键盘、笔触设备由于其输入信息精确和直观，系统不用关注用户行为。然而在多通道移动交互和自然交互条件下，系统需要准确地判断学习者“在做什么”和“要做什么”，才可能对其学习行为进行准确反馈。若不能准确理解学习者意图，反而给用

4、户不好的体验。因此，需要在多通道虚拟学习环境中对学习者意图准确理解，而如何根据不同通道信号进行有效融合并计算和管理是意图准确理解的重要手段，这是学习者交互自然与否的关键智能增强现实学习环境中多通道信息融合计算及评测研究(1)项目研究意义-(C)有效评测智能虚实融合学习环境中多通道交互手段新颖，交互信息丰富，学生在其中学习时会产生源源不断的、不引人注目的过程性数据，这些数据的采集与分析将能帮助我们有效评价学生的学习效果。但传统的评价既无法提供即时的反馈来支持学习，也不能使环境适应学习者的需求。因此，在新的虚实融合环境提供了崭新的学习机会和体验的背景下，迫切需要新的评价方法去衡量其学习的有效性，新

5、型智能增强现实学习环境中做出响应性、综合性和均衡性评价的方法成为当前新的复杂问题(2)国内外现状分析-智能学习环境中的多通道交互及信息融合计算即一个能识别学习环境中基于语音、手势等自然模态的输入信息，并能以某种方式将结果展现给学习者的智能学习环境交互的定义范围系统负责接受学习者的输入信息，前端语音姿态眼动手势表情脑电后端根据学习者的输入信息，产生需要的结果图片（拍摄的学生作业）的识别、分类、文本自动翻译(2)国内外现状分析-智能学习环境中的多通道交互及信息融合计算多通道交互意图理解交互信息的模糊化认知负担方面的挑战对命令输入的信息质量要求口音固有的习惯姿势与系统期望的姿态不同（如左撇子）(2)

6、国内外现状分析-基于认知负荷理论的学习活动设计注意力分散效应split-attention effect瞬时效应transient effect形式效应modality effect冗余效应redundancy effect能力反转效应expertise reversal effect 存在问题 较少关注活动设计方案本身和学习者个体差异，导致VR/AR学习活动的个性化设计缺乏科学理论和实证研究的指导 缺乏对于学习历程的测评与探索，导致面对负面的学习成效时，难以准确诊断问题并提出相应的解决方案 只关注单个设计问题，尚未有研究对包含多个设计要素的VR/AR学习活动提出全面的指导方案 测量主要基于主

7、观量表，导致其信效度受到质疑(2)国内外现状分析-增强现实学习环境实证研究国外研究国内研究 其他人的研究 “项目申请人团队在增强现实学习环境方面做了小结 缺乏多通道交互方法 研究设计、证据的有效性、学习效果评测等 开发、体验、工具，还需提供更多包含大样(3)应用方向和前景“现阶段研究国内外均建立在经验性研究的基础上如果我们能够结合我国的具体教育实践，将智能增强现实学习环境应用所遇到的科学问题逐个解决，并且对其在教学过程中所呈现的规律不断进行深入探究，经验型的研究可能会产生抽象的、系统的理论体系智能增强现实学习环境带给我们的不仅仅是一个技术平台或介入，更可能是一种新的教学模式和方法的孕育。”关于

8、参考文献可以并推荐采用APA的方式正文引用信息直接明确适合研究基础较好的申请者可以有中文，5-10篇，本项目引用了6篇智能增强现实学习环境中多通道信息融合计算及评测研究PART TWO2 项目的研究内容、研究目标，以及拟解决的关键科学问题(此部分为重点阐述内容）(1)主要研究内容(A)适合移动学习环境的高效实时跟踪技术高质量的图像特征抽取和描述运动约束下的整体对象跟踪和估算特征模板实时更新(B)智能增强现实学习环境中多通道信息融合计算及管理(C)基于认知模型的自然交互及情境协作感知建模(D)基于认知负荷的学习活动综合测评模型(2)研究目标 实现基于认知负荷的学习活动综 建立多通道信息融合的智能

9、方法合测评模型 攻克自然环境下高效识别技术，探索智能增强现实学习环境的自然交互机理，构建多通道信息融合计算及管理模型和基于认知的自然交互及情境协作感知模型 基于认知负荷理论深度探究个体在智能增强现实学习环境中的学习活动认知历程，探索学习活动的个性化诊断及优化机制，建立智能增强现实学习环境中学习活动效果评测模型，并对学习活动的设计问题进行个性化诊断并提出全面的解决方案目标不要太多，一般青年项目1-2个，面上项目2-3个拟解决的关键科学问题基于尺度空间的高效稳定的特征点抽取技术多通道信息融合认知计算和管理模型虚实融合学习环境中认知负荷实时测量及编码智能增强现实学习环境中多通道信息融合计算及评测研究

10、PART THREE3 拟采取的(包括研究方法、技术路线、实验研究方案及可行性分析手段、关键技术等说明）(1)研究方法理论研究学科交叉研究研究方法核心技术突破实证研究平台验证算法实现(2)技术路线(3)可行性分析(A)符合教育理论且是应用需求驱动 行为主义认为学习是刺激-反应(S-R)联结公式，由刺激得到反应而完成学习 AR学习环境中包括丰富的建构工具包和表现场所，并强调学习者自己更多的控皮亚杰“把实验室搬到课堂中去”的设想与实践，又符合建构主义学习理论的是一种真实情境的体验”的观点 国家教育事业发展“十三五”规划、教师教育振兴行动计划(2018-2022)、教育部关于加强和改进中小学实验教学

11、的意见(B)本项目是虚拟现实/增强现实新方向成果积智能增强现实学习环境中多通道信息融合计算及评测研究PART FOUR融合视觉、听觉、姿态识别等多感官通道信息，建立多通道信息融合认知计算和管理模型4 特色与创新提出一个基于认知负荷的学习活动综合测评模型智能增强现实学习环境中多通道信息融合计算及评测研究PART FIVESCI/SSCI论文，年均1-2篇发明专利，年均0.75项国际会议，年均2-3次5 研究计划及预期成果培养硕士生5名，博士生1名智能增强现实学习环境中多通道信息融合计算及评测研究PART SIX6 研究基础与工作条件及简历(1)研究基础三维虚拟学习环境方面增强现实+教育方面北京市

12、自然科学基金“增强现实学习环境关键技术及应用研究(4123099)”国家自然科学基金青年项目“虚实融合学习环境中自然交互建模技术研究(61602043)”北京市教育科学“十三五”规划青年专项课题“增强现实游戏在自闭症儿童生活技能习得的应用及影响研究(CCHA16120)”近五年SCI/SSCI 6篇已授权发明专利5项(2)工作条件依托单位为本项目的应用提供了很好的实施条件和环境互联网教育智能技术及应用国家工程实验室北京市未来教育高精尖创新中心教育技术学北京市重点实验室(3)正在承担的与本项目相关的科研项目情况（申请人和项目组主要参与者正在承担的与本项目相关的科研项目情况，包括国家自然科学基金的

13、项目和国家其他科技计划项目，要注明项目的名称和编号、经费来源、起止年月、与本项目的关系及负责的内容等）蔡苏主持国家自然科学基金青年项目“虚实融合学习环境中自然交互建模技术研究(61602043)”，2017.1-2019.12。该项目是本次申请项目的前期研究基础，但未涉及本申请项目的多通道信息融合计算和管理模型以及综合评测模型，故本申请项目是该青年项目的深入和延续探索。简历部分 代表性论著 (1) Cai Su(#)(*); Liu Enrui; Yang Yang; Liang Jyh-Chong. Tablet-based AR technology: Impacts on student

14、s conceptions andapproaches to learning mathematics according to their self-efficacy, British Journal of Educational Technology, 2019, 50(1):248263 (期刊论文) (2) Cai, Su(#); Zhu, Gaoxia(*) ; Wu,Ying-Tien; Liu, Enrui; Hu, Xiaoyi. A case study of gesture-based games in enhancing the finemotor skills and

15、recognition of children with autism, Interactive Learning Environments, 2018.08.30, 26(8):10391052 (期刊论文) (3) Cai, Su(#)(*) ; Chiang, Feng-Kuang; Sun, Yuchen; Lin, Chenglong; Lee, Joey J. Applications of augmented reality-based naturalinteractive learning in magnetic field instruction, Interactive L

16、earning Environments, 2017, 25(6): 778791 (期刊论文) (4) Cai, Su(#) ; Wang, Xu; Chiang, Feng-Kuang(*) . A case study of Augmented Reality simulation system application in achemistry course , Computers in Human Behavior, 2014.8, 37: 3140 (期刊论文) (5) Cai, Su(#)(*) ; Chiang, Feng-Kuang; Wang, Xu. Using the

17、Augmented Reality 3D Technique for a Convex Imaging Experimentin a Physics Course , International Journal of Engineering Education, 2013, 29(4): 856865 (期刊论文) 论著之外的代表性研究成果和学术奖励 (1) 蔡苏(#)(*) ; 余胜泉; 林成龙; 孙羽辰; 李巧慧. 一种磁场可视化及交互方法, 2017.01.04-2037.01.04, 中国, ZL201410027617.2 (专利) (2) 余胜泉(#)(*) ; 王琦; 蔡苏. 一种社会化的作业批阅和学生学习过程信息记录系统及方法, 2014.08.13-2034.05.27, 中国,CN201410226210.2 (专利) (3) 余胜泉(#)(*) ; 汪晓凤; 万海鹏; 蔡苏. 一种融合电子备课系统及方法, 2014.12.03-2034.09.04, 中国, CN201410448646.6 (专利) (4) 蔡苏(#)(*) ; 余胜泉; 高梦楠; 王伟;