增强现实技术与应用

增强现实技术与应用教学大纲大纲版本：课程名称（中/英）：增强现实技术与应用学分：2总学时：48理论学时：32实验学时：16课程类别：选修开课学期：秋适用专业：计算机、软件工程、数字媒体等课程性质：专业方向类课程先修课程：C++程序设计，计算机图形学一、课程简介本课程是计算机科学与技术、软件工程、数字媒体等专业的选修课程。本课程主要讲述增强现实的原理、方法、技术和应用，核心是高真实感虚实融合中所需要的关键技术，包括即时定位与地图构建SLAM、光照一致性、人机交互等原理、方法和实现技术，深入理解增强现实方法，体验系统软件的开发过程，进一步提升计算机科学与技术的专业素养。增强现实技术涉及人机交互、计算机图形学、计算机视觉、多媒体以及心理学、控制学等多个学科，具有较强的学科交叉性，已经成为可以拉动多学科发展，并不断产生新思想、新技术和新经济生长点的重要领域。同时，增强现实与实际应用紧密衔接，可向不同领域辐射，已成为影响各行业运行质量和效率的研究方向。二、课程目标本课程的教学目标是：使学生掌握增强现实的基本理论、技术、方法，并从典型增强现实应用系统研发的角度，综合选择、运用合适的增强现实技术，解决具有中等复杂度的增强现实仿真系统设计和开发等实际问题，对于提高学生综合运用知识的能力和未来在增强现实相关行业从事创新性工作等方面有着积极的作用。（一）课程具体目标理解现有增强现实系统中各模块的功能和实现方法，能够针对真实生活中的具体需求场景设计增强现实系统，能够以团队合作形式完成从需求分析、功能设计、代码实现、系统搭建全流程（毕业要求3-2:针对软件工程及相关领域的复杂工程问题，设计满足特定需求的软件系统和软件模块的能力，能够选择和利用合适的平台、开发工具和程序设计语言，实现满足设计要求的软件系统，并能够分析系统的主要性能、存在问题以及进行进一步优化的方案）。理解高真实感虚实融合中所需要的关键技术，包括即时定位与地图构建SLAM、光照一致性、人机交互等原理、方法和实现技术，能够对不同系统和方法的优劣进行对比和分析（毕业要求5-3:针对软件工程及相关领域的复杂工程问题，能够选择和利用恰当的工具，对问题进行预测和模拟，并理解其局限性的能力。在必要时，具备独立开发专用软件技术工具的能力）。理解增强现实系统的复杂性，包括二维UI界面设计、三维数字资产建模、核心算法研究、前后端平台开发等，能够组建合理的团队共同完成项目（毕业要求9-1:理解多学科背景下个人和团队的协作关系，良好的团队合作意识和能力，并能完成所承担角色的任务）。（二）课程目标与毕业要求的关系本课程目标主要支撑的毕业要求指标点如表1所示。除表1所列举指标点外，根据学生特点、本课程教学特色，教学目标还涉及对毕业要求5（选择和使用现代工具）和10（沟通能力）等能力培养，为弱支撑，不在表1中列举。表1本课程对专业毕业要求指标点的支撑课程目标支撑的毕业要求指标点3.25.39.1课程目标1✓课程目标2✓课程目标3✓三、教学内容及基本要求《增强现实技术与应用》课程是面向高年级本科生开设的一门专业方向选修课，48学时。本课程将从介绍增强现实技术的起源和发展过程开始，通过讲述增强现实技术在各个行业中的应用情况和典型增强现实系统开发流程，逐步分析增强现实在发展过程中所面临的需求与挑战，以及背后所蕴含的技术问题，着重结合各种具体应用来讲授背后的共性技术原理和算法。在此基础上，重点讲授增强现实系统常见的空间定位、图像显示、输入输出、协同交互等关键技术。由于本门课程具有专业性、前沿性，因此也组织学生开展初步的学术论文调研、阅读和汇报，帮助学生了解本领域的前沿技术热点和进展。由于本门课程是一门实践性很强的课程，因此课程主要考核方式以团队项目制进行。指导学生结合增强现实技术在医疗、教育、培训等领域的应用情况，选择难度适中的开发项目，供学生自由组队完成，使得学生能够结合增强现实技术应用场景来学习以及加深对相关技术的理解、掌握以及应用，并借此培养学生的创新意识与专业技能。本课程的教学内容，以课程具体目标为总体指导进行制定。通过增强现实的基本概念和技术组成等教学内容，传授基于华为AREngine的增强现实系统原理和基本组成，包括各个组成的基本原理等知识，从而有针对性地培养增强现实系统的模块组成（课程目标1）和关键技术（课程目标2）。教学内容中除安排课内讲授知识外，还组织学生以团队项目形式进行实践（支持课程目标3），旨在巩固课堂传授知识点，使学生在面对计算机复杂工程问题时，能将增强现实技术合理运用于该类工程的设计实现之中（课程目标2），进行解决方案的分析和改进，并进行合理的需求分析、功能分析和验证。本课程的教学内容不仅完全覆盖课程拟达成的具体目标，同时，根据计算机科学与技术、软件工程和数字媒体专业人才培养总体目标，以及课程所面向学生特点，课程内容还涉及计算机体系结构、计算机视觉、计算机图形学、人机交互、项目管理等内容，旨在培养知识交叉应用、沟通交流等综合工程能力。（一） 增强现实的基本概念（4学时）主要内容：（重点覆盖课程目标1）⑴增强现实的定义。⑵增强现实的发展历史和发展趋势。⑶增强现实与虚拟现实、混合现实之间的异同点。⑷增强现实的主流软硬件平台。⑸增强现实的应用领域。基本要求⑴了解增强现实的技术发展历史和趋势。⑵掌握增强现实的主流软硬件平台。⑶掌握增强现实的技术应用场景。重点、难点重点：增强现实与虚拟现实、混合现实之间的区别。难点：增强现实与虚拟现实、混合现实之间的区别。作业及课外学习要求作业：了解市场主流的增强现实系统，分析其核心功能和开发生态中的热点产品。（二） 增强现实的空间定位方法（4学时）（重点覆盖课程目标1、2）主要内容：⑴三维空间基础知识。⑵坐标系统变换。⑶人工标识、自然标识与位姿。⑷SLAM技术简介。⑸视觉里程计、视觉惯性里程计。⑹辅助定位技术。基本b要求⑴掌握增强现实场景下的不同坐标系及相互之间的变换方法。⑵了解增强现实场景下的不同人工及自然标识。⑶了解增强现实场景下的SLAM典型方法和流程。⑷掌握视觉里程计、视觉惯性里程计的原理和代表性方法。重点、难点重点：坐标系统变换、视觉里程计、视觉惯性里程计。难点：视觉里程计、视觉惯性里程计。作业及课外学习要求作业：运行一个开源的视觉里程计或视觉惯性里程计算法代码。课外学习要求：上网查阅资料，了解多种不同的视觉里程计、视觉惯性里程计方法。（三） 增强现实的环境感知方法（4学时）（重点覆盖课程目标1、2）主要内容：⑴物体识别方法。⑵物体分割方法。⑶手势识别方法。⑷姿态识别方法。⑸三维重建方法。⑹显著性分析方法。基本要求⑴了解各环境感知方法的目的和关键评价指标。⑵掌握至少一种环境感知方法的代表性方法思路。⑶掌握至少一种环境感知方法的开源算法实现和分析。重点、难点重点：环境感知方法的代表性方法思路分析和开源算法实现。难点：环境感知方法的代表性方法的开源算法实现。作业及课外学习要求作业：选择一个环境感知任务，调研现有的主流方法，能对各方法进行横向比较、判断和分析。课外学习要求：通过完成作业和实验，进一步掌握不同环境感知方法的目标、思路，了解各种不同的环境感知方法的异同。（四） 增强现实的多模态输入方法（3学时）（重点覆盖课程目标1、2）主要内容：⑴键盘输入。⑵语音输入。⑶体感输入。⑷眼神输入。⑸多模态输入。基本要求⑴掌握各种模态输入的相关概念及评价性指标。⑵掌握各种模态输入的技术发展现状及优缺点。⑶掌握多模态融合输入的相关方法和技术。重点、难点重点：各种模态输入的技术发展现状及优缺点。难点：多模态融合输入的相关方法和技术。作业及课外学习要求作业：选择某特定的模态输入方法进行文献调研，对比主流方法。课外学习要求：对某特定的模态输入方法进行文献调研后，选择一个开源算法框架进行分析和实现。（五） 增强现实的图像反馈技术（4学时）（重点覆盖课程目标1、2）主要内容：⑴人类视觉机制。⑵头戴式增强现实成像技术。⑶增强现实关键渲染技术。基本要求⑴了解人类视觉成像的机制。⑵掌握头戴式增强现实成像的不同技术分类。⑶掌握增强现实关键渲染技术的难点。重点、难点重点：增强现实关键渲染技术中实时渲染、光照一致性等内容。难点：增强现实关键渲染技术中实时渲染、光照一致性等内容。作业及课外学习要求作业：增强现实关键渲染技术中实时渲染、光照一致性等内容。课外学习要求：熟悉增强现实关键渲染技术中实时渲染、光照一致性的代表性方法，选择其中一个开源算法进行分析调试程序。（六） 增强现实多模态反馈技术（3学时）（重点覆盖课程目标1、2）主要内容：⑴听觉机制及增强现实系统中的声音输出。⑵触觉机制及增强现实系统中的触觉输出。⑶嗅觉机制及增强现实系统中的嗅觉输出。⑷味觉机制及增强现实系统中的味觉输出。基本要求⑴掌握各种模态输出的相关概念及评价性指标。⑵掌握各种模态输出的技术发展现状及优缺点。⑶掌握多模态融合输出的相关方法和技术。重点、难点重点：各种模态输出的技术发展现状及优缺点。难点：多模态融合输出的相关方法和技术。作业及课外学习要求作业：选择某特定的模态输出方法进行文献调研，对比主流方法。课外学习要求：对某特定的模态输出方法进行文献调研后，选择一个开源算法框架进行分析和实现。（七） 增强现实的协同交互技术（2学时）（重点覆盖课程目标1、2）主要内容：⑴主流增强现实软件中的协同交互。⑵基于移动设备的增强现实协同交互。⑶协同交互的核心特点和特征。基本要求⑴了解主流增强现实软件中的协同交互。⑵掌握基于移动设备的增强现实协同交互。⑶掌握协同交互的核心特点和特征。重点、难点重点：协同交互的核心特点和特征。难点：多人共享物理空间条件下的注册和跟踪技术。作业及课外学习要求作业：了解和对比基于移动设备的增强现实协同交互主流技术，形成调研报告。课外学习要求：通过文献调研，了解多人共享物理空间条件下的注册和跟踪技术现状。（八） 增强现实的应用架构（3学时）（重点覆盖课程目标1、4）主要内容：⑴应用架构概述。⑵增强现实应用的主要功能。⑶服务器端概念架构。⑷客户端概念架构。⑸以华为AREngine为例的架构分析。基本要求⑴了解一个典型增强现实应用的软件架构。⑵熟悉服务器端、客户端的组成模块。⑶掌握核心的主流框架技术。重点、难点重点：搭建一个增强现实应用的服务器-客户端架构。难点：搭建一个增强现实应用的服务器-客户端架构。作业及课外学习要求作业：搭建一个增强现实应用的服务器-客户端架构。课外学习要求：上网查阅一个主流的增强现实应用，并分析它的架构搭建方案。（九）增强现实的未来发展（2学时）（重点覆盖课程目标1）主要内容：⑴增强现实与5G通信。⑵增强现实与物联网。⑶增强现实与人工智能。基本要求⑴了解增强现实与前沿技术之间的联系和支撑关系。⑵熟悉增强现实在未来场景中可以发挥的技术作用。重点、难点重点：增强现实与前沿技术之间的联系和支撑关系。作业及课外学习要求作业：围绕增强现实在未来落地场景的应用设想，完成一份课程报告。课外学习要求：调研增强现实与前沿技术之间的最新结合成果。（十）课程实验、论文汇报、项目、企业专家汇报内容一：AREngine环境配置实验（2学时）（重点覆盖课程目标2）主要介绍华为AREngine的基本功能，开发环境安装配置等。内容二：项目开发实验（8学时）（重点覆盖课程目标2、3）学生根据项目目标、计划和任务书，以团队形式进行项目开发。内容三：学术论文报告（4学时）（重点覆盖课程目标2）从增强现实领域的顶级学术会议（InternationalSymposiumonMixedandAugmentedReality、IEEEVirtualReality等）以及学术期刊（IEEETransactionsonVisualizationandComputerGraphics等）近两年发表的文献中选择一篇进行汇报。内容四：学生项目汇报（6学时）（重点覆盖课程目标2、3）以团队形式汇报项目的选题、中期进展和最终项目成果。从针对真实生活场景中的一个需求，提出增强现实技术的应用背景，阐述相关技术现状，明确系统开发的功能需求清单、人员分工，到持续性的功能实现，最后完整呈现项目成果。实验五：企业专家汇报（2学时）（重点覆盖课程目标2）企业团队入校进行交流，主要介绍其公司技术的核心功能，包括环境跟踪、运动跟踪和人体人脸跟踪，与学生互动。四、教学安排及教学方式总学时48学时，其中，讲授32学时，实验（上机）16学时。以下以单周进行一次理论课及一次实验课、双周进行一次理论课的方式进行教学安排。讲授环节主要采用教师讲解、演示、互动的教学形式。教师讲解知识点、演示程序代码，使学生对知识点形成直观印象，并通过课堂教学双方互相提问，与学生互动，鼓励学生在课堂上发表自己的见解，加深对知识点的理解，达到课程目标。上机环节主要采用教师安排任务、学生自主上机练习，教师现场指导、答疑的形式。上机练习可利用实验室电脑或学生个人电脑编程，通过安装在本地的编译环境进行上机练习。周次教学内容基本要求及重点和难点学时教学方式1增强现实概述主要介绍增强现实的基本概念；产生背景；主要技术特点；增强显示、混合现实的基本概念、虚拟现实头盔与增强现实头盔的基本原理、虚实融合技术、典型增强现实应用系统等；目前的典型的应用方向和大型系统。2课堂讲授1华为AREngine弓|擎入门主要介绍华为AREngine的基本功能，开发环境安装配置等。2上机实践

2硬件及系统结构主要介绍增强现实系统的主要软硬件构成要素、增强现实的常用硬件，包括三维获取设备（位置、姿态、几何数据等）；三维显示设备（立体眼镜、投影墙、头盔、三维显示器等）；人机交互设备（数据手套、触力觉设备、Kinect等）；图形计算系统（工作站、高端显卡等）；增强现实的系统结构分类，包括桌面式、手持式和头戴式等。2课堂讲授3软件及计算架构主要介绍绘制流水线、基于PC的图形体系结构、基于Cluster的并行图形绘制、并行图形绘制系统的分类、并行图形绘制的研究内容、基于端边云融合的计算架构等。2课堂讲授3项目开题汇报学生以团队进行项目的开题汇报。2课堂讲授、学生演示汇报4位置跟踪技术主要介绍离散型/基于事件触发的输入设备，连续型/基于采样的输入设备，混合型输入设备，语音、手势、运动输入设备，6自由度跟踪技术与系统。2课堂讲授5环境感知技术主要介绍依托传感器，特别是摄像机，对外部环境的分析和理解。主要介绍计算机视觉的相关任务，包括图像分类、目标定位、目标检测、图像分割等。2课堂讲授5项目开发学生根据项目目标、计划和任务书，以团队形式进行项目开发，教师提供支持和辅导。2上机实践6显示技术主要介绍视觉感知原理、视景生成技术、立体显示技术、虚拟物体建模等。2课堂讲授7企业团队现场交流企业团队入校进行交流，主要介绍核心功能，包括环境跟踪、运动跟踪和人体人脸跟踪，与学生互动。2课堂讲授7项目中期汇报学生进行项目的中期汇报。2课堂讲授、学生

演示汇报8真实感绘制技术主要讲授局部与全局光照模型、光线跟踪、辐射度传递、阴影、纹理映射等，以及基于可编程流水线的实时真实感绘制技术。2课堂讲授9前沿学术论文汇报安排学生以个人/团队形式进行一次前沿文献调研报告，从增强现实领域的顶级学术会议以及学术期刊近两年发表的文献中选择一篇进行汇报。2课堂讲授、学生演示汇报9项目开发学生根据项目目标、计划和任务书，以团队形式进行项目开发，教师提供支持和辅导。2上机实践10建模技术主要介绍几何建模、运动建模、物理建模、行为建模、场景管理等方面的概念、方法和常用技术。2课堂讲授11多模态输入技术介绍键盘、手柄、手势、语音、眼神等输入模态，以及利用摄像机、麦克、触摸屏等多种交互媒介。2课堂讲授11项目开发学生根据项目目标、计划和任务书，以团队形式进行项目开发，教师提供支持和辅导。2上机实践12前沿学术论文汇报安排学生以个人或团队形式进行一次前沿文献调研报告，从增强现实领域的顶级学术会议以及学术期刊近两年发表的文献中选择一篇进行汇报。2课堂讲授、学生演示汇报13多模态输出技术介绍除了视觉以外的增强现实系统输出，主要包括听觉、嗅觉、触觉、味觉等模态，以及融合多模态融合输出的新一代交互手段。2课堂讲授13项目开发学生根据项目目标、计划和任务书，以团队形式进行项目开发，教师提供支持和辅导。2上机实践14协同交互技术主要介绍允许多人在不同的时间、空间背景下，共同完成一个任务的协同技术，包含远程协作、异地协作、实时多用户协作、独立视图协作。2课堂讲授15未来展望主要介绍元宇宙、虚拟人、人工智能、物联网、人工生命等方面。2课堂讲授15项目开发学生根据项目目标、计划和任务书，以团队形式进行项目开发，教师提供支持和辅导。2上机实践16项目终期汇报学生进行课程项目的终期汇报。2课堂讲授、学生演示汇报五、考核方式与成绩评定办法以增强现实技术及应用课程对软件工程专业的毕业要求支撑为基础，通过项目制考核学生的综合表现，包括团队合作、项目管理、工程、现场演示等。本课程实践性强，在专业通过工程教育认证的背景下，本课程以产出为导向，培养学生的工程实践能力。课程不再采取传统的卷面考核，采用“过程考核+项目考核”，注重学生团队合作能力的考查。本课程以更合理的考核机制更好地督促学生学习知识，掌握技能，达到课程目标以及该课程支撑的毕业要求。最终成绩由课程参与、论文汇报、课程项目等综合而成。其中课程项目分为开题报告（15%）、中期报告（15%）、终期报告（40%）组成。各部分所占比例如下。课程参与：10%，主要通过考勤、课堂互动、课后交流的形式对学生的课程参与进行评估。论文汇报：20%，安排学生以个人或团队形式进行一次前沿文献调研报告，从增强现实领域的顶级学术会议以及学术期刊等。近两年发表的文献中选择一篇进行汇报。汇报时间10分钟，并预留3分钟进行提问交流。主要考核学生对于前沿科研成果的思路和方法的学习能力。开题报告：15%。以团队形式汇报项目的选题。针对真实生活场景中的一个需求，提出增强现实技术的应用背景，阐述相关技术现状，明确系统开发的功能需求清单、人员分工和项目预期进展。汇报时间10分钟，并预留3分钟进行提问交流。主要考核学生分析、解决问题的能力，以及团队组织和合作的能力。中期报告：15%。以团队形式汇报项目的进展，重点汇报系统已实现的功能，采用的核心算法，遇到的困难，预期采用的技术路线，以及接下来的工作计划。汇报时间10分钟，并预留3分钟进行提问交流。主要考核学生软件开发以及算法设计与实现能力。学生应能够通过搭建相应的开发环境，以团队合作的形式完成合适的系统开发工作量。终期报告：40%。以团队形式进行项目的最终报告，并要求提交一份文字版本项目报告。重点汇报系统已实现的功能，采用的核心算法，与预期计划的变动，人员分工，项目整体开发体会和经验。汇报时间10分钟，并预留3分钟进行提问交流。文字版本项目报告要求包含上述内容，但宜言简意赅，建议正文宋体小四、1.5倍行距格式下控制在5页纸内（需附封面、参考文献，但不计入页数）。全方位考核对增强现实系统的基础知识、方法和技术的掌握程度，团队配合程度以及解决问题的能力。课程目标达成考核与评价方式，以及成绩评定对照表。课程目标毕业要求考核与评价方式及成绩比例（％）成绩比例（%）课程参与论文报告课程项目13.2510254025.3510254039.12020合计102070100（二）考核与评价方式及成绩评定考核与评价标准1.课程参与考核与评价标准课程参与课程目标评价标准成绩比例（%）优秀(0.9~1)良好(0.8~0.89)中等(0.7~0.79)及格(0.6~0.69)不及格(0.0~0.59)课程目标1能够独立思考，对增强现实技术有全面深入的理解，能够在课堂内外提出有价值问题能够独立思考，对增强现实技术有较为完整的理解，课堂上积极交流对增强现实技术有基本的理解，课堂上能够在老师引导下交流对增强现实技术有基本的理解对增强现实技术理解不清楚，或者思路不清楚50课程目标2能够对给定的应用问题提出相应的算法，并在课堂内外与老师主动交流能够对给定的应用问题构建设计合理的算法能够对给定的应用问题设计部分算法基本能够对给定的问题设计部分算法不能对给定的模型设计算法50注：该表格比例为课程参与部分的成绩比例。2.论文报告考核与评价标准

论文报告课程目标评价标准成绩比例(%)优秀(0.9~1)良好(0.8~0.89)中等(0.7~0.79)及格(0.6~0.69)不及格(0.0~0.59)课程目标1能够对所选择的学术文献进行深入阅读，对论文选题、方法、结果、讨论部分结合增强现实技术进行清晰讲解，能够提出自己的独到观点。能够对所选择的学术文献进行较为深入阅读，对论文选题、方法、结果、讨论部分结合增强现实技术进行清晰讲解。能够对所选择的学术文献进行阅读，对论文选题、方法、结果、讨论部分进行讲解。能够对所选择的学术文献进行阅读，对论文选题、方法、结果、讨论中的一部分内容进行讲解。无法完成学术论文的阅读和讲解。50课程目标2能够围绕所选学术论文的核心技术主题开展更多文献，能够对不同系统和方法的优劣进行对比和分析能够围绕所选学术论文的核心技术主题文献开展部分调研工作，能够简单分析主流方法的优缺点。