增强现实技术在任务中的应用

增强现实技术在任务中的应用

增强现实是基于虚拟体验（虚拟现实体验，虚拟现实体验）的一种新的引擎技术。它融合了计算机生成的虚拟对象和真实环境的场景，提供了一种增强的场景，并与用户进行了实时互动。将AR技术应用于载人航天领域,将为航天员执行空间任务提供一种新型的技术保障手段和支持途径。目前大多数航天任务在低地轨道上进行,在意外故障情况出现时,主要依赖地面控制中心的支持来解决,随着人类探索太空的脚步越走越远,航天员必须摆脱对地面的依赖,转变为自主决策,工作负担和压力会显著加大。火星探索中,通讯延迟造成极端信息反馈时间将高达44min,如果依赖地面指挥,信息延迟造成紧急问题不能得到及时处理,后果难以预料。因此,必须提高航天器的智能化水平和航天员的自主决策和问题处理能力。空间站长期任务和未来星际探索活动导致航天任务周期不断延长,随着在轨时间的延长,人的工作效能逐步下降,即使曾经训练过的内容也可能遗忘。为提高航天员对任务环境的信息感知能力,需要寻求增强信息获取的途径。AR技术,可以通过虚实信息融合提高人的环境感知能力,提供了一个极具潜力的航天任务支持手段。AR也可以应用于航天员训练,与VR技术不同,AR技术主要基于任务的真实环境,无需大量的虚拟环境建模,可为任务训练提供有效的支持手段。1ar技术及其应用特点的分析1.1维注册技术AR技术为用户提供一个将虚拟与真实世界结合的场景,它以真实世界场景为基础,在其上增加计算机生成的虚拟信息,以增强人对真实世界的认知。AR技术在众多领域有着广泛的应用前景,例如,飞机维修人员根据AR系统提供的辅助信息,更快、更准确地完成设备安装与维修任务。AR技术的基本特点为:虚实结合、实时交互、三维注册。与VR技术的完全虚拟环境不同,AR技术的基本思想是在真实世界中添加计算机生成的虚拟对象,并使虚拟与真实对象相融合,增强用户对真实世界的感知和理解,可以指导用户完成不熟悉、不熟练的工作。根据用户关注与操作对象的改变,增强信息也随之发生相应的变化。AR系统根据工作对象的不同,实时叠加对应的虚拟信息,为使虚拟信息和真实场景内容达到完美融合,必须对两者精确对准,也就是“三维注册”。三维注册有应用各种传感器的方法,但是对应用环境和范围都有一些限制。随着计算机视觉技术的发展,基于视觉的注册方法成为目前的研究热点,即通过采集图像并进行特征分析来确定目标方位,这种方法设备简单、适用范围广、成本较低,其典型的系统应用流程如图1示。系统首先获取真实环境的图像,识别其中的标识点来计算镜头(观察点)相对真实场景的位置和姿态信息,根据这些信息,对虚拟对象进行坐标变换和渲染,再把它们与真实的场景图像叠加起来,实现虚实融合,最后通过显示设备将虚实结合的增强图像信息提供给用户。1.2基于标志点的计算机视觉注册技术AR系统的主要特点在于将计算机生成的虚拟信息与真实场景精确对准,并通过显示设备融合显示在用户的视场内,因此注册(虚实对准)和显示技术是AR系统的两个主要技术基础。1)注册技术一个AR系统必须实时精确地给出用户的视点位置与方向,以使虚拟对象在真实世界中准确地定位,这项技术称为三维注册。注册将计算机生成的虚拟物体和实际环境对象“对准”,通过正确的注册,虚拟物体和真实环境达到无缝融合。目前采用的注册方法主要有电磁、惯性、超声波、红外线等基于硬件跟踪传感器的注册定位方式,基于计算机视觉的注册定位,以及结合视觉和硬件跟踪传感器的混合注册定位等。基于计算机视觉的注册中,按照场景中是否设置标志点,又分为基于标志点和无标志点的跟踪注册。标志点是事先定义好的标识符号,比如采取正方形边框内添加标识数据信息,这类标识特征明显,容易识别,极大减少了识别和计算时间。无标志点的跟踪注册算法通过识别实际场景中的自然特征物来得到视点的位置与朝向信息,其计算较复杂,时效性难以满足要求,仍处于实验室阶段。因此,基于标志点的计算机视觉注册技术是应用热点,主要的软件工具包有ARToolkit,ARTag,ArUco等,支持快速的应用开发,并包含镜头标定和标识制作的工具。从航天任务的实际工作环境和方便实用要求来考虑,使用视觉跟踪是比较适合的选择。但是计算机视觉技术的算法一般都比较复杂,且精度要求越高,计算量也越大,在有些情况下,其算法及计算机的处理能力难以达到实时性的要求。因此,需与其它跟踪技术结合起来构成混合跟踪系统,以增强实用性。常用的混合跟踪算法是基于惯性-视觉的跟踪注册,这种方法不仅简单,还具有更好的适用范围,并适合于户外移动环境。这种混合跟踪方法融合使用不同的跟踪数据,用惯性跟踪数据来改善视觉跟踪的鲁棒性与速度,同时用视觉跟踪数据来提高惯性跟踪的精度。2)显示技术AR系统的显示方式一般有头戴式(头盔)和手持式(监视器)2种方案。头戴式显示又分为视频和光学透视式2种模式。视频透视式头盔利用摄像机对外部世界进行同步拍摄,将视频信号送入图形工作站,图形工作站实时处理视频信号并同时产生虚拟场景,再将两者进行图像融合后送到头盔的显示系统,使用户看到虚实结合的图像。光学透视式头盔采用光学组合器直接将计算机生成的虚拟场景同外部真实场景在人眼中融合。从航天员适用角度来看,头盔显示方式是较适合的方法,因为它佩戴在头部并随之一起运动,虚拟与真实场景信息都在人的当前视场范围内,中间没有遮挡,同时双手无需握持、调整显示设备,可以集中于操作任务。为减轻头盔负荷,必须研制轻便、小巧的显示设备。从安全角度看,视频透视式头盔由于完全封闭了用户的视野,所以在电源失效时,会造成用户失去视觉信息,具有一定安全隐患,光学透视式头盔即使在电源失效时,仍可以通过透视镜看到外部真实场景,安全性更高。显示技术的研究还包括显示算法,主要考虑虚实图像完美结合的虚拟场景绘制问题,如保持虚实场景的光照一致性,虚实图像的相互遮挡计算与渲染等复杂问题。1.3航天系统在任务支持方面的应用目前,航天员在轨获得任务操作指导信息的主要方法有纸质飞行手册,电子手册以及与地面控制中心通话获得技术支持。在前两种方法中,当航天员查阅飞行手册时,其视线必须在操作设备和手册之间来回移动,且至少需要一只手来握持飞行手册和翻页,对于失重状态下的航天员,增加了身体的不稳定性。在电脑上查阅信息也是如此,需要航天员在工作位置和电脑之间来回移动,包括与电脑的交互动作,使得眼和手的操作负担加重,导致工作效率下降。地面支持则受到通讯链路的限制,如是否在通讯区,通讯延迟的影响等。如果在轨发生新的任务需求,而新任务之前在地面没有经过训练,或者训练并不充分,导致操作方法生疏,如果这时查找手册或资料,无疑会花费时间,降低效率,也许错过重要的时间节点,那么利用AR系统的实时引导能力,可以指导航天员顺利完成操作过程,提高工作效率。针对航天任务的特点,应用AR技术作为任务支持手段具有以下特别的优势:1)免于握持和翻阅手册,解放航天员的双手去专注于所执行的操作任务。2)减少了视线在手册(或电脑屏幕)和工作对象之间的来回移动和眼睛的聚焦调节,避免出错。3)基于视点的交互跟踪,增强信息随视点的变化而实时更新,提高获得操作辅助信息的效率。4)航天产品质量管理严格,几乎所有设备都有详细的设计文档和图纸,甚至三维模型,因此非常有利于增强信息的设计和组织。另外,舱内活动范围有限,可以人工设置标识,改变光照条件,有利于目标点的定位注册。1.3.2设计并满足单次训练需求在应用AR系统提供任务支持的情况下,航天员的训练模式将会发生变革,改变为加强技能性的训练,而对于过程性任务的训练,则无需采取反复训练熟悉的模式,具有一般性了解即可满足需求,而更多的训练时间应用于技能的强化训练。在实际任务中,可以在AR系统的指导下完成过程任务的执行,有助于提高训练效率。1.3.3学习信息的使用对于长期的载人航天任务,要求航天员把所有的操作内容准确无误地记忆是不现实的,他们需要查找手册,或者使用计算机检索、学习了解相关的操作步骤等信息。在舱外活动状态下,并不方便携带手册等信息支持设备。利用AR系统,根据语音指令在航天员的视域内实时提供操作辅助信息,极大减少了航天员的记忆负担,通过AR系统引导完成载荷设备操作任务,对于提高操作准确性和节省操作时间,都具有积极的意义。1.3.4模块化替换的成本在国际空间站上,为了简化在轨维修任务,一般采取在轨可替换单元(ORU)进行模块化替换,需要从地面运送整个模块设备,增加了天地运输的成本。如果在AR系统指导下,对这些模块中过去难以完成或容易出错的复杂维修任务可以在轨顺利完成,将会减少模块设备的运输成本。1.3.5依据临床特征的辅助指导方法航天医学和空间生命科学研究是载人航天研究的重要方面,AR技术在此方面也大有用武之地。例如,大量的在轨医学和生物实验,需要航天员有专门的医学、生物学和解剖学知识基础,但难以保证在轨的航天员都是医学专家,那么,航天员除了进行任务前的针对性训练之外,可以在AR系统的实时辅助支持下完成医学实验任务。在未来星际航行和探测任务中,由于任务时间的延长,航天员也难免会出现身体疾病或受伤的情况,应对这类问题,一种方法是通过远程医疗手段,航天员在地面专家支持下实施医疗过程,但受到通讯延迟的制约和限制,不能保证医疗措施的时效性。另一种方法就是通过AR技术实现对医疗过程的辅助指导,航天员可以佩戴相应的AR技术设备,通过对医疗目标位置的定位,并在航天员视域范围内实时显示操作指导信息,帮助其完成医疗或实验过程。ESA已研制了基于AR技术的超声检查设备,用于指导航天员在轨自行完成超声检查等医疗过程。可以预见,AR技术在航天领域具有广阔的应用前景,在未来长期任务和星际探索中,要求航天员具有更多的自主性,获得更加方便快捷的操作指导,确保任务圆满完成。因此,AR技术已得到国际航天领域的广泛重视,进行了一系列应用研究[18,19,20,21,22,23,24,25,26]。2ar技术在航空航天应用研究中的应用2.1ar技术在越界测试中的应用2009年,欧洲航天局ESA设计了WEAR(WearableAugmentedReality)可穿戴AR系统,并验证了AR技术在国际空间站上应用的可行性。该系统使用了空间站上的工作计算机,集成了头戴跟踪与显示系统,在一只眼睛的视场中添加了三维图形与指示数据。航天员佩戴该系统帮助他们进行在轨的工作任务时,可以通过语音交互对系统进行控制,而不影响双手的操作,通过位置跟踪与目标识别系统确定航天员的目视方向,提示信息可以逐步显示在航天员眼前的透过式显示屏上,帮助航天员完成任务过程。2009年9月,航天员德维内在哥伦布实验舱内进行了AR技术应用试验,试验内容是在AR系统辅助下进行空气过滤器检查,包括设备识别与操作指导、舱内噪声环境语音交互试验以及AR系统与国际空间站设备管理目录系统数据库的集成功能等。试验目的是评价WEAR系统的可用性、适宜性和技术完备性,试验结果说明,AR技术对于航天员任务辅助支持具有重要的应用意义,但是目前的技术条件还需要继续完善和提高,如对注册系统标定程序的简化,增强显示信息与空间站系统资料数据库的整合等。WEAR系统是目前AR技术在载人航天领域应用研究比较深入的案例,并且进行了在轨应用试验,它采用的是头戴显示模式结合语音交互技术,使双手完全集中于操作任务;在注册技术上,它结合了视觉和惯性跟踪,并利用了舱内设备的几何模型数据,提高注册精度和速度。WEAR系统只是一个试验系统,但它的技术方案为未来的应用设计奠定了基础。由于使用了光学透视头盔,标定程序仍然繁琐,这也是AR技术本身需要解决的问题。2.2基于ar技术的机器手地面训练器国际空间站上的加拿大机器手SPDM(specialpurposedexterousmanipulator)是一个两臂的机器手,用于舱外载荷操作。航天员在地球上空几百公里高的轨道上进行机器手操作面临着特殊的挑战,操作任务可能持续几个小时,经历多个轨道上的昼夜交替,由于太空真空环境没有大气的漫反射,航天员将面对强烈日照和黑暗的动态交替光照变化,阳照区和阴影区产生强烈的视觉反差,操作目标的直接与间接可视性都不理想,影响航天员操作机器手的准确性和效率。约翰逊航天中心研发了基于AR技术的机器手地面训练器,通过在视频显示图像上叠加辅助图形来帮助航天员进行机器手定位判断,应对不良光照条件的影响,试验对比分析显示,应用AR技术可以显著减少机器手定位偏差,缩短任务完成时间,提高操作性能。另外,也可利用AR系统进行机器手控制台面板的操作训练。机器手操作AR系统在实际操作界面的监视器上叠加辅助信息,训练界面与实际操作界面保持一致性,有助于训练所获技能向实际应用的有效迁移。系统叠加的辅助信息比较简单,可以利用在轨现有计算设备完成虚拟信息生成,因此,如果集成机器手仿真软件,能够对航天员实现在轨“刷新”训练。2.3实现飞机044和4.4之间的连接波音公司是最早开展AR技术应用研究的单位之一,也是NASA的主要合同商。波音公司曾经设计了一个辅助飞机线缆连接与装配的AR系统,工程师在AR系统的指导下,完成飞机线缆的布线工作。他们也考虑在国际空间站上进行AR技术的应用试验,波音认为AR系统可以减少航天员的地面训练需求,从传统的针对任务的训练模式转换到主要针对技能的训练,在技能娴熟的情况下,对于大量复杂的操作过程,可以在AR系统的指导下完成,如此训练模式的改变可以大大节省训练时间。2.4增强工作效率我国将建设空间实验室和空间站,实施中、长期载人航天,将面临大量载荷试验以及设备维护和维修需求,要求航天员熟练掌握所有任务的每一操作步骤是不现实的,如果能够进行在轨训练以及通过AR技术对航天员的操作步骤进行实时指导,将会减轻航天员的工作强度,提高工作效率。AR技术在我国的应用研究还处于起步阶段,主要应用在文物古迹复原与保护、军事、旅游和工业等方面[29,30,31,32,33,34,35,36]。北京理工大学开发了基于AR技术的数字圆明园系统,通过准确叠加虚拟场景,在废墟基础上可实时再现皇家园林昔日的辉煌景象,成为旅游项目和历史教育的生动案例。国内多所高校也开展了AR技术的理论与应用研究。中国航天员科研训练中心也进行了AR技术应用的探索试验,在地面模拟舱进行了基于舱内环境的三维注册算法研究,针对特定载荷设备,开展了载荷操作辅助系统原型研究等课题,进行了语音交互、标识选取以及头盔显示设备标定等试验研究,初步探索了AR技术应用的理论和工程实现方法,为后续的应用与开发奠定了基础。2.5适人性强从目前的应用研究结果来看,AR技术的普及应用还受到一些技术条件的限制。主要表现在应用装备的适人性方面,如光学透视头盔的标定方法还比较繁琐,对目标精确定位注册还主要依赖人工标志,头盔长时间佩戴给人带来的不适影响等,都是影响实际应用的限制因素,也是未来研究解决的主要课题。3未来研究的主要方向3.1方便的运输和使用由于载人航天任务工作环境的限制,必须研制体积小,重量轻,低能耗的AR系统硬件平台,方便设备的运输和使用,并且穿戴舒适,不会对航天员的身体活动造成限制和阻碍。主要的应用装备包括头跟踪设备、显示设备及便携式计算系统等。3.2混合跟踪技术在狭小的舱内环境中,难以添加很多的标志点,研究基于自然特征的跟踪方法或者其它的目标识别方法,如利用条码扫描快速识别目标设备,再进一步识别目标的状态信息,提高注册定位速度。目前来看,单一的注册定位技术难以同时满足注册精度和速度的要求,混合跟踪技术是发展的趋势,从航天应用来说,视觉和惯性跟踪的结合是比较实用的一种选择,ESA的试验采用了这种方法,但在方便易用上还有待提高。对于星际探索任务,则需研究广袤荒漠环境的注册定位技术,如火星、月球表面的活动导航和位置判断,需要通过卫星导航数据和环境地形图对探索位置进行规划和定位。3.3建立航天器数据体系和数据库为了使AR系统合理、充分地提供增强信息,需要有效地设计和管理增强信息数据。在产品的设计阶段就开始积累相关素材,保证及时有效地获得航天器设计的数据信息,包括CAD模型数据,可以直接移植到AR系统的信息数据库中,保证增强信息的精确度和可视效果。因此需要沟通获取航天器数字化设计信息资源的途径和渠道,保证数据的一致性和同步更新。研究建立辅助支持系统的分析与设计体系,建立航天器系统结构和部组件数据库,操作程序与步骤文档数据库,星际探索中需要的星体表面地形数据等资料数据库。研究增强数据的表现形式与设计技术,合理设计不同媒体形式的增强信息,选择最为适合和有效的信息增强方式。3.4增强信息提示的目AR技术除了主要在视觉