山航基于混合现实的机务维修-系统解决方案

山航基于混合现实的机务维修系统解决方案二零二零年四月目录TOC\o"1-2"\h\u一、项目简介 -1-一、项目简介1.1需求分析目前，山东航空在基地维修业务上主要负责飞机的定期维修、大修、拆换大型部件和改装，维修业务种类多，维修工程复杂。为了确保飞机能够安全上天，维修业务需要非常高的严谨性，一线机务人员必须保证每一个维修环节、每一步维修操作均严格按照飞机维修手册，飞机上不同的系统必须保证所有相关部件功能、部件的安装位置、部件拆装方法、部件测试方法等均严格遵照飞机维修手册正确实施。面对如此复杂的飞机维修工程，一线机务人员在维修过程中不可避免地将频繁查阅波音、空客等飞机维修手册，且不同品牌的飞机维修手册不尽相同，同一品牌的飞机维修手册之间需要相互依赖，相互参考，给一线维修人员在实际维修过程中造成了较大的实施难度。另一方面，一线机务人员必须遵循维修九字方针，即“看一步，做一步，签一步”，这意味着一线机务人员在双手进行飞机部件维修操作的同时，又需要查阅纸质或电子版的维修手册，还需要在完成每一步维修操作后，在纸质或电子工单上进行签名，这种实名责任制在保证了飞机机务维修的严谨性和安全性的同时，也造成了维修过程较为繁琐，操作较为不便的尴尬局面，不利于一线机务人员的维修工作效率的提升。此外，一线机务人员当遇到维修疑难杂症，不得不求助于航空维修专家的指导时，缺乏一种有效的沟通和指导手段，传统的音视频沟通方式不能直观、高效的解决问题，往往还得依靠专家亲临现场进行诊断、排故、指导和实施，既提高了飞机疑难问题维修的时间和金钱成本，又无法给一线机务人员的实际维修操作带来深刻和直观的指导体验。最后，飞机维修业务作为一项复杂的系统大工程，需要大量的经验丰富、技术过硬的机务工程师为飞机飞行安全保驾护航，如何高效培养一批批合格、成熟的一线机务工程师也是摆在山航机务维修部门面前的又一个难题。1.2建设目标针对山航机务维修面临的上述问题，本方案基于混合现实技术和可穿戴设备，拟解决一线机务人员在实际维修过程中身受的流程繁琐、操作不便、指导不足和培训低效等问题。本项目建设目标如下：针对一线机务人员的维修工单，采用混合现实头戴式显示设备与山航的电子工单、航材管理等业务信息系统数据打通，一线机务人员无需在实际的维修过程中额外手持可移动终端（如手机、平板等移动设备）进行查看和签字，通过混合现实头戴式显示设备，一线机务人员通过手势即可完成电子工单的维修步骤的签字确认；在一线机务人员的实际维修过程中，采用混合现实头戴式显示设备可将飞机的各类维修手册以全息图像的方式直观地展现在一线机务人员的眼前，无需在维修时手持纸质或电子的维修手册查阅，解放了机务人员的双手，让机务人员可专心致志地进行飞机部件的维修；针对机务维修过程中遇到的疑难杂症，采用混合现实头戴式显示设备与多终端设备的应用程序建设解决方案，一线机务人员可通过混合现实头戴式显示设备内置的摄像头，将现场的实时画面共享给异地的维修专家，专家可通过手机、平板、电脑等各类终端上对应的应用程序了解详情，并在共享画面中对设备标注、圈点要点，一线机务人员可直接在头戴现实设备中观察到这些标注，以此专家能“手把手”的指导一线机务人员的维修操作。同时，一线机务人员通过混合现实头戴式显示设备的麦克风可与异地专家进行远程音视频沟通，达到与传统音视频会议同样的沟通效果；针对一线机务维修的培训，采用混合现实技术和头戴式显示设备可达到媲美真实维修环境和真实飞机部件的3D虚拟效果，使一线机务人员无需亲临现场即可身临其境般地学习和体验详细的维修流程和飞机各部件的构造，提高培训的质量和效率。二、建设依据2.1软件开发国家标准（1）GB8566-88《计算机软件开发规范》；（2）GB8567-88《计算机软件产品开发文件编制指南》；（3）GB9385-88《计算机软件需求说明编制指南》；（4）GB9386-88《计算机软件测试文件编制规范》；（5）GB/T13502-92《信息处理-程序构造及其表示法的约定》；（6）GB/T15532-95《计算机软件单元测试》；（7）GB/T14079-93《软件维护指南》；（8）GB/T9385-88《计算机软件需求说明编制指南》；（9）GB/T9386-88《计算机软件测试文件编制指南》；（10）GB/T12504-90《计算机软件质量保证计划规范》；（11）GB/T14394-93《计算机软件可靠性和可维护性管理》；（12）GB/T16260-96《软件产品评价质量特性及其使用指南》。2.2民用航空行业标准MH-T3010.4-2006《民用航空器维修管理规范第4部分：民用航空器维修工作单（卡）的编制》；MH-T3010.7-2006《民用航空器维修管理规范第7部分：民用航空器维修记录的填写》。2.3法律规范（1）《中华人民共和国电子签名法》；（2）《电子签名、电子记录存档系统和电子手册系统的接受与使用》。

三、方案设计3.1方案设计原则（1）先进性整个系统的软硬件设计符合高新技术潮流，成熟可靠，技术指标达到目前国内外同类系统建设的先进水平。系统设计具有前瞻性，既满足机场现期的需求，又保证今后一定时期内的技术先进性。（2）抗噪性选取设备采用七麦克风圆形阵列，可对语音输入进行智能降噪，实现在嘈杂环境中，正常的语音输入和语音识别。（3）合理性在系统设计时，充分考虑系统的容量及功能的扩充，方便系统扩容及平滑升级。系统对运行环境（硬件设备、软件操作系统等）具有较好的适应性，不依赖于某一特定型号计算机设备和固定版本的操作系统软件。（4）经济性在满足系统功能及性能要求的前提下，尽量降低系统建设成本，采用经济实用的技术和设备，利用现有设备和资源，综合考虑系统的建设、升级和维护费用。系统符合向上兼容性、向下兼容性、配套兼容和前后版本转换等功能。（5）实用性系统功能应完全立足于机场运营管理的需要，充分满足用户的需求，保证系统数据处理和传递的安全、可靠、及时、准确，提高山航的工作效率，减少人为差错，降低管理成本。系统人机交互界面应直观、易读、美观，操作简便、灵活、易学易用，便于用户使用和维护。（6）规范性系统中采用的控制协议、编解码协议、接口协议、媒体文件格式、传输协议等符合国家标准、行业标准和公安部颁布的技术规范。系统具有良好的兼容性和互联互通性。（7）可维护性系统操作简单，实用性高，具有易操作、易维护的特点，系统具有专业的管理维护终端，方便系统维护。系统具备自检、故障诊断及故障弱化功能，在出现故障时，能及时、快速地进行自维护。（8）可扩展性系统的设计和建设要充分考虑网络、硬件的扩展需要、应用系统二次开发的需要以及支持未来可能出现的组织调整的需要。系统应采用开放的可扩充模块结构，保证以后可以方便地升级和不断增加新功能、增加容量。（9）开放性系统设计遵循开放性原则，能够支持多种硬件设备和网络系统，软硬件支持二次开发。各系统采用标准数据接口，具有与其他信息系统进行数据交换和数据共享的能力。3.2物理组网架构山航机务维修系统的组网架构如下：混合现实头戴显示设备通过无线网络连接到内网环境，实现与内部业务系统的互联互通。手机、平板等处在外网的终端设备，可通过制定端口进行远程视频协作。3.3系统架构基于混合现实的山航机务维修系统架构如下图所示，包括数据层、数据存储和计算层、应用平台层、设备层和用户层。数据层：是山航机务维修系统的数据资源保障，是维修业务数据来源，包括山航的工时工卡系统、维修计划系统、维修手册系统和航材管理系统等。数据存储和计算层：是应用平台的基础保障，通过视觉计算平台和大数据平台处理，为应用平台的调用提供接口服务。应用平台层：是一线机务人员使用的核心功能层，可实现电子工卡管理、远程协作管理、培训管理、辅助维修应用、维修手册查询等功能。设备层：该层是山航机务维修系统的硬件支撑层，设计的硬件设备有微软的HoloLens2、手机、平板、电脑等。用户层：用户层描述了山航机务维修系统的使用者，包括一线机务维修人员、机务维修部的专家和领导等。3.4基于混合现实（MR）的新一代机务维修3.4.1电子工单混合现实头戴显示设备可与山航的电子工卡、航材管理等业务系统进行数据对接，维修人员在完成维修流程中的每一个步骤后都可以通过手势或语音进行确认，“电子工单”应用将自动记录和保存维修人员相关信息，还会将维修人员的维修视频片段留存，一是便于事后追溯，二是可将各业务、各种类、各设备的维修视频自动存入维修知识库，丰富维修知识库的同时，还对维修人员起到指导作用。除此之外，通过扫描航空器设备或零部件设备上二维码等的方式，还可将电子工单与航空器设备及其零部件、维修设备进行绑定，方便业务管理和数据采集，包括一线机务人员的数字签名、语音签名等的存证信息。3.4.2基于混合现实的维修流程指导混合现实头戴显示设备的“维修流程指导”应用程序，可以帮助基地一线维修人员甚至经验匮乏的新员工快速、高效完成维修任务。维修人员通过混合现实头戴设备可直观地查看每一步维修操作的全息动画提示，通过双手的缩放、抓取、点击、移动等手势可控制混合现实头戴显示设备呈现的航空器及设备的全息图，能够非常清晰、直观、方便地查看航空器及其设备的内部结构构造和每一个零部件拆分图。维修步骤由一系列可外部触发的动画构成，借助动画系统将不同的动画应用到对象上。当混合现实头戴显示设备检测到维修人员的在系统中的虚拟双手与维修场景互动时即可触发操作动画，细致的描绘出各个操作环节。3.4.3远程专家指导当维修人员遇到疑难杂症，无法依靠维修手册和维修经验完成维修任务时，可使用混合现实头戴显示设备和各终端的“远程协作”应用程序，帮助基地一线维修人员与远程专家进行音视频通话。维修人员仅需手势点击即可打开混合现实头戴显示设备上的“远程协作”应用，找到相关专家进行拨号，远程专家通过各终端的“远程协作”应用接受呼叫，双方即可进行音视频沟通。混合现实头戴显示设备可通过设备摄像头捕捉操作者眼前的画面，远程专家可在其终端设备如手机、平板、电脑等观看现场的维修视频画面，并可在实时画面中添加标记，“手把手”的指导给一线维修人员。3.4.4维修知识库混合现实头戴显示设备通过“维修知识库”应用，将山航建设的维修知识库直接带到了一线现场，通过语音输入，搜寻资料。同时结合混合现实头戴显示设备的视频录制，屏幕截图等功能，可再提供更多素材，去丰富机务维修知识库。3.4.5维修培训指导通过基于混合现实头戴显示设备和各终端操作系统环境开发的模型工具，山航机务培训人员可自定义维修剧本，培训者无需实地操作即可身临其境般地了解设备详情，学习维修技巧。利用混合现实头戴显示设备的培训甚至可以实现传统实地操作培训无法完成的设备结构全拆解，还可清晰了解每一个设备的内部构造，降低维修技能的学习成本，提高实机维修的效率。3.5方案优势解放双手，语音控制，在不影响原有视野的情况下，在眼前给实物叠加辅助信息，为一线技术工人赋能。成功案例4.1某水务公司该公司是日本一家水和环境领域的综合工程集团，其融合机械技术、电气技术、信息和通信技术、维护管理等专有技术，主要业务为给排水处理设施提供陶瓷膜过滤系统、臭氧发生装置、污泥焚烧炉、高速雨水系统等机械设备及受变电设备、监视设备等的开发及供应。同时，在给水领域采用陶瓷膜的过滤系统进行水处理方面有着丰厚的实力和业绩。在实际运维过程中，建设一站式工作平台可帮助维护人员快速了解状况并采取对策，大幅提高工作效率，达到增强客户满意度的目的。为此，我方为该司提供一线员工数字助手，连接IoT和水务云平台数据，打造一体化数字工作平台，将三维操作指引直接嵌入到日常维护流程中。4.2某重工集团重型设备培训该集团是挖机市场的领军企业，2018年上半年仅净利润就达到35亿元人民币，为开拓国际市场，在一带一路倡议领导下，海外营收已超过25亿美元，年增长30%。海外重型机械培训由于缺乏专业机构支持，对进一步业务发展造成了挑战。我方为该司打造的DigitalTwin重型机械操作仿真与培训考试平台和混合现实教学应用将承担起未来“海外蓝翔”的作用，预期部署上百家内部学院培训中心，为该司海外发展提供坚实的基础。

附件：HoloLens2是由微软发布的混合现实头戴显示设备，是混合现实领域最先进和智能的成熟产品，因此本方案的系统均基于HoloLens2的WindowsHolograghic和Windows操作系统进行开发。HoloLens2参数HoloLens2参数如下：参数HoloLens2分辨率2K视场角52°对角线视场角；43°水平视场角；29°垂直视场角重量566克续航2-3小时HPUHPU2.0芯片高通骁龙850蓝牙5.0内存RAM4GB存储空间64GB摄像头800万像素；1080P30视频OSWindowsHolograghic手部追踪双手全关节模型识别与追踪眼球追踪实时眼球追踪HoloLens2优势2.1沉浸感HoloLens2具有相比一代设备具有大幅拓宽的视场角，用户可以浏览到更大范围的全息图。同时，HoloLens2具有业界领先的分辨率，每度47像素的角分辨率可让用户更轻松、更舒适地阅读文本，并查看3D图像上的复杂细节。瞳孔间距对双目式显示设备十分重要，错误的距离会导致画面错位或扭曲，迫使用户不停在脑海里纠正，进而导致用户强烈不适。HoloLens2具有的眼球追踪能够自动测量瞳孔间距Inter-pupillarydistance，保证了用户体验的舒适感，创造非凡的沉浸体验。2.2符合人体工程学Ho