虚拟现实医疗应用白皮书

介绍国家工业和信息化部展研究院国家卫健委吴阶平医学基金会TS1.发展现状4.存在问题5.发展展望3.研究进展6.相关建议现状 1体发展情况全球医疗健康事业正面临着人口老龄化、医疗资源短缺、医疗资源分布不平衡和费用增长过快等诸多问题。根据世界卫生组织估计，全球范围内对于医护人员需求的缺口在2030年将超过我国中小城市和乡村地区医护人员、医疗培训技术和设备缺乏的现象也普遍存在，定专业技能的医护人员非常缺乏，培训医护人才的需求长期存在。发发展渊源以虚拟现实为代表的新兴前沿技术正广泛应用于医疗健康服务行业，提高医疗资源供给能力、应对医疗健康服务需求增长。全球医疗VR市场在全球医疗VR市场在的价值约为预计到2025年将达到约1.15亿美元VR年将达到2022年的市场复合增长率为105.6%数据来源：IDCVR况VR剖腹产术模拟是通过VR技术模拟真实手术室环境，全方位沉浸式体验剖腹产手术流程。软件使用高精度孕妇模型，从皮肤到内部脏器、到子宫内胎儿，完全模拟真实人体解剖结构。用户在操作过程中，有实时交互提供反馈，让用户快速学习、真VR解剖学教室生能够以一种身临其境的方式学习相关知识，无论是人体解剖还是临床知识都能在VR。在产品研发领域，由于医疗行业数据输入量和积累VR手术直播国内已将VR技术应用于专业技术培训，为学生讲解脑脊髓血管解剖，并通过VR技术体验脑血管造影手术过程。由于医学生无法进入手术室学习，VR直播可实现同步播放手术室中的实时情况，使医学生能身临其境地观摩学习手术。VR状国外VR医疗发展现状在VR技术领域，目前国外应用涉及机器人手术、恐惧症治疗、手术模拟和技能培训等。此外，VR在患者教育、心理健康和心理治疗等方面也同样发挥着重要作用。VR手术模拟器VR主流应用领域是通过VR技术训练外科医生。国外VR公司将3D技术和VR相结合，研发出各种手术模拟器。外科医生戴好特定的VR眼镜后，可以通过模拟器实施各种手术。其中，手术刀的角度、操等均能体现在虚拟患者身上。VR状VR病灶重现在VR技术的帮助下，患者可以和医生一起“走进”他的身体里，进而制定更精准的治疗方案。国外有VR公司为每名患者量身定制一个360°的虚拟现实世界，通过VR技术将患者身体的病灶重现。医生会邀请患者一起“钻”进这个世界，共同商量制定治疗方案，并通过最终实现手术风险的显著降低。VR改变幻肢感受国外某研究院正在利用VR技术和神经刺激技术，帮助截肢者改变“幻肢”感受。这项技术可以结合视觉和触觉来诱骗截肢者的大脑，让假肢使用起来更简单、更自然。截肢者戴上VR头盔可以看到虚拟假肢。通过对截肢患者残肢的神经施加人工触觉，研究小组能够制造出一种错觉，即他们幻肢的一部分正在经历相应的感觉。与此同时，虚拟假肢的食指会在受刺激的触摸感觉中同幻肢和假肢是同一个肢体的错觉。将AR技术与中药材图谱相结合，可将中药植株和饮将AR技术与中药材图谱相结合，可将中药植株和饮片立体地展现出来；在针R以为学生展现出虚拟人体模型，演示穴位定位、进疗可以通过AR眼镜直接传输手术情况给远方专家组，通过远程辅助技术，专家可以远程给手术主刀医生提供意见。内部分医院进行了一些尝试，如通过AR全息眼镜观察人体结构、通过AR技术监测患者生命体征等。R医院可以通过AR技术帮助寻找静脉注射用血管。AR况AR辅助颅内血管畸形切除手术国内某医院完成AR技术辅助下儿童颅内血管畸形切除手术。这项手术借助了AR技术，将患者的病变位置、血管和组织以3D图像方式呈现给医生。AR技术是影像技术和影像检查的重新展现，并且支持软件加减、叠加，最终使得手度和安全性都得到显著提高。救护车内5G+AR医疗急救救护车内的医护人员采取5G网络联动方案，佩戴AR眼镜，与医院内专家进行远AR况案例介绍5G+AR智慧医疗国内某医院通过5G+AR技术，成功实现了远程协同介入手术。远在“千里之外”的县级市人民医院医生借助AR眼镜，将手术实况实时回传至国内顶级三甲医院专家，在心内科专家的指导下顺利完成冠脉介入治疗手术。AR状AR辅助脊椎手术发出一套结合AR技术的医疗影像处理系统，该系统可以让医生事先了解患者身体结构情况，然后根据其结构特点来制定手术方案，以便更加精确地放置植入物，整个手术时长缩短，减轻了患者和医生的负担。同样，当植入物放置完毕或手术完成后，医生也可以通过该AR系统来手术效果，不需要患者额外接受检查。AR解剖教学系统国外开发出一款医学AR应用系统，可以显示8200个不同解剖结构。通过该系统，学生不需要在实验室对尸体进行解剖，在宿舍就能模拟解剖。该系统能够单独放大特定的身体区域和器官，促进学生之间真正的互动合作。医务人员也可以通过该系统实时向患示身体运行机制，解释病情等。AR况AR静脉扫描仪AR静脉扫描是一款用于护理的辅助系统，通常新入职护士在第一次静脉注射时只有60%成功机率，如果面对老年或儿童患者，更加难以穿刺成功。而通过AR技术与手持扫描仪可以帮助找到静脉准确位置。据统计，这项技术将首次找准静脉的可能性提高3.5倍，大幅AR手术指引>>>辅助手术美国食品药物监督管理局(FDA)已批准首个用于AR头戴式显示器的医疗视觉辅助系统，该系统通过2D、3D和4D图像技术，让医生在手术开始前获得可能交互方式呈现患者2D和3D图像，并将其AR况相关政策梳理展方向TWO 2 (一)教育培训 (一)教育培训8年我国卫生和计划生育统计年鉴，我国卫生技术人员已达到758万。到2020年，卫生计生人才总量预计达到1255万人。国医生和护士比例要求是1：2，重要科室医生和护士的比例应是1：4。而全国实际1：0.61的医护比差更远。短期内存在5~20倍差距，人才培养空间巨大。7年我国虚拟现实医学教育市场规模计2025年将达到展方向VR全景视频培训VR全景视频培训通过构建一个高度还原的模拟环境，让学生身临其境地感受整个救护过程，从中学习实践经验与应对技巧，而不仅仅是通过课堂上教学者的讲解来获取理论知识。VR手术模拟培训VR手术模拟培训是通过VR技术，构建一个虚拟仿真手术室场景，模拟真实患者、医生、护士和手术室环境，然后使用VR设备，在虚拟场景下展方向VR手术模拟培训的优势有效提高培训效果有效提高培训效果1降低培训成本降低培训成本误而损坏仪器。而VR手术模拟训练不仅能提高外科医生对于医低。2提供医生安全培训提供医生安全培训X每年都要监控自身所受XVR这一问题。3展方向 (二)个性化健身VR/AR技术一方面为健身提供趣味性，让高强度的苦差事变为令人上瘾的游戏体验。另一方面，精确的数据提供和技术指导有助于用户更快的学习技术动作，更有效1、VR健身场景模拟VRVR镜，用户就可以从小房间中枯燥无聊的划船机上摆脱出来，进入到虚拟场景中，就像在真正的大江大河里漂流。目前有很多VR创业公司与运动品牌商开始尝试将VR与运动健身进行结合，开发了新型的APP与配件，并且认为这将改变人们的健身生活方式。展方向2、VR健身场景模拟+数据化美国运动类APP科技公司开发了一款VR健身模拟软件，并将VR中的运动数据连接至手机APP供用户查看，包括时间、距离、消耗的卡路里和心率数据纳入统计数据。用户只要购买一个合适的运动传感器，就能够体验到将日常普通身场景虚拟化+健身数据化。3、AR健身鼓励软件系统AR技术能够将运动转化为竞争性游戏，以此提高用户的积极性。美国一家科技公司开发了一款声音AR应用软件系统，跑步的时候戴上耳机，应用系统读取用户的地图信息。在身后制造怪物追逐声音，通过游戏化的方式催促着用户在跑步健身时继续向前、不能停息。同时作为僵尸疫情中少数的幸存者之一，还背负了寻找物资、拯救任务，从而达到鼓励健身的目的。展方向4、AR虚拟健身教练AR虚拟健身教练，开发者通过130台单反相机，对健身教练的动作进行捕捉拍摄和构建3D动画模型，质的3D模型能完全复制教练的健身动作。用户无死角观看，和传统健身教学视频相比，一些视频不容易理解的教学动作能够更直观的表现出来。展方向 (三)心理障碍虚拟现实技术在国外已较多应用于治疗各种心理障碍疾病，如：退伍老兵创伤后遗症、残障人士幻肢痛、儿童多动症、自闭症和认知功能障碍等，甚至对于改善恐高症、幽闭恐惧症、飞机恐惧症都有效果。技术关键主要在于场景内容的设计以及沉浸感的强弱。1、VR焦虑恐惧治疗心理学家通过VR技术实现传统的“暴露疗法”，进行恐R心的方式将患者暴露在某一让他们感到不安的情境之下，R了街景服务，利用这一提供世界各地道路及其它地点全景影像的庞大在线数据库，再现户外场景。目前美国有相当多的心理医生已经通过这些虚拟的街景治愈患者。展方向2、VR恐高症治疗VR恐高症疗法，通过在虚拟世界中模拟张家界景区玻璃栈道，让患者戴上VR头盔，来模拟站在玻璃栈道上的感觉，从而进行恐高症的3、VR强迫症治疗VR强迫症治疗是针对强迫症患者，通过VR模拟出让患者不适的虚拟场景，使用患者佩戴的检测脑电波与心跳的设备来采集患者的实时数据。同时，每个场景有着不同的等级。每个等级针对不同的强迫症程度，可以随时通过查看患者的脑电、心电数据，调整症场景等级，最终达到治疗的效果。展方向 (四)护理新入职护士在护理操作中相对容易出错，最终可能加重患者痛苦。因此，需要提升操作技能，获得认识问题的经验，提高解决问题的能力。目前，可以借助VR技术，针对特殊病症、复杂的临床手术以及一些难以在现实中模拟的场景展开培训、教学。另外，还可以通过VR中内定的安全操作范围对学员培训进行约束及提醒。1、VR导尿术场景模拟VR导尿术模拟，通过VR技术模拟导尿术。在模拟操作中，系统会对使用者进行提示，使用者根据提示进行模拟培相应的导尿术流程规范。展方向2、VR乳腺癌术后护理VR乳腺癌术后护理提供给乳腺癌患者，在术后康复时使用VR全景模拟，能够让患者身临其境，跟随场景中的护士，进行术后恢复锻炼，从而达到促进患肢痊愈的效果。软件考虑到使用人群为术后患者，在操作上采用简洁的交互方式，3、VR围术期压疮管理VR围术期压疮管理，是通过VR的形式普及手术围术期知识。软件在一个模拟的手术室场景中，演示不同的手术体位，以及如果对该体位进行压疮管理。让患者、家属和护理人员了解患者在手术过程采用何种体位，以及应该注意哪些部位容易出现压疮等。展方向4、VR心肺复苏教学及考核VR心肺复苏模拟培训软件，根据国际标准的心肺复苏急救训练流程而设计，遵循专业医学指南。在VR中模拟真实的人体结构以及状态变化，如按压时肺部变化、血流变化等，从而进行心肺复苏急救技能训练及考核。软件会提供实时的操作信息，如按压深度、频率等，对应考核标准，方便护理人员自主学习、强化训练。该软件系统核心模块由VR头显、计算机、手柄组成。随着急救技能的普及，该系统拥有广阔的医疗普及空间，VR心肺复苏模拟培训系统也会是急救领域不可缺少的产品。展方向 (五)康复训练VR康复训练，是指有各种运动障碍的人群，通过在虚拟环境中做自由交互以达到能够自理生活、自由运动、解除心理障碍的训练。传统的康复训练不但耗时耗力，单调乏味，而且训练强度和效果得不到及时评估，很容易错失训练良机，而结合三维虚拟与虚拟仿真技术的康复训练可以较好解决这一问题，对完全丧失运动能力的1、VR肢体运动训练VR康复训练系统在游戏的原理上设计了诸多康复程序，康复程序的游戏动作和康复作业治疗中的动作一致，在肢体作业康复方面主要以身体的肩、肘、腕、膝关节等多个大关节进行主动康复训练，同时以游戏方式实现原有康复动作，在训练的过程当中如出现失误，不会对患者的身体造成损伤，可用于慢性病治疗及生活技能丧失者的康复。展方向2、VR认知功能训练VR康复训练系统促进了计算机技术和认知科学更高层次的结合，在认知障碍的康复训练方面表现出了传统方法无法比时产生的三维环境中，通过各种游戏反辑推理、3、VR防治老年痴呆国外开发出的一款使用运动传感器的VR认知康复系统，由14种使用视觉感知的日常训练游戏组成，通过智力刺激提高认知能力，提高解决日常生活所需问题的能力。它不仅对预防痴呆症有效，而且对脑损伤患者的理解力恢复有效。研究结果表明，VR认知疗法在世界各个地区非常有效，并且预计它将对一般认知功能的恢复也会产生积极影响。0年全球视力低下人数约有0年全球视力低下人数约有到2020年全球盲人总数将增至7500万数据来源：世界卫生组织 (六)视力障碍视器产品使患者无法自由参与外部活动，且需要借助多个产品(如阅读器、盲杖、导盲犬等)来辅助生活，使用条件苛刻。新近也出现App类移动端产品，但功能相对有限。用户体验效果不佳与日益增强的消费需求催生了一些新产品，如借助可穿戴设备帮助出行、通过虚拟现实技术治0年我国视力低下人数约有824.8万数据来源：世界卫生组织展方向1、VR眼球追踪治疗视力障碍黄斑区是视网膜的一个重要区域，黄斑区病变常导致视力下降、眼前黑影或视物变形等症状，而VR眼球追踪可用于治疗部分视力障碍患者。美国某公司与纽约州立大学合作，通过VR技术治疗视力障碍，可以提高在弱视、斜视等眼部疾病的治疗水平。该公司的眼球追踪技术可以刺激双眼视网膜，指导神经元工作。公司推出一套视觉治疗系统，结合VR游戏为每位患者定案，其目标是取代部分传统疗法。2、VR距离调节治疗视力障碍美国某公司推出一套基于智能手机的VR系统，该系统包括VR头显和智能手机，手机能够录制用户周围的环境，并在其外围视觉区域实时显示画面，大脑不会在视觉中心感知到盲点，且该设备能够自动聚焦，自由切换近景或远景，无需手动调整放大倍率。通过对30名患者进行了为期两周的实验研究，使用系统的患者视力得到了显著提高。目前，美国各地已有80个眼科中心在使用该系统。展方向 (七)临床辅助AR和VR技术正在向患者管理、医疗运营维护、检测诊断、治疗康复等环节扩展。通常实习医生只能通过反复观摩录像来学习。即使是资深外科专家在动手术之前，也需要花费大量时间去反复仔细研究患者的各种2D图像，以确定最佳手术方案。而VR/AR技术能有效提高医术操作技巧，提供诊疗效率。1、VR镇定剂究在超过350例外科手术中运用VR技术来辅助手术，减轻患者疼痛，减少昂贵镇静类药物的使用，使手术费用降低了25%，且减少了手术并发症。研究人员通过让患者沉浸在虚拟场景中，将患者的注意力转移出来。研究显示，使用VR仿真软件降低患者疼痛感的有效动。展方向2、AR+3D医学成像技术某公司开发了一个交互式3D平台，可以将2D图像转换成用手写笔操作的3D图像，帮助医生从各个角度了解患者身体内部器官的情况。从而，医生可以更容易找到和检查出患者病变部位。该技术大幅缩短了医生诊疗和术前准备时间，同时减少了医院和患者所花费的3、AR外科手术可视化系统国外某公司开发出一款AR设备，该设备可以在手术过程中为医生提供X射线视觉，让医生透过皮肤和组织看到患者体内解剖结构。据研究测试发现，利用该系统可以使脊柱螺钉的放置准确率接近97%。整个系统的精度约为1.4毫米，达到美国食品药品监督管理局(FDA)究进展E 3美国杜克大学英国皇家外科医学美国杜克大学英国皇家外科医学院德国汉堡大学国外高校、科研机构致力于推动虚拟现实医疗产业技术创新发展患者恢复了对下肢部分神经元的控制。VIVEProEye开发了目前唯一受该国权威外科机构认证的VR手术模拟训练软。VOXELMAN融合医学影像学领域优秀成果及完备的医学知识库系统的三维可美国纽约州立大学、美国纽约州立大学、哈佛大学、德克萨斯大学加拿大Sunnybrook医院加拿大多伦多大学国外高校、科研机构致力于推动虚拟现实医疗产业技术创新发展如何更好地改变自己行为。R通过这项技术实现在微血管中安全精准的3D实时导航。化技术相结合的SGIOnyx3800系统，使研究人员能够更有效复旦大学北京航空航天大复旦大学北京航空航天大学北京师范大学国内部分高校、科研院所也在进行虚拟现实的技术创新研究融合环境关键技术及应用、数据驱动的虚拟场景生成方面也取得大量成果。0套中国人完整颅面数据的数据库，颅面形态学知识分析模型和颅面统计变形模型。国内部分高校、科研院所也在进行虚拟现实的技术创新研究清华大学虚拟现实与人机界面实验室中国科学院深圳先进技术研究院中国科学院深圳先进技术研究院实交互的放疗设备多维仿真，将各种复杂的模拟简化为在该技术对四川省省立医院完成了378名患者临床示范应用。发表多篇虚拟现实医疗领域相关专利和论文。问题 4问题 (一)虚拟现实医疗技术的标准规范有待建立术在医疗中的应用虽然展示出初步效果和巨大发展潜力，但是目前仍然面临一些待克服的问题。虚拟现实医疗技术标准包括通用技术标准和医疗应用的行业性标准。2017年4月，我国自主制定的VR行业规范《虚拟正式发布，该标准的发布以及联盟企业的执行，促进了虚拟现实产业的发展。但用于虚拟现实系统开发的平台和应用接口标准还没有形成，不同平台上开发的虚拟现实系统不兼容，影响虚拟现实拟现实技术在医疗行业的技术标准、特别是应用标准仍处于探索阶段，为了使虚拟现实技术在医疗健康领域更问题 (二)虚拟现实医疗技术的综合性专业人才稀缺2018年9月，教育部正式在《普通高等学校高等职业教育(专科)专业目录》中设置“虚拟现实应用技术”专业，并从2019年开始实行。从长远来看，教育部的新举措对于产业的长远发展带来了坚强的后盾，同时也为虚拟现实行业发展带现阶段综合性专业人才的稀缺是阻碍虚拟现实医疗技术发展的重要因素。传统的计算机技术人才没有强大厚实的医疗知识，传统的医学人才也缺乏新型数字模拟技术的概念，医学领域和计算机技术存在巨大的行业壁垒，培养各自领域的人才都需要花费大量的精力时间，培养跨领域综合性人才更困难。因此，政府、医疗行业及商业机构都需集聚力量，加快培养医工虚拟现实医疗技术综合性专业人才。问题 (三)虚拟现实医疗的应用体验还需要提升在使用虚拟现实系统的过程中，医护工作者需要佩戴相关设备以及操作传感器等，因此操作便捷的虚拟现实系统才会获得拟现实系统主要存在佩戴舒适性和清晰度等问题。2016年以来，各类虚拟现实头戴设备不断更新迭代，越来越多的无绳一体化设备出现，且佩戴舒适度和操作便利性也得到较大改善。无绳化、轻便化的虚拟现实头戴设备一定程度上缓解了活动空间受限问题，但这种无绳的虚拟现实头盔设备，其计算能力往往受到限制。通过云计算的方式，将计算和渲染等功能转移到云端完成是解决本地计算能力不足的有效方法，未来网络技术的发展，清晰度、流畅度等体验将会得到更好的支撑。问题 (四)虚拟现实医疗应用的产业化整合仍需加强虚拟现实现有方案落地需要更多医疗机构和企业专家的参与，目前虚拟现实医疗系统的部署方式效率低，更多的是以单个系拟现实医疗健康领域生态圈，从而推动技术的发展域，大部分医院临床技能中心已经使用常规模拟设备，进行专科技能教学，在住院医师规范化培训的相关政策文件中，也明确规定培训机构需要配备专业的手术模拟设备。通过模拟医学和虚拟现实的结合，会产生基于细分专业的模拟医学平台和牵头单位或医院，同时也需要将虚拟现实技术和医学产业深度结合、有效运营，创建基于虚拟现实医疗系统的产业生态和科研平台。展望 5展望 (一)虚拟现实在细分医疗健康领域的发展趋势药类分子生物学领域结构解析和可视化专家系统将会有一定比重，电子显微镜下的医学影像可以和虚拟现实设备相关联，支持影像图形的可视化，和实验室专家系使用3D显微镜和VR眼镜观察细胞和各种立体化数据。神卫生治疗领域VR至少与面对面治疗的效果同等。VR治疗既可以单独使用，也可以作为一种创新工具促进现有认知治疗。在VR治疗恐高症的随机对照实验中，症状平均减少幅度达到68%。是现有虚拟现实技术发展最完善的领域。未来这部分领域会趋于平台化的专科深度加深，更深度关联临床，通过5G技术直接使用临床案例进行库和系统化平台会逐步建立，系统也会逐渐从专家创造内容向用户创造内容转变，越来越成熟化。 (二)虚拟现实医疗技术的应用状况 (二)虚拟现实医疗技术的应用状况虚拟现实技术应用已经获得医院认可，认为虚拟现实技术对于改善和提升临床医疗效果方面提供的支持创新和降低风险方面也发挥了很大作用。“还没有合适的虚拟现实医疗解决方案”是医院还没有开展相关技术的主要原因。医院使用VR技术的科室主要有外科、骨科、放射科、临床技能中心和精神科等科室。虚拟现实技术在学教育和培训中的优势已经获得广泛认可，在手术规划、手术操作、医患沟通方面的虚拟现实技术应用最广泛、成熟，在精神疾病治疗和康复训练的应用还处于探索阶段。例约为在未来两年内计划部署虚拟现实的医院比例为66.7%展望 (三)虚拟现实医疗市场的现有认知和突破点亟待从认知层面达成医疗健康行业的跨界合作。认识和理解，能认识到虚拟现实技术在临床医学、医药类分子生物学、医疗精神治疗和医学教学领域能起到的作用和带来的变化。行业需要真正专业和长期耕耘的团队持续支持行业的发展和专科产品的丰富化和平台化。现有虚拟现实设备提供商应该更关注于提高和改善设备的使用体验；VR设备需要提升清晰度、定位精确度、佩戴舒适性等，以符合医疗器械的精密程度；结合3D打印技术模拟病理状态的器官组织；多项硬件组合才能针对不同专科、亚专科打造虚拟现实技术制高点。在医学教育领域，开发团队通常通过选择与医院以及医学实验室进行合作，在开发过程中往往集中在专业医疗场景。学行业门槛较高，开发团队通常是由具有专业学术背景的医学团队所支持。对应医疗渠道资源的供应商，拥有的解决方案越多，医学机构的客户信任度也就越高，最终客户通常需要更完整的解决方案。系统化虚拟现实医疗技术团队，能有效推进产业生态的发展。展望 (四)虚拟现实医疗产业未来生态医学层面而言专科细分化是一种必然趋势，科研可视化、临床可视化到教学可视化均可通过5G网络一脉相承、同步高效。在不远的将来，实验室通过MR研究分子结构模拟、远程研讨；通过虚拟现实技术结合术中导航，进行术前规划和术中导航运用、远程专家会诊；同时真实的临床数据脱敏后直接运用到教学端，实现虚拟现实课程场景，完成手术模拟教学、急救模拟教学等医学专科课程，便于理解且务实高效。在技术层面过高速网络，链接不同的人