虚拟现实医疗应用白皮书

《虚拟现实医疗应用白皮书（）》虚拟现实医疗应用白皮书（）吴阶平医学基金会虚拟现实产业联盟赛迪智库电子信息研究所10月前言前言虚拟现实与医疗的融合将为传统医疗行业带来全新变革。虚拟现实具有逼真的场景呈现、事前可规划性和过程可重复性，可有效解决医疗行业面临的实操风险高、可重复率低、培训资源短缺等问题。随着虚拟现实技术的不断进步与发展，虚拟现实+医疗时代正逐步到来。为加快推动我国虚拟现实医疗应用的快速发展，吴阶平医学基金会、虚拟现实产业联盟、赛迪智库电子信息研究所联合编写了《虚拟现实医疗应用白皮书》，分析了国内外虚拟现实医疗应用发展现状，梳理了我国虚拟现实医疗的发展方向和创新进展，对虚拟现实医疗行业的发展趋势进行了展望。在此基础上对虚拟现实医疗应用的发展提出了措施建议，以期为我国虚拟现实医疗应用发展和相关政策制定提供参考。如有商榷之处，欢迎批评指正。本白皮书由吕建平、安晖主编，闵世豪、秦文健、谢广磊、郑俊、温晓君、赵燕、张甜甜参与撰稿。年10月月I目目录录一、发展现状1（一）国内发展状况2（二）国外发展状况8二、主要发展方向14（一）虚拟现实+医学教育培训14（二）虚拟现实+个性化健身17（三）虚拟现实+心理障碍治疗扩大，预计将达到17亿美元，的市场复合增长率预计为105.6%。虚拟现实在医疗领域的应用涉及手术模拟、技能培训、手术辅助、心理治疗等多个领域。现有国内虚拟现实技术方案主要集中在医学教育领域，覆盖市场在60%以上。在临床方面，虚拟现实技术使用率较低，体验感还没有得到医生和医疗机构的普遍认可，属于科研拓展阶段，还未形成完善的商业闭环。2（一）国内发展状况（一）国内发展状况1、、VR医疗发展现状医疗发展现状VR技术与医疗融合的技术与医疗融合的主要应用方向包括虚拟手术培训、强化临床诊断、远程医疗、心理疾病治疗、护理学和康复训练、产品研发等。在模拟手术领域模拟手术领域，经验丰富的外科医生可以利用虚拟手术室学习和探索新技术，或者进一步深化掌握具体手术操作步骤。在培训领域培训领域，医学生能够以身临其境的方式学习人体解剖、临床等相关知识。国内典型应用案例如下：（1）VR剖腹产手术模拟主要通过VR技术模拟真实手术室环境，全方位沉浸式体验剖腹产手术流程（图1.1）。软件使用高精度孕妇模型将皮肤、内部脏器、胎儿完全模拟真实人体解剖结构。用户在操作过程中能获得实时交互反馈，还能接受理论知识考核，实现交互实操与理论相结合。软件还能模拟突发状况，训练用户临场应对能力。同时包含教学模式与考核模式，以更好地掌控用户的学习进度。3图图1.1VR模拟剖腹产手术模拟剖腹产手术（2）VR胸腔穿刺术模拟通过VR技术模拟胸腔积液或气胸患者，利用胸腔穿刺抽取积液或气体模拟手术（图1.2）。系统完全还原患者病情，操作时会对用户逐步提示，用户每一步操作都会有相应反馈。图图1.2VR模拟胸腔穿刺术模拟胸腔穿刺术（3）VR手术直播培训由于医学生无法进入手术室学习，VR直播可同步播放手术室中的实时情况，使医学生能身临其境地观摩学习手术。国内已将VR技术应用于脑脊髓血管解剖、脑血管造影手术4的专业直播与技术培训中。（4）VR解剖学教室国内相关院校已设置VR解剖学教室，可供多人同时进入同一虚拟场景空间，突破学生学习立体解剖空间的瓶颈，大幅提升学生的学习兴趣与成效（图1.3）。虚拟场景解剖软件可支持300人同时上线，在模拟环境里拆解、旋转人体中超过4000个不同解剖部位，静态或动态观察脏器的活动。图图1.3VR解剖学教室解剖学教室2、、AR医疗发展现状医疗发展现状AR技术与医疗融合技术与医疗融合的主要应用方向包括医学教育、中医药教育、辅助手术、远程医疗、医疗检测等。国内科技公司现有的AR医疗产品主要针对医院和第三方实验室，包括硬件、应用软件等。在医学教育医学教育方面，已经成熟的应用有利用AR技术寻找静脉注射用血管。在实际医护工作中，小孩的血管比较纤细5或者部分患者血管凹陷的情况给护理工作带来了很大挑战。AR技术可以在患者身体上投射出血管图形，让护士准确定位注射用血管，避免操作失误对患者的伤害。在中医药教育中医药教育方面，将AR技术与中药材图谱相结合，可将中药植株和饮片立体地展现出来；在针灸教学过程中，AR技术可以为学生展现出虚拟人体模型，演示穴位定位、进针手法等教学过程。在远程医疗远程医疗方面，可以通过AR眼镜直接传输手术情况给远方专家组，专家可以通过远程辅助技术远程给手术主刀医生提供意见。在医疗检测医疗检测方面，部分医院进行了一些尝试，如通过AR全息眼镜观察人体结构、通过AR技术监测患者生命体征等。国内典型应用案例如下：（1）AR技术辅助下颅内血管畸形切除手术11月，国内某医院完成AR技术辅助下儿童颅内血管畸形切除手术。手术借助AR技术将患儿的病变位置、血管和组织以三维（3D）图像方式呈现给医生。以往，医生在查看二维（2D）影像资料时，需要通过空间想象来叠加，AR技术能三维再现影像，提高手术的精准度和安全性。救护车内5G+AR医疗急救7月，国内某医院顺利完成5G+AR医疗急救演6练。在接到急救电话后，医院调配置5G城市应急救援系统的“5G救护车”前往，从患者被抬上“5G救护车”的一刻起，车上的急救人员与医院急诊抢救医护团队实现“零时差”对接。救护车内的医护人员采取5G网络联动方案，佩戴AR眼镜，与医院内专家进行远程AR诊疗。通过AR眼镜，院内专家可实时监测患者病情变化，进行远程会诊指导急救，争分夺秒抢救患者。5G+AR智慧医疗7月，国内某医院通过5G+AR技术成功实现了远程协同介入手术。县级市人民医院医生借助AR眼镜，将手术实况实时回传至相距千里的国内顶级三甲医院专家（图1.4），在心内科专家的指导下顺利完成冠脉介入治疗手术。图图1.4术者佩戴术者佩戴AR眼镜，将影像传输至后端眼镜，将影像传输至后端通常国内中小型医院医生在面对一些复杂手术时，希望有大型医院专家的协助指导。邀请外院专家会诊存在路途遥7远、专家时间冲突、患者费用和病情能否允许等一系列现实问题。不同地区的医生之间的信息传递主要依靠微信等方法，难以实时同步手术全过程信息，在与生命的赛跑中很可能出现“慢半拍”的情况。5G+AR技术可以解决大型医院专家的远程协助问题，将大型医院的技术能力下沉辐射到更广泛的区域，有效助推分级医疗制度，缓解广大群众就医难的问题。3、政策环境发展情况、政策环境发展情况以来，我国多个部委陆续出台了多份推动虚拟现实技术产业发展及医疗领域应用的相关政策，持续提升对虚拟现实医疗技术研发、产品消费、市场应用的支持力度。表1相关部委关于虚拟现实的政策措施发布时间发布时间政策名称政策名称发布机构发布机构政策内容政策内容9月（二）国外发展状况（二）国外发展状况1、、VR医疗发展现状医疗发展现状VR技术与医疗融合的技术与医疗融合的主要应用方向包括机器人手术、恐惧症治疗、手术模拟和技能培训等。此外，VR医疗在患者教育、心理健康和心理治疗等方面也发挥着重要作用。典型应用案例如下：（1）VR手术模拟器VR+医疗的主流应用领域是通过VR技术训练外科医生。9国外VR公司将3D技术和VR相结合，研发出各种手术模拟器。外科医生戴好特定的VR眼镜后，可以通过模拟器实施各种手术。其中手术刀的角度、操作力度等均能体现在虚拟患者身上（图1.5）。图图1.5VR手术模拟手术模拟（2）VR病灶重现在VR技术的帮助下，患者可以和医生一起“走进”他的身体里，进而制定更精准的治疗方案。国外有VR公司为每名患者量身定制一个360°的虚拟现实世界，通过VR技术将患者身体的病灶重现（图1.6）。医生可以邀请患者一起“钻”进这个世界，共同商量制定治疗方案，并通过反复模拟操作最终实现手术风险的显著降低。10图图1.6VR重现病灶重现病灶（3）VR改变幻肢感受国外某研究院利用VR技术和神经刺激技术，帮助截肢者改变“幻肢”感受，结合视觉和触觉诱骗截肢者的大脑，让假肢的使用更简单、自然。截肢者戴上VR头盔可以看到虚拟假肢（图1.7）。通过对截肢患者残肢的神经施加人工触觉，同时虚拟假肢的食指会在受刺激的触摸感觉中同步发光，从而产生幻肢和假肢是同一个肢体的错觉。图图1.7患者正在使用患者正在使用VR改变幻肢感受改变幻肢感受112、、AR医疗发展现状医疗发展现状在AR技术与医疗融合技术与医疗融合领域，国外研究机构正在开发AR系统，可以将计算机体层摄影（CT）、磁共振成像（MRI）、X射线或超声扫描的2D诊断图像转换为3D图像。该技术可以提供患者正常解剖和病变图像，这些图像在手术中可显示在患者体表，协助医生准确定位，节省手术时间。在远程手术中，世界各地的外科医生团队还可以通过AR技术协同工作。该技术已基本成熟，但远程手术需要能够在大约70毫秒内显示信息，网速还是一大挑战。典型应用案例如下：（1）AR辅助脊椎手术国外已经开发出一套结合AR技术的医疗影像处理系统，该系统可以让医生事先了解患者身体结构情况，然后根据其结构特点来制定手术方案，以便更加精确地放置植入物（图1.8），整个手术时长缩短，减轻了患者和医生的负担。同样，当植入物放置完毕或手术完成后，医生也可以通过该AR系统来观察手术效果，无需患者额外接受检查。12图图1.8AR对辅助判断穿刺位置对辅助判断穿刺位置（2）AR解剖教学系统国外医疗创企开发出可以显示8或儿童患者，更加难以穿刺成功。通过AR技术与手持扫描可以帮助找到静脉准确位置（图1.10）。研究表明这项技术将首次找准静脉的可能性提高3.5倍，大幅提升患者的就医体验。图图1.10AR扫描仪找准静脉扫描仪找准静脉（4）AR手术视觉指南美国食品药物监督管理局（FDA）已批准首个用于AR头戴式显示器的医疗视觉辅助系统，该系统通过2D、3D和4D图像技术，让医生在手术开始前获得可能在术中遇到问题的视觉指南（图1.11）。该系统可以呈现患者2D和3D图像，并将其准确地叠加在患者身上。图图1.11AR手术视觉辅助手术视觉辅助14二、主要发展方向二、主要发展方向（一）虚拟现实（一）虚拟现实+医学教育培训医学教育培训将虚拟现实技术与医学教育相结合进行人才培养，发展虚拟现实医学教育是当前的重点。根据《中国卫生健康统计年鉴》，我国卫生技术人员已达758万，预计到全国卫生计生人才总量将达1255万人。按照卫健委要求，我国医院的医生和护士比例应为1：2，重要科室医生和护士的比例应是1：4。但全国实际的医护比例仅为1：0.61，与1：2.7的国际水平相差很大。医护比例短期内存在5~有60所一本类院校开设护理专业，毕业人数1.2万人，每年人才缺口10~财政划拨给医务人员教育的款项、医药企业用于医生教育的市场费用、医生每年用于培训的个人花费共计约260亿元。根据QYResearch数据，我国虚拟现实医学教育市场规模2.1亿美元，预计将达到10亿美元以上，年复合增长率22%，高于全球市场水平。虚拟现实在医学教育方面的典型案例如下：1、、VR全景视频培训全景视频培训近年来，医疗领域逐步开始通过VR技术进行医疗培训。15VR医疗培训能提供全方位沉浸感的专业服务，让被培训者在虚拟环境中深度学习，快速提高技能。国外部分大学正致力于通过VR技术培训医护人员（图2.1）。研究人员使用专业级全景相机记录教学全过程，并使用头戴式显示设备让学生身临其境地观摩学习。图图2.1培训者正使用培训者正使用VR观看全景教学视频观看全景教学视频VR全景视频培训通过构建一个高还原度的模拟环境，让学生身临其境地感受整个救护过程，从中学习实践经验与应对技巧，而不仅仅是通过课堂上教学者的讲解来获取理论知识。这种真实的临场感所特有的紧张和压力可以让学生更熟悉救护场景，了解如何应对这种场景带来的压力，有助于最大限度地减少人为失误所导致的医疗事故。2、、VR手术模拟培训手术模拟培训VR手术模拟培训是通过VR技术，构建一个虚拟仿真手术室场景，模拟真实患者、医生、护士和手术室环境，然16后使用VR设备，在虚拟场景下进行手术培训（图2.2、2.3）。图图2.2学生正使用学生正使用VR设备进行模拟手术设备进行模拟手术图图2.3学生正使用学生正使用VR设备进行模拟手术设备进行模拟手术VR能有效提高培训效果能有效提高培训效果。国外研究表明，与仅接受传统骨科手术培训的学生相比，经过VR培训的医学生的整体水平测试分数要高出130%，同时正确率高出38%，速度也快都要监控自身所受X光辐射的总量，VR手术模拟培训能很好地解决这一问题。另外，VR手术模拟培训可以让外科医生随时随地多次练习，有助于完成培训目标；能为外科医生提供一些困难且少见的案例，提高医生诊疗水平；可以为受训医生评分和反馈，帮助他们学习和提高；能将培训中专家和非专家用户的数据进行对比，计算出不同医疗机构中外科医生的整体表现，帮助医生之间互相学习，推动整体医疗水平的提高；能支持远程课程，为医疗资源较缺乏地区的医生提供医疗培训。（二）虚拟现实（二）虚拟现实+个性化健身个性化健身虚拟现实技术一方面能增进健身的趣味性，让高强度的训练变成舒适的的游戏体验；另一方面能提供精准的技术指导，有助于用户更快的学习技术动作，更有效达到训练目标。18虚拟现实在健身方面的典型应用案例如下：1、、VR健身场景模拟健身场景模拟VR领域有很多健身项目，比如带上VR眼镜，用户就可以从小房间中枯燥无聊的划船机上摆脱出来，进入到虚拟场景中，就像在真正的大江大河里漂流。有很多VR创业公司与运动品牌商开始尝试将VR与运动健身进行结合（图2.4），开发了新型的APP与配件，并且认为这将改变人们的健身生活方式。图图2.4健身者正使用健身者正使用VR设备进行健身设备进行健身2、、VR健身场景模拟健身场景模拟+数据化数据化美国运动类APP科技公司开发了一款VR健身模拟软件，并将VR中的运动数据连接至手机APP供用户查看，包括时间、距离、消耗的卡路里和心率数据纳入统计数据。用户只要购买一个合适的运动传感器，就能够体验到将日常普通的健身场景虚拟化+健身数据化（图2.5）。19图图2.5使用使用VR与传感器达到虚拟化、数据化健身与传感器达到虚拟化、数据化健身3、、AR虚拟健身教练虚拟健身教练开发者运用130台单反相机对健身教练的动作进行捕捉拍摄和构建3D动画模型，高品质的3D模型能完全复制教练的健身动作（图2.6）。用户可以360°无死角观看健身教练的动作。与传统健身教学视频相比，一些视频不容易理解的教学动作能够更直观的表现出来。图图2.6对健身教练进行动作捕捉对健身教练进行动作捕捉痴呆防治老年痴呆国外开发出的一款使用运动传感器的VR认知康复系统，由14种使用视觉感知的日常训练游戏组成，通过智力刺激提高解决日常生活所遇问题的认知能力（图2.15）。该系统不仅对预防痴呆症成效显然，而且对脑损伤患者的理解力恢复富有帮助。图图2.15老年人正使用老年人正使用VR设备进行防治老年痴呆设备进行防治老年痴呆（六）虚拟现实（六）虚拟现实+视力障碍治疗视力障碍治疗，世界卫生组织发布的《视力残疾全球数据报告》28指出，全球约有2.46亿人视力低下（患病率3.65%），3900万人目盲（患病率0.58%），其中我国共有6726.4万人视力低下（患病率27.3%），824.8万人目盲（患病率来，国外多个高校及科研机构致力于推动虚拟现实医疗产业技术创新发展。美国纽约州立大学、德克萨斯大学和哈佛大学研究人员开发模拟了多个可能会导致抑郁症的场景，帮助青少年了解大脑运作模式，从而学会如何控制自己以及如何更好地改变自己行为。华盛顿大学研发了一项帮助介入放射科医生实现在微血管中安全精准的3D实时导航的新VR技术。美国杜克大学研发了基于虚拟现实的模拟和脑波控制的机器人套装，帮助8位严重脊髓损伤患者经过12个月训练计划恢复对下肢部分神经控制。德国汉堡大学开发了VOXEL-MAN 虚拟平台，建立了融合医学影像学领域优秀成果及完备的医学知识库系统的三维可视化人体模型，用以模拟解剖、外科手术、放射成像、测量距离等。加拿大多伦多大学研发了高性能计算与具有高度沉浸感的可视化技术相结合的SGIOnyx3800系统，使研究人员能够更有效地研究分子间的相互作用，运用应用软件完成计算化学所需的繁琐数字计算，进行新药物开发。加拿大34Sunnybrook医院通过虚拟现实技术帮助患者减轻术前焦虑。日本东京大学重点研发了VR可视化、开发虚拟全息系统，使用头戴式显示器可在建筑群中漫游。（二）国内高校科研进展（二）国内高校科研进展国内部分高校及科研院所也已开