医学虚拟现实与临床医疗

医学虚拟现实

@临床医疗邱鹏山东中医药大学理工学院2012年11月本文档共78页；当前第1页；编辑于星期三\2点44分一、概述

二、生物医学工程研究的主要内容

三、医院中的生物医学工程——临床工程

四、医学虚拟现实2本文档共78页；当前第2页；编辑于星期三\2点44分一、概述定义内涵特点3本文档共78页；当前第3页；编辑于星期三\2点44分什么叫生物医学工程

生物医学工程（BiomedicalEngineering,BME）是运用自然科学和工程技术的原理和方法，研究人的生理、病理过程，揭示人体的生命现象，并从工程角度解决防病治病问题的一门综合性学科。一、概述4本文档共78页；当前第4页；编辑于星期三\2点44分美国国立卫生研究院有关名词命名专家组的定义：

生物医学工程学是结合物理学、化学、数学和计算机科学与工程学原理，从事生物学、医学、行为学或卫生学的研究：①提出基本概念，产生从分子水平到器官水平的知识；②开发创新的生物学制品、材料、加工方法、植入物、器械和信息学方法；③用于疾病预防、诊断和治疗，病人康复，改善卫生状况等目的。一、概述5本文档共78页；当前第5页；编辑于星期三\2点44分早期的生物医学工程也称为医学工程学(MedicalEngineering)：综合运用数理科学原理和现代工程技术研究和解决基础医学和临床医学中问题的分支学科。

临床工程学（或临床医学工程学）(ClinicalEngineering)：综合运用数理科学原理和现代工程技术的理论和方法研究、解决临床医学实际问题的分支学科。一、概述6本文档共78页；当前第6页；编辑于星期三\2点44分生物医学工程是工程学与生物医学结合的产物理念上是综合与分析的结合结果上是工程技术或产品为生物医学服务一、概述7本文档共78页；当前第7页；编辑于星期三\2点44分工程学（综合）生物医学工程学科的内涵工程学（综合）信息反馈市场产品生物医学（分析）医学检验装置开发理论想法8本文档共78页；当前第8页；编辑于星期三\2点44分生物医学工程学科的特点生物医学工程学工程学电子学计算机科学力学材料科学机械制造学-----------生物医学生物学神经科学内科学外科学矫形科学

--------综合分析9本文档共78页；当前第9页；编辑于星期三\2点44分二、生物医学工程

主要研究内容10本文档共78页；当前第10页；编辑于星期三\2点44分医学道德与伦理解剖与生理生物力学康复工程与辅助技术生物材料学组织工程学生物医学仪器生物医学传感器生物信号处理生物电现象生物医学工程主要研究内容生物系统建模与仿真基因组学和生物信息学计算生物学与复杂性理论放射成像医学成像光学和激光在生物医学中的应用数字化医疗设备和技术微型诊疗系统…………11本文档共78页；当前第11页；编辑于星期三\2点44分生物材料的应用例12本文档共78页；当前第12页；编辑于星期三\2点44分模型及仿真的实例心脏模型的计算机仿真膝关节模型的计算机仿真例13本文档共78页；当前第13页；编辑于星期三\2点44分电学模型计算机模型教学模型力学模型心脏例14本文档共78页；当前第14页；编辑于星期三\2点44分微型诊疗系统

－－消化道检测胶囊美国SmartPillDiagnositics,Inc.研制的SmartpillTM

智能药丸，用于监测胃肠道压力和肠道运转时间。美国Medtronic公司的BravoTM药丸可吸附在食道上实时监测PH值，已进入临床。例15本文档共78页；当前第15页；编辑于星期三\2点44分消化道微型手术机器人韩国胶囊式内窥镜机器人（Endoscopicmicrocapsule），在多关节式药丸系统中，集成了微型摄像头、微型泵、组织活检钳、PH值传感器等微型设备，系统具有主动运动与姿态控制功能，可以完成局部药物释放、图像采集、PH值测定、组织活检、治疗等多种功能。例16本文档共78页；当前第16页；编辑于星期三\2点44分三、医院中的生物医学工程

——临床工程17本文档共78页；当前第17页；编辑于星期三\2点44分临床工程的定义与内涵医疗仪器设备工程医院信息工程医疗影像信息工程远程医疗工程临床诊断医疗工程临床工程的学科建设临床工程18本文档共78页；当前第18页；编辑于星期三\2点44分临床工程学临床工程学

(ClinicalEngineering)：

综合运用数理科学原理和现代工程技术的理论和方法研究、解决临床医学实际问题的分支学科。19本文档共78页；当前第19页；编辑于星期三\2点44分国家教委已在2004年明确我国生物医学工程专业教育的方向和目标，从生物医学工程与仪器、生物材料与组织工程、生物医学信息、临床工程四个方向向国际先进水平靠近。国家卫生部医院管理研究所和中华医学会医学工程学会也于2005年开始了“临床工程师资格认证”工作。尽管还没有相应的法律、法规支持和纳入规范化，但这一大步的前进仍具有可喜可贺的里程碑意义。BME专业教育和人才培养20本文档共78页；当前第20页；编辑于星期三\2点44分临床诊断医疗工程21本文档共78页；当前第21页；编辑于星期三\2点44分（一）、定义利用数字影像、计算机及空间定位技术制定合理的手术方案并进行手术模拟。CAS基于计算机，对大量数据信息高速处理及控制更安全、更准确。它可以对图像进行三维重建和融合，术前充分评估患者的情况，规划手术路径、方案，模拟手术。术中追踪手术器械，引导手术。确定手术范围，从而使外科手术更加精确、安全和微创化。

计算机辅助外科手术

(computeraidedsurgery，CAS)22本文档共78页；当前第22页；编辑于星期三\2点44分医学图像CTMRIPETDSADRI外科医生结合图像立体定位系统光学定位机械定位超声定位电磁定位患者手术器械配合配准跟踪三维显示（二）、组成23本文档共78页；当前第23页；编辑于星期三\2点44分1、光学定位法2、机械手定位法3、超声波定位法4、电磁定位法5、混合定位系统（三）、立体定位系统24本文档共78页；当前第24页；编辑于星期三\2点44分（四）、配准用计算机图像处理技术将各种影像模式投影在一个坐标系下，融合成新的医学模式。按操作分为:基于外部特征基于内部特征25本文档共78页；当前第25页；编辑于星期三\2点44分（五）、应用神经外科术血管畸形手术脊椎手术内镜手术关节置换手术耳鼻喉科手术骨科手术教学26本文档共78页；当前第26页；编辑于星期三\2点44分四、医学虚拟现实计算机和电子技术创造的新世界看似真实的模拟世界27本文档共78页；当前第27页；编辑于星期三\2点44分虚拟现实（VirtualReality，VR）：一种基于可计算信息的沉浸式交互环境。采用以计算机技术为核心的现代高科技生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互、相互影响，从而产生等同亲临真实环境的感受和体验。虚拟现实28本文档共78页；当前第28页；编辑于星期三\2点44分虚拟现实_范畴虚拟现实是高度发展的计算机技术在各种领域的应用过程中的结晶和反映。图形学图像处理模式识别网络技术并行处理人工智能……数学物理通信气象地理美学心理学社会学……29本文档共78页；当前第29页；编辑于星期三\2点44分虚拟现实_关键技术实物虚化：现实世界空间向多维信息化空间的一种映射，主要包括基本模型构建、空间跟踪、声音定位、视觉跟踪和视点感应等。虚物实化：确保用户从虚拟环境中获取同真实环境中一样或相似的视觉、听觉、力觉和触觉等感官认知。高性能计算处理技术：主要包括数据转换和数据预处理技术；实时、逼真图像生成与显示技术；多种声音的合成与声音空间化技术等。30本文档共78页；当前第30页；编辑于星期三\2点44分虚拟现实_特点沉浸感(Immersive):用户将感觉不到身体所处的外部环境而“融合”到虚拟世界中去;交互性(Interactive):用户可通过三维交互设备直接控制虚拟世界中的对象并获得反馈;虚拟环境中人的参与与反馈人机交互的有效性人机交互的实时性31本文档共78页；当前第31页；编辑于星期三\2点44分虚拟现实_特点多感知性(Multi-Sensory):VR系统具有感知视、听、触、嗅、味等多种信息的能力;构想性（Imagination）：VR应具有广阔的可想像空间，可拓宽人类认知范围，不仅可再现真实存在的环境，也可以随意构想客观不存在的甚至是不可能发生的环境。32本文档共78页；当前第32页；编辑于星期三\2点44分沉浸式虚拟现实系统（ImmersiveVR）增强式虚拟现实系统（AugmentedVR）桌面式虚拟现实系统（DesktopVR）分布式虚拟现实系统（DistributedVR）虚拟现实系统分类33本文档共78页；当前第33页；编辑于星期三\2点44分沉浸式虚拟现实系统是一种高级的、较理想的虚拟现实系统，它提供一个完全沉浸的体验，使用户有一种仿佛置身于真实世界之中的感觉。沉浸式ＶＲ系统

（ImmersiveVR）34本文档共78页；当前第34页；编辑于星期三\2点44分沉浸式虚拟现实系统的特点具有高度实时性能。具有高度的沉浸感。具有良好的系统集成度与整合性能。具有良好的开放性。能同时支持多种输入与输出设备并行工作。

35本文档共78页；当前第35页；编辑于星期三\2点44分桌面式虚拟现实系统也称窗口虚拟现实，是利用个人计算机或初级图形工作站等设备，以计算机屏幕作为用户观察虚拟世界的一个窗口，采用立体图形、自然交互等技术，产生三维立体空间的交互场景，通过包括键盘、鼠标和力矩球等各种输入设备操纵虚拟世界，实现与虚拟世界的交互。桌面式ＶＲ系统(DesktopVR)36本文档共78页；当前第36页；编辑于星期三\2点44分桌面式虚拟现实系统的特点用户处于不完全沉浸的环境，缺少完全沉浸、身临其境的感觉，即使戴上立体眼镜，仍然会受到周围现实世界的干扰。对硬件设备要求低，有时甚至只需要计算机，或是增加数据手套、空间跟踪设置等。由于其实现成本相对较低，所以应用相对普遍，而且它也具备了沉浸性虚拟现实系统的一些技术要求。37本文档共78页；当前第37页；编辑于星期三\2点44分增强式VR系统(AugmentedVR)增强式虚拟现实系统既可以允许用户看到真实世界，同时也可以看到叠加在真实世界上的虚拟对象，它是把真实环境和虚拟环境组合在一起的一种系统。终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别38本文档共78页；当前第38页；编辑于星期三\2点44分平视显示器即抬头显示器（HeadUpDisplay），战机飞行员的平视显示器，它可以将仪表读数和武器瞄准数据投射到安装在飞行员面前的穿透式屏幕上，可以使飞行员不必低头读座舱中仪表的数据，从而可集中精力盯着敌人的飞机或导航偏差。39本文档共78页；当前第39页；编辑于星期三\2点44分增强式虚拟现实系统的特点真实世界和虚拟世界融为一体。具有实时人机交互功能。真实世界和虚拟世界是在三维空间中整合的。40本文档共78页；当前第40页；编辑于星期三\2点44分分布式虚拟现实系统

（DistributedVR） 虚拟现实系统运行在分布式系统下有两方面的原因：充分利用分布式计算机系统提供的强大计算能力；有些应用本身具有分布特性，如多人通过网络进行游戏和虚拟战争模拟等。

41本文档共78页；当前第41页；编辑于星期三\2点44分各用户具有共享的虚拟工作空间。伪实体的行为真实感。支持实时交互，共享时钟。多个用户可以各自不同的方式相互通信。资源信息共享以及允许用户自然操纵虚拟世界中的对象。分布式虚拟现实系统的特点42本文档共78页；当前第42页；编辑于星期三\2点44分虚拟人_数字人美国主导和酝酿的几个具有国际影响的研究计划：人类基因组计划(HumanGenomeProject,HGP)可视人计划(VisibleHumanProject,VHP)虚拟人计划(VirtualHumanProject,VHP)人类脑计划(HumanBrainProject,HBP)等虽然有各自的研究目标，但在人体模型、人体信息的数字化研究上有着一定的内在联系。为此，美国科学家联盟(FAS)于2001年又将上述计划概括为数字人计划(DigitalHumanProject,DHP)。医学应用43本文档共78页；当前第43页；编辑于星期三\2点44分虚拟人_数字人数字人计划目标：实现人体从基因到分子、细胞、组织、器官、系统和整体的精确模拟。经历4个发展阶段“虚拟可视人”“虚拟物理人”“虚拟生理人”“虚拟智能人”44本文档共78页；当前第44页；编辑于星期三\2点44分虚拟人外国虚拟人研究1989年美国国立医学图书馆开始酝酿为“可视化人体计划”。科罗拉多大学健康科学中心承担数据获取工作，第一套男性(断面距离为1.0mm)、女性(断面距离为0.33mm)VHP数据集分别于1994年、1995年完成并向世界公布。45本文档共78页；当前第45页；编辑于星期三\2点44分美国虚拟人1号46本文档共78页；当前第46页；编辑于星期三\2点44分中国虚拟人研究2001年北京174次香山科学会议“中国数字化虚拟人体科技问题”启动中国数字化虚拟人体的研究。第一军医大(南方医科大学)中国虚拟人I号(男)，0.2mm；中国虚拟人II号(女)，0.1mm。47本文档共78页；当前第47页；编辑于星期三\2点44分虚拟现实技术在

中医领域的应用经络可视化显示的研究虚拟针灸远程脉诊系统中医四诊教学系统48本文档共78页；当前第48页；编辑于星期三\2点44分经络可视化显示的研究例49本文档共78页；当前第49页；编辑于星期三\2点44分基于虚拟现实技术的中医针灸虚拟现实技术在

中医领域的应用例50本文档共78页；当前第50页；编辑于星期三\2点44分51本文档共78页；当前第51页；编辑于星期三\2点44分52本文档共78页；当前第52页；编辑于星期三\2点44分53本文档共78页；当前第53页；编辑于星期三\2点44分远程脉诊系统虚拟现实技术在

中医领域的应用例54本文档共78页；当前第54页；编辑于星期三\2点44分虚拟现实技术

在西医领域的应用药物分子设计数字化虚拟人体试验。解决以往必须先通过动物实验、小样本临床验证才能用于临床实验的时间跨度。新药研制苯乙烯分子球棍模型55本文档共78页；当前第55页；编辑于星期三\2点44分医学教育虚拟人体骨骼通过虚拟现实技术建立起人体结构模型，可以使学生通过人机交互对人体模型进行浏览，在模型内部“漫游”，能让学生非常直观、轻松学习解剖结构，发挥学习的主动性。虚拟现实技术

在西医领域的应用56本文档共78页；当前第56页；编辑于星期三\2点44分医学解剖57本文档共78页；当前第57页；编辑于星期三\2点44分虚拟解剖58本文档共78页；当前第58页；编辑于星期三\2点44分标本的数字资料完整，提供完整的资源直观的为学生创建人体器官的空间结构可重复对标本进行解剖操作，节省大量的资源教学时间和场所可灵活设置，实现自主开放性教学整合了大体、断层、局部、系统解剖学课程，将独立的课程有机的集合起来虚拟人体解剖的优势59本文档共78页；当前第59页；编辑于星期三\2点44分培训外科大夫以往培训一位合格的外科医生，要在上级医生带领下，长期在病人身上积累手术经验。这种“练手艺”的过程，代价高、风险在、不具备重复性。虚拟现实技术

在西医领域的应用60本文档共78页；当前第60页；编辑于星期三\2点44分运用虚拟现实技术可以使医务工作者沉浸于虚拟的场景内，体验并学习如何应付各种临床手术的实际情况，通过视、听、触觉感知等多种感官了解和学习各种手术实际操作，对于年轻医生可以经过在计算机上进行多次的手术仿真训练，再上真正的手术台，可极大的节约培训医务人员的费用和时间，依据专家的经验创建出的手术专家系统还可以在训练中进行必要的提示和指导。虚拟手术仿真训练系统具有低代价、零风险、多重复性、自动指导的优点。虚拟患者可随时“原地满血”复活。虚拟现实技术

在西医领域的应用61本文档共78页；当前第61页；编辑于星期三\2点44分在虚拟手术中，医生戴着数据手套，拿着虚拟手术刀，数据手套上配备位置跟踪定位装置，这样虚拟现实系统便可以精确的跟踪医生的运动和位置，模拟产生医生和虚拟病人之间的手术操作交互。一些类似手术仪器、而且可以提供力反馈的设备正在研制当中，他们可以提供手术刀或其他器械通过虚拟肌肉时的真实阻力。虚拟手术虚拟现实技术

在西医领域的应用例62本文档共78页；当前第62页；编辑于星期三\2点44分德国卡尔斯鲁厄大学的虚拟腹腔镜手术63本文档共78页；当前第63页；编辑于星期三\2点44分腰椎穿刺虚拟训练系统64本文档共78页；当前第64页；编辑于星期三\2点44分虚拟医学手术仿真训练是一种技术难度较大的应用。与其它虚拟现实应用相比，它的特点是：1、虚拟场景复杂，需要产生多层次、多种形态、相联关系复杂的三维虚拟人体组织；2、人机交互性强，要求定位和反馈精确度高。虚拟手术虚拟现实技术

在西医领域的应用65本文档共78页；当前第65页；编辑于星期三\2点44分技术难点：

1、仿真的逼真性较低，主要原因是不同虚拟人体组织（尤其是软组织）的精确解剖结构和几何模型细节层次的建立以及三维实时显示算法仍有待进一步的改进和优化；

2、虚拟组织的各种行为模型（即真实动态物理模型，如在受到外力时的组织实时形变等）的建立还不够完善和真实；虚拟手术虚拟现实技术

在西医领域的应用66本文档共78页；当前第66页；编辑于星期三\2点44分3、多通道感觉的缺乏，目前研究大多集中于视觉效果的虚拟，对其他感觉通道如听觉、触觉等力反馈的表现较为缺乏，而在医学手术中力的反馈是非常重要的；4、多种不同来源的三维医学影像数据的融合和复杂模型的LOD模型优化等技术尚有待发展；由于人体数据的复杂程度高、量大，采用现有数据组合生成最终虚拟手术使用的人体模型数据集的建模方法还有待研究；5、由于西方人种与黄色人种在生理结构上有一定的差异，国外人体模型和研究产品并不能完全适应我国的需要。虚拟手术虚拟现实技术

在西医领域的应用67本文档共78页；当前第67页；编辑于星期三\2点44分虚拟医学手术仿真训练的技术实现主要分为以下三个部分：1、医学图像的三维重建2、虚拟人体组织器官的物理建模3、虚拟手术器械与虚拟人体的碰撞检测和力反馈虚拟手术虚拟现实技术

在西医领域的应用68本文档共78页；当前第68页；编辑于星期三\2点44分

虚拟手术：逐步形成之中相关研究方向主要有：医学可视化（MedicalVisualization）医学增强现实（MedicalaugmentedReality）医用机器人，手术模拟（SurgerySimulation）图象引导手术（ImageGuidedSurgery）计算机辅助手术（ComputerAidedSurgery，ComputerAssistedSurgery）等69本文档共78页；当前第69页；编辑于星期三\2点44分虚拟手术优点：手术方案能够利用图像数据，帮助医生合理、定量地制定手术方案，对于选择最佳手术路径、减小手术损伤、减少对临近组织损害、提高肿瘤定位精度、执行复杂外科手术和提高手术成功率等具有十分重要的意义。手术教学训练80%的手术失误是人为因素引起的，所以手术训练极其重要。70本文档共78页；当前第70页；编辑于星期三\2点44分虚拟手术其他优势：保护医生降低手术费用改善病人的预后建造定制的修复拟合模型远程干预71本文档共78页；当前第71页；编辑于星期三\2点44分远程外科手术是技术在医学上的一个重要应用,其最初目的是能够让医师在一个地球基站中对太空