医学虚拟现实与临床医疗

医学虚拟现实

@临床医疗邱鹏山东中医药大学理工学院2012年11月一、概述

二、生物医学工程研究的主要内容

三、医院中的生物医学工程——临床工程

四、医学虚拟现实2一、概述定义内涵特点3什么叫生物医学工程

生物医学工程（BiomedicalEngineering,BME）是运用自然科学和工程技术的原理和方法，研究人的生理、病理过程，揭示人体的生命现象，并从工程角度解决防病治病问题的一门综合性学科。一、概述4美国国立卫生研究院有关名词命名专家组的定义：

生物医学工程学是结合物理学、化学、数学和计算机科学与工程学原理，从事生物学、医学、行为学或卫生学的研究：①提出基本概念，产生从分子水平到器官水平的知识；②开发创新的生物学制品、材料、加工方法、植入物、器械和信息学方法；③用于疾病预防、诊断和治疗，病人康复，改善卫生状况等目的。一、概述5早期的生物医学工程也称为医学工程学(MedicalEngineering)：综合运用数理科学原理和现代工程技术研究和解决基础医学和临床医学中问题的分支学科。

临床工程学（或临床医学工程学）(ClinicalEngineering)：综合运用数理科学原理和现代工程技术的理论和方法研究、解决临床医学实际问题的分支学科。一、概述6生物医学工程是工程学与生物医学结合的产物理念上是综合与分析的结合结果上是工程技术或产品为生物医学服务一、概述7工程学（综合）生物医学工程学科的内涵工程学（综合）信息反馈市场产品生物医学（分析）医学检验装置开发理论想法8生物医学工程学科的特点生物医学工程学工程学电子学计算机科学力学材料科学机械制造学-----------生物医学生物学神经科学内科学外科学矫形科学

--------综合分析9二、生物医学工程

主要研究内容10医学道德与伦伦理解剖与生理生物力学康复工程与辅辅助技术生物材料学组织工程学生物医学仪器器生物医学传感感器生物信号处理理生物电现象生物医学工程程主要研究内内容生物系统建模模与仿真基因组学和生生物信息学计算生物学与与复杂性理论论放射成像医学成像光学和激光在在生物医学中中的应用数字化医疗设设备和技术微型诊疗系统统…………11生物材料的应应用例12模型及仿真的的实例心脏模型的计计算机仿真膝关节模型的的计算机仿真真例13电学模型计算机模型教学模型力学模型心脏例14微型诊疗系统统－－消化道检测胶胶囊美国SmartPillDiagnositics,Inc.研制的SmartpillTM智能药丸，用用于监测胃肠肠道压力和肠肠道运转时间间。美国Medtronic公司的BravoTM药丸可吸附在在食道上实时时监测PH值，已进入临临床。例15消化道微型手手术机器人韩国胶囊式内内窥镜机器人人（Endoscopicmicrocapsule），在多关节节式药丸系统统中，集成了了微型摄像头头、微型泵、、组织活检钳钳、PH值传感器等微微型设备，系系统具有主动动运动与姿态态控制功能，，可以完成局局部药物释放放、图像采集集、PH值测定、组织织活检、治疗疗等多种功能能。例16三、医院中的的生物医学工工程——临床工程17临床工程的定定义与内涵医疗仪器设备备工程医院信息工程程医疗影像信息息工程远程医疗工程程临床诊断医疗疗工程临床工程的学学科建设临床工程18临床工程学临床工程医疗仪器设备工程医院信息工程医疗影像工程远程医疗诊断医疗工程临床工程学(ClinicalEngineering)：综合运用数理理科学原理和和现代工程技技术的理论和和方法研究、、解决临床医医学实际问题题的分支学科科。19国家教委已在在2004年明确我国生生物医学工程程专业教育的的方向和目标标，从生物医医学工程与仪仪器、生物材材料与组织工工程、生物医医学信息、临临床工程四个个方向向国际际先进水平靠靠近。国家家卫卫生生部部医医院院管管理理研研究究所所和和中中华华医医学学会会医医学学工工程程学学会会也也于于2005年开开始始了了““临临床床工工程程师师资资格格认认证证””工工作作。。尽管管还还没没有有相相应应的的法法律律、、法法规规支支持持和和纳纳入入规规范范化化，，但但这这一一大大步步的的前前进进仍仍具具有有可可喜喜可可贺贺的的里里程程碑碑意意义义。。BME专业业教教育育和和人人才才培培养养20临床床诊诊断断医医疗疗工工程程临床诊断医疗工程计算机辅助外科手术放射治疗系统虚拟现实技术在医学中的应用理疗影像诊断21（一一））、、定定义义利用用数数字字影影像像、、计计算算机机及及空空间间定定位位技技术术制制定定合合理理的的手手术术方方案案并并进进行行手手术术模模拟拟。。CAS基于于计计算算机机，，对对大大量量数数据据信信息息高高速速处处理理及及控控制制更更安安全全、、更更准准确确。。它可可以以对对图图像像进进行行三三维维重重建建和和融融合合，，术术前前充充分分评评估估患患者者的的情情况况，，规规划划手手术术路路径径、、方方案案，，模模拟拟手手术术。。术术中中追追踪踪手手术术器器械械，，引引导导手手术术。。确确定定手手术术范范围围，，从从而而使使外外科科手手术术更更加加精精确确、、安安全全和和微微创创化化。。计算算机机辅辅助助外外科科手手术术(computeraidedsurgery，CAS)22医学图像CTMRIPETDSADRI外科医生结合图像立体定位系统光学定位机械定位超声定位电磁定位患者手术器械配合配准跟踪三维显示（二二））、、组组成成231、光光学学定定位位法法2、机机械械手手定定位位法法3、超超声声波波定定位位法法4、电电磁磁定定位位法法5、混混合合定定位位系系统统（三三））、、立立体体定定位位系系统统24（四四））、、配配准准用计计算算机机图图像像处处理理技技术术将将各各种种影影像像模模式式投投影影在在一一个个坐坐标标系系下下，，融融合合成成新新的的医医学学模模式式。。按按操操作作分分为为:基于于外外部部特特征征基于于内内部部特特征征25（五五））、、应应用用神经经外外科科术术血管管畸畸形形手手术术脊椎椎手手术术内镜镜手手术术关节节置置换换手手术术耳鼻鼻喉喉科科手手术术骨科科手手术术教学学26四、、医医学学虚虚拟拟现现实实计算算机机和和电电子子技技术术创创造造的的新新世世界界看似似真真实实的的模模拟拟世世界界27虚拟拟现现实实（（VirtualReality，VR）：：一一种种基基于于可可计计算算信信息息的的沉沉浸浸式式交交互互环环境境。。采用用以以计计算算机机技技术术为为核核心心的的现现代代高高科科技技生生成成逼逼真真的的视视、、听听、、触触觉觉一一体体化化的的特特定定范范围围的的虚虚拟拟环环境境，，用用户户借借助助必必要要的的设设备备以以自自然然的的方方式式与与虚虚拟拟环环境境中中的的对对象象进进行行交交互互、、相相互互影影响响，，从从而而产产生生等等同同亲亲临临真真实实环环境境的的感感受受和和体体验验。。虚拟拟现现实实28虚拟拟现现实实_范畴畴虚拟拟现现实实是是高高度度发发展展的的计计算算机机技技术术在在各各种种领领域域的的应应用用过过程程中中的的结结晶晶和和反反映映。。图形形学学图像像处处理理模式式识识别别网络络技技术术并行行处处理理人工工智智能能………数学学物理理通信信气象象地理理美学学心理理学学社会会学学………29虚拟拟现现实实_关键键技技术术实物物虚虚化化：：现实实世世界界空空间间向向多多维维信信息息化化空空间间的的一一种种映映射射，，主主要要包包括括基基本本模模型型构构建建、、空空间间跟跟踪踪、、声声音音定定位位、、视视觉觉跟跟踪踪和和视视点点感感应应等等。。虚物物实实化化：：确保保用用户户从从虚虚拟拟环环境境中中获获取取同同真真实实环环境境中中一一样样或或相相似似的的视视觉觉、、听听觉觉、、力力觉觉和和触触觉觉等等感感官官认认知知。。高性性能能计计算算处处理理技技术术：：主要要包包括括数数据据转转换换和和数数据据预预处处理理技技术术；；实实时时、、逼逼真真图图像像生生成成与与显显示示技技术术；；多多种种声声音音的的合合成成与与声声音音空空间间化化技技术术等等。。30虚拟拟现现实实_特点点沉浸浸感感(Immersive):用户户将将感感觉觉不不到到身身体体所所处处的的外外部部环环境境而而““融融合合””到到虚虚拟拟世世界界中中去去;交互互性性(Interactive):用户户可可通通过过三三维维交交互互设设备备直直接接控控制制虚虚拟拟世世界界中中的的对对象象并并获获得得反反馈馈;虚拟拟环环境境中中人人的的参参与与与与反反馈馈人机机交交互互的的有有效效性性人机机交交互互的的实实时时性性31虚拟拟现现实实_特点点多感感知知性性(Multi-Sensory):VR系统统具具有有感感知知视视、、听听、、触触、、嗅嗅、、味味等等多多种种信信息息的的能能力力;构想想性性（（Imagination）：：VR应具具有有广广阔阔的的可可想想像像空空间间，，可可拓拓宽宽人人类类认认知知范范围围，，不不仅仅可可再再现现真真实实存存在在的的环环境境，，也也可可以以随随意意构构想想客客观观不不存存在在的的甚甚至至是是不不可可能能发发生生的的环环境境。。32沉浸浸式式虚虚拟拟现现实实系系统统（（ImmersiveVR）增强强式式虚虚拟拟现现实实系系统统（（AugmentedVR）桌面面式式虚虚拟拟现现实实系系统统（（DesktopVR）分布式虚虚拟现实实系统（（DistributedVR）33虚拟现实实系统分分类沉浸式虚虚拟现实实系统是是一种高高级的、、较理想想的虚拟拟现实系系统，它它提供一一个完全全沉浸的的体验，，使用户户有一种种仿佛置置身于真真实世界界之中的的感觉。。沉浸式ＶＶＲ系统统（ImmersiveVR）34沉浸式虚虚拟现实实系统的特点具有高度度实时性性能。具有高度度的沉浸浸感。具有良好好的系统统集成度度与整合合性能。。具有良好好的开放放性。能同时支支持多种种输入与与输出设设备并行行工作。。35桌面式虚虚拟现实实系统也也称窗口口虚拟现现实，是是利用个个人计算算机或初初级图形形工作站站等设备备，以计计算机屏屏幕作为为用户观观察虚拟拟世界的的一个窗窗口，采采用立体体图形、、自然交交互等技技术，产产生三维维立体空空间的交交互场景景，通过过包括键键盘、鼠鼠标和力力矩球等等各种输输入设备备操纵虚虚拟世界界，实现现与虚拟拟世界的的交互。。桌面式ＶＶＲ系统统(DesktopVR)36桌面式虚虚拟现实实系统的特点用户处于于不完全全沉浸的的环境，，缺少完完全沉浸浸、身临临其境的的感觉，，即使戴戴上立体体眼镜，，仍然会会受到周周围现实实世界的的干扰。。对硬件设设备要求求低，有有时甚至只需需要计算算机，或或是增加加数据手手套、空空间跟踪踪设置等等。由于其实现成本相对对较低，，所以应用用相对普普遍，而且它它也具备备了沉浸浸性虚拟拟现实系系统的一一些技术术要求。。37增强式VR系统统(AugmentedVR)增强式虚虚拟现实实系统既既可以允允许用户户看到真真实世界界，同时时也可以以看到叠叠加在真真实世界界上的虚虚拟对象象，它是是把真实实环境和和虚拟环环境组合合在一起起的一种种系统。。终极目标标：用户户感觉不不到现实实世界中中的真实实物体与与用于增增强视觉觉信息的的虚拟物物体之间间的差别别38平视显示示器即抬抬头显示示器（HeadUpDisplay），战机飞行行员的平平视显示示器，它它可以将将仪表读读数和武武器瞄准准数据投投射到安安装在飞飞行员面面前的穿穿透式屏屏幕上，，可以使使飞行员员不必低低头读座座舱中仪仪表的数数据，从从而可集集中精力力盯着敌敌人的飞飞机或导导航偏差差。39增强式虚虚拟现实实系统的特点真实世界界和虚拟拟世界融融为一体体。具有实时时人机交交互功能能。真实世界界和虚拟拟世界是是在三维维空间中中整合的的。40分布式虚虚拟现实实系统（DistributedVR））虚拟现实实系统运运行在分分布式系系统下有有两方面面的原因因：充分利用用分布式式计算机机系统提提供的强强大计算算能力；；有些应用本身身具有分分布特性性，如多多人通过过网络进进行游戏戏和虚拟拟战争模模拟等。。41各用户具具有共享享的虚拟拟工作空空间。伪实体的的行为真真实感。。支持实时时交互，，共享时时钟。多个用户户可以各各自不同同的方式式相互通通信。资源信息息共享以以及允许许用户自自然操纵纵虚拟世世界中的的对象。。分布式虚虚拟现实实系统的的特点42虚拟人_数字人美国主导导和酝酿酿的几个个具有国国际影响响的研究究计划：：人类基因因组计划划(HumanGenomeProject,HGP)可视人计计划(VisibleHumanProject,VHP)虚拟人计计划(VirtualHumanProject,VHP)人类脑计计划(HumanBrainProject,HBP)等虽然有各各自的研研究目标标，但在在人体模模型、人人体信息息的数字字化研究究上有着着一定的的内在联联系。为为此，美美国科学学家联盟盟(FAS)于2001年又将上上述计划划概括为为数字人计计划(DigitalHumanProject,DHP)。医学应用用43虚拟人_数字人数字人计计划目标：实实现人体体从基因因到分子子、细胞胞、组织织、器官官、系统统和整体体的精确确模拟。。经历4个发展阶阶段“虚拟可可视人””“虚拟物物理人””“虚拟生生理人””“虚拟智智能人””44虚拟人外国虚拟拟人研究究1989年美国国国立医学学图书馆馆开始酝酝酿为““可视化人人体计划划”。科罗拉多多大学健健康科学学中心承承担数据据获取工工作，第第一套男男性(断面距离离为1.0mm)、女性(断面距离离为0.33mm)VHP数据集分分别于1994年、1995年完成并并向世界界公布。。45美国虚拟拟人1号46中国虚拟拟人研究究2001年北京174次香山科科学会议议“中国数数字化虚虚拟人体体科技问问题”启动中国国数字化化虚拟人人体的研研究。第一军医医大(南方医科科大学)中国虚拟拟人I号(男)，0.2mm；中国虚拟拟人II号(女)，0.1mm。47虚拟现实实技术在在中医领域域的应用用经络可视视化显示示的研究究虚拟针灸灸远程脉诊诊系统中医四诊诊教学系系统48经络可视视化显示示的研究究例49基于虚拟拟现实技技术的中中医针灸灸虚拟现实实技术在在中医领域域的应用用例50515253远程脉诊诊系统虚拟现实实技术在在中医领域域的应用用例54虚拟现实实技术在西医领领域的应应用药物分子子设计数字化虚虚拟人体体试验。。解决以以往必须须先通过过动物实实验、小小样本临临床验证证才能用用于临床床实验的的时间跨跨度。55新药研制制苯乙烯分分子球棍棍模型医学教育育虚拟人体体骨骼通过虚拟拟现实技技术建立立起人体体结构模模型，可可以使学学生通过过人机交交互对人人体模型型进行浏浏览，在在模型内内部“漫漫游”，，能让学学生非常常直观、、轻松学学习解剖剖结构，，发挥学学习的主主动性。。虚拟现实实技术在西医领领域的应应用56医学解剖剖57虚拟解剖剖58标本的数数字资料料完整，，提供完完整的资资源直观的为为学生创创建人体体器官的的空间结结构可重复对对标本进进行解剖剖操作，，节省大大量的资资源教学时间间和场所所可灵活活设置，，实现自自主开放放性教学学整合了大大体、断断层、局局部、系系统解剖剖学课程程，将独独立的课课程有机机的集合合起来虚拟人体体解剖的的优势59培训外科科大夫以往培训训一位合合格的外外科医生生，要在在上级医医生带领领下，长长期在病病人身上上积累手手术经验验。这种种“练手手艺”的的过程，，代价高高、风险险在、不不具备重重复性。。虚拟现实实技术在西医领领域的应应用60运用虚拟拟现实技技术可以以使医务务工作者者沉浸于于虚拟的的场景内内，体验验并学习习如何应应付各种种临床手手术的实实际情况况，通过过视、听听、触觉觉感知等等多种感感官了解解和学习习各种手手术实际际操作，，对于年年轻医生生可以经经过在计计算机上上进行多多次的手手术仿真真训练，，再上真真正的手术台，，可极大大的节约约培训医医务人员员的费用用和时间间，依据据专家的的经验创创建出的的手术专专家系统统还可以以在训练练中进行行必要的的提示和和指导。。虚拟手术术仿真训训练系统统具有低低代价、、零风险险、多重重复性、、自动指指导的优优点。虚拟患者者可随时时“原地地满血””复活。。虚拟现实实技术在西医领领域的应应用61在虚拟手手术中，，医生戴戴着数据据手套，，拿着虚虚拟手术术刀，数数据手套套上配备备位置跟跟踪定位位装置，，这样虚虚拟现实实系统便便可以精精确的跟跟踪医生生的运动动和位置置，模拟拟产生医医生和虚虚拟病人人之间的的手术操操作交互互。一些类似似手术仪仪器、而而且可以以提供力力反馈的的设备正正在研制制当中，，他们可可以提供供手术刀刀或其他他器械通通过虚拟拟肌肉时时的真实实阻力。。虚拟手术术虚拟现实实技术在西医领领域的应应用例62德国卡尔尔斯鲁厄厄大学的的虚拟腹腹腔镜手手术63腰椎穿刺刺虚拟训训练系统统64虚拟医学学手术仿仿真训练练是一种种技术难难度较大大的应用用。与其其它虚拟拟现实应应用相比比，它的的特点是是：1、虚拟拟场景复复杂，需需要产生生多层次次、多种种形态、、相联关关系复杂杂的三维维虚拟人人体组织织；2、人机机交互性性强，要要求定位位和反馈馈精确度度高。虚拟手术术虚拟现实实技术在西医领领域的应应用65技术难点点：1、仿真的的逼真性性较低，，主要原原因是不不同虚拟拟人体组组织（尤尤其是软软组织））的精确确解剖结结构和几几何模型型细节层层次的建建立以及及三维实实时显示示算法仍仍有待进进一步的的改进和和优化；；2、虚拟组组织的各各种行为为模型（（即真实实动态物物理模型型，如在在受到外外力时的的组织实实时形变变等）的的建立还还不够完完善和真真实；虚拟手术术虚拟现实实技术在西医领领域的应应用663、多通道道感觉的的缺乏，，目前研研究大多多集中于于视觉效效果的虚虚拟，对对其他感感觉通道道如听觉觉、触觉觉等力反反馈的表表现较为为缺乏，，而在医医学手术术中力的的反馈是是非常重重要的；；4、多种种不同同来源源的三三维医医学影影像数数据的的融合合和复复杂模模型的的LOD模型优优化等等技术术尚有有待发发展；；由于于人体体数据据的复复杂程程度高高、量量大，，采用用现有有数据据组合合生成成最终终虚拟拟手术术使用用的人人体模模型数数据集集的建建模方方法还还有待待研究究；5、由于于西方方人种种与黄黄色人人种在在生理理结构构上有有一定定的差差异，，国外外人体体模型型和研研究产产品并并不能能完全全适应应我国国的需需要。。虚拟手手术虚拟现现实技技术在西医医领域域的应应用67虚拟医医学手手术仿仿真训训练的的技术术实现现主要要分为为以下下三个个部分分：1、医学学图像像的三三维重重建2、虚拟拟人体体组织织器官官的物物理建建模3、虚拟拟手术术器械械与虚虚拟人人体的的碰撞撞检测测和力力反馈馈虚拟手手术虚拟现现实技技术在西医医领域域的应应用68虚拟手手术：：逐步形形成之之中相关研研究方方向主主要有有：医学可可视化化（MedicalVisualization）医学增增强现现实（MedicalaugmentedReality）医用机机器人人，手手术模模拟（（SurgerySimulation）图象引引导手手术（ImageGuidedSurgery）计算机机辅助助手术术（ComputerAidedSurgery，ComputerAssistedSurgery）等69虚拟手手术优优点：：手术方方案能能够利利用图图像数数据，，帮助助医生生合理理、定定量地地制定定手术术方案案，对对于选选择最最佳手手术路路径、、减小小手术术损伤伤、减减少对对临近近组织织损害害、提提高肿肿瘤定定位精精度、、执行行复杂杂外科科手术术和提提高手手术成成功率率等具具有十十分重重要的的意义义。手术教教学训训练80%的手术术失误误是人人为因因素引引起的的，所所以手手术训训练极极其重重要。。70虚拟手手术其其他优优势：：保护医生降低手手术费费用改善病病人的的预后后建造定定制的的修复复拟合合模型型远程干干预71远程外外科手手术是是技术术在医医学上上的一一个重重要应应用,其最初初目的的是能能够让让医师师在一一个地地球基基站中中对太太空中中的某某个宇宇航员员进行行手术术。斯斯坦福福国际际研究究院已已研制制了一一套远远程手手术实实验系系统。。内布拉拉斯加加州大大学研研究人人员研研制出出的一一种机机器人人机器人人装着着轮子子，高高为7.5厘米。。手术术师通通过电电脑控控制它它们就就可以以在异异地实实施手手术。。机器人人装有有摄像像头和和照明明灯可可以将将手术术的画画面传传送给给手术术师。