（生物医学工程专业论文）虚拟组织切割方法研究.pdf

望了今后的研究方向。 虚拟组织切割系统应具备的一个最根本的特征是真实感和可交互性。而为系 统用户提供临场真实感和沉浸感，除了视觉方面的逼真显示外，一个更需具备的 要求是系统必须为用户提供足够的触觉反馈信息，以使得系统用户具有身临其境 的感受，为虚拟组织切割系统提供必要的力反馈装置是实现这一要求的一个可行 的解决方案。虚拟组织切割系统一旦具备了力反馈装置，可以使得用户在运用系 统进行虚拟的切割操作时其双手的动作与计算机屏幕上显示的虚拟场景所产生 的模型变化相协调，从而可使用户产生身临其境的感觉，也使得系统在提供医学 培训方面给系统用户带来更好的训练效果。从这个意义上讲，虚拟组织切割的方 法研究和实现方式方面还有很多工作要做。 关键词虚拟现实虚拟组织切割静态剖切组织切割模拟有限元方法 几何建模物理建模计算建模碰撞检测 a b s t r a c t t h e c o m p u t e rt e c h n o l o g y - b a s e dv i r t u a lt i s s u ec u t t i n gs i m u l a t i o ns y s t e mm a i n l y a p p l i e st om e d i c a le d u c a t i o n ，s u r g e r yt r a i n i n g ，s u r g e r yp l a n n i n ga n di n t r a - o p e r a t i v e i s sjs t a n t s u p p o r t i n t h e a p p l i c a t i o n f o rm e d i c a le d u c a t i o na n d s u r g e r yt r a i n i n g ， s u l t g e l y s i m u l a t i o nc a l la v o i dt h eh i g hc o s tr e s u l t e df r o mt h e a d o p t i o no fh u m a n c o q ) s es a m p l e ，m o r e o v e r , i tc a nb eu s e df o ru n l i m i t e dt i m e sw h i c hh u m a nc o r p s e s a i n p l e i si n c o m p a r a b l ew i t h i nt h ea p p l i c a t i o nf o rs u r g e r y p l a n n i n g ，s u r g e r yp l a n n i n g c a nr e h e a r s es o m ed i f f i c u l ts u r g i c a lp r o c e d u r e so rm a k es u r g i c a lp l a n n i n ga i m e da t p a t i e n t s p e c i f c a n a t o m i c a ls t r u c t u r eb e f o r e h a n dt oe n h a n c et h ec o m m u n i c a t i o n b e t w e e nt h es u r g e o na n dt h ep a t i e n t i nt h ea p p l i c a t i o nf o ri n t r a - o p e r a t i v ea s s i s t a n t s u p p o r t ，t h es u r g e r ys i m u l a t i o ns y s t e mc a ne n l a r g et h es u r g e o n ss c o p eo f v i e ww i t h t h ea i do ft h eq u i c k l ym o d e l i n gf u n c t i o no fc o m p u t e rt o g e tm o r ec o m p r e h e n s i v e g l a s p a b o u tt h ep a t i e n t sa n a t o m i c a ls t r u c t u r e m e d i c a lv i r t u a lr e a l i t yt e c h n o l o g yi n c o r n b i n a t i o nw i t hm o d e mm e d i c i n e t e c h n o l o g yp r o v i d e sb r o a dr o o m o f d e v e l o p m e n t f o rt h ea d v a n c e m e n to fh i - t e c hm e d i c i n et e c h n o l o g y , m e a n t i m e ，i ta l s om a k e st h e d e v e l o p m e n to f v i r t u a lr e a l i t yt e c h n o l o g yg e tan e w l e a p t h e r e f o r e ，t h er e s e a r c ha n d c le ，e lo p m e n tf o rm e d i c a lv i r t u a l r e a l i t ys y s t e mi n c r e a s i n g l y h a s h u g ep r a c t i c a l s ig n i f i c a n c ef o re c o n o m ya n d s o c i e t y m e d i c a lv i r t u a l r e a l i t yt e c h n o l o g yi s ar e s e a r c ht h e m eh a v i n gb e g u nf o ro n l y a b o u tm o r et h a no n ed e c a d ea n db e i n ga t t a i n i n gs o m e p h a s e so f r e s e a r c hf r u i t si nt h e w o r l d ，a n dw h o s ep r o s p e c t so fa p p l i c a t i o na r ev e r yb r o a d t h i st h e s i si sac o n c l u s i o n a b o u ts o n l ev i e w p o i n t s p r o p o s e db y t h ea u t h o r a i m i n g a tt h e s p e c i f i cr e a l i z i n gm e t h o d a lldr e s e a r c hw o r kf o rv i r t u a lt i s s u e c u t t i n gb a s e do nt h eh u g ea m o u n to f r e s e a r c h p a p e r s a th o m ea n da b r o a dr e f e r r e db yt h ea u t h o r t h ef i r s t c h a p t e ro ft h i s t h e s i s 1 t l a i n l y i n t r o d u c e st h es i g n i f i c a n c ef o rm e d i c a l p r a c t i c ea c t i v i t i e sw i t h t h ec o m b i n a t i o n o fv i l t u a lr e a l i t yt e c h n o l o g ya n dm o d e mm e d i c i n e t e c h n o l o g y , a n d t h er e s e a r c hs t a t u s nm e d i c a lv i r t u a l r e a l i t ys y s t e m a th o m ea n da b r o a d ；c h a p t e rt w od i s c u s s e st h e s t a t i c a l l yc u t t i n gd i s p l a y m e t h o df o rm e d i c a lv o l u m e t r i cd a d as e ti nv i r t u a lt i s s u e c u t t i n gs y s t e m r e a l i z e st h e2 一da n d3 - ds t a t i c a l l yc u t t i n gd i s p l a yf o rm e d i c a li m a g e s p a t i a lv o l u m e t r i cd a t as e t ；c h a p t e rt h r e em a i n l yd i s c u s s e st h eg e o m e t r i c a lm o d e l i n g m e t l a o df o rt h et i s s u eo ro r g a ni nv i r t u a lt i s s u e c u t t i n gs y s t e m ，p r o p o s e sav a r i a b l e s t e p b a s e d c o n t o u r s a m p l i n g m e t h o df o rt h ec o n s t r u c t i o no fg e o m e t r i c a ls u r f a c e m o d e lo ft h et i s s u em a d o r g a n ；c h a p t e rf o u rm a i n l y r e s e a r c h e st h e p h y s i c a lm o d e l i n g me t h o df o rt h et i s s u ea n do r g a ni nv i r t u a lt i s s u e c u t t i n gs y s t e m ，c o n c l u d e s t h e p h y s i c a lm o d e l su s e di n c u r r e n tv i r t u a lt i s s u ec u t t i n g s y s t e m sa n dt h e i ra d v a n t a g e s a n dd i s a d v a n t a g e s ；c h a p t e rf i v ed e a l sw i t ht h ec o m p u t a t i o n a l m o d e l i n g i s s u e sf o rt h e t i s s u eo ro r g a ni nv i r t u a lt i s s u ec u t t i n gs y s t e m ，m a i n l yd i s c u s s e st h ea p p l i c a t i o na n d r e a liz i n gm e t h o du s i n gt h ef i n i t ee l e m e n tm e t h o di nt h ec o m p u t a t i o n a lm o d e l i n gf o r t h et js s u eo ro r g a n ；c h a p t e rs i xr e s e a r c h e st h es i m u l a t i o n c u t t i n gi s s u e sf o r t h ev i r t u a l t is s u eo ro r g a n ，m a i n l yd i s c u s s e st h ea p p l i c a t i o no fc o l l i s i o nd e t e c t i o nt e c h n o l o g yi n t l l ev i r t u a lt i s s u eo ro r g a nc u t t i n gs i m u l a t i o n ；c h a p t e rs e v e ns u m m a r i z e sat e n t a t i v e s y s t e m f o rv i r t u a lt i s s u e c u t t i n gd e v e l o p e db y t h e a u t h o r ；c h a p t e re i g h t i sa c o n c l u s i o nf o rt h ew h o l et h e s i sa n dt h e p r o s p e c t o fr e s e a r c ho r i e n t a t i o ni nt h ef u t u r e o n eb a s i cc h a r a c t e r i s t i ct h a ta n yv i r t u a lt i s s u ec u t t i n gs y s t e ms h o u l dp o s s e s si s i t sr e a l i s ma n di n t e r a c t i v i t y p r o v i d i n gt h es y s t e mu s e rw i t hr e a l i s ma n di m m e r s i o n e xc e p tf o r t h en e e do ft h ev i v i d d i s p l a y i nv i s i o n ，o n e r e q u i r e m e n t t h a tav i r t u a lt i s s u e c u t t i r l gs y s t e m s h o u l dm o r e p o s s e s si st op r o v i d ee n o u g h t a c t i l ef e e d b a c ki n f o r m a t i o n f o rt h eu s e rt om a k eh i mh a v et h ef e e lo f b e i n g i nt h ev i r t u a ls c e n e ，t h ef o r c ef e e d b a c k d e ，ic ei sas o l u t i o nf o rt h i se n d o n c et h es y s t e mh a st h ef o r c ef e e d b a c k d e v i c e ，i tc a n n 1a k et h eu s e rh a v et h ef e e lo fc u t t i n gt i s s u eo r o r g a nw i t h h i st w oh a n d sa n d c o o r d i n a t ew i t ht h ev i r t u a ls c e n er e n d e r e do nt h ed i s p l a yo ft h ec o m p u t e r , t h u sm a k e s t h eu s e rh a v et h ef e e lo fr e a l i s ma n da l s om a k e st h es y s t e m p r o v i d ea b e t t e rt r a i n i n g 1 e s u i tf o rt h eu s e ri nm e d i c a lt r a i n i n g i nt h i ss e n s e ，t h e r er e m a i n sm u c hw o r kt ob e d o n ei nt h em e t h o dr e s e a r c ha n dt h er e a l i z i n gm o d ef o rt h ev i r t u a lt i s s u e c u t t i n g s v s t e m 瓜i ，o r d s ：v i r t u a lr e a l i t y , v i r t u a l t i s s u e c u t t i n g ，s t a t i c a l l yc u t t i n g ，t i s s u ec u t t i n g s i m u l a t i o n ，f i n i t e e l e m e n t m e t h o d ，g e o m e t r i c a l m o d e l i n g ，p h y s i c a l m o d e l i n g ，c o m p u t a t i o n a lm o d e l i n g ，c o l l i s i o n d e t e c t i o n 东南大学学位论文 独创性声明及使用授权的说明 j 、学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同i ：作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名日期：丛也，印 2 、关下学位论文使用授权的说明 尔南火学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 什利电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 川i 登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 签名：蛆导师签名 嗲i 爻 日期：f 2 以触，川 第一章绪论 第章绪论 课题背景和研究意义 水文研究的重点为对虚拟组织切割方法的探讨。严格地讲，虚拟组织切割方 法应浚是虚拟外科手术研究的关键技术之一，而虚拟外科手术技术又是与虚拟现 实( v i 】t u a lr e a l i t y ) 技术的研究相辅相成、密不可分的。虚拟现实技术的起源最早 毖追溯到计算机图形学之父i v a ns u t h e r l a n d 于1 9 6 5 年在1 f i p 会议上所作的题为 一r h e u l t i m a t e d i s p l a y ”的报告。在该报告当中，i v a ns u t h e r l a n d 提出了一个富有 挑l l f 划生的计算机【驾形学的研究课题。他指出，人们可以把计算机的显示屏当成一 个窗口来观察一个虚拟的世界。其技术挑战性在于窗口中的图像必须看起来真 9 ：，i 听起来真实，而且其中物体的行为也要真实。这一重要思想奠定了虚拟现实 j , & t i j f 究的基础。1 9 6 8 年，i v a ns u t h e f l a n d 又发表了题为“ah e a d m o u n t e d3 d d i s p l a y ”的论文，对头盔式三维显示装置的设计要求、构造原理进行了深入的讨 沦。，i v a l ls u t h e r l a n d 还给出了这种头盔式显示装置的设计原型，成为三维立体显 永披术只有里程碑意义的技术研究成果1 4 7 1 。 虚拟现实技术研究的进展从2 0 世纪6 0 年代到2 0 世纪8 0 年代中期是非常缓慢 j i j ，i i 到2 0 世纪8 0 年代后期，伴随着计算机技术的进步，虚拟现实技术才得到了 快述的发展，同时也因为显示技术已经能够满足视觉耦合系统的性能要求，液晶 挺可i 技术的发展使得生产廉价的头盔式显示器成为可能。虚拟现实技术是多种技 术n q 综合，其关键技术和主要研究内容包括环境建模技术、触觉反馈技术、交互 技术和系统集成技术等几个方面。虚拟现实系统是一种可以创建和体验虚拟世界 的汁算机系统，其基本特征主要包括： ( 1 ) 沉浸感( i m m e r s i o n ) ：是指用户作为主角存在于虚拟环境中的真实感程度。理 恕的虚拟环境应该达到使用户难以分辨真假的程度，甚至超越真实，如实现 比现实更逼真的照明和音响效果等。 ( 23 史瓦i - ( i n t e r a c t i o n ) ：是指用户对虚拟环境内物体的可操作程度和从环境中得 列反馈的自然程度( 包括实时性) 。例如，用户可以用手直接抓取虚拟环境中 晌物体，这时手有触摸感觉，并可以感觉到物体的重量，场景中被抓取的物 东南大学博士学位论艾 体也应浚立即随着手的移动而移动。 ( 3 ) 想像；j ( i m a g i n a t i o n ) ：是指用户沉浸在多维的信息空间中，依靠自己的感知 和认知能力全方位地获取知识，发挥主观能动性，寻求锯答，形成新的概念。 j 靛拟现实是一门直接来自于应用的涉及众多相关学科的新型的实用技术，是 集先进的计算机技术、传感器与测控技术、仿真技术、微电子技术等为一体的综 俐，i - 的集成技术。在训算机技术中，虚拟现实技术的发展又特别依赖于人工智能、 蚓形学、网络、面向对象、c l i e n w s e r v e r 、人机交互和高性能计算机技术等。虚 拟现。史是当前的一个热i g 研究课题，它在飞行训练、战斗模拟、计算机游戏等许 j ；领域具有十分广阔的应用前景。将虚拟现实技术和现代医学技术相结合则是现 代先进手术方式的一个新的、重要的研究和发展方向。 搪于计算机的外科手术模拟主要应用于医学教育、手术培训、外科手术规划 以连术l p 辅助支持等。在医学教育和手术培训应用中，手术模拟能够避免因需要 j 作样本而附带的高成本，而且采用手术模拟的个比较明显的优点是可以无限 次f 赴用这类系统，这一点尸体样本是无法比拟的。在外科手术规划的应用中，手 术模拟系统能够事先预演比较困难的手术过程，或者针对特定病人的解剖结构预 儿逊行手术规划，以增强医务人员和病人之间的淘通。在术中支持应用中，手术 模拟秦统能够借助于计算机快速建模的能力扩大医生在手术过程中的视野以便 计躺几的解剖结构有个更加全面的了解。例如，采用手术模拟系统中的组织或 措i 阳实时训算机建模功能能够为医生提供手术导航以免手术器械触碰到比较 徽：哪j 区域。现代医学以微创和无创作为其发展方向，而计算机技术和现代诊疗 披术几溘紧密的结合则使得现代医学的快速发展成为可能。先进的手术方式既解 除丁病人的疾患，又大大减轻了手术过程给病人带来的痛苦。采用先进的手术方 一，不仅使手术过程变得更加安全和快捷，同时也使得病人术后的康复过程大大 加快以及术后生命质量的明显提高。手术模拟无疑已成为现代医学发展的一个必 l 毖绀i 成部分，手术模拟系统的出现有助于加强医务工作者和医科专业学生对先进 于术乃式的训练，使得医务培训的时间大大缩短，同时也减少了对昂贵教学实验 嫂备的需求。另一方面，传统的医务培训除了使用人和动物的尸体以外，没有更 佝训练和模拟手段。然而，采用传统方式至少存在以下两个问题：动物肌 m ￥剖结构和人体的解剖结构机理不尽相同；使用人和动物的尸体作为教 第一章绪论 学和培训的道具以及载体存在着无法回避的伦理道德问题，特别是使用动物试 验，往往会遭到一些动物保护协会和机构的指责。对医学虚拟现实系统的研究正 是致力于解决上述问题，医学虚拟现实系统可以作为模拟器来对医生进行业务培 训，对其相关系统的研究和开发将有助于新的诊疗方法的推广和使用，从而大大 提高现代医学诊断和治疗的效率以及水平。 图1 - 1 通过断层图像三维重建技术再现木乃伊头骨 ( 图片出自h t t p ：i n o w s z 0 1 c o m _ c n 2 0 0 1 1 2 0 6 3 2 9 3 0 s h m l l ) 虚拟现实技术和现代医学技术的结合为高科技医学技术的进步提供了广阔 的发展空间，同时也使得虚拟现实技术的发展迈上了一个更加崭新的台阶。对医 学虚拟现实系统的研究和开发也就日益具有了巨大的经济和社会现实意义。如图 1 - 1 所示，长期以来，考古学家在进行考古挖掘时大多使用铁铲甚至橇棍打开古 物进行研究，但实践证明采用这种方式往往会导致古物遭到破坏。因此，考古学 家们在准备对一具2 8 0 0 多年前的木乃伊进行考古研究时，他们想出了一个利用 c t i i c o m p u t e dt o m o g r a p h y ) 扫描仪加以研究的方法。他们利用c t 扫描仪以及一台 功能强大的计算机对木乃伊的头颅内部结构进行三维成像，这样，通过对显示在 计算机屏幕上的木乃伊头颅的三维图像进行任意的剖切显示操作，即可获知其内 部的解剖结构，采用这种方法进行考古学研究的一个最明显的益处是可以避免对 古生物的人为破坏。文献 1 1 1 2 描述了一个图像引导的外科手术系统，他们通过 对患者的发病部位进行核磁共振扫描成像m r i ( m a g n e t i cr e s o n a n c ei m a g i n g ) 后在 监视器上显示出患者疾病部位的一幅计算机生成的三维图像，医生转动该部位的 三维结构模型，以便获得一个他在手术中将会看到的虚拟的场景，然后，通过鼠 标的交互操作，医生就可以剥开皮肤、脂肪与骨头，露出疾患部位。这样，通过 对手术部位预先进行一次虚拟的检查，医生就可以准确地制订出手术计划，从而 大大降低了手术风险，也缩短了手术的时间。虽然到目前为止，真正能应用于临 东南大学博士学位论文 床的医学虚拟现实系统并不多，大多数还只停留于教学与培训以及实验室研究阶 段，但是其所体现的基于图像的虚拟现实技术在医学上的广泛应用前景无疑是非 常巨大的。 1 2 国内外研究现状 自2 0 世纪8 0 年代末和9 0 年代初，主要集中在欧洲和北美的一些高校和科研机 构的学者们对医学虚拟现实技术进行了大量的理论和实际系统的研究工作，取得 了比较丰硕的研究成果，关于本课题，国外正在研究的几个方向和重点是： 1 ) 提高医学虚拟现实系统的图像显示质量，在研究对象的真实感显示技术 方面做更进一步的研究； 2 ) 提高交互显示的速度，以满足实际临床应用的要求。这一点主要通过计 算机硬件性能的提高和对相关图像处理和图形显示算法的改进来实现； 3 ) 建立更加符合实际手术过程的对象几何和物理模型，以逼真描述和显示 虚拟手术器械从接触到切割或切除组织这完整过程； 4 ) 引入力反馈装置，以模拟虚拟手术器械在接触器官或组织的过程中给外 科医生双手的感觉； 5 ) 采用有限元分析方法建立研究对象的动态变形模型，以真实模拟虚拟手 术器械在切割初期对器官和组织对象的挤压和变形过程； 6 ) 模拟经虚拟手术后手术部位的清洗和缝合动作，以逼真显示虚拟外科手 术的全过程。 国外学者在医学虚拟现实技术方面的研究活动非常活跃，有的已经研制成功 了能初步运用于临床的医学虚拟现实系统。例如，加拿大的a l l e g r o 系统，它可以 根据用户的需要，与不同厂家的c t 扫描设备或核磁共振仪相连接。有的则是这 类设备的一个组成部分。例如，以色列爱尔新特公司( e l s c i n t ) 、美国通用电气公 司( g e ) 生产的螺旋c t 扫描设备均附有基于图形工作站的医学图像虚拟现实系 统。在将多层c t 扫描图像和m r i 图像输入计算机以后，医学虚拟现实系统可以 沿x 、y 和z 三个方向逐帧显示输入的图像，可以用不同的方式构造三维形体，可 以对三维图像由外向内按层剥离或作任意位置的剖切以观看内部结构。也可以随 4 第一章绪论 着鼠标的移动作实时的平移、旋转、放大或缩小。此外，还具有测量距离、计算 体积等功能。很显然，其有如此强大功能的三维医学萄像虚拟现实系统无疑会给 诊断和治疗带来极大的方便。 图1 - 2 通过模型变形和纹理映射体积建模方法模拟组织切割( 图片出自文献 5 】) 在提高医学虚拟现实系统的图像显示质量方面，r i c h a r da r o b b 在文献 【3 1 1 4 5 q b 对医学图像虚拟现实系统在实际医疗过程中的应用、医学虚拟现实系 统应具备的功能以及图像显示质量和系统硬件的关系等方面作了综合性的阐述。 在这些综述性论文当中，r i c h a r d a r o b b 描述了在虚拟环境下对场景中组织或器 官的静态剖切操作实例，图1 - 2 , 显示了通过场景中组织或器官的模型变形再辅之 以纹理映射的体积建模方法来模拟切割组织或器官的情形。 文献【6 1 8 对提高医学虚拟现实系统的图像显示质量，尤其是在研究对象的 真实感显示技术方面做了较为深入和具体的研究。由现实中物体的序列断层图像 重建其虚拟场景中的i 维物体的方法从大的方面讲主要就是表丽显示和体积显 示，在这些论文中分别就这两种主要的物体三维重建方法做了比较深刻的阐述， 提出r 各自的重建算法或对一些已有算法的改进以及这些算法运行的时问和计 算机硬件性能之间的关系。 文献 1 9 】描述了一种对组织或器官进行体积建模的方法，认为基于计算机图 形学基本组元的多边形组织或器官表面建模方法有其不足之处，表面建模不能表 达器官或组织的内部力学特性和功能变化等情形，尤其是如果组织或器官内部含 有不同的生物组织，采用这种建模方法是欠妥当的，因为表面建模方法将组织或 器官的内部信息完全抛弃，组织或器官表面建模方法的另外一个缺点是这种建模 方法难以有效地为流体、组织撕扯以及骨骼断裂等生物学现象进行合理的建模， 而且在进行组织或器官的虚拟切割变形或撕扯等操作时往往更多的是采用基于 东南大学博士学位论文 胡克定律( h o o k e sl a w ) 的质子- 弹簧( m a s s - s p r i n g ) 模型或通过改变基于样条表面 建模的器官或组织表面上的控制点来进行器官或组织的挤压变形。采用基于表面 建模的方法来模拟器官或组织的变形等操作其主要的优点足建模方法简单，交互 速度快，缺点是真实感不强，绝大多数器官或组织的内部结构完全丢失。采用体 图1 3 混合弹性模型的变形和切割( 图片出自文献 2 l 】) 积建模方法，通过整体调整附加于体元上的力对流体、撕扯以及断裂等进行体积 建模是完全可能的。该论文讨论了对物体的体积模型进行变形、如何检测虚拟手 术器械和物体体积模型之间的碰撞以及对组织切割进行模拟的技术问题，最后介 绍r 一个运用于膝关节手术的初步的外科手术模拟系统。 文献 2 0 介绍了一种基于物理学原理的粘弹性组织或器官结构模型，因为基 于物理学原理的建模方法其一个最主要的问题就是为模型提供必要的物理参数。 不恰当的参数定义必然导致不逼真的模拟结果。该论文采用人工神经网络方法来 计算组织或器官模型节点上质子的位置、速度以及加速度。其组织或器官的建模 方法仍采用基于计算机图形学基本组元来构造组织或器官的外表面，在此基础上 引入粘滞性弹性模型作用于控制结点。 文献 2 1 1 1 2 2 2 3 1 通过引入线性弹性理论和有限元方法f e m ( f i n i t ee l e m e n t m e t h o d ) 对人体组织或器官进行建模。在这些论文中介绍了两个模型，第一个模 型预先计算出有限元模型的形变以及作用于其上的力的大小，这样就可以保证一 旦模型比较复杂时能够产生实时的变形。但此模型有不足之处，即其不容许模型 网格拓扑结构的任意改变，这样也就不能模拟模型被切割的过程；另外一个模型 通过引入“质子张量”模型和物体运动的动力学原理能够模拟模型的切割和撕 扯等动作，但是因为要保证实时交互，只能对有限数量的节点进行这种操作。论 6 第一章绪论 文最后将前述的两个模型集合起来，提出了一个基于线性弹性模型、有限元方法 咀及“质子张量”模型的混合弹性模型来模拟组织或器官的受挤压变形和切割 变形，论文采用来自于可视化人【2 4 1 项目v h p ( v i s i b l e h u m a n p r o j e c t ) 中的人体肝脏 数据集，经过数据分割、肝脏轮廓提取等前期数据处理操作后，构建出肝脏的几 何模型，然后在肝脏几何模型中的各几何组元的节点上运用混合弹性模型的建模 方法进行肝脏的物理建模，图1 - 3 所示为肝脏模型的变形和扯断过程。 文献1 2 5 介绍了一种采用四面体组元对组织或器官进行建模的方法，引入碰 撞检测算法和对四面体组元进行动态拓扑网格结构重构实现组织切割操作，图 1 - 4 所示为模拟组织被切开后的情形。 图1 - 4 通过碰撞检测和四面体组元拓扑网格重构实现组织切割( 图片出自文献 2 5 ” 文献 2 6 】介绍了一种动态体积纹理映射技术与器官或组织的几何建模相结 合的方法来动态模拟器官或组织的交互变形和切割动作。因为对器官或组织模型 的撕扯变形或切割可以通过改变模型的几何位置或拓扑结构来实现，但器官或组 织的内部细节却无从得知，这是由采用几何建模方法的本质和局限性所决定的； 另一方面，采用体数据来表示器官或组织结构因计算量太大，基本上不能保证交 互的实时匪，因此，论文通过采用几何建模和动态纹理采样相结合的方法来模拟 组织或器官的切割变形，既保证了交互的实时性，又保留了切割过程中组织或器 官模型的内部信息。 文献 2 8 1 1 3 0 介绍了一个基于物理学原理的三维软组织交互建模和切割框 架。如图1 5 所示，在该论文中，作者采用四面体分解的方法模拟组织或器官被 切割之后的情形。由一个采用常规网格几何建模方法生成的组织或器官的模型开 始，为跟踪四面体拓扑结构的变化，与虚拟手术刀相交的四面体被分裂成互相连 接的子拓扑构型，其连接关系主要由虚拟手术刀所经过的轨迹所决定。组织的切 东南大学博士学位论文 割变形主要通过将物理学意义上的质子弹簧模型附着于四面体中与虚拟刀具相 图1 - 5 切割四面体网格后( 图左) 生成多个不同拓扑构型的多面体( 图右) ( 图片出自文献 2 8 ) 交的边和顶点上，通过以宽度优先的次序遍历针对算法设汁的数据结构，并采用 层次：r u n g e - k u t t a 迭代算法计算模型变形时的松弛过程。图1 6 描述了虚拟手术刀 图1 - 6 虚拟手术刀切割组织模型时模型的变形和断裂过程( 图片出自文献, 1 2 8 ) 切割一块软组织模型过程中模型变形和断裂的过程。 文献【2 9 】介绍了一个使用户可以以交互方式任意在三维组织或器官模型表 面上勾画切割路径，以模拟外科手术刀进行手术切割时的动作过程，但这一过程 中没有动态变形，只是由用户以交互方式在模型表面任意画出虚拟手术刀切割的 路径曲线，然后由系统采用求交算法实现模型的割切显示。 文献【3 1 】介绍了一个运用于腹腔和膀胱外科手术的手术模拟系统，其基本建 模方法与前述一些文献中介绍的类似，也是采用计算机图形学的基本组元来构建 器官或组织的几何模型，然后通过器官或组织几何模型的变形和断裂来模拟手术 过程。 a n d r e a sh m e i e r 在他的综述性论文【3 4 1 里概述了虚拟现实技术和现代医学技 第一章绪论 术相得益彰、共同发展的历史演变、虚拟现实技术运用于医学中的领域以及虚拟 现实技术和现代医学技术共同发展的方向作了具体的阐述。早在2 0 世纪6 0 年代， 美国北卡罗莱纳大学就率先尝试在医学虚拟现实系统中引入力反馈装置。在2 0 世纪的最后十年里，已出现了一些具有多个力反馈装置的医学虚拟现实系统，虽 然这些系统还很不完善，很多还仅仅停留于实验室研究阶段，但是，由于力反馈 或者说是触觉反馈技术在医学虚拟现实系统中扮演着十分重要的角色，因而多年 来众多学者一直致力于该领域的研究，并且产生出了一些有价值的研究成果。图 图1 7 引入力反馈装置模拟人体肝脏受虚拟手术器械挤压产生变形的过程 ( 图片出自h t t p ：t l w w w 西耐a f r m t t t t i m e d i a f p r e s s e r o b o t l q u e p a g , e s e p i d a e 仃n ) 1 7 所示为法国i n r i a 研究计划小组的研究人员通过采用力学反馈装罱模拟人体 肝脏模型在受到虚拟手术器械挤压时产生变形的过程。图1 8 所示为德国k i s m e t 研究所的研究人员通过引入力反馈装置模拟虚拟外科手术时人体器官模型在受 到虚拟手术器械牵扯产生变形和器官模型被切开后的情形。此外，他们还模拟了 经虚拟外科手术后对外科切口的缝合以及术后对切口缝合部位的清洗消毒过程。 图1 - 8 引入力反馈装置模拟器官受手术器械牵扯和切割变形的过程( 图片出自文献【3 5 】) 前面简单介绍了国外一些研究机构的研究人员在最近一、二十年内的科研成 东南大学博士学位论文 果，虽不算全面，但足以说明国外学者在2 0 世纪最后十多年的时间里在微创外科 m i s ( m i n i m a l l yi n v a s i v es u r g e r y ) 技术以及虚拟外科手术技术方面的研究所取得 的成就。应该承认，国外学者在虚拟外科手术技术方面的研究已经达到了一个相 对较高的水准。相比较而言，国内在这方面的研究起步较晚，基础也相对薄弱一 些，从作者所掌握的资料信息来看，围内如浙江大学e 研、清华大学阳、东南大 学以及大连理工大学幽】等高校的一些研究人员开展过这方面的研究工作，文献 3 8 介绍了一个对人体大脑模型顶部进行开窗剖切显示的实例，但没有给出算法 的具体实现细节。文献【3 7 】对虚拟手术过程中的关键技术问题进行了介绍，但大 多是从前述国外学者所提出的技术方案和研究结论中引申开来，组合进了一些作 者自己的技术观点，对已有的一些方法进行了适当的改进和完善。令人欣慰的是， 尽管国内在虚拟外科手术技术方面与国外相比还存在着一定的差距，但毕竟已有 一些学者已经或正在致力于这方面的研究工作，相信在国内越来越多学者的共同 努力下，必定能够在不远的将来赶超国际先进水平，使国内在微创外科手术技术 以及虚拟外科手术技术方面的研究水平达到。个较高的层次。 1 3 本文的主要工作 虚拟组织切割系统的研究和开发在技术层而的挑战从大的方面来说主要有 两个方面：真实感显示和实时交互。真实感显示主要涉及到原始数据获取，虚拟 切割时组织发生变形的真实感，以及如何借助于计算机图形和图像硬件设备来模 拟发生于真实客观世界的手术过程：而实时交互则主要涉及到计算机硬件，虚拟 切割方法的设计和改进，以及为提高交互的实时性而采用的快速算法等。医学虚 拟现实技术是国际上最近十多年才开始兴起并正取得阶段性研究成果的研究课 题，应用前景很广阔。尽管已有一些实验室系统报道，但目前它实际上还处于研 究阶段，离实用尚有一段距离，这也给我们留下了一些研究空间。 前人的研究成果是我们的研究工作向前进展的基础，作者在大量阅读r 国内 外与虚拟组织切割方法有关的研究论文的基础上，有针对性地在虚拟组织切割的 具体实现方法方面做了一些研究工作，对相关的一些技术问题提出了作者自己的 见解。本文的主要工作涉及以下几个方面： 1 ) 提出了一种基于逆向工程( i n v e r s ee n g i n e e r i n g ) , 翟, 想的医学图像空间体数 o 第一章绪论 据场的静态任意剖切显示方法。其中对于二维剖切显示，首先由用户通 过人机交互的方式来给出对体数据场进行任意剖切显示的路径，然后运 用反求工程的求解思路沿切割路径进行量化和采样来得到沿切割路径上 每个采样点在对应图像坐标空间中的位置，并由此获得剖切平面上所有 采样点的空间位置坐标，最后通过对体数据场进行重采样和插值操作来 实现对空间体数据场的二维任意剖切显示；对于三维剖切显示，可首先 采用与二维剖切操作类似的图像采样和插值操作来获得纹理数据阵列， 然后结合纹理映射技术，将纹理数据映射到三维坐标空间中以实现数据 场的三维空间剖切显示。 2 ) 针对所获取的实验数据像素灰度分布的特点，提出了- 9 0 对目标轮廓线 进行有效和可靠的搜索和跟踪策略。由于数据中病变组织与其邻近组织 像素次度差别相对比较明显，首先通过采用一种改进的轮廓自动跟踪方 法对目标轮廓进行跟踪，将得到的轮廓线经采样得到其离散控制点作为 s n a k e 轮廓搜索和跟踪算法的输入，既克服了s n a k e 方法对初始轮廓线控 制点分布的局限性，又避免了采用单轮廓跟踪方法跟踪目标轮廓线的 不确定性，提高了分割病变组织的速度和准确性。 3 1 提出了一种改进的基于欧几里德距离变换( e u c l i d e a nd i s t a n c et r a n s f o r m ) 的图像日标轮廓插值方法。首先由获取的层间间距相对较大的序列断层 图像，经由对图像中目标的轮廓跟踪和对图像中目标的区域填充获得图 像目标的轮廓图和区域图，采用欧几里德距离变换求取该序列断层图像 目标轮廓的距离图，运用逆距离加权平均线性插值方法求得相邻图像中 目标的距离图之间的轮廓图像。运用该方法得到的中间插值轮廓过渡平 滑，并目能够很好地解决极端凹轮廓之间的中f n j 插值轮廓问题。 4 1 提出了一种可变步氏的适应性图像目标轮廓线采样方法。首先由获取的 直接来自于临床的层间间距相对较大的医学图像数据经由图像预处理和 图像目标轮廓插值等前期