（生物医学工程专业论文）基于VTK的医学图像三维重建及交互研究.pdf

哈尔滨：1 ：程大学硕士学位论文 a b s t r a c t m e d i c a li m a g e3 dr e c o n s t r u c t i o na n di n t e r a c t i o ni sah o tt o p i c ，w h i c hi s w i d e l yu s e di ni m p o r t a n ta p p l i c a t i o n sl i k e c o m p u t e rg r a p h i c s a n d i m a g e p r o c e s s i n go fb i o m e d i c i n ee n g i n e e r i n g 3 dr e c o n s t r u c t i o na n di n t e r a c t i o no f m e d i c a li m a g e si sw i d e l yu s e di nd i a g n o s i n g ，s u r g e r yp l a n n i n ga n ds i m u l a t i n g ， p l a s t i ca n da r t i f i c i a ll i m bs u r g e r y ，r a d i o t h e r a p yp l a n n i n g ，a n dt e a c h i n ge t c i nt h i s p a p e r ，3 dr e c o n s t r u c t i o na n di n t e r a c t i o no fm e d i c a li m a g e si ss t u d i e d ，a n d s i g n i f i c a n c ea n dw o r t h i n e s si so b v i o u si na p p l i c a t i o n f i r s t l y ，t h er e a l i z a t i o na n dp r i n c i p l eo fm a r c h i n gc u b e sa n dr a yc a s t i n gf o r 3 dm e d i c a li m a g er e c o n s t r u c t i o nw i t hs u r f a c er e n d e r i n ga n dv o l u m er e n d e r i n g a l ed i s c u s s e da n dc o n t r a s t e di nt h i sp a p e r t h ee x c e l l e n c ea n ds h o r t a g eo ft h et w o r e n d e r i n gm e t h o d sa l ed i s c u s s e d a n dt h er e a l i z a t i o nm e c h a n i s mo fv i s u a l i z a t i o n t o o lp a c k a g eb a s e do nv t ki sa n a l y z e d i nt h ep a p e r , m a r c h i n gc u b e sa n dr a y c a s t i n ga l g o r i t h ma l er e s p e c t i v e l ya d o p t e dt or e c o n s t r u c tt h e3 di m a g e sf o rt h e c ti m a g es e q u e n c eo ft h ed i c o mf o r m a tu n d e rt h ev c + + 6 0a n dt h ev i s u a l p a c k a g ev t kp l a t f o r m t h ek e ya l g o r i t h m sa n d3 dv i s u a l i z a t i o nr e s u l t sa r eg i v e n i n t h i sp a p e r t h es i m p l ei n t e r a c t i v eo p e r a t i o n s ，s u c ha sr o t a t i o n ，z o o ma n d t r a n s f e rc a nb er e a l i z e db yu s e ri n t e r a c t i o n 、析t hp c s e c o n d l y ，t h ev e c t o ra n di n n e rp o i n t sa l ec a l c u l a t e dt of o r mt h ev i r t u a l c l i p p i n gp l a n e ，w h i c hi nt u r ni su s e dt oi n c i s et h e3 do b j e c t 。a n dt h ei n f o r m a t i o n o fc r o s s s e c t i o ni m a g e si so b t a i n e d ，a tt h es a m et i m et h ec o r r e s p o n d e n ti m a g e s a r ed i s p l a y e do nt h es c r e e n t h e r e f o r e ，e x t r a c t i o no fc r o s s - s e c t i o ni m a g e so n3 d m e d i c i n ei m a g ec a nb er e a l i z e di na n yd i r e c t i o n t h ec u b o i d st h a ta l es t r u c t u r e d c a nb ez o o m e d ，m o v e da n dc i r c u m r o t a t e db yo p e r a t i n gm o u s et oi n c i s e3 d r e c o n s t r u c t i o no b j e c t r e a lt i m ei n t e r a c t i o nc a l lb er e a l i z e db yc l i p p i n gt h e r e c o n s t r u c t i o no b j e c t t h ec o o r d i n a t e sc a nb ea c q u i r e db yt h em o u s ec l i c k i n gi n t h e3 ds p a c e ，b yw h i c ht or e a l i z et h ep o i n tm o u s ep i c k u pa sw e l lm e a s u r et h e3 d m e d i c i n ei m a g e 哈尔滨：r 程大学硕+ 学位论文 i i f i n a l l y , r e a l i z a t i o no f3 dm e d i c a li m a g e si n t e r a c t i o na l ed o n ei nf i e l d ss u c h a sm o u s ep i c k u p ，a n g l ea n dd i s t a n c em e a s u r ei ns p a c e ，p l a n ec l i p p i n g ，c u b o i d s i n t e r a c t i o nc l i p p i n g ，e x t r a c t i o no fc r o s s - s e c t i o ni m a g e si na n yd i r e c t i o ne t c k e yw o r d s ：3 dr e c o n s t r u c t i o n ；i m a g ei n t e r a c t i v e ；v t k ；m a r c h i n gc u b e s a l g o r i t h m ；r a yc a s t i n ga l g o r i t h m 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ：q 憋遗 日 期：盈乜g 年月弋e t 哈尔滨丁程大学硕十学何论文 第1 章绪论 1 1 课题研究的背景和意义 德国科学家伦琴于1 8 9 5 年发现了x 射线，伴随着这个十九世纪最伟大 的发现，人们可以利用x 射线透视设备来探查物体的内部信息。到1 9 6 8 年， 英国e m 公司的h o u n s f i e l d 成功的设计出计算机辅助大脑扫描器 ( c o m p u t e r - a s s i s t e db r a i ns c a n n e r ) ，它可以产生清晰的断层图像。这是医学影 像技术发展史上非常重要的一个里程碑，而h o u n s f i e l d 与他的合作者c o r m a c k 也因此获得了1 9 7 9 年诺贝尔物理奖和医学奖【l 】。进入到八十年代以后，各种 医学影像技术不断出现，计算机断层扫描( c t ：c o m p u t e dt o m o g r a p h y ) 、核磁 共振成像( m r i ：m a g n e t i cr e s o n a n c ei m a g i n g ) 、超声( u s ：u l t r a s o n o g r a p h y ) 等 影像技术逐渐成熟，让人们可以得到人体内部器官的二维数字断层图像，使 得传统的医学诊断方式发生了根本性的变革【2 4 】。 在目前的医学影像诊断中，主要是通过观察一组c t ，m 刚的二维切片 图像去发现病变体，但这些切片只能提供人体内部的二维断层图像，二维图 像只是表达某一界面的解剖信息，医生只能凭经验由多幅二维图像去估计病 灶的大小及形状，“构思病灶与其周围组织的三维几何关系，这就给治疗带 来了困难。在放射治疗应用中，仅由二维图像上的某些解剖信息进行简单的 坐标叠加，不能给出准确的三维影像，造成病变定位的失真和畸变。因此， 二维切片的三维重建就被提到了研究日程上。利用医学可视化技术从一系列 连续的二维切片重建出人体器官，软组织和病变体等的三维模型并进行三维 显示，可以真实再现物体的本来面貌，辅助医务人员对病变体或感兴趣的区 域进行定量直至定性分析，使医生能够充分的了解病灶的性质及其周围组织 的三维结构关系，可以辅助医生对病变体和周围组织进行分析，从而帮助医 生做出准确的诊断和制定正确的手术方案，极大地提高了医疗诊断的准确性 和科学性，从而提高医疗诊断水平【5 1 。 利用可视化技术重建出三维医学图像并不是最终目的，我们不仅要求能 够“观看”，更重要的是能够对重建出的三维医学图像进行各种交互操作。最 哈尔滨t 程大学硕十学何论文 简单的交互操作是旋转、缩放和平移，它可以让医生获得一个较好的观察角 度，以便对病情做出正确的判断。再比如虚拟切片提取，可以再现三维物体 的某一断层情况；三维物体的切割，可以去除三维物体的某一部分，显示出 被它覆盖的内部结构等等。例如，髋关节发育不j 下常在儿童中并不少见，在 作矫形手术时，需要对髋关节进行切割、移位、固定等操作。利用可视化技 术可以首先在计算机上构造出髋关节的三维图像，然后对切割部位、切割形 状、移位多少及固定方式等的多种方案在计算机上进行模拟，并从各个不同 角度观察其效果。最后由医生选择出最佳实施方案，从而大大提高矫形手术 的质量。又如，在作脑部肿瘤放射治疗时，需要在颅骨上穿孔，然后将放射 性同位素准确的安放在脑中病灶部位，整个过程既要求治疗效果最好，又要 保证整个手术过程及同位素射线不伤及正常组织。由于人脑内部结构十分复 杂，而且在不开路情况下，医生无法观察到手术进行的实际情况，因而要达 到上述要求是十分困难的。利用可视化技术，就可以在重构出的人脑内部结 构三维图像的基础上，对颅骨穿孔位置、同位素置入通道、安放位置、等剂 量线等进行计算机模拟，设计并选择出最佳方案。不仅如此，还可以在手术 过程中对手术进行情况在屏幕上予以监视，使医生们做到“心中有数”，因而 必将大大提高手术的成功率1 6 - 7 1 。 医学图像三维重建及交互应用研究是目前的一个研究热点问题，是一个 多学科交叉的研究领域，是计算机图形学和图像处理在生物医学工程中的重 要应用。它涉及数字图像处理、数学、图形学以及医学领域的相关知识，在 医学方面有重要意义。第一，提高医生诊断的准确率和医院的工作效率。对 c t 、m r i 等医学数据进行三维重建得到的三维模型，便于医生对人体内部结 构进行观察，并对三维模型从不同方向投影显示，提取出相关器官的信息， 能使医生对感兴趣器官的大小形状和空间位置获得定量描述，加强图像中原 有的各种细节，对其进行剖切，有助于了解复杂的解剖特征、空间定位及随 时间所发生的变化。第二，提高医院数字化水平，节省开销。目前国内多数 医院仍采用传统的胶片形式帮助医生诊断，大量的胶片不但存储存在问题， 也是不小的开支。实现医院数字化，不但方便医生诊断、医院管理，更能节 约开支。并且目前国内开发出来的相关产品很少，多数引进国外重建系统， 价格昂贵，所以急需开发出自己的产品。因此，开展医学图像三维重建及交 2 哈尔滨t 秤大学硕+ 学位论文 互方面的研究，具有重要的意义。 1 2 医学图像三维重建在临床中的应用 临床医学是可视化技术应用的最早也是最成功的领域之一，在对人体内 部器官和组织进行诊断时，医生主要基于c t 图像、核磁共振图像及超声图 像，但由于这些图像都是离散的二维序列图像，只有训练有素的医生彳能透 过它们获得对三维器官或组织的整体认识【8 - 9 1 。可视化的任务就是要揭示物 体内部复杂结构，使我们能够看到通常情况下看不到的物体内部结构。运用 三维重建技术，从二维图像序列重建出三维图像，从而清晰地显示出人体器 官或组织的复杂特征和空间定位关系，有助于医生做出正确的诊断。这些应 用可概括如下： ( 1 ) 在医疗诊断中应用 在临床和医学研究中，c t 图像、核磁共振图像和超声图像的广泛应用 是医疗诊断的有力手段。利用三维重建技术对图像进行处理、构造三维几何 模型，对重建模型进行不同方向的观察和剖切，使得医生对感兴趣部位的大 小、形状和空间位置不仅有定性的认识，也可获得定量的认识。 ( 2 ) 在手术规划及放射治疗规划中的应用 由c t m r i 图像序列重建出病变体、敏感组织、重要组织的三维模型。 在手术规划中，医生可观察病变体、敏感组织、重要组织的形状和空间位置， 确定科学的手术方案。在放射治疗中，根据重建组织的三维几何描述，进行 射束安排，使射线照射肿瘤时避免穿过敏感组织和重要组织，不伤害正常组 织或对正常组织伤害尽量小，制定出最优的治疗方案。 ( 3 ) 在整形与假肢外科中的应用 医学图像重建在整形外科及假肢设计中有着重要应用。在整形外科中， 特别是颅面外科目前己有成功的应用。在假肢设计中，如做髋骨更换手术之 前，先要重建出髋骨及与之接合部位的三维模型，根据重建模型设计所需髋 骨假肢的外形，使之能与病人的个体特征相吻合，才能减少因假肢形状差异 造成手术失败的概率。 ( 4 ) 在虚拟手术及解剖教育中的应用 v i s i b l eh u m a n 计划是由美国国家医学图书馆发起，委托科罗拉多大学医 哈尔滨t 程大学硕十学伊论文 学院建立起一个男人和一个女人的全部解剖结构的数字化图像库。通过这些 资源，研究者可以分析和重建人体内部的各种器官或组织并进行三维显示， 建立起具有真实感的虚拟人体。并可对重建的虚拟人体进行各种剖切、透明 效果设置等，便于了解人体各组织器官的解剖结构。这对医学教育及解剖分 析起着重要作用。 1 3 国内外研究现状 医学图像可视化是发达国家二十世纪八十年代提出并发展起来的一个新 的研究领域。近十几年来，在美国、德国、日本等发达国家的著名大学、国 家实验室及大公司中，医学图像三维重建与可视化的研究十分活跃，其技术 水平正在从后处理向实时跟踪和交互控制发展，并且已经将超级计算机、光 纤高速网、高性能图形工作站及虚拟现实四者结合起来，体现出这一领域技 术发展的重要方向。 下面介绍几项发达国家在科学计算可视化方面比较著名的研究成果。 ( 1 ) 可见人体【l o 】 美国国家医学图书馆于1 9 8 9 年开始实施可视化人体计；皂i j ( v h p ) 。委托科 罗拉多大学医学院建立起一男一女的全部解剖结构数据库。他们将一具男性 和一具女性尸体从头到脚做c t 扫描和核磁共振扫描。男性间距l 毫米，共 1 8 7 8 个断面；女性间距o 3 3 毫米，共5 1 8 9 个断面。然后将尸体填充蓝色乳 胶并裹以明胶后冰冻至摄氏零下8 0 度，再以同样的间距对尸体作组织切片的 数码相机摄影。分辨率为2 0 4 8 x 1 2 1 6 。所得数据共5 6 g b ( 男1 3g b ，女4 3g b ) 。 全球用户在与美国国家医学图书馆签订使用协议并付少量费用后，即可获得 这一庞大的数据，用于教学和科学研究。v h p 数据集的出现，标志计算机三 维重建图像和虚拟现实技术进入了医学领域，从而大大促进了医学的发展和 普及。 ( 2 ) 人类胚胎的可视化 美国依利诺大学芝加哥分校研制了一个在工作站和超级计算机上运行的 胚胎可视化软件。它可对一个七周的人类胚胎实现交互的三维显示。该胚胎 模型是由美国卫生和医学国家博物馆得到的数据重构而成的。这一成果表明， 对人类形态数据实现远程访问和在网络环境中实现分布计算成为可能。 4 哈尔滨t 稃大学硕十学何论文 ( 3 ) 分布式虚拟风洞 这是美国国家宇航局a m e s 研究中心的研究成果。该项目用台超级计 算机进行飞行器的流体力学模拟计算。计算结果的可视化则在两个虚拟现实 ( v i r t u a lr e a l i t y ) 环境中实现。每个虚拟环境包括一台工作站、一个头盔显示 器、一付数据手套及一个投影屏幕，并与超级计算机相连。这一分伟式虚拟 环境可用来观察飞行器的流体力学模拟计算结果，例如，三维不稳定流场等。 两个人在这一环境中协同工作，每人可在一个环境中从不同视点和不同观察 方向观察同一个流场数据。而其他人则可在两个投影屏幕上分别看到这两人 在各自的虚拟环境中看到的图像。 ( 4 ) 大气及流体可视化软件 这是美国国家超级计算机应用中心( n c s a ，n a t i o n a lc e n t e r o f s u p e r c o m p u t e ra p p l i c a t i o n ) 的研究成果。p a t h f i n d e r 通过多个相联系的模型， 在交互及分布环境下研究暴风雨的形成规律。安装在n c s a 的超级计算机 c r a yy - m p 进行模拟计算，位于2 0 0 英里外的s g i 公司的v g x 工作站则 用来实现二、三维图形显示，提供用户接口，二者之间用网络连接。该项成 果应用了s g i 公司的e x p l o r e r 软件，从中可以利用许多不同的工具。 ( 5 ) 狗心脏c t 数据的动态显示 这也是美国国家超级计算机应用中心的研究项目，它利用远程的并行计 算资源，用体绘制技术实现了不同时刻c t 扫描数据的连续动态显示。其具 体内容是显示一个狗心脏跳动周期的动态图像，十分形象直观。 ( 6 ) 燃烧过程动态模型的可视化 这是美国西北大学的研究项目。它可以显示发生在非绝热的气体燃烧中 复杂的瞬态图像。火焰位于两个同心圆柱之间，可燃混合气体从内圆柱中注 入，燃烧所产生的物质则通过外圆柱送出。 国外已经有了三维医学影像处理的商品化系统。其中，有的是一个独立 的系统，如加拿大的a l l e g r o 系统，它可以根据用户需要，与不同厂家的c t 扫描设备或核磁共振仪相连接；美国通用电气公司( g e ) 的a w4 0 ，可以对断 层扫描序列图像进行完整的容积重建及分析。有的则是这类医疗设备的一个 组成部分，如以色列爱尔新特公( e l s c i n t u d ) ，g e 出产的螺旋c t 扫描设备 均附有基于图形工作站的医学影像可视化系统，在获得c t 和m r i 的序列扫 哈尔滨t 程大学硕十学何论文 描图像后，该系统可以沿三个正交方向逐帧显示序列图像，可以用不同方法 构造三维形体，可以对三维图像由外而内按层剥离或做任意位置的切割以观 看内部结构，也可以进行平移、缩放、旋转等操作。此外，还有距离测量及 面积、容积的计算等功能。很显然，具有如此强大功能的三维医学影像处理 系统将给诊断和治疗提供很大的方便。但是它需要计算速度很高、存储容量 很大的计算机系统，连同软件一起，其价格非常昂贵。另外，还有美国s t a r d e n t 计算机公司推出的a v s 系统，美国俄亥俄超级计算机中心开发的a p e 系统， 德国达姆斯达特f h g a g d 研究中心开发的v i s a v i s 系统等。 我国学者自二十世纪九十年代初开始进行科学计算可视化的研究。国内 关于虚拟人体、虚拟器官的研究工作己经开始引起生物医学工程界的重视。 2 0 0 1 年1 1 月5 日在北京香山饭店举办的香山科学会议第1 7 4 次学术讨论会， 会议的主题是“中国数字化虚拟人体的科技问题l l 】p p o 与会专家一致认为， 数字化虚拟人的科学意义在于将人体结构和功能信息数字化与可视化，在认 识人类身体的结构和功能方面前进一大步，使人们能够以三维的形式看到人 体数千个解剖结构的大小、形状、位置及器官间的相互空间关系，建立起能 够为计算机处理的数学模型，使得借助计算机的定量分析计算和精确模拟成 为可能。随着信息获取和处理技术的进步、数据采集精度的提高，将在越来 越精确和广泛的程度上模拟人体的功能和行为，这将成为许多学科研究与应 用的基础。我国的3 0 1 医院、首都医科大学、清华大学，浙江大学和中科院 自动化研究所等单位都长期致力于虚拟人体、虚拟器宫等方面的研究，并有 不少成果。中国科学院自动化研究所医学图像处理与分析研究室研究出了一 套名为3 d m e d 的三维医学图像处理系统，它是在图像处理、计算机图形学 等方面长期积累的研究成果基础上，按照商品化、实用化的要求开发的一套 集数据采集、数据管理、阅片、测量与标准、图像分割、三维重建等功能于 一体的软件系统。 目前，国外开发的软件系统价格昂贵。对于资金并不雄厚的我国医疗行 业单位，单独添置这样的设备，经济负担过重。但不这样做又限制了我国医 疗水平的进一步提高，因此，解决这一矛盾的办法之一，就是利用和改造现 有的，己被广泛应用的传统二维成像设备和超声波设备【1 2 】。它们可以产生出 精度不同的断层图像序列，如果应用这些已有的设备产生的数据，通过安装 6 哈尔滨1 ：稗人学硕十学位论文 附加设备来进行图像三维重建，可以很好的利用现有资源，节约资会，进一 步提高我国医疗水平。这是一条结合我国国情，有很大现实意义的道路。因 此，研究基于现有设备产生的断层图像序列来进行医学图像三维重建，有广 泛的应用前景和市场。 1 4 论文的主要研究内容及结构 本文的主要研究内容是：基于可视化工具包v t k 的医学图像三维重建 及交互技术。基于v i s u a lc + + 平台，对d i c o m 格式的人体头部c t 图像序列 进行三维重建及交互，重建结果可以真实再现物体的三维面貌。通过人机交 互，可以对重建后的三维图像进行旋转、缩放、平移、任意角度的平面切割、 长方体交互切割、任意角度的断面图像提取、空间角度和距离的测量、鼠标 拾取等交互操作。 论文的组织结构如下： 第l 章，论述了课题研究的背景和意义，以及医学图像三维重建在临床 中的应用。介绍了医学图像可视化的国内外研究现状与本文的主要研究内容 及结构。 第2 章，介绍了医学图像三维重建的面绘制与体绘制方法，讨论了两种 绘制方法的原理、绘制过程和优缺点，对常用的m a r c h i n gc u b e s 算法和r a y c a s t i n g 算法的原理和实现过程进行了阐述。 第3 章，对可视化工具包v t k 的特点、结构和利用v t k 进行绘制的过 程进行了介绍，并简要介绍了国际上通用的通信和数据格式标准d i c o m 3 0 。 分别基于m a r c h i n gc u b e s 算法和r a yc a s t i n g 算法对d i c o m 格式的c t 图像 序列进行面绘制和体绘制，并给出了v t k 实现三维重建的算法过程和重建 结果。 第4 章，利用v t k 确定空间中坐标点的三维坐标，可以通过点击鼠标 来显示出对应点的空间坐标，即鼠标拾取，进而实现空间距离和角度的定量 测量，并给出实验结果。对三维重构体进行任意角度的断面图像提取，通过 简单的鼠标操作，可以生成任意角度、任意部位的二维断面图像，并能对切 割平面及断面图像进行平移、缩放、旋转等实时交互操作，并给出实验结果。 第5 章，对重建后的三维物体进行任意角度的平面切割与长方体交互切 7 哈尔滨丁程大学硕十学何论文 割，以便观察物体内部的特定目标，如处在身体内部的病灶或肿瘤。 应用v t k 来定义切割平面，通过调整切面的法线方向和经过点坐标来 确定切面的位置，进而实现任意角度的平面切割。提出了一种实时交互的长 方体切割方法，该方法通过在屏幕中生成一个长方体模型，可以通过鼠标控 制长方体及其六个面进行缩放、平移、旋转等操作来对重建后的三维物体进 行交互切割，从而达到实时交互切割的效果，并给出了实验结果。 哈尔滨t 程大学硕十学何论文 第2 章医学图像三维重建技术 利用医学可视化技术从一系列连续的二维医学图像重建出三维人体器 官，可以真实再现人体器官的本来面貌，辅助医务人员对病变体或感兴趣的 区域迸行定量直至定性分析，从而可以大大提高医疗诊断的准确性。目前， 医学图像三维重建有两种重建方法：一种是三维面绘制【1 3 】；另一种是三维体 绘制。它们各有其特点和适用领域。 2 1 三维面绘制 面绘制是医学图像三维可视化的重要手段之一，它通过对一系列的二维 图像进行边界识别等分割处理，重新还原出被检物体的三维模型，并以表面 的方式显示出来，从而为用户提供具有较强真实感的三维医学图像，便于医 生从多角度、多层次进行观察和分析，并且能够使医生有效地参与数据的处 理分析过程，在辅助医生诊断、手术仿真、引导治疗等方面都发挥着重要作 用。 面绘制方法的处理过程主要包括下面三部分： ( 1 ) 体数据中待显示物体表面的分割； ( 2 ) 通过几何单元内插形成物体表面； ( 3 ) 通过照明、浓淡处理、纹理映射等图形学算法来显示有真实感的图 像，并突出特定信息。 面绘制有多种方法，但从重建过程处理的基本元素的级别上来分，可以 把这些方法分成两大类：体素级重建方法和切片级重建方法。 2 1 1 体素级重建方法 体素级重建方法是指直接从体数据提取物体表面。在物体表面通过的每 一个体素内构造小面片，这些小面片一般是三角片，物体表面就是由许许多 多的小三角片组成的。因为这种重建方法是以体素作为最基本的处理单元， 所以称为体素级重建方法。 该类算法的本质是从一个三维的数据场中抽取出一个等值面，所以也被 9 哈尔滨t 程大学硕十学位论文 称为“等值面提取”算法。等值面生成的最早研究是从医学图像的应用丌始 的。由于医学图像数据是三维正交等距网格，组织三维图像的基本六面体单 元称为体素( v o x e l ) 。基于体素的等值面构造方法主要有c u b e r i l l e 方法， m a r c h i n gc u b e s 方法和d i v i d i n gc u b e s 方法。 l o r e n s e n 等人于1 9 7 8 年提出移动立方体( m a r c h i n gc u b e s ) 方法，是三维 规则数据场等值面生成的经典算法，m c 算法的基本思想是把三维图像相邻 层上的各四个像素组成立方体的八个顶点，逐个处理三维图像中的立方体， 分类出与等值面相交的立方体，采用插值计算出等值面与立方体边的交点。 根据立方体每一顶点与等值面的相对位置，将等值面与立方体边的交点按一 定方式连接生成等值面，作为等值面在该立方体内的一个逼近表示。m c 算 法存在连接方式上的二义性，为解决二义性问题，提出了很多行之有效的方 法。移动四面体法( m a r c h i n gt e t r a h e d r a ) 是在m c 算法的基础上发展起来的， 该方法首先将立方形体元剖分成四面体，然后在其中构造等值面。由于四面 体是最简单的多面体，其它类型的多面体都可以剖分为四面体。 在密集数据场处理时，特别是医学图像上，包含等值的单元数很多，每 个三角面片很小，使每一体素的投影接近于黑色素大小，因此往往是显示精 度而不是体素大小限制了图像精度。一种更有效的方法是直接在显示图像上 显示像素点，这就是d i v i d i n gc u b e 方法的基本思想。d i v i d i n gc u b e 算法逐 个扫描每个体素，当体素的八个顶点越过等值面时，将该体素投影到显示图 像上。如果投影面积大于一个像素的大小，则该体素被分割成更小的子体素， 使子体素在显示图像上的投影为一像素大小，每一子体素在图像空间被绘制 成一表面点。每一表面点由对应子体素的值、对象空间中的位置和梯度三部 分表示，可使用传统的图形学消隐技术，如z b u f f e r 算法，将表面点绘制到 图像空间中。采用绘制表面点而不是绘制体素内等值面片，节省了大量的计 算时间。 2 1 2 切片级重建方法 切片级重建方法是从一组显微切片图像重建微观结构，或从一组扫描的 断层图像重建感兴趣区的三维图像【1 4 - 1 5 】。可以从每个切片或断层中首先提取 感兴趣区的轮廓曲线，再由这一组平面轮廓重建三维物体的形态。该方法的 1 0 哈尔滨t 程大学硕十学位论文 主要步骤是： ( 1 ) 平面轮廓的提取 平面轮廓的提取一般基于物体与背景间灰度或其它属性的差异进行分 割。 ( 2 ) 片间轮廓的对应 一般通过对不同层面上轮廓重叠部分定量比较，或应用一些能够描述轮 廓形状的椭圆拟合、柱体生长等方式进行判断。 ( 3 ) 轮廓拼接 确定了对应的轮廓之后，还需要确定对应轮廓上的对应点。由于人体结 构在不同层面上形态可能有较大差异，因此“对应点”只是相对而言。通常 采用活动轮廓法，典型的有蛇形法、气球法等。一般是在一个轮廓上选取一 定数量的控制点，在另一个轮廓上选取数目相同的活动点。用相同序号点间 欧式距离作为产生外力的来源，作用在活动点上使其发生位移。控制点与活 动点的距离越大，作用力和位移也越大。为使形变过程中整修轮廓拓扑不变， 还在相邻点间加上横向约束力。整个轮廓对应点过程就是类似弹性形变过程。 确定了对应点之后，可以用小三角形或四边形面片将相邻层面上对应点及相 邻点连接起来。这些小三角形连接起来构成了物体表面的大致表示。 ( 4 ) 曲面拟合 小三角形结构只能是物体表面的粗略表示，较为精确的方法可用曲面拟 合。即通过小三角形顶点的曲面代替三角形平面。常用的有三次b 样条插值。 更为精细的有非均匀有理b 样条o n u r j 3 s ) 。 在医学上切片级重建是以断层图像作为处理的对象，首先在每个切片图 像上抽取出物体的轮廓，然后用轮廓拼接构造通过这组轮廓的物体表面。从 一组平行的平面轮廓重建三维形体必须解决四个基本问题： ( 1 ) 轮廓对应问题 确定相邻切片上轮廓的对应关系。由于约束不足，轮廓对应存在很大的 任意性。特别是当切片间距很大时，轮廓之间的错位也会很大，对应问题就 变得越发难以解决。目前还没有完全可靠地解决轮廓对应问题的全自动方法， 人工干预在某些场合还是必不可少的。目前常用的手段有轮廓覆盖检查和基 于全局的广义柱体方法( g e n e r a l i z e dc y l i n d e r ) 。 哈尔滨t 程大学硕十学何论文 ( 2 ) 轮廓拼接问题 用多边形或者三角片连接不同层上的对应轮廓以“最佳地”表示物体表 面，“最佳”的含义是使某种准则最优。关键是确定对应轮廓上点的相互对应 关系，并用多边形构造轮廓间的表面。通过一组平面轮廓的曲面有无穷多个， 为了使重建问题有解，人们引入新的约束，如体积最大、表面积最小、对应 方向一致、跨度最小或者使轮廓点匹配方向最大程度地与质心匹配方向一致 等。轮廓拼接就变成了基于这些优化目标的优化问题。 ( 3 ) 分叉问题 当一个物体在一对相邻断层上的轮廓个数不相等时就发生了分叉情况。 分叉发生时的轮廓对应关系一般无法由分叉发生的局部信息来确定，分叉处 理必须依赖于形体全局的拓扑和几何结构。 ( 4 ) 曲面拟合 根据以上步骤确定的点之间的连接关系和表面拓扑结构，确定最佳的拟 合曲面。一般选用参数曲面拟合拼接得到多边形网格，产生光滑的表面。在 拟合过程中，网格点作为控制点，网格点之间的连接关系决定曲面的拓扑结 构。 在切片级重建中，轮廓对应和拼接以及对分叉情况的处理都是关键性的 问题。这方面的代表性工作是k e p p l e 和b o i s s o n n a t 的“从平面轮廓重建三维 形体”。从理论上来说，虽然引入新的约束除去了原始重建问题的多义性，但 却不能保证重建出的曲面很准确地表示真实物体的表面。另一个更加棘手的 问题是对分叉情况的处理都没有可靠的方法。当三维物体自身出现分叉状念， 在断层图像上表现为相邻断层上的轮廓存在一对多的关系，这时由于约束不 足，轮廓对应的随意性很大。再者，切片级重建方法是把各切片上抽取的物 体轮廓作为输入，但是至今仍没有鲁棒的分割方法能保证边缘轮廓抽取的正 确性，人机交互仍是不可缺少的。尽管切片级重建方法目前存在一些尚未解 决的问题，但是在物体几何结构不是十分复杂的情况下还是能够自动地重建 出物体的表面。 三维面绘制的主要优点是可以采用比较成熟的计算机图形学方法进行显 示( 如裁剪，隐藏面消除和浓淡计算等) ，计算量小，运行速度快，借助于专 用的硬件支持，可以实现实时交互显示的功能。 1 2 哈尔滨一f ：稃人学硕十学何论文 2 2 三维体绘制 2 2 1 体绘制的原理 体绘制是将三维空间的离散数据直接转换为最后的立体图像而不必生成 中间几何图元，其中心思想是为每一个体素指定一个不透明度，并考虑每一 个体素对光线的透射、发射和反射作用。光线的透射取决于体素的不透明度； 光线的发射则取决于体素的物质度，物质度越大，其发射光越强；光线的反 射则取决于体素所在的平面与入射光的夹角关系【1 6 - 2 0 】。 三维空间的离散采样点原本是不具有色彩属性的，只具有灰度值。采样 点的颜色值是在物质分类的基础上人为的赋予的，因而称为伪彩色。体绘制 技术要实现的功能是，计算全部数据点对屏幕像素的贡献，也就是每一个屏 幕像素的光强度值，。由计算机图形学可知，在灰度图像中，表示灰度值； 在彩色图像中，对红、绿、蓝这三个颜色分量会有不同的，值。因此，需要 分别计算这三色各自的，值。为了实现这一功能，需要给出光学模型，用它 来描述三维数据是如何产生、反射、阻挡以及散射光线的，从而计算出全部 采样点对屏幕像素的贡献【2 l 】。 n e l s o nm a x 在“直接体绘制中的光学模型”一文中假定连续分布的三维 数据场中充满着小粒子。由于这些小粒子的发光、吸收、反射等功能使得光 线通过三维数据场时发生了变化。基于这一假设，形成了几种不同的光学模 型【2 2 2 3 】。 2 2 2 体绘制中的光学模型 ( 一) 光线吸收模型 如果假定三维空间中的小粒子可完全吸收所射入的光线，而无反射和发 光功能，那么就构成了一个光线吸收模型，这是光学模型中最简单的一种。 光线吸收模型可用公式( 2 - 1 ) 表示为： i ( s ) = i oe x p ( - fr ( t ) d t ) ( 2 - 1 ) 式中：j 为光线投射方向的长度参数，( s ) 为距离s 处的光线强度，f ( f ) 是光线强度的衰减系数，厶是光线进3 , - - 维数据场时( 5 = 0 ) 的光线强度。 哈尔滨丁程大学硕士学位论文 ( 二) 光线发射模型 一般说来，在三维空间数据场及悬浮状物质的可视化中，三维空间小粒 子均具有吸收、反射或发射光线的功能。但是，在火焰、高温气体等的可视 化中，可以认为粒子是很小的，而且是透明的，但是发出的光线却很强。此 时可以认为小粒子仅具有发射光线的功能。该模型可以用公式( 2 2 ) 表示。 i ( s ) = 厶+ c ) g ( t ) d t ( 2 2 ) 式中：厶为初始光线强度，s 为沿光线射入方向的长度参数，g ( f ) 为光 源项，与反射光无关。 ( 三) 光线吸收与发射模型 将光线吸收和发射模型结合起来，可以更好的反映出光线在充满粒子的 二维空间中的变化。此时，可得： ，( d ) = 1 0e x p ( 一rf o ) 衍) + rg ( s ) e x p ( 一rf ( t ) d t ) d s ( 2 - 3 ) 上式中的第1 项表示，从背景处射入的光线经过数据场的吸收后，到达 观察点的光强；第2 项表示与观察点距离小于或等于u 的所有点光源对观察 点处光强贡献的总和。该模型可用公式( 2 4 ) 表示： z ( d ) = i o t ( d ) + c ( 1 一丁( d ) ) ( 2 4 ) 式中：t ( d ) 表示透明度，则1 一t ( d ) 可表示不透明度，厶为背景光，c 为 所赋的颜色值。公式( 2 4 ) 表示出背景光与所赋颜色值在透明度t ( d ) 作用下的 合成值。 2 2 3 体绘制的过程 体绘制可分为以下五个步骤 2 4 j ，如图2 1 所示。 ( 1 ) 数据获取：m r i 、c t 、s p e c t 、遥感等应用数据以及几何造型； ( 2 ) 数据处理：数据滤波、几何滤波、图像滤波； ( 3 ) 视见变换：数据坐标系真实坐标系屏幕坐标系； ( 4 ) 体素绘制和累加：根据体素的灰度值、梯度值和梯度方向计算体颜 色、不透明度，并且按图像空间或对象空间进行累加； 1 4 哈尔滨工程人学硕士学位论文 ( 5 ) 显示：经视见变换，剪辑得到最终图像。 图2 1 体绘制的步骤 2 3 面绘制与体绘制比较 面绘制和体绘制这两种方法虽然都是对三维数据场的显示，但是由于基 本方法的不同，因而在绘制效果、算法时间、交互性能等多方面都存在着很 大的差另1 j 2 5 。 面绘制的最大特点是采用曲面造型技术，生成数据场等值面的曲面表示， 再采用面光照模型计算出绘制图像。为了构造中间曲面，面绘制必然要通过 阈值或极值的方法提取出中间曲面，也就是说需要一个分割过程。由于目前 的分割基本上还是一种二选一的方法，缺少准确有效的方法，通过分割，许 多三维数据场中的细节信息被丢失，有些分界面被扩大，结果的保真性较差。 与面绘制相比较，体绘制的一个明显特点就在于放弃了传统图形学中体 由面构造的这一约束，而采用体绘制光照模型直接从三维数据场中绘制出各 类物理量的分布情况。等值面、等势面、等数据场的几何面表示方法是研究 者们为了适应图形显示，人为地提出的一种数据场表示形式。体绘制的根本 点就在于放弃了这一做法，它直接研究光线通过体数据场时与体素的相互关 系，无需构造中间曲面，物体中的细微结构和细小变化都可以不同程度地表 现出来，结果的保真性大为提高。由于体绘制的这种直接性，非常符合人的 视见过程，因此保留了大量的细节信息，大大地提高了图像的保真度，这时 图像质量的好坏主要集中在光照模型、绘制过程上。表2 1 是面绘制与体绘 哈尔滨t 程人学硕十学何论文 制的对比。 表2 1 面绘制与体绘制的对比 面绘制 体绘制 内存资源需求小大 可视化操作时间快慢 可视化效果清晰、易丢失整体、保留了 病理细节整体细节 主要缺点边缘提取不准确性噪音重替 应用前景手术仿真诊断 虚拟操作 疗效判断 从结果图像的质量上讲，体绘制要优于面绘制。但从交互性能和算法效 率上讲，至少在目前的硬件平台上，面绘制要优于体绘制。这是因为体绘制 是以体素为操作的基本单位，每个体素都对显示图像产生一定的影响，在没 有特殊硬件的支持下，显示处理速度非常慢，不能满足实时交互的要求。面 绘制采用的是传统图形学的绘制方法，现有的交互算法、图形硬件和图形加 速板能充分发挥作用。在一些对细节要求不多，交互要求较高的环境中，面 绘制发挥着较大的作用。故此，课题采用三维面绘制的结果来实现三维医学 图像的交互功能。 2 4 面绘制中的m a r c h i n gc u b e s 算法 m a r c h i n gc u b e s ( m c ) 算法是w l o r e n s e n 等人于1 9 8 7 年提出来的一种三 维重建方法 2 6 - 2 8 。因为其原理简单，容易实现，因此得到了广泛的应用，被 认为是迄今为止最流行的三维面绘制算法之一。因为它的本质是从一个三维 的数据场中抽取出一个等值面，所以也被称为“等值面提取( i s o s u r f a c e e x t r a c t i o n ) 算法 。 2 4 1m c 算法的基本原理 在m c 算法中，假定原始数据是离散的三维空间规则数据场，用于医疗 1 6 哈尔滨i ：稗大学硕十学何论文 诊断的断层扫描( c t ) 及核磁共振成像( m r i ) 等产生的图像均属于这一类型。 m c 算法的基本思想是逐个处理数据场中的立方体( 体素) ，分类出与等值面 相交的