第七章 虚拟内窥镜

第七章虚拟内窥镜虚拟内窥镜技术（VirtualEndoscopy）是虚拟现实技术在现代医学中的应用。它利用医学影像作为原始数据，融合图像处理、计算机图形学、科学计算可视化、虚拟现实技术，模拟传统光学内窥镜的一种技术。它克服了传统光学内窥镜需把内窥镜插入人体内的缺点，是一种完全无接触式的检查方法。虚拟内窥镜的研究旨在为医生提供诊断依据，还可应用于辅助诊断、手术规划、实现手术的精确定位和医务人员的培训等。7.1医用内窥镜技术和虚拟内窥镜的引入医用内窥镜技术1、用来直接观察人体器官内部腔体的装置称为内窥镜，简称内镜2、内窥镜可分为硬管式和软管式两种，又称硬性内窥镜和软性内窥镜。3、硬性内窥镜包括传像、照明、气孔三大部分。传像部分分为物镜、中继系统、目镜组成传导图像。照明部分采用冷光源用光导纤维穿入境内的方法。气孔部分作用为送气、送水、通活检钳。4、用纤维光束传像和导光或用CCD传导图像的内窥镜成为软性内窥镜。软性内窥镜又可分为纤维内镜和电子内镜纤维内镜构造：先端部、弯曲部、插入部、操作部、导光软管、导光连接部、目镜。整套纤维镜包括：冷光源、纤维镜、电视系统监视器（另配）。电子内窥镜是以CCD代替导像束传导图像信号，再经图像处理中心处理转换成视频信号。CCD固体摄像器件叫CCD图像传感器，其构造是在硅衬底上排列着许多光敏二极管（像素），将其上的成像光变成电信号，然后依样传送出去得到图像信号。电子内窥镜构造与纤维内镜构造基本相同，简单可理解为用CCD代替了导像束，很多功能是纤维内镜不能企及的。整套电子内镜包括：冷光源、图像处理中心、监视器、电子胃肠镜、推车组成。内窥镜及虚拟内窥镜的发展硬式内镜阶段（1806～1932）：硬式内镜由德国人PhilippBozzini首创，由一花瓶状光源、蜡烛和一系列镜片组成，主要用于膀胱和尿道检查。1895年Rosenhein研制的硬式内镜由3根管子呈同心圆状设置，中心管为光学结构，第二层管腔内装上铂丝圈制的灯泡和水冷结构，外层壁上刻有刻度反应进镜深度。1911年Elsner对senhein式胃窥镜作了改进，在前端加上橡皮头做引导之用，但透镜脏污后便无法观察成为主要缺陷，尽管如此，Elsner式胃镜1932年以前仍处于统帅地位。半屈式内镜阶段（1932～1957）：Schindler从1928年与优秀的器械制作师GeorgWolf合作研制胃镜，最终在1932年获得成功，定名为Wolf-Schinder式胃镜。之后，许多人对其进行了改造，使之功能更为齐全，更为实用。光导纤维内镜阶段（1957年至今）：1954年，英国的Hopkins和Kapany发明了光导纤维技术。1957年，Hirschowitz及助手在美国胃镜学会上展示了自行研制的光导纤维内镜。60年代初，日本Olympas厂在光导纤维胃镜基础上，加装了活检装置及照相机，有效地显示了胃照相术。1966年Olympas厂首创前端弯角机构，1967年Machida厂采用外部冷光源，使光量度大增，可发现小病灶，视野进一步扩大，可以观察到十二指肠。近10年随着附属装置的不断改进，如手术器械、摄影系统的发展，使纤维内镜不但可用于诊断，且可用于手术治疗。视频内镜时代（1983年以后）：1983年WelchAllyn公司研制成功了电子摄像式内镜。该镜前端装有高敏感度微型摄像机，将所记录下的图像以电讯号方式传至电视信息处理系统，然后把信号转变成为电视显像机上可看到的图像。意大利科学家近日研制出一种机器人内窥镜，能够像绦虫一样蠕动，用来进行结肠内部检查。新发明的这个机器人叫“埃米尔”，可以像尺蠖一样缩短和伸展地移动。“埃米尔”身上装有一个微型摄像机和小发光二极管，用来寻找是否有癌细胞。它由计算机控制，身上有导线与微机相连。目前内窥镜技术不仅可以用于诊断还可用于手术，避免了病人手术时许多不必要的痛苦，内窥镜技术在现代医学中占有重要地位。尽管如此，内窥镜技术在实施时无一例外地要往病人体内插入内窥镜体，这无疑会给病人带来许多痛苦和不适，并且可能会带来较多不良后果，如出血、穿孔、感染等等，个别敏感体质的人甚至因身体的不适而无法进行检查。

虚拟内窥镜技术（VirtualEndoscopy-VE）是虚拟现实技术在现代医学中的应用。它利用医学影像作为原始数据，融合图像处理、计算机图形学、科学计算可视化、虚拟现实技术，模拟传统光学内窥镜的一种技术。VE克服了传统光学内窥镜需把内窥镜体插入人体内的缺点，是一种完全无接触式的检查方法，还可应用于辅助诊断、手术规划、实现手术的精确定位和医务人员的培训等。从它出现到现在，该研究领域越来越受到研究人员的关注。VE的研究是近十年的事情，在医学成像领域它是一种新兴的技术，主要起源于数字医学成像如3DCT和3DMRI图像的可视化，特别是由于1994年VisibleHuman数据集的出现，使研究取得了较大的发展。

VE的发展大体可分为三代。第一代VE运用几何模型，生成解剖结构的3D几何形状，附加一些简单的交互操作，生成简单的飞行效果，产生较为粗糙的动画效应，在医护人员的教育和培训中得到应用。随着计算机性能的提高，VE发展到第二代，使用高分辨率的可视化人体数据如CT、MRI或其它图像数据，能够产生更逼真的图像，大大增加了VE的真实性、视觉逼真性和临床实用性，当前正处于第二代研究阶段。未来第三代VE在考虑人体器官组织的集合形状的同时，将加入不同解剖组织的物理特性和生物特性，将生成一个在物理上、生理上和系统上都完全逼真的VE系统。A虚拟结肠内窥镜图像B光学结肠内窥镜图像结肠对应的CT图像虚拟内窥镜的应用目前，VE的应用主要集中在那些具有空腔结构的器官上如气管、支气管、食管、胃、结肠、血管、内耳、心脏等等。至今，VE仍处于初期临床试验阶段。虚拟内窥镜作为一种全新的医学检查、诊断方法，节省了使用镇静剂、插入探测器、住院治疗和术后观察等措施，降低了检查的复杂性、危险性和成本。从理论上讲，种人体内部结构都可以使用这种技术来进行模拟检查。虽然目前的应用仅局限于教学、培训和设计治疗方案等少数领域且处于初级研究阶段，但随着计算机和医学成像技术的飞速发展，虚拟内窥镜研究不仅有重要的理论意义，而且有着广阔的应用前景。7.2虚拟内窥镜中体数据的可视化虚拟内窥镜系统的主要技术组成——处理过程虚拟内窥镜系统的处理过程 数据采集、图像的组织分割、三维重建、路径规划、实时绘制

数据采集由CT或MRI等设备采集2D的医学切片图像，经3D重建后的图像质量主要取决于数据采集的方式和分辨率，分辨率又由切层厚度和矩阵大小决定。气管、支气管、胃、肠系统的检查首选螺旋CT，可以缩短采集时间，从而减少由于病人呼吸和移动造成的伪影，还可以在不增加曝光时间的情况下提供重叠的图像资料。3D重建要求层间的数据集具有连贯性，操作者可以改变图像重叠的程度，以获得较好的3D图像效果。原始的图像分辨率越高，重建的3D图像效果越好。螺旋CT虚拟内窥镜的最佳扫描参数目前还无定论，但最小的电子束流准直可获得最大的X线分辨率，最慢的检查床推进速度和重建片层最大程度的重叠可进一步提高图像的清晰度。另外，增加千伏电压数和毫安数可以增加信噪比，但同时也会增加患者的辐射剂量，因此需要综合外科手术对清晰度的要求，选择最合适的扫描参数。在神经系统内窥镜研究中一般选择MRI。因为头部较固定，可以较长时间的采集数据，得到高分辨率的图像。在过去的十几年中MR技术有了很大发展，成像序列方法、磁场强度和梯度线圈工艺得到了改进，使得MRI可以在短时间内采集到高清晰度的图像。目前还处于实验阶段的高磁场MRI所产生的图像具有惊人的高清晰度，为虚拟内窥镜的发展和应用奠定了基础。图像的组织分割由于实际的医学图像数据集CT、MRI等提供的断层切片图像除了包含特定组织外，还包含了其它的信息，必须将特定的组织、器官分割出来才能实现3D重建。分割是指区分相邻组织结构特征的过程。目前主要使用手工、半自动、自动分割三种方法。由于医学图像的复杂性，完全自动并精确地实现组织的分割是非常困难的，而手工分割的工作量太大，因此使用医学知识并结合快速精确的技术半自动地实现组织分割是比较现实的，也是目前常用的方法。发展自动分割技术是发展虚拟内窥镜技术的关键。组织分割前图像组织分割后的图像三维重建三维重建是将2D的切片数据集重新构造成3D实体的过程。虚拟内窥镜系统的3D重建有表面重建和体重建两种方法.表面重建是由切片数据集提供的数据中抽取出等值面，由点、线、构造出对象的几何表面，然后再由传统的图形学技术实现表面绘制。通过抽取等值面构造的表面模型，会丢失三维数据场中的细节信息，有些分界面也有可能被扩大，也就是说保真性较差。因此，虽然通过表面模型可以有效的绘制三维体的表面，但缺乏内部信息的表达。

体积重建实际上不通过构造中间对象，直接由3D数据本身重现实体。3D数据中的一个数据作为一个表示实体的基本单元－体素，每一个体素都有颜色、不透明度、梯度等相应的属性。首先根据数据点值对每一体素赋以不透明度（α）和颜色值（R、G、B）；再根据各体素点所在点的梯度以及光照模型计算出各数据点的光照强度；然后根据体光照模型，将投射到图像平面中同一个象素点的各体素的半透明度和颜色值从前向后或者从后向前组合在一起，形成最终的结果图像。根据不同的绘制次序，体绘制方法目前主要分为两类：以图像空间为序的体绘制算法（光线投射法）以对象空间为序的体绘制算法（单元投影法）。路径规划在采用体重建绘制结果图像过程中涉及巨大的数据量，考虑到实时性要求，一般是首先进行路径规划，抽取出对应空腔结构组织器官的中心路径，然后按照这条关键路径进行漫游。结肠对应的中心路径图支气管对应的中心路径实时绘制按照3D重建的结果，模拟虚拟摄像机在人体组织器官内部移动产生的效果，根据相应的视点位置、视线方向实时显示出对应的景象，这是实时绘制的主要任务。虚拟内窥镜系统的硬件组成总体上说，虚拟内窥镜系统的硬件组成主要有输入设备、主计算机、显示设备三部分组成。1.扫描设备扫描设备为主计算机提供高分辨率的医学图像原始数据，通常为计算断层造影(CT)、磁共振成像(MRI)、磁共振血管造影(MRA)、超声波成像(US)、正电子发射计算断层造影(PET)、单光子发射计算断层造影(SPECT)等设备。2.输入设备输入设备为操作者提供与虚拟系统交互的工具，来模拟光学内窥镜在人体组织内部的移动，是虚拟内窥镜系统的入口。输入设备需要实时获得操作者的动作，向系统报告。在虚拟内窥镜系统中，输入设备无论是在使用自由度和空间活动范围上都应该模拟光学内窥镜前端摄像机的动作。3.主计算机主要是提供图像预处理、构造模型、计算漫游路径三部分功能。（1）图像预处理：主要是从采样设备获取的原始图像数据提取出特定的组织，如食管、气管、支气管、胃、结肠、血管等，还包括对原始图像的滤波等操作。（2）构造模型：建立真实感绘制所需要的模型。如果采用面绘制方法，就需要抽取特定组织的表面，建立相应的表面模型；如采用直接体绘制方法，则需对特定组织的体素赋以颜色、不透明度等信息，进行直接体绘制。（3）计算漫游路径：操作人员可以选取漫游方式：自由漫游或按规定路径漫游。自由漫游需要在漫游过程中进行实时地碰撞检测；按规定路径漫游需要事先规划漫游路径。虚拟内窥镜系统的软件组成虚拟内窥镜系统是通过CT、MRI等设备获取人体的2D切片数据，应用体数据可视化技术，生成器官的3D模型，模拟医学内窥镜，在数字化的器官内部漫游，以观察器官内部状况。由于在体绘制技术上的不同方法：面绘制和直接体绘制技术,虚拟内窥镜技术在实现上也有区别：基于面绘制的和基于直接体绘制的虚拟内窥镜技术。

面绘制也称为表面绘制是最早应用医学图像三维显示技术，它通过平面元来近似和逼近显示物体表面，因而称为表面绘制。具体做法是：在数据集中跟踪和提取等值面，然后将等值面分解为足够小的面片，以保证表面有足够的光滑，最后采用计算机的图形学技术和方法加以显示。体绘制是一类不需要构造中间几何图元的直接使用三维空间的标量场或矢量场采样的可视化方法。基于面绘制的虚拟内窥镜技术一般基于面绘制的虚拟内窥镜的过程如图1－10所示。首先从CT、MRI等设备获取2D切片数据。在建立几何模型之前，要进行一系列的图像预处理。预处理过程包括滤波、插值、分割等。滤波用于平滑或增强图像的信息内容；插值是由于CT或MRI等设备提供的都是断层数据，而体绘制需要在三个方向上密度相同的均匀体数据；分割是在图像数据中抽取特定的组织，切除不感兴趣的数据。抽取出相