三维重建与可视化技术的进展#精制知识

1、医学图像三维重建与可视化研究进展20世纪70年代，随着计算机断层成像(Computerized Tomography，CT)、磁共振成像(MRI)等医学成像技术的应用，可以获得一组患者病变部位的二维断层图像，医生可以通过这些二维断层图像分析病变部位，从而使医学诊断和治疗技术取得了长足的进步。然而，这些医疗器械只能提供人体内的二维图像，并且二维断层图像只能表达特定界面的解剖信息。医生只能凭经验从多个二维图像中估计病变的大小和形状，并“构想”病变与其周围组织之间的三维几何关系，给治疗带来困难。在放射治疗的应用中，仅二维断层图像上一些解剖部位的简单坐标叠加不能给出准确的三维图像，导致病变位置的畸变和

2、扭曲。三维重建与可视化技术利用一系列二维图像重建具有直观三维效果的三维图像模型，并进行定性和定量分析。这项技术不仅为医生提供了逼真的3D图像，还允许医生从任何角度观察图像。它还可以从2D图像中获取三维结构信息，提供了大量传统手段无法获得的解剖结构信息，帮助医生分析病变体和周围组织，大大提高了医学诊断的准确性和科学性，从而提高了医学诊断水平。同时，三维重建和可视化技术在骨科手术、放射治疗、手术规划和模拟、解剖教育和医学研究中也发挥着重要作用。首先，本文介绍了医学图像三维重建的几种经典方法，以便对该技术有一个大致的了解；然后，深入研究了一种改进的Marching Cubes算法和基于图谱X射线图像

3、的三维形态重建。1.医学图像三维重建的几种常用方法目前，医学图像三维重建的方法主要有两种：一种是通过用几何单元拟合物体表面来描述物体的三维结构，称为基于表面的表面绘制方法；另一种是将体素直接投影到显示平面的方法，称为基于体数据的体绘制方法，也称为直接体绘制方法。表面绘制方法基于二维图像的边缘或轮廓提取，借助传统的图形技术和硬件实现，而体绘制方法直接应用视觉原理，通过重采样体数据合成三维图像。近年来，混合绘制方法兼有联合表面绘制和体绘制的特点，被称为第三种三维重建方法。(一)表面绘制法表面绘制1是应用于医学图像3D显示的最早技术。它通过平面元素逼近物体表面，是一种表面提取和显示技术。表面绘制的基

4、本思想是提取感兴趣对象的表面信息，然后根据光照和阴影模型使用绘制算法对显示图像进行消隐和绘制。基本过程如图1所示。首先，从一组断层图像构造三维体数据场，然后从常规数据场中的体数据分割出待显示物体的表面，并从体数据中提取一系列相关等值面。然后，构造几何图元进行多边形拟合逼近，通过插值形成物体表面。最后，传统的图形算法，包括照明和纹理映射，被用来显示现实的图形。逼真的图形显示医学图像分割断层图像序列三维体积数据字段图1绘制了一个流程图根据表面绘制重建过程中处理元素的不同层次，表面绘制方法大致可分为两种：体素层次重建方法和切片层次重建方法。(1)体素级重建方法体素级重建方法2，3是在体数据中以体素为

5、单位跟踪表面，并重建小块l)立方体方法：这是最早的体素级重建方法，它使用边界体素的六个面来拟合等值面，即去除边界体素中的重叠面，只有不重叠的面被连接来逼近等值面。2)行进立方体：这是由劳伦森和克莱恩在1987年提出的从三维规则数据场构造等值面的经典方法。它可以用于由医学诊断扫描仪和磁共振成像产生的图像。MC方法的主要步骤如下：首先确定包含等值面的体素，然后找到等值面与体素边界的交点和等值面的法线方向，最后绘制等值面图像。3)行进四列体：它是在蒙特卡罗方法的基础上发展起来的。该方法首先将立方体的体素分成四面体，然后构造等值面。4)划分立方体：仍由劳伦森和克莱恩提出，随着新一代计算机断层扫描和核磁

6、共振设备的出现，二维切片的分辨率不断提高，断层不断变薄，接近并超过了计算机屏幕显示的分辨率。在这种情况下，提出了DC方法。(2)切片级重建方法切片级重建方法4-7也可称为连通轮廓法，这是一种面向多边形的表面绘制方法。其核心是从每幅2D断层图像中提取边界，得到由边界叠加的表面线框表示，然后进行表面重建。通常，也使用三角形贴面技术，并且使用三角形来连接层之间的轮廓。最后，对表面进行着色，以获得具有三维的三维表面。该方法的主要步骤如下：步骤1:提取平面轮廓。平面轮廓的提取通常是基于物体和背景之间灰度或其他属性的差异。步骤2:切片之间轮廓的对应。切片之间轮廓的对应是任意的。一般来说，可以通过定量比较不

7、同层上轮廓的重叠部分，或者应用椭圆拟合和圆柱体生长等描述轮廓形状的方法来判断。步骤3:轮廓缝合。在确定相应的轮廓后，需要确定相应轮廓上的相应点，通常采用主动轮廓法。在确定相应的点之后，相邻层上的相应点和它们的相邻点可以通过小的三角形或四边形面片来连接，并且这些小的三角形面片被连接以形成物体表面的粗略表示。步骤4:曲面拟合。小三角面片的结构只能是物体表面的粗略表示，而更精确的方法可以是曲面拟合，即用穿过小三角顶点的曲面代替三角平面。三次B样条插值是常用的，而非均匀有理B样条(NURBS)更为精细。切片级重建必须解决以下四个问题：l)轮廓对应问题：确定相邻切片上轮廓的对应关系；2)等高线镶嵌问题：

8、用多边形或三角形连接不同图层上的相应等高线，以最佳方式表示对象表面。关键是确定相应轮廓上各点之间的对应关系，用多边形构造轮廓间的曲面；3)分叉：当一对相邻断层上的物体轮廓数量不相等时，就会发生分叉。在轮廓对应一对多关系的情况下，确定曲面的多边形拼接；4)曲面拟合问题：根据上述步骤确定的点与曲面拓扑结构的连接关系，确定最佳拟合曲面。在切片级重建方法中，轮廓对应和拼接是关键问题。虽然许多人都致力于这些问题的研究，但至今还没有完全解决。(3)两种曲面绘制方法的比较当原始图像分辨率较高时，体素级重建方法比切片级重建方法更可靠有效。然而，当原始图像的分辨率较低时，体素级重建方法的精度较低，切片级重建方法

9、可以更好地构建光滑表面。一般来说，体素级重建方法不考虑分叉问题，全局拓扑结构由局部拓扑处理决定，因此比切片级重建具有更高的准确性和可靠性。然而，体素级重建方法的结果产生大量的几何图元，并且即使对于具有非常简单的几何结构的对象，也占用大量的存储空间。因此，在保证一定精度的前提下，减少几何图元的数量成为体素级重建方法中一个值得研究的问题。切片级重建方法可以实现大规模数据压缩，但轮廓对应存在模糊性，特别是在分叉情况下，轮廓对应的不确定性更为严重。两种方法都有各自的优缺点，所以我们不能简单地说哪种方法更好，而是根据具体情况来选择。(2)体绘制方法与表面绘制不同，体绘制算法认为体数据域中的每个体素都有一

10、定的属性(透明度和亮度)，可以通过计算所有体素对光的影响来获得二维投影图像。因此，体绘制可以利用模糊分割的结果，甚至可以直接进行体绘制而不进行分割。该方法的优点是可以保留三维医学图像中的细节信息，但缺点是增加了计算开销。即使在硬件图形加速支持的机器上，体绘制也比表面绘制慢得多。由于体绘制的中心思想是给场景中的每个体素分配一个不透明度，因此有必要考虑每个体素对光的透射、反射和折射。图2可用于说明体绘制算法的本质。一般来说，三维空间中分布在离散网格点上的数据是通过后三维连续数据场的插值运算得到的。图形设备屏幕上的二维图像是由存储在帧缓冲器中的二维离散信号形成的。因此，的功能是将离散分布的3D数据场

11、按照一定的规则转换成图形显示设备的帧缓冲器中的2D离散信号，即生成每种像素颜色的R、G、B值。离散三维数据场三维空间中的连续数据场屏幕二维图像缓冲器中的二维离散信号图2体绘制流程图断层扫描、有限元分析或随机采样体绘制算法图形硬件重建根据绘制顺序的不同，体绘制方法主要分为两类：图像空间顺序的体绘制方法和对象空间顺序的体绘制方法。(1)基于图像空间的体绘制方法体射线追踪法该方法从屏幕上的每个像素点开始，按照设定的视点方向，发出一条光线，光线穿过三维数据场的体素矩阵，沿着这条光线选择k个等距采样点。将离采样点最近的8个体素的颜色值和不透明度值用于3D线性插值，得到采样点的不透明度值和颜色值。在计算光

12、线上所有采样点的颜色值和不透明度值后，每个采样点的颜色和不透明度可以通过两种不同的方法从后到前或从前到后进行组合，从而计算出屏幕上像素点的颜色值。主要步骤如下：为每一束光线做对于与射线相交的每一个体素计算体素对图像空间中相应像素的贡献(2)按对象空间顺序的体绘制方法体单位投影法这种算法首先根据函数值计算每个数据点的不透明名称和颜色值，然后根据给定的观察平面和观察方向将每个数据点的坐标从对象空间转换到图像空间。根据选择的照明模型，计算每个数据点的照明强度。然后，根据所选择的重构核函数，计算三维数据点的光照强度到二维图像空间的映射关系，得到二维像素受每个数据点影响的范围及其对每个像素点光照强度的贡

13、献。最后，合成不同数据点对同一像素点的贡献。体积元素投影法的主要步骤：对于每个体素或单位d0对于观察平面的投影区域中的体素的每个像素d0计算像素点获得的光照强度(3)两种体绘制方法的比较这两种方法都有各自的特点。体射线追踪法需要将当前所有的体数据存储在内存中，这就需要很高的内存要求。体积单位投影法只需要当前单位的体积数据。根据对混叠的分析，由于点采样用于体射线追踪法，混叠只能通过分布式射线追踪来消除。相对而言，体元投影法可以达到解析解的水平。本质上，图像质量的关键在于所采用的重构核函数的准确性。高精度重采样也可以大大提高光线跟踪的质量。然而，应当注意，对象空间通常比图像空间大得多，因此体积元素

14、投影法的计算时间相对大得多。然而，体射线追踪很难并行化，而体单位投影的并行处理要容易得多。(3)混合绘图法混合绘制方法结合了表面绘制和体绘制的特点，可以同时进行表面绘制和体绘制。它的特点是保留原始数据表示，避免由变换引起的混淆和变形。具体来说，该方法有两种不同的混合绘制方法：一种是扩展传统体绘制的光线跟踪方法，使其也能跟踪几何表面数据，即混合光线跟踪方法；二是分别绘制几何数据和体积数据，并将结果与深度分类算法相结合，即组合绘制法。Levoy提出的混合光线跟踪算法是第一个将多边形光线跟踪和体绘制光线跟踪相结合的混合光线跟踪算法。对于从视点穿过屏幕像素的每条光线，沿光线在等步长位置采样体积数据，并

15、插值周围体素的值，以计算采样点的颜色和不透明度。同时，对于每个光线和多边形的所有交点，每个交点的颜色和不透明度通过使用具体的照明模型(例如Phong)来计算。影响射线的贡献数量等于沿射线的体积样本数量以及射线与多边形之间的交点数据。它是按深度分类的，所有的贡献点都是在光线前进的方向上从前到后组合的。因为光线跟踪是一个点采样过程，所以容易出现混叠和变形。为了提高生成图像的质量，可以采用以下两种策略：一是根据体采样不透明度的衰减计算得到的多边形渲染图像来决定是否过采样；第二种是用体积和多边形的相交类型来改变沿射线的采样位置。通过这两种技术，最终图像的质量可以大大提高，但计算开销也会增加。组合绘制方

16、法保持了表面绘制和体绘制的相对独立性，其绘制过程的相对独立性非常重要，因为体绘制的性能远不如当前工作站上的表面绘制。应用组合体绘制可以充分发挥现有表面绘制模块和现有图形硬件的性能，从而提高混合绘制的速度和质量。古德塞尔的工作是第一次尝试采用这种技术，并提出将不同的渲染算法应用于其分子结构渲染的不同数据类型。具体来说，首先绘制多边形几何数据，然后绘制体积数据。Walsum提出了另一种类似的算法，首先绘制多边形表面，然后绘制体数据，并利用表面绘制的信息加快体绘制过程。Fruhauf的组合渲染方法解决了半透明多边形几何表面的组合渲染问题。Fruhauf提出与图像空间单位表相结合，而不是简单地使用Z-

17、Buffer。使用组合渲染技术，可以将各种图形单元(如符号、线段、面片、体数据和图像数据)组合起来进行渲染，从而增强最终图像的表现力，这在许多场景中是必不可少的。二、文献研究(1)一种用于医学图像重建的改进MC算法1、基本思路MC算法是一种广泛使用的表面绘制方法。它的原理简单，易于实现，但也有一些缺点：(1)需要花费大量的时间，按顺序检测每个立方体效率不高；(2)生成的三角形数量巨大，大大降低了重建速度；(3)三角面片构成的等值面的拓扑一致性无法保证。因为该算法对每个立方体都一视同仁，所以可以采用计算机并行处理技术的原理来克服缺点(1)；因为边缘折叠静态方法(即合并边缘的两个端点)可以简化网格并且几乎不影响三维重建的质量，所以它可以用来克服缺点(2)；因为体素和等值面之间的交线通常是双曲线，双曲线的渐近原理可以用来避免缺点(3)的发生。此外，增加了滤波模块和图像分割模块，可以消除原始