苏第七章医学图像可视化技术及应用.

1、任务：任务：二维二维早期探索阶段（1970s - 1980s） 主要针对心脏、肝脏、胚胎、神经等器官的三维重建；表面重建的算法：轮廓线提取算法、轮廓线对应算法、三角片镶嵌算法、曲面拟合算法等等； 基础算法研究阶段（1990s） 基于体元的表面绘制算法：Cuberille，Marching ； 直接体绘制算法：Raycasting，Splatting，V-Buffer； 及各种加速算法； 实用系统研究阶段(90年代末) 外科手术模拟系统、放射治疗模拟、虚拟内窥镜、整形外科、解剖模拟。3、应用领域、应用领域诊断医学： 在临床核医学研究中，CT图象、磁共振图象和超声图象的广泛应用是诊断的有力的手段。

2、应用先进的可视化技术对这些图象进行处理、构造三维实体模型以及对其进行剖切显示，有助于了解复杂解剖特征的空间定位和随着时间所发生的变化。 整形与假肢手术规划 可视化技术在整形外科中的应用是假肢设计（造型）。例如，在做髋骨更换手术前，需要根据病人的个体特征正确地设计所需髋骨假肢的外形，才能减少因假肢形状差异造成手术失败的概率。首先根据CT或MR图象重构假肢的精确三维模型，交工厂制作，然后进行手术更换。 放射治疗计划 利用放射性射线杀死或抑制恶性肿瘤需要事先做出仔细规划，包括剂量计算和照射点定位。如果辐射定位不准或剂量不当，轻则造成治疗效果不佳，重则危及周围正常组织。根据医学图象重建病人病灶区的解剖

3、结构，并作出精确定位和剂量计算已是实际可行的。 脑结构图及其功能研究 由于脑的复杂性，纯粹采用神经生物学家所常采用的简化方法无法对之作出进一步了解。可视化技术在通过组织切片、医学成象仪器（如超声波、CT、MR、PET等）、药物吸收和神经生理实验等手段获取脑的数字图象，并进行特征提取和脑图分析，重构三维脑的结构图和功能图，以适当的三维显示方式显示出来。三维可视化的分类三维可视化的分类w曲面重建曲面重建CMPR是常规是常规MPR的一种引伸方法，的一种引伸方法，能使复杂的三维结构有效地显示在一个单一能使复杂的三维结构有效地显示在一个单一的展开的断面上，避免了与扫描平面不平行的展开的断面上，避免了与扫

4、描平面不平行的结构或弯曲的结构缩短和重叠。的结构或弯曲的结构缩短和重叠。二维分割二维分割三维分割三维分割医学图像的三维重建就是根据输入的医学图像的三维重建就是根据输入的断层图像序列，经分割和提取后，构建断层图像序列，经分割和提取后，构建出待建组织的三维几何表达。这种三维出待建组织的三维几何表达。这种三维几何表达的模型最常用的就是表面模型。几何表达的模型最常用的就是表面模型。表面模型一般以平面片特别是三角面片表面模型一般以平面片特别是三角面片来逼近表示，对于封闭的表面，构成一来逼近表示，对于封闭的表面，构成一多面体，这时也称多面体模型。多面体，这时也称多面体模型。早期早期CT切片间距较大，因此早

5、期的主要切片间距较大，因此早期的主要研究工作集中在轮廓连接（研究工作集中在轮廓连接（Contour Connection）或称从平面轮廓重建形体）或称从平面轮廓重建形体（Shape from Planar Contours），其中），其中具有代表性的是具有代表性的是Keppel在在1975年提出的用年提出的用三角片拟合物体表面的方法。这类重建方三角片拟合物体表面的方法。这类重建方法需要解决断层图像上的轮廓提取、层之法需要解决断层图像上的轮廓提取、层之间的轮廓对应和物体外表面的拟合等问题。间的轮廓对应和物体外表面的拟合等问题。随着新一代随着新一代CT和和MRI设备出现，切片间距设备出现，切片间距

6、及切片内像素间距都可以达到很小，出现及切片内像素间距都可以达到很小，出现了基于体素级的重建方法。了基于体素级的重建方法。用用MC方法构造的组织或器官的表面模型一般都有数方法构造的组织或器官的表面模型一般都有数十万甚至上百万个三角片，用十万甚至上百万个三角片，用MT方法构造的表面模型方法构造的表面模型三角面片的数量更多。示例图的重建模型的三角面片数三角面片的数量更多。示例图的重建模型的三角面片数为为696889。模型的三角面数量巨大，占据大量的存储。模型的三角面数量巨大，占据大量的存储容量。更重要的是难以实现对模型的实时交互绘制，因容量。更重要的是难以实现对模型的实时交互绘制，因为数十万的三角面

7、片，即使用最简单的为数十万的三角面片，即使用最简单的Phong光照模光照模型进行绘制，也需要数秒的时间。重建组织的数量增加，型进行绘制，也需要数秒的时间。重建组织的数量增加，三角面的数量巨增，难以实现模型的旋转、平移、缩放三角面的数量巨增，难以实现模型的旋转、平移、缩放和剖切等实时交互操作。因此，要提高实时交互能力，和剖切等实时交互操作。因此，要提高实时交互能力，就必须对模型进行网格简化。就必须对模型进行网格简化。网格简化也是虚拟现实中细节层次网格简化也是虚拟现实中细节层次（Level of Detail，简称，简称LOD）模型的）模型的主要研究内容，其思想是在场景中近景主要研究内容，其思想是

8、在场景中近景用精细模型而远景用粗略模型表达，以用精细模型而远景用粗略模型表达，以实现实时绘制的需要。早在实现实时绘制的需要。早在70年代年代Clark就提出了层次化模型的思想。就提出了层次化模型的思想。1、面绘制、面绘制2、体绘制、体绘制我们这里说的我们这里说的“绘制绘制”一词，英文是一词，英文是“Rendering”。还经常被译做。还经常被译做“描绘描绘”、“渲染渲染”、“重建重建”或或“显示显示”等。它的等。它的比较严格定义应该是：实际比较严格定义应该是：实际3D3D物体的物体的2D2D照相写真式表示。属于照相写真式表示。属于3D3D物体在物体在2D2D平面平面真实感投影，二者有严格定量关

9、系及视觉真实感投影，二者有严格定量关系及视觉真实感。真实感。表面表面重建重建皮肤皮肤灰度灰度阈值阈值HU=500表面表面重建重建皮肤皮肤HU=500骨头骨头HU=1150表面表面重建重建透明显示透明显示皮肤皮肤HU=500表面表面重建重建透透明显示明显示皮肤皮肤HU=500骨骼骨骼HU=1150阻光度阻光度=0.8阻光度阻光度=0.6阻光度阻光度=0.4阻光度阻光度=0.25 在自然环境和计算模型中，许多对象和在自然环境和计算模型中，许多对象和现象只能用三维数据场来表示。与传统的计现象只能用三维数据场来表示。与传统的计算机图形学相比，对象体不再用几何曲面或算机图形学相比，对象体不再用几何曲面或

10、曲线表示的三维实体，而是用体素（曲线表示的三维实体，而是用体素（Voxel）作为基本造型单元。对于每一体素，不仅其作为基本造型单元。对于每一体素，不仅其表面而且其内部都包含了对象信息，这是仅表面而且其内部都包含了对象信息，这是仅用曲线和曲面等几何造型方法所无法表示的。用曲线和曲面等几何造型方法所无法表示的。直接由三维数据场产生屏幕上的二维图象，直接由三维数据场产生屏幕上的二维图象，称为体绘制算法。这种方法能产生三维数据称为体绘制算法。这种方法能产生三维数据场的整体图象，包括每一个细节，并具有图场的整体图象，包括每一个细节，并具有图象质量高、便于并行处理等优点。体绘制不象质量高、便于并行处理等优

11、点。体绘制不同于面绘制，它不需要中间几何图元，而是同于面绘制，它不需要中间几何图元，而是以体素为基本单位，直接显示图像。以体素为基本单位，直接显示图像。体绘制的目的就在于提供一种基于体素的绘体绘制的目的就在于提供一种基于体素的绘制技术，它有别于传统的基于面的绘制，能制技术，它有别于传统的基于面的绘制，能显示出对象体的丰富的内部细节。显示出对象体的丰富的内部细节。体光照模型 体光照模型是研究直接体绘制的基础。从物理意义上讲，当光线穿过体素与光线遇到一曲面时，会发生不同的光学现象。前者如光线穿过云层会发生吸收、散射等现象；后者如光线射到桌面上，有漫射、反射、透射等现象。不同的物理背景决定了体光照强

12、度的计算与面光照强度的计算有不同的模型和方法。体光照模型就是研究光线穿过体素时的变化，将光线穿过体素时的物理现象用数学模型来描述。在目前的体绘制中，采用得较多的有： 源-衰减模型（Source attenuation） 变密度发射模型（Varying density emitters） 材料分类及组合模型（Classification and mixture） 源-衰减模型最早由Jaffery提出。该模型为体数据场中的每一体素分配一个源强度和一个衰减系数，每一个体素作为一个质点光源，发出的光线在数据场中沿距离衰减后被投影到视平面上，形成结果图象。 当光照射到物体表面时，光线可能被吸收、反射和透

13、射。被物体吸收的部分转化为热，反射、透射的光进入人的视觉系统，使我们能看见物体。 为模拟这一现象，建立一些数学模型来替代复杂的物理模型，这些模型就称为明暗效应模型或者光照明模型。三维形体的图形经过消隐后，再进行明暗效应的处理，可以进一步提高图形的真实感。 计算某一点的光强度的模型。 光源 法向量 入射光 反射光 视线 入射光折射光2112sinsinidstvIIIII0 . 1aI4 . 0aK8 . 0aK2, 0cosdpdKIIpIdKdI)(NLKIKIIIIdpaade光滑平面I = Ip K scosna镜面nspsKIIcosnspsRVKII)(或pI)()(nsdpaasd

14、eRVKNLKIKIIIIIIe=0.75，Id=0.5 Is=0.25Ie=0. 5，Id=0.5 Is=0.25Ie=0.75，Id=0.75 Is=0Ie=0.75，Id=0 Is=0.75Ie=1，Id=0 Is=0.9体绘制方法 体光照模型提供了体数据中各数据点光照强度的计算方法，体绘制方法提供的是二维结果图象的生成方法。 首先根据数据点值对每一数据点赋以透明度t和颜色值（R,G,B），再根据各数据点所在点的梯度及光照模型计算出各数据点的光照强度，然后将投射到图象。 平面中同一象素点的各数据点的透明度和颜色值综合在一起，形成最终的结果图象。 根据不同的绘制次序，体绘制可以分为两类 以

15、图象空间为序的体绘制方法-体光线跟踪法 以对象空间为序的体绘制方法-体单元投影法 体光线跟踪法 - 光线投射法光线投射法(Ray Casting) 以图象空间为序的体光线跟踪绘制算法是从屏幕上的每一象素点出发，根据视点方向，发出一条射线，这条射线穿过三维体数据场。沿这条射线选择K个等距采样点，由距离采样点最近的八个体素的颜色值和不透明度值做三线性插值，求出该采样点的颜色值和不透明度值。而后可以采用由后到前或由前到后的方法，将射线上每一采样点的颜色和不透明度组合起来，计算出屏幕上该象素点对应的颜色值。 光线跟踪算法的主要步骤是： For 每条光线 Do For 每个与光线相交的体素 Do计算该体

16、素对图象空间对应象素的贡献。根据光子传输理论根据光子传输理论,有以下体显示方程有以下体显示方程:体单元投影法 以对象空间为序的体绘制方法首先根据每个数据点的函数值计算该点的不透明度及颜色值， 然后根据给定的视平面和观察方向，将每个数据点的坐标由对象空间变换到图象空间； 接着根据选定的光照模型，计算出每个数据点处的光强；然后根据选定的重构核函数计算出从三维数据点光强到二维图象空间的映射关系，得出每个数据点所影响的二维象素的范围及对其中每个象素点的光强的贡献； 最后将不同的数据点对同一象素点的贡献加以合成。 单元投影算法的主要步骤： For 每一体素或单元 DoFor 该体素在视平面投影区域内的每

17、一象素 Do计算象素点获得的光强。 面绘制面绘制最大的特点是采用曲面造型技术，生成数据场等值面的曲面表示，再采用面光照模型计算出绘制图象。面绘制与体绘制比较 体体绘制绘制特点就在于放弃了传统图形学中体由面构造的这一约束，采用体绘制光照模型直接从三维数据场中绘制出各类物理量的分布情况。等值面、等势面、等数据场的几何面表示方法是研究者们为了适应图形显示，人为地提出的一种数据场表示形式。体绘制的根本点就在于放弃了这一做法，直接研究光线穿过三维体数据场时的变化，得到最终的绘制结果，所以有时体绘制也被称做直接体绘制。由于体绘制的这种直接性，非常符合人的视见过程，因此保留了大量的细节信息大大地提高了图象的保真度，这时图象质量已不在以来面地分割如何，而是集中在光照模型、绘制过程上。 面绘制要构造中间曲面表示，必然要通过域值或极值等方法提取出中间曲面，这就是被称为分割（Segmentation）的过程。由于目前的分割基本上还是一种二者择一的方法，缺少准确有效的方法。通过分割，许多三维数据场中的细节信息被丢失，有些分界面被扩大，结果的饱真性较差。体绘制由于直接研究光线通过体数据场时与体素