医学图象三维重建及可视化技术研究课件

医学图象三维重建及可视化

技术研究

秦绪佳

浙江大学CAD＆CG国家重点实验室

2001.9.28

1医学ppt医学图象三维重建及可视化

技术研究

秦绪佳

浙江大学C1绪论

1.1引言 1.2基于三维数据的建模与可视化

1.三维数据的来源与分类

2.三维数据建模及可视化研究内容

数据预处理

建模

绘制与显示2医学ppt1绪论2医学ppt

3.数据建模技术综述

三维几何模型

基于三维数据的建模方法

1)基于断层轮廓的表面重建

2)基于体素的等值面重建

3)几何变形模型

4)体素建模

3医学ppt3.数据建模技术综述3医学ppt1.3医学图象三维重建技术综述

1医学图象的预处理

2医学图象的分割

3三维重建方法

4模型的网格简化

4医学ppt1.3医学图象三维重建技术综述4医学ppt1.4医学图象三维重建在医疗中的应用

1在医疗诊断中的应用

2在手术规划及放射治疗规划中的应用

3在整形与假肢外科中的应用

4在虚拟手术及解剖教育中的应用5医学ppt1.4医学图象三维重建在医疗中的应用

5医学ppt1.5论文背景及主要工作

1论文背景及研究意义

2本文的主要工作

1)图象预处理，组织器官分割与提取2)MC、MT算法构建表面几何模型3)模型表面网格简化，剖切与开窗4)由表面几何模型转换成实体几何模型5)适用于适形放射治疗规划的医学图象三维重建系统的开发6医学ppt1.5论文背景及主要工作6医学ppt2医学图象预处理与人体组织的分割

医学图象预处理

分割流程

图2.1三维医学图象分割流程

7医学ppt2医学图象预处理与人体组织的分割医学图象预2.2CT、MRI图象的获取与输入

2.2二维图象处理与规则体数据封装

1二维图象滤波

(1)邻域平均法(2)中值滤波法(3)保持边缘滤波法

8医学ppt2.2CT、MRI图象的获取与输入8医学ppt

2断层图象间插值

3三维规则体数据封装

(1)内存记录方式(2)体数据文件格式

图2.4体数据内存记录方式

9医学ppt2断层图象间插值图2.4体数据内存记录方式2.3交互分割过程

1三维图象二值化

10医学ppt2.3交互分割过程10医学ppt二值化结果

图2.8断层图象二值化结果11医学ppt二值化结果图2.8断层图象

2数学形态学操作进行区域修整

(1)二值形态学操作简述

(a)原图象(b)结构元素

(c)对原图象的腐蚀(d)对腐蚀图象的膨胀

图2.9开启操作

(a)原图象(b)结构元素

(c)对原图象的膨胀(d)对膨胀图象的腐蚀

图2.10闭合操作

12医学ppt2数学形态学操作进行区域修整(a)原图象

3种子填充法进行组织提取

图2.12交互分割结果图2.13对分割区域的重建

13医学ppt3种子填充法进行组织提取图2.12交互3基于规则体数据的三维表面模型的构建

3.2.1体素模型

(a)方向无关的三线性插值模型(b)方向有关的三线性插值模型图3.1体素模型

14医学ppt3基于规则体数据的三维表面模型的构建3.2.1体素3.2.2等值面（IsoSurface）定义

1三线性插值结果

2等值面定义等值面是三次曲面15医学ppt3.2.2等值面（IsoSurface）定义等

3.3移动立方体（MarchingCubes）算法抽取等值面

1MC算法的基本原理a体素中等值面剖分方式的确定

1）

如立方体顶点的数据值≥等值面的值，则定义该顶点位于等值面之外，记为“0”；2）

如立方体顶点的数据值＜等值面的值，则定义该顶点位于等值之内，记为“1”。

8个顶点，每个顶点共有2个状态，因此共256种组合状态

根据互补对称性,256128

根据旋转对称性，25615

(1)体素中由三角片逼近的等值面计算(2)三角片各顶点法向量计算16医学ppt3.3移动立方体（MarchingCubes）算

17医学ppt17医学ppt

2等值面连接方式上的二义性

(a)连接方式二义性的二维表示

(b)连接方式二义性的三维表示

图3.5拓扑不一致造成孔隙

图3.4MC方法的二义性

18医学ppt2等值面连接方式上的二义性(a)连接方式二义性的二3.3.3渐近线判别法消除二义性19医学ppt3.3.3渐近线判别法消除二义性19医学ppt3.3.4MC算法的重建结果及分析

256×256×109MRI表皮重建

（b）128×128×93CT颅骨重建

（c）128×128×93CT表皮重建

三角面片：696889顶点：347322三角面片：187559顶点：94015三角面片：137799顶点：69331

图3.8MC算法重建的表面模型

20医学ppt3.3.4MC算法的重建结果及分析256×256×3.4移动四面体（MarchingTetrahedra）算法抽取等值面

3.4.1MT算法的基本原理

图3.9立方体的四面体剖分

图3.10四面体中的等值面

21医学ppt3.4移动四面体（Marching图3.9立方3.4.2四面体剖分的一致性处理

图3.11立方体剖分为四面体的不同方式

图3.12两相邻立方体剖分不一致时共有面的剖分情况

图3.13相邻立方体公共面上的剖分一致性

22医学ppt3.4.2四面体剖分的一致性处理图3.11立方体3.4.3相关性处理加速MT重建速度

1体素内的相关性处理

2体素间的相关性处理

图3.14剖分后立方体的顶点及棱边编号

23医学ppt3.4.3相关性处理加速MT重建速度图3.14剖3.4.4MT算法的重建结果及分析

(a)128×128×113CT颅骨重建

（b）104×185×220CT脚骨骼重建

(c)128×128×113CT表皮重建

三角面片：423998顶点：211905三角面片：365858顶点：183056三角面片：331290顶点：165808图3.15MT算法重建的表面模型24医学ppt3.4.4MT算法的重建结果及分析(a)1284.三维模型的网格简化与模型的剖切

4.2基于边收缩的网格简化算法

1网格简化算法简述

（1）抽样（Sampling）（2）自适应细分(Adaptivesubdivision)（3）删除(Decimation)（4）顶点合并（Vertexmerging）

25医学ppt4.三维模型的网格简化与模型的剖切（1）抽样（S2基于边收缩的网格简化算法

Hoppe采用显式能量函数E（M）来度量简化网格与原始网格的逼近度［Hoppe96］：其中Edist(M)为M的距离能量，它定义为点集到网格的距离平方：Espring(M)为弹性能量，这相当于在的每条边上均放置一条弹性系数为k的弹簧，即：

Escalar(M)度量M的标量属性的精度，而Edisc(M)则度量了M上视觉不连续的特征线（如边界线、侧影轮廓线等）的几何精度。

26医学ppt2基于边收缩的网格简化算法26医学ppt边收缩过程示意图(a)收缩前

(b)收缩后图4.1边收缩过程27医学ppt边收缩过程示意图(a)收缩前

4网格简化结果

MT重建结果简化50％简化90％简化90％表面绘制28医学ppt4网格简化结果MT重建结果

MC重建结果简化50％简化85％简化85％表面绘制29医学pptMC重建结果简化50％简化85％4.3三维模型的剖切

4.3.1模型三角面片的剖切处理

1平面方程的确定

ax+by+cz+d=030医学ppt4.3三维模型的剖切30医学ppt

2三角面片与剖切平面的求交检测

定义空间一点P（X,Y,Z）,定义“距离”D：D=aX+bY+cZ+d则有：1）若D＞0，P点处在A半空间；2）若D＝0，P点处在平面上；

3）若D＜0，P点处在B半空间。

图4.6切面与三角面片的交

31医学ppt2三角面片与剖切平面的求交检测定义空间一点P（X,3三角面片与剖切面的切割运算

4表面模型的剖切

(1)边表和顶点表均为动态链表结构

(2)表面模型的剖切计算

classCedge

classCedgeVertex32医学ppt3三角面片与剖切面的切割运算classCe4.4剖切截面的生成

4.4.1边界多边形包含关系检测与确定

1封闭环的检出

2封闭轮廓的包含性检测

33医学ppt4.4剖切截面的生成33医学ppt夹角之和检验法:

34医学ppt夹角之和检验法:34医学ppt4.4.2剖切面区域的三角剖分

1.任意平面多边形Delaunay三角剖分示意图图4.11图4.7对应轮廓的三角剖分

35医学ppt4.4.2剖切面区域的三角剖分图4.11图44.5手术开窗操作

开窗操作一般是用立方体或棱柱对重建模型进行切割，模型处于剖切体之内的部分被切割掉，之外的部分被保留下来。36医学ppt4.5手术开窗操作36医学ppt4.6

实验结果分析

图4.12模型的剖切与开窗

(a)剖切(b)开窗(c)开窗37医学ppt4.6实验结果分析图4.12模型的剖切

5由基于轮廓重建的表面模型构建实体几何模型

5.1引言5.2相关工作

（1）提取边界轮廓线

（2）提取轮廓线上的特征点

（3）轮廓对应

（4）三维表面重建38医学ppt5由基于轮廓重建的表面模型构建实体几何模型5.

（a）轮廓线（b）基础轮廓表面模型

（c）左分支表面模型（d）右分支表面模型

图5.3轮廓及表面子模型

39医学ppt（a）轮廓线（b）基础轮廓表面模型（c）左分支表面模型5.3实体几何模型的构建

1边界模型的数据结构

图5.4系统B-rep模型的数据结构及半边的结构示意

40医学ppt5.3实体几何模型的构建图5.4系统B-rep模型

2实体造型的基本操作

欧拉特征关系：

其中v、e、f、s、h分别代表顶点、边、小面、壳和孔。基本的欧拉操作包括如下互逆的5对：MVFS，MEV，MEF，MEKR，KFMRH；KVFS，KEV，KEF，KEMR，MFKRH。其中M表示构造，K表示删除，S、E、V、F、R、H分别表示体、边、顶点、面、环、孔。

41医学ppt2实体造型的基本操作41医学ppt

3由轮廓重建的表面模型重建实体几何模型的方法用图5.10(a)的表面模型说明构建实体的主要步骤：

(a)

(b)

42医学ppt3由轮廓重建的表面模型重建实体几何模型的方法(（b）光照图

图5.11实体模型

（a）线框图

实体几何模型的构建结果43医学ppt（b）光照图图5.11实体模型（a）线框图实体几何6适用于适形放射治疗规划的医学图象三维重建系统的开发

图象输入二维图象预处理图象分割与提取三维重建（CT/MRI）（滤波、插值）（自动分割、手工勾画）

（MC、MT表面重建）病变体投影轮廓照射射束设置

效果显示几何操作（由此计算光栅廓线）（放射治疗规划）（颜色、半透明）（剖切、手术开窗）

图6.1三维重建过程示意图44医学ppt6适用于适形放射治疗规划的医学图象三维重建系统的开发重建系统结构

图6.2系统结构

45医学ppt重建系统结构图6.2系统结构45系统程序流程

图6.3系统程序流程

46医学ppt系统程序流程图6.3系统程序流程系统数据结构

图6.4系统数据结构

47医学ppt系统数据结构图6.4系统数据结构4

系统界面

48医学ppt系统界面48医学ppt

治疗射束安排与光栅轮廓线计算

49医学ppt治疗射束安排与光栅轮廓线计算49医学ppt7结论与展望

7.1工作总结(1)对输入图象进行了滤波、断层插值并封装成规则体数据。定义了体数据的内存记录方式及外存文件格式，压缩存储空间。(2)提出并实现了三维医学图象交互分割的方法，交互分割的技术路线是：先分析断层图象，交互给定分割阈值，对图象二值化，然后选择适当的形态学操作进行区域修整，最后用种子填充的方法填充出所要区域。(3)实现了MC算法和MT算法构造表面模型。针对MT算法，为避免体元棱边与等值面交点的重复性插值计算，提出了相关性处理方法。采用相关性处理，加快了MT算法的重建速度。50医学ppt7结论与展望7.1工作总结(1)(4)实现了Hoppe的边收缩算法，重建模型经简化90％，依然能较好地保持原模型特征，基本不影响视觉效果。模型经网格简化，绘制时间大大缩短，提高了交互时绘制能力。(5)提出了对重建模型实施剖切及手术开窗的一种方法。(6)提出了基于轮廓重建的表面模型构建实体几何模型的方法实现步骤。可作为造型系统的一种造型方式。

(7)开发了一个适用于多叶光栅适形调强放射治疗的医学图象三维重建系统。提出并建立了系统数据结构，提出了自动分割与手工勾画轮廓的方法。对分割出的组织重建其三维几何模型，并对模型实现了网格简化。实现了治疗射束的设置及多叶光栅轮廓的计算。

51医学ppt(4)实现了Hoppe的边收缩算法，重建模型经简化90％7.2展望（1）基于知识模型的医学图象的分割（2）多模态图象的匹配和融合（3）表面绘制与直接体绘制的结合（4）虚拟手术工作环境

52医学ppt7.2展望（1）基于知识模型的医学图象的分割52医学p

谢谢大家光临！

53医学ppt谢谢大家光临！53医学ppt此课件下载可自行编辑修改，供参考！感谢您的支持，我们努力做得更好！此课件下载可自行编辑修改，供参考！医学图象三维重建及可视化

技术研究

秦绪佳

浙江大学CAD＆CG国家重点实验室

2001.9.28

55医学ppt医学图象三维重建及可视化

技术研究

秦绪佳

浙江大学C1绪论

1.1引言 1.2基于三维数据的建模与可视化

1.三维数据的来源与分类

2.三维数据建模及可视化研究内容

数据预处理

建模

绘制与显示56医学ppt1绪论2医学ppt

3.数据建模技术综述

三维几何模型

基于三维数据的建模方法

1)基于断层轮廓的表面重建

2)基于体素的等值面重建

3)几何变形模型

4)体素建模

57医学ppt3.数据建模技术综述3医学ppt1.3医学图象三维重建技术综述

1医学图象的预处理

2医学图象的分割

3三维重建方法

4模型的网格简化

58医学ppt1.3医学图象三维重建技术综述4医学ppt1.4医学图象三维重建在医疗中的应用

1在医疗诊断中的应用

2在手术规划及放射治疗规划中的应用

3在整形与假肢外科中的应用

4在虚拟手术及解剖教育中的应用59医学ppt1.4医学图象三维重建在医疗中的应用

5医学ppt1.5论文背景及主要工作

1论文背景及研究意义

2本文的主要工作

1)图象预处理，组织器官分割与提取2)MC、MT算法构建表面几何模型3)模型表面网格简化，剖切与开窗4)由表面几何模型转换成实体几何模型5)适用于适形放射治疗规划的医学图象三维重建系统的开发60医学ppt1.5论文背景及主要工作6医学ppt2医学图象预处理与人体组织的分割

医学图象预处理

分割流程

图2.1三维医学图象分割流程

61医学ppt2医学图象预处理与人体组织的分割医学图象预2.2CT、MRI图象的获取与输入

2.2二维图象处理与规则体数据封装

1二维图象滤波

(1)邻域平均法(2)中值滤波法(3)保持边缘滤波法

62医学ppt2.2CT、MRI图象的获取与输入8医学ppt

2断层图象间插值

3三维规则体数据封装

(1)内存记录方式(2)体数据文件格式

图2.4体数据内存记录方式

63医学ppt2断层图象间插值图2.4体数据内存记录方式2.3交互分割过程

1三维图象二值化

64医学ppt2.3交互分割过程10医学ppt二值化结果

图2.8断层图象二值化结果65医学ppt二值化结果图2.8断层图象

2数学形态学操作进行区域修整

(1)二值形态学操作简述

(a)原图象(b)结构元素

(c)对原图象的腐蚀(d)对腐蚀图象的膨胀

图2.9开启操作

(a)原图象(b)结构元素

(c)对原图象的膨胀(d)对膨胀图象的腐蚀

图2.10闭合操作

66医学ppt2数学形态学操作进行区域修整(a)原图象

3种子填充法进行组织提取

图2.12交互分割结果图2.13对分割区域的重建

67医学ppt3种子填充法进行组织提取图2.12交互3基于规则体数据的三维表面模型的构建

3.2.1体素模型

(a)方向无关的三线性插值模型(b)方向有关的三线性插值模型图3.1体素模型

68医学ppt3基于规则体数据的三维表面模型的构建3.2.1体素3.2.2等值面（IsoSurface）定义

1三线性插值结果

2等值面定义等值面是三次曲面69医学ppt3.2.2等值面（IsoSurface）定义等

3.3移动立方体（MarchingCubes）算法抽取等值面

1MC算法的基本原理a体素中等值面剖分方式的确定

1）

如立方体顶点的数据值≥等值面的值，则定义该顶点位于等值面之外，记为“0”；2）

如立方体顶点的数据值＜等值面的值，则定义该顶点位于等值之内，记为“1”。

8个顶点，每个顶点共有2个状态，因此共256种组合状态

根据互补对称性,256128

根据旋转对称性，25615

(1)体素中由三角片逼近的等值面计算(2)三角片各顶点法向量计算70医学ppt3.3移动立方体（MarchingCubes）算

71医学ppt17医学ppt

2等值面连接方式上的二义性

(a)连接方式二义性的二维表示

(b)连接方式二义性的三维表示

图3.5拓扑不一致造成孔隙

图3.4MC方法的二义性

72医学ppt2等值面连接方式上的二义性(a)连接方式二义性的二3.3.3渐近线判别法消除二义性73医学ppt3.3.3渐近线判别法消除二义性19医学ppt3.3.4MC算法的重建结果及分析

256×256×109MRI表皮重建

（b）128×128×93CT颅骨重建

（c）128×128×93CT表皮重建

三角面片：696889顶点：347322三角面片：187559顶点：94015三角面片：137799顶点：69331

图3.8MC算法重建的表面模型

74医学ppt3.3.4MC算法的重建结果及分析256×256×3.4移动四面体（MarchingTetrahedra）算法抽取等值面

3.4.1MT算法的基本原理

图3.9立方体的四面体剖分

图3.10四面体中的等值面

75医学ppt3.4移动四面体（Marching图3.9立方3.4.2四面体剖分的一致性处理

图3.11立方体剖分为四面体的不同方式

图3.12两相邻立方体剖分不一致时共有面的剖分情况

图3.13相邻立方体公共面上的剖分一致性

76医学ppt3.4.2四面体剖分的一致性处理图3.11立方体3.4.3相关性处理加速MT重建速度

1体素内的相关性处理

2体素间的相关性处理

图3.14剖分后立方体的顶点及棱边编号

77医学ppt3.4.3相关性处理加速MT重建速度图3.14剖3.4.4MT算法的重建结果及分析

(a)128×128×113CT颅骨重建

（b）104×185×220CT脚骨骼重建

(c)128×128×113CT表皮重建

三角面片：423998顶点：211905三角面片：365858顶点：183056三角面片：331290顶点：165808图3.15MT算法重建的表面模型78医学ppt3.4.4MT算法的重建结果及分析(a)1284.三维模型的网格简化与模型的剖切

4.2基于边收缩的网格简化算法

1网格简化算法简述

（1）抽样（Sampling）（2）自适应细分(Adaptivesubdivision)（3）删除(Decimation)（4）顶点合并（Vertexmerging）

79医学ppt4.三维模型的网格简化与模型的剖切（1）抽样（S2基于边收缩的网格简化算法

Hoppe采用显式能量函数E（M）来度量简化网格与原始网格的逼近度［Hoppe96］：其中Edist(M)为M的距离能量，它定义为点集到网格的距离平方：Espring(M)为弹性能量，这相当于在的每条边上均放置一条弹性系数为k的弹簧，即：

Escalar(M)度量M的标量属性的精度，而Edisc(M)则度量了M上视觉不连续的特征线（如边界线、侧影轮廓线等）的几何精度。

80医学ppt2基于边收缩的网格简化算法26医学ppt边收缩过程示意图(a)收缩前

(b)收缩后图4.1边收缩过程81医学ppt边收缩过程示意图(a)收缩前

4网格简化结果

MT重建结果简化50％简化90％简化90％表面绘制82医学ppt4网格简化结果MT重建结果

MC重建结果简化50％简化85％简化85％表面绘制83医学pptMC重建结果简化50％简化85％4.3三维模型的剖切

4.3.1模型三角面片的剖切处理

1平面方程的确定

ax+by+cz+d=084医学ppt4.3三维模型的剖切30医学ppt

2三角面片与剖切平面的求交检测

定义空间一点P（X,Y,Z）,定义“距离”D：D=aX+bY+cZ+d则有：1）若D＞0，P点处在A半空间；2）若D＝0，P点处在平面上；

3）若D＜0，P点处在B半空间。

图4.6切面与三角面片的交

85医学ppt2三角面片与剖切平面的求交检测定义空间一点P（X,3三角面片与剖切面的切割运算

4表面模型的剖切

(1)边表和顶点表均为动态链表结构

(2)表面模型的剖切计算

classCedge

classCedgeVertex86医学ppt3三角面片与剖切面的切割运算classCe4.4剖切截面的生成

4.4.1边界多边形包含关系检测与确定

1封闭环的检出

2封闭轮廓的包含性检测

87医学ppt4.4剖切截面的生成33医学ppt夹角之和检验法:

88医学ppt夹角之和检验法:34医学ppt4.4.2剖切面区域的三角剖分

1.任意平面多边形Delaunay三角剖分示意图图4.11图4.7对应轮廓的三角剖分

89医学ppt4.4.2剖切面区域的三角剖分图4.11图44.5手术开窗操作

开窗操作一般是用立方体或棱柱对重建模型进行切割，模型处于剖切体之内的部分被切割掉，之外的部分被保留下来。90医学ppt4.5手术开窗操作36医学ppt4.6

实验结果分析

图4.12模型的剖切与开窗

(a)剖切(b)开窗(c)开窗91医学ppt4.6实验结果分析图4.12模型的剖切

5由基于轮廓重建的表面模型构建实体几何模型

5.1引言5.2相关工作

（1）提取边界轮廓线

（2）提取轮廓线上的特征点

（3）轮廓对应

（4）三维表面重建92医学ppt5由基于轮廓重建的表面模型构建实体几何模型5.

（a）轮廓线（b）基础轮廓表面模型

（c）左分支表面模型（d）右分支表面模型

图5.3轮廓及表面子模型

93医学ppt（a）轮廓线（b）基础轮廓表面模型（c）左分支表面模型5.3实体几何模型的构建

1边界模型的数据结构

图5.4系统B-rep模型的数据结构及半边的结构示意

94医学ppt5.3实体几何模型的构建图5.4系统B-rep模型

2实体造型的基本操作

欧拉特征关系：

其中v、e、f、s、h分别代表顶点、边、小面、壳和孔。基本的欧拉操作包括如下互逆的5对：MVFS，MEV，MEF，MEKR，KFMRH；KVFS，KEV，KEF，KEMR，MFKRH。其中M表示构造，K表示删除，S、E、V、F、R、H分别表示体、边、顶点、面、环、孔。

95医学ppt2实体造型的基本操作41医学ppt

3由轮廓重建的表面模型重建实体几何模型的方法用图5.10(a)的表面模型说明构建实体的主要步骤：

(a)

(b)

96医学ppt3由轮廓重建的表面模型重建实体几何模型的方法(（b）光照图

图5.11实体模型

（a）线框图

实体几何模型的构建结果97医学ppt（b