图像重建课件

1、图像重建,图像重建,一 图像重建概述 二 医学CT三维图像重建 三 超分辨率图像重建,主要内容,图像重建,一 图像重建概述,图像重建是指根据对物体的探测获取的数据来重新建立图像。用于重建图像的数据一般是分时、分步取得的。 图像重建是图像处理中一个重要研究分支，其重要意义在于获取被检测物体内部结构的图像而不对物体造成任何物理上的损伤。 它在各个不同的应用领域中显示出独特的重要性。例如：医疗放射学、核医学、电子显微、无线电雷达天文学、光显微和全息成像学及理论视觉等领域都多有应用。,图像重建,一 图像重建概述,根据成像光源的获取方式和成像机理的不同，可以将图像重建分为三种不同的检测模型:透射模型、发

2、射模型和反射模型。,图像重建采用的透射、反射、放射三种模型,图像重建,一 图像重建概述,投影重建时需要一系列投影才能重建图像。,等强度射线穿透不同组织的情况,不同密度体对射线的吸收不同,对射线吸收相同的物体，密度分布不一定相同,图像重建,一 图像重建概述,分类： 根据被用于图像重建的数据获取方式不同，可以分为透射断层成像、发射断层成像和反射断层成像。 发射断层成像系统，一般是将具有放射性的离子(放射元素)注人物体内部，从物体外检测其经过物体吸收之后的放射量。 反射断层成像系统，是利用射线入射到物体上，检测经物体散射(反射)后的信号来重建的。 如果从研究的图像维数来分，图像重建可以是针对一系列沿

3、直线投影图来重建二维图像，也可以是由一系列二维图像重建三维物体。 根据成像所采用的射线波长不同，可以分为X射线成像、超声成像、微波成像、激光共焦成像等。,图像重建,二 医学CT三维图像重建,（1）现实意义 在医疗诊断中,观察病人的一组二维CT 断层图像是医生诊断病情的常规方式. 现有的医用X 射线CT 装置得到的序列断层图像,虽能反映断层内的组织信息,但无法直接得到三维空间内组织的形貌(如肺部肿瘤的表面纹理) 和组织间相互关联的情况,而临床上组织形貌对组织定征(如肿瘤的恶性或良性判断) 却是十分重要的. 仅靠CT 断层图像信息,要准确地确定病变体的空间位置、大小、几何形状以及与周围组织之间的空

4、间关系,是十分困难的.因此迫切需要一种行之有效的工具来完成对人体器官、软组织和病变体的三维重建和三维显示. CT 三维重建技术就是辅助医生对病变体和周围组织进行分析和显示的有效工具,它极大地提高了医疗诊断的准确性和科学性。 例如,手术开窗，通过人机交互工具在重建出的人体器官立体视图上模拟手术开刀,要求在计算机上迅速显示出模拟手术结果.,图像重建,二 医学CT三维图像重建,重建流程图,图像重建,二 医学CT三维图像重建,2 断层扫描原理,图像重建,二 医学CT三维图像重建,（3）重建方法 在各种图像重建算法中，计算机断层扫描技术又称计算机层析（CT）占有重要的地位。 计算机断层扫描技术的功能是将

5、人体中某一薄层中的组织分布情况，通过射线对该薄层的扫描、检测器对透射信息的采集、计算机对数据的处理，并利用可视化技术在显示器或其他介质上显示出来。 这项技术的重要基础是投影切片定理： 即对于任何一个三维(二维)物体，它的二维(一维)投影的傅立叶变换恰好是该物体的傅立叶变换的主体部分。,图像重建,二 医学CT三维图像重建,投影切片定理给出了图像在空间域上对X轴的投影与在频率域u轴的切片之间的关系。 如果投影并非是对X轴进行，而是对与空间域的X 轴成任意的角度的方向进行投影，是否频率域上存在与u轴成相同的角度方向上的中心切片与之相等？ 回答是肯定的，二维傅里叶变换的旋转定理。,图像重建,二 医学C

6、T三维图像重建,根据二维傅立叶变换的相似性定理，有：,图像重建,二 医学CT三维图像重建,于是傅立叶变换可以变为：,可以看出，如果f(x,y)变换一个角度，则f(x,y)的频谱也将旋转同样的角度。,图像重建,二 医学CT三维图像重建,因此，f(x,y)在X轴上投影的变换即为F(u,v)在u轴上的取值，结合旋转性可得f(x,y)在与X轴成角的直线上投影的傅立叶变换正好等于F(u,v)沿与u轴成角的直线上的取值。,图像重建,a 傅里叶反投影重建,投影切片定理给出了射线沿y轴方向穿透物体薄片对X轴投影的傅立叶变换与物体薄片的频域函数F(u,v)沿u轴的切片相等。利用二维傅立叶变换的旋转性质可知，如果

7、围绕物体薄片，改变角得到多个投影，就可以获得该物体薄片在频域上相应各个方向的频谱切片，从而了解到该薄片的整个频谱。通过傅立叶反变换就能得到物体薄片在空间域中的图像。 傅立叶反投影重建方法应首先建立好以连续实函数形式给出的数学模型，然后利用反变换公式求解未知量，并适当调节反变换公式以适应在离散、有噪声干扰等条件下的应用需求。,图像重建,重建公式的推导,图6-5与图6-6给出了二维函数投影在空间域中和变换域中的旋转对应关系。,图像重建,重建公式的推导,由图可见，从（x,y）坐标系变换到（s,t）坐标系的旋转坐标变换公式为：,若射线源的射线径向穿过被检测横截面。并向与X轴成角的S轴方向投影，则投影函

8、数,在频域作如下代换：,图像重建,重建公式的推导,则投影函数的傅立叶变换可以写成,在角不同的各个方向上获得空间域上的投影数据，根据投影切片定理在变换域上得到对应的切片数据。然后利用下式进行傅立叶反变换：,根据投影切片定理,图像重建,重建公式的推导,如果需要重建三维实体图像，很容易推广到三维：,图像重建,b 代数重建方法,代数重建技术就是事先对未知图像的各像素给予一个初始估值，然后利用这些假设数据去计算各射束穿过对象时可能得到的投影值（射影和），再用它们和实测投影值进行比较，根据差异获得一个修正值，利用这些修正值，修正各对应射线穿过的诸像素值。如此反复迭代，直到计算值和实测值接近到要求的精确度为

9、止。,图像重建,b 代数重建方法,具体实施步骤： （l）对于未知图像各像素均给予一个假定的初始值，从而得到一组初始计算图像； （2）根据假设图像，计算对应各射线穿过时，应得到的各个相应投影值z1*, z2*, zn*； （3）将计算值z1*, z2*, zn* 和对应的实测值z1, z2, zn进行比较，然后取对应差值 zi zi*作为修正值； （4）用每条射线之修正值修正和该射线相交之诸像素值； （5）用修正后的象素值重复l4各步，直到计算值和实测值之差，即修正值小到所期望的值为止 只要所测得的射线投影值z1，z2，zn组成一个独立的集合，那么代数重建便将收敛于唯一解。,图像重建,二 医学C

10、T三维图像重建,（4）断层图像预处理 一 改善图像画质 在实际情况中，得到图像都会带有噪声，改善图像画质主要使用4种技术 锐化技术，即突出图像上灰度突变的各类边缘信息，增大对比度，使图像轮廓更加清晰。 平滑技术，即抑制噪声而达到改善像质的措施。 复原技术，即根据引起图像质量下降的原因而采取的一种恢复图像本来面目的处理措施。 校正技术，即采用几何校正措施，去掉图像上的几何失真。通过以上技术可以去除图像上的畸变及噪声信息，使图像更加清晰，以便用目视准确判读和解释。,图像重建,二 医学CT三维图像重建,二 分割标注 分割标注是保证三维重建准确性的关键技术,分割效果直接影响三维重构的精确度。图像分割的

11、目标是将图像分解成若干有意义的子区域(或称对象) 。标注则为了能够识别出各区域的解剖或生理意义。在医学图像领域,常常简单地将分割标注的过程称为分割。 可简单的将医学图像分割分为两类:基于边界和基于区域。 基于边界的分割寻找感兴趣的封闭区域; 基于区域则是将体数据分为若干不重叠的区域,各区域内部的体素相似性大于区域之间的体素相似性。,图像重建,二 医学CT三维图像重建,（5）切片的重组、插值 CT 三维成像的主要方法是:通过多幅等间隔的相继断层图像重建三维目标,实现人体组织器官的立体显示、操作和分析. CT 扫描仪得到的断层图像序列在空间三个正交的方向上分辨率通常不同,例如,CT 切片中,层内像

12、素距离通常在015 到2mm之间,而层间距则位于1 到15mm 之间,断层内象素空间分辨率远远高于各断层间的空间分辨率.如果直接用这种图像进行分析处理和显示,由于三个方向空间分辨率不一致,使显示结果呈阶梯状. 因此,要实现物体的三维显示和处理必须形成等分辨率的数据,而内插是三维重建中必不可少的环节,内插效果直接影响重建的质量.,图像重建,二 医学CT三维图像重建,解决办法： 控制CT 机使其断层间隔减小,直至等于断层内的分辨率. 然而这将增加检查成本,而且一般的CT 机无法达到如此高的分辨率. 用计算机图像处理的方法,对现有的断层图像进行插值运算,以获得立方体素表示的三维物体. 插值后,断层图

13、像数目增加,相当于层厚减薄,这是国际上普遍采用的方法。插值只是改变了断层间空间分辨率,使三维数据的处理、分析和显示更加方便,并没有产生新信息. 插值法： （一）基于图像灰度值的插值方法,如最邻近法、线性插值、样条插值等,它是在原始灰度断层图像序列中,补充若干“缺少”的切片,这些插值方法插值精度不高,产生的新断面通常会出现边缘模糊,由此重建出的三维真实感图像表面会产生伪像,当断层间距较大时这一点尤其明显. 造成这种情况的主要原因是这些方法没有考虑到物体几何形状的变化. （二）基于形状的目标插值，只需对目标物体的轮廓进行插值,这种方法的插值精度较好,但只适用于二值化的切片图象;该方法要求先对断层切

14、片进行分割,提取出医生感兴趣的目标组织,然后进行内插,以产生连续变化的中间物体轮廓.,图像重建,二 医学CT三维图像重建,三维空间数据场可视化 两类不同的三维空间数据场可视化方法： 第一类方法称为面绘制技术 首先由三维空间数据场构造中间几何图元，如小三角形、小曲面等，然后再由传统的计算机图形学技术实现面绘制，加上光照模型，阴影处理，使得重建的三维图像极具真实感。 第二类方法称为体绘制或直接体绘制方法 是不需要构造中间几何图元，而是直接由三维数据场产生屏幕上的二维图像，由体元进行绘制。体绘制可以在空间域上进行，也可以在频率域上进行。,图像重建,二 医学CT三维图像重建,直接体绘制的实质是将已采集

15、到计算机上的三维离散数据场重新采样，然后按照一定的规则转换为图像显示缓存中的二维离散信号。三维离散数据场或者三维图像数据集合称为物体空间，显示图像的屏幕称为图像空间。 在各种体绘制方法中最常见的有两种： 图像空间到物体空间的方法 物体空间到图像空间的方法,图像重建,二 医学CT三维图像重建,1、图像空间到物体空间的方法： 确定新采样点：由显示图像屏幕上的每个像素点位置向物体空间发出射线，该射线与物体空间相交，交点即为物体空间上新的采样点。 求新采样点的值：需选择适当的重构元素，对离散的三维数据场进行卷积运算，重构连续的原始信号。并根据重采样的奈奎斯特频率极限对三维连续数据场进行重新采样，得出重

16、采样点的灰度值。 在重采样的基础上，进行图像合成，即计算全部采样点对屏幕像素的贡献，得到屏幕上每一个像素点的光强度值。,图像重建,二 医学CT三维图像重建,图像重建,二 医学CT三维图像重建,2、从物体空间到图像空间的方法： 对物体空间的三维空间网格点上的数据，逐层、逐行、逐个地计算它对屏幕像素的贡献，并加以合成，形成最后的图像。,图像重建,二 医学CT三维图像重建,实现光线投射体绘制方法是一个三维离散数据场的重采样和图像合成的过程，有以下几个步骤： (1) 对物体空间的三维离散数据场进行处理，包括去除各层图像的噪声、冗余数据。根据数据值的不同进行简单组织分类，并给不同属性的数据赋予不同的颜色

17、和不透明度值。 (2) 从图像空间显示屏幕上的每一个像素点根据设定的观察方向发出一条投射光线。这条射线穿过三维数据场，沿着这条射线选择k个等距离的采样点，当采样点刚好落在原来物体空间的网格点上，就用原来的灰度值来代替；当采样点不落在网格点时，就用该点邻近8个网格点的值进行插值得出新采样点的不透明度值和颜色值。 3) 为了增强三维逼真效果，突出显示不同组织的边界面，可以采样表面并进行明暗计算。 (4)计算每条射线对屏幕像素点的贡献，即沿每条射线方向从前向后或从后向前根据各采样点的颜色值和不透明值按照一定的规则加以合成，得出屏幕像素点的最终灰度值或颜色值。 将屏幕上各像素点的颜色值都计算出来后，就

18、形成了一幅图像。,图像重建,二 医学CT三维图像重建,面绘制算法中比较典型有： 立方体步进法，简称为MC法(Marching Cubes)， 四面体步进法又称为MT法(Marching Tetrahedra)等。 立方体步进法的基本思想： 将三维数据网格分成许多体元 根据物体表面特征的信息或等值面的信息给出物体等值面的相关参数值 逐个测试体元的8个角点是否在等值面上，通过线性插值得出体元中的哪些点在等值面上，连接这些点即可得到用三角形成多边形来代替立方体 把所有这些三角形或多边形连接起来便得到该三维数据场的三维表面信息。,图像重建,二 医学CT三维图像重建,二维情况下MC的基本思想 下图最左边

19、图中的二维网格数据的正方形类似于三维数据场的体元，实心圆的轮廓就是准备要近似用直线来模拟的边界信息。,二维网格中数据以直线代替曲线边界,图像重建,二 医学CT三维图像重建,从左往右、从上往下逐行逐个扫描正方形，对每个正方形的4个顶点都计算是否在实心圆内，从而得出这些顶点的状态，对于小正方形的每一条边来说，其两端的端点状态总是如下几种可能：,正方形任一边两个端点的状态,只有出现上图(c)或(d)情况下，才可以确定此圆的边界经过这条边的某个位置如此扫描所有的小正方形之后，便可得到与网格线相交的点。连接所有的点，即可得到该圆的轮廓信息,图像重建,二 医学CT三维图像重建,三维数据场中，确定的是物体表

20、面轮廓信息。需以下几个步骤： 1.确定包含表面轮廓面的体元 在三维数据场中，等值面与体元相交的是三角形面或多边形面，体元中的8个角点状态要复杂多了。为了描述体元与等值面相交的状况，对每个角点赋予一个函数值，代表角点的某种状态，如0代表该角点位于等值面之内，该角点所对应的特征函数值小于等值面参数C0；1代表该角点位于等值面之外，该角点所对应的特征函数值大于或等于等值面参数C0。,图像重建,二 医学CT三维图像重建,如果某体元中的一条边的一个端点在等值面之内，而另一个端点在等值面之外，那么，这条边必定与所求等值面相交。如果一个体元的8个角点位置用A，B，F表示，其8个角点对应的状态为1，0，0，0

21、，0，0，0，0，则等值面必定与AB、AD、AE相交，如下图所示：,角点的状态及其体元与等值面的相交,图像重建,二 医学CT三维图像重建,2.等值面与体元相交的边界交点 当三维离散数据场的密度很高、体元很小时，可以假定等值面与体元边界的交点用各角点函数值在体元边界上作线性插值求得。 在稀疏的数据场中，体元较大时，可以通过三次线性插值求得等值面与边界的交点 ，等值面不是简单的两个交点的直线连接，而是一条曲线。,MC方法构造的等值面不一定是三角面片,图像重建,二 医学CT三维图像重建,3.求等值面的法向矢量 为了采用光照模型和消除各三角形面片之间明暗度的不连续性变化，需要求出各三角面片的法向矢量。

22、因为重建图像表面的法向矢量代表了局部的弯曲性，也决定了镜面反射的方向。如果已知表面的解析表达式，表面法线可直接计算出来。但是，在般情况下，仅知道多边形的近似表示。 当仅知道多边形的近似表示时，对于每一个三角形面片或多边形面片，可以根据其所在的平面方程的系数决定该小片的法线，并取其外法线方向。通过这样的方式可用多边形的顶点或棱边信息近似求得该顶点的法线 。,图像重建,二 医学CT三维图像重建,顶点法矢量的近似,顶点V1的近似法线方向为,式中，(,)，(,)，(,)是包围V1的三个,三角形V1V4V2，VlV4V3，VlV3V2的平面方程系数。,如果每一个多边形的平面方程已知，则多边形顶点的法线取

23、包围该顶点的各多边形的法线的平均值。,图像重建,二 医学CT三维图像重建,如果各多边形的平面方程未知，顶点处的法线可取交于此顶点的各棱边的平均值。,即顶点V1处的近似法线取为：,求得各顶点处的法向矢量之后，就可以非常容易地绘制等值面图像。,图像重建,二 医学CT三维图像重建,利用MC算法，对40幅头部切片图像重新绘制如下图所示，每层数据为128128，共40层。 MC算法重建物体的三维表面比较逼真，具有较强的立体感。,头部切片数据MC算法重建后显示,图像重建,三 超分辨率图像重建,1 超分辨率图像重建 （a）超分辨率定义 超分辨率(super-resolution)通俗点说就是通过硬件或软件的

24、方法提高原有图像的分辨率，通过系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。 （b）产生背景 在大量的电子图像应用领域，人们经常期望得到高分辨率（简称HR）图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。,图像重建,三 超分辨率图像重建,自从上世纪七十年代以来，电荷耦合器件(CCD)、CMOS图像传感器已被广泛用来捕获数字图像。尽管对于大多数的图像应

25、用来说这些传感器是合适的，但是当前的分辨率水平和消费价格不能满足今后的需求。例如，人们希望得到一个便宜的高分辨率数码相机/便携式摄像机，或者期望其价格逐渐下降；科学家通常需要一个非常高的接近35毫米模拟胶片的分辨率水平，这样在放大一个图像的时候就不会有可见的瑕疵。因此，寻找一种增强当前分辨率水平的方法是非常必须的。 （c）传统解决办法： （1）通过传感器制造技术减少像素尺寸（例如增加每单元面积的像素数量）。然而，随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。不受散粒噪声的影响而减少像素的尺寸有一个极限，对于0.35微米的CMOS处理器，像素的理想极限尺寸大约是4

26、0平方微米。当前的图像传感器技术大多能达到这个水平。 （2）增加芯片的尺寸，从而增加图像的容量。因为很难提高大容量的偶合转换率，因此这种方法一般不认为是有效的。,图像重建,三 超分辨率图像重建,（d）超分辨率的提出 采用基于信号处理的软件方法对图像的空间分辨率进行提高，即超分辨率（SR：Super-Resolution）图像重建。 核心思想是用时间带宽（获取同一场景的多帧图像序列）换取空间分辨率，实现时间分辨率向空间分辨率的转换，使得重建图像的视觉效果超过任何一帧低分辨率图像。这种方法的优点是不涉及硬件、成本低，而且现有的图像系统还可以使用，是一种比较经济的方案。 最容易理解的一种方式就是利用一组低分辨率