三维图像处理技术

1、三维图像处理技术第1页，共42页，2022年，5月20日，0点22分，星期日8.1 三维图像重构技术8.1.1三维图像重构原理 由物体的一组横断面的投影重构物体的图像是一种独特的处理问题的方法。在许多应用中，唯有采用这种方法可以在不损坏物体的条件下，产生物体内部的断面图像。重构技术已被广泛应用于放射学和核医学、非破坏性工业测试和数据压缩等许多领域，显示出了它的重要价值。 图8-1表示三维重构的一般化问题和各种可能的解决方法。假定嵌入的两个数只能由侧面方向观察，但是，要确定从顶部观察两个嵌入的数是什么数，如果把物体切成若干断面，显然可以很容易确定嵌入的两个数字。但是，在许多情况下采用切片的方法来

2、了解物体内部的状态是不切实际的。第2页，共42页，2022年，5月20日，0点22分，星期日 图8-1表示了利用能量的透射、发射和反射的性质，搜集信息的三种方式。透射方式搜集的信息是反映物体对能量吸收的强弱特性和物体的性质。能量源通常采用X射线束、电子束、光和热。发射方式确定物体位置的原理是依据衰变的正电子在相反方向发射出两束射线，通过检测这两个事件发生的时间来确定原有正电子的湮没位置。采用能量反射方法可以确定物体表面的特性，能量源可以是光、电子束或超声波。第3页，共42页，2022年，5月20日，0点22分，星期日 图 8-1第4页，共42页，2022年，5月20日，0点22分，星期日 图像

3、重构在医学上获得的重要应用之一是利用该技术构造了计算机层析X射线系统(CT)。图8-2表示了一个X射线透射系统的基本部件。在普通的X射线照片中，如图中示出的大脑血管照片，三维物体信息是以二维形式迭加在胶卷上，而计算机层析X射线系统所获得的照片是物体的横断面图像。在该断面内构成的图像矩阵是由预先确定了大小的正方形元素组成。在计算机层折X射线的脑图像系统中，元素的尺寸是13mm的正方形。生成的矩阵必须包含需要反映的目标。例如在目标为头部的情况下，可以使用典型的148个元素，长度近似25cm。第5页，共42页，2022年，5月20日，0点22分，星期日 图 8-2第6页，共42页，2022年，5月2

4、0日，0点22分，星期日 为了采集形成图像的透射数据，X射线源与检测器安置成一直线，使并行射线为一个图像元素的宽度。扫描装置的横向部分作线性运动，对148行或更多的行（每行包括148个元素或更多的元素）逐行查询，在扫描部件横向运动时148个数据点各自地送入计算机，扫描部件每横向线性扫描一次之后，射线能源与检测器的整个几何体旋转预先规定的角度值（例如，角度增量值为1），横向的线性扫描运动再重新开始。如果使用180个角度的投影，送入计算机的投影数据为180l4826640。采集的数据信息是在扫描进行的同时存入计算机内。计算机层折X射线透射图像的信息强度是可控制的，已经证实，扫描器可以测量百分之几级

5、别的X射线吸收系数的变化，这相当于脂肪、肌肉和其他组织之间的微小差别。第7页，共42页，2022年，5月20日，0点22分，星期日第8页，共42页，2022年，5月20日，0点22分，星期日第9页，共42页，2022年，5月20日，0点22分，星期日 Fourier变换重构方法 Fourier变换重构图像所依据的原理是，一个三维（二维）物体的二维（一维）投影的Fourier变换是精确地等于物体的Fourier变换的中心截面（中心直线），当投影旋转时，其Fourier变换的中心截面（中心直线）随之旋转。因而重构图像的过程，首先由不同角度位置时的投影变换构成物体完整的Fourier变换，然后，通过

6、取反Fourier变换重构物体。 第10页，共42页，2022年，5月20日，0点22分，星期日 现在，说明Fourier变换重构的理论。假定f(x,y)表示图像函数，其二维Fourier变换 图像在x轴上的投影为： 投影的一维Fourier变换为： 第11页，共42页，2022年，5月20日，0点22分，星期日而f(x, y )二维Fourier变换的中心直线F(u ,0)为： 所以 G(u,0)= F(u,0)。 由于在二重积分中变量变换时，其积分的改变中遵照以下形式： 对二重积分：如果作变换:x=x(,),y=y(,) 则可以证明，二重积分改变为：第12页，共42页，2022年，5月20

7、日，0点22分，星期日其中 称为Jacobi行列式，以纪念首先研究此问题的德国数学家Jacobi。 由于f(x,y)二维Fourier变换为： 作变量变换： x=xcosysiny=xsin ycos第13页，共42页，2022年，5月20日，0点22分，星期日将f(x,y)用f(x,y)代替,同时替换 x=xcosysin,y=xsin ycos得： 上式恰好符合频率上的坐标旋转公式： u= ucosvsin v=usinvcos 第14页，共42页，2022年，5月20日，0点22分，星期日因此，变换公式可写为： 说明F(u,v)同F(u,v)是相同的。同时说明，当空域中的坐标(x,y)转

8、动角时，在x轴上的投影经过Fourier变换得到的频域数值也正好旋转角。 得到平面上F(u,v)各点的值后，进行反变换计算得到图像函数 这些结果变可以方便地扩展到三维场合。令f(x1,x2,x3)表示一物体，三维Fourier变换 第15页，共42页，2022年，5月20日，0点22分，星期日变换的中心截面是 根据定义，在x1,x2轴上的投影是 注意到，令f3(x1,x2)的二维Fourier变换是完全等同于上面三维Fourier变换的中心截面的方程式的。如果取得的投影相对于u1,u2平面为角，那么，在变换空间内其变换截面相对于u1,u2平面成相同的角度。因此，可以取不同角方向的投影变换，插入

9、到三维变换空间。为了构造Fourier变换空间从理论上来说，需要取无数的投影变换，但实际上投影变换数总是有限数。然后，由Fourier反变换重构图像f(x1,x2,x3)。 第16页，共42页，2022年，5月20日，0点22分，星期日 8.2立体投影技术8.2.1 物体成像原理 立体投影技术是一种通过一个立体图像对推导出物体三维形状的技术。为此，必须首先为图像的成像几何建模。图8-3中给出了一个物体，一个光源及一个摄像机系统。我们建立一个以透镜系统的光学中心为原点的三维坐标系。摄像机的光轴与z轴重合。 对于物体是不透明的表面。依照表面的反射特性，照射在其上的一部分光线被反射，向各个方向散射。

10、一部分散射光线穿过了透镜的光圈，在摄像机的成像面上形成了一幅物体的图像。第17页，共42页，2022年，5月20日，0点22分，星期日 图8-3第18页，共42页，2022年，5月20日，0点22分，星期日 如果要将图像数字化，可以认为图像中平面被一个像素阵列覆盖。在图8-3中，其中的一个像素向回投影穿过透镜，在物体的表面上，生成了此像素的一个像。 像素与物体的相交定义了与此像素对应的物体表面区域。照射到与此像素对应区域的部分光线散射回透镜光圈。所有这些光线被透镜会聚，投影到给定像素上，因而确定了其灰度值。 除了亮度之外，还可以将另一个值与所考虑的像素联系起来。从镜头中心到点P 的距离定义了该

11、像素的行程。需强调的是，如果有另外的表面在此物体后面，他们是不可见的。因此，一个像素的进程是从镜头中心到所遇见的第一个不透明表面之间的距离。我们可以通过给每个像素按与长度成正比而不是亮度成正比来赋值的方式生成一幅距离图像。第19页，共42页，2022年，5月20日，0点22分，星期日8.2.2 立体投影成像 下图示出了一对适合于立体成像放置的摄像机。一个三维坐标系以左投影机的投影中心为原点。在该例中，两个摄像机的光轴平行，并位于xz平面上。在这种条件下，摄像机被称为是处于平行对准状态。z轴与左摄像机的光轴重合。两个摄像机焦距均为f,他们之间的距离是d（图8-4）第20页，共42页，2022年，

12、5月20日，0点22分，星期日8.2.2.1距离方程 假设坐标为 的点P，被放置在摄像机前方，并分别成像于两个摄像机平面上。那么，利用zx和yz平面中的相似三角形，可以看到从点P穿过透镜中心的直线与 (图像）平面相交于同样，从P穿过右摄像机的中心的直线将与图像平面相交于第21页，共42页，2022年，5月20日，0点22分，星期日 现在在每个成像面上设置一个二维坐标系。为了方便起见将这两个坐标系位置处旋转180，这样就抵消了成像过程中固有的旋转。因此这样一来该点在其图像中的坐标为第22页，共42页，2022年，5月20日，0点22分，星期日注意两图中心的y坐标相同。重新整理可得:从中解出Z0得

13、到法向深度方程(8-1)第23页，共42页，2022年，5月20日，0点22分，星期日 这个方程将距离的法向成分Z0与两幅图像偏移的像素数联系起来。值得注意的是在方程中，Z0仅是xr和xl之差的函数，而与他们单个值大小无关。由于Z0必须取正值，应有 。还要注意的是分子的值与之相比可能非常小。这就意味着对于大的Z0分母可能会非常小。因此，在两幅图中特征定位的微小偏差可能会导致深度计算的大误差。 同样在三维空间中，利用相似三角形，我们有对其加以整理用（8-1）代替Z0得（8-2）第24页，共42页，2022年，5月20日，0点22分，星期日 它就是实际深度的一方程。这给出了从原点到点P的总长度。对

14、于窄视野（望远镜）,光学系统，X0,Y0Z0并且xl和yl相对于都很小。因而方程（8-2）可以用方程（8-1）来近似。8.2.2.2深度计算 立体投影深度可按以下方式计算。首先，对于左图中的每个像素，判断右图中的哪个像素对应于物体上的同一点。对于一个图等于图8-4的平行对准系统，可以按行对行的方式来完成，因为物体上的任一点都映射到图像上，因而相同的垂直位置在同一扫描线上。接着计算 ，生成一个偏移图，其中的灰度按适当的比例代表像素偏移。然后，用方程（8-1）通过偏移图像计算每个像素的Z0，生成一个法向距离图，最后计算每一点的x,y坐标:第25页，共42页，2022年，5月20日，0点22分，星期

15、日 上述过程使我们能够计算物体上每个点的x,y,z坐标值，这些点各自对应摄像机中的一个像素。使用方程（8-2）以x和y为函数计算R则生成了一幅实际深度图。在两种情况下，我们成功地测绘了三维物体的可见表面。 在图8-4中，摄像机是平行对准的。除了Z0比d大很多的情况之外，一般都有必要将摄像机会聚，以便其视野重叠在就近的物体上。在一个会聚系统中，光轴不再平行，而是交于xz平面中的某点。在这种情况下，所用的是相同的技术，但深度方程稍复杂些。如果两个摄像机的光轴甚至不在同一平面的话，情况则更为复杂。有时，需要从立体图像对决定摄像机的几何参数。这可通过使用六个或更多的x,y,z坐标已知的点，运用最小二乘

16、拟合来决定每个摄像机的成像几何。第26页，共42页，2022年，5月20日，0点22分，星期日8.3 体视图像显示 一个三维场景可以通过三维显示技术重现给观察者。这就是20世纪初开始流行的立体电影和体视摄影术的基础。它还提供了显示三维数字图像如生物细胞的方法。8.3.1 显示几何 图8-5描述了立体显示的观测几何，体视图像对（stereoscopic image pair）放置在观察者眼睛前方距离D处，双眼距离为S。一个位于左图xl,yl坐标处与右图xr,yr坐标处的小特征在观察者看来就像放置在点P处一样。第27页，共42页，2022年，5月20日，0点22分，星期日图8-5第28页，共42页

17、，2022年，5月20日，0点22分，星期日 通过类似于围绕图8-5的几何推导，可得出一个深度关系它是方程8-1的翻版。在二个图像中的对应点的x坐标关系为第29页，共42页，2022年，5月20日，0点22分，星期日 这意味着对远处的物体（ ），其在左右眼的坐标相同。当一个物体在右眼图像中左移动时，它的视在位置朝观察者方向移动。 体视摄影是一门呈现三维景物的技术，它使用类似于图8-4所示的摄像机与类似于图8-5的观测装置。假设图8-5中的两个摄像机在图像平面上生成正的胶片，这些胶片可以绕z轴旋转180，放置到观察者前面，就像图8-5所示那样。如果满足关系式则该景物看起来就像观察者直接观察到的一

18、样。8.3.2 立体显示生成 假如左眼图像和法向深度图给定，而要求生成右眼图像以实现立体显示。这要求如下形式的几何变换。第30页，共42页，2022年，5月20日，0点22分，星期日（8-3） 这只是一个在水平方向有不同位移的复制操作。给定一特定景物的灰度图像和深度图像，可以通过生成左右眼两幅图像获得更好的立体显示效果。右眼图像依据方程(8-3)合成，但是用所给的偏移量的一半。而左图则通过向相反方向作相同距离的移动生成。这种技术能够对包含有丰富形状细节的近处物体的图像生成高质量的显示。第31页，共42页，2022年，5月20日，0点22分，星期日8.4光学切片图像 光学显微镜是组织学和微解剖学

19、的一个常用工具。这些学科关注在显微镜度量范围内生理学切片的结构功能。然而这些标本是三维的，这就给用传统的光学显微镜进行分析提出了问题。首先，只有那些在聚焦平面或其附近的结构才是可见的。其次，刚好位于焦平面外一点的结构虽可见，但变得模糊了。而那些远离焦平面的结构是不可见的，但它们对记录下来的图像有影响。 这种三维的效应可以通过多重切片来克服。也就是将样本切为一系列的薄片，然后分别研究每一部分，以了解样本的三维结构。多重切片方法有两个主要的缺点：当切片各部分分开后，结构间的对准会丧失；切片时存在不可避免的几何形变。后者包括拉伸、卷曲、折叠和薄片的撕裂。第32页，共42页，2022年，5月20日，0

20、点22分，星期日 在许多应用中，获取一个生物样本的三维显示是有益的。三维显示很重要，因为对二维分割图像的不恰当的解释会导致对结构的各种错误理解。通过将焦平面设置于光轴上的不同位置，对样本进行数字化，然后处理每一层图像。 1986年美国国立医学图书馆于提出可视化人体项目，以供临床医学和生物医学研究工作中的图像资料收集、检索和存取，最终成为一所电子化的生物医学图像图书馆。 NLM于1989年提出的计划认为，应首先建立表达完整、正常的成年男性和成年女性身体测量数据的数字图像图书馆。数据应采集于躯体断面的数字化照片图像、计算机断层图像（CT）和磁共振图像（MRI）。1991年8月，这一顶目由丹佛科罗拉

21、多大学（the University of Colorado at Denver）的Victor M.Spitzer博士和David G. Whit1ock博士所领导的小组开始执行。根据最初的计划，是对男、女各一具遗体以上述三种方式每隔1mm为一断层，将三种来源的图像相互参照地组合为一，该计划现已完成。第33页，共42页，2022年，5月20日，0点22分，星期日 男性遗体来自一位39岁的德克萨斯州白种人，身体健壮完好，自愿捐献遗体供科学研究，为人类科技进步做出贡献。数据采集步骤如下： (1)采用4mm间隔的轴向磁共振扫描全身，图像分辨率为256256（每点具有12位灰阶分辨率）。 (2)采用

22、1mm间隔作轴向CT扫描全身，分辨率为51212（每点同样具有12位灰阶分辨率）。 (3)对遗体作深冷冻后进行轴向切片解剖，每层间隔1mm，与CT断层吻合，其断面的图像分辨率为2048x1216（每点具有24位灰阶分辨率）。综上，对整个男性遗体共作了1871个断层的CT扫描和解剖断面，所重建的男性“可视人”（图8-7）总数据量达15GB。第34页，共42页，2022年，5月20日，0点22分，星期日图8-7第35页，共42页，2022年，5月20日，0点22分，星期日 女性遗体来自一位59岁马里兰州黑种人，除心脏轻微肥大（亦因心脏病急性发作而死亡）外，全身各部分完好。数据采集方法基本同男性“可

23、视人”，仅解剖断面所采用的间隔缩小至0.33mm，这样形成了五千多个解剖断面。这一女性“可视人”（图8-8)的总数据量高达40GB。 这两个数据人被存贮在NLM的巨型服务器中，可通过网络访问。 一系列透明的切片图像可以从任何方位角、高度角及深度的视点观测。切片图像投影到一个假想的观察平面上，在此平面上它们通过求和而叠合在一起。投影可以通过一个几何变换完成。第36页，共42页，2022年，5月20日，0点22分，星期日图8-8第37页，共42页，2022年，5月20日，0点22分，星期日 2002年10月23日，第三军医大学宣布，首例中国数字化可视人体的数据采集日前在该校完成。 首例中国数字化可

24、视人体是在国家自然科学基金的资助下，由第三军医大学博士生导师张绍祥教授带领二十多人的课题组经过三年多的不懈努力才得以完成的，这一成果为中国乃至整个东方人提供了一部目前最为系统、完整和细致的人体结构基本数据和图像资料。 这例经法律程序采集的“可视人”标本为一标准的中国健康男性尸体，年龄35岁，身高170厘米，体重65公斤。该尸体标本经处理后，被放入深低温冰槽冷冻，然后在零下二十五摄氏度低温实验室中用数控铣床从头到脚逐层切成薄片。该“可视人”全身共计被切为二千五百一十八个连续横断面切片，其中颅底部等重要部位的切削厚度仅为0.1毫米。 第38页，共42页，2022年，5月20日，0点22分，星期日部分横截切面 第39页，共42页，2022年，5月20日，0点22分，星期日 另一中国数字化人是一位28岁的汉族健康男性，祖籍湖南，身高166厘米，体重58公斤，没有任何传染病和代谢疾病。该男子2002年4月死亡，自愿捐献尸体作科学研究。专家发现其没有任何传染病和代谢疾病，身体健康，身高1.66米。根据中国人群的绝大部