肾小管三维重建结构的立体显示

1、肾小管三维重建结构的立体显示Stereoscopic Display for Kidney Tubule 3D Reconstruction常世杰，李硕，翟效月*常世杰，男，博士研究生，讲师，研究方向：医学图像处理与三维重构、肾发生发育，联系电话电子邮件：shjchang李硕：女，硕士研究生，生物化学与分子生物学专业，电电子邮件：lishuoz188*通讯作者：翟效月，女，医学博士，教授，研究方向：肾发生发育，联系电话电子邮件：xiaoyue99基金项目 中国博士后科学基金（20070420206）；中国博士后基金特

2、别资助（200801399）；高校博士学科点专项科研基金联合资助（200801590016）摘要 目的：立体显示是近年来计算机行业新兴的一门技术，在多媒体娱乐等领域已开始应用，其效果层次分明，让人有身临其境之感。本文分析立体显示原理，并选择合适方法实现立体显示肾小管复杂结构，然后进行评价。方法：本文基于双目视差原理，将肾小管三维结构数据进行计算视差、世界变换、观察变换和投影变换，然后用DirectX方法绘图。结果：本文程序可将一条完整的肾小管三维结构实现非立体显示、红蓝眼睛立体显示和主动快门眼镜立体显示；随机选择10人对显示效果评价，认为立体显示层次感优于非立体显示，可区分一些之前难以分辨前后

3、关系的细小形态差异。结论：立体显示技术在形态学和影像医学等数字医学领域有良好应用前景，其中主动快门立体显示技术效果最好。关键字 双目视差；红蓝眼镜；主动快门眼镜；DirectX；肾小管；立体显示中图法分类号：R319; TP391.41Abstract Objective: Stereoscopic Display is a new technology in computer science, which has begun to be applied in three-dimensional movies, video games and multimedia etc. It can pr

4、ovide a sense of layering. In this paper, we analyze the principle of three-dimensional display technology, and use it in the application of displaying a complex kidney tubular structure. Methods: Based on the principle of binocular parallax and the tubular three-dimensional structure data, we desig

5、n a program which can calculate the parallax, world transform, observe transformation, and projection transformation, then we draw the figure using of DirectX technology. Results: This program implement non-stereoscopic display, red-and-blue glasses stereoscopic display, and active shutter glasses s

6、tereoscopic display for the three-dimensional tubular structures. Conclusion: 10 human morphology lecturers are random selected to evaluate the result. The evaluation shows that lecturers can distinguish some of the subtle structure using stereoscopic display, which are hard to identify using non-st

7、ereoscopic display. Active shutter stereoscopic display technology is best among these methods.Key Words Binocular Parallax; Red-and-Blue Glasses; Active Shutter Glasses; DirectX; Kidney Tubule; Stereoscopic DisplaySupported by the Postdoctoral Foundation (20070420206); Postdoctoral Fund special fun

8、ding (200801399); Specialized Research Fund for Colleges Doctoral Program (200801590016)组织或器官微细结构的三维构建以其直观的交互性革新了耗时枯燥的传统形态学研究方法，其在形态学关系复杂的组织结构中有着更明显的优势，例如对于神经、血管、肾小管等走行的显示。有关于肾小管三维重构的文章最早见于翟效月1 等通过三维重构成年小鼠的200个肾小管，研究了它们的走形关系以和相关的肾功能。三维重构技术已经可以将形态学关系以空间立体的形式描述出来，但观察时仍然将所有三维信息投影到一个显示平面；尽管可以通过放大、缩小、平移和

9、旋转等操作找到适宜的观察位置，但是我们不能如正常双目视觉一样有远近距离感，这样会影响对于诸如肾小管及伴行血管一类的微细结构的识别2。同样的情况也会发生在CT、MRI等需要三维重构的影像医学领域。立体显示技术则可以解决上面的问题。常见的立体显示技术有两种：非基于双目视差原理的三维立体显示（全息立体显示、集成成像立体显示和体显示等）；基于双目视差原理的三维立体显示3。前者发展不成熟，大多没有相应产品；而后者近年来有很大发展，并逐渐在立体电影、立体电视、立体照相和电子游戏等领域有了实际的应用。这些应用都证明了立体显示技术可以提供比传统显示技术更立体、真实临场感。1. 材料C57/BL/6J小鼠（常用

10、于转基因操作的种属），体重为25 g，腹主动脉灌流固定4。固定液为1%戊二醛和4%的羟乙基淀粉，固定液的配制均用0.06 M的二甲砷酸钠缓冲液（蔗糖调至300 mosm）。垂直于肾长轴取组织块，组织块从皮质表面的被膜一直延伸至肾乳头。组织块在同种固定液中浸泡过夜固定后，经1%锇酸后固定1小时，锇酸固定液配制采用0.1 M二甲砷酸钠缓冲液。醋酸铀块染，乙醇梯度脱水，树脂812包埋。采用Reichert超薄切片机及钻石刀，连续半薄切片，厚度设置为2.5m，从肾被膜到肾乳头，共获连续切片2000张左右。所有切片采用甲苯胺蓝染色。切片通过病理切片扫描仪（日本滨松光子学株式会社）扫描后生成切片的彩色图像

11、，间隔提取连续切片，故从被膜到肾乳头，共获得1000张左右连续显微图像，相邻两张图像的间隔为5m，图像的分辨率为25961889像素，每像素大小为1.16m1.16m。经计算机自动配准后，追踪始于肾小球的尿极，沿整个肾小管的走行，终止于肾小管和集合管的连接处或肾小管与另一肾单位连接小管的连接处。得到该肾小管走行的一系列坐标值。计算机：奔腾E65002.93GHz，2GB内存，320GB硬盘。显示卡：英伟达 GeForce 205，驱动程序版本566，支持DirectX 10和OpenGL 3.2。快门眼镜与同步器：英伟达3D立体幻镜套装（包括快门眼镜与同步器）。显示器：Acer GD245HQ

12、，分辨率19201080，最大刷新率：120Hz。DirectX：9.29.1962开发平台：Visual C# 20082. 方法目前基于双目视差原理的立体显示技术有三种：色分法（红蓝显示技术），光分法（偏振光眼镜）和时分法（主动快门眼镜）。三种方法在硬件设备实现上不同，但是都需要通过双目时差的原理分别计算左眼图像和右眼图像。2.1 双目视差原理本文的立体显示方法是基于双目视差原理5，如图1所示。图1 双眼高度一致时双目视差原理左右眼投影中心连线距离，即瞳距为B。两眼同时观测空间的一个物体，对于物体上的任意点P，分别在左眼和右眼成像，假定其坐标分别为pL (XL, YL)和pR (XR, Y

13、R)。通常情况下左右眼的高度一致，即YL = YR = Y。有三角关系得到： 公式1视差为D= XL - XR。由此可计算任意点P在视觉坐标下的坐标为 公式2因此，在左眼图像平面上的任意点都能在右眼平面上到对应点。即空间上任意点分别在左眼和右眼平面上有投影。因此，只要确定了三维坐标系，就可以分别计算出左眼的投影和右眼的投影。本文假定观察者位于z轴正半轴点(0,0,d0)处，这里用z轴正半轴表示在投影平面（显示器）的前面。因此观测物体上任意点P (XP,YP,ZP)在左右眼的投影分别为左眼： 公式3右眼： 公式42.2 程序设计程序设计的方法是按照双目视差原理并结合特定的硬件来实现。其基本的流程

14、如图2所示： 图2 立体显示设计流程图其中绘制曲线步骤，常见的有GDI+，DirectX或者OpenGL方法。GDI+可以看作GDI和应用程序间的一层，提供了更直观的、基于继承性的对象模型，.NET基类库的GDI+非常大，主要是因为微软公司又为GDI+增加了新功能6，但是它并不适合于精细绘图或者大规模绘图情形。DirectX是微软公司创建开发的一种图形应用程序接口（API），由于大量硬件厂商的支持，DirectX的许多函数可以直接在硬件上执行，也就大大提高了程序执行的效率7。OpenGL是一个跨编程语言、跨平台的编程接口，用于生成二维、三维图像，由近350个函数调用组成，用来从简单的图元绘制复

15、杂的三维景象，OpenGL同样可以基于硬件加速以提高程序效率，但微软并没有提供标准的OpenGL函数8，9。综上，采用DirectX方法设计绘图部分的程序。3. 结果在编程实现中与绘图的参数是：眼睛相对于观察物体的角度（即世界变换参数），瞳距B，眼睛与投影平面的距离Z，以及投影平面相对于显示窗口的位置，投影图像放缩大小。因此需要为它们设置double型全局变量：dbl_Pitch=0;/世界坐标的X轴旋转角度, 并初始化值dbl_Yaw=0;/世界坐标的Y轴旋转角度, 并初始化值dbl_Roll=0;/世界坐标的Z轴旋转角度, 并初始化值dbl_Z=100;/与投影平面的距离, 并初始化值db

16、l_B=65;/瞳距, 正常人通常是65mm dbl_PrjX=0; /窗口控件相对于投影平面的位置X方向偏移dbl_PrjY=0; /窗口控件相对于投影平面的位置Y方向偏移dbl_Zoom=1; /投影平面的图像在显示窗口的放大系数3.1 非立体显示方式将坐标导入数据结构后，首先使用VertexBuffers函数将数据传递到显存，然后使用DrawPrimitives函数获取定点并渲染。接下来进行世界坐标变换、观察变换和投影变换，最后进行渲染绘制曲线。关键代码如下：/世界变换device.Transform.World = Matrix.RotationYawPitchRoll(dbl_Yaw

17、, dbl_Pitch, dbl_Roll) * Matrix.Translation(dbl_PrjX, dbl_PrjY, dbl_Z) * Matrix.Scaling(float)Data, (float)Data,(float )Data);/观察变换device.Transform.View = Matrix.LookAtLH(new Vector3(1.0f, 3.0f, ViewZ), new Vector3(m, n,10.0f), new Vector3(0.0f, 1.0f, 0.0f);/投影变换device.Transform.Projection = Matrix.

18、PerspectiveFovLH(float)Math.PI / 4, 1.0f, 1.0f, 100.0f); 3.2 红蓝立体显示方式红蓝立体显示10需要在非立体显示的基础上增加左右眼视图，用户通过专门的红蓝滤镜将红色图像传给左眼，蓝色图像传给右眼，最终是用户感受到左右眼不同的图像，产生距离感。因而需要绘制两条曲线，分别对应左右眼视图。程序编写时，两次使用VertexBuffers函数锁定坐标，接下来进行世界坐标变换，并按照公式3，4进行观察变换和投影变换，最后进行渲染绘制曲线。关键代码如下：/观察变换device.Transform.View = Matrix.LookAtLH(new

19、Vector3(float)(0 dbl_B / 2), 0.0f, 5.0f), new Vector3(float)(0 dbl_B / 2), 0.0f, -5.0f), new Vector3(0.0f, 1.0f, 0.0f);/投影变换device.Transform.Projection = Matrix.PerspectiveOffCenterLH(float)left, (float)right, (float)bottom, (float)top, 1.0f, 1000.0f);利用红蓝立体显示方式得到的显示图像如图3：图3 红蓝立体显示方式显示的肾小管三维结构红色为左眼视

20、图，蓝色为右眼视图。后文主动快门眼镜显示方式效果是两图形为同种颜色3.3 主动快门眼镜立体显示方式主动快门眼镜立体显示方式主要是通过提高画面的刷新率来实现3D效果的，通过把图像按帧一分为二，形成对应左眼和右眼的两组画面，连续交错显示出来，同时红外信号发射器将同步控制快门式3D眼镜的左右镜片开关，使左、右双眼能够在正确的时刻看到相应画面。程序编写时利用presentParams.SwapEffect函数设置双缓冲区，分别存储左眼图像和右眼图像，通过与快门眼镜一样频率的反转，使用户产生立体视觉。由于英伟达公司没有对个人开发者开放基于GeForce系列显卡的立体显示编程接口，因此可以通过分别输出左右

21、眼视图的的图片，并借用英伟达公司提供的立体图片合成和浏览软件连观测立体结构。4. 讨论本文基于双目视差原理，用DirectX方法设计了程序，分别用非立体显示方式、红蓝立体显示方式和主动快门眼镜方式对成年C57小鼠的肾小管重构的三维结构进行了立体显示。为了对比效果，我们分别随机选择了人体形态学科任课讲师10人对立体显示效果进行了主观评价，同时在计算机程序设计角度对三种方法进行了比较。见表1。表1 本文使用的三种立体显示方式对比内容表示立体效果舒适度专业设备专用资源编程复杂度非立体显示能无好无少小红蓝眼镜方式能一般差要求极低多略高主动快门眼镜方式能好好专用眼镜多高综上，利用双目视差原理可以实现肾小管结构的立体显示，显示效果优于传统的非立体显示方法。红蓝显示方式有立体感，但是颜色偏差大，用户感觉极不舒适，无法长时间使用；主动快门眼镜显示的曲线立体感强烈，画面稍暗，但没有颜色偏差，用户感觉舒适。目前英伟达的立体显示技术在立体电影、电子游戏和多媒体娱乐等方面有较多应用。预计未来英伟达公司将开放GeForce系列显卡的编程接口，届时结合DirectX技术将可在普通个人计算机上实现大规模形态学三维结构的立体显示。这将为影像医学和人体形态学等的应用开辟新的思路。参考文献1Xiao-Yue Zhai, Jesper S. Thomsen, Henrik Birn, et al