非预处理的牙齿实时渲染方法

1、非预处理的牙齿实时渲染方法摘要： 最近，我们发现了一种不需要预先进行艺术方面计算的牙齿实时渲染技术。众所周知，牙齿是由多层透明材质组成的，包括一层处于半透明材质（牙釉质）之下的高度散射材质（牙本质），以及包裹在牙釉质表面的一种透明材质的覆盖层（唾液）。在本次研究中，我们的工作是检验光照如何与这个多层结构发生相互作用。在过去，渲染牙齿所用的方法大都是基于图片的纹理映射方式或者是容积扫描的方式。我们此次使用了表面扫描的方法，并据此开发了一种用于判断层厚度的简单的方法。这种方法使用了一种光学文献中提到的关于散射特性的测量报道。并且我们将渲染结果与真实的陶瓷镶牙图片做了质量对比。1，介绍： 通过现有的

2、扫描及渲染技术，我们是很容易创建一个真实演员的高仿真数字化模型的。这些高仿真的数字化模型可以在电影中与真实的人物自然的融合在一起。而这类数字采集工作所面临的最主要的问题就是需要在艺术预处理方面投入大量精力。在列举工作中，仅为了改善渲染参数并进行混合工作就需要耗费一个美工三个月的时间去做预处理工作。一旦获得了这些参数，我们就能够在一个电影产品中渲染出较高质量的高仿数字演员。或者作为替代，渲染出质量稍次（但仍然很高）但是能够实时渲染的高仿数字演员。然而，当我们加上了“实时”的渲染要求时，眼部和嘴部就会显得不是那么真实。这是因为在所有脸部器官中，眼部和嘴部是最容易引起注意的。因此，牙齿的实时真实感渲

3、染已经被确定为我们未来工作的一个重点。在本文中，我们提出了一种既不需要艺术方面预处理，也不需要采用图片纹理，甚至不需要了解牙齿的精确的内部结构的牙齿真实感实时渲染技术。我们之所以将我们的渲染技术限制的如此苛刻是因为我们准备将这项渲染技术应用于牙齿工业。现在，一种新型的扫描仪器已经被开发出来用于进行快速的临床牙齿印模扫描。这种扫描仪能够捕捉牙齿表面的几何图形且不需要使用复杂且耗时的石膏浇筑过程。如果牙齿的扫描渲染成为现实，牙医可以在对顾客的口腔进行扫描后不久就与他们讨论关于如何选择牙冠及牙桥。而我们上面提到的要求苛刻的渲染技术正是这种新型扫描仪器所需要的。我们提出的牙齿渲染的数学模型与现有的表面

4、散射模型有很大的关联。我们还特别使用了Hanrahan 和 Krueger提出的单层散射模型用以解决牙齿的多层材质问题。而为了能够估计出牙齿的多层散射成分，我们还将上述模型结合了Hable et al的实时皮肤渲染技术。最终我们将介绍如何既很好的捕捉牙齿材质的视觉效果，又能够同时维护一个帧率大致20fps的动画。通过使用这种特殊的设计模式，我们可以将这个模型变得更具一般性，即不仅仅是牙齿的渲染，该模型还能够用于渲染任何被半透明图层覆盖的透明物体(例如说陶瓷)。1.1相关工作：目前，牙齿的实时渲染工作仅有很少的相关论文发表。其中与我们论文所讨论的模型很相似的一个模型是由Shetty，Bailey

5、和Shetty提出的分层模型。然而他们所提出的模型仍然是需要进行前期美工处理来确定牙本质在牙齿中所占的比例的。这也就意味着他们的模型仅仅适合于建立牙齿模型库而不是应用于我们之前所想的那种应用。使用CT扫描仪，我们就能够获得一组牙齿的体积数据。而用于实现这种扫描渲染的最典型的技术就是可视化技术。需要提到的是进行这种扫描的目的仅是为了显示牙齿所有的不同分层，而不是获得牙齿表面纹理的拷贝。当然，我们承认仅将通过CT扫描仪将牙齿表面的纹理提取出来并直接用这些纹理去进行渲染是可行的。Kim,Park, 和 Rhienmora et al正是依据这种方法开发了一个用于培训牙医的系统。他们所开发的系统能够实

6、现牙齿的实时观测。然而系统的作者所关心的重点是触觉渲染部分而不是视觉上的真实感渲染，而且很明显他们是使用了OpenGL的固定管线进行的渲染。为了提高视觉质量以及渲染速率Yau和Hsu为他们的牙医训练系统使用了面元模型以及面元渲染技术，然而他们的技术并不包括任何半透明效果的处理。至此，我们尚未发现有前辈们在牙齿的渲染工作中使用CT扫描仪获取牙齿的表面层次结构来提高牙齿渲染的外形质量。虽然我们更关心牙齿的表面扫描，我们所提出的渲染技术依然适用于从CT扫描仪中提取牙齿表面。而一个更为清晰的牙本质及牙釉质的位置信息将使我们获得更高等级的真实感渲染效果。Wang et al已经开发了一种基于牙齿的表面扫

7、描的牙医训练系统，并且他们面临了和我们一样的问题，也就是说他们也必须估计牙齿内部的几何形状。而据我们所知，他们是通过手工的方式完成的这项工作。他们获得了牙齿的组织结构，但是并没有将这些信息用于获取图像渲染时的半透明效果，而是去获取这些信息的触觉渲染影响然后根据牙医钻出的牙齿中不同的组织结构来设置牙齿的颜色。而且同样的，他们的阴影效果似乎也是使用OpenGL的固定管线渲染的。另一种近似渲染牙齿的方法是以图片为基础的纹理贴图法，这方面最具代表性的真实感渲染的样例就是Emily提出的数字演员的牙齿渲染。正如我们在简介部分提到的那样，包括C.T. Larsen et 等336名美工师的巨大需求使得这项

8、技术对于我们所提到的应用来说极其不合适。.而Pinghin等人所提出的基于图片的纹理映射技术则不需要巨大的前期美工投入。然而这项技术在将图片上的纹理与通用的脸部模型设定匹配关系时依然要投入一些手工方面的工作。因此，这项技术很难被应用于临床的牙齿扫描建模。张某等人提出了一种脸部重建模型，该模型可以让通用的脸部骨骼（包含牙齿的）模型自动的与给定的脸部扫描数据相适应。这种模型也许能够在各种形状的头骨中自动的进行牙齿的纹理匹配工作，然而不幸的是作者将这一功能定为以后再研究的工作。基于纹理的渲染技术在高水平的真实感渲染方面的潜力是巨大的。然而这项技术所需要的纹理数据并不总是可获得的，而这也是我们所做工作

9、的一部分。2，理论牙齿是一种包含多层结构的复杂材质，最里面的一层具有光学意义的部分是牙本质，这是一种高散射材质。牙本质处于牙釉质之下，而牙釉质则是一种半透明的材质并且其外面包裹着一层完全透明的唾液结构。光线在这些结构上的散射情况取决于牙本质和牙釉质的光学性质以及厚度。在下面的文章中，我们将描述这种分层散射情况，以及我们用于确定各层材质厚度的简单模型。然后我们将在这些理论基础上建立一个事实渲染的技术。2.1下表面的散射渲染散射材料需要输入的是材料，光学特性，相位函数，P，吸收和散射系数，a,S，以及折射率和。这些将决定材料的外观。我们将使用菲涅耳方程以及其余的反射和折射方面的定律来处理表面散射。

10、这些都需要输入折射信息作为索引。其余的信息将被用于计算下表面的散射。我们通常使用第一层，第二层以及第n层的散射对表面散射的贡献度辐射加和的方式来大致估计下表面的散射情况。这三层的贡献将取决于辐射传递方程的一部分或是全部的解。而这个方程的解则通常被认为与衰减系数，单一散射度，多重散射度有关。这些方程的解析解只有在某些特殊情况下才是可解的为了获得仅含有单一散射度以及衰减函数的解析解，我们假设各层的性质相同并且在局部是平行的。每穿过t厚度所产生的散射衰减如下：在这里F12T和F23T是在各层之间的界面的菲涅耳透射率，0 =N是向内表面法线之间的角度的余和方向的折射光，而且，如果我们让T =+S表示该

11、层的消光系数，=TT是其光学厚度单次散射的贡献。如果光出现在镜面上这个事件就会发生，它被称为向外的散射光，而果它出现在相对的平面他将被称为内向散射光如（图1）。向内和外单散射有恒定的解析解，平行光在一个同质的事件，平面平行介质。在这些假设下，单次散射只取决于该层的光学厚度和对入射光即向内散射方向（+）和外散射（）由下式给出在这里=s，t是散射反照率，描述散射与吸收的概率，P是前面提到的相位函数。折射定律是用来寻找前进的方向和散射方向介质内这些趋势导致余弦定律0 =N和= N和散射角= cos1（如果光散射回正方向余弦项，和0相等这样的结果可以在方程2中用零区分。在这种特殊情况下，下面的公式应该

12、是用来代替： 假设一个半无限，与平面表面均匀介质，可以使用扩散理论（BSSRDF）获得一个双向散射表面反射分布函数逼近通过。偶极近似估计入射辐射在一定的距离从兴起的分数由于多重散射入射点。我们利用对等人的抽头的方法，估计牙本质的多重散射。给定一个表面位置XO就可以通过这种方法发现入射光在其他十二面位置西在其附近（十二的位置是“窃听”）。在实践中，这是一个样本的内核，由十二像素位置的片段着色器进行加权。这些位置确定取样面积在目前着色像素（内核的起源）。多重散射采样一次每个像素位置的加权评价BSSRDF和乘以入射辐射是通过釉层传输。为了获得光线出现在牙齿表面的牙本质后多次散射的估计，我们需要通过釉

13、质层样本的积累以及传输的衰减。半透明边缘在牙齿的边缘的半透明度是由于牙本质层，这些近边缘区域对我们来说是一个特别的挑战因为剩余的牙釉质将厚到足以产生的多个散射事件，然而但太薄则会产生扩散近似。例如图2所示的问题。我们的模型将同时处理12调核采样釉质表面，随后映射每个样本点到相应的牙本质位置。这个结果将考虑到牙本质层辐射的贡献，从而消除了靠近边缘的半透明度。同时我们考虑到，牙本质导致辐射应该由一个衰减因子校正。我们更喜欢使用a = PTT2计算这个因素，其中T是指厚度在视图方向的分量，而PT0,1用于控制衰减的程度。牙齿面的粗糙度：因为牙釉质表面看起来是比较平整的，所以小的变化表面微结构可以模拟

14、一些粗糙情况。用一个粗鲁但简单的方式介绍粗糙度，粗糙度是指能够提高菲涅尔反射指数的参数。这种粗糙度值的选择完全基于偏好，而通过层层传播辐射，更积极的价值观将有效地导致更高的消耗。在我们的效果图，我们对1.3指数的牙釉质层使用一个菲涅尔反射。这使的牙齿稍微略白。我们都没能找到任何基于物理测量的方法来测量牙釉质表面粗糙度。3实施方案在着色器方面，我们结合使用了一些用于将牙齿几何形状渲染到纹理的顶点着色器以及用于渲染牙齿阴影的片段着色器。对于每个牙齿，我们都需要输入一个牙釉质表面的几何形状，包围盒，以及其质量，光学性质，衰减因子，以及粗糙程度来获得一个最终效果。而我们将通过下面的算法为着色器求解提供

15、必要的参数。1，第一步，生成纹理图a,渲染牙釉质的前面的位置以及法线，渲染牙釉质后面的位置以及法线，并且会的牙釉质在视线方向的厚度。b，通过缩放牙釉质的各个定点的位置来获得牙本质的前后位置，渲染牙本质的前方及法线，牙釉质与牙本质的位置图并且获得牙本质在视线方向的厚度。2第二步，渲染牙齿a，计算牙本质的多重散射i，确定来自于十二张样例的牙釉质表面纹理的像素坐标ii,对于每一个样例插入牙釉质的厚度iii,通过从一般方向查看预过滤环境图来估计每个样例中的光线入射角。iv,计算光线入射到牙本质上样例的各个坐标的影响。v,获取每个样例坐标上的辐射影响方程vi,将根据上面的方程所得的各层的辐射贡献影响进行

16、加权vii,获得最终的各层光线反射贡献b计算向外的单一散射度i，使用摄像机的朝向影响来查找环境图中国的入射光方向ii，获得牙釉质及牙本质的反射角，并据此来计算想歪的单一散射度。c计算背光传输i，在纹理中分析牙釉质及牙本质的厚度ii，计算传输方向d计算唾液及牙釉质的影响e调整环境的总辐射并获得最终的rgb颜色因为在许多情况下口腔里只会有很少量的光，它往往使感觉省略背光传输效果，和牙齿的向外单一散射效果。我们将漫反射优化，可以预先计算并存储为一个对应于所需的纹理分辨率的距离一个纹理。漫反射纹理只需要一组特定的参数生成一次。纹理贴图的传递应使用多个渲染目标优化。4，结果图3是一个切牙效果图（25K三

17、角形）和一个完整的牙齿在下颌（200K的三角形）。在没有使用我们上一节提到的优化的情况下，在英伟达的GTX580显卡下能够达到2030的帧率。我们的方法是非几何约束的，所以无论我们是呈现单个牙还是一个完整的牙齿，帧率都是相同的。图4是一个真实拍摄的臼齿。通过不同的拍摄角度来进行两定性比较。牙冠均没有相同的几何形状。牙冠是比较真实实的（因为它应该是在颜色的变化）。由于艺术手工相关其生产。效果图只表现出微妙的颜色变化主要从环境地图结果的思考。衰减从牙本质层散射光产生半透明的效果在图5中，我们比较两切牙牙冠牙齿模型。切牙比较不像摩尔比较有说服力。我们相信的理由是一个较大的偏差之间的几何和渲染的几何冠

18、。凹痕在渲染的齿顶齿的损坏区域。它实际上阐述了照明的温柔是一个结果的12份采样。在渲染的齿的顶部和底部之间的区别是阴影，这取决于从环境中光照入射变化图。冠照片之间的质的差异的另一个主要原因和渲染的图像是我们的外观模型不包括年龄变质和变色效应（例如由于雾化）的技术，我们使用的次表面散射提供了直接的控制在材料的出现。我们使用测量的光学性能（表1）作为指组的吸收和散射在搪瓷合理的值牙本质。通过不同的特性在允许的空间，我们可以不光是如何与两层相互作用。如图6所示，这导致在呈现的牙齿的外观差异明显。利用简单的插值方法（2.3节），釉质的厚度通过参数控制Tmin和Tmax。如图7所示，搪瓷的厚度直接影响牙

19、齿外观。5讨论我们已经提出了我们认为做到了不需要进行前期美工的实时牙齿渲染技术。在最后一段，我们将讨论一些改进措施。作为扩散理论的要求，牙釉质的散射光比可以通过单次散射以及较少的强散射材料获得。处理这类材料的一个好方法是我们留给未来的工作。牙齿有一个相当复杂的几何形状，牙釉质和牙本质的表面通常弯曲和凹陷，尤其是靠近边缘处。而我们假设接触面是一个平面，这也就意味着我们选择的样例必须能够达到表面细节能够被忽略的程度。虽然牙齿应该被允许进行几何形状上的交互操作，但是我们必须保证不做任何美工方面的预计算。用于下层交互方法的发展散射，不使用预计算的，更准确地处理几何与清晰的功能也将预留为未来的工作。该模

20、型不处理自然磨损牙齿的相关视觉效果，如龋齿或长时间暴露于咖啡，红酒和香烟。这种影响可以通过纹理映射来处理。纹理可以使用基于图像的方法产生的（见1.1节）或使用自动程序或统计方法。运用这样的纹理将是一种不错的方法，我们同时也期待着牙齿全自动UV映射的研究有新的突破。确认：这项工作的一部分资金由丹麦技术和创新委员会的数字样机项目资助。References1. Alexander, O., Rogers, M., Lambeth, W., Chiang, J.Y., Ma, W.C., Wang, C.C.,Debevec, P.: The digital Emily project: Achiev

21、ing a photorealistic digital actor.IEEE Computer Graphics and Applications 30, 2031 (2010)2. Alexander, O., Rogers, M., Lambeth, W., Chiang, M., Debevec, P.: The digitalEmily project: Photoreal facial modeling and animation. ACM SIGGRAPH 2009Course Notes (2009)3. van Noort, R.: The future of dental

22、devices is digital. Dental Materials 28, 312(2012)4. Hanrahan, P., Krueger, W.: Reflection from layered surfaces due to subsurfacescattering. Proceedings of ACM SIGGRAPH 1993, 165174 (1993)5. Hable, J., Borshukov, G., Hejl, J.: Fast skin shading. In: Engel, W. (ed.) ShaderX7,pp. 161173. Charles Rive

23、r Media (2009)6. Shetty, S., Bailey, M.: A physical rendering model for human teeth. ACM SIGGRAPH2010 Posters (2010)7. Shetty, S.: Layered rendering model for human teeth. Masters thesis. Oregon StateUniversity (2011)8. Botha, C.P., Post, F.H.: New technique for transfer function specification in di

24、rectvolume rendering using real-time visual feedback. In: Mun, S.K. (ed.) Proceedingsof the SPIE International Symposium on Medical Imaging 2002: Visualization,Image-Guided Procedures, and Display, vol. 4681, pp. 34956 (2002)9. Kniss, J., Kindlmann, G., Hansen, C.: Multidimensional transfer function

25、s for interactivevolume rendering. IEEE Transactions on Visualization and ComputerGraphics 8, 27085 (2002)10. Kim, L., Park, S.H.: Haptic interaction and volume modeling techniques for realisticdental simulation. The Visual Computer 22, 908 (2006)11. Rhienmora, P., Gajananan, K., Haddawy, P., Dailey

26、, M.N., Suebnukarn, S.: Augmentedreality haptics system for dental surgical skills training. In: Proceedings ofthe 17th Symposium on Virtual Reality Software and Technology (VRST 2010),pp. 978 (2010)12. Yau, H.T., Hsu, C.Y.: Development of a dental training system based on pointbasedmodels. Computer

27、-Aided Design and Applications 3, 77987 (2006)13. Wang, D.X., Zhang, Y., Wang, Y., Lu, P., Wang, Y.: Development of dental trainingsystem with haptic display. In: Proceedings of the 2003 IEEE InternationalWorkshop on Robot and Human Interactive Communication, pp. 15964 (2003)14. Wang, D., Zhang, Y.,

28、 Wang, Y., Lu, P., Zhou, R., Zhou, W.: Haptic rendering fordental training system. Science in China Series F: Information Sciences 52, 52946(2009)15. Pighin, F., Szeliski, R., Salesin, D.H.: Modeling and animating realistic faces fromimages. International Journal of Computer Vision 50, 14369 (2002)1

29、6. Zhang, Y., Sim, T., Tan, C.L., Sung, E.: Anatomy-based face reconstruction foranimation using multi-layer deformation. Journal of Visual Languages and Computing17, 12660 (2006)17. Ishimaru, A.:Wave Propagation and Scattering in Random Media. Academic Press(1978)18. Jensen, H.W., Marschner, S.R.,

30、Levoy, M., Hanrahan, P.: A practical model forsubsurface light transport. Proceedings of ACM SIGGRAPH 2001, 511518 (2001)19. Spitzer, D., Bosch, J.T.: The absorption and scattering of light in bovine andhuman dental enamel. Calcified Tissue Research 17, 129137 (1975)20. Zijp, J., ten Bosch, J., Groenhuis, R.: HeNe-laser