中期考核报告

1、基于非郎伯材质的高精度建模技术李敏 11121072导师：许端清中期考核报告目录背景介绍关键技术研究内容及目标等工作进展下一步工作计划应用背景文物是人类在历史发展过程中遗留下来的遗物、遗迹。文物的保护管理和科学研究，对于人们认识自己的历史和创造力量，揭示人类社会发展的客观规律，认识并促进当代和未来社会的发展，具有重要的意义。但随着时间的推移，文物的本体会不断退化，甚至消亡，所以文物的数字保存将具有十分重要的意义。文物数字化就是要客观、准确、真实地记录文物的三维形状和表面纹理信息，具有广阔的应用前景。文物高保真采集要求客观、准确、真实的记录文物的三维形状和表面纹理信息应用背景文物特点几何位置信息

2、准确且采集精度要高材质多样形状多变 应用背景目前主要研究对象三维建模的是基于郎伯模型以及颜色一致性的假设，且物体多具有以下热点： 不透明 刚性物体博物馆主要研究对象博物馆的馆藏文物中有大量的玉器以及瓷器玉器多为半透明材质，受非直接光照影响较为严重每一个瓷器本身的色彩都有其自身的特性，目前无法采集瓷器自身的特有属性。Zhejiang University应用背景小结 需要可以控制光照的三维扫描测量技术技术背景 目录背景介绍关键技术研究内容及目标等工作进展下一步工作计划关键技术结构光扫描技术原理：将激光或者其它可见光构成的点、线、面、光栅等形式的结构光投射到被测物体上，利用双目或多目视觉传感器采集

3、经物体表面调制的结构光图像，利用图像处理技术得到被测物体的三维几何信息和空间位置信息利弊：因为面结构光三维扫描需要用到相机和投影仪等硬件设备，要获得物体细微特征的三维精确数据，必须要提高三维数据的采集密度，一般可以通过提高图像的分辨率的方法实现，虽然高分辨率的相机是容易获得的，但是高分辨率的投影仪却不容易找到关键技术光度立体视觉最初的光度立体视觉技术（The Photometric Stereo）假设了一个已知的重构函数，即理想的朗伯体反射模型。采用一个相机和几个发光强度相同的光源，保持相机和所拍摄的物体不动，通过改变光源的方向，同时拍摄物体在不同光源照射条件下的一组图像，然后根据这些图像计算

4、出物体的表面法向基于不同材质选定光照模型标定光源方向根据标定的光源方向和图像信息求解法向量关键技术基于光度立体视觉的表面精细特征三维重建技术光度立体-物体表面法向向从梯度重构物体表面结构光扫描-点云位置信息法向-梯度目录背景介绍关键技术研究内容及目标等工作进展下一步工作计划研究内容获取特殊材质物体的高精度模型特殊材质物体的形状高精度获取材质光度立体视觉全局光照理论高精度从梯度重构物体表面研究目标高精度多材质采集技术进行高精度采集。解决目前算法与高分辨率大数据量之间的不匹配问题，对目前的算法进行重新定位和改进，使高分辨率图像的重构成为可能，最终结果达到微米级别。研究特殊材质的三维采集技术，考虑基

5、于更加接近实际情况的光照模型提出新的光度立体视觉算法。拟解决的关键问题如何准确获取特殊材质的三维形状。三维采集的方法由来已久，但是非郎伯材质由于其固有的材质属性导致的高光阴影以及全局光照等现象始终是三维建模领域的难点问题，故试图提出新的算法采集特殊材质。如何获取物体的高精度三维模型。从梯度重建物体表面的方法实际是一个积分问题，在面对巨大计算量时，之前的方法不能够很好的处理数据，所以要对之前的方法进行改进并提出新的算法。目录背景介绍关键技术研究内容及目标等工作进展下一步工作计划工作进展完成学校要求课程承担实验室有关项目，负责实现改进核心算法，主要有“基于光度立体视觉的精细表面三维重建算法”等阅读

6、相关方向的专业书籍和论文，跟踪研究的前沿方向，并结合实际开发中遇到的科学问题明确研究方向，制定后面几年的研究目标和研究计划研究进展光度立体视觉及相关理论大量阅读光度立体视觉方面的文献，并学习相关理论，包括BRDF模型、PDE方程求解、全局光照理论以及图像处理等方面的内容总结近年来研究热点：尽可能减少光度立体视觉对光照模型的研究，重点是基于各向同性的光度立体视觉研究，也有少部分研究半透明（全局光照现象）对光度立体视觉算法的影响，明确研究方向研究进展BRDF对于一个表面，它用来定义给定入射方向上的辐射照度（irradiance）如何影响给定出射方向上的辐射率（radiance）。更笼统地说，它描述

7、了入射光线经过某个表面反射后如何在各个出射方向上分布这可以是从理想镜面反射到漫反射、各向同性（isotropic）或者各向异性（anisotropic）的各种反射入射方向出射方向法向量研究进展理想镜面反射理想漫反射一束光射向光滑表面，有确定的反射方向一束平行的入射光线射到粗糙的表面时，光线向四面八方均匀反射研究进展BRDF研究进展光度立体条件假设：物体表面为理想散射表面，即从所以观察方向看它都是同样亮的，并且完全反射所有入射光研究趋势放宽条件，具体主要表现为：与其它理论（全局光照理论、光场传输理论等）结合，消除视觉中较难处理的互反射、子分表面反射等现象全局光照是指场景内某一点光照的贡献之外，也

8、要考虑场景中其他的点对该点最终颜色值的影响，这跟现实生活中的光照现象是一致的。全局光照，包括互反射和子分表面反射等理想漫反射的郎伯面更为接近实际情况的光照模型（isotropic，甚至半透明现象的物体）研究进展从梯度重建物体表面（surface reconstruction from gradient)理论上，梯度场的曲面积分是与路径无关而只与起始点有关，即梯度场的旋度为0.但是在实际操作中，比如光度立体视觉等带来误差导致旋度不为0，即梯度场不可积分。在尽可能小的计算代价下，如何将不可积分路径强制成可积分路径是接下来的研究内容。研究进展梯度场重构表面Poisson Solver-surface

9、M-estimators实验条件实验设备计算机一台投影机（1024768）一台相机（4368832）四盏led光源 及光源控制系统相关软件实现算法标定光源方向通过高光球图像，查找图像中的高光位置，通过高光位置来获得反射光线的方向，进而推算光源方向实现算法光度立体视觉求解法向量光源为无限远处的点光源，或者均匀照明的平行光成像几何关系为正交投影（平行投影）物体表面为理想散射表面，即从所以观察方向看它都是同样亮的，并且完全反射所有入射光设图像一像素点的亮度为 ，其表面的单位法向量为 ,光源方向为 ，则根据朗伯体的反射模型有：Zhejiang University 实现算法 Image irradia

10、nce:We can write this in matrix form:实现算法部分实验结果 314512 1248832实现算法存在问题对于理想输入图像（相机模型矫正、颜色一致性矫正、郎伯）最终结果比较理想（左图）对阴影和高光等现象非常敏感，当物体为非郎伯体时，假设郎伯模型的方法会使结果有很多噪点（右图）尽管算法中已经加入对阴影和高光的操作，但当实际物体与假设的漫反射体差别较大时，结果误差依然很大。实现算法从梯度重建物体表面假设有一个HW的图像（y，x），p(y，x)，q（y，x）是关于图像的不可积分梯度场。目标就是利用p，q求表面Z， 表示Z的梯度场，从梯度场回复物体表面，实际是最小化下

11、面的误差函数：拉格朗日方程实现算法部分实验结果实现算法存在问题只能获得局部信息，故最后深度图并不能够准确反应真实的几何形状算法依赖初始值，如果初始值出现outlier，对整个结果影响很大实现算法精细重建输入图像，由光度立体视觉视觉直接计算出每一个点的法向量N 。由结构光测量出物体表面的三维点L 。利用光度立体视觉的法向量计算出物体表面的梯度场。使用泊松方程通过梯度场重构物体表面细节，同时加入结构光三维点云的约束几何形状实现算法实验结果篮球结构光（1248832）点云数74399光度立体1（1248832）点云数165284光度立体2（24961664）点云数657889实现算法实验结果 琉璃盘

12、结构光（1248832）点云数215239光度立体1（1248832）点云数326086光度立体2（24961664）点云数1832162实现算法存在问题依赖于初始迭代值，如果初始值 中有偏离正常值距离很远的异常 值点，误差被扩散，可能会对全 局产生影响“空洞问题”对于某些非郎伯的 材质局部会有高光现象发生， 结构光扫描得到的高光部分为 空洞，后面的处理过程中由于光 度立体假设模型为漫反射体，所以 不能对“空洞”进行填补目录背景介绍关键技术研究内容及目标等工作进展下一步工作计划下一阶段计划重难点问题及解决思路不同的材质材质对应不同的光照模型，对于实际中有些光照现象较为复杂的材质使用简单的郎伯假设是不能满足要求的，针对非郎伯材质的特性提出新的光度立体算法是难点之一。打算结合全局光照理论以及BRDF模型的性质提出更为