基于图像的三维建模技术综述课件

1、基于图像的3-D建模技术综述 组员：目 录总结与展望应用实现方法基本分类引言测控技术与仪器电气与信息工程学院引 言 对于计算机而言，其所能够直接获取到的数据源仅为二维平面图像，相对于真实的三维景物无疑会存在着一定程度的信息丢失，因此利用二维图像来重建三维物体便不可避免的成为一个重点问题。在实际工作中采用对同一物体从不同的角度分别成像，进而对这些数据进行分析、综合来恢复出被摄物体的三维信息。测控技术与仪器电气与信息工程学院测控技术与仪器电气与信息工程学院基本分类1、传统的三维建模技术 传统的三维建模主要使用基于几何造型的建模方法，由专业美术人员通过使用几何造型软件（如AutoCAD，3DsMax

2、，Maya等），运用计算机图形学与美术理论，创建出物体的三维模型。 测控技术与仪器电气与信息工程学院基本分类 主动法基于图像的建模 被动法 基于图像的建模基于图像的建模能够生成物体精确的三维几何模型，根据图像采集时对光源是否进行主动控制，基于图像的几何建模可以分为主动法与被动法2 种。测控技术与仪器电气与信息工程学院主动法Text优点得到物体精确的表面细节特征缺点成本很高操作不便后期处理有损处理激光扫描法阴影法结构光法基本分类测控技术与仪器电气与信息工程学院实现方法实现方法轮廓法运动法明暗法纹理法交互法亮度法变焦法测控技术与仪器电气与信息工程学院实现方法轮廓法： 基于轮廓的建模（shape f

3、rom silhouettes/contours）通过分析物体多视角下的轮廓图像（contour）或侧影轮廓线（silhouette），得到物体的三维模型。19941983MartinLaurentini将物体所在的三维空间离散化成体素，并使用正向试探，剔除投影在轮廓区域外的体素，从而得到物体的三维模型。可视壳是所有轮廓图像反投影到三维空间中形成的三维锥壳的交集。测控技术与仪器电气与信息工程学院199320022003SzeliskiFrancoTarini八叉树数据结构Marching Intersection结构兼顾速度与精度测控技术与仪器电气与信息工程学院效率最高通用性好建模速度快鲁棒性

4、高复杂性低透明、纹理欠缺、特征点较少的物体的建模优点缺点精度低物体大致的三维轮廓与拓扑输入源要求高轮廓法应用于人机交互、运动跟踪测控技术与仪器电气与信息工程学院实现方法亮度法：基于亮度的建模（shape from illumination）通过分析物体多个视角下图像中亮度特征的一致性关系，恢复出其表面的深度信息，并得到其三维几何模型。Concept亮度一致性算子亮度一致性对于满足朗伯表面假设的物体，不论光源方向如何，相同的表面点从任何方向观察都具有同样的亮度颜色绝对差值算子误差平方和算子归一化互相关算子特殊算子（特殊物体）测控技术与仪器电气与信息工程学院体素颜色法Seitz1997水平集的局部

5、优化Faugeras1998搜索空间由三维降至一维Cheung2003通用体素颜色法Culbertson1999空间雕刻法Kutulakos2000测控技术与仪器电气与信息工程学院逆向法 在图像中搜索满足亮度一致性的匹配点，使用立体视觉的三角测量原理，由这些特征点反算其对应的三维点位置。基于立体视觉的建模 由于匹配点的搜索是一个高自由度的问题，简单的搜索方法极易陷入局部最优，这将极大地影响重建效果。因此，逆向法主要需解决匹配特征点的高效搜索问题。图像校正极线几何约束图像间极线的对应关系搜索的空间由二维降低到一维测控技术与仪器电气与信息工程学院鲁棒性差单点比较窗口比较精确性差（窗口形状、大小）基

6、于图割的全局优化（添加平滑性约束）Boykov1998点匹配测控技术与仪器电气与信息工程学院灵活性低鲁棒性低复杂性高优点缺点 亮度法亮度信息无手工交互没有严格的光照条件要求应用于文物数字化、人脸自动建模全自动建模精度高测控技术与仪器电气与信息工程学院实现方法运动法： 基于运动的建模（shape-structure from motion）通过在2幅或多幅未定标图像中检测匹配的特征点集，使用数值方法，同时恢复出相机运动参数与场景几何，并得到物体三维模型。HarrisKLTSIFT匹配特征点检测算子 恢复出相邻图像间相机的位置关系测控技术与仪器电气与信息工程学院因式分解Tomasi1992几何约束

7、Faugeras1992射影重建仿射、度量与欧氏层次的重建测控技术与仪器电气与信息工程学院实用价值高鲁棒性高建模精度较低优点缺点 运动法不需预先标定相机的参数，从而降低了对图像采集过程的限制对光照条件图像噪声具有鲁棒性应用于室外场景、自然景观、建筑物等的三维建模。测控技术与仪器电气与信息工程学院实现方法明暗法： 基于明暗度的建模（shape from shading）通过分析图像中的明暗信息，运用反射光照模型，恢复出物体表面的法向信息，从而得到其三维几何模型。基于光度立体视觉的建模使用同一视点、不同光照条件下得到的多幅图像明暗信息，可以增加明暗度方程的约束，提高求解的精度与鲁棒性Woodham

8、1999测控技术与仪器电气与信息工程学院建模精度高全自动灵活性低鲁棒性低复杂性高优点缺点 明暗法精确地计算物体表面的法向量与深度值无手工交互没有严格的光照条件要求应用于文物数字化、人脸自动建模测控技术与仪器电气与信息工程学院实现方法纹理法：基于纹理的建模（shape from texture）通过分析单张图像中物体表面重复纹理单元的大小、形状，恢复出物体的法向、深度等信息，并得到三维几何模型。 对于一个具有光滑表面并覆盖了重复模式（纹理单元）的物体，当被投影在二维图像时，模式会发生一定程度的变形。射影变形透视收缩变形使得与图像平面越远的纹理单元看上去越小使得与图像平面角度越大的纹理单元看上去越

9、短测量变形量，反求物体表面法向、深度，测控技术与仪器电气与信息工程学院从纹理梯度中恢复平面的法向Gibson1950特征分析法1981Witkin从等方性的纹理中恢复平面的法向 方法比较简单，却需要进行精确的特征检测，鲁棒性较低，并且对图像中纹理信息的利用率不高。测控技术与仪器电气与信息工程学院谱分析法1976Bajesy傅里叶变换1990Brown等方性纹理重建1992Garding理论联系纹理梯度与表面曲面1993Malik仿射变换重建2002Clerc小波分解存在过约束实用性较差仅适用于纹理单元结构不发生改变2005Loh透视投影下的表面重建2006Forsyth正交投影下的表面重建纹理

10、单元拓扑改变测控技术与仪器电气与信息工程学院通用性较低优点缺点 纹理法与明暗法在数学上是等价的基于不同的理论依据建模精度对光照、噪声不敏感、鲁棒性强的优势测控技术与仪器电气与信息工程学院实现方法变焦法： 基于变焦的建模方法（shape from focus/defocus）通过分析相机焦距、光圈与图像清晰度之间的关系，恢复出物体的深度，从而得到其三维模型。聚焦法失焦法 采集大量不同焦距下物体的图像，对于每个表面区域，从中检索出聚焦最佳的图像，从而反求出物体的深度，并进行重建。 在图像采集的过程中，记录下改变相机焦距的多张图像，通过分析其不同区域的模糊程度，恢复出物体表面深度，从而进行建模。测控

11、技术与仪器电气与信息工程学院聚焦法2000Yun动态规划的优化方法1998Watanabe频域法19992005失焦法FavaroRajagopalan统计法空域法2007Pradeep利用失焦形成的模糊2009Hasinoff共焦立体视觉法测控技术与仪器电气与信息工程学院操作复杂优点缺点 变焦法在采集图像的过程中改变相机的焦距、光圈等设置物体表面的几何细节对光照条件不苛刻建模效果差测控技术与仪器电气与信息工程学院实现方法交互法： 基于交互的建模方法（shape from interaction）通过引入少量的用户交互，为建模算法提供数据与约束信息，可以方便、快捷、鲁棒地生成较精确的三维模型。

12、 这种方法结合了传统手动建模与基于图像自动建模的优势，实用性较强。二维图像点三维空间点映射测控技术与仪器电气与信息工程学院基于单张相片的漫游Horry1997基于灭点与几何约束1999Cipolla灭点求取相机参数2000Criminisi单目度量技术只能处理一些比较规则的平面与几何体测控技术与仪器电气与信息工程学院基于复杂信息交互建模基于数据库 交互建模直接使用交互的手段，给图像中的像素设置复杂的深度、法向等信息，从而恢复得到三维模型。基于人脸数据库Blanz1999基于人体数据库Mao2004基于建筑元素数据库Muller2006测控技术与仪器电气与信息工程学院依赖客户优点缺点 交互法商业建模软件的核心Autodesk ImageModeler；Google Sketchup避免建模过程的发散通用性较高依赖交互操作测控技术与仪器电气与信息工程学院 应 用12345Cycle 传统应用方向文物保存工业设计医疗康复影视制作游戏娱乐测控技术与仪器电气与信息工程学院应 用1非刚体的三维建模2特殊规模