计算机视觉17 91 单幅图像深度重建

1、第九章第九章 单幅图像深度重建单幅图像深度重建 Depthmap Reconstruction Based on Monocular cues 深度图深度图 章节安排章节安排 基于单眼线索的深度重建基于单眼线索的深度重建 Shape From Shading Shape From Vanishing Point Shape From Defocus Shape From Texture 基于单眼线索的深度重建基于单眼线索的深度重建 除了双眼视差提供的双眼对深度的信息外，还有除了双眼视差提供的双眼对深度的信息外，还有 许多单眼的信息也有利于深度的分辨许多单眼的信息也有利于深度的分辨. . 人类即

2、使在头部固定且只使用单目来观测外部世人类即使在头部固定且只使用单目来观测外部世 界时，也可以得到比较准确的深度知觉（界时，也可以得到比较准确的深度知觉（Depth Depth PerceptionPerception）。此时，人类的主要依据是外界环）。此时，人类的主要依据是外界环 境及观察对象的物理特性或现象。这些仅凭一只境及观察对象的物理特性或现象。这些仅凭一只 眼睛的视觉即可提供的线索就是单眼线索。眼睛的视觉即可提供的线索就是单眼线索。 单眼线索在绘画及摄影中发挥着重要的作用，也单眼线索在绘画及摄影中发挥着重要的作用，也 被称之为图形线索。被称之为图形线索。 1 Shape From Sh

3、ading 基于明暗的深度重建基于明暗的深度重建 HornHorn早在早在19771977年就提出年就提出 了了Shape From Shading-Shape From Shading- SFSSFS的方法，的方法， 并且在并且在 19891989年出版了专著年出版了专著11。 19991999年，年，Ruo ZhangRuo Zhang等人等人 在文献在文献22中对中对SFSSFS方法方法 作了较全面的综述。作了较全面的综述。 1 BKP Horn, MJ Brooks.Shape from shading. Cambridge: MIT Press, 1989 2 R Zhang, PS

4、 Tsai, JE Cryer, etc. Shape from shading: A survey. IEEE Transactions on Pattern Analysis and Machine Intellicence (PAMI), 1999 1.1 1.1 成像物理学成像物理学 描述光在物体表面的反射物理特性，即光描述光在物体表面的反射物理特性，即光 从光源到达物体表面，再从物体表面反射从光源到达物体表面，再从物体表面反射 到图象平面，形成图像的过程和行为到图象平面，形成图像的过程和行为. . 成像几何确定场景点在图像平面上的位置，成像几何确定场景点在图像平面上的位置， 成像物理

5、学确定场景点在图象平面上的亮成像物理学确定场景点在图象平面上的亮 度度. . 成像物理学成像物理学 成像三要素：成像三要素： 光源、物体、图光源、物体、图 像平面像平面 两个过程：两个过程： 照明照明-光源发射光源发射 光到物体表面光到物体表面 反射反射-物体表面物体表面 反射光到图象平面反射光到图象平面 （1 1）表面方向半球）表面方向半球(Hemisphere of (Hemisphere of Directions)Directions) 物体表面接受物体表面接受( (反射反射) )光线的全部方光线的全部方 向向. . 其接受其接受( (反射反射) )的总能量等于半的总能量等于半 球上各

6、个小片的能量之和球上各个小片的能量之和. . 立体角立体角 (solid (solid angle)angle) 单位半球上小片的单位半球上小片的 面积，也表示接受面积，也表示接受 ( (反射反射) )能量的方向能量的方向. . iii dddsin （2 2）透视缩小效应）透视缩小效应(foreshortening)(foreshortening) 表面片接受（反射）光能的有效面表面片接受（反射）光能的有效面 积与该表面片和光源（图象平面）积与该表面片和光源（图象平面） 的角度有关的角度有关. . 倾斜于光线传播方向倾斜于光线传播方向 的表面片的表面片“看起来看起来” 比实际小比实际小. .

7、 发生透视缩小效应的大表面片与小发生透视缩小效应的大表面片与小 表面片接受的光能是相同的表面片接受的光能是相同的. . 透视缩小因子透视缩小因子 ddddAsincoscos （3 3）辐照度与辐射度）辐照度与辐射度 辐射度辐射度(radiance)(radiance)： 单位面积辐射表面在单位时间内向某单位面积辐射表面在单位时间内向某 一方向辐射的能量一方向辐射的能量 辐照度辐照度(irradiance)(irradiance)： 到达单位面积表面的辐射能量到达单位面积表面的辐射能量 光源只有辐射，图像平面只有辐照，光源只有辐射，图像平面只有辐照， 物体既有辐照，也有辐射物体既有辐照，也有辐

8、射. . （4 4）双向反射分布函数）双向反射分布函数 中心问题中心问题 物体表面接受光能（辐照度）和反射物体表面接受光能（辐照度）和反射 光能（辐射度）的关系光能（辐射度）的关系. . 与接受和反射光能的角度，以及表与接受和反射光能的角度，以及表 面材料有关面材料有关. . 用双向反射分布函数用双向反射分布函数(bidirectional (bidirectional reflectance distribution function, reflectance distribution function, BRDF) BRDF) 建模建模. . 双向反射分布函数双向反射分布函数 到达表面的辐

9、照度与所引起的辐射度的到达表面的辐照度与所引起的辐射度的 比例比例 辐射度辐射度 BRDFBRDF 辐照度辐照度 dLf LfL iiisrrrii iiirriirrr cos),(),( ),(),(),( , X, X,X, （5 5）表面的辐射度与辐照度）表面的辐射度与辐照度 表面片接受的总辐照度：表面片接受的总辐照度： 表面片的辐射度：表面片的辐射度： 所有辐照在相应方向上形成的辐射度之和所有辐照在相应方向上形成的辐射度之和 2 0 2/ 0 , sincos),( iiiiiisri ddLLX,X 2 0 2/ 0 , sincos),(),( ),( iiiiiisrrrii

10、rrr ddLf L X, X, （6 6）反射率）反射率(reflectance)(reflectance) 从某一方向上接受的辐照度与该辐从某一方向上接受的辐照度与该辐 照度引起的总辐射度的比例，反映照度引起的总辐射度的比例，反映 了表面的光学特性，包括反射特性了表面的光学特性，包括反射特性 和吸光特性和吸光特性. . rrrrii rr iiiisr rrr iiiisr rrrrr ii df d dXL XL dXL dXL cos, cos cos, , cos, cos, , , , （7 7）图象平面的辐照度）图象平面的辐照度 图像平面上一点处的辐照度图像平面上一点处的辐照度(

11、 (亮度，亮度， intensity)intensity)等于场景对应点在相应方等于场景对应点在相应方 向上的辐射度，或与之成比例向上的辐射度，或与之成比例. . rrrrrr LyxIkLyxI,),( ,),(X,X, 知道了光源、双向反射分布函数以及知道了光源、双向反射分布函数以及 图像平面点与物体点的对应关系，就图像平面点与物体点的对应关系，就 可以确定图象平面上点的亮度可以确定图象平面上点的亮度. . 1.2 1.2 表面模型（表面模型（Surface ModelsSurface Models） LambertianLambertian表面表面( (漫反射表面，漫反射表面， diff

12、use surface)diffuse surface) 镜面镜面(Specular Surfaces)(Specular Surfaces) LambertianLambertian表面表面+ +镜面镜面 1. 1. LambertianLambertian表面表面 表面反射与反射角度无关，从物体表面反射与反射角度无关，从物体 的各个方向看同一个表面点，都感觉的各个方向看同一个表面点，都感觉 具有同样的亮度具有同样的亮度. . 双向反射分布函数是一个常数双向反射分布函数是一个常数. . ),( rrii f 例：棉衣、地毯、无光泽的纸和涂料等等例：棉衣、地毯、无光泽的纸和涂料等等 Lambe

13、rtianLambertian表面的反照率表面的反照率(Albedo)(Albedo) LambertianLambertian表面的反射率与入射角表面的反射率与入射角 度无关，称为漫反射率度无关，称为漫反射率(diffuse (diffuse reflectance)reflectance)或反照率：或反照率： d rrrr rrrrrriid dd ddf sincos coscos, LambertianLambertian表面的辐射度表面的辐射度 Lambertian Lambertian表面上一点处向各个方向产表面上一点处向各个方向产 生的辐射度：生的辐射度： XX X X i d

14、iiiiiisr d iiiiiisrrrii rrr LddL ddLf L sincos),( sincos),(),( , , , 2. 2. 镜面镜面 理想镜面像理想的镜子一样，按一理想镜面像理想的镜子一样，按一 定方向反射入射光定方向反射入射光. . 反射角与入射反射角与入射 角相等，但分别位于表面片法线的角相等，但分别位于表面片法线的 两侧两侧. . ii irir srrii f cossin )()( ),( X ),(),( , rrsrsrrr LLXXX 3 Lamertian3 Lamertian表面表面+ +镜面镜面 完美的完美的LamertianLamertian表

15、面或镜面都是很表面或镜面都是很 少见的，通常将两种表面的特性组合少见的，通常将两种表面的特性组合 在一起来构成用于近似物体表面反射在一起来构成用于近似物体表面反射 特性的模型特性的模型. . 常量常量 控制两种反射特性的混合程度控制两种反射特性的混合程度. . ii irir s d rrii f cossin )()( )1 ( ),( X X 常用的光照模型常用的光照模型 PhongPhong镜面模型：镜面模型： 辐射度与辐射度与 成比例成比例 sr nn coscos rs n ssrsrrr LLcos),(),(XXX Torrance-Sparrow Torrance-Sparro

16、w镜面模型：镜面模型： 假设表面是由方向随机分布的镜面小面假设表面是由方向随机分布的镜面小面 (facets) (facets) 组成组成. . D D代表任意一种分布函数代表任意一种分布函数, , G G是几何衰减系数，是几何衰减系数， F F是菲涅尔是菲涅尔FresnelFresnel衰减系数。衰减系数。 David K. McAllister 的博士论文的博士论文 A GENERALIZED SURFACE APPEARANCE REPRESENTATION FOR COMPUTER GRAPHICS 1.3 1.3 光源光源 (Light Sources)(Light Sources)

17、 1. 1. 点光源点光源 (point sources)(point sources) 2. 2. 线光源线光源 (line sources)(line sources) 3. 3. 面光源面光源 (area sources)(area sources) （1 1）点光源）点光源 点光源是一种最常用的光源，可以点光源是一种最常用的光源，可以 用一个球面来建模用一个球面来建模. . s iiii i sisi iiiiiieeiiee I ddI I ddIfL cos cossin sin )()( cossin),(),(),( 0 0 0 2/ 0 2 0 2/ 0 Lambertian

18、Lambertian余弦定律余弦定律 由点光源照射的由点光源照射的LambertianLambertian表面的感觉表面的感觉 亮度随表面法线与光源的夹角发生变化亮度随表面法线与光源的夹角发生变化. . 表面法线与光源的夹角表面法线与光源的夹角 想象一个房间，其中只有一个打开的灯泡和一个想象一个房间，其中只有一个打开的灯泡和一个 白色球体，则球体中法线指向灯泡的地方将是最白色球体，则球体中法线指向灯泡的地方将是最 亮的。亮的。 （2 2）线光源）线光源 线光源具有直线的几何形态，比如线光源具有直线的几何形态，比如 一根荧光灯管一根荧光灯管. . 可以用细圆柱体来可以用细圆柱体来 建模建模. .

19、 （3 3）面光源）面光源 面光源可以建模为平面片面光源可以建模为平面片. . 面光源在面光源在LambertianLambertian表面上表面上 引起的辐射度可以变换为在引起的辐射度可以变换为在 光源平面上的积分：光源平面上的积分： 光源光源 表面片表面片 U UX XXX dA r L dLL si srd isrdr 2 , , coscos cos 1.4 1.4 明暗模型明暗模型(Shading Models)(Shading Models) 局部局部(local)(local)明暗模型明暗模型 仅考虑光源的照射效果仅考虑光源的照射效果 全局全局(global)(global)明暗

20、模型明暗模型 考虑场景内物体反射光所造成的影响考虑场景内物体反射光所造成的影响 （1 1） 环境光照（环境光照（ambient illuminationambient illumination） 同一物体不同表面片之间的相互影响同一物体不同表面片之间的相互影响 （2 2） 互反射互反射 (interreflection)(interreflection) 不同表面片，不同物体之间的相互影响不同表面片，不同物体之间的相互影响 1 1 环境光照环境光照 同一表面上一个表面片所产生的辐同一表面上一个表面片所产生的辐 射度受其他表面片辐射度的影响射度受其他表面片辐射度的影响. . 当表面片从其他表面片

21、所接受的辐当表面片从其他表面片所接受的辐 照度近似恒定或均匀分布时，可以照度近似恒定或均匀分布时，可以 考虑在每个表面片所产生的辐射度考虑在每个表面片所产生的辐射度 上增加一个环境光照项上增加一个环境光照项(ambient (ambient illumination term).illumination term). 两种增加方法两种增加方法 1. 1. 常量项（表面片可见范围一致）常量项（表面片可见范围一致） 2. 2. 可变项（表面片可见范围不同）可变项（表面片可见范围不同） 常量项常量项可变项可变项 2 2 互反射互反射 表面片的辐射度受场景中所有该表面表面片的辐射度受场景中所有该表面

22、片可见的其他表面片辐射度的影响片可见的其他表面片辐射度的影响. . , XXX patchsrsrr LLL 光源引起的辐射光源引起的辐射 其他表面片引起的辐射其他表面片引起的辐射 可将其他表面片看作一个面光源可将其他表面片看作一个面光源 U U UX,UXX UXX X dAK L,p dA r L,p L i i pr ipatch id si pr ipatch id patchsr , 2 , , visible coscos visible 变换为面光源上的积分变换为面光源上的积分 互反射互反射 互反射核函数互反射核函数 (interreflection (interreflecti

23、on kernel)kernel)： 不可见对 可见对 XU XU UX, , 0 , 1 visible 互反射模型：互反射模型： LambertianLambertian表面的有效模型，在计算机图形学表面的有效模型，在计算机图形学 中广泛应用中广泛应用. . UXUX,visibleK U UUX,UX,dALKXXLXL i i pr ip dsrr, visible 互反射模型互反射模型 表面辐射度的计算表面辐射度的计算 1.1.将场景中的所有表面划分为许多小的平面将场景中的所有表面划分为许多小的平面 片，假设平面片上各点的辐射度是恒定的片，假设平面片上各点的辐射度是恒定的. . 第第

24、j j平面片在第平面片在第i i平面片上引起的辐射度：平面片上引起的辐射度： jrij pp d i jr jr pp d i ijr LKdAdAK A L dAdALK A L ij ij , , visible 1 visible 1 UX UX UX,UX,X UX,UX,X 互反射模型互反射模型 2. 2. 计算第计算第i i表面片上的总辐射度：表面片上的总辐射度： jr j ijisr j ijrisrir LKLLLL , 3. 3. 获得以获得以NiL ir , 2 , 1, , 为未知量的线性方程组，求解得各表为未知量的线性方程组，求解得各表 面片上的辐射度面片上的辐射度 1

25、.5 1.5 反射图反射图(Reflectance Map)(Reflectance Map) 场景照明（光源）、表面反射特性和表面场景照明（光源）、表面反射特性和表面 方向（梯度表示）共同确定表面一点的亮方向（梯度表示）共同确定表面一点的亮 度，三者的组合形成反射图度，三者的组合形成反射图. . 假设图象平面上的辐照度（亮度）等于物假设图象平面上的辐照度（亮度）等于物 体表面对应点的辐射度，则已知反射图和体表面对应点的辐射度，则已知反射图和 以上三个因素，就可以确定图象上一点的以上三个因素，就可以确定图象上一点的 亮度亮度. .反之同样成立反之同样成立. . 灰度图象灰度图象轮廓图象轮廓图象

26、 点光源照射的点光源照射的LambertianLambertian表面典型反射图表面典型反射图 1.6 1.6 从明暗恢复形状从明暗恢复形状 问题：问题： 已知光源亮度和反射图，求解图象上每一点已知光源亮度和反射图，求解图象上每一点 对应的三维信息对应的三维信息 基本假设基本假设 光源为无限远处点光源光源为无限远处点光源; ; 反射模型为朗伯体表面反射模型反射模型为朗伯体表面反射模型(Lambertian (Lambertian Surface Model) ; Surface Model) ; 成象几何关系为正交投影成象几何关系为正交投影, , 这样物体表面点图这样物体表面点图 象亮度象亮度

27、E E 仅由该点光源入射角仅由该点光源入射角的余弦决定的余弦决定. . 从明暗恢复形状从明暗恢复形状 若以摄像机坐标系为参照系若以摄像机坐标系为参照系, , 并将物体表并将物体表 面高度表示为面高度表示为z = z (x , y ) , , 则物体表面法则物体表面法 方向可由其表面各点法向量方向可由其表面各点法向量n = (n1, n2, n3 )、 表面梯度表面梯度(p , q) 或表面倾角或表面倾角( (slant) 和偏角和偏角 (tilt) 表示表示. l 为表面点法向量的模为表面点法向量的模 从明暗恢复形状从明暗恢复形状 朗伯体表面反射模型就可以表示为朗伯体表面反射模型就可以表示为:

28、 : 或者或者: : E (x , y )为归一化的图象亮度为归一化的图象亮度, , R (p , q) 为反射函数为反射函数. . n0= (n01, n02, n03) 或或(- p0, - q0, 1) 表示光源方向表示光源方向 从明暗恢复形状从明暗恢复形状 一般情况下一般情况下, , 仅由该模型所确定的仅由该模型所确定的SFSSFS问题是病态问题是病态 的的( (没有唯一解没有唯一解),),因此为消除其病态性因此为消除其病态性, ,并建立相应并建立相应 的正则化模型的正则化模型, ,必须对其表面形状进行约束必须对其表面形状进行约束. . 现有的现有的SFSSFS算法基本上都假设所研究的

29、对象均为光算法基本上都假设所研究的对象均为光 滑表面物体滑表面物体, , 即认为物体表面高度函数即认为物体表面高度函数C C2 2( (或至少或至少 是是C C1 1) )是连续的是连续的, ,实际上实际上, ,通过建立物体的光滑表面通过建立物体的光滑表面 模型这种假设模型这种假设, ,已对其表面形状进行了约束已对其表面形状进行了约束. . 将上述物体表面反射模型与物体的光滑表面模型相将上述物体表面反射模型与物体的光滑表面模型相 结合结合, , 再利用一些已知约束再利用一些已知约束, ,就构成了就构成了SFS SFS 问题的问题的 正则化模型正则化模型. . 从明暗恢复形状从明暗恢复形状 约束

30、约束 1. 1. 亮度约束亮度约束 dxdyRI 2 2. 2. 光滑性光滑性约束约束 dxdyqqpp yxyx 2222 x p px dxdy yx 2 2 nn 或者，或者， 从明暗恢复形状从明暗恢复形状 3. 3. 可积性约束可积性约束 4. 4. 亮度梯度约束亮度梯度约束 dxdyqp xy 2 dxdyIRIR yyxx 22 dxdyqZpZ yx 22 或者，或者， 从明暗恢复形状从明暗恢复形状 5. 5. 单位法向量约束单位法向量约束 dxdy 1 2 n 6. 6. 局部形状约束局部形状约束 假设表面片的形状是球面假设表面片的形状是球面. . 7. 7. 线性约束线性约束

31、 假设反射图的低阶分量是其主要成分假设反射图的低阶分量是其主要成分. . 从明暗恢复形状从明暗恢复形状 具体方法具体方法 1. 1. 能量最小化方法能量最小化方法 2. 2. 约束传播方法约束传播方法 3. 3. 局部方法局部方法 4. 4. 线性方法线性方法 （1 1）能量最小化方法）能量最小化方法 将约束表示为能量函数，通过在整幅将约束表示为能量函数，通过在整幅 图像上最小化能量函数求解图像上最小化能量函数求解. . 例例(Zheng and Chellappa, 1991)(Zheng and Chellappa, 1991)： 亮度约束、亮度梯度约束和可积性约束亮度约束、亮度梯度约束和

32、可积性约束 dxdy qZpZ IRIRRI yx yyxx 22 222 用变分微分法求解用变分微分法求解 （2 2）约束传播方法）约束传播方法 从形状已知或可以确定其形状的表面点从形状已知或可以确定其形状的表面点 （如奇异点（如奇异点(singular points) (singular points) ）开始，）开始， 逐渐将形状信息传播到整个图象逐渐将形状信息传播到整个图象. . 例例(Bichsel and Pentland, 1992)(Bichsel and Pentland, 1992)： 设定初始值，然后采用最小下山策略更新设定初始值，然后采用最小下山策略更新 形状信息形状信

33、息. . 在每一次迭代中，只有当点与周在每一次迭代中，只有当点与周 围邻接点相比，距离光源较远时才需要改变围邻接点相比，距离光源较远时才需要改变 其深度（下山），而在传播路径上选择可以其深度（下山），而在传播路径上选择可以 使该点到光源距离最近的路径（最小）使该点到光源距离最近的路径（最小）. . （3 3）局部方法）局部方法 假设表面片的形状在局部上是球形，根假设表面片的形状在局部上是球形，根 据图象亮度以及亮度梯度信息求解据图象亮度以及亮度梯度信息求解. . 例例(Lee and Rosenfeld, 1985) (Lee and Rosenfeld, 1985) ： ssyssx sxsy II II sincoscoscos sincos arctan 首先计算在光源坐标系中表面的倾斜角和偏转角，首先计算在光源坐标系中表面的倾斜角和偏转角， 然后变换到摄像机坐标系然后变换到摄像机坐标系. . 表面偏转角表面偏转角光源倾斜角光源倾斜角光源偏转角光源偏转角 （4 4）线性方法）线性方法 假设反射图主要由其低阶分量确定，假设反射图主要由其低阶分量确定， 实现反射图的线性化，将非线性问实现反射图的线性化，将非线性问 题转化为线性问题求解题转