计算摄像学专题第3讲课件

计算摄像学专题第三讲戴琼海清华大学自动化系计算摄像学专题第三讲戴琼海第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三视觉场景信息视觉在人类对世界的感知、理解、交互中的重要意义

视觉信息的采集(采样)、表示（数学定义）、重建（恢复）、感知(理解)、渲染(显示)、编辑（交互）、通讯(编码与传输)……

涉及学科领域：计算视觉、计算机图形学、图像信号处理、(计算摄像学)

如何表示视觉信息是研究视觉信息的基础与核心视觉场景信息视觉在人类对世界的感知、理解、交互中的重要意义全光函数plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空间中的某个位置(3D)沿着某个方向(2D)在某个具体的时间(1D)具有某个波长(1D)为7维函数涵盖动态场景中的任意光线集全光函数plenoptic(拉丁plenus:full单通道图像为光线的强度也可记为P(x,y)从单一位置点看见的光线固定某一时刻对可见光各波长分量作平均单通道图像为光线的强度颜色图像为光线的强度从单一位置点看固定某一时刻以波长为变量颜色图像为光线的强度视频为光线的强度从单一位置点看以时间为变量以波长为变量视频为光线的强度全息视频为光线的强度以视点位置为变量以时间为变量以波长为变量全息视频为光线的强度全光函数描述了物理存在的任何视觉信息包含了不可见光等电磁辐射信息没有经过任何物理处理涵盖时变及波长变化情况（如磷光）波长分量一般离散化为R,G,B通道实际系统的辐射度范围受限LDR与HDR全光函数虽然不可能获得，但其作用：为视觉信息的研究提供了基础理论工具全光函数描述了物理存在的任何视觉信息全光函数基于全光函数子集的图像采集系统传统图像(和的2D子集)全景图[Chen95](和的2D全集)视频序列(

,

,

,

,

,的3D子集)光场[Levoy96,Gortler96](,,,,的4D子集)动态光场[Wilburn05](,,,,,的5D子集)全光函数基于全光函数子集的图像采集系统第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三光场Thelightfieldisafunctionthatdescribestheamountoflighttravelingineverydirectionthrougheverypointinspace.MichaelFaradaywasthefirsttopropose(inan1846lectureentitled"ThoughtsonRayVibrations")thatlightshouldbeinterpretedasafield,muchlikethemagneticfieldsonwhichhehadbeenworkingforseveralyears.ThephraselightfieldwascoinedbyAlexanderGershuninaclassicpaperontheradiometricpropertiesoflightinthree-dimensionalspace(1936).Thephrasehasbeenredefinedbyresearchersincomputergraphicstomeansomethingslightlydifferent[citationneeded].[Levoy96]光场ThelightfieldisafunctiLightField(光场)[McMillan95]在3D空间，使用规则的离散采样(,,,,)生成连续空间的新

视角图像维度仍然过高如何简化？4D光场光线沿着光轴方向辐射度不变自由空间假设LightField(光场)[McMillan95]在3光场

空间含遮挡物(5D)自由空间，辐射度恒定(4D)由内向外由外向内自由空间自由空间自由空间自由空间光场空间4D光场-绘制对目标光线进行参数定位以下将[Levoy96]提出的4D光场简称为光场4D光场-绘制对目标光线进行参数定位以下将[Levoy9光场–参数化L(x,y,,)光场–参数化L(x,y,,)光场–参数化双平面参数法[Levoy96]最常用的参数化方法检索简单（图像阵列）绘制简单（投影几何）缺陷：只覆盖了一个方向覆盖360度视角需要至少6套光板光板之间的切换引入artifacts光场–参数化双平面参数法[Levoy96]光场–参数化基于双平面参数法的新视角绘制视角汇聚与视角平行？规则的4D图像集光场–参数化基于双平面参数法的新视角绘制光场–2D绘制绘制步骤：对于给定的视角，将st和uv平面分别投影到虚拟视角xy上对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)2*投影+查表获得每个像素值，复杂度低光场–2D绘制光场–2D绘制加权样本最近邻U,V加权U,V,S,T加权光场–2D绘制加权样本最近邻U,V加权U,V,S,T加权光场绘制示例光场绘制示例光场–优缺点优点绘制速度快绘制复杂度与场景复杂度无关绘制真实感较强缺点数据量大（虽然压缩率高120:1[Levoy96]）不可编辑（无模型）光场–优缺点优点深度辅助光场绘制无深度信息深度信息辅助需对多个像素进行加权深度辅助光场绘制无深度信息深度信息辅助需对多个像素进行加权动态可调光场绘制假想对象平面st可变的情况动态可调光场绘制假想对象平面st可变的情况动态可调光场绘制动态可调光场绘制光场的进一步思考4D光场还能简化吗？简化带来采集的便利、重建质量的下降如何在降低维度的过程中尽可能地保留重要的全光信息第三部分将介绍光场的扩展(维度的增加)光场的进一步思考4D光场还能简化吗？基于图像绘制vs.基于模型绘制基于图像绘制与基于模型绘制的折中如何分析？数据采样密度对绘制的影响图像信号处理算法优化需求数据量高需求数据量低

复杂度高

复杂度低基于图像绘制vs.基于模型绘制基于图像绘制与基于模型绘制全光采样理论PlenopticSamplingPlenopticSampling[Chai00]使用傅里叶信号分析研究光场绘制获得光场采样与光场绘制的关系简化假设无遮挡朗泊漫反射表面将4维简化为2维进行信号分析STSUVU全光采样理论PlenopticSamplingPlen采样率分析图像采集数量与深度层数量的不同组合可获得相同的虚拟视角绘制质量采样率分析图像采集数量与深度层数量的不同组合可获得相同的虚拟采样率分析3个深度层，32Х32图像集，过采样采样率分析3个深度层，32Х32图像集，过采样采样率分析3个深度层，16Х16图像集，采样采样率分析3个深度层，16Х16图像集，采样采样率分析3个深度层，8Х8图像集，最优采样采样率分析3个深度层，8Х8图像集，最优采样采样率分析3个深度层，4Х4图像集，欠采样采样率分析3个深度层，4Х4图像集，欠采样采样率分析3个深度层，2Х2图像集，欠采样采样率分析3个深度层，2Х2图像集，欠采样采样率分析几何信息与采样率的折中，由最小采样曲线决定目标图像的分辨率影响最小采样曲线的偏移采样率分析几何信息与采样率的折中，由最小采样曲线决定光场—采集与应用Sphericalgantry[Levoy96]相机自由度：2光照自由度：2360度的光场及反射场

捕获

应用：文物记录与保护光场—采集与应用Sphericalgantry[L光场—采集与应用

多相机阵列128相机系统(Stanford’05)64相机系统(Tsinghua’07)应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像光场—采集与应用多相机阵列光场—采集与应用光场—采集与应用光场—采集与应用光场—采集与应用全光函数plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空间中的某个位置(3D)沿着某个方向(2D)在某个具体的时间(1D)具有某个波长(1D)为7维函数涵盖动态场景中的任意光线集全光函数plenoptic(拉丁plenus:full光场

空间含遮挡物(5D)自由空间，辐射度恒定(4D)由内向外由外向内自由空间自由空间自由空间自由空间光场空间光场–2D绘制绘制步骤：对于给定的视角，将st和uv平面分别投影到虚拟视角xy上对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)2*投影+查表获得每个像素值，复杂度低光场–2D绘制平面摄像机阵列高分辨率或动态范围图像高速视频虚拟光圈成像平面摄像机阵列高分辨率或动态范围图像高速视频虚拟光圈成像光场—采集与应用

多相机阵列128相机系统(Stanford’05)64相机系统(Tsinghua’07)应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像光场—采集与应用多相机阵列光场相机4000×4000像素

÷292×292透镜

=14×14像素/透镜Contax中档相机Kodak1600万像素底片光学微透镜阵列125微米微透镜光场相机4000×4000像素÷292×2传统相机与光场相机传统相机与光场相机传统相机与光场相机uv-planest-plane传统相机与光场相机uv-planest-plane光场图像光场图像视角截取截取=对每个微透镜中央像素求和视角截取截取=对每个微透镜中央像素求和数字重聚焦重聚焦=从不同的微透镜提取像素求和数字重聚焦重聚焦=从不同的微透镜提取像素求和数字重聚焦数字重聚焦数字视角调整视角调整=移动所有微透镜的截取窗数字视角调整视角调整=移动所有微透镜的截取窗数字视角调整数字视角调整数字视角调整数字视角调整光场—采集与应用重聚焦、视角调整、光照处理只采集一张图像解决所有处理都基于数字处理牺牲空间分辨率，换取光线角度信息光场—采集与应用重聚焦、视角调整、光照处理光场显微镜传统显微镜为看到对象切片，调节载物台，手动聚焦光场显微镜[Levoy06]与光场相机类似，捕捉光场，计算聚焦特点：多视角及三维重建牺牲空间分辨率光场显微镜传统显微镜第三讲提纲全光函数一光场基本概念与理论二光场的多光照拓展三第三讲提纲全光函数一光场基本概念与理论二光场的多光照拓展三光场

4D光场：捕捉从对象发出的4D光线集合光场4D光场：捕捉从对象发出的4D光线集光照变化下的场景采集入射光场：进入对象的光线集光照变化下的场景采集入射光场：进入对象的光线反射场入射光场：进入对象的光线集，属全光函数的采样4D光场：Lo(θo,φo,x,y)4D(入射)光场：Li(θi,φi,x,y)θ,φ

:

采集视点或光照视点的二维坐标x,y：对象的二维参数化反射场：对象表面对光线进行传递变换所构成的场R(Lo;Li)=R(θo,φo,xo,yo;θi,φi,xi,yi)Lo∝LiR(Lo;Li)输出光线只与作用到该点的入射光线有关，6D反射场：R(θo,φo,x,y；θi,φi)4D反射场：R(x,y；θi,φi)⊕反射场入射光场：进入对象的光线集，属全光函数的采样⊕4D反射场每个光源对应采集一张图像4D反射场每个光源对应采集一张图像4D反射场2D光照具有可加性4D反射场2D光照具有可加性重光照2D图像2D+光照2D重光照：根据对象在一个或多个光照下的外观，就算目标光照下的对象外观重光照2D图像2D+光照2D重光LightStage[Debevec2000]LightStage[Debevec2000]LightStage采集图像OriginalResolution:6432LightStage采集图像OriginalResolu反射函数6432反射函数6432反射函数环境光照图反射函数光照积绘制像素1Demo反射函数环境光照图反射函数光照积绘制像素1DemoTheLightStage:

60-secondexposureTheLightStage:

60-secondexp反射场远距离环境光照反射场远距离环境光照反射场有近距离遮挡物，该重光照框架是否成立？反射场有近距离遮挡物，该重光照框架是否成立？LightStage单视角多光照只适用于远距离光照框架假设物体上每个点具有相同的环境光照图近距离光照或遮挡物使得

每个物体点的环境光照图不一需要维度更高的反射场函数及其图形学方法LightStage单视角多光照8D反射场8D反射场函数8D反射场处理互遮挡的重光照问题8D反射场8D反射场函数8D反射场处理互遮挡的重光照问题反射场8D反射场函数[Masselus2003]反射场8D反射场函数6D反射场6D图像2D+视角2D+光照2D6D反射场6D图像2D+视角2D+光照2D光场—采集与应用Sphericalgantry[Levoy96]相机自由度：2光照自由度：2360度的光场及反射场

捕获

应用：文物记录与保护光场—采集与应用Sphericalgantry[L多视点多光照采集对静态对象,数据维度—6D[Matusik2002]多视点多光照采集对静态对象,数据维度—6D[Ma多视点多光照采集VisualHullSurfaceLightfieldSurfaceReflectanceFieldsAlphaMattes多视点多光照采集VisualSurfaceLightfie多视点多光照采集VisualHullSurfaceLightfieldSurfaceReflectanceFieldsAlphaMattes多视点多光照采集VisualSurfaceLightfie多视点多光照采集多视点多光照采集总结全光函数是空间光线的集合

光场是全光函数的4D参数化与简化

光场可实现虚拟视角的实时绘制

光场采样定律：深度与采样率的折中

光场的应用：光场相机与光场显微镜

光场的扩展：场景重光照总结全光函数是空间光线的集合计算摄像学专题第三讲戴琼海清华大学自动化系计算摄像学专题第三讲戴琼海第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三视觉场景信息视觉在人类对世界的感知、理解、交互中的重要意义

视觉信息的采集(采样)、表示（数学定义）、重建（恢复）、感知(理解)、渲染(显示)、编辑（交互）、通讯(编码与传输)……

涉及学科领域：计算视觉、计算机图形学、图像信号处理、(计算摄像学)

如何表示视觉信息是研究视觉信息的基础与核心视觉场景信息视觉在人类对世界的感知、理解、交互中的重要意义全光函数plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空间中的某个位置(3D)沿着某个方向(2D)在某个具体的时间(1D)具有某个波长(1D)为7维函数涵盖动态场景中的任意光线集全光函数plenoptic(拉丁plenus:full单通道图像为光线的强度也可记为P(x,y)从单一位置点看见的光线固定某一时刻对可见光各波长分量作平均单通道图像为光线的强度颜色图像为光线的强度从单一位置点看固定某一时刻以波长为变量颜色图像为光线的强度视频为光线的强度从单一位置点看以时间为变量以波长为变量视频为光线的强度全息视频为光线的强度以视点位置为变量以时间为变量以波长为变量全息视频为光线的强度全光函数描述了物理存在的任何视觉信息包含了不可见光等电磁辐射信息没有经过任何物理处理涵盖时变及波长变化情况（如磷光）波长分量一般离散化为R,G,B通道实际系统的辐射度范围受限LDR与HDR全光函数虽然不可能获得，但其作用：为视觉信息的研究提供了基础理论工具全光函数描述了物理存在的任何视觉信息全光函数基于全光函数子集的图像采集系统传统图像(和的2D子集)全景图[Chen95](和的2D全集)视频序列(

,

,

,

,

,的3D子集)光场[Levoy96,Gortler96](,,,,的4D子集)动态光场[Wilburn05](,,,,,的5D子集)全光函数基于全光函数子集的图像采集系统第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三光场Thelightfieldisafunctionthatdescribestheamountoflighttravelingineverydirectionthrougheverypointinspace.MichaelFaradaywasthefirsttopropose(inan1846lectureentitled"ThoughtsonRayVibrations")thatlightshouldbeinterpretedasafield,muchlikethemagneticfieldsonwhichhehadbeenworkingforseveralyears.ThephraselightfieldwascoinedbyAlexanderGershuninaclassicpaperontheradiometricpropertiesoflightinthree-dimensionalspace(1936).Thephrasehasbeenredefinedbyresearchersincomputergraphicstomeansomethingslightlydifferent[citationneeded].[Levoy96]光场ThelightfieldisafunctiLightField(光场)[McMillan95]在3D空间，使用规则的离散采样(,,,,)生成连续空间的新

视角图像维度仍然过高如何简化？4D光场光线沿着光轴方向辐射度不变自由空间假设LightField(光场)[McMillan95]在3光场

空间含遮挡物(5D)自由空间，辐射度恒定(4D)由内向外由外向内自由空间自由空间自由空间自由空间光场空间4D光场-绘制对目标光线进行参数定位以下将[Levoy96]提出的4D光场简称为光场4D光场-绘制对目标光线进行参数定位以下将[Levoy9光场–参数化L(x,y,,)光场–参数化L(x,y,,)光场–参数化双平面参数法[Levoy96]最常用的参数化方法检索简单（图像阵列）绘制简单（投影几何）缺陷：只覆盖了一个方向覆盖360度视角需要至少6套光板光板之间的切换引入artifacts光场–参数化双平面参数法[Levoy96]光场–参数化基于双平面参数法的新视角绘制视角汇聚与视角平行？规则的4D图像集光场–参数化基于双平面参数法的新视角绘制光场–2D绘制绘制步骤：对于给定的视角，将st和uv平面分别投影到虚拟视角xy上对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)2*投影+查表获得每个像素值，复杂度低光场–2D绘制光场–2D绘制加权样本最近邻U,V加权U,V,S,T加权光场–2D绘制加权样本最近邻U,V加权U,V,S,T加权光场绘制示例光场绘制示例光场–优缺点优点绘制速度快绘制复杂度与场景复杂度无关绘制真实感较强缺点数据量大（虽然压缩率高120:1[Levoy96]）不可编辑（无模型）光场–优缺点优点深度辅助光场绘制无深度信息深度信息辅助需对多个像素进行加权深度辅助光场绘制无深度信息深度信息辅助需对多个像素进行加权动态可调光场绘制假想对象平面st可变的情况动态可调光场绘制假想对象平面st可变的情况动态可调光场绘制动态可调光场绘制光场的进一步思考4D光场还能简化吗？简化带来采集的便利、重建质量的下降如何在降低维度的过程中尽可能地保留重要的全光信息第三部分将介绍光场的扩展(维度的增加)光场的进一步思考4D光场还能简化吗？基于图像绘制vs.基于模型绘制基于图像绘制与基于模型绘制的折中如何分析？数据采样密度对绘制的影响图像信号处理算法优化需求数据量高需求数据量低

复杂度高

复杂度低基于图像绘制vs.基于模型绘制基于图像绘制与基于模型绘制全光采样理论PlenopticSamplingPlenopticSampling[Chai00]使用傅里叶信号分析研究光场绘制获得光场采样与光场绘制的关系简化假设无遮挡朗泊漫反射表面将4维简化为2维进行信号分析STSUVU全光采样理论PlenopticSamplingPlen采样率分析图像采集数量与深度层数量的不同组合可获得相同的虚拟视角绘制质量采样率分析图像采集数量与深度层数量的不同组合可获得相同的虚拟采样率分析3个深度层，32Х32图像集，过采样采样率分析3个深度层，32Х32图像集，过采样采样率分析3个深度层，16Х16图像集，采样采样率分析3个深度层，16Х16图像集，采样采样率分析3个深度层，8Х8图像集，最优采样采样率分析3个深度层，8Х8图像集，最优采样采样率分析3个深度层，4Х4图像集，欠采样采样率分析3个深度层，4Х4图像集，欠采样采样率分析3个深度层，2Х2图像集，欠采样采样率分析3个深度层，2Х2图像集，欠采样采样率分析几何信息与采样率的折中，由最小采样曲线决定目标图像的分辨率影响最小采样曲线的偏移采样率分析几何信息与采样率的折中，由最小采样曲线决定光场—采集与应用Sphericalgantry[Levoy96]相机自由度：2光照自由度：2360度的光场及反射场

捕获

应用：文物记录与保护光场—采集与应用Sphericalgantry[L光场—采集与应用

多相机阵列128相机系统(Stanford’05)64相机系统(Tsinghua’07)应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像光场—采集与应用多相机阵列光场—采集与应用光场—采集与应用光场—采集与应用光场—采集与应用全光函数plenoptic(拉丁plenus:full，optic:vision)plenopticfunction[Adelson91]空间中的某个位置(3D)沿着某个方向(2D)在某个具体的时间(1D)具有某个波长(1D)为7维函数涵盖动态场景中的任意光线集全光函数plenoptic(拉丁plenus:full光场

空间含遮挡物(5D)自由空间，辐射度恒定(4D)由内向外由外向内自由空间自由空间自由空间自由空间光场空间光场–2D绘制绘制步骤：对于给定的视角，将st和uv平面分别投影到虚拟视角xy上对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)2*投影+查表获得每个像素值，复杂度低光场–2D绘制平面摄像机阵列高分辨率或动态范围图像高速视频虚拟光圈成像平面摄像机阵列高分辨率或动态范围图像高速视频虚拟光圈成像光场—采集与应用

多相机阵列128相机系统(Stanford’05)64相机系统(Tsinghua’07)应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像光场—采集与应用多相机阵列光场相机4000×4000像素

÷292×292透镜

=14×14像素/透镜Contax中档相机Kodak1600万像素底片光学微透镜阵列125微米微透镜光场相机4000×4000像素÷292×2传统相机与光场相机传统相机与光场相机传统相机与光场相机uv-planest-plane传统相机与光场相机uv-planest-plane光场图像光场图像视角截取截取=对每个微透镜中央像素求和视角截取截取=对每个微透镜中央像素求和数字重聚焦重聚焦=从不同的微透镜提取像素求和数字重聚焦重聚焦=从不同的微透镜提取像素求和数字重聚焦数字重聚焦数字视角调整视角调整=移动所有微透镜的截取窗数字视角调整视角调整=移动所有微透镜的截取窗数字视角调整数字视角调整数字视角调整数字视角调整光场—采集与应用重聚焦、视角调整、光照处理只采集一张图像解决所有处理都基于数字处理牺牲空间分辨率，换取光线角度信息光场—采集与应用重聚焦、视角调整、光照处理光场显微镜传统显微镜为看到对象切片，调节载物台，手动聚焦光场显微镜[Levoy06]与光场相机类似，捕捉光场，计算聚焦特点：多视角及三维重建牺牲空间分辨率光场显微镜传统显微镜第三讲提纲全光函数一光场基本概念与理论二光场的多光照拓展三第三讲提纲全光函数一光场基本概念与理论二光场的多光照拓展三光场

4D光场：捕捉从对象发出的4D光线集合光场4D光场：捕捉从对象发出的4D光线集光照变化下的场景采集入射光场：进入对象的光线集光照变化下的场景采集入射光场：进入对象的光线反射场入射光场：进入对象的光线集，属全光函数的采样4D光场：Lo(θo,φo,x,y)4D(入射)光场：Li(θi,φi,x,y)θ,φ

:

采集视点或光照视点的二维坐标x,y：对象的二维参数化反射场：对象表面对光线进行传递变换所构成的场R(Lo;Li)=R(θo,φo,xo,yo;θi,φi,xi,yi)Lo∝LiR(Lo;Li)输出光线只与作用到该点的入射光线有关，6D反射场：R(θo,φo,x,y；θi,φi)4D反射场：R(