计算摄像学专题第12讲

1、-1-戴琼海 王雁刚清华大学 自动化系-2-本节课小结三问题的由来一处理方法Tradeoff二2.1 多张图像拍摄2.2 单张图像拍摄-3-p什么是Depth of Fieldn反映透镜或相机的属性n物平面的共轭像平面上呈清晰像的轴向深度-4-主平面 主平面物平面象平面-5-p-6-p当极限分辨角确定后，允许的弥散斑大小还与眼睛到图像的距离有关p为了获得正确的空间感觉，不发生景象的歪曲，必须要以适当的距离观察图像-7-p我们说要获得正确的空间感觉，应当使得成像平面上个点对眼睛的张角与直接观察空间时，各对应点对眼睛的张角是相同的入射光瞳出射光瞳ABBAE-8-p-9-p-10-p-11-p-12

2、-p-13-F/2.8F/32思考：1）F/2.8与F/32对应的光圈分别在何种情况下使用？2）如果迫不得已必须采用F/2.8的光圈，如何才能增大Depth of Field？3）若我们可使用F/32的光圈采集，如何才能获得F/2.8“突出重点”的效果？-14-p-15-p-16-p-17-p三维空间的光场到二维平面光场的简化处理与直观感觉-18-p-19-p-20-pDepth of Field 与Defocus的关系n存在的原因是：sensor、人眼等感光器都存在极限分辨率nDepth of Field造成的blur，本质上是因为out of focuspDepth of Field涉及的

3、两个重要问题n增大Depth of Fieldp针对必须使用大光圈的拍摄情形n获得Depth of Field“突出重点”的效果p美学设计p检测、识别等领域-21-pDepth of Field的正问题与逆问题增大减小-22-本节课小结三问题的由来一处理方法Tradeoff二2.1 多张图像拍摄2.2 单张图像拍摄-23-p重新阐述Depth of Field的两大类问题n“增大”Depth of Fieldn“减小”Depth of Fieldp增大Depth of Fieldn降低感光器的极限分辨率n选取更小的光圈 n在不改变极限分辨率、不使用小光圈的情形下，通过计算摄像的技术手段来获得更

4、大的景深 -24-p在前面的讨论中，我们已经知道nDepth of Field存在的根本原因是：n一些有意思的题外话p眼大无珠p贼眉鼠眼p闪烁着智慧光芒的小眼睛-25-p由于极限分辨率的存在，原本清晰成像的焦平面可以扩展到成空间的深度范围p增大Depth of Field的技术手段是否可以按照如下思考的方式相机分别聚焦于不同平面，然后融合拍摄的多组图像?p捕获光场，重新积分不同角度的光线，得到图像?p想办法使得单张图像的整体模糊与深度关系可控?如，模糊核一致或模糊核清楚地知道-26-本节课小结三问题的由来一处理方法Tradeoff二2.1 多张图像拍摄2.2 单张图像拍摄-27-pUS Pat

5、ent 1987pIEEE Conference on Computer Vision 1993-28-p融合多幅图像信息，以期望获得更大景深的效果是一种很直观的想法p这里仅做简要介绍，感兴趣的同学可翻阅相关的视觉文章p牺牲时间，换取景深。该想法关键问题是如何如何不同焦不同焦距平面上的图像？距平面上的图像？-29-pSIGGRAPH 2004-30-p此方法分为两个步骤n分割Graph-cutn融合梯度融合方案pGraph-cut可以用户指定，也可全自动计算p梯度融合则是保证图像的视觉效果-31-本节课小结三问题的由来一处理方法Tradeoff二2.1 多张图像拍摄2.2 单张图像拍摄-32-

6、p多张图像拍摄增加Depth of Field，只能针对静态场景p如何实时地增加动态场景的Depth of Field成为一个棘手的问题p问题是：p答案是：-33-n2005. Light field photography with a hand-held plenoptic cameran2010. Focused plenoptic camera and renderingn1995. Extended depth of field through wave-front codingn2010. Flexible depth of field photographyn2010. Diff

7、usion coded photography for extended depth of fieldn2007. Image and depth from a conventional camera with a coded aperture-34-Coded apertureLevin et al. 07Veeraraghavan et al. 07Depth-varying blurDepth estimation requiredWavefrontcodingDowski & Cathey 94Focus Sweep Hausler 72 Nagahara et al. 08D

8、epth-invariant blurDiffusion Coded PhotographyOliver et al. 10光光场场相相机机Version 2.0 Georgiev et al. 10Version 1.0 N.g. Ren et al. 05-35-n2005. Light field photography with a hand-held plenoptic cameran2010. Focused plenoptic camera and renderingn1995. Extended depth of field through wave-front codingn

9、2010. Flexible depth of field photographyn2010. Diffusion coded photography for extended depth of fieldn2007. Image and depth from a conventional camera with a coded aperture-36-p光场相机的目的是为了记录光场的角度信息与位置信息p传统相机将所有的角度信息积分到固定位置处，前面我们已经讲到这个知识点。请同学们特别注意这个重要的观点与思想p光场相机需要牺牲空间分辨率来获得角度分辨率p因此，使用光场相机来获得Depth of

10、 Field可以说是将多张图的技术移植到了单张图像上-37-38-39-p 传感器单元上，微透镜阵列对应位的像素值等效于主透镜上同一位置的光线p 主透镜平面可以用来刻画不同角度的光线p 我们称主透镜平面为角度平面，传感器平面为位置平面-40-pSub-aperture Imagep这是一个很重要的成像观点p也就是说，图像的形成过程可以如此思考p假设我们所拥有的主透镜可以任意地开不同位置的小孔p显然，每个小孔都会有成像视差效应p对这些小孔所成的图像进行叠加，构成主透镜的图像？-41-p网络学堂，我给出一些Raw-data，感兴趣的同学可以用Matlab尝试一下-42-p如何保证不发生混叠？-43

11、-p数字重聚焦(Digital Refocusing)-44-p-45-n2005. Light field photography with a hand-held plenoptic cameran2010. Focused plenoptic camera and renderingn1995. Extended depth of field through wave-front codingn2010. Flexible depth of field photographyn2010. Diffusion coded photography for extended depth of

12、fieldn2007. Image and depth from a conventional camera with a coded aperture-46-p波前编码技术(Wave-front Coding)n设计合理的相位板p灵活的景深采集技术n不同深度的积分拍摄p漫反射体编码技术(Diffusion Coding)n设计有效的漫反射体p使用一些传统的去模糊方法来处理拍摄得到的图像-47-p技术难题在于如何设计合理的相位板使得拍摄的图像与focus的敏感程度降低?p两个假设n长方形的Aperture是可分离的n拍摄到的图像不是最终生成的图像，而只是中间结果图像，需要后续处理p理论基础nA

13、mbiguity functionnWigner distribution function-48-p-49-p-50-p长方形Aperture的Ambiguity变换-51-p-52-p-53-p-54-p波前编码技术(Wave-front Coding)n设计合理的相位板p灵活的景深采集技术n不同深度的积分拍摄p漫反射体编码技术(Diffusion Coding)n设计有效的漫反射体p使用一些传统的去模糊方法来处理拍摄得到的图像-55-56-57-58-p波前编码技术(Wave-front Coding)n设计合理的相位板p灵活的景深采集技术n不同深度的积分拍摄p扩散编码技术(Diffus

14、ion Coding)n设计有效的扩散板p使用一些传统的去模糊方法来处理拍摄得到的图像-59-60-61-n2005. Light field photography with a hand-held plenoptic cameran2010. Focused plenoptic camera and renderingn1995. Extended depth of field through wave-front codingn2010. Flexible depth of field photographyn2010. Diffusion coded photography for e

15、xtended depth of fieldn2007. Image and depth from a conventional camera with a coded aperture-62-p此类方法不像Depth-Invariant方法，要求图像具有整体一致的模糊核p图像的模糊核可变p保证选择最优的可变模糊核p问题在于：-63-透镜透镜点扩散点扩散函数函数点光源形成的点光源形成的图像图像焦平面焦平面光圈光圈传感器平面传感器平面-64-透镜透镜点光源形成的点光源形成的图像图像焦平面焦平面光圈光圈传感器平面传感器平面点扩散点扩散函数函数-65-透镜透镜点光源形成的点光源形成的图像图像焦平面焦

16、平面光圈光圈传感器平面传感器平面点扩散点扩散函数函数-66-透镜透镜点光源形成的点光源形成的图像图像焦平面焦平面光圈光圈传感器平面传感器平面点扩散点扩散函数函数-67-透镜透镜点光源形成的点光源形成的图像图像焦平面焦平面光圈光圈传感器平面传感器平面点扩散点扩散函数函数-68-不同深度上已经校准的模糊核不同深度上已经校准的模糊核输入待去模输入待去模糊的图像糊的图像-69-kyfxkyfxk=1:k=2:k=3:输入待去模输入待去模糊的图像糊的图像局部子区域局部子区域图像图像锐化的子区锐化的子区域图像域图像深度深度 校准后校准后的模糊核的模糊核kkyfxkyfx-70-大点的尺度大点的尺度用不同尺

17、度大小的滤波器处理用不同尺度大小的滤波器处理不管怎样，选择最合适的尺度不管怎样，选择最合适的尺度?正确的尺度正确的尺度小点的尺度小点的尺度-71- 很难辨别正很难辨别正确的尺度确的尺度输入输入Richardson-Lucy 反卷积算法反卷积算法 ? 即使模糊核已知，即使模糊核已知，结果也不尽如人意结果也不尽如人意大点的尺度大点的尺度正确的尺度正确的尺度小点的尺度小点的尺度-72-光圈平面添加掩膜（光圈平面添加掩膜（Mask） 使得不同深度的模糊核可以很好地进行区分使得不同深度的模糊核可以很好地进行区分传统光圈传统光圈编码光圈编码光圈-73-74-p通过最大化不同尺度下的KL距离来选择合理的掩膜Sampled aperture patternsConventional apertureMore discrimination between scalesScoreLess d