光场相机20算法课件

光场相机2.0算法yztian#主要内容基本算法基于深度信息的算法积分算法混合算法补充内容ThephasespacediagramBasicrenderingV是一个微透镜尺寸,单位是像素.例如V=7.输出图像中给定的x，重构算法需要在原始数据中寻找相应的采样点原始数据基本重构算法Basicrendering计算x对应的微透镜

x处于v取整，给出微透镜下标计算x在对应的M块中的偏移量

因为M的大小在最后的图像中的比例是M/v,所以偏移量也要乘上因子Basicrendering偏移量q的表达式:联合上面方程，计算出图像的调整量，但上述计算是从左边沿开始，需要中间对齐，所以还有调整因子实际偏移量q的表达式:Basicrendering

联合上面方程，输出图像中一点x对应的CCD图像中的位置关系可以用函数f(x)表示：f(x)=pv+q’M图像块两个方向上的位置偏移M内的位移值exampleDepth-Basedrendering距离相机远→深度值大→小的图像模块距离相机近→深度值小→大的图像模块

选择正确的图像模块聚焦需要计算相邻两个微图像中重合的位移值，也就是说，不同微透镜中所包括的同一个目标需要对应到输出图像中相同的位置。Depth-Basedrendering对于每个微透镜,选择一个最为合适的图像块的尺寸，和周围的图像融合最好。从每个微透镜存储的对应的图像块重建图像步骤：Depth-Basedrendering选取最合适的图像块来匹配实际上是图像配准问题第一，采集辐射强度的微图像本身是严格对齐的；第二，相邻微图像只是在水平和垂直方向有过渡；第三，光学设计决定了最大移动的边界值；上述三个特点，让深度估计算法变的简单。Depth-Basedrendering

为重建最后图像，基本算法调整为不是用同一个图像块尺寸，而是在深度值数组中查表来决定每处所用图像块大小。Depth-BasedrenderingDepth-BasedrenderingDepthestimationForeachN×Nmicrolensiamge:Selectanm×mwindowfromthecenterofthatmicrolensiamge.Fork=-N+m/2tok=N-m/2,computethecross-corrlationbetweenthem×mwindowandacorrespondingwindowcenteredatkxintheneighboringmicrolensimagealongthexaxisandrecordvalueofkxwiththebestcorrelation.Computethecross-correlationbetweenthem×mwindowandacorrespondingwindowcenteredatkyintheneighboringmicrolensiamgealongtheyaxisandrecordthevalueofkywith

thebestcorrelation.RecordavaluekequaltoaverageofkxontheleftandrightboundariesandkyonthetopandbottomboundariesReturnthearrayofrecordedvaluesofk;主要计算图像块的大小Blendingrendering虽然基于深度重建算法相对于基本算法可以克服伪影，做到所有的图像都清晰，如图12.但不能做到让哪个深度的图像重聚焦，为了获得重聚焦功能，需要获得该深度目标的所有视角信息，也就是所有视角积分的过程。Blendingrendering

上述积分过程，就是对不同微透镜中空间中同一点求平均。

传统光场相机是同一个微透镜下求平均，而此处是不同微透镜中求平均。对于尺寸为v的微透镜阵列，图像块尺寸为M，输出图像给定的一点像素值是原始图像中像素点相隔(v-M)处的值求平均。Blendingrendering

图像块大小是和空间中光线的倾斜角相关的，图像块大小决定了图像中的对焦准确的平面（或者深度）。光场相机2.0可以选择不同大小的图像块来产生不同的聚焦面。Becausethemicrolenseshaveaverysmallaperture,thereisasignificantdepthoffield,i.e.,portionsofthescenethatareinfocusforagivenvalueofthepitchsizewillextendforalargedepth.BlendingAlgorithm

实现积分过程，对于尺寸为v的微透镜，M的图像块，被平均的像素值的间隔为(v-M),位置为f(x)的所有对应像素被平均：Blendingrendering

因为v是一个常数，这意味着对于给定图像块尺寸M的采样，i的绝对值有一个确定的上限值，lim

另外，不同视角的贡献可以用权重来表示，可以把一个微透镜每个像素规定一个权重值，称为一个位置的方程，这个权重函数可以是v×v高斯滤波掩膜。Flowchartsoftheblendingtechnique查表确定该值的权重计算查表的索引值Blendingrendering

积分方向上斜率一点不匹配，最后图像将产生光滑的模糊。左边图中斜率是垂直的，但一般不是垂直的，因为不同深度和空间中的光线倾斜有关，和M有关。

如果斜率的不匹配程度变大，积分过程将没有足够的视角，将产生鬼影。Blendingrendering17Ablendingalgorithmwithasmallpitch(7pixels).背景清晰17Bblendingalgorithmwithalargerpitch(10pixels).前景清晰ComparisonBasicfullresolutionrenderingalgorithmArenderingwithblendingtechniqueCombiningDepth-BasedrenderingandRenderingwithblending

两者相结合技术，blendingtechnique中M值是在循环前基于函数深度重建算法获取的，因此，对于输出的每个点是通过深度计算，然后选择M，然后blending算法。对于不同点，M可以不同，但对于每个点都有一个积分值。Combiningdepth-basedrenderingandrenderingwithblendingCalibratingfocusedplenopticcamera

CalibratingfocusedplenopticcameraCalibratingfocusedplenopticcameraCalibratingfocusedplenopticcamera蓝色，透镜图像，绿色，是传感器图像Resampletheimage,rotatingandscaling,lenseletcentersfallonpixelcenters.1→2CalibratingfocusedplenopticcameraAligningthelenseletimagestoanintegerpixelgrid:Thelightfieldisbrokenintoidenticallysized,overlappingrectanglescenteredonthelenseletimages.k,l→lenselet,i,j→pixelCalibratingfocusedplenopticcameraConvertinghexagonallysampleddatatoanorthogonalgrid.l.Condat,B.Forster-Heinlein,andD.VanDeVille.H2O:reversiblehexagonal-orthogonalgridconversionby1-Dfiltering.InImageProcessing,2007,ICIP2007,IEEEIntl.Conferenceon,volume2,pagesII-73,IEEE,2007.1DschemeinterpolatingonlyalongkAngle-sensitivepixel关键：传感器测量强度的不同来获取光场中角度信息

用一对衍射光栅放置在传感器上来获取角度信息。从上面照明，上层的光栅产生周期的衍射图案，下面一个光栅用来选择衍射光线传播到光电探测器的方向。Awang,PGillandAMolnar.AppliedOptics48,5897-5905(2009)P.R.Gill,CLee,D.G,Lee,AWangandAMolnar.Opticsletters36,2949-2951(2011)AWangandAMolnar.IEEEJournalofSolid-StateCircuits,1-1(2012)Talboteffecttalbot效应是一个近场效应，即要求F大于等于一。在理想情况下，一束平面波通过一个周期性的衍射光栅，由惠更斯原理，我们可以给出经过光栅后光场的分布。考虑Fresnel衍射，得到一个新的近似的光场分布。然后经过傅里叶变换并利用像函数卷积可以发现这个新的光场分布与衍射光栅上的光栅分布只差一个相位。当相位差满足2PI的整数倍的时候就可以得到与衍射光栅上相同的光场分布，这一相位因子只与观察点到光栅的垂直距离有关Angle-sensitivepixel要能满足下面两个条件：探测局部的入射角和入射强度探测角度的固有周期

可以用8个像素来全面获取局部入射角信息Angle-sensitivepixel(a)ASP模型(b1)进入ASP后光线均分(b2)进入ASP光线的差异反演入射角度Angle-sensitivepixelwistheopeningsizeofindividualpixels.histhethicknessofthetoppassivationlayer.nistherefractionlayerindexofthepassivationlayer.WAngle-sensitivepixelTheFDTDsimulationofthefront-sideilluminatedASPdesignwithnormalincidence(a)and10degreeincidence(b).Thewavelengthischosentobe550nm,thecenterofvisiblespectrum.Angle