光场相机2.0算法

1、光场相机,2.0,算法,yztian#,主要内容,?,?,?,?,?,基本算法,基于深度信息的算法,积分算法,混合算法,补充内容,The phase space diagram,Basic rendering,原始数据基本重构算法,V,是一个微透镜尺寸,单位是像素,.,例如,V=7.,输出图像中给定的,x,，重构算法需要在原始数据中寻找相应的采样点,Basic rendering,计算,x,对应的微透镜,x,处于,v,取整，给出微透镜下标,计算,x,在对应的,M,块中的偏移量,因为,M,的大小在最后的图像中的比例是,M/v,所以偏移量,也要乘上因子,Basic rendering,偏移量,q,

2、的表达式,:,联合上面方程，计算出图像的调整量，但上述计算是从左边沿开始，需要,中间对齐，所以还有调整因子,实际偏移量,q,的表达式,:,Basic rendering,联合上面方程，输出图像中一点,x,对应的,CCD,图像,中的位置关系可以用函数,f(x),表示：,f(x)=pv+q,M,内的位移值,M,图像块两个方向上的位置偏移,example,Depth-Based rendering,距离相机远,深度值大,小的图像模块,距离相机近,深度值小,大的图像模块,选择正确的图像模块聚焦需要计算相邻两个微图,像中重合的位移值，也就是说，不同微透镜中所包,括的同一个目标需要对应到输出图像中相同的位

3、置。,Depth-Based rendering,步骤：,1.,对于每个微透镜,选择一个最为合适的图像块的尺寸，,和周围的图像融合最好。,2.,从每个微透镜存储的对应的图像块重建图像,Depth-Based rendering,选取最合适的图像块来匹配实际上是图像配准问题,第一，采集辐射强度的微图像本身是严格对齐的；,第二，相邻微图像只是在水平和垂直方向有过渡；,第三，光学设计决定了最大移动的边界值；,上述三个特点，让深度估计算法变的简单。,Depth-Based rendering,为重建最后图像，基本算法调整为不是用同一个图,像块尺寸，而是在深度值数组中查表来决定每处所用图,像块大小。,D

4、epth-Based rendering,Depth-Based rendering,Depth estimation,For each N,N microlens iamge:,1.,Select an m,m window from the center of that microlens iamge.,2.,For k=-N+m/2 to k=N-m/2, compute the cross-corrlation between,the m,m window and a corresponding window centered at kx in,the neighboring micr

5、olens image along the x axis and record,value of,kx with the best correlation,.,3.,Compute the cross-correlation between the m,m window and a,corresponding window centered at ky in the neighboring,microlens iamge along they axis and record the value of,ky with,the best correlation,.,4.,Record a valu

6、e k equal to average of kx on the left and right,boundaries and ky on the top and bottom boundaries,5.,Return the array of recorded values of k;,主要计算图像块的大小,Blending rendering,虽然基于深度重建算法相对于,基本算法可以克服伪影，做到,所有的图像都清晰，如图,12.,但不能做到让哪个深度的图像,重聚焦，为了获得重聚焦功能，,需要获得该深度目标的所有视,角信息，也就是所有视角积分,的过程。,Blending rendering,

7、上述积分过程，就是对不同微透镜中空间中同一点求平,均。,传统光场相机是同一个微透镜下求平均，而此处是不同,微透镜中求平均。,对于尺寸为,v,的微透镜阵列，图像块尺寸为,M,，输出图像,给定的一点像素值是原始图像中像素点相隔,(v-M),处的值求,平均。,Blending rendering,图像块大小是和空间中光线的倾斜角相关的，图像块,大小决定了图像中的对焦准确的平面（或者深度）。光,场相机,2.0,可以选择不同大小的图像块来产生不同的聚焦,面。,Because the microlenses have a very small aperture,there is a significant

8、 depth of field, i.e., portions of the,scene that are in focus for a given value of the pitch size,will extend for a large depth.,Blending Algorithm,实现积分过程，对于尺寸为,v,的微透镜，,M,的图像,块，被平均的像素值的间隔为,(v-M),位置为,f(x),的所有对,应像素被平均：,Blending rendering,因为,v,是一个常数，这意味着对于给定图像块尺寸,M,的,采样，,i,的绝对值有一个确定的上限值，,lim,另外，不同视角的贡

9、献可以用权重来表示，可以把一,个微透镜每个像素规定一个权重值，称为一个位置的方,程，这个权重函数可以是,v,v,高斯滤波掩膜。,Flowcharts of the blending technique,计算查表的索引值,查表确定该值的权重,Blending rendering,积分方向上斜率一点不,匹配，最后图像将产生光,滑的模糊。左边图中斜率,是垂直的，但一般不是垂,直的，因为不同深度和空,间中的光线倾斜有关，和,M,有关。,如果斜率的不匹配程度变大，积分过程将没有足够的视,角，将产生鬼影。,Blending rendering,17A blending algorithm with a s

10、mall pitch(7 pixels).,背景清晰,17B blending algorithm with a larger pitch(10 pixels).,前景清晰,Comparison,Basic full resolution,rendering algorithm,A rendering with blending,technique,Combining Depth-Based rendering,and Rendering with blending,两者相结合技术，,blending technique,中,M,值是在循环前,基于函数深度重建算法获取的，因此，对于输出的每个点

11、,是通过深度计算，然后选择,M,，然后,blending,算法。对于,不同点，,M,可以不同，但对于每个点都有一个积分值。,Combining depth-based rendering and,rendering with blending,Calibrating focused plenoptic camera,Calibrating focused plenoptic camera,Calibrating focused plenoptic camera,Calibrating focused plenoptic camera,蓝色，透镜图像，绿色，是传感器图像,Resample the

12、 image, rotating and scaling ,lenselet,centers fall on pixel centers.,12,Calibrating focused plenoptic camera,Aligning the lenselet images to an integer pixel grid:,The light field is broken into identically sized, overlapping,rectangles centered on the lenselet images.,k,l,lenselet, i,j,pixel,Calib

13、rating focused plenoptic camera,Converting hexagonally sampled data to an orthogonal grid.,1D scheme interpolating only along k,l. Condat, B. Forster-Heinlein, and D. Van De Ville. H2O: reversible hexagonal-orthogonal grid conversion by 1-D filtering.,In Image Processing, 2007, ICIP 2007, IEEE Intl.

14、 Conference on, volume 2, pages II-73, IEEE, 2007.,Angle-sensitive pixel,关键：传感器测量强度的不同来获取光场中角度信息,用一对衍射光栅放置在传感器上来获取角度信息。,从上面照明，上层的光栅产生周期的衍射图案，下面,一个光栅用来选择衍射光线传播到光电探测器的方向。,A wang, P Gill and A Molnar. Applied Optics 48, 5897-5905(2009),P.R. Gill, C Lee, D. G, Lee, A Wang and A Molnar. Optics letters 36

15、,2949-2951(2011),A Wang and A Molnar. IEEE Journal of Solid-State Circuits,1-1(2012),Talbot effect,talbot,效应是一个近场效应，即,要求,F,大于等于一。在理想情况,下，一束平面波通过一个周期性,的衍射光栅，由惠更斯原理，我,们可以给出经过光栅后光场的分,布。考虑,Fresnel,衍射，得到一个,新的近似的光场分布。然后经过,傅里叶变换并利用像函数卷积可,以发现这个新的光场分布与衍射,光栅上的光栅分布只差一个相位。,当相位差满足,2PI,的整数倍的时,候就可以得到与衍射光栅上相同,的光场分布

16、，这一相位因子只与,观察点到光栅的垂直距离有关,Angle-sensitive pixel,要能满足下面两个条件：,1),探测局部的入射角和入射强度,2),探测角度的固有周期,可以用,8,个像素来全面获取局部入射角信息,Angle-sensitive pixel,(a)ASP,模型,(b1),进入,ASP,后光线均分,(b2),进入,ASP,光线的差异反演入射角度,Angle-sensitive pixel,w,is the opening size of,individual pixels.,h,is the,thickness of the top passivation,layer.,n,is the refraction layer,index of the passivation layer.,W,Angle-sensitive pixel,The FDTD simulation of the,front-side illuminated ASP,design with normal,incidence(a) and 10 degree,incidence(b). The wavelength,is chosen to be 550 nm, the,center of visible spectrum.,Angle-sens