H第八章视差立体显示关键技术

1、Department of Electronic Science and Engineering, Nanjing University -Lab南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服图像的串影率图像的串影率（Crosstalk） 任意视角的图像中，混合了另一幅视角的图像，即形成串影现象。串影及其成因南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 /

2、SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服Left imageRight imageLeft view imageRight view image南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT La

3、b, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服ZY自然光自然光吸收轴吸收轴透光轴透光轴部分部分线偏振光线偏振光Depolarization artefacts南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服Mixing of left- and right-eye images南京大学南京大学-电子科学与工程系电子

4、科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服tda0a2a1A11A12A02A22A01A21wOO 1O2Freedom WindowFlicker regiontwR Overlap Rate南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服

5、Previous VoxelCurrent VoxelGhost VoxelLaser 1Laser 2南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服Crosstalk reduction in passive stereo-projection systems串影的克服RLLRLLRRL)()1 ()()(LRRLRRLLR)()1 ()()(南京大学南京大学-电子科学与工程系电子科学与工程系-立体

6、成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服tda0a2a1A11A12A02A22A01A21wOO 1O2twR Overlap Rate若w0，则R 0南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服Light Guide Plate (LGP)It is

7、made of ACRYLEParallax barrierIt may reflect the light with high reflection rate Slits南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服transmits directly to the slit and is refracted out 南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术

8、研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服ube redirected specularly by the strip film back into LGP and retroreflected by the rear reflector. uAt the end, it transmits through certain slit 南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE

9、, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服ube totally reflected due to its incident angle is large than LGPs critical angle uAt the end, it transmits through certain slit 南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服Si

10、mulation conclusion of proposed BLULight distribution on the top surface of the parallax barrier 南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术串影及其克服串影及其克服Simulation conclusion of general parallax BLU南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体

11、成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术图像配准图像配准像素与光栅距的匹配南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术图像配准图像配准4.5a3atp等效像素距离tp例如：显示器像素间距p=0.298mm，则对于9视点的光栅栅距t为：3298. 0438773. 4ptmm440918. 0aatp438773. 4co

12、s5 . 448232221. 961tan南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术图像配准图像配准显然，对于左、右眼而言，用的都是同一狭缝光源，因此：rlxx 或者：bbtnbbtn)212)(1 ()212)(1 (btb2)2)(1 (取xl=xr=x，则照明狭缝的X坐标位置x与立体图像对组数n之间的关系为：bbtnx)212)(1 (式中，n=0、1、2、3、南京大学南京大学-电子科学与工程系电子科学与工程系-

13、立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术图像配准图像配准yL取y=2.5mm，=500，（L=1250mm）柱面光栅节距t为：440918. 0998. 0)11 (pttmm440036164. 0南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术图像配准图像配准取t=0.44mm，则3 .48044.

14、 0440918. 0440918. 0tttpp设柱镜板加工误差0.002mm，则：151407)438. 0442. 0(440918. 0440918. 0成像倍率为负数则没有意义（不能成立体像），=151，标称立体成像窗口距离L=378mm，远离设计距离的1250mm。同样不可以使用。南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术图像配准图像配准1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9

15、1 21 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 图像插入或剪除图像插入或剪除Image distortion correction for lenticula misalignment in three-dimensional lenticular displays南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术图像配准图像配准The relationship between accommodat

16、ion and convergence in the real world Empirical Studies of Accommodation, Convergence, and HMD UseThe shaded area is the zone of clear, c o m f o r t a b l e , binocular vision. the real world 南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示

17、技术图像配准图像配准南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术彩虹现象彩虹现象南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术彩虹现象彩虹现象南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab,

18、Department of ESE, Nanjing University视差立体显示技术视差立体显示技术彩虹现象彩虹现象南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术彩虹现象彩虹现象南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术彩虹现象彩虹现象1 3 5

19、 7 9 2 4 6 8 1 3 5 7 9 2 4 6 8 1 39 2 4 6 8 1 3 5 7 9 2 4 6 8 1 3 5 7 9 28 1 3 5 7 9 2 4 6 8 1 3 5 7 9 2 4 6 8 1 7 9 2 4 6 8 1 3 5 7 9 2 4 6 8 1 3 5 7 99.4623南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术彩虹现象彩虹现象1 3 5 7 9 2 4 6 8 1 3 5 7

20、 9 2 4 6 8 1 39 2 4 6 8 1 3 5 7 9 2 4 6 8 1 3 5 7 9 28 1 3 5 7 9 2 4 6 8 1 3 5 7 9 2 4 6 8 1 7 9 2 4 6 8 1 3 5 7 9 2 4 6 8 1 3 5 7 9南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术彩虹现象彩虹现象Philiphs and n 南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立

21、体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术视角扩展技术视角扩展技术多视点立体显示Camera1Camera2Camera3Camera4Camera5Camera6Image1Image2Image3Image4Image5Image6南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术视角扩展技术视角扩展技术多视点立体显示Im

22、age1 2 3 4 5 6南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术视角扩展技术视角扩展技术Parallax barrierLCD panelImage1Image2Image3Image4Image5Image6南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立

23、体显示技术视角扩展技术视角扩展技术Parallax barrierLCD panel南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术视角扩展技术视角扩展技术3D LCDweL0)3tan(0Lwae)36(tan(Lwmae南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差

24、立体显示技术视角扩展技术视角扩展技术Display头跟踪立体显示南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术视角扩展技术视角扩展技术Display南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术视角扩展技术视角扩展技术摄像机带通滤光片图像采集卡计算机下位机

25、照明光源发射装置观看者脸部观看者脸部执行机构南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术用户跟踪用户跟踪移动电话移动电话南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术用户跟踪用户跟踪 Scan window over image Classify win

26、dow as either: Face Non-faceClassifierWindowFaceNon-face南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术用户跟踪用户跟踪1. 检测率（Detection Rate）：在给定图像中，检测出来的人脸和人脸总数的比率。但是，“人脸”的定义并没有统一标准，例如，如果一个人脸被遮挡，那么究竟遮挡了多大部分后，就能判定剩余部分不再是一个“人脸”？。2. 错误检测数（False Det

27、ection）：将非人脸当成人脸的数量。这个指标非常重要，有些检测算法可以给出甚至100%的检测率，但是其错误检测的数量可能非常巨大。3. 跟踪速度（Tracking Rate） ：在保持一定的检测率和错检率的前提下，跟踪目标所消耗的时间。4. 定位精度（Position precision） ：所跟踪的目标坐标位置的偏差率。评价指标评价指标南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术用户跟踪用户跟踪硬件框架硬件框架南京大

28、学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术用户跟踪用户跟踪Sketch of a Pattern Recognition ArchitectureFeatureExtractionClassificationImage(window)ObjectIdentityFeature Vector软件框架软件框架南京大学南京大学-电子科学与工程系电子科学与工程系-立体成像技术研究室立体成像技术研究室 / SIT Lab, Department of ESE, Nanjing University视差立体显示技术视差立体显示技术用户跟踪用户跟踪目标探测目标探测图像预处理图像预处理滤波色彩空间转换特征提取图像增强搜索侯选区域分类标注初始坐标提取目标窗口目标预测目标预测计算可能的运动方向目标确认目标确认窗口检测更新初始坐标计算可能的运动幅