博士学位答辩《真三维视频关键技术研究与先导验证》结题汇报课件模板

基于光场的真三维视频采集与生成真三维视频关键技术研究与先导验证结题汇报答辩人：XXX2023/9/20汇报提纲课题研究背景课题的研究目标与任务课题研究情况总述主要创新点主要成果平面显示立体显示全息显示大屏幕高分辨率完全真实再现深度感知视点交互视场小单位分辨率低交互有限视点不连续真三维研究背景真三维视频对应的时空光视觉场空间分辨率视点数时间分辨率视场范围标清高清十亿像素超高清平面双目立体裸眼立体光场15Hz30Hz60Hz120Hz45度90度180度360度高分辨率、大视场、连续自由视点、自然立体可视导航三维战场虚拟手术虚拟制造立体广告真三维推动多领域的重大变革理论性研究多于实践性研究跟踪性研究多于原创性研究缺乏系统关键技术研究汇报提纲课题研究背景课题的研究目标与任务课题研究情况总述主要创新点主要成果全新体验的下一代真三维数字媒体技术自然立体、高分辨率、大视场、连续自由视点交互“时-空-光”视觉理论大视场、高分辨率动态场景感知多模标定场联合映射多源深度信息获取与融合产业需求驱动真三维视频采集真三维视频自动标定真三维视频生成真三维立体视频采集生成先导系统共性技术难题1套理论体系3项关键技术1个原型系统研究内容整体框架课题目标搭建性能稳定的双目、八目、全景动态光场、透镜阵列、多视点及单视点采集装置实现真三维视频全自动采集、自动标定、精准重建真三维视频获取与生成先导验证系统：

核心关键技术真三维视频采集真三维视频标定真三维视频生成突破20篇以上论文，6篇以上顶级国际期刊和会议文章20项国家发明专利，5项国际发明专利一套满足近景展示、舞台演出、单视点交互的真三维视频获取与生成先导验证系统发表构建主要技术指标高分辨率空间分辨率4K×2K时间分辨率60HZ大视场采集范围水平360度，垂直180度显示可视范围水平160度自然立体标定精度0.1像素重建精度0.1毫米显示分辨率4K×2K验证系统单视点双目、八目真三维验证显示系统透镜阵列全景动态光场汇报提纲课题研究背景课题的研究目标与任务课题研究情况总述主要创新点主要成果成果汇总预期成果实际完成4篇科技报告4篇科技报告EI/SCI论文20篇以上，其中在顶级国际刊物和会议上发表论文6篇以上发表EI/SCI论文43篇，其中在顶级国际刊物和会议上发表论文7篇国内发明专利20项以上国内发明专利38项国际发明专利5项以上国际发明专利10项培养一批真三维领域研究生培养相关技术研究生80余人形成产业链上下游联盟，建设联盟技术创新载体和公共技术服务平台获批建设深圳市立体视频公共技术服务平台分辨率、大视场、标定误差、重建误差、显示分辨率和显示范围等各项技术指标均已完成汇报提纲课题研究背景课题的研究目标与任务课题研究情况总述主要创新点主要成果连续自由视点的虚拟视点生成方法跨场景三维视频生成的运动迁移方法主要创新点多视点采集装置及复杂场景采样理论基于微透镜阵列的真三维采集提出多种真三维视频的几何标定方法提出真三维视频的颜色校正方法

4

大任务

8

个主要创新点任务一：真三维视频采集任务二：真三维视频标定任务三：真三维视频生成任务四：先导验证系统研制单目、双目、八目、光场采集系统研发裸眼全贴合真三维显示系统研发与创新任务一：真三维视频采集异构场景的多模式采集任务1.1：全景动态光场采集

任务1.4：透镜阵列采集近景展示体育比赛舞台演出体感交互任务1.3：多视点深度采集任务1.5：面向互动的单视点深度采集任务1.2：超高清双目全高清八目采集解决变分（连续）立体匹配多视角协同分析与信息融合视角协同采集装置浮点高精度匹配多尺度全局匹配创新点1.1多视点采集装置及复杂场景采样理论任务一：真三维视频采集视点稀疏传统视点间离散像素匹配精度低重建精度低光场采集系统任务一：真三维视频采集创新点1.1多视点采集装置及复杂场景采样理论视频同步几何校准颜色校准技术难点数据采集硬件同步图像旋转与水平对齐相机白平衡统一数据存储海量数据的存储格式相机布置位置、角度和焦距

融合多深度的复杂场景采样理论在本研究中视频信号统一使用2D的全光函数信号表示,即EPI.全光函数plenopticfunction

2维全光函数和场景极平面图EpipolarPlaneImage（EPI）EPI图像相机场景...EPI斜率与场景的深度信息有关相机水平坐标成像水平坐标...成像水平坐标任务一：真三维视频采集创新点1.1多视点采集装置及复杂场景采样理论光场的最小采样率研究光场函数频谱基于自相关函数估计方法，全光函数频率表达式为（1）推导得到相机的最大间隔必须满足如下列式子：（2）成像平面频率空间频率实验验证随着相机数量的增加，重构质量提高，当选取估计获取的最小采样相机数量时，相应的重构质量趋于平稳，验证估计的最小采样率的有效性。ZhuC,YuL,YanZ,etal.FrequencyEstimationofthePlenopticFunctionUsingtheAutocorrelationTheorem[J].IEEETransactionsonComputationalImaging,2017.任务一：真三维视频采集创新点1.1多视点采集装置及复杂场景采样理论有最大和最小深度场景的表面几何变化图数值仿真的全光频谱成像频率空间频率深度变化影响的全光函数频谱特征式频谱特征中间变量问题描述变量深度变化对频谱的影响分析这里深度变化相机间隔ZhuCJ,YuL.Spectralanalysisofimage-basedrenderingdatawithscenegeometry[J].MultimediaSystems,2017,23(5):627-644.任务一：真三维视频采集创新点1.1多视点采集装置及复杂场景采样理论

场景中的关键的深度信息示意图

深度信息分块示意图提出的简单结构模型，简化场景深度信息均匀采样情况，整个场景的相机间隔非均匀采样情况，每个简单结构模型的最大相机间隔可以看作是由一组简单结构一块一块的组成全光函数采样的关键深度信息获取方法ZhuC,ZhangH,YuL.StructureModelsforImage-AssistedGeometryMeasurementinPlenopticSampling[J].IEEETransactionsonInstrumentationandMeasurement,2018,67(1):150-166.任务一：真三维视频采集创新点1.1多视点采集装置及复杂场景采样理论多相机最优配置方案

假设有P台相机和K个虚拟视点，相机布置问题是如何通过优化相机布置使得虚拟视点的绘制误差最小化的问题，当虚拟视点绘制误差最小化时绘制质量也就最好，问题数学表述：任务一：真三维视频采集创新点1.1多视点采集装置及复杂场景采样理论重构多尺度点云多尺度变分优化深度计算、基于光照的表面细节增强、多视图深度融合实现高精度三维重建创新点基于多尺度深度融合的多视图三维重构方法任务一：真三维视频采集创新点1.1多视点采集装置及复杂场景采样理论重建结果/mview/eval/变分融合三维重建传统重建模型模型精度误差为0.08mm基于多尺度深度融合的多视图三维重构方法任务一：真三维视频采集创新点1.1多视点采集装置及复杂场景采样理论提出算法创新点1.2

基于透镜阵列的真三维视频采集基于EPI深度学习的光场深度估计方法难点：缺乏数据集，视差一般为亚像素级影响：精度不足、质量不高提出基于深度学习的光场深度估计十字形EPI块学习网络数据增强和均衡化任务一：真三维视频采集尺度-方向自适应的光场深度估计网络难点：数据集少且不均衡，亚像素视差影响：精度、质量尺度-方向自适应深度网络多方向EPI块联合估计数据增强和均衡化W.Zhou,L.Liang,etc.ScaleandOrientationAwareEPI-PatchLearningforLightFieldDepthEstimation.inICPR.2018任务一：真三维视频采集创新点1.2

基于透镜阵列的真三维视频采集基于光场遮挡滤除的光场深度估计光线-像素-区域，三级遮挡级联滤波器后处理优化W.Zhou,A.LumsdaineandL.Lin.DepthEstimationwithCascadeOcclusionCullingFilterforLight-fieldCameras.in23rdInternationalConferenceonPatternRecognition(ICPR).2016.任务一：真三维视频采集创新点1.2

基于透镜阵列的真三维视频采集难点：遮挡和不连续区域检测影响：精度、质量基于遮挡互补模型的光场流估计难点：遮挡和不连续区域检测影响：精度、质量遮挡互补模型提出光场流模型W.Zhou,P.Li,A.Lumsdaine,andL.Lin.Light-FieldFlow:ASubpixel-accuracyDepthFlowEstimationwithGeometricOcclusionModelfromaSingleLight-FieldImage.inICIP.2017任务一：真三维视频采集创新点1.2

基于透镜阵列的真三维视频采集基于自适应DCT的光场全焦点图像融合方法难点：分块效应，深度不连续边界存在伪影影响：图像质量、边界平滑性自适应DCT窗口多标号一致性图割优化任务一：真三维视频采集创新点1.2

基于透镜阵列的真三维视频采集多视点视频图像视差估计的方法多视点图像的预处理方法多种生成深度图的方法基于并行优化和分层置信传播的实时深度生成基于深度图和并行优化的实时图像绘制方法消除深度图序列背景和边缘抖动的方法单目、双目、八目采集系统的研发及创新同时取得的成果还包括：任务一：真三维视频采集任务二：真三维视频标定多参数组合优化、多模标定场联合映射等理论多深度纹理非平面相机协同标定任务2.1全自动几何校准任务2.2全自动协同颜色校准任务二：真三维视频标定

需求：相机内外参数误差等难点：传统的棋盘格角点检测算法对于光场图像不适用影响：子图像非常模糊、噪声影响到正常角点的检测创新点2.1真三维视频的几何标定任务二：真三维视频标定创新点2.1真三维视频的几何标定解决方案：分离单个子图像检测子图像中所有直线，对直线进行聚类计算角点，判断置信度，统计角点数目是否增加改变检测直线的阈值是角点优化否角点优化的策略分为两：第一步角点重定位第二步角点亚像素优化姿态一姿态二姿态一姿态二检中率98.96%98.56%误检率2.1%2.2%王好谦，吴驹东，王兴政，张永兵，戴琼海.一种适用于光场相机的标定预处理方法.发明专利201610613216.4任务二：真三维视频标定

难点：四维成像模型影响标定精度提出新的光场成像模型

基于透镜阵列的光场数据标定创新点2.1真三维视频的几何标定任务二：真三维视频标定同一台相机拍摄的不同姿态的模板图像模板图像的角点检测结果几何校正改进算法的视差调整结果基于模板参照物的时空关联标定：针孔相机成像模型离线进行尺寸：1m*0.8m（黑白格边长1dm）基于模板参照物的时-空关联标定法创新点2.1真三维视频的几何标定基于透镜阵列的光场数据标定任务二：真三维视频标定难点：Kinect视场角大，分辨率低对于多视角需要拍摄多次标记点角点不易检测区分采用标定球设计特殊标记一次拍摄……有效解决多视角不同分辨率相机标定问题标定球：标记求放置于拍摄位置，与人头大小相近标记点随机分布、角点易于检测和区分特殊标记点设计：根据线性反馈位移寄存器设计，共有22位，构成循环，根据任意连续5个位置可以确定其唯一坐标。Kinect识别大号标记，用此和彩色相机系统校准。多视角不同分辨率相机标定创新点2.1真三维视频的几何标定任务二：真三维视频标定难点：多相机系统标定需要特定的大标定板和精细设计的标定装置以及复杂的环境配置影响：系统复现、配置难易有效利用3D重建结果利用点云匹配标定精细重整点云匹配结果精细重整Rigid

ICP点云匹配super4pcs动态重建结果具体实施：人体在多相机系统中旋转一周→每个相机单独对人体进行动态重建→截取几个时刻的结果进行点云匹配（super4pcs）得到粗标定结果→经精细重整（rigidICP）得到最终结果T=[R,t]基于动态重建结果的多RGB-D相机标定方法创新点2.1真三维视频的几何标定任务二：真三维视频标定创新之处：系统标定可得到两个相机间的外参矩阵T=[R,t]，该矩阵对应两个相机得到同一时刻的动态重建结果其中一个相机进行旋转和平移变换与另一个比对，如果完好重合，则证明标定准确相机#1时刻t重建结果相机#2时刻t重建结果#1#1#2#2基于动态重建结果的多RGB-D相机标定方法创新点2.1真三维视频的几何标定任务二：真三维视频标定创新点2.2.真三维视频颜色校正

难点：六边形排列转正交排列，无颜色补偿影响图像质量具有边界保持特性的六边形-正交重采样色彩不变性的颜色补偿

颜色校正前的光场图像

颜色校正后的光场图像

提出光场相机数据格点校正和颜色补偿方法转换前为六边形排列

转换后正交排列任务二：真三维视频标定参考图像失真图像难点：相机、光照参数难预测，视点间难均衡影响：编码、深度计算、客户端重建等高光检测视点间均衡光线估计……有效解决多相机系统颜色校正问题校正图像多视点图像颜色校正创新点2.2.真三维视频颜色校正任务二：真三维视频标定所提出方法误差能量最小有利于保持视点间图像颜色一致性有利于客户端虚拟视点绘制有利于编码压缩多视点图像颜色校正创新点2.2.真三维视频颜色校正任务三：真三维视频生成沉浸感自然感真实感高精度立体视频重建任务3.2跨场景运动迁移对极几何约束等理论多源信息获取与融合任务3.1虚拟视点生成彩色/深度视频相关性低分辨率深度视频特性3D视频特性分析特征描述与提取稀疏域失真特性分析双目视觉感知特性视频时域感知分析3D内容视觉舒适性深度预处理重建质量3D视频质量评价与优化创新点3.1面向连续自由视点的虚拟视点生成任务三：真三维视频生成基于区域特征的深度视频处理方法基于稀疏失真模型的深度修复方法视差补偿视点间滤波的立体图像质量评价模型基于张量域时变特征的无参考立体视频质量评价模型3D视频内容生成的立体显示视觉舒适度优化高质量的自由视点视频虚拟视点视频生成提出基于区域特征的深度视频处理方法难点：深度视频获取不准确、出现失真影响：虚拟视点生成质量下降彩色/深度视频联合分析特征提取深度视频后处理ZongjuPeng,MingsongGuo,FenChen,GangyiJiang,MeiYu,FengShao,“Adepthvideoprocessingalgorithmbasedonclusterdependentandcorner-warefiltering”,Neurocomputing,

v215,

p90-99,

Nov.2016.创新点3.1面向连续自由视点的虚拟视点生成任务三：真三维视频生成基于稀疏失真模型的深度修复方法难点：传统空洞修复方法没有考虑场景的稀疏性影响：虚拟视点生成质量下降深度视频的稀疏表示与分析失真和无失真深度特征矩阵自适应深度图像滤波、质量增强创新点3.1面向连续自由视点的虚拟视点生成任务三：真三维视频生成ImagePSNRDCT(dB)PSNRRam(dB)PSNRBF(dB)PSNRFMM(dB)PSNRpro(dB)Moebius41.54041.147340.285440.084941.9163Baby45.485841.155441.582041.634045.9104Dolls42.485441.070541.703141.263742.7357Aloe41.585740.577738.253638.087541.8374Bowling44.025840.921841.047140.968744.2345Cloth48.098341.315745.857946.299248.2760Flowerpots42.426540.653038.921238.734742.9067Lampshade143.156041.009639.933239.931343.4839Midd143.453841.110341.358341.341744.0106Plastic45.965741.316343.187743.228546.2140Art40.116540.064135.775735.898640.6265Books42.678141.164340.684540.872343.0323Average43.418140.958840.715840.695443.7654提出方法提高了虚拟视点图像质量任务三：真三维视频生成提出方法修复的对象更准确对象边缘更好基于稀疏失真模型的深度修复方法视差补偿视点间滤波的立体图像质量评价模型难点：三维视频编码中会引入失真影响：影响视觉感知体验质量双目视觉感知特性图像失真特征视差补偿视点间滤波YangSong,MeiYu,GangyiJiang,FengShao,ZongjuPeng,Stereoscopicimagequalityassessmentusingdisparitycompensatedviewfiltering,JournalofElectronicImaging,25(2),no.023001,Mar/Apr.2016创新点3.1面向连续自由视点的虚拟视点生成任务三：真三维视频生成任务三：真三维视频生成提出立体图像质量方法评价结果与人眼感知相关性更好，整体评价性能更优视差补偿视点间滤波的立体图像质量评价模型基于张量域时变特征的无参考立体视频质量评价模型难点：三维视频失真的时空域感知描述域特征提取无参考影响：影响视觉感知体验质量双目视觉感知特性三维视频时域感知特性张量域时变特征分析GangyiJiang,S.Liu,M.Yu,etal.,Noreferencestereovideoqualityassessmentbasedonmotionfeatureintensordecompositiondomain,JournalofVisualCommunicationandImageRepresentation,50(2018):247-262,2018创新点3.1面向连续自由视点的虚拟视点生成任务三：真三维视频生成立体视频张量分解域的特征提取任务三：真三维视频生成无参考立体视频质量评价优基于张量域时变特征的无参考立体视频质量评价模型难点：3D内容过于追求深度感知导致其3D视觉不舒适影响：视觉感知体验质量下降视觉深度感视觉舒适性深度感与舒适性的联合优化FengShao,QiupingJiang,RandiFu,MeiYu,GangyiJiang,Optimizingvisualcomfortforstereoscopic3Ddisplaybasedoncolor-plus-depthsignals,OpticsExpress,24(11):1640-1653,2016创新点3.1面向连续自由视点的虚拟视点生成任务三：真三维视频生成3D视频内容生成的立体显示视觉舒适度优化视觉舒适度深度感任务三：真三维视频生成3D视频内容生成的立体显示视觉舒适度优化提出方法视觉舒适度和深度感知两者联合最优创新点3.2面向跨场景三维视频生成的运动迁移目标:功夫走路跳跃打拳踢腿难点：运动与纹理关系复杂建人体运动数据库，对数据库的检索和图像变形，合成真实感目标视频任务三：真三维视频生成目标数据库100最相似帧候选排序帧距离可见分数…1.2.100.相机距离:姿态距离相似度1、多视点扫描采集2、运动采集重建创新点3.2面向跨场景三维视频生成的运动迁移任务三：真三维视频生成使用检索帧的其它视角帧顺序融合填充当前结果的缺失部分创新点3.2面向跨场景三维视频生成的运动迁移任务三：真三维视频生成建立候选序列场景迁移与运动合成创新点3.2面向跨场景三维视频生成的运动迁移任务三：真三维视频生成PID架构在MNIST数据集上性能指标优于主流的SGD-Momentum，训练速度提高50%光空时双目采集多目采集全景光场透镜阵列单视点单深度多视点多深度采集与标定生成传输与显示任务四：真三维视频先导验证系统高分辨率、大视场、自然立体、连续自由视点交互的真三维视频提出基于面向互动单视点深度同步采集的实时手势识别与动态跟踪方法

自适应单视点深度同步采集的高速处理技术，图像采集输入最高可达240帧红外LED辅助光源和双摄像头模组，基于手势姿态估计技术，利用手型特征和轨迹特征实现动态手势识别和实时跟踪，解决了环境光变化和背景影响难题实时获取手势3D空间信息，实现基于手势识别和动态跟踪的自然交互方式，可广泛用于互动娱乐和虚拟现实人机交互研发单视点采集模组技术已运用到公司VSLAM技术研究项目中，自主研发的VSLAM将成为下一代VR和AR产品解决方案重要组成部分一种可识别手势的虚拟现实头盔及其手势识别方法，201610539179.7任务四：真三维视频先导验证系统分辨率、帧速、同步控制、一致性任务四：真三维视频先导验证系统双目立体采集微米级运动采集双镜头联动电动调节（Aperture、Focus）基线电动调节精度30um相机外触发同步(20ns)任务四：真三维视频先导验证系统480MB/s960MB/s采集存储分离式一体式采集存储八目立体采集光栅设计方案全贴合设备自由视点显示方案提出了一种消减摩尔纹的光栅设计方案在每节光栅中设置一个三角折射区，使黑色矩阵出射的光照射至三角折射区后发生全反射三角折射区延伸方向与柱透镜单节光栅延伸方向相同三角折射区与液晶屏黑色矩阵位置对应三角折射区是截面为等腰三角形，底边宽度大于等于黑矩阵宽度任务四：真三维视频先导验证系统提出了一种无棱光栅设计方案研制了化学单体，实现了材料折射率1.38~1.56大范围内可调设计了一种采用高分子超低折射率材料的组合透镜，有效地消减了像差设计无棱光栅，实现真空吸附采用光改性与光纳米复制技术，降低模具加工成本，缩短加工周期三角折射区设计无棱光栅设计光改性与光纳米复制技术ZL2016100408005用于消除摩尔干涉ZL2016109380787可切换组合光栅结构光栅设计方案自由视点显示方案开发了大尺寸GG全贴合设备，实现了50寸以上产品的全贴合采用高真空加热贴合技术，可实现86寸贴合（行业内目前是65寸）采用固态胶膜，无溢胶，贴合良率95%以上，实现3min/片设备贴合尺寸兼容性好，可覆盖50—86寸设备贴合玻璃厚度兼容性好，可实现1-10mm（行业内是某一个固定厚度）任务四：真三维视频先导验证系统全贴合设备ZL20161028610803D光栅对位贴合装置及方法ZL2016104088256多气缸全贴合装置及方法光栅设计方案全贴合设备任务四：真三维视频先导验证系统自由视点显示方案提出一种连续自由视点显示方法基于超多视点的局部显示区域像素排布方法采用双层图像排布及合成算法解决分辨率损失采用1/6角度，覆盖子像素4.6666连续自由视点实现可视区域基本提升到160°实现了28路连续自由视点显示，主观测试效果好提出一种4Kx2K超高清显示方案点对点无损驱动和画面显示数据传输方式V-BY-O，通过HDMI或DVI等接

口实现PC或其他驱动板卡的驱动驱动原理非点对点显示点对点无损显示任务四：真三维视频先导验证系统采集与显示系统全景动态光场采集系统