重点部署项目实施方案计算所虚拟现实final

以虚拟现实等技术和产品为代表的创新性产品推动了供给侧成为提升体内容获取装备，开发VR内容分析与合成软件系统，搭建VR内容在模拟到数字、从标清到的三次重要升级。但是一直采用二维形式表示三维物2010年南非赛以及2012年伦敦奥运会立体频道的开播进一步推动了三维的产业发展电视和图像技术以及相关应用产业开始全面迈向三维化、虚拟化。然而传统的三维显示技术需要配戴眼镜，给者带来诸多不便。虽然近年来产生的眼三维技术不需要配戴眼镜，但却存在着分辨率不高、视点并不会随位置的改变而变化观众只是接受由拍摄者所选择的视点信息，这是非常不同于现实世界中的体验。为了提供更加自由与真的三维沉浸感，人们迫切需要一种具有自然、立体、高分辨率、可自由切换视角的全新数字多虚拟现实技术于20世纪60年代，是指借助计算机系统及传感器技术2016年的快速发展。更具标志性的为2014年以20亿收购Oculus。在随后的两年中，虚拟现实/增强现实领域共进行了225笔风险投资，投资额达到了35亿。Digi-Capital数据（2015年12月）显示，过去12个月各企业在虚拟现实领域的投资，其投资额已突破10亿。而根据CBInsights的统计，2014年全球虚拟现实公司的风险融资额高达7.75亿，同比增长超过2015H1实现融资额2.48亿虚拟现实内容根据数据表现的形式可以分为图形内容和内容其前者主称为真三维或自由视点 FVV为虚拟现实技术的高级形态，通过、编码和绘制等技术，能够允许观察者在一定的范围内自由地选择视角其感的内容，并结合人眼立体视觉机理，向者展示一个具有高度沉浸感和真实感的三维立体画面。与传统技术相比，自由视点能够为人们提供前所未有的自由度和三维沉浸感更加符合人作为下一代虚拟显示技术和数字多技术的发展方向自由视点技术将给人们接受信息的方式带来一场。（一）项目研究内容符合国家战略规划重点支持方向。信息产业是我国国义，是稳增长、促的场。我国是全球领先的信息产业大国，以虚拟现实等技术和产品为代表的创新性产品推动了供给侧成为提升消费类电子产品有效供给能力的重要国家十三五规划纲要重点支持新一代、沿领域创新和形成一批新增长点《国家创新驱动发展战略纲要》在战发展的行业领域，虚拟现实技术、数字内容、智能感知技术等是需要优先发2016527日，工信部发布了《虚拟现实产业发展白皮书充分肯定了虚拟现实行业。在2016年发布的国家重点研发计划“云计算和大数（二）VR产Tractica2017年时内容销售将占到虚拟现实总营为下一代虚拟现实技术和数字多技术其所呈现的内容将不再仅是目前的立的真实感之外，观察者还可自主选择角度，使图像不再局限于若干个有限的固定视角，使观察者身临其境，具有良好的交互感和真切的沉浸感。自由视图1.1所示，它们的主要是根据提供视点数目的多少来进行划分。1.1点获取装备及自由视点合成方法，能有效弥补传统2D展示方法只能观察的缺陷，通过视角的自由变换和真的实时绘制技术，使观察者可以选习的同时能有效避免在教学中存在的信息传递疏漏；3）面向拍摄、电视及文化创意领域，利用该技术可以开发出诸如时间、慢动作全景回放世界中人们在社会交往中存在的问题提供一种全新的和思路。总之，项目的预期成果不仅具有十分广阔的前景而且能够为人际交往提供一种新的手业层面上有利于解决目前虚拟现实产业缺少内容制 这一影响产业发展瓶颈问题既符合国家战略规划要求又具有广阔的前景亟需推进实施科学问题一：复杂真虚拟环境的构造问题目前虚拟环境的构造方法有数学建模和现实两大类它们具有各自的优点和固有的局限，一般来说，前者三维特性突出，后者真程度高。随着VR应用的不断深化，对虚拟环境复杂性和真性的要求也越来越高。解决这一问题是VR建模研究重要任务这一方面有赖计算机及处理部件性能的进一步提高；研制精度、效率更高甚至智能化的设备；开发更完善、自动化程度更高的建造方法也是解决这一问题的一条途径复杂真虚拟环境拥有集中或分布的海量数据，这些海量数据的有效调度、检索和是具有性的问题。人机交互的沉浸感与虚拟环境的真性和实时性密切相关这类似于算法的自由视点技术的研究从20世纪90年始。MPEG工作组早在2001年了对自由视点技术的研究和相关标准化的制定工作[SK03]MPEG组织所多视点编码的国际标准，第二个子阶段则是自由视点的生成。2001123DAV相关工作3DAV的要求分析，完成一些探索性的实验。MutiviewModel。2006年，ISO/IECMPEG和ITU-TVCEG联合组成的年基本完成。至此，按照MPEGFVV的第一阶段任务－“制定多视点编码的国际标准”－已基本完成，工作重心已经转移到第二阶段－“自由视点的绘制”该阶段的主要任务是为者提供具有高度真感的虚拟视未有的自由度和沉浸感。［LM961.2所示，该系统将相机安装在一个可移动的转台上，用户可通过指令交互式设定转台的运动轨迹，从而实现对整个拍摄场景的多视点信息。虽然该系统具有硬件实现简单、算法复杂度低、状态与所拍摄场景的复杂度无关等优点。但是由于数据量大，不利用数据的压缩与传输，因此只适用于静态场景。图1.2单个移动相机系2001年，HartmutSchirmacher[SMS0]1.3该系统能够根据到的多视点图像信息进行场景三维重建图1.3实 从2002年起，欧盟开展了“先进三维系统技术”(AdvancedThree-TTEST)[RBF02Feh03DLC03]的相关研究工作，并逐步发展到欧盟第七框架下的移动立体电视系统[OSS04，OOS06，Onu10]该项目以当时已有的编技术和数字广播通信网络为依托采用二维结合深度信息的实现方法主要针对多视点场景信息技术、三维场景信息获取技术数据压缩编技术和数据传输技术等多个方面进行了斯坦福大学的TakeshiNaemura等于2002年基于建模的多视1.4阵列作为场景数据系统，能够对整个场景进行实时的三维重建。图1.4基于建模的多视点系斯坦福大学和三菱在ATTEST项目的基础之上，共同提出了一种面向与传输的交互式自由视点技术[MP04,WJV05]如图1.5所示该技术在端通过8台电脑控制16台线性排列的机并以12帧每秒的速率对整个场景进行数据信息的同步在客户端该技术则以水平方式投放画面， 图1.5面向和传输的交互式自由视点技微软与大学共同构建了一种能够交互和重现三维场景的自校正相机阵列系统[Feh04]1.648台可移动相机组4-10帧/秒的帧率生成新视图。1.6此外，微软亚洲开发的基于网络多播技术的交互式多视点系统[LCL05]。该系统与之前面向与传输的交互式自由视点系统的架构相类似，采用基于simulcast的多视点编码方式，在客户端通过传统2D显示器进行技术，用户的交互性较差，其所的画面仍然只限制在有限的拍摄视角之中技术以Tanimoto等人早期搭建的基于光线空间的多视点系统[KFK00]为基图1.7名古屋大学设计的多视点系S.U.Yoon等人[YLK05]（LayeredDepth，LDV）[MSD08]。分层深度图是针对虚拟视点绘制中的遮挡问题而一种新的数据表达形式不同层次上的深度图记录了同一光线穿过的不同物体的信息系统使用若干数目的机和深度机进行场景信息，每个深度序列与视点相对应，分层深度图对深度值的精度信息组合，在端后，在用户端进行多视点重建。另外，该系统使用3D100此外如图1.8所示，麻省理工学院所基于分布式重现算法的光场系统[JWV05]允许者在由相机捕获的光场中动态地切换视角。为了减小总带宽，系统按照所需视角选择性地传输64台机捕获的部分流。图1.8麻省理工学院所光场系1.9Petrovic等人[PD06]提出了一种基于深度图像绘制的自由视点技术概念模型。另外还有韩国GIST基于分层深度图的多视点系统[CKH06]、德国HHI研究所的基于深度的三维电视系统[CKS06SKK11]使自由视点技术迅速发展。近年来，微软公司在自由视点获取方面取得了显著进展，开发了端到端的高质量流视点获取与传输系统[CCS15]。1.9国内很多高校和研究机构也相继开展了自由视点技术各个方面的研究工作，并取得了很多重要成果。例如，所研发的光场与重构系统[LCD09GDW11,WLD11]64台传感器阵列，采用基于动态光场的方法实现了自由视点系统。此外，还有[LZM08,LHQ10,XZD11]、宁图1.10的光场与重构系研究将对我国在下一代虚拟现实数字多等有关应用领域的发展起到促进作RenderingMBR和基于深度图像绘制的自由视点技术（DepthImage-basedRendering，DIBRMBR的分割物体依然为力，并且其绘制方法计算复杂，对场景复杂程度具有一定MBRMBR景结构没有太多要求。并且IBR能够生成级的虚拟视点画面，特别擅长处理复杂的自然景象。其典型算法有基于光场的绘制(LightfieldRendering)[LH96]和基于光线空间的绘制(RaySpacerendering)[FT02]IBR的关键在于各种插值算法效果的好坏，通过IBR技术生成的虚拟视点画面虽然能够生成级别的效果，适合处理具有复杂场景的自然景象。但是插值原有图像无法获得的信息视点数目极其庞大。由此而产生的数据量也十分惊人，这不仅考验了设备和流同步技术，而且对处理传输速度提出了严峻的要求，现有设备和数字通信网络其需要，这使得IBR技术仅能停留在或者技术演示阶段，基于深度图像绘制的自由视点技术[GMG11,DSF11]3D图像映射变换作为虚拟视点绘制的基本原理根据源图像中各个像素对应于三点的深度信息，DIBR自由视点技术对于采样点的密度要求较低，因此实现使用DIBR自由视点技术所需数据量比纯粹的IBRMPEG组织更是将基于深度图像绘制的自由视点技术作为未：由于具有重大的和学术价值国内外许多学术机构在自由视点技术方面展开了有益的探索。目前工作较突出的国外研究机构主要有名古屋大学产业科学德国通讯技术（HHI德国工业大学图形：、、三菱MERL、欧盟ATTEST项目小组、、大学计算机视 斯坦福大学可视 微软亚 等、辅助设计与图形学国家数字技术国家工程、信息科学与技术国家（筹、宽带网数字技术、西安交通大学人工智能与机器人计算所虚拟现实、多视点图像与深度图像装置与方1多视点图像与深度图像装置与方12 Apparatusandmethodforcapturingasceneusingtriggeringofdensecamera3 representationfromoneormoretwo-dimensional4 Stereoscopicimaging5 6 ascenewithinformationaboutthe7 ctiveviewpointemployingviewpointsformingan8 Real-timerenderingsystemandprocessfor thatwasgeneratedusingoverlapimagesofascenecapturedfromviewpointsformingagrid9 Real-timerenderingsystemandprocessfor ctive ctiveviewpointsystemand Fulldepthmap Twodimensional/treedimensiondigitalinformationanddisySystemandmethodfortrinoculardepthacquisitiontriangularDepthinformationacquisitionapparatus,imagingdepthinformationacquisitionmethodand12 Methodandsystemforgenerationofmultipleviewpointsintoasceneviewedbymotionlesscamerasandforpresentationofview3 Methodandsystemforcreating ctivewalkthroughsofworldenvironmentfromsetofdenselycaptured4 Methodformodellinga3Dsceneandcorresponding5 Three-dimensionalobjectmodellingfitting&6 stackingcapturedinreal-worldenvironments7 Processformodellinga3D8 Intra-codingofdepthmapsfor3D9 Adaptivepartition ViewsynthesiscompliantsignalDepthreconstructionfilterfordepthcoding1 Methodandapparatusforreal-time/on-lineperformingofviewmultimedia2 Systemandmethodfor 3Useofraytracingforgeneratingimagesforauto-stereodis4Three-dimensionalimagingsystemand5Renderingmultiviewcontentina3D6Concealedregionscomplementingsystemofviewpoint78Systemforexecuting3Dpropagationfordepthimage-9MethodforvirtualimageSystemforgeneratingimagesofmulti- Methodandsystemforprocessingmulti-viewsforviewsynthesisusingmotionvectorpredictionlist Methodandsystemforprocessingmultiviewsforviewsynthesisusingmotionvectorpredictorlist1234567 89 基于3D和自由视点电视的深度图像绘制的方的产品或服务这也说明我国需要在相关技术方向上加大和人力投入，实现理论创新和技术突破，研制出相关的设备和系统，形成自主知识，才能在虚拟现实产业发展重要阶段实现。缺少具有连续性和一致性分布的序列深度图获取方法现有的深度图获取算法仅仅考虑了当前帧各个视点下的图像纹理信息和空间域极线几何约束条对于包含有快速运动物体的动态场景图像序列来说如果仅仅简单地利用现有的深度图估计算法来单独计算序列中每一帧图像的深度图那么由（例减少深度图编码传输的有效性严重影响了所绘制虚拟视点的成像质量。缺少具有高真感的虚拟视点绘制方法由于深度图中对象边缘的不连续性，景与背景颜色的混合因此如果不将深度图像物体边缘与纹理颜像物体边缘[CCS15]A.Collet,M.Chuang,P.Sweeney,D.Gillett,D.Evseev,D.Calabrese,H.Hoppe,A.Kirk,S.Sullivan.,High-qualitystreamable-viewpoint.ACMTransactionsonGraphics,34(4),2015[CKH06]ChaJ,KimSY,HoYS,etal.3D yersystemwithhapticinctionbasedon52(2):477-484.[CKS06]CookeE,KauffP,SikoraT.Multi-viewsynthesis:anovelviewcreationapproachforviewpoint[J].SignalProcessing:ImageCommunication,2006,21(6):476-[CLW05]ChenJ,LiuJ,WangX,etal.Modifiededge-orientedspatialinterpolationforconsecutiveblockserrorconcealment[C]//ImageProcessing,2005.ICIP2005.IEEEInternationalConferenceon.IEEE,2005,3:III-904-7[DLC03]DittmannL,DevelderC,ChiaroniD,etal.TheEuropeanISTprojectDAVID:aviableapproachtowardopticalpacketswitching[J].SelectedAreasinCommunications,IEEEJournalon,2003,21(7):1026-1040.[DSF11]DeSilvaD,FernandoW,KodikaraarachchiH,etal.AdepthmapPost-Processingframeworkfor3D-TVsystemsbasedoncompressionartifactysis[J].2011.[ESG00]EisertP,SteinbachE,GirodB.Automaticreconstructionofstationary3-Dobjectsfrommultipleuncalibratedcameraviews[J].CircuitsandSystemsforTechnology,IEEETransactionson,2000,10(2):261-277.[FB09]FrancoJ,BoyerE.Efficientpolyhedralmodelingfromsilhouettes[J].PatternysisandMachineInligence,IEEETransactionson,2009,31(3):414-427.[Feh03]FehnC.A3DTVsystembasedonplusdepthinformation[C]//Signals,SystemsandComputers,2004.ConferenceRecordoftheThirty-SeventhAsilomarConferenceon.IEEE,2003,2:1529-1533.[Feh04]FehnC.Depth--image-basedrendering(DIBR),compression,andtransmissionforanewapproachon3D-TV[C]//ElectronicImaging2004.InternationalSocietyforOpticsandPhotonics,2004:93-104.[FT02]FujiiT,TanimotoM.viewpointTVsystembasedonray--spacerepresentation[C]//ITCom2002:TheConvergenceofInformationandCommunications.InternationalSocietyforOpticsandPhotonics,2002:175-189.[FP10]FurukawaY,PonceJ.Accurate,Dense,andRobustMultiviewStereopsis[J].IEEETransactionsonPatternysis&MachineInligence,2010,32(8):1362-76.[GDW11]GaoY,DaiQ,WangM,etal.3Dmodelretrievalusingweightedbipartitegraphmatching[J].SignalProcessing:ImageCommunication,2011,26(1):39-47.[GMG11]GautierJ,LeMeurO,GuillemotC.Depth-basedimagecompletionforview (3DTV-CON),2011.IEEE,2011:1-4.[HHY12]HaijunaLEI,HuiaY,YejunbHE.EfficientPredictionStructureofMulti-viewCoding[J]. Engineering,2012,18:021.[JWV05]JoshiN,WilburnB,VaishV,etal.Automaticcolorcalibrationforlargecameraarrays[M].UniversityofCalifornia,SanDiego,2005.[KFK00]KobayashiT,FujiiT,KimotoT,etal.Interpolationofray-spacedatabyadaptivefiltering[C]//ElectronicImaging.InternationalSocietyforOpticsandPhotonics,2000:[LCD09]LiuY,CaoX,DaiQ,etal.Continuousdepthestimationformulti-viewstereo[C]puterVisionandPatternRecognition,2009.CVPR2009.IEEEConferenceIEEE,2009:2121-[LCL05]LouJG,CaiH,LiJ.Areal--timein ctivemulti--viewsystem[C]//Proceedingsofthe13thannualACMinternationalconferenceonMultimedia.ACM,2005:161- LevoyM,HanrahanP.Lightfieldrendering[C]//Proceedingsofthe23rdannualconferenceonComputergraphicsandin ctivetechniques.ACM,1996:31-42.[LHQ10]LiuY,HuangQ,MaS,etal.RD-optimized ctivestreamingofmulti-withmultipleencodings[J].JournalofVisualCommunicationandImageRepresentation,2010,21(5):523-532.[LLM15]LiuJ,LiC,MeiF,etal.3Dentity-basedstereomatchingwithgroundcontrolpointsandjointsecond-ordersmoothnessprior[J].TheVisualComputer,2015,31(9):1253-1269.[LM96]LevoyM,HanrahanP.Lightfieldrendering[C]//Proceedingsofthe23rdannualconferenceonComputergraphicsandinctivetechniques.ACM,1996:31-42.[LZM08]LiX.M.,ZhaoD.B.,MaS.W.,GaoW.,Fastdisparityandmotionestimationbasedoncorrelationsformultiviewcoding[J].IEEETransactionsonConsumerElectronics,2008,54(4):2037-2044.[MP04]MatusikW,PfisterH.3DTV:ascalablesystemforreal-timeacquisition,andautostereoscopicdisyofdynamicscenes[C]//ACMTransactionsonGraphics(TOG).ACM,2004,23(3):814-824.[MSD08]MüllerK,SmolicA,DixK,etal.Reliability-basedgenerationandviewsynthesisinlayereddepth [C]//MultimediaSignalProcessing,2008IEEE10thWorkshopon.IEEE,2008:34-39.[MSM04]MuellerK,SmolicA,MerkleP,etal.Codingof3Dmeshesand texturesfor3Dobjects[C]//Proc.PCS.2004. beRA,FoxD,SeitzSM.DynamicFusion:Reconstructionandtrackingofnon-rigidscenesinreal-time[J].2015:343-352.[NTH02]NaemuraT,TagoJ,HarashimaH.Real-time -basedmodelingandrenderingof3Dscenes[J].ComputerGraphicsandApplications,IEEE,2002,22(2):66-73. OnuralL.Signalprocessingand3DTV[J].[OOS06]OnuralL,OzaktasHM,StoykovaE,etal.Anoverviewoftheholographicdisyrelatedtaskswithintheeuropean3DTVproject[C]//PhotonicsEurope.InternationalSocietyforOpticsandPhotonics,2006:61870T-61870T-10.[OSS04]OnuralL,SikoraT,SmolicA.AnOverviewofaNewEuropeanConsortium:IntegratedThree-Dimensionalevision-Capture,TransmissionandDisy(3DTV)[C]//EWIMT.2004.[PD06]PetrovicG,DeWithPHN.Near-FutureStreamingFrameworkfor3D-TVApplications[C]//MultimediaandExpo,2006IEEEInternationalConferenceon.IEEE,2006:1881-[RBF02]RedertA,deBeeckMO,FehnC,etal.Advancedthree-dimensionalevision[C]//3DDataProcessingVisualizationandTransmission,2002.Proceedings.FirstInternationalSymposiumon.IEEE,2002:313-319.[SCH12]Sanchez-RieraJ,CechJ,HoraudR.Robustspatiotemporalstereofordynamicscenes[C]//PatternRecognition(ICPR),201221stInternationalConferenceon.IEEE,2012:360-363.[SK03]SmolicA,KimataH.Descriptionofexplorationexperimentsin3DAV[J].ISO/IECJTC1/SC29/WG11N,2003,4929.[SKK11]SmolicA,KauffP,KnorrS,etal.Three-dimensionalpostproductionandprocessing[J].ProceedingsoftheIEEE,2011,99(4):607-625.[SMS01]SchirmacherH,MingL,SeidelHP.On-the-FlyProcessingofGeneralized puterGraphicsForum.BlackwellPublishers,2001,20(3):165-174. TanimotoM.FTV(viewpointevision)creatingray--basedimage2:II-25- TanimotoM.FTV: -viewpointevision[J].SignalProcessing:ImageCommunication,2012,27(6):555-570.[TP14]TaiYW,ParkIK.Accurateandreal-timedepth acquisitionusingKinect-stereocamerafusion[J].OpticalEngineering,2014,53(4):043110-043110.[VWS11]VetroA,WiegandT,SullivanGJ.Overviewofthestereoandmultiview extensionsoftheH.264/MPEG-4AVCstandard[J].ProceedingsoftheIEEE,2011,99(4):626-642[WLD11]WuC,LiuY,DaiQ,etal.Fusingmultiviewandphotometricstereofor3dreconstructionunderuncalibratedillumination[J].VisualizationandComputerGraphics,IEEETransactionson,2011,17(8):1082-1095.[WJV05]WilburnB,JoshiN,VaishV,etal.Highperformanceimagingusinglargecameraarrays[J].ACMTransactionsonGraphics(TOG),2005,24(3):765-776.[XZD11]XiangX,ZhaoD,MaS,etal.Auto-regressivemodelbasederrorconcealmentschemeforstereoscopic coding[C]//Acoustics,SpeechandSignalProcessing(ICASSP),2011IEEEInternationalConferenceon.IEEE,2011:849-852.[YH07]YoonSU,HoYS.Multiplecoloranddepth codingusingahierarchicalrepresentation[J].CircuitsandSystemsfor Technology,IEEETransactionson,2007,17(11):1450-1460[YLK05]YoonSU,LeeEK,KimSY,etal.Aframeworkformulti-view codingusinglayereddepthimages[M]//AdvancesinMultimediaInformationProcessing-PCM2005.SpringerBerlinHeidelberg,2005:431-442.[ZGM08]ZongjuP,GangyiJ,MeiY,etal.Fastmacroblockmodeselectionalgorithmformultiviewcoding[J].EURASIPJournalonImageandProcessing,2009.[ZTZ10]ZhuW,TianX,ZhouF,etal.Fastdisparityestimationusingspatio-temporalcorrelationofdisparityfieldformulti-viewcoding[J].ConsumerElectronics,IEEETransactionson,2010,56(2):957-964.2016年发布的国家重点研。该项目符合院发展规划及计算所“一三五”发展目标和学科布局计算所定位于创建学术前瞻的引领产业型战略高技术，保障息安全，成为中国计算机产业人才与技术的。在计算技术学科的计算机系统、网络、智技术应用与技术转移，率先成为世界一流水平的。针对这一中长期定位，计算所将“智能计算系统”与“网络处理系统”作为重点培育构建面向三维内容处理分析的软硬件平台，符合制定的学科布局。。VR》起来，必须保证足够量的优质内容，结合硬件发展，形成自己的。2016年4月工信部《虚拟现实产业发展白皮书“在内容方面，虚拟现实的大规模》研究成果的。（中国计算技术以下简“计算是本项目的主申请单位。中国计算技术创建于1956年，第一个专门从事计算机科学要目前设立了计算机系统研究部网络研究部智能信息处理研究部三多信息的编码与理解、大规模数据可视化、智能感知与交互技术、情境计算高速数字信号处理技术数字内容处理技术跨计算虚拟现实等。（计算所拥有计算机系统结构国家（筹、中国智能信息处理、中国网络数据科学与技术、移动计算与新型终端市、国家并行计算机工程技术、国家高性能计算机工质的学科人与学术团队。截至2015年底，计算所获得国家、院、市、部级科技219项其中国家级科技47项（含非第一完成单位10项院、市、部级科技172项（含非第一完成单位13项高效绘制自然现象模拟与仿真多种数字融合增强现实等关键技术，；分析的三维运动重构“基于布料运动实例数据的虚拟人服装动画方法研究，“任务级虚拟人运动合成方法“面向大规模人群应急疏散模拟的虚拟““（ “（ ““2010拟关键技术研究与服务应用；国家863项目“支持大型公共设施安全问题研究“，（SQ2014GX02D01421）（SQ2014GX02D01251“3D0等；市科技计划项目“数字软件共性技术研发与平台支撑服务”等；以及市文化创意产业重点项“数字化影视动漫特技拍摄与制作系统研发及作品应用”等。获2002年度市科技进步奖二等奖，2003年度国家科技进步二等奖，2006年度市科技进步一等奖等多项。此外，虚拟现实技术还于2007年被中关村管委会认定为“中关村开放”和“北京数字软件公共技术支撑平台。洛阳信息院是本项目的主要实施单位洛阳信市共建的科研机构与技术转移转化平台。成立于2015年2月，落户洛阳信息院依托中国计算技术在计算机与电子展和传统产业的升级，以生物、数字技术、移动通讯技术等核及其他集展。洛阳信息院建立了“一个窗口、两个。实现以服务产业为目标的高端技术的出口将利用5年时间，在引进交流等方面取得显著成果初步建设成为在国际上有重要的技术合作。。目前洛阳信息院还获得成为省产业技术创新平台之的变分MVS，其中包含：一种保留细节的数据信度项和一种目标自适应的表面ZNCC和引导滤波之间的联系，并引导滤波可以解释为在局部方差约束下基于ZNCC配准的一步迭代。通过增加局部方差的相似性约束改进了ZNCC并提出一种新颖的图像间相似性度量。对于正则化项，我们采用超分布建模三p值，从而提出目标自适应的三角网格去噪模型。基于信度项和正则化项，给出一个细节保留的且目标自适应的变分MVS模型DCV(Detail-preservingandContent-awareVariational)。如图2.1所示，为重建三维模型，方法交替执基于表面的梯度可以较好的使用超分布拟合的特点，提出目标Lpp值和正则化参数，算法在三角网格去噪的同时保留表面的特征。2.1MVS该算法在基准数据集Middlebury上的实验结果验证了方法在精细三2.1所示。表2.1算法与常见算法在Middlebury数据集上的结果比2.2TwGREMEM(two-pheoptimi-tionmethodforgnrizdrprojetionrrrnimiztion)分和hmbolle2.2出的算法在重建覆盖有弱纹理的场景和空间视角比较稀疏的图像数据方面的优2.2所示。表 TVL1在体网格MVS2.3所示。与现有的基图2.3基于深度图融合的MVS算集上做了大量的实验。在MiddleburyMVS基准数据集上，通过与所有已且提交MiddleburyMVS评估的算法比较重建完整度获得了较高如表23表 GroundControlPoints(GCPs)约束的深度图估计算法。尽管现有的立体匹配算GCPs约束的深度图获取算法。该算法该算法将整个场景看作是由空间中若干个3Dentity所组成的集合，并且（1）3Dentity在该视点成像平面3Dentity（2）3Dentity中任意一个空间点在（3）3Dentity中深度值的分布是紧密的，其在对应成像平面的3Dentity投影片段内各个像素点的视GCPs3Dentity3DentityGCPs点，我们则以GCPsRANSANC（GCPs平面。GCPs3Dentity投影片段内每个高阶平滑性约束：为了能够更加真的描述具有复杂空间几何特征物体的深度，我们提出了基于联合二阶平滑因子（JointSecondOrder方法在Middleburystereo4所示。可以看出，我们的方4.18%。尤其是对于Tsukuba0.74%2.4Middlebury方式和获取方式的互补特点之后提出了一个能够通过融色相机信息和通过纹理约束条件将该区域内每个像素点的深度值限制在由深度传感器所获得modelMPTL）MPTL定与纹理图像的颜色变化边缘对齐，并表示三中被拍摄物体的实际边缘，3D重建的结果。2.43D（3）提出了面向多角度、多时态下序列的深度图获取算法。针对含有动态场景的双目图像序列我们提出了基于自适应时域信息约束的序列自适应时域预测深度约束(AdaptiveTemporalPredictedDepthConstraint)：该构建基于光照一致性约束和场景片段分割的随机场优化模型分别计算当前视点第ti帧之间的预测深度图（PredictedDepthMap，该预测深度图可以看作是基于第i帧深度信息对当前帧中各个像素点深度值的先验预测应时域预测深度图（AdaptiveTemporalPredictedDepthmap，ATPDmap，并将tt帧的深度图帧间。。时域片段分割置信度约束(TemporalSegmentConfidence，TSC)：该约束条此外，由于已知前i帧图像的深度和纹理信息，因此我们首先采用基于三角面片刨分的方法分别对前i帧图像进行基于深度信息的图像分割。由于该方法引入了之间出现较大的深度值跳变但所有分割片段内相邻像间的深度值分布则认为是紧密而有平滑变化的不同帧图像上的各个片段视作空间中的三维物t帧任意相邻像素(𝑝和𝑞)i帧中的光流匹配像素点(𝑝0和𝑞0)是否属于同一个片段的情况推断出𝑝和𝑞在第t性的同时，也保证了相邻像素间深度变化的平滑性方法与其它方法的实2.5所示。。2.5book28课题组在相关技术方向的主 有Z.Li,K.Wang,W.Zuo,D.Meng,L.Zhang.Detail-preservingandContent-awareVariationalMulti-viewStereoReconstruction.IEEETransactiononimageprocessing25(2),2016.(SCI)Z.Li,K.Wang,D.Meng,C.Xu.Multi-viewStereoviaDepthMapFusion:ACoordinateDecentOptimizationMethod. puting.vol.178,46-61,Z.Li,K.Wang,W.Jia,H.-C.Chen,W.Zuo,D.Meng,M.Sun.MultiviewStereoandSilhouetteFusionviaMinimizingGeneralizedReprojectionError.Imageandvisioncomputing.33(1):1-14,2015.(SCI)JingLiu,ChunpengLi,FengMei,ZhaoqiWang.3Dentity-basedstereomatchingwithgroundcontrolpointsandjointsecond-ordersmoothnessprior[J].TheVisualComputer.2015,31(9):1253-1269.（SCI）JingLiu,ChunpengLi,XuefengFan,ZhaoqiWang.Reliabilityfusionofmatchinganddepthsensorforhighqualitydensedepthmaps[J].Sensors.2015(15):20894-20924(SCI), ,.基于RGB-D深度相机的室内场景重建方法[J].中,图象图形学报.2015,20(10):1366-,,权,.基于联合双边滤波的深度图像增强算[J].计算机工程2014,40(3):249-奥视佳（OTHKA）机运动控制系、该系统是针对影视特效、创意短片、商业MV特效拍摄所研制的一种机的运动进行精确控制，在一个由计算机控制机移动的环境里，位于摄、可以导入虚拟软件中使现实世界和虚拟世界的机运动轨迹完全统一通过该914.5m10m1mm。支持多种特技拍摄功能，例如CG合成等。图2.6机运动控制系统及在影视拍摄中的应双目RGB及消费级深度头的高精度深度图像获取设备针对现有深 头获取精度不高的问题结合基于立体匹配的获取度信息方法，设计开发了基于双目RGB头及消费级深度头的深度图获Xtion相机信息而获取高精度深度图的方法与传统基于主动获取方式和获取方式20%。可以从任意角度全方位的观察产品。与现有、文字和等介绍产品的方法驻留时间，进一步提升转化率。更重要的是，作为一种新的产品展示，如同动态“展示”相对于静态“展示”所带来的技术进步一样，三维展示服务必定能成为未来电子商务展示的有力。为了实现对产品的自由视点展示设计并开发了一个静态多视点图像系统。该系统由8~12台图像单元组成，通过可调整轨道固定在圆周上，被拍摄物体放置在一个可以同步控制的转盘上。系统中的12台图像单元利用无线同步设备进行同步控制，当转盘每转动一定的角度时（8-12度之间，相机自动进行拍照。拍照后，根据安装时对机标定的信息进行图像矫正，即可得到2.7面向影视创作领域，项目申请单位与中影数字制作有着长期合作。中影数字制作占地800亩、建筑面积15万平方米，共分为12个区域，拥有建筑面积达4万多平方米的大型摄影棚区并建有不同规模的符合同期标准的、具备冷暖风功能的摄影棚16个，其中包括一个面积居世界第一的5000平方米的超大摄影棚。整个所有摄影棚均依照国际拍摄搭建，具备最先进的摄影照明器材、同期设备，具备年生产80部故事片、200部电视、500集电视剧的制作能力。的拍摄设备既包含进口设备，如MovieTech升降车+摇臂、爱Plus型摄影机、灯具、Dolly车摩尔蜗牛灯天蝎迷你头等等也包含自主研发的设备，如灯腿推车、多头灯及推车、魔术腿推车、减震移动车等等。中影数字制作为本项目成果的示范应用工作的能力和条件同时能够在范围内起国自动化等单位有着长期的合作中国西安光学精密机械研究所（简称：西安光机所）创建于1962年，在西北地区最大的研用基础研究为主的综合性科研型中国自动化信息与自动化领域骨干，以智能信息处理、复杂系统与智能控制为主要研究2012-2014年期间，课题组与中国西安光学精密机械、中国自动化研究所等单位联合承担了国家高技术研究发展计划项目“3D内容视觉获取技术及设知识的便携可计算3D获取设备。该设备不受室内外光线成分变化的影响，25、人员4人中级技术2人工程师4人15人团队结构合理、能力。项目人员简介如下：、李研究李研究员1989年获计算所计算机应用专业博士，并获中国首届院长奖学金优秀奖；1989年至1990年在捷克人工智能国际实获中国计算技术奖教金。自1991年以来先后担任计算所CAD开放副Motorola—NCIC联合副；数字化技术研究室副、；市科学技术委2005年获“中国科技副职先进个人”称号。目前担任计算所书记、副，移动计算与新型终端市,兼任前瞻研究，计算所职代会和工会。863，处理系统”技术总体组副组长、国家科技发展“十五计划和2015年远景规划”技术总体组顾问等工作。现任市自然科学基金副会长标准化技术委员中国计算机学会虚拟现实与可视化技术专业委员，，《计算机研究与发展》副主编《计算机辅助设计与图形学学报》编辑委员，计算所学术委员、 ，从1986年开始，作为项目或主要成员先后承担了多项国家973、863部国际科技合作项目的研究任务。先后获得国家科技进步二等奖一次市科学技术一等奖两次，科技进步二等奖一次，自然科学二等奖两次、三等奖一次以及国家863计划智能计算机系统先进个人一等奖和政府特殊津贴等。1998863计划信息领域重点项目“手持个人计算机(HPC)集成及验收综合评分为A；2000年主持完成了国家863计A；1996年至2000年主持完成了“九五”国家科技攻关项目“自然人机接术”——“集成平台与基于的VR加速卡”专题；2001年至2005年主持完成了国家863计划重点项目“智能化网络终端系统”及其滚动支持项目，验收综合评分为A。20052007年主持完成了科技部国际科技合作项目“虚拟体育A。目前主持的在研项目主要有973项目等。，主要研究领域为多技术、普适计算技术和虚拟现实技术，32项专利获得，著作2部，学术 生34名、20名，正在培养的博士生12名、生5名。了多项研究成果。已申请5项专利，3项软件著作权；学术30余篇。作为项目承担了国家自然科学基金青年科学基金项目“面向虚拟维，的行为建模方法研究”(2010/01-2012/12)装备项“DELMIA平台下维修过程仿真与分析系统，中国空间技术项目“空间站视景仿真分析”,相关成果已经实际应用于产品设计和分析，中国国防创新基金项目，，、虚拟系统研究”、虚拟现实的基础理论、算法及其实现”(973项目)子课题“虚拟人合成技术研究”“基于三维运动仿真与分析的计算机辅助运动系统等项目（市科技计划项目。参加了国家高技术研究发展计划(863计划)项动漫特技拍摄与制作系统研发及应用参与了酒泉发射中心项目“基于虚拟现实技术的航天测试发射仿真训练系统，并获科技进步二等奖（个人6、训练的三维运动模拟与分析系统”获2006年市科学技术进步一等奖（个人第七。作为项目承担了国家自然科学基金项目“任务级虚（2007.1-2009.12（2008.7-目子课题“基于MULTI-GPU的海量数据并行可视化软件包的研制”(2009.9-在运动合成富的研究成果，学 30多篇1998年于浙江大学获得学士，2001年于浙江大学获得；2001副研究员；2009年以“基于样本的服装动画方法”为题完成博士，于院获得博士，导师：研究员。曾作为项目承担自然科学基金青年基金项“面向大规模人群应急疏同关系学习算法的研究“基于多样本融合的个性化真虚拟人实时建模方法研863大规模群体绘制等方面积累了一定经验，30余篇，获市科技进步奖1项（八，发明人专利7项。博士，助理研究员。20007月毕业于合肥工业大学，获工学学士。2008年毕业于中国计算技术研究，获工学博士。现任中国计算技术研究虚拟现实技术助理研究员，主要研究运动分析与仿真。曾作为主要骨干参与国家科技攻关项“面向体育训练的三维运动模拟与分析系统，国家863项目“虚拟环境中基于物理特性的虚拟角色运动行，项目“基于三维运动仿真与分析的计算机辅助运动系统及示范应用，在运动捕获、分析与仿真方面积累了一定经验。8篇，申请技术4博士，现任中国计算技术助理研究员。中国计算机学会会员，科研骨干参与863计算所“优秀奖“世博科技先进集体奖（2010）等，目前已81项，已获国家软件著作权登记五项。博士，助理研究员。2001年毕业于首都师范大学计算机系，2011年毕业于中国计算技术，获得博士。研究方向：计算机视觉。大学计算机科学与技术学院讲师洛阳信息院虚拟现实助理研频分析算法研发“基于分析的人流密度统计和场景下目标的检测及分类”等多项计算机视觉相关项目研发，参与“多PTZ相机协同智能系得多项成果并发表在IEEETransactionsonImageProcessingInternationalConferenceonPatternRecognition等国际期与会议上。总体目标：面向文化创意等产业应用，针对VR内容制作环节的需求，突破VR内容获取与生成表示与压缩合成与显示三大关键技术研发VR内容获取装备，开发VR内容分析与合成软件系统，搭建VR内容模化VR内容运营的服务能力。3.120168-12路多视点装置项国际国内学 22017搭建具有实用性的技术服完成整个平台的测试验证2学术2完成网络领域的示范完成展览展示领域的示范形成规模化服务2家合作单位开展自由视点应用服务提品和技术支撑；形成支持万人规模用户同时、项目预期成果主要包括关键技术、软硬件系统及示范应用四个层、际国内学术51搭建性能稳定的8-12路多视点装置实现动态场景自由视点的多视点图象同步，分辨率支持1080p及其以上，同步误差小于秒，景深大于0.5m，范围2.5米直径及2.5米高自由视点生成技术指标：分辨率支持1080p及其以上，模型重1mm30Hz以上；在软硬件系统层面，研制一套稀疏视点多源内容获取装置，开发一套自由视点分析与合成系统，国内发明专利申请并受理项目2项。在层面，将搭建一套面向实际应用的自由视点服务云平台，支持万人规模用户同时虚拟现实体验。在示范应用层面，将面向展览展示、网络等行业开展示范应用，为不少于2家合作单位开展自由视点应用服务提品和技术支撑。20164月工信部发布我国虚拟现实产业首个白皮书《虚拟现实产业发展白皮书。该白皮书中明确“在内容方面，虚拟现实的大规模普及应用需要项目预期将开发一套用于自由视点获取装备及自由视点合成方法，能有效弥补传统2D展示方法只能观察的缺陷，通过视角的自由变换和作和操作方法在激发学生学习的同时能有效避免在教学中存在的信息传递和服务规模的提升，实现技术的。；重建与虚拟视点合成以及云架构四个方面信息获取装置主要针对多视点不同类型的动态数据进行深度信息重建主要是对的信息进行处拟视点下的图象，实现自由视点观察云架构主要是研究如何满足；获取多个视点场景二维信息是实现自由视点合成的基础与前提为了降低对视点数量的要求，需要使信息尽可能满足以下两方面要求：首先，单个视点的信息具有较高的“质量，可以从中准确恢复出该视点下场景深度信息；其次，多个视点的信息应足够同步，从而使得各个视点信息是针对同一时刻场景的。为此，需要研究不同类型信号装置、多视点信息的同步装置以及为了满足多视点信息的高速体系结构。深度图是刻画三维场景的有效而高精度深度图则是实现虚拟视点图像合成的关键。本项目以多深度及多视点同步平台为基础，充分利用主动获取技术和获取技术的互补特点，研究面向动态场景的高精度深度图获取方法当前的深度信息恢复方法主要包括利用基于双目视觉的获取技术和基于红外结构光的主动获取技术获取技术能够在纹理丰富区域和边界区域得等因素的影响。为提高3D内容数据的精度，研究结合主动和技术的多信息时域相邻帧之间深度值变化的连续性和一致性动态场景下的应用需求。因此需要面向动态场景序列的深度图获取方法在已获得各帧初始深度图的行优化处理，加强序列深度图在时域上深度值变化的连续性和一致性。场景和的三维重建方法。，作为三维场景中的要素，具有高动态特征真的姿态和运动能极大地增强虚拟视点图象合成的真性研究基于多视角捕获姿态图像数据重建静态表面3D几何模型的方法；研究基于运动的时空连续性来获取人，自由视点应用需要满足规模化用户的体验，其对、传输以及多显示终端的自由视点处理与合成平台实现规模化用户沉浸式体验的提出面向动态场景的多视点多源信息同步装置，一方面通过度的同步装置不同视点下的信息从而实现对动态场景信息获取另一方面，提出结合基于双目视觉的获取技术、基于红外结构光的主动获取提出面向多用户体验的自由视点服务云平台架构。该架过GPU并行计算、云以及分布式计算等加速处理过程，满足多用户同时体验的要求。阶段拟采用基于多源信息稀疏视点方案，通过RGB彩色图像、红外图像等多源信息来提升单个视点图像质量，从而降低对视点数量的需求，同时拟采用基于总线的同步控制方案，使得图像单元同步工作，度图生成方案，通过融像、红外图像以及轮廓结构信息来获得度深自由视点效果。此外，为了实现自由视点的体验，还需要提升系统的计算效率。为此，拟采用三层加速体系：GPU加速从层对图像深度信息融5.1装置由一系列设备组成，为了降低视点的数量，需要尽可能提高单个视点质量，为此结合主动和技术的优势设计单个单元。此外，为了能够适应高动态场景下晰度的自由视点应用，需要设计开发多个单元的同步控制、高速以及相机标定方案系统设计方案。每个单元由1~2台RGB头和1台IR头组成，1~2组单元构成单个视点单元，8~12组视点单元构成整个系统。其中，RGB头拟采用Sentech型号为STC-CMC4MCL的头，IR头拟采用Sentech型号为STC-CMB4MCL的头，IR光源采用无结构的静态光源合理分布在空间周围。通过合理设计视点单元的位置，使整个系统的空间不小于3米的直径和2.5米的高度。系统支持2048*2048分辨率30Hz以上的动态同步控制方案。对于少数设备，通过软件方式可以实现同步控制。软100微秒，但其灵活性较差，一般其只提供上层接口，只能实现设备的同时刻，不能任意安排时刻，如实现时间交织的间插等目前国际上已有面向大规模场景设备的同步控制器硬件产品，但这些硬件存在两个方面的不足：一是要么用于机的控制，要么用于光源设备的