魏云超-从3D到4D快速且时空一致的4D内容生成探索

魏云超北京交通大学计算机学院教授、副院长国家高层次人才计划获得者。曾在新加坡国立大学、美国伊利诺伊大学厄巴纳-香槟分校、悉尼科技大学从事研究工作。入选MITTR35China、百度全球高潜力华人青年学者、《澳大利亚人》TOP40RisingStar；获世界互联网大会领先科技奖（2023）、教育部高等学校自然科学奖一等奖（2022）、中国图象图形学学会科技技术奖一等奖（2019）、澳大利亚研究委员会青年研究奖（2019）、IBMC3SR最佳研究奖（2019）、计算机视觉世界杯ImageNet目标检测冠军（2014）及多项CVPR竞赛冠军；发表TPAMI、CVPR等顶级期刊/会议论文100多篇，Google引用超22000多次。目前主要研究方向包括面向非完美数据的视觉感知、多模态数据分析、生成式人工智能等。演讲主题：从3D到4D，快速且时空一致的4D内容生成探索从3D到4D，快速且时空一致的4D内容生成探索魏云超北京交通大学教授4D生成未来展望4D生成未来展望生成式人工智能背景预测式人工智能生成式人工智能OutputInput新数据样本AIModelsAIOutputInput新数据样本AIModelsAIModels条件信息标签形式“dog”蜘蛛侠衣服的小狗。”“dog”3D生成4D生成Zero1232023.34DGen4DGenDiffusion4DVideoCrafterVideoCrafter56生成式人工智能背景2D3D3D生成式人工智能背景scenesasneuralradiancefieldsforviewsynthesis.ECCV2020SIGGRAPH2024生成式人工智能背景PumarolaA,CoronaE,Pons-MollG,etal.D-nerf:NeuralradiancefieldsfordynamicscenesCVPR,20212D生成生成式人工智能RombachR,BlattmannA,LorenzD,etal.High-resolutionimagesynthesiswithlatentCVPR,20222D生成生成式人工智能VideoCrafter（腾讯）ChenH,XiaM,HeY,etal.Videocrafter1:Opendiffusionmodelsforhigh-qualityvideogenerationarXiv:23103D生成式人工智能Liu,Jian,etal."Acomprehensivesurveyon3Dcontentgeneration."arXiv2024.063D生成式人工智能Liu,Jian,etal."Acomprehensivesurveyon3Dcontentgeneration."arXiv2024.063D生成式人工智能Poole,Ben,etal."Dreamfusion:Text-to-3dusing2ddiffusion.“ICL3D生成式人工智能3D生成式人工智能Liu,Jian,etal."Acomprehensivesurveyon3Dcontentgeneration."arXiv2024.063D生成式人工智能Deitke,Matt,etal."Objaverse-xl:Auniverseof10m+3dobjects."NIPS2023.3D生成式人工智能3D生成式人工智能usinglatentvideodiffusion."arXiv3D生成式人工智能Liu,Jian,etal."Acomprehensivesurveyon3Dcontentgeneration."arXiv2024.063D生成式人工智能Hong,Yicong,etal."Lrm:Largereconstructionmodelforsingleimageto3d."ICLR20233D生成式人工智能Tang,Jiaxiang,etal."Lgm:Largemulti-viewgaussianmodelforhigh-resolution3dcontentcreation.“ECCV20243D生成式人工智能Liu,Jian,etal."Acomprehensivesurveyon3Dcontentgeneration."arXiv2024.06从3D生成看4D生成技术路线从3D生成看4D生成技术路线4D生成式人工智能背景4D模型渲染得到一个视角视频->送入视频生成模型评价质量->回传梯度更新4D生成4D生成式人工智能背景细节质量问题身份一致问题4D生成未来展望从3D生成看4D生成技术路线4DGen介绍研究动机Yin,Yuyang*,DejiaXugenerationwithspatial-tempora4DGen介绍研究方法timetimetimetime 4DGen介绍研究方法4DGen介绍4DGen介绍4DGen介绍4DGen介绍4D生成未来展望从3D生成看4D生成技术路线Diffusion4D介绍多视图生成模型可训练锁定迭代优化多视图生成模型可训练锁定迭代优化视频生成模型Diffusion4D介绍多视图生成模型可训练锁定多视图生成模型可训练锁定迭代优化迭代优化视频生成模型Diffusion4D介绍研究动机4D的一致性可以分解成空间一致性和时间一致性空间一致性在多视图生成模型中探索过（下时间一致性在视频生成模型中探索过（下图第三行）统一成一个模型结果更为一致、速度更快Diffusion4D介绍数据集构建Deitke,Matt,etal."Objaverse-xl:Auniverseof10m+3dobjects."NIPS2023.Diffusion4D介绍数据集构建数据集清洗：删除运动程度过小、删除动作超过边界、删除细节质Diffusion4D介绍研究方法总览一阶段微调3D环拍生成模型，得到4D物体环拍的视频生成模型二阶段通过4D重建算法得到4D内容Diffusion4D介绍Diffusion4D介绍图的能力。代表工作有IM-3D(Meta),VideoMV(Alibaba),SV3D(StabilityAI)等。IM-3D:IterativeMultiviewDiffusionandReconVideoMV:ConsistentMulti-ViewGenerationBasedonLargeVideoGenerativeModel.Arxiv2024.03Diffusion4D介绍Diffusion4D介绍阶段可以根据输入运动程度来生成不同结果计算动态视频和静态视频的差值来表示运动程度Diffusion4D介绍用3D扩散模型和4D扩散模型结果一起优化几何，细阶段只采用4D扩散模型结果微调Diffusion4D介绍Diffusion4D介绍Diffusion4D介绍Diffusion4D介绍运动幅度增加运动幅度增加Diffusion4D介绍生成时间生成时间4D-fyAnimate124MAV3DConsistent4D4DGenDiffusion4DDiffusion4D开源链接