传媒行业Vidu-国内AI视频生成模型新突破

正文目录Vidu：国内视频生成模型新突破 3明星创业公司，中国视频大模型重大突破 3团队核心成员来自清华团队，已实现三轮融资 3多模态布局，涵盖图片、视频、3D等领域 4视频模型横向比较：Vidu快速进化，与Sora差距不断缩小 5Vidu模型：U-ViT，多模态、效果好、成本低 9理论端：自诞生后，CV与NLP再无阻隔 9应用端：U-ViT架构受U-Net启发，为图像生成而来 10结构：向U-NeT拜师学艺，换下CNN、换上Transformer，为图像生成而来 10结果：质量与U-Net不分伯仲，成本优势大幅领先 12投资建议 15预计文生视频将对影视、营销与游戏行业产生较大影响 15投资逻辑：沿“素材库”与“大模型”两条主线布局 15主线一：AI视频大模型依赖多样化训练数据，高质量视频素材库价值凸显 15主线二：AI大模型，助力应用场景发展 17风险提示 20Vidu：国内AI视频生成模型新突破明星创业公司，中国视频大模型重大突破427清华大学发布了中国首个长时长、高一致性、高动态性视频大模型，其采用了团队原创的DiffusionTransformer161080P力，可以模拟真实物理世界中细节复杂且符合物理规律的场景，例如合理的光影效果、细（图表1：Vidu官方演示视频之一，能够拟真实世界的物理特性 图表2：Vidu官方演示视频之“戴珍珠环的猫”，想象力较高 注：Prompt“画室里的一艘船驶向镜头”资料来源：PixWeaver，

注：Prompt“这是一只蓝眼睛的橙色猫的肖像，慢慢地旋转，灵感来自维米尔的《戴珍珠耳环的女孩》，画面上戴着珍珠耳环，棕色头发像荷兰帽一样，黑色背景，工作室灯光”资料来源：PixWeaver，团队核心成员来自清华团队，已实现三轮融资2023年6月，公司宣布完成近亿元人民币的天使轮融资，由蚂蚁集团领投，BV百度风投、20238月完成了数千万元人民币的天使+轮融20243AI、BV百度风投、锦秋基金等机构。图表3：生数科技已进行三轮融资序号日期融资额轮次估值投资方12024/3/12数亿人民币A轮-启明创投锦秋基金智谱AIBV百度风投卓源亚洲22023/8/10数千万人民币天使+-锦秋基金32023/6/19近亿人民币天使轮1亿美元蚂蚁集团BV百度风投卓源亚洲卓源资本资料来源：证券时报，核心团队来源于清华大学人工智能团队，首席科学家为清华人工智能研究院副院长朱军。202336IEEEFellowCEOTHUNLPU-ViTUniDiffuser，其均为人工智能和扩散模型领域有着深厚研究的专家，此外还汇集了来自阿里、腾讯、字节等知名科技公司的顶尖人才。公司团队致力于贝叶斯机器学习的理论和算法研究，是国际上较早研究深度概率生成模型的团队之一。工作主要面向针对深度生成式模型的骨干网络、高速采样、可控生成、大模型训练等全栈底层原创研发。生数科技团队在ICML、NeurIPS、ICLR等计算机顶刊发了20多篇相关论文，扩散模型是团队的主要发力阵地。先后提出的采样算法Analytic-DPM、DPM-Solver等成果，被DALL·E、StableDiffusion等应用。图表4：生数科技在通用架构、高速采样和多模型训练等领域均有较大技术积淀领域 论文名称通用架构 AllareWorthWords:AViTBackboneforDiffusionModels(CVPR2023)UniDiffuser:OneTransformerFitsAllDistributionsinMulti-ModalDiffusionatScale(ICML2023)高速采样 Analytic-DPM:anAnalyticEstimateoftheOptimalReverseVarianceinDiffusionProbabilisticModels(ICLR2022)DPM-Solver:AFastODESolverforDiffusionProbabilisticModelSamplinginAround10Steps(NeurIPS2022)EstimatingtheOptimalCovariancewithImperfectMeaninDiffusionProbabilisticModels(ICML2022)DPM-Solver-v3:ImprovedDiffusionODESolverwithEmpiricalModelStatistics(NeurIPS2023)高效训练 Memoryefficientoptimizerswith4-bitstatesTrainingTransformerswith4-bitIntegersTowardsAcceleratedModelTrainingviaBayesianDataSelection可控生成 ACloserLookatParameter-EfficientTuninginDiffusionModelsEGSDE:UnpairedImage-to-ImageTranslationviaEnergy-GuidedStochasticDifferentialEquations(NeurIPS2022)EquivariantEnergy-GuidedSDEforInverseMolecularDesign(ICLR2023)多模态训练 ProlificDreamer:High-FidelityandDiverseText-to-3DGenerationwithVariationalScoreDistillation(NeurIPS2023)ControlVideo:ConditionalControlforOne-shotText-drivenVideoEditingandBeyond强化学习 ContrastiveEnergyPredictionforExactEnergy-GuidedDiffusionSamplinginOfflineReinforcementLearning(ICML2023)Offlinereinforcementlearningviahigh-fidelitygenerativebehaviormodeling基础理论 ImprovedTechniquesforMaximumLikelihoodEstimationforDiffusionODEs(ICML2023)RobustClassificationviaaSingleDiffusionModelDiffusionmodelsandsemi-supervisedlearnersbenefitmutuallywithfewlabels(NeurIPS2023)注：截止于2024年4月29日资料来源：北京生数科技官网，多模态布局，涵盖图片、视频、3D等领域公司的多模态大模型为全栈自研，能够融合文本、图像、3D、视频等多模态信息3DCVNLP，使得多模态成为可能。图表5：北京生数科技的生物体、静态文图还原度较高 图表6：北京生数科技的风景文生图还原较高 资料来源：PixWeaver， 资料来源：PixWeaver，图表7：北京生数科技的3D模型生成资料来源：VoxCraft，视频模型横向比较：Vidu快速进化，与Sora差距不断缩小Vidu生成结果的动作幅度、画面一致性均处于国内领先水准。Vidu目前已经ViduVidu的特点表现在：1.2.U-ViT模型架构（其优势将在下一章节详述。图表8：Vidu领跑国内的文生视频模型是否已经底层模型结构国家公司名称动作幅度一致性是否开源推出时间底层模型结构对公众开放是否开源中国上海人工智能实验室书生·筑梦低中高否20242否AnimateDiff是中国超讯通信Etna中中高否20243否基于DiT否中国字节跳动Dreamina中高低否20243是，内测可能基于MagicVideo是中国商汤科技///否20244否/否中国北京数科Vidu中高中高否20244是，内测基于U-ViT是资料来源：各公司官网，Vidu推出GenGen216Vidu一并位列第二，仅Sora60秒钟。202414Pika、Runway38秒，416427日中关村ViduSora差距将越来越小。商业8-95美元月不等。图表9：目前文生视频的定价整体较高，Vidu的视频生产时长仅次于Sora团队文生视频推出时间收费可生成时长Runway2023年6月免费版每天可生成5个视频；付费版定价15-95美元/月4-16秒Pika2023年11月免费版每天可生成15个视频；付费版定价8-58美元/月3-7秒Sora2024年2月未开放最长60秒Dreamina2024年3月免费版每天可生成5个视频；付费版69人民币/月起3-9秒Vidu2024年4月未开放最长16秒资料来源：各公司官网，Runway，Vidu生成视频的运动幅度更大Sora外，目前文图生视频较难做到Sora在视频生成中领先较多，Sora外，Vidu在保证了时空一致性的前提下运动幅度较大。图表10：Sora演示视频的开始部分 图表11：Sora演示视频首尾差异较大，频运动幅度领先资料来源：Sora， 资料来源：Sora，图表12：Vidu官方演示视频的开始部分 图表13：Vidu官方演示视频结束部分，物体变化资料来源：PixWeaver， 资料来源：PixWeaver，图表14：用Runway制作的视频开始部分 图表15：视频结束部分，画面从其侧面转正面，运动幅度较小注：将运动幅度参数调至10（最大）资料来源：Runway，

注：将运动幅度参数调至10（最大）资料来源：Runway，Sora1920X10801080X1920间以任意尺寸进行生成，其余头部文生视频模型均为固定比例生成。就分辨率而言，Vidu1080p输出的端到端模型，在同业中处于第一梯队。图表16：Vidu生成分辨率属于第一梯队团队Runway生成尺寸固定比例，可生成720p/2K每秒帧数24其他插帧/端到端Pika固定比例，最高1024x576，帧速度8帧/秒8-24插帧Sora1920X1080与1080X1920之间任意尺寸/端到端Dreamina固定比例//Vidu固定比例，最高1080p/端到端资料来源：各公司官网，ViduAISoraVidu贯一致性。图表17：Vidu多镜头视角的视频生成的一部分 图表18：Vidu多镜头视角的视频生成第部分，衔接自然 注：Prompt“在一个古色古香的海边小屋里，阳光沐浴着房间，镜头缓慢过渡到一个阳台，俯瞰着宁静的大海，最后镜头定格在漂浮着大海、帆船和倒影般的云彩。”资料来源：PixWeaver，

注：Prompt“在一个古色古香的海边小屋里，阳光沐浴着房间，镜头缓慢过渡到一个阳台，俯瞰着宁静的大海，最后镜头定格在漂浮着大海、帆船和倒影般的云彩。”资料来源：PixWeaver，图表19：相同Prompt，Runway生成的18秒视频首帧 图表20：Runway生成的18秒视频首尾画面风格差异较大注：Prompt“在一个古色古香的海边小屋里，阳光沐浴着房间，镜头缓慢过渡到一个阳台，俯瞰着宁静的大海，最后镜头定格在漂浮着大海、帆船和倒影般的云彩。”资料来源：Runway，

注：Prompt“在一个古色古香的海边小屋里，阳光沐浴着房间，镜头缓慢过渡到一个阳台，俯瞰着宁静的大海，最后镜头定格在漂浮着大海、帆船和倒影般的云彩。”资料来源：Runway，Vidu模型：U-ViT，多模态、效果好、成本低理论端：自ViT诞生后，CV与NLP再无阻隔ViT（VisionTransformers）为谷歌团队2020年提出，是视觉领域中首个完全基于TransformerCNN相当、打通了视觉领域（CV）与自然语言处理（NLP）两大领域。TransformerGoogleBrain2020年发表在Arxiv的论文“AnImageisWorth16x16Words:TransformersforImageRecognitionatScale”CNN代CNNCNNT的创新在于其完全抛弃了CNN，TransformerCVNLP连接起来。取得了与CNNCNN理想。的提出，表明经过大量数据TransformerCVNLP领域的壁垒Transformer为底层架构的模型在多模态领域中的障碍越发减少。图表21：在对图片进行遮掩、偏移、对抗和重新组合中，ViT效果胜过CNN资料来源：aseerMM,RanasingheK,KhanSH,etal.Intriguingpropertiesofvisiontransformers[J].AdvancesinNeuralInformationProcessingSystems,2021,34:23296-23308.，图表22：图像分类任务中，目前表现最好的模型OmniVec基于ViT架构注：数据集为ImageNet，截止2024年4月29日资料来源：paperwithcode，图表23：ViT基础架构流程图，演示图片如何被Tranformer模型分类或回归资料来源：DosovitskiyA,BeyerL,KolesnikovA,etal.Animageisworth16x16words:Transformersforimagerecognitionatscale[J].arXivpreprintarXiv:2010.11929,2020.，华泰研究应用端：U-ViT架构受U-Net启发，为图像生成而来结构：向U-NeT拜师学艺，换下CNN、换上Transformer，为图像生成而来U-ViTCNNU-NetU-net2015U-Net:ConvolutionalNetworksforBiomedicalImageSegmentation次提出的，其在生物医学图像分割领域取得了显著的效果，并因此被广泛应用于各种图像UCNN的U-具有一组下采样（downsampling）块和一组上采样（upsampling）块，且以长跳跃连接（longskipconnection）贯穿整个网络。其中，长跳跃连接有助于解决CNN在处理图像分割等任务时可能出现的信息丢失问题，也是随后U-Net重点借鉴的部分。图表24：U-Net组织图，其使用Encoder-Decoder结构、以CNN作为主干，用跳跃连接解决了由于下采样所丢失掉的细节损失注：蓝/白色框表示特征图；蓝色箭头表示3x3卷积，用于特征提取；灰色箭头表示跳跃连接，用于特征融合；红色箭头表示池化，用于降低维度；绿色箭头表示上采样，用于恢复维度；青色箭头表示1x1卷积，用于输出结果资料来源：RonnebergerO,FischerP,BroxT.U-net:Convolutionalnetworksforbiomedicalimagesegmentation[C]//Medicalimagecomputingandcomputer-assistedintervention–MICCAI2015:18thinternationalconference,Munich,Germany,October5-9,2015,proceedings,partIII18.SpringerInternationalPublishing,2015:234-241.，U-ViTDiffusion生成图像。CNNTransformer取代的重要一枪2022年9月提出了U-T，其早于a采用的T（fsrfmr，是全球首个将DiffusionTransformer融合的知名架构。U-ViTU-NetCNNTransformer（分割为pon后通EmbeddingTransformerBlocktoken，并通过一个线性层转3X3卷积层输出为最终结果：Transformers的设计理念，U-ViT将包括时间、条件和噪声图像在内的所有输入token。U-ViT、ctokenTransformerBlock。U-Net，U-ViTTransformer的浅层和深层之间采用长跳转连接，总数量为(#Blocks-1)/2。长跳跃连接允许模型在处理数据时跳过某些层，从而帮助模型在深层网络中更有效地传递信息、避免了在训练深层网络时可能出现的梯度消失或爆炸问题。通过长也证明了在基于扩散的图像建模中，CNN中的下采样和上采样并非必须。3）3×3卷积块用以增加图片输出质量。U-ViT在输出之前添加了一个可选、而3×3卷积块以获得更好的视觉质量。图表25：U-ViT结构图，核心取代了U-Net的CNN部分，并重点强调了长跳转连接的重要性资料来源：BaoF,NieS,XueK,etal.Allareworthwords，图表26：U-ViT中加入长跳转连接的FID普遍高于未加入的模型 图表27：在线性层后选择性加入3×3卷积块能提高图片生成质量 注：（1）-（5）为加入长跳转连接的四种方法，以（1）为最优；FID即生成图像与真实图像的特征分布越接近，下同资料来源：BaoF,NieS,XueK,etal.Allareworthwords:Avitbackbonefordiffusionmodels[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2023:22669-22679.，

资料来源：BaoF,NieS,XueK,etal.Allareworthwords:Avitbackbonefordiffusionmodels[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2023:22669-22679.，结果：质量与U-Net不分伯仲，成本优势大幅领先U-ViT在大部分测试中与U-Net旗鼓相当，但其成本优势大幅领先：对于无条件学习（ctnlrnng：团队使用包含K训练图像的0和162770CelebA64×64U-ViTU-NetGenViT。对于类条件学习（cssctoleig：团队使用了mt中分辨率为×64256×256512×5121K个训练图U-ViTU-Net256×256FID。图表28：在ImageNet256×256中，基于U-ViT的最优模型超越了基于U-Net的最优模型资料来源：BaoF,NieS,XueK,etal.Allareworthwords:Avitbackbonefordiffusionmodels[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2023:22669-22679.，256×25640504个验证图像，每张图片都有5个图像标注。U-ViT在ms-coco256x256U-Net，并随着模型层数增加、FID值越发减少。图表29：在文生图领域中的MS-COCO数据集中，U-ViT领先于U-Net注：U-ViT-S/2(Deep)17U-ViT-S/24层资料来源：BaoF,NieS,XueK,etal.Allareworthwords:Avitbackbonefordiffusionmodels[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2023:22669-22679.，图表30：在文生图领域中的MS-COCO数据集中，U-ViT与U-Net生成图片的质量差异资料来源：BaoF,NieS,XueK,etal.Allareworthwords:Avitbackbonefordiffusionmodels[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2023:22669-22679.，U-Net在参数量和训练成本相似的情况下，U-ViT的表现较佳。在无分类器引导的情况下，U-ViTU-Net。在无分类器引导的情况下，U-ViTFID6.58，U-NetFID10.690.4FIDFIDU-NetFIDU-Net架构的训练成本较低。图表31：在参数数量和计算成本（不含无分类器指导）相似的情况下，U-ViT成本优势大幅领先U-Net资料来源：BaoF,NieS,XueK,etal.Allareworthwords:Avitbackbonefordiffusionmodels[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2023:22669-22679.，图表32：ViT架构的训练天数仅为基于CNN的ResNet模型的三分之一资料来源：DosovitskiyA,BeyerL,KolesnikovA,etal.Animageisworth16x16words:Transformersforimagerecognitionatscale[J].arXivpreprintarXiv:2010.11929,2020.，华泰研究投资建议预计文生视频将对影视、营销与游戏行业产生较大影响文生视频可通过提示词生成完整且有逻辑的视频，为创作者提供低成本、高效率的创作方在时间上，也将大幅缩短影视拍摄的流程。让非专业团队也能够生产出专业水准的视频内生成广告宣传视频及商品演示视频，大幅降低广告相关内容的制作成本及时间，预计有望取代低创造性、可复制的视频内容，小规模且缺乏创意人才的广告公司预计面临压力。2）游戏：文生视频可被应用于游戏角色创立，场景开发等过程。一定程度上看，游戏也是虚拟世界的一种体现，其对于物理世界的理解和模拟可以与游戏场景开发高度适配，可以帮助游戏开发者创立角色或背景故事。以Sora为例，其官方技术报告中指出，Sora能够模拟如视频游戏的数字化过程，根据官方视频演示，其能在控制《Minecraft》游戏角色进行基本操作的同时，高质量动态渲染游戏世界。可以预见，未来文生视频模型可能被应用生成游戏动画和场景等，增加游戏情感故事背景提高可玩性，游戏开发者的成本将被降低。投资逻辑：沿“素材库”与“大模型”两条主线布局AISoraLlama3KimiAI2）AI大模型助力应用场景发展。我们推荐：昆仑万维、光线传媒、捷成股份、值得买。其他产业链标的包括华策影视、中文在线、中广天择、掌阅科技等。主线一：AI视频大模型依赖多样化训练数据，高质量视频素材库价值凸显多模态大模型的进化依赖于大量多样化的训练数据持续投喂。从海外来看，ShutterstockShutterstock官网，其与OpenAI在22年10月签署六年合作协议，允许OpenAI在合作期间使用ShutterstockAI7月二者进一步扩大合作，OpenAI3202.5/语料素材库的价值有望放大。捷成股份：拥有国内最大的影视版权库，集版权采购、数字分销、内容运营于一身23容运营商，公司集版权采购、数字分销、内容运营于一身，携手国内外千余家出品公司，10体渠道进行数字化发行，全面覆盖数字电视、OTT、IPTV、电脑、平板、手机、户外流媒AIGC相关技术将大大提升公司影视剧拍摄及相关影视内容二次创作效率，提升公司版权的多渠道、多模态运营价值。光线传媒：中国动画电影制作发行龙头，有望建立自有动画大模型公司拥有彩条屋和光线动画两条业务线推动动画电影的创作、制作，经过多年的积累和成2-3部动画电影的生产能力222IPAI大模型数AI24314日互动易回复，公司对市场上的新业态、新技术始终保持积极关注，正在探讨可行的技术路径，不排除在动画领域建立自己的大模型。华策影视：丰富视频语料,成立AIGC应用研究院232023年完成对森联公司的收购，集聚了国内版权市场较优秀的管理和销售人才，在新媒体运营、新技术探索等领域不断拓展创新业态；影视版权524322AI，236AIGC应用研究院，组建了涵盖艺术指导、产业顾问、技术开发、培训指导等在内的联合工作团队。目前AI应用工具矩阵。中广天择：视频内容生产的领军者，已为万兴科技模型训练提供优质版权数据公司是长沙广电控股的国有文化企业，内容事业部深耕内容领域，以研发和制作纪录片、道，引入多家卫视、省级地面电视台的热门节目，为发行产品注入新力量，全年共交易节目超00余家版权公司达成版权推广、版权发行等合作，通94000经营业绩稳中有进。慈文传媒：电视剧头部公司，积极探索AI与影视文娱业务结合可能IPIP剧集项目。同步推进多元题材类型的项目储备及开发，致力于形成播出一批、制作一批、研发一批的项目梯次，保障精品内容的持续产出，不断巩固公司在头部内容市场的领先地2438用，关注市场需求与发展趋势，积极推进短剧、互动剧等多样化创新产品的合作开发，努力探索人工智能与影视文娱业务结合的可能性。公司及子公司已经开始逐步尝试在自身产品上使用市场上的自动生成图片、文案等相关技术以缩短周期、提升效率的应用。唐德影视：优质IP影视资源储备丰富，高度重视AI技术研发和应用背靠浙江广电，公司影视主营业务持续稳定增长，成功制作并推出了包括电视剧《永不消IP2431AISoraAI文生视频技术平台保持密切关注，积极谋求与有关技术公司开展合作，为大家提供更好的产品和服务。主线二：AI大模型，助力应用场景发展应用接入I大模型（包括文本大模型和多模态大模型场景以及创新商业模式。基于大模型的文本理解及处理能力，有望推动影视内容制作、在线阅读、教育、营销、电商等多场景体验优化、效率提升。值得买：国内头部消费决策平台，推出自研AI购物模型2422823年成立了专门的AIAIGCAIGC型与升级。在应用层面，公司主要围绕内容的识别和生成、智能用户画像和推荐、智能营销策略三个方向开展研究，并在文、图、短视频、直播等领域不断推进产品开发，相应的4年2月9IAgent产品，能通过对话深度理解用户需求，为消费者提供个性化建议。昆仑万维：持续丰富AI业务多元化产品矩阵AI大模型、AI搜索、AI音乐、AI视频、AI社交、AIAI业务矩阵。同时公司以增资等AIAIAIAI音乐是公司当下重点发力方AILinkyAICAI助手后续用户数及下载量的持续增长。中文在线：I赋能P202310AI100万字小说等，赋能初学者和专业作家。此外，公司也在AIAIAIIPAIIP的商业化变现速度。掌阅科技：深耕数字阅读多年，积极通过AI赋能阅读场景公司主营业务为互联网数字阅读平台服务、版权产品等。其旗舰产品为“掌阅”APP。公司通过多年的积累，数字内容资源丰富，品类众多，包括图书、有声读物、杂志、漫画、自出版等多种类型，对优质重磅书始终保持了较高的覆盖比例，能够满足用户各种类别、AIAI能力与阅读场景相融合，23AI2023超讯通信：灵犀妙笔AI再升级，七火山可生成15秒视频APPAI服务，12785AIAI模型优点，共同缔造优质AI3月在其官方公众号中发布，经过深度学习和人工智能领域前沿Etna154K60AI视频最高也只30帧。图表33：Etna官方演示视频画面清晰、辨率较高 图表34：Etna官网显示“即将到来”，测已在路上资料来源：Etna， 资料来源：Etna，世纪天鸿：已推出小鸿助教AI产品，功能丰富K12AI24312日互动易回24322AI+4.0100MB、10PDF、Word、图片、PPT、TXT等，通过对文档的解析分析帮助老师轻松阅读文献、输出内容总结、提炼中心思想、解答文档中问题、根据文档出题并给出答案等功能。I”模式布局引领营销升级AI+AIGC数字工具矩阵，批量化工具类应用已在效果营销业务板块落地，现已应用于金融、网服、电商等行业领域24315AIGC应用工具，公司后续会持续探索文生图、文生文、文生视频等领域的应用发展情况。图表35：重点推荐公司一览表最新收盘价目标价市值(百万)EPS(元)PE(倍)股票名称股票代码投资评级(当地币种)(当地币种)(当地币种)20232024E2025E2026E20232024E2025E2026E昆仑万维300418CH买入38.8750.0947,2271.040.890.910.9437.3843.6742.7141.35捷成股份300182CH买入5.046.1613,4260.2929.6522.9119.3817.38光线传媒300251CH买入9.1413.6026,8130.140.400.430.4665.2922.8521.2619.87资料来源：Bloomberg，预测图表36：重点推荐公司最新观点股票名称 最新观点昆仑万维(300418CH)捷成股份(300182CH)光线传媒(300