基于智能终端的裸眼3D终端技术及3D视频业务发展研究结题汇报报告

中国移动集团级重点研发工程子课题结题汇报报告12/4/2023工程名称：基于智能终端的裸眼3D终端技术及3D视频业务开展研究

一.

课题目标实现情况目录二、主要研究成果1.1研究背景3D视频正在形成流行趋势 3D影视巨制?阿凡达?的大获成功和3D电视等消费电子的迅猛普及，使业内专家和公众不约而同地将2021年定义为“3D消费元年〞，3D消费、3D技术研发以及3D产业整合即将进入一个高速开展的历史时期，3D产业在全球范围也迎来了其第三次产业开展机遇。

裸眼3D技术逐步成熟 一般在欣赏3D视频的同时，需要佩戴一款体验并不好的3D眼镜，随着裸眼3D技术的成熟，用户无需佩戴3D眼眼镜也能欣赏3D视频，因此裸眼3D技术具有很大的便利性，尤其适合等便携终端。各大终端厂商纷纷推出裸眼3D终端产品三星的裸眼3D：SCH-W960Sharp的裸眼3D：SH8158U、SH8168UGalapagos003SH与005SHHTC的裸眼3D:EVO3DLG的裸眼3D:Optimus3DSharp等公司已经开始运营3D视频业务1.1研究意义创立新的视频业务展现形式 视频业务除用流畅操控、优质视频内容来吸引用户外，还可使用创新的展现形式，裸眼3D技术结合了目前最流行的技术，可以给用户带来全新的视频欣赏体验研究和把握前沿的3D技术和开展方向 研究和把握最新的3D技术开展方向，为迎接3D产业的大开展做好技术储藏。增强用户体验和用户黏性 新的视频展现形式，提升了用户对视频的欣赏体验，同时还增强了用户的粘性培育和开展3D内容产业连 目前支持裸眼3D的移动视频业务并不多，尤其在国内还没有出现商用的裸眼3D业务，中国移动视频业务及时引入该技术除增加业务亮点的同时也对3D内容产业链的开展起到一定的推进作用。1.1研究目标研究掌握目前流行的3D视频展现技术，方案和标准 偏色式3D，偏振式3D，快门式3D，裸眼3D研究掌握裸眼3D终端软件、硬件技术 研究支持裸眼3D的终端及其智能操作系统的相关技术研究设计支持3D效果的视频客户端架构 研究支持裸眼3D的视频客户端的开发和实现，为后续实际客户端的开发提供技术参考1.2主要研究内容单位分工内容研究产出负责人研究院裸眼3D终端技术研究，3D视频终端预置方案研究《基于智能终端的裸眼3D终端技术及3D视频业务发展研究报告》终端技术研究部分孟钊1.2研究历程联同视频基地联合分析工程研究目标，与中国移动视频业务的实际情况相结合，确定重点关注的领域。根据双方确认的重点研究领域和方向，梳理研究报告大纲，以及内容分工研究院重点关注移动终端3D技术标准，技术方向和技术方案视频基地重点关注3D视频业务运营，以及与现有视频业务的融合方案需求分析确认研究方向和目标梳理研究报告大纲，确认分工与Sharp，水晶石等公司交流调研3D技术方案与Sandisk，合力迅达等公司交流调研3D高清视频预置技术方案充分调研，把握3D技术方向与动态与视频基地汇总双方的调研报告，形成?基于智能终端的裸眼3D终端技术及3D视频业务开展研究报告?汇总技术调研信息，形成技术报告1.2研究历程－技术调研过程时间：2021年3月调研目的：调研移动终端裸眼3D技术实现方案调研对象：Sharp公司，Sharp在裸眼3D屏幕制造领域处于业界领先地位。调研成果：形成裸眼3D技术分析报告。时间：2021年4月调研目的：3D视频动画制作方案调研对象：水晶石公司，专注于以三维图像为核心的数字媒体技术，并涵盖影视拍摄、互动程序开发、互联网图像应用等多方面技术领域。调研成果：形成3D视频制作技术分析报告。时间：2021年5月调研目的：调研高清视频内容预置方案调研对象：SandDisk公司，SanDisk是闪存卡生产和销售领域的领导者，基于SandDisk的SDcard，该公司推出了完整的视频内容预置方案。调研成果：整理形成JILCard方案技术报告。1.2研究历程－技术调研过程时间：2021年7月调研目标：调研类OMADRM解决方案调研对象：合力迅达，是移动数字版权保护方案提供商和行业领先者，是中国移动音乐基地的合作伙伴。调研成果：形成类OMADRM技术分析报告。时间：2021年8月调研目标：2D转3D软件与硬件解决方案调研对象：无锡景象，是“立体中国〞方案的产业化实体，致力于数字媒体技术的产业化。调研成果：形成2D转3D方案技术分析报告。时间：2021年6月调研目标：2D转3D技术方案，3D视频制作技术调研对象：福丰达，整合先进3D技术和资源，自主研发了2D转3D智能转制系统，拥有一套独特、严密的2D转3D制作流程。调研成果：形成2D转3D方案技术分析报告。1.3目标完成情况——技术创新点融合2D/3D视频客户端概述：基于现有旗舰客户端界面参加3D内容专区，可放在“垂直栏目〞区或“合作伙伴〞专区；3D内容专区参加预置内容子栏目“3D体验区〞，提供内容较新、效果较好的3D视频；播放界面〔包含横竖屏〕增加2D/3D切换功能，便于快速实现两种效果切换。创新点：支持2D/3D视频无缝融合和平滑切换的业务客户端方案较低本钱将3D视频业务融合到现有客户端，并保证了用户体验；预置内容，使用户直观感受3D效果，便于业务推广；基于现有旗舰客户端界面参加3D内容专区，可放在“垂直栏目〞区或“合作伙伴〞专区；播放界面〔包含横竖屏〕增加2D/3D切换功能，便于快速实现两种效果切换。1.3目标完成情况——技术创新点流媒体系统架构图概述：所有视频采用两路摄像设备录制，左右眼视频逻辑上分别存储在不同的媒体效劳器；3D视频整合分发效劳器负责按照不同3D技术，合并形成3D视频流〔裸眼、偏振、红兰、或者直接提供2D视频流〕；流媒体门户接口效劳器负责与不同的终端和3D设备交互设备信息，通知3D视频整合效劳器，制造适宜的流媒体视频源；各种3D终端可以收看符合自己技术的3D视频，2D终端可以收看2D视频。通过更新流媒体效劳器架构，增加流媒体门户节点提出支持2D/3D视频无缝融合和平滑切换的业务方案2D/3D视频格式自适应；2D/3D视频无缝融合，减少资源浪费，和重复建设；方便扩展支持的3D视频制式。1.3目标完成情况——关键技术决策点研究和提出了2项关键技术点的决策建议决策点：2D视频转3D视频方案决策内容：完成对2D转3D各种技术比照调研工作，选择适合目前终端配置和业务运营需要的2D转3D技术方案决策过程：通过与多家厂商的技术交流和调研工作，目前终端的性能无法满足软件2D转3D需求，而专有专换芯片还存在功耗过大，尺寸过大无法在现有移动终端使用等问题。决策结论：经过技术研究，和多方案比照，受限于目前终端的性能以及专业的2D转3D芯片功耗过高问题，终端进行2D转3D方案仍然不成熟，因此目前适合中国移动视频业务开展的2D转3D方案应当采取效劳器预转换的方案，可以保证3D视频的转换效果。决策点：3D高清视频预置方案决策内容：完成高清视频预置方案的比照研究，确定使用类OMADRM方案。决策过程：通过与Sandisk、合力迅达等公司的技术交流与调研工作，发现JILCARD方案的局限性较大必须使用Sandisk的JILCard，而OMADRM有较成熟的实施方案。决策结论：经过技术研究，和多方案比照，JILCard方案局限性较大。因此高清视频的预置方案采用类OMADRM2.0方案，且该方案在中国移动音乐业务中已经有成功的实施案例。1.3目标完成情况——专利申请情况申请相关技术专利2个：视频帧流处理方法、视频服务器及终端设备研究院已经通过集团评审YF1106047

该专利提供了一种新的视频保护方法，对于3D视频效果尤佳。该专利可以在保证现有视频业务架构不发生较大变化的情况下，提供数字版权保护解决方案。该专利为基础的技术专利，适用范围广泛，在满足一般的数字版权保护需求的同时，还可以提供精准时间授权的方案，提高数字版权保护的精确性。对于中国移动推广视频业务具有很大的实用价值。3D立体视频编码传输方法及装置

研究院已经通过集团评审YF1106037该专利提出一种基于CMMB的3D立体视频编码与传输方法，以满足运营商基于移动多媒体广播技术提供3D视频业务的技术需求。本提案基于CMMB标准对3D视频的编解码及传输进行了改进，并且充分考虑到了部分终端不支持3D视频的市场因素，能够适用于大部分终端。创新性较为明显，具有一定市场前景。141.3开题方案完成情况总结联合工程组成立、工程立项讨论1月工程任务分工与时间规划2月工程开题3月联合工程组例会、中期进展讨论6月、8月联合工程组例会、工程结项讨论本课题按照开题既定目标完成研究报告一份，并且超方案输出专利两个研究报告专利计划输出实际完成计划输出实际完成11《基于智能终端的裸眼3D终端技术及3D视频业务发展研究》研究报告终端技术部分02视频帧流处理方法、视频服务器及终端设备立体视频编码传输方法及装置

10月、11月结题评审1.3目标完成情况总结－主要研究领域对以下技术领域或技术方案进行了充分研究和调研，并且形成了详细的技术分析报告。3D视频制作技术立体动画制作立体视频拍摄半自动2D转3D技术3D编码技术双路独立编码方案双拼编码方案联合预测编码方案颜色＋深度编码方案1.3目标完成情况总结－主要研究领域3D显示技术分色技术光分技术时分技术指向光源狭缝光栅柱状棱角视频预置方案类OMADRM2.0方案JILCARD方案

一.课题目标实现情况目录二、主要研究成果2主要研究成果〔目录〕国内外3D视频产业的现状及开展趋势3D视频业界相关的技术方案2.1国内外3D视频产业的现状及开展趋势3D产业开展历程1844年，一位名字叫做D.B的外国人通过一个立体镜拍下了世界上最早的3D照片；1915年，全球首部3D电影?爱的力量?开始制作，于1922年正式公映；1935年，首部彩色3D电影面世；20世纪50年代是3D开展的黄金时期，美国开始出现不少3D电影作品，迪士尼、环球国际、哥伦比亚等片商都开始投资3D电影；20世纪80年代中期，IMAX开始制作首部3D纪实片；2021年，日本有线BS11频道开始播送3D电视节目；2021年12月，耗资5亿美元的电影巨作?阿凡达?3D、3DIMAX等多种版本在全球公映，掀起了全球3D热潮；2021年初在美国CES展会上，包括索尼、三星、松下等国际一线电视厂商纷纷推出3D电视新品；2021年4月，天空传媒开办3D电视频道。2021年6月，ESPN开设新的3D体育频道，南非世界杯成为史上首次进行3D转播的世界杯比赛；。。。从早先的3D电视到如今的3D投影、3D笔记本、3D、3DPAD、3DMP4/MP5、3D数码相机/摄像机、3D数码相框，从需要配戴3D眼镜才能享受到逼真、震撼的3D效果到更为先进的裸眼3D技术，3D产业正以惊人的开展速度影响着人们的生活，相信在不久的将来3D技术会彻底改变人们以往传统的娱乐方式，真正步入全民3D的时代。2.1国内外3D视频产业的现状及开展趋势3D产业国内外开展现状在3D电视产业链中3D内容制作、视频编码与传输、终端显示等各个环节，国外都已进行标准的布局，并为不同的3D实现方式开发专有的技术标准，成立了多个产业联盟，用以推动各自3D技术标准的产业化。目前，国内相关企业和科研院所在3D内容制作、3D编解码技术、3D传输与储存、3D显示终端等方面已经拥有一定产业根底。据了解，我国开展3D技术研究和产品研发的企业已有几十家。在3D标准制定方面，作为行业主管部门，工业和信息化部高度重视标准对产业开展的支持作用，积极指导和推进国内立体电视标准化工作，在?工业和信息化部2021年第一批行业标准制修订方案?中立项了?立体电视图像质量测试方法?行业标准，并积极推进?立体电视术语?国家标准的立项工作。这两项标准对立体电视行业开展具有重要指导意义。SCTE、ATSC探讨3D节目分发标准，在有线及地面数字电视上3D信号的传输，解决发送如1080p/60、3D和双向交互等格式的问题；3-D4YOU工程成员包括BBC、法国电信、飞利浦和汤姆逊，旨在定义3D电视的采集、编码和格式等标准；2021年，我国音视频标委会积极筹建“立体显示标准工作组〞，同时组织国内骨干企业和研究院所，开展立体显示相关的信号编解码、传输方式、接口、图像质量评价、舒适度等标准的研究制定。在3D核心芯片方面，海信TCL、上海华亚等企业已取得一定的成果。天津大学、清华大学、北京大学、南京大学、浙江大学等高校都已开展3D立体显示方面的研究。其中无锡景象数字技术联合清华大学已成功自主研制出“清立方〞立体视频转换芯片，该芯片可实现平面视频高质量的立体转换，集成该芯片的各类立体终端可将普通的平面视频信号实时的转换为立体视频内容。定价远低于国外同类产品。在电视转播方面，美国、英国、俄罗斯、意大利等国各大播送公司已开播3D电视频道或即将开通3D节目效劳，2021年我国电视台也开始进行了一些测试。比方，中央电视台在南非世界杯进行了3D世界杯的台内测试。在3D内容方面，好莱坞各大电影公司都宣布今后主要和重要的影片都将用3D技术拍摄和放映。世界最大的视频网站YouTube提供3D视频效劳。目前国内3D产业依然存在内容资源匮乏的问题，一些下游终端企业与内容效劳商正在积极进行有效的尝试，试图打破3D内容瓶颈的问题。国外厂商包括飞利浦、三星和索尼、TCL、海信、长虹、创维等企业都已推出了3D电视，同时各类3D产品也层出不穷，包括：裸眼3D、3DPAD、3D笔记本、3DS游戏机等。在3D显示技术国际标准制定方面，IEC/TC110列出了未来几年内立体显示技术的标准制定路线图，并开始按方案向前推进。2.1国内外3D视频产业的现状及开展趋势3D产业开展趋势——总体全球3D产业将保持较快的开展速度，但总体上仍将处于开展初期；---总体欧美主导内容市场，东亚主导终端市场的产业格局更趋显性；产业链的横向和纵向整合将成产业开展的重要趋势；以产业标准为主导的产业话语权争夺进一步加剧；3D内容制作技术和显示技术将成为未来3D技术重点的突破路径；存储和传输技术的开展将为立体影视开展带来直接的技术动力；裸眼3D将成为3D产业开展的终极方向；3D产业开展趋势——技术2主要研究成果〔目录〕国内外3D视频产业的现状及开展趋势3D视频业界相关的技术方案2.23D视频业界相关的技术方案——制作立体动画制作立体动画是当前立体市场的主力，三维模型渲染技术〔3DCG〕是目前立体电影制作的主要手段，其特点：与传统CG〔ComputerGraphics〕电影制作流程根本相同；只需要在场景适宜的位置架设2台虚拟相机，配合以后期的微调，就可以实现立体内容的制作；本钱低，对设备的要求不高，根本还是遵循了传统立体制作的方式。2.23D视频业界相关的技术方案——制作立体拍摄拍摄立体电影时需将两台摄影机架在一具可调角度的特制云台上，并以特定的夹角来拍摄。立体电影拍摄需要注意的五个事项：拍摄团队摄影师必须懂得如何拍摄立体影片，因为立体片在取景方面要把握深度感觉；双摄影机的架设，要符合立体成像的技术要求；成品输出的工作除了工作量成倍的增加以外，两天摄影机拍摄的画面在指标与色彩方面无法完全一致，需要后期进行平衡处理；立体的特效动画、包括〔片头、片花、字幕等〕都需要进行立体处理。优点：直接采集了完备的立体信息，立体真实感强、后期制作效率高。缺点：设备昂贵；操作不方便；效果不直观；缺乏拍摄经验。2.23D视频业界相关的技术方案——制作半自动2D转3D将现有的平面片源转为立体片源，效果可以接近实拍电影；核心技术在于生成平面片源对应的深度图；人工参与深度判断，得到精细的深度图结果。2D转3D可以获得很好的效果，?阿凡达?中的少数镜头也采取了2D转3D的处理。不过针对一部2D影片而言，后期转3D需付出巨大的本钱，才可能获得好的效果。不同影片，应当根据不同生产方式和预算来进行最适合自己的选择。?爱丽丝梦游仙境?2D转3D的费用大概是一分钟8万美元。2.23D视频业界相关的技术方案——制作全自动2D转3D场景分类处理方法效果效率场景静止摄像机静止图像集合：机器学习/分类方法

好（取决于数据库规模）较低单目深度线索：线性透视、相对高度、阴影、遮挡、纹理、大气散射、亮度/对比度、聚焦等中（取决于线索种类）可以控制摄像机运动SFM(StructurefromMotion)方法好低场景运动运动单一基于时间差(TimeDifference)的方法中偏差高运动丰富基于运动估计的方法中中根据不同的视频场景，有不同的处理方法：图像集合〔机器学习及分类〕、单目深度线索、SFM(StructurefromMotion)方法、基于时间差(TimeDifference)的方法、基于运动估计的方法。2.23D视频业界相关的技术方案——制作全自动2D转3D除了上述基于各场景的方法外，还可综合各种方法一起使用，进行转换，其特点如下：优点：多种深度线索提取与融合，深度可靠性强缺点：算法复杂运算量大，无法对一个场景应用所有算法，面临如何根据场景筛选算法的困难。2.23D视频业界相关的技术方案——编码双路独立编码方案原理：双路独立编码方案分别对左路和右路视频进行独立编码，经过压缩传输后，在解码端分别解码出左视点和右视点两路视频供立体显示采用。特点：该方案可重复使用之前的软件方案和硬件系统，开发本钱低，但是压缩码率为两路码流的叠加，视频冗余信息多，占用带宽大。2.23D视频业界相关的技术方案——编码双拼编码方案原理：将左右两个视点视频分别1/2下采样后拼接成为一路视频，然后送入视频编解码器进行处理。特点：相比两路视频分别传输，立体视频拼接的编码方案仅需传输一半或者更少的数据，因此能够减小传输带宽和降低解码器复杂度。此外，拼接后的图像能利用传统的单路编码器直接压缩，与目前市场上流通的单路视频解码器具有很强的兼容性。2.23D视频业界相关的技术方案——编码联合预测编码方案原理：编码时，对双目立体视频中左视点视频利用单路视频编码方法进行编码，得到第一路码流；对于右视点视频，在原有单独编码的根底之上，增加视间预测技术。特点：相比两路视频分别传输，联合预测方案能够节省30%左右的码率，并保证全分辨率的精度，具有明显的技术先进性。最新完成的国际立体视频编码标准MVC也采用的是这种联合预测结构，代表着3D立体视频未来主流编解码方案。2.23D视频业界相关的技术方案——编码颜色+深度编码方案原理：发送端只需要编码单路彩色视频和每个像素的深度信息，而在终端通过DIBR〔Depth-ImageBasedRendering〕重建出多路视点。特点：视频+深度的编码方案能够以较低的传输码流实现多视点视频的渲染和重构，并且深度信息能够支持更加灵活的用户交互性，实现更多客户端功能应用。2.23D视频业界相关的技术方案——编码编码方案总结编码方案压缩码率算法复杂度技术成熟度技术先进性独立编码2*单路视频流带宽2*单路视频编码复杂度非常成熟大部分厂家均可实现双拼编码1*单路视频流带宽略大于单路视频编码复杂度（增加上下采样模块）成熟目前市场推广实现中联合预测编码1.7*单路视频流带宽3*单路视频编码复杂度优化后实现国际领先颜色+深度编码1.3*单路视频流带宽2*单路视频编码复杂度（不包括深度获取与虚拟视点绘制的复杂度）预研中国际前沿2.23D视频业界相关的技术方案——显示分色显示方案原理：分色技术简单的说就是使用“红蓝〔或者红-绿、红-青〕眼镜〞将左右眼睛看到的画面别离出来，这种电影在电影后期制作的时候将左眼的影像和右眼的影像分别进行偏红和偏蓝的着色，在播放电影时将这两种不同偏色的影像重叠播放，观看电影时戴上特制的“红蓝眼镜〞，一只眼镜红色镜片另一只眼镜蓝色镜片，通过不同的颜色过滤，使左右眼看到不同的两幅影像。优点：技术历史最为悠久，成像原理简单，实现本钱相当低廉，眼镜本钱仅为几块钱。缺点：改变了图像的色彩，看到的画面的颜色有很大的失真，其次由于迫使两只眼睛通过不同颜色的镜片，观看电影时对眼睛的刺激比较大，容易造成眼睛疲劳，影像叠影会比较严重，因为红蓝镜片无法完全过滤掉所有的色彩，效果不甚理想。2.23D视频业界相关的技术方案——显示分光显示方案原理：偏振立体眼镜与偏振的片源配合，片源通过奇偶帧分别播放左眼和右眼的信号，通过立体分配分开，进入两个投影机，通过偏振光透射而出，偏振眼镜两个眼睛分别允许不同偏振光进入，于是就接收了各自眼睛的信号，最终产生了立体感。优点：偏光式眼镜价格低廉，3D效果出色，市场份额大缺点：安装调试繁琐，本钱不廉价。2.23D视频业界相关的技术方案——显示时分显示方案原理：时分技术主要是通过提高画面的刷新率来实现3D效果的，通过把图像按帧一分为二，形成对应左眼和右眼的两组画面，连续交错显示出来，同时红外信号发射器将同步控制快门式3D眼镜的左右镜片开关，使左、右双眼能够在正确的时刻看到相应画面。优点：保持画面的原始分辨率，很轻松地让用户享受到真正的全高清3D效果，而且不会造成画面亮度降低；缺点：画面闪烁，不稳定，对显示器的要求很高。2.23D视频业界相关的技术方案——显示指向光源显示方案原理：指向光源〔DirectionalBacklight〕3D技术搭配两组LCD，配合快速反响的LCD面板和驱动方法，让3D内容以排序〔sequential〕方式进入观看者的左右眼互换影像产生视差，进而让人眼感受到3D三维效果。优点：分辨率、透光率方面能保证，不会影响既有的设计架构，3D显示效果出色；缺点：技术尚在开发，产品不成熟。2.23D视频业界相关的技术方案——显示狭缝光栅式显示方案原理：狭缝光栅式3D技术的原理和偏振式3D较为类似，是由夏普欧洲实验室的工程师十余年研究成功的。光屏障式3D产品与既有的LCD液晶工艺兼容，因此在量产性和本钱上较具优势，但采用此