多视角视频业务应用场景与需求

多视角视频业务应用场景与需求本文件规定了多视角视频业务的主要应用场景，提供多视角视频业务的功能需求本文件适用于指导多视角视频业务系统的产品设计、标准编制2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件GB/T29861-2013IPTV安全体系架构3术语和定义GB/T29861-2013和GB/T38801-2020界定的以在IP网络上传送包含电视、视频、文本、图像和数据等，提供服务质量/体验质量、安全、交互性和可靠性的可管理的多媒体业务。与六自由度视频同义，指视频可以提供用户在三维空间的X,Y,z轴方向自由移动视点，以及围绕X,Y,Z轴自由旋转视点的高自由度观看体验为更有效地向端用户交付内容，在4层-7层网络单元进行互操作的网络基础设施。用电子计算机辅助的摄影技术模拟变速特效，例如强化的慢镜头、时间静止等效果。常用于电影、电视广告或电脑游戏中。一段时间轴上，全方位的观看具体的场景或者实物的运动画面。以被拍摄物体场景为中心，通过多机位或环绕机位向用户提供整个场地的任意角度视频信息，能够让用户通过操控界面，从多角度自由旋转观看被拍摄物体/场景的业务形态。下列缩略语适用于本文件。CDN:内容分发网络(contentdeliverynetwork)FPS;画面每秒传输帧数(framespesecond)HLS:基于HTTP的自适应码率流媒体传输协议(HTTPLiveStreamingIPTV:互联网协议电视(InternetProtocolTelevision)RTSP:实时流媒体协议(RealTimeStreamingProtocol)视频业务的市场需求经历了从标清到高清、从单向到互动、从单视角到多视角的变化。其中多视角视频是一种可以支持用户多角度观君的视频，给用户带来更多的主动权，实现用户自主导播。近几年兴起的自由视角、精彩瞬间等新兴多视角视频所提供的3DoF+/6DoF交互式视差特性、“时间凝固”等颠覆性特性，为观看者提供更接近自然体验的视觉效果传统视频拍摄与制作是一种固定跟随拍摄者的视角，制约了视频使用者的视野，也让更多内容流失，容易导致花絮内容成为稀缺资源，形成千篇一律的观看体验。如传统现场竞赛直播因角度、机位限制，或受导播意志左右，观众往往不能自主地选择观看自己最喜欢的角度多视角视频业务是指通过多个摄像机，在多个角度同时拍摄，可给用户同时提供不同视角的一种视频业务，特点是视频量大，存储和传输都需要大量的资源，在视点切换时还需要编解码资源。随着视频技术的发展，对于多视角视频的应用逐渐成熟，应用场景逐渐清晰化。多视角视频业务可分为传统多视角视频业务和新兴多视角视频业务。传统的多视角视频业务常见于多个摄像机的视角以画中画或马赛克视频方式向用户提供多个角度的视频。新兴多视角视频业务是指近年来出现的子弹时间、精彩瞬间、自由视角等，这些新兴多视角业务是指在节目制作和播出时，利用多机位或环绕机位向用户提供环绕整个场地的任意角度视频信息，供用户在终端以滑动屏幕的方式找到自己希望的视角和最佳追随观看位置。新兴多视角业务可让视频内容无死角，观看视频内容有新选择，体验不同“位置”带来观看视频的新体验，让用户可时刻体验场馆各类位置带来视觉和听觉效果，更加逼真呈现现场效果。图1是多视角视频业务系统示意图，系统包含采集制作模块，预处理模块、媒体分发模块、终端呈现模块。采集制作模块通过围绕比赛区域部署高清摄像机，每台摄像头在进行时钟校准后同时采集视频信号，提供给现场预处理设备现场预处理模块通过视频源表示模型，再对多路画面进行计算、渲染、编码，合成虚拟视角；媒体分发模块完成内容管理、内容运营、内容存储和CDN分发：终端呈现模块完成多视角重建、渲染过程。在自由视角应用场景中，可实现用户以旋转切换的方式找到自己希望的视角和最佳追随观看位置。视频云处理，终端呈现前端拍摄，现场预处理视频云处理，终端呈现tCDXCDX分发采集和采集和图1多视角视频业务系统示意图6多视角视频业务主要应用场景6.1传统多视角视频业务传统的多视角视频业务通过多个摄像机，同时在多个角度进行拍摄，在终端上通过画中画、多屏同看、九屏导视等方式向用户同时提供不同的视角，如图2所示。该效果在传统的有线电视和IPTV业务中多用于直播频道观看体验增强，目前被广泛使用在赛事、文娱晚会等大型活画面1画面1画面4画面7画面2画面5多屏同看面面4画面3面面2九屏导视画中画图2画中画、多屏同看、九屏导视示意图a)传统的多视角视频业务，其特点是视角的数量较少，各视角的画面一般不存在相关性，视角间的切换一般由用户主动发起，对切换后画面的连续性要求不高：b)画中画/九屏导视是这种多视角业务的具体展现形式。画中画的方式，采用观看的视点为大画面，其他视点采用小画面展示，在视点比较多时，小画面可以翻动，画中画的特点是用户关注视点突出，播放选中窗口的声音。九屏导视则可以采用类似九宫格等方式展示，在视点比较多的情况下可以翻页，可以容纳更多的视点，信息更全面：o)连幅画廊是多屏同看业务的一种延伸，将全景视频平铺展示，用户可以全景展示比赛全貌，手指滑动可以左右拖动选择视窗。图3是连幅画廊示意图：d)主辅视角同播也是多视角场景之一，与多屏同看不同的是，其主视角和多路辅助视角同时播放，时间同步；内容展示的是同一场景的不同角度、不同细节(全景/局部)用户通过自主选择对主辅屏进行切换，从而切换观看视角。图4是主辅视角同播示意辅视角3主视角辅视角1图4主辅视角同播示意图6.2子弹时间类应用场品子弹时间是用电子计算机辅助的摄影技术模拟变速特效，例如强化的慢镜头、时间静止等效果。子弹时间类基于多摄像头的智能拍摄系统，通过模拟变速特效，实现如强化的慢镜头、时问静止等效果，子弹时间目前己被广泛应用在电影、电视、广告及游戏特效中。子弹时间类业务特点是不但在时间上有特殊变化，而且在空间上也有特殊变化，如在慢镜头条件下通过时间和空间变化，或拍摄角度变化，实现视频特效(如子弹级慢飞过头顶等平常不能见到的景象)、在慢镜头的同时拍摄角度也围绕场景旋转，这些效果是传统摄影技术无法实现的，例如在极短时间内摄影机的空间变化中，只有通过部署多台环绕场景的摄像机或者虚拟摄影机(通常用计算机模拟)才可能“拍摄”出子弹时间的效果。6.3精彩瞬间类应用场景精彩降间类业务利用分布在场地四周的摄像机采集同一物体/场景全部角度信息，采集信息传输到视频处理服务器，通过专用剪辑软件实现多个关键时间点的切片视频。该视频可以导入导播合进行节目直播或录播，支持时空凝结、动态流转、慢动作、拉进拉远及组合等多种特效模式。例如，在球场部署自由视角拍摄系统，全方位的记录发球、击球的各角度信息，可多次生成同一场景的各类时间切片视频精彩瞬间类视频业务是一段时间轴上、全方位的观看具体的场景或者事物的运动画面。比如在体育动作教学过程中观看整个动作多方位的细节在体育直播中观看精彩射门，或者判断球员是否越位等。精彩瞬间类业务的主要特点是视频观看视角是由导播控制的，用户不能自主改变视角。6.4自由视角类应用场景自由视角类视频业务利用安装在场地四周的摄像机实时采集同一物体/场景全部角度信息，实时传输至本地或云端服务器。用户可以通过手机终端对屏幕滑动，自由选择观看角度，实现视频内容的千人千面，体验不同角度带来的参与感、交互感的观看视频新体验自由视角类视频业务与精彩瞬间类业务相似，但自由视角类视频业务强调用户的自由选择权，即用户可自由的切换或选择不同的观看角度和观看兴趣点表1为传统多视角视频和新兴多视角视频在视角分辨率等方面的对比。表1传统多视角视频和新兴多视角视频的对比熟及率目前以主多视角 的范围要求高7多视角视频业务功能需求7.1视频源属性要求多视角视频业务给用户呈现的画面的受多个因素影响，以下是主要影响因子。a)多视角视频质量影响因子数包括传统因子，如：1)视频分辨率：衡量图像/视频的精细程度，多视角视频分辨率由于视野范围有限，有部分视频并不会在终端呈现，因此建议分辨率可统一使用PPD来表示。PPD越大，观看清断度越高，当PPD达到60(人眼视网膜极限)时观看清晰度最高，建议普通标清视频的PPD约为11,高清的PPD约为20;2)视频帧率：以帧为单位的图像连续呈现的频率，帧率越高则流畅度越好，宜最低3)视频码率：视频文件在单位时间内的数据流量，码率越高则视频画面更清晰，画质更高；4)动态范围：宜采用HDR技术拍摄视频，能够展现出更丰富的高亮与低暗部分的亮度变化细节：5)色域：宜采集BT.2020,能够展现更接近真实世界的色彩范围6)位深：宜10bit及以上，能够量化的颜色种类更多，表现的颜色细节也更为细腻b)多视角业务视频源也需考虑自身业务特征，如：1)自由导播：可支持用户自主切换视角及自主播放子弹时间：2)视角需求：自由视点根据用户可旋转的角度和旋转顺滑度考虑，相机部署数目和7虚拟视角个数要求：——旋转120°视角，推荐部署相机数目(16-24)个，虚拟视角不少于32个：——旋转180°视角，推荐部署相机数目(24-32)个，虚拟视角不少于48个：——旋转360°视角，推荐部署相机数目(48-72)个，虚拟视角不少于96个。3)视角音频需求：摄像机话筒能采集现场细节声和环境气氛声，能加嵌现场评论声后制成一路混合评论声，支持多声道。4)特效需求；多视角视频子弹时间场景中，用电子计算机辅助的摄影技术模拟变速特效，例如强化的慢镜头、时间静止等效果：子弹时间类基于多摄像头的智能拍摄系统，通过模拟变速特效，实现如强化的慢镜头、时间静止等效果7.2播放功能需求多视角业务播放功能除了包含传统的视频播放功能需求，还包含其特有的功能需求。a)多视角业务播放功能包括传统的功能要求，如：-—多视角、连幅画廊、自由视角支持RISP、HLS等点播——多视角播放，支持同步快进快退。2)直播：多视角、连幅画廊、自由视角支持RTSP、HLS等直播—多视角、连幅画廊、自由视角支持RTSP、HLS等时移——多视角播放，支持同步时移4)回看：多视角多视角、连幅画廊，自由视角支持直播录制，回看功能。b)多视角业务播放功能也应包括其的特有的功能要求，如1)子弹时间：点播/直播过程中暂停画面，切换到子弹时间视频，支持顺时针旋转和逆时针旋转。2)旋转点播/直播过程中旋转画面，进行自由视角切换，支持顺时针旋转和逆时针旋转。3)精彩瞬间：直播/提前录制的一段视频片段，在点播过程中点击时间切片列表，插放精彩瞬间片段。——支持任意时间点的静态视点切换——支持任意时间点的动态视点切换；——视点A直接切换到视点B,不连接特效视频。交互功能涉及到触摸屏客户端和遥控器类客户端b)口遥控器类客户端由模拟遥控器操作来实现交互，如机顶盒。1)多路视频同时播放(一般为横屏模式),如1+3模式2)单击小窗口，进行大小屏位置调整3)双击大窗口，大窗口全屏播放4)单击大窗口，调出播放控制菜单或功能条，进行播放功能操作。包括快进快退功能，倍速播放或拖动播放等；5)同步时移：时移操作时，所有画面同步时移1)左右滑动，选择播放的视频，滑动过程中，所有画面连续播放：停止滑动后，画廊位置移动停止，画面连续播放2)双击某播放窗口，切换到该路码流的全屏播放状态：3)再次双击，返回到画廊模式，画廊模式下单击调出播控菜单。1)手指滑动，自动平滑切换视角，视角的切换要求响应时间在200ms以内；2)通过播控菜单/播控条或手指在屏幕上滑动，进行时移操作(快进快退功能，倍速播放或拖动播放等),在时移操作时，视角不变；3)单击“子弹时间/精彩瞬间”按键进入子弹时间/精彩脚间模式。7.3.2遥控器类客户端交互需求遥控器类客户端交互需求包括：1)多屏同看播放模式下，遥控器选择一路小窗口视频，按OK键选中小窗口，92)当焦点在大窗口视频上，选择OK键进入全屏播放，当焦点在大窗口视频上，按上下健调出播放控制菜单或功能条，进行播放功能的操作，包括时移操作(快进快退功能，倍速播放或拖动播放等):3)同步时移：时移操作时，所有画面同步时移。e)连幅画库交互需求1)按左右键可以选择播放的视频，焦点移动进行滑动，滑动过程中所有画面连续播放，停止滑动后，画廊位置移动停止，画面连续播放2)当对焦点在画廊可见部分某播放窗口时，调出播控菜单，支持全屏播放功能，即切