MarianaVS虚拟演播室系统

Mariana.VS虚拟演播室系统一、系统总体需求分析1.1系统应用需求传统演播室的工作流程中，场景和灯光需要实际搭建，在实景制作、不同栏目之间的实景更换、实景修改等方面都存在着很大的局限性。同时，搭建实景拍摄无法在背景中加入很多动感的元素，整个节目画面比较呆板，无法给予电视观众视觉上的享受和视觉冲击力。另一方面是搭建实景演播室会使得工作量增加、材料浪费严重、工作效率降低、不利于消防安全等。因此现在很多使用者在设计演播室方案时，都会开始考虑使用虚拟演播室来制作节目。随着计算机技术、图文图像技术、传感跟踪技术、色键处理技术水准的高速发展，国内虚拟演播室技术的功能日趋完善，系统日趋稳定，现虚拟演播室系统已经被越来越多的应用于电视制作机构的各类栏目的制作和创作中。1.1.1用于多档栏目制作虚拟演播室系统可以导入不同类型的虚拟场景，如：新闻、访谈、体育、气象、课件制作、专题报导等。可以打破传统制作手段，自由创作三维虚拟场景，充分发挥人们的无限创意。这样，势必减少演播室数量需求，减少传统设备需求。1.1.2提升节目制作效率在虚拟演播室系统中，能对三维场景以及场景中物体的形状、位置、纹理、虚拟灯光效果、特技、动画等等属性都可以进行实时的调整。在时效性栏目中，快速直观的修改和编辑三维场景可以让用户在很短的时间内完成背景的调整，大大提升了节目制作的效率和效果。1.1.3栏目改版我们许多电视节目制作机构在栏目改版的时候犯难，虚拟演播室系统可以很好的为使用者解决这个问题。引入的多种多样的三维元素、动感的效果、强烈的视觉冲击力、仿佛身临其境的粒子效果 ，给我们的栏目改版提供一个最可靠的制作工具。1.1.4加入广告内容传统演播室如要加入指定的广告内容往往是件困难的事，虚拟演播室系统可以允许在三维场景中的任意位置，添置各种形态，各种变幻，静动结合的广告内容。1.2系统安全性需求虚拟演播室系统主要负责日常节目制作，其安全性至关重要。系统应具有极高的运行可靠性，具有检错能力，并具备完善的应急方案，且应急操作安全、快捷。备份系统（包括信道）要有独立性，防止主系统出故障时对备份系统造成影响。同时，系统运行过程中的各关键因素要有严格的监控和管理手段。系统安全性完全满足下述具体要求：1.2.1系统架构的安全可靠；1.2.2软件系统的安全可靠；安全性设计主要从以下方面考虑：系统的健壮性，需要从硬件、软件、网络构件、通信介质、布线规范和电源供给等多方面加以考虑；1.3系统扩展性需求随着系统规模的不断扩大，系统功能的不断完善，系统所要处理的数据量也会相应增长，因此在选择设备要有超前意识，选择扩展性好的机型，从而保护客户的长期投资1.3.1性能指针方面及性能提升对于指针方面的考虑，系统在图形工作站配置、I/O视频处理卡性能、整个系统信号指针是否达标等。同时充分考虑日后系统在架构升级的情况、软件升级、性能和功能持续提升等等方面。1.3.2业务调整设计系统采用灵活的模块化设计理念，能够满足电视台随着时间的推移，业务方面的调整。1.3.3新技术与新业务的应用支持1.3.4虚拟演播室系统的拓展应用，如虚拟广告系统应用等。二、相关虚拟演播室技术介绍虚拟演播室是在色键系统的基础上发展起来的。传统的色键(Chroma-Key)合成系统是电视节目制作中常用的合成手段，它的原理就是将主持人或演员置身于蓝色背景前表演，然后利用色键合成器的色键功能将前景图像中的色度与其作背景的彩色幕布的色调差别作为形成键控电压的依据，并利用此电压去"抠"插入画面，然后再将前景图像填入画面，这样就将主持人从蓝色背景中分离出来，用其它的画面作为背景填充蓝色部分，形成一幅天衣无缝的合成画面。这种系统现在在电视制作中应用得非常普遍，但是它有一个主要的不足之处在于：前景在运动，但背景却不能作出与前景运动相应的动作。也就是说，传统的色键扣像不能保持住在背景和前景之间存在的空间位置关系，使得前景没有"溶入"到背景中，从而限制了传统的色键扣像的应用范围。虚拟演播室基于传统的色键扣像合成系统，却突破了传统色键扣像系统的限制，消除了摄像机拍摄的前景画面不能与场景画面同步运动的致命弱点，做到真实的演员能深入到虚拟的三维场景中，并能与其中的虚拟对象实时交互。一般来说，一套典型的虚拟演播室系统一般由三个子系统组成：摄像机跟踪系统、虚拟场景生成系统及视频色键合成系统。2.1摄像机跟踪系统摄像机在拍摄过程中有水平角PAN、俯仰角TITLE、镜头变焦ZOOM、聚焦FOCUS等变化，这些参数的改变会引起所摄图像视野与视角的改变，为了模拟人物所在的三维环境，高性能的图形工作站必须根据这些参数不断调整三维视图。而摄像机跟踪系统的作用正是获取摄像机的位置信息和运动数据，实时的跟踪真实摄像机，以保证摄像机前景画面与高性能的图形工作站场景画面"联动"。目前虚拟演播室的固定机位摄像机跟踪系统主要有以下两种方式:1)基于图形分析系统;该方式需要把一个精确的网络图案以两种不同的蓝色形状绘制于蓝背景上，通过摄像机识别这种图案并与计算机跟踪软件预先确定的模型进行对比，以确定物体与虚拟背景的透视关系及距离。采用图像分析法存在很多不足之处，最主要的是：由于这种方式要对图像进行分析、计算，所以数据处理时间长，加大了视频延时量。因此，虚拟演播室使用视频和音讯延迟硬件以达到同步，视频延时量在8-12帧。许多用户因为过长的延时导致拍摄时很少使用跟踪系统。用这种方式获得的摄像机运动参数的精度比机械传感器的精度低。当参考点不在当前视野时，跟踪系统有可能失去方向，必须准确知道参考点的坐标，使摄像机移动时维持住正确的相对位置。在蓝室内标记参考点也不是一件容易的事情，这种精确的蓝色图案必须被绘制在蓝背景之上，它必须有别于蓝底，这种蓝色网格图案在制作色键过程的阴影很难处理，同时合成后又应该是不可见的。摄像机拍摄不能垂直于蓝色网格图案，必须偏离30度角以上，否则不能准确定位。另外，这种蓝色网格图案很难保持良好的键质量。当摄像机散焦或者摄取画面中图像信息量过少时，系统无法正常工作。为了保持精确的跟踪，摄像机的焦点必须始终保证在网格上，真实的演员有时会显得模糊。鉴于上述须待解决的若干问题，网格识别方案在目前的虚拟演播室系统中使用的不多。2)基于机电传感器的系统；这种摄像机跟踪系统采集摄像机的位置及透视数据，它通常被安装在三角架或基座之上。为测量摄像机的镜头运动参数,需要在摄像机镜头上安装附加装置。聚焦Focus和变焦ZOOM传感器，附于镜头的聚焦齿轮和变焦齿轮处。这个装置中包含有传感器和有关电子装置，称为镜头运动参数编码器。这是一种精确的旋转编码器。镜头编码器通过托架与镜头上变焦环和聚焦环的齿轮紧密咬合。当变焦环或聚焦环发生位置变化时,编码器能够检测出上、下、左、右摆动的细微角度并将其编码输出。信息数据通常通过一些序列接口类型如RS-232或RS-422传送给计算机。摄像机的地面位置X、Y也可用类似的编码器方式测量，即用相应的传感器检测摄像机的运动,并对其参数值进行编码。X、Y跟踪器传感摄像机全方位的信息,可以装在滑轨或升降架上。利用机械跟踪方式克服了图形识别方式的缺点,有许多优点,主要有：测量摄像机参数可以达到非常精确，旋转角度可以达到0.001°，移动距离可以达到1毫米的精确度,数据处理时间短。单颜色蓝背景，无需用户绘制背景墙，很容易照亮蓝色背景而不用担心照亮网格。摄像机运动不受限制，因此允许摄像机有更好的拍摄角度。演员在蓝色舞台范围内可以任意速度自由活动，不受限制。跟踪资料没有延时。摄像机可以60Hz速率进行摇移、俯仰及变焦，无需额外的工作站处理跟踪信息。在合成拍摄过程中可以很容易处理阴影，无需进行额外的修补不足之处。虚拟场景生成系统虚拟演播室的场景是由专业软件创作的二维或三维图形CG(ComputerGraphics)，即虚拟场景。虚拟演播室的场景是高性能的图形工作站绘制的图形，高性能的图形工作站绘图有二维和三维之分，因而虚拟场景也有二维和三维之分，二维场景没有厚度，只是一个平面图形，所以二维虚拟场景只能作为背景平面，出现在真实人物的后面，而三维虚拟场景中的景物具有Z方向的厚度，是立体的，以背景中的一个长方体为例，长方体是一种六面体，其底面和背面一般是看不见的。然而随拍摄角度的不同，有可能看见其正面，侧面和顶面。因此在高性能的图形工作站中，其正面、侧面和顶面的图像都分解为像素的形式，保存在内存中，当摄像机处于任意的角度位置时，高性能的图形工作站即进行计算，获得相应的画面。同时，三维的场景中，虚拟景物既能作为真实人物的前景出现，也能作为背景出现如图，这样在视觉效果上更具纵深感，更加真实。显然对于图形工作站的运算能力、运算速度提出了很高的要求。当然还必须进一步考虑许多细节问题，比如灯光和阴影的问题，当摄像机改变其取向位置时，根据照明条件，阴影部分将发生相应的变化，背景画面应该能够反映出这种变化。视频合成系统；虚拟演播室系统视频合成的基本技术是色键抠像，摄像机拍摄的蓝箱前的真实景物：通过色键器进行抠像处理，与高性能的图形工作站生成的虚拟场景合成一个画面。那么在进行合成是需要考虑两方面的技术：(1)深度合成技术虚拟演播室的一个基础就是前景和背景合成的时候，前景的演员可以被背景的内容覆盖，同时为了丰富画面的拍摄效果，还需要考虑虚拟物体的遮挡效果，这一般都采用深度合成技术。所谓深度就是虚拟物体与实际演员的前后遮挡关系，这一种技术要考虑两路键信号的深度信息，就可以让背景的内容在演员前面。这不同于二维图像的层技术。因为是三维图像的各像素都带有深度信息，而且各像素还有与摄像机的距离的信息，由这两部分的信息决定前景和背景的像素的可见性。这样就可以实现虚拟场景的遮挡效果：使主持人可以自由的在虚拟场景中的虚拟物体之间穿越，大大丰富了拍摄和画面的表现手法。(2)同步技术.要使摄像机的前景画面和虚拟场景天衣无缝的合成，需要让虚拟演播室系统中所有的设备接受外同步锁定，这样才能保证在进行实时合成时，高性能的图形工作站根据传感系统的参数变化实时提供相应的虚拟场景，并与摄像机前景信号精确同步合成。三、Mariana.VS虚拟演播室先进技术Mariana.VS虚拟演播系统是全新一代虚拟产品，是结合三维虚拟演播室技术、三维图文技术、数据库技术，在Mariana.VS虚拟演播室基础上开发的全新一代高性能、高稳定性的三维虚拟演播室系统，突破原有虚拟演播室在渲染能力和质量上的限制，实现了质的飞跃。3.1Mariana.VS虚拟演播室系统架构新一代的Mariana.VS虚拟演播室系统拥有开放式、外挂程序式的整体架构。整个系统功能设计齐备而庞大，采用应用软件外挂程序结构。系统包括：虚拟演播室渲染引擎(VSPlayer)、虚拟场景/模板设计器(Designer)、虚拟演播室控制播出器(VSControl)三大组成部分。3.1.1Maraina渲染引擎Mariana三维渲染引擎充分开发现代图形处理硬件的可程序设计能力，利用GPU高级程序设计语言开发的全新三维渲染引擎，充分利用了GPU在浮点运算、并行运算、高效纹理处理、向量运算方面的能力实现绚丽的图文效果，包括以前在CPU上实现的图文处理算法都移植到GPU上以获得更高的效率。系统采用了包括纹理缓存、渲染状态缓存、GPU程序设计等一系列手段，为三维图形、影像处理提供强劲的实时渲染动力和强大的渲染能力，充分发挥高端图形加速卡GPU可程序设计渲染管线特性，渲染能力得到质的提升，能够流畅的运行复杂的三维虚拟场景，场景非常细腻真实。3.1.2虚拟场景/模板设计器(Designer)虚拟场景/模板设计器是面向所有Mariana播出产品的场景内容和模板的设计工具，是为广播级的电视图文应用而专门开发的。它包含整套三维空间设计工具和二维字幕图文的设计接口的集合，提供细致而又用户友好的设计手段，即可以说明使用者快速搭建各种图形场景，又能够精细调整各种物体属性和动作。创作人员可以使用系统自身内置的大量三维模型和字幕功能进行创作，也可以导入协力厂商软件的三维模型或者分层图像，为创意的产生和保持提供了很大的空间在短时间内即可创造出质感、光感、动感俱佳的三维虚拟图文场景。

Mllb口I•尊IT・•WIH!■:mra视频之家'fT'fi'ff.52video-Mllb口I•尊IT・•WIH!■:mra3.1.3虚拟演播室控制播出器(VSControl)■HnnAiuQKn家m52video_netHMi3>MenUMariana.VS是基于MarianaDesigner虚拟场景/模板设计器的应用程序，MarianaDesigner场景模板设计器负责场景模板建立，Mariana.VS播出接口负责系统的参数调整、动作击发和信号播出等。支持虚拟场景/模板设计器所创作的所有场景的播出，用户通过简便快捷的操作即可完成系统的播出工作，Mariana.VS系统采用主控和播出分离的方式，各种播出应用建立的播出工程可以实现模板的再编辑，编辑效果实时反映到播出端，场景的编辑和修改更加直观、方便，同时大幅提升系统运算的安全稳定性，非常适用于新闻、访谈、体育、财金、播报、课件制作、综艺等演播室以及现场直播节目。■HnnAiuQKn家m52video_netHMi3>MenU特别说明：由于采用三层的软件结构，可以让使用者高效的编辑、制作三维虚拟场景；使用户使用Mariana.VS虚拟演播室系统时，更直观、更简洁，真正采用专业的“制作”与“播出”有机的分离与集合的技术，让系统运行更稳定、更安全！3.2Mariana.VS虚拟演播室系统功能特点3.2.1高精度的传感跟踪技术：Mariana.VS系统采用智能识别分析算法，真正实现一键高精度初始化定位，方便节目制作中快速调整摄像机位置和姿态。系统采用机械光电跟踪方式，充分考虑摄像机镜头的聚焦、变焦对传感跟踪的细微影响，采用“高密度采样拟合算法”，精确的拟合和补偿镜头在聚焦和变焦过程中的非线性误差，实现对摄像机俯仰、平摇、推拉运动的高精度实时跟踪。在Mariana.VS系统中，可以准确跟踪云台的PAN、TILT和镜头的ZOOM这三个自由度，测量精度为0.001度。Mariana.VS系统提供“跟踪选择系统”，可以提供场景或场景中的物体选择性跟踪，丰富拍摄手段和效果，让节目更具表现力3.2.2高质量实时三维渲染：Mariana.VS虚拟演播室系统的三维渲染引擎的渲染核心是基于计算机图形卡的GPU技术实现的。这套自主研发的“Mariana渲染引擎”采用了多项关键技术，使其在三维渲染的效果、质感和效率上取得了突破性、跳跃性的提升。Mariana渲染引擎平台是系统的核心，为三维虚拟场景、三维虚拟图文应用提供功能强大的渲染平台。能够逼真的描绘出物体的凹凸贴图、片段光照、纹理材质、高光反射等细腻真实的效果，系统出色的质感、光感、动感和实时渲染能力都是基于这款引擎所提供的强大的广播级渲染功能之上。•顶点/片段变换处理算法+GPU高级语言程序设计二三维渲染引擎！•架构OpenGL专业图形接口之上；•全面相容3Dmax、Maya、SoftImage的三维描述档；-高效组合发挥CPU、GPU的运算能力。

3.2.3三维场景、字幕与视频无缝结合：Mariana.VS虚拟演播室系统在全三维空间中，不仅处理三维物体，同时以各种纹理贴图方式处理字幕、图像、图像动画序列、输入活动视频和视频档回放，使它们作为三维场景中的纹理贴图无缝融入到其中，从而展现各种三维图文效果。Mariana.VS虚拟演播室系统采用精密的反走样和多种字效渲染算法，以及多套基于多种像素处理特效组合的渲染流水线，提供十分丰富的、高质量的虚拟图文效果。开放式、外挂程序式、网络化的整体架构：整个系统功能设计齐备而庞大,系统包括:虚拟场景/模板设计器(Designer)、虚拟演播室渲染器(VSPlayer)、虚拟演播室控制播出器(VSControl)三大组成部分。采用制作、播出、渲染分离的网络化连接和应用软件外挂程序结构。各个子系统功能明确、介定分明,充分发挥各自的功能同时也有力保证了整体的系统安全。独创的丰富的库管理功能Mariana.VS虚拟演播室系统提供独创的库管理模块，内置非常丰富的模型素材库,提供非常常用的模型素材,包括多种材质、纹理、模型、图片等,涉及包括交通、建筑、体育、室内、植物以及各类带有Alpha信道的图标等等，方便使用者快速搭建三维虚拟场景。强大的实时编辑功能：

Mariana.VS虚拟演播室系统能够对三维场景实时编辑，场景中物体的位置、形状尺寸、动画、材质、纹理、灯光等属性都可以进行自由编辑、虚拟物体支持编组和解组，编组的物体属性可以共有也可以独有、将单个物体进行复制，在三维空间中形成多种数组，能够非常方便的使使用者根据节目的需要调整虚拟场景这是国内同类产品中独有的功能。动感十足的二，三维动画及三维字幕功能特效：Mariana.VS虚拟演播室系统可以实时播放更多的三维动画，每个动画都可以进行正播、暂停、停止、循环、往复等操作，并且每个动画项目有一个滑动杆用于Seek动画。当动画或串联单播放时碰到需要人工干预标志时自动转为暂停状态，手动触发即可以继续播放。三维动画及三维字幕实现更为丰富的特效，如逐片光照、阴影、反射、凹凸、散焦等，使场景的效果更加绚丽，制作手段更为多样。::.::.1.:-:“.-.:-:1.1::."::.::.1.:-:“.-.:-:1.1::."实时生成三维统计图表功能：Mariana.VS虚拟演播室系统提供开放的数据接口，实时生成统计图表功能，如柱状图、饼状图、长条图，折线图，面积图，环状图等等，图表随数据的变化而变化，在虚拟演播室系统中真正实现了动态数据的可视化，丰富了节目的表现力，在财经、体育、娱乐等节目中具备广阔的应用前景。1AW1AW麝U■"骚煤'赫;塢馬-畑:;I视频之家wmrjSEvidejo.n«t无限蓝箱功能：Mar