虚拟演播室及数字视频系统的设计

1、第九章 虚拟演播室及数字视频系统的设计9.1 虚拟演播室技术一、从传统演演播室到虚拟拟演播室 在传统的电视节节目制作中，制制作人员需要要精心设计和和搭建表演区区和场景，为为此要耗费大大量的人力、物物力、财力，而而且建成的场场景无法即时时更新和变换换，资源利用用率低且工作作周期长，即即使如此，许许多场景、舞舞台效果仍无无法实现。 前前面介绍的特特技技术中的的色键技术是是用摄像机拍拍摄均匀蓝色色幕布之前的的人物或道具具（前景图象象），然后通通过特技设备备把蓝背景抠抠掉，换成其其它背景图像像。显然，前前景和背景只只是简单地叠叠加在一起。这这种抠像技术术要求拍摄前前景的摄像机机不能移动、变变化，因为一

2、一旦前景变化化而背景不能能随之变化，会会使画面失去去真实感；当当然不同机位位的摄像机之之间也不能切切换，因为背背景不能变化化适合的空间间角度；如果果背景是活动动画面，即使使保持拍摄前前景的摄像机机不变化，仍仍会产生主持持人好象在背背景上飘浮的的感觉，缺乏乏真实感，可可见色键制作作技术是有很很大局限性的的。 为为了产生出逼逼真视觉的场场景效果，用用计算机场景景工作站生成成的三维图像像代替简单的的二维图像作作为演播室的的“虚拟”背景，并跟跟踪摄像机运运动实时调整整和“移动”该虚拟背景景，使之与拍拍摄的主持人人图像（前景景）同步变换换，实现三维维场景的移动动变换与真实实摄像机相一一致的模拟效效果，这

3、就是是三维图形学学、人工智能能技术、模式式识别与计算算机图形图像像处理技术相相结合的虚拟拟演播室技术术。二、虚拟演播室室系统的构成典型的虚拟演播播室系统是由由摄像设备、摄摄像机位置参参数分析和控控制、图形计计算机、背景景素材库和图像像合成等设备备组成。系统统构成的简单单框图如图11所示。图1虚拟演播室室节目制作系系统构成在蓝幕背景中的主持持人由前景摄摄像机（真实实摄像机）拍拍摄，而如图图1所示的背背景图像记录录及生成系统统称为虚拟摄摄像机。为了了使真实的和和虚拟的画面面保持空间的的对应关系，需要确定真实摄像机的位置参数，包括摄像机在演播室中的空间位置，摄像机的运动参数（倾斜、转动、翻转），摄像

4、机镜头设置参数（变焦、聚焦、光圈）。所有这些数据都被送入计算机中进行分析，实时生成与前景图像保持正确空间透视关系的背景图像。然后，前景图像（包括主持人和真实场景、道具）与计算机生成的虚拟背景图像通过色键控制器进行天衣无缝的键控合成，由于图形计算机的运算需要几帧左右的时间，因此，摄像机拍摄的真实画面也必须有一个时间的延时，这样才能确保真实场景与虚拟场景的吻合。最后输出的图像可以直接播出或记录在存储媒介上。三、虚拟演播室室的关键技术术虚拟演播室的关关键技术包括括摄像机跟踪踪技术、计算算机虚拟场景景设计和蓝背背景技术、灯灯光技术和色色键技术等。1摄像机跟踪踪技术虚拟演播室中的的一项关键技技术是如何判

5、判断摄像机、主主持人、计算算机“虚拟”背景之间的的相对位置关关系，使之实实现“同步”变换。实现现“同步”的关键是连连续跟踪获得得摄像机的运运动参数。这这些参数包括括镜头运动参参数（变焦、聚聚焦、光圈）、机机头运动参数数（摇移、俯俯仰）及空间间位置参数（机机位的X、YY和高度Z坐坐标）等。目目前，成熟的的跟踪技术主主要有图形识识别法（Paatternn Recoognitiion）和以以传感器为基基础的机械传传感法（Seensor-basedd Cameera Trrackinng Sysstem）两两种方式。同同时这也是虚虚拟演播室两两大类别的主主要区别之处处。 (1)图形识别别法图形识别实际

6、上上是一种运运动估测算法法，它可以以对运动画面面进行精确的的计算，获得得摄像机的各各项运动参数数。实际应用用一般采用有有浅蓝色网格格图案的深蓝蓝色背景板，如图2。拍摄时，系统会对网格进行定位追踪，通过对所拍摄画面中网格的旋转和透视关系进行计算，得到有关摄像机的动作参数，以控制虚拟背景的生成。为了减少计算误差，可以选择一个基准帧，以此为基准对每幅画面进行计算。为了避免摄像机机快速进行左左右、俯仰摇摇动时，画面面中网格图案案变得模糊而而影响跟踪效效果，摄像机机应使用电子子快门。电子子快门的速度度越快，允许许摄像机运动动的速度就越越快。同时，演演播室整个蓝蓝色幕布（蓝蓝箱）的布光光要尽量均匀匀。当摄

7、像机机的光圈为55.6，电子子快门速度为为1/1200时，网格图图案的信号电电平应达到770%左右，这这样可获得最最稳定的跟踪踪效果。(2)机械传感感法基于传感器的摄摄像机跟踪系系统最精确，传感器被安装在摄像机三角架、基座、升降摇臂的摇摄轴、俯仰轴上以及镜头的变焦、聚焦环上以及滑轨、推车上。它采集摄像机的位置和空间透视数据，编码量化后通过数据端口传送给计算机。图形计算机将根据数据产生与之“同步”的虚拟背景。2、虚拟场景与与蓝背景技术术虚拟演播室中除除主持人外的的场景、道具具等一般都由计计算机产生。在在常规演播室室中不可能做做到的复杂而而庞大的背景景，甚至许多多现实生活中中人们不可能能见到的景观

8、观，都可以在在虚拟演播室室中得以实现现。虚拟演播室中的的背景图像可可以是动态的的，也可以是是静止的。利利用最多的是是虚拟场景，也也就是由计算算机创作的二二维或三维图图形。在虚拟拟演播室中，首先要对场景中的所有物体进行计算机建模，也就是设计物体的外形和尺寸，这与计算机辅助设计很相似：在建立一个模型的同时，计算机将他们分解成许多个多边形，一般是三角形，然后定义一个轮廓；在每个多边形上施加材质，可以是简单的颜色，也可以是材料。再把图像或照片施加在多边形上，以产生更逼真的效果。在虚拟演播室中将模型定位，使用虚拟灯光产生所需要的效果，如阴影、高光、反射和折射。在这些制作之后，利用来自摄像机传感器的数据建

9、立虚拟摄像机。一个三维虚拟场景需要大量的计算工作来处理运动和再生背景。三维虚拟场景可以由两种不同的方式产生。(1)预生成三三维方式这种方式需先在在三维建模工工具中建立布布景模型，预预先生成每台台虚拟摄像机机的视图画面面，作为各自自对应的真实实摄像机的虚虚拟背景。一一旦场景模型型建立，摄像像机的位置也也就确定，不不能再随意移移动。这种方方式可以产生生比较真实的的三维虚拟背背景，也称为为二维半。(2)真三维方方式采用这种方式建建立三维模型型，模型中的的虚拟摄像机机与演播室中中的摄像机互互相对应，当当真实摄像机机的镜头或位位置参数变化化时，虚拟摄摄像机产生同同样变化，并并实时生成视视图作为虚拟拟背景

10、。在真真三维方式下下，所有摄像像机在演播室室中都可以任任意移动。在在真三维的虚虚拟场景中，主主持人可以来来回走动，场场景中的虚拟拟物体可以实实时的移动，主主持人不仅能能在虚拟物体体的前面或后后面，并且能能隐藏在虚拟拟物体的里面面，真三维方式与二二维半方式的的最大区别在在于真三维方方式能实时读读取场景源文文件并对源文文件实时渲染染。二维半系系统的场景生生成比较简单单，按照摄像像机机位的参参数对背景图图进行处理后后生成演播室室背景信号。而而真三维系统统包括场景调调度、物体运运动、灯光调调节、特殊效效果调节等模模块，功能更更为强大。但但是二维半系系统在场景设设计方面不受受局限，可以以设计无限精精细和

11、无限复复杂的场景，而而真三维系统统要对场景源文文件进行实时渲染染，场景精细细度和复杂度度受系统硬件件和软件的限限制较大。因因此使得它们们有各自不同同的适用范围围。如，二维维半虚拟演播播室更适于对对实效性要求求高的节目制制作。而真三三维虚拟演播播室更适于对对灵活性要求求高的节目。（3）蓝幕（蓝蓝箱）技术虚拟演播室与传传统演播室大大不相同，它它以计算机三三维动画“虚虚拟”出的场场景取代道具具实景为主要要特征。现场场所有布景全全部由单一的的蓝色所取代代，以作为将将来抠像的基基准色。图像像的前景是不不同机位的摄摄像机拍摄到到的主持人的的画面素材。主主持人所在的的实景现场的的全部蓝色区区域将被合成成到计

12、算机三三维动画生成成的虚拟场景景中。 制作虚拟拟演播室的蓝蓝背景要求背背景平滑，还还要有空间感感，一般是两两面或三面蓝蓝色墙再加上上地面（因此此称为蓝箱）。为保证全景镜头的使用，照射在蓝背景上面的光线要均匀。为了保证色键抠像效果最好，要使用纯正的蓝色。蓝背景的空间大小，应该保证可容纳全部道具并可以使主持人有足够的活动区域。需要注意的是，虚拟演播室用的实景现场虽然简化成了单一的蓝色，但决不是任何东西都不需要了。如果节目中要表现主持人从楼梯上走下来，那么现场还必须设置一些涂成蓝色的几何块状物体作为“楼梯”,以便与电脑中生成的楼梯相配合。 3、深度的色键键（抠像）技术术色键制作的质量量对虚拟演播播室

13、节目质量量影响相当大大，它除了与与蓝背景、制制作环境灯光光和摄像机有有一定关系之之外，色键技技术本身也是非常常重要的。在三维虚拟场场景中不仅有背景景，还可能有前景，如如桌子、讲台台等，演员甚甚至可以进入入一个虚拟物物体中去。画画面中真实的的、虚拟的物物体之间的关系比比较复杂，要要想实现完美美自然的叠加加，就需要具具有特殊功能能的高级色键键技术。例如如，把前景图象中中的阴影取出出来并叠加到到背景上，可可以使合成的的图象更加逼逼真。目前有一种被被称为Z轴深深度键的新技技术，分为层次级级和像素级的的深度键技术术。层次级深深度键技术将将物体分别归归类到数目有有限的深度层层中去，所以以，演员在虚虚拟场景

14、中的的位置不能连续变化化。而像素级深度度键技术把构构成虚拟场景景中的每一个个像素都赋予予相应的Z轴轴深度值。虚虚拟物体、真真实物体和主主持人可以动动态地相互遮遮挡，从而增增加了虚拟场场景的真实感感。虚拟演播室的色色键技术还要关注注的一个问题题是消蓝。由于使用用蓝幕背景，因因此环境反光光会造成前景景物体和主持持人身上有一一些蓝色的干干扰成分，对对透明或半透透明物体更易易造成干扰。这这时，就需要要对前景图象象进行非常复复杂的消蓝控控制，即遏制制削弱蓝色成成分，同时，又又不使前景图图象产生颜色色失真。4、虚拟演播室室对灯光的特特殊要求在虚拟演播室节节目制作中灯灯光所起的作作用是十分关关键的。为了了消

15、除多余的的阴影，保证证色键的效果果，灯光的布布置相当重要要。要合理调调配灯光，使使前景与虚拟拟背景的照明明亮度及方向向匹配。主持持人及真实道道具在蓝箱中中投下的影子也要随随主持人及道道具一起进入入虚拟空间。为为了更好地提提取阴影，灯灯光的设置应应使阴影处的的蓝色电平与与背景蓝幕布布的蓝色电平平有较大的区区别。影子的的方向也要和和虚拟空间中中的光源方向向一致。灯光光应具有真实实性。在虚拟拟演播室中，实实际光源和虚虚拟合成光源源之间的同步步变化很重要要。灯光控制制要计算机化化，使灯具的的状态可以记记忆存取。 四、国外几几种典型的虚虚拟演播室产产品据报道，自19991年日本本广播公司（NNHK）开发

16、发了第一套图图像合成系统统以来，国外外很多有实力力的公司一直直致力于这一一技术的研究究开发。但真真正推出成熟熟产品还是11996年以以后，次年开开始打入中国国市场。目前前可以了解到到的已经商品品化的虚拟演演播室系统生生产厂商133个，其中RRT-SETT和Oradd两家公司在在大陆的业务务活动比较活活跃，其产品品也具有相当当的代表性。 1、RTSEET公司的虚虚拟演播室系系统以色列RTSSET公司的的虚拟演播室室技术处于世世界领先地位位，其Larrus虚拟演演播室系统框框图如图3所所示。其摄象象机跟踪系统统采用安装在在基座上的精精密光电旋转转编码器和镜镜头上的特殊殊编码器实时时获取摄像机机位置

17、和镜头头视角参数，通通过快速通信信单元计算和和传输至虚拟拟场景产生和和实时变换的的SGI 图图形工作站上上，由系统应应用软件根据据这些参数控控制三维虚拟拟场景在节目目拍摄期间实实时地持续更更新，然后在在键控器中与与实景视频合合成叠加。其其显著优点是是摄像机运动动不受限制；同时由于采采用精密的机机械光学传感器器，增加了系系统维护和操操作的复杂程程度。Ibis是是一种低价位位、易于维护护的虚拟演播播室系统，图图4为其系统统结构示意图图。此系统的的虚拟背景不不是由3D建建模工具产生生，而是可以以从任何标准准的图形图像像处理软件得得到的位图，最最大尺寸为440964096象象素，但位图图仍能跟随摄摄像

18、机的运动动而变化，以以满足正确的的透视关系。由由于没有复杂杂的三维图形形处理，降低低了对图形工工作站计算速速度的要求，从从而降低了系系统成本。 2、ORAAD公司的CCybersset虚拟演演播室系统 OOrad公司司的Cybeerset虚虚拟演播室系系统是目前全全世界公认的的最先进的系系统，也是当当前唯一基于于图形识别的的虚拟演播室室系统，它的的工作流程与与RT-SEET系统相似似，但独特之之处在于采用用了该公司图图形跟踪识别别的专利技术术，利用电视视图像信号本本身来实时计计算获取摄像像机移动参数数，而不需要要采用在摄像像机上安装光光学机械传感感器来测量摄摄像机和镜头头的参数。因因此可直接使使用原有的演演播室摄像机机而不加装传传感头的环境境下，将在蓝蓝幕前的主持持人的实况电电视图像信号号与计算机产产生的三维场场景实时合成。由于不需要要传感器、数数据记忆头等等传感装置，因因此具有较高高的稳定性和和精确度，系系统所需要的的维护工作也也较少。目前适合使用虚虚拟演播室的的节目类型主主要有新闻