第八章第三节虚拟演播室系统的关键

第八章第三节虚拟演播室系统的关键第1页，共67页，2023年，2月20日，星期三一、传感跟踪系统 传统的静态色键技术不支持摄像机的运动，它与动态的虚拟演播室系统的主要区别，是后者能够准确地测量到前景摄像机的运动；并且根据摄像机跟踪参数生成相应视点的虚拟场景。现在用于虚拟演播室的摄像机运动跟踪系统采用了不同的传感技术。机械传感器是最早被使用的摄像机跟踪系统，1995年后人们陆续研制出其他一些非机械的跟踪系统，如网格识别、红外跟踪、超声波跟踪等方式。多数系统对于摄像机的操作限制较少，并且具备很高的跟踪精度，其中一些系统即可在户外工作也可在户内工作，许多系统展示了高度的独创性。第2页，共67页，2023年，2月20日，星期三1.摄像机跟踪系统原理及特点摄像机跟踪系统的功能是为图形渲染引擎提供准确和及时的数据，也就是摄像机视点的运动数据。一些摄像机跟踪系统需要大量的数据处理和计算。图形工作站根据摄像机跟踪数据对二维图像或三维场景进行渲染，所生成的背景图像与摄像机前景图像在色键器中抠像、合成，产生虚拟演播室系统输出的每一帧视频图像。虚拟演播室系统中的每一台摄像机能够在8个不同的方向上自由的运动，其中平摇，俯仰、滚动以及三维空间中任意移动(X,Y,Z)是指摄像机整体上的运动，变焦和聚焦是摄像机镜头的运动。这些运动参数的改变会引起拍摄图像视野与视角的改变，为了模拟人物所在的三维环境，图形工作站必须根据这些参数不断调整三维视图。摄像机跟踪部分的作用正是用来拾取摄像机的位置信息和运动数据，实时地跟踪真实摄像机，以保证前景与计算机背景“联动”。如果采用机械式的传感方式，则需要在镜头上安装跟踪变焦和聚焦的传感器，而网格识别的方式是通过镜头推拉时获取网格图像的范围来计算镜头的变焦和聚焦变化的。第3页，共67页，2023年，2月20日，星期三以下是实现一个理想的虚拟演播室效果对于摄像机跟踪系统的要求，如今还没有一个系统能够完全满足所有的特性要求，但是有一些系统已经相当接近这些指标：(1)能够在一个非常短的时间内完成摄像机方向和位置数据的计算和发送.(2)摄像机跟踪系统需要以每秒50次或60次(PAL或N制)的速率计算和发送全部的摄像机方向和位置数据，这就要求能够跟踪摄像机的快速运动。如果数据的发送传输率不够快，背景将会出现撕裂的现象。摄像机运动得越快，背景出现撕裂的现象越明显。(3)摄像机的运动跟踪系统不能够限制摄像机的任意运动，这个系统应该允许摄像机在演播室范围内的任意移动。(4)跟踪系统不能够改变摄像机以前的操作方式。这样同一台摄像机既可用于虚拟演播室也可用于实景演播室拍摄，这一点非常重要。（5)摄像机应该支持所有方向的拍摄，理想的情况是能够进行360度的拍摄。(6)系统能够支持各种类型的摄像机辅助设备，包括标准演播室云台、遥控云台、摇臂、轨道车、三脚架和手提拍摄。(7)系统应该能够在任何地方工作，包括演播室和户外。(8)系统应该支持各种类型的专业摄像机，并且对于镜头的使用没有限制。(9)测量摄像机的移动精度能够达到不低于2mm，并且方向精度不低于0.5像素。这样的方向精度意味着在一个16度的拍摄中，要求达到0.01的精度。拍摄的角度越窄，角精度要求越高。第4页，共67页，2023年，2月20日，星期三2.摄像机跟踪系统分类国内外不同视频公司的虚拟演播室产品，所采用的传感跟踪方式也不尽相同，大体可以分为三大类:机械传感跟踪系统红外跟踪系统图像识别跟踪系统以下对一些主要的跟踪系统进行介绍。第5页，共67页，2023年，2月20日，星期三（1）机械传感跟踪系统机械传感器是最早被虚拟演播室所采用的摄像机跟踪系统，同时也是应用最为广泛的跟踪系统。它的最大优势是跟踪延时短，精度高，且不受演播室灯光、温度、拍摄角度等条件的限制。这种摄像机跟踪系统采集摄像机的位置及透视数据。它通常被安装在三角架或基座上。为测量摄像机的镜头运动参数，需要在摄像机镜头上安装附加装置:聚焦、变焦传感器。这个装置中包含有传感器和有关电子装置，称为镜头运动参数编码器，这是一种精确的旋转编码器。镜头编码器通过托架与镜头上变焦环和聚焦环的齿轮紧密咬合，当变焦环或聚焦环发生位置变化时，编码器能够检测出上、下、左、右摆动的细微角度并将其编码输出。同时，安装在云台上的平摇以及俯仰传感器可以感知云台的变化并将其编码输出，所有信息数据通常通过一些串行接口(如RS-232或RS-422)传送给计算机。这种传感器安装在用来平摇和俯仰的云台上，分别跟踪平摇和俯仰两个方向的角运动并且将角度上的协一个变化转化为电脉冲。第6页，共67页，2023年，2月20日，星期三在摄像机的镜头上安装了传感器探测变焦和聚焦的变化，两者的变化会影响图像的放大倍数。机械的镜头传感器可以安装在绝大多数(但不是全部)的镜头上。机械跟踪系统对于演播室的高度和尺寸没有严格的要求，它安装在用于平摇、俯仰的云台上，允许摄像机水平转动360O并且可以应用于户外。Thoma公司、Radamec公司和Vinten公司以及一些国内厂商均可提供机械式的传感系统。在轨道车、摇臂或升降云台上安装了机械传感器后，就能够测量到摄像机的水平运动参数或高度上的运动参数。采用安装了传感器的轨道车在演播室地板上运动拍摄，要求地面的平整度较高。类似的传感系统也可以用在电影拍摄的摄像机上。采用机械传感器的系统，其校准和设置(setup)过程相对复杂。演播室中的每一台摄像机都是虚拟演播室的一部分，每一台摄像机的云台上和镜头上都要安装传感器。至于遥控云台，通常是从遥控端发出命令对摄像机进行控制，所以它们的方向和位置参数可以直接用于虚拟演播室系统。第7页，共67页，2023年，2月20日，星期三机械跟踪方式的特点如下:(1)测量摄像机参数可以做到较高精度，旋转角度可以达到0.0010，移动距离可以达到1mm的精确度，数据处理时间短；(2)摄像机可以50Hz速率进行平摇、俯仰及变焦，无须额外的工作站处理跟踪信息；(3)延时在2帧以内，是所有跟踪系统中最短的；(4)对灯光及演播室环境要求不高；(5)无法进行演播室中肩扛、手提的自由拍摄；(6)需要对云台进行改造、加工，装配精度要求高，较易磨损。第8页，共67页，2023年，2月20日，星期三（2）红外线传感跟踪系统采用红外跟踪的系统,利用安装在演播室摄像机顶部的四个排列好的低强度红外发射器进行工作。一般标准是采用两台或四台红外线跟踪摄像机，分别安装在演播室的天花板上。演播室越大，跟踪的范围也就越大，那么需要的红外摄像机就越多。每一个红外发射器以一个特殊的频率闪烁并要求至少被两台红外摄像机拍摄到。安装在图形处理设备中的图像处理软件识别红外跟踪摄像机输出帧中的光源图像，并计算它在每一帧中位置。它在每一帧的位置坐标都对应了一个具体的方向，而这个方向是与演播室摄像机位置相关联的。在帧序列的图像中，光源的位置表示了红外跟踪摄像机与被跟踪的红外发射器之间的位置关系。只要知道至少两个这样的位置关系以及红外跟踪摄像机在演播室空间中的空间坐标位置，就能够计算出红外发射器的三维空间位置，也就知道了演播室摄像机的位置。图像处理设备执行以下功能:(1)数字化红外跟踪摄像机拍摄到的视频；(2)根据每一个红外跟踪摄像机输出的图像计算出光源的位置；(3)根据安装在镜头上的机械传感器测量的变焦数据并校准镜头的变焦曲线。第9页，共67页，2023年，2月20日，星期三系统还提供一个安装和测量的工具包。这套工具是用来初始化校准和测量系统中跟踪设备之间的位置关系，以及跟踪设备相对于演播室的位置关系。红外跟踪方式允许演播室摄像机在任何方向不受限制地运动。这个系统需要使用机械传感器跟踪变焦和聚焦的运动。虚拟演播室系统还可以利用小型的红外发射器测量主持人在演播室中的空间位置。这个红外发射器可以放置在主持人的衣服上.系统能够测量到主持人在演播室中准确的三维空间坐标。由Thoma公司研制的红外系统中红外摄像机安装在演播室的天花板上进行红外发射器的捕获，同时每一台演播室摄像机上安装一个红外发射装置，五个红外反射体呈三维排列安装在每一个演播常摄像机上。安装在演播室天花板上的红外摄像机探测红外信号，然后图形处理器根据红外跟踪摄像机输出的视频图像计算演播室摄像机的空间位置。第10页，共67页，2023年，2月20日，星期三（3）图像识别跟踪系统图像识别跟踪系统可以分为网格识别和“Free-d”编码盘两种方式。1)网格识别跟踪系统在演播室中有一套特殊的网格画在蓝色背景墙上，位于主持人身后。这个网格由较浅的蓝色绘制而成，它不会对色键器的处理造成影响。演播室摄像机的视频信号被送到一个特殊的视频处理器，然后图像识别软件根据变化的网格信息准确地计算摄像机运动的方向和位置信息，同时包括变焦和聚焦的信息，所有的数据是从摄像机拍摄的视频信号中提取出来的，网格识别跟踪技术为ORAD公司的专利技术。这个系统能够根据摄像机所拍摄的网格图像的变化跟踪摄像机的运动，同时它也能用于户外的拍摄。在ORAD的系统中，数据被提取和处理是通过一个称为数字视频处理器(DVP)的特殊硬件。通过这个处理器，数据在并行接口形成数据流后，送到图形引擎用来渲染相应的虚拟背景。与其他方法相比，网格识别方式占用较多的时间来产生摄像机跟踪信息，通常大约需要4帧延时。第11页，共67页，2023年，2月20日，星期三该方式把一个精确的网络图案以不同的蓝色形状绘制于蓝背景上，如图10所示。通过摄像机识别这种图案并与计算机跟踪软件预先确定的图案模型进行对比，以确定物体与虚拟背景的透视关系及距离。第12页，共67页，2023年，2月20日，星期三采用网格识别方式有以下特点:不需要对摄像机云台进行改造，安装方便，无须镜头校准，便于摄影师能运用各种摄像机以不同角度进行拍摄；同一个网格跟踪系统可同时用于一台以上的摄像机，增加机位时无须增加跟踪设备.不会增加成本。可以与机械、红外等跟踪方式配合使用，灵活性大。这种方式要对图像进行比较分析、计算，所以数据处理时间长，加大了视频延时量(4帧)。当摄像机散焦或者摄取画面中图像信息量过少时(摄像机拍摄的网格交叉点不能少于4个)，系统无法正常工作，因此无法给出主持人近景特写。第13页，共67页，2023年，2月20日，星期三2)“Free-d”编码盘跟踪系统在这个系统中，一个小型摄像机被安装在演播室摄像机上。这个小型摄像机正对着演播室的天花板，在天花板上安装了排列好的标志，它们是小型摄像机跟踪的目标。这个称为“Free-d”的系统是由英国BBC研发部门开发的，被Radamec公司所购买。在这个系统中通常使用的标志是8英寸((1英寸=2.54cm)的圆形图案的编码盘。这种编码盘标志用高反射材料制成，通过安装在小型摄像机上的一圈发光二极管可以把照射方向上的圆形图案编码盘打亮。为了保证摄像机的准确跟踪，同一时刻至少要有4个安装在天花板上的标记被小型摄像机所看到。演播室越大，需要在演播室天花板上安装越多的标记。编码盘在各个方向上的间距通常要根据编码盘安装的高度来调整。这种跟踪系统对于演播室的尺寸和高度有一定的限制。它允许使用不同的摄像机拍摄方式，也支持手提摄像机拍摄。这种跟踪系统需要一个特殊的设备用于准确地计算摄像机方向和位置信息。摄像机的镜头必须加装机械传感器来测虽变焦和聚焦的参数变化。显然，安装在天花板上的标志不能在户外的拍摄中使用。当在天花板上安装了标志后，这种摄像机跟踪系统允许进行360度的拍摄。第14页，共67页，2023年，2月20日，星期三（4）其他的一些跟踪系统方式1)超声波方式，采用在天花板上安装超声波发射杆，在摄像机上安装跟踪设备的方式。2)一些入门级的系统(如GetrisPsv)，没有使用任何类型的摄像机跟踪系统，而是将摄像机固定在一个位置。摄像机拍摄的前景经过抠像处理后，视频作为纹理贴图与虚拟场景相结合。通过计算机手柄的操作，模拟云台的平摇、俯仰、滚动以及镜头的推拉，产生摄像机在运动的效果。但这种系统功能相对简单并且成本较低，抠像效果一般。3)有时候遥控云台完全可以替代摄像机运动跟踪系统;当使用这样的系统时，摄像机的方向角度和位置以及镜头的变化可以直接从遥控系统中得到，并将这些信息直接送到渲染引擎对背景进行渲染。第15页，共67页，2023年，2月20日，星期三（5）摄像机跟踪系统性能对比第16页，共67页，2023年，2月20日，星期三3.摄像机的校准与定位在虚拟演播室中，摄像机运动参数必须以场频的速度连续不断地进行采集，然后输入到图形工作站中，控制虚拟视点的运动变化。这些摄像机运动参数被实时地发送到计算机的图形渲染引擎进行三维场景的渲染。图形引擎渲染虚拟场景，它根据摄像机运动参数移动虚拟场景的方位，使得虚拟摄像机对场景的观察角度与演播室中真实摄像机的角度和位置是完全相同的，而这一切都是实时完成的。计算机不仅要得到连续的摄像机跟踪数据流，而且需要知道它们所对应的系统参考点。那么使计算机知道这些信息的过程就称为定位。虚拟演播室定位的目的是为了获取真实摄像机相对于某个参考点的初始位置和方向信息，同时将获取的初始位置和方向信息赋予维场景中的虚拟摄像机。校准，由于成品镜头的实际参数和理论参数的偏差，使得摄像机镜头在变焦和聚焦时是非线性运动的。如果在系统正式使用前未进行镜头的校准，经常会在虚拟演播室系统使用过程中出现前背景之间运动的漂移现象。因此获取理想的镜头校准曲线是虚拟演播室准备工作中的重要一环。第17页，共67页，2023年，2月20日，星期三系统初次安装时，完成一次镜头校准即可，每次拍摄前，如果摄像机相对于原始位置发生了变化，则需要进行再次定位。当采用多机位时，演播室中的每台摄像机依次完成定位，此时定位是否准确，通过各机位间对应虚拟场景的透视关系就可辨别，而采用单机位时定位的偏差不易发现。虚拟演播室中采用的不同跟踪方式，由于跟踪原理的差异，采用的定位方法也不同。(1)四点定位(2)网格定位(3)红外跟踪定位第18页，共67页，2023年，2月20日，星期三(1)四点定位：采用机械传感器的摄像机跟踪系统通常采用四点定位的方法(如图11所示)，其定位过程分为以下步骤:在演播室中选择一个点作为系统的参考零点，在蓝箱的立平面上定义四个点构成矩形，并测量四点的准确坐标；把摄像机放置在演播室的某个位置，将镜头对准四点顺时针依次进行操作(在控制界面按确认键)，因已知四点坐标以及锥体各点间夹角，即可计算出摄像机在演播室中的空间位置。(2)网格定位采用网格识别的摄像机跟踪系统，通过分析摄像机拍摄的网格视频图像能够在很短的时间内完成系统的校准工作。需要注意的是镜头至少要拍摄到四个网格，否则无法进行定位。(3)红外跟踪定位在红外跟踪方式下，校准后的红外摄像机在拍摄到演播室摄像机上安装的红外发射源后，把视频信号传到图形处理单元，计算出摄像机的精确位置，快速定位。第19页，共67页，2023年，2月20日，星期三校准与定位可定义为将虚拟与真实的视点匹配到一起的过程，也就是指演播室中真实摄像机的视点和计算机中虚拟摄像机的视点相匹配的过程。例如，要在系统合成图像中出现一个新闻播音员坐在一张虚拟桌子后面的效果，实际上蓝箱中的播音员是坐在一个蓝色箱子的后面，而这个蓝箱子与虚拟桌子要有同样的比例。在合成图像中应该始终能够看到虚拟的桌子，然而要确保演播室中的播音员准确地出现在虚拟桌子的后面，这就需要准确地定位。而要保证摄像机在拍摄过程中，虚拟场景与摄像机前景图像完全匹配，并与摄像机的任何运动保持一致，则需要镜头的精确校准。第20页，共67页，2023年，2月20日，星期三二、渲染引擎虚拟演播室渲染引擎就是指三维图形加速卡。三维图形加速卡是虚拟演播室系统的重要组成部分，虚拟场景就是通过只维图形加速卡渲染出来的。当观众观看虚拟演播室制作出来的节目时，更多的是关注场景的逼真程度，这就要求虚拟演播室系统既要保证场景的复杂度、贴图精度，又要保证这样的场景能够以每秒50场(PAL制)的速度实时渲染出来。只有这样才能保证场景运动的平滑效果，这里的渲染，与非线性编辑系统、3DMAX等软件中常采用的后期非实时渲染是有本质区别的。在那些软件中通常不计时间一帧一帧地渲染画面，最终形成视频文件后再连续播放，所采用的渲染方式是中央处理单元(CPU,CentralProcessingUnit)的计算渲染，产生的效果通常是极精细的画面，而消耗的是时间资源。这种渲染方式在虚拟演播室中是不现实的，因为通过虚拟演播室制作的节目通常直接记录到录像带，采集到非线性编辑系统或者进行直播，所以需要采用实时渲染的方式。这就要求系统的核心部件一一三维图形加速卡具备优秀的硬件加速性能。第21页，共67页，2023年，2月20日，星期三第一代的图形处理单元(如NVIDIA公司的TNT2.、ATI公司的Rage)己经初步具备了一定的三维硬件处理能力，如光栅化，但顶点的变换还需要在CPU中进行。然而经过第二代、第三代的发展，如今的第四代图形处理单元己经具备了强大的三维图形处理能力，同时具备顶点级和像素级的可编程能力。以第四代图形处理单元为核心的三维图形加速卡能够渲染出更为绚丽的三维场景效果，当前图形处理单元领域最具代表性的两家公司NVIDIA和ATI公司，他们的产品在技术上有自己鲜明的特点。对于虚拟演播室系统的图形渲染来说，图形处理单元的反锯齿能力、可编程能力、支持的着色语言、光效处理、图形管线的精度、采用的总线技术核心频率、显存的带宽等指标是十分至关重要的。第22页，共67页，2023年，2月20日，星期三1.图形编程软件计算机三维图形是指将用数据描述的三维空间通过计算转换成二维图像并显示的技术，API(ApplicationProgrammingInterface，应用程序接口)是连接应用程序与操作系统、实现对计算机硬件控制的纽带，Direct3D和OpenGL是目前的两个主要的3D图形API,要在3D显卡上进行3D特效的制作需要通过它们来实现。1)OpenGL目前广泛应用于专业领域的3DAPI主要是OpenGL图形处理平台，这是一个标准的图形与硬件的接口平台，它的前身是SGIUNIX操作系统的IRIS上的GL图形库。SGI公司推出的GL二维图形库表现突出，易于使用且功能强大。利用GL开发出来的三维应用软件颇受许多专业技术人员的喜爱，这些三维应用软件已涉及建筑、影视制作、产品设计、医学、地球科学、流体力学等领域。随着计算机技术的继续发展，GL已经进一步发展成为OpenGL,OpenGL己被认为是高性能图形和交互式视频处理的标准，目前包括ATT公司UNIX软件实验室、IBM公司、DEC公司、SUN公司、HP公司、Microsoft公司和SGI公司在内的几家在计算机市场占主导地位的大公司都采用了OpenGL图形标准。2)Direct3D(D3D)Direct3D是基于微软的通用对象模式COM(CommonObjectMode)的3D图形API。它是微软〔Microsoft)创建的3DAPI规范，微软公司拥有该库版权，它所有的语法定义都包含在微软提供的程序开发组件的帮助文件、源代码中。Direct3D是微软公司DirectXSDK集成开发包中的重要部分，适合多媒体，娱乐、即时3D动画等广泛和实用的3D图形计算。第23页，共67页，2023年，2月20日，星期三2.三维图形加速卡第24页，共67页，2023年，2月20日，星期三第25页，共67页，2023年，2月20日，星期三3.渲染原理第26页，共67页，2023年，2月20日，星期三第27页，共67页，2023年，2月20日，星期三三、色键器色键器是虚拟演播室一个不可获取的重要环节。色键技术出现的年代与电视产生的年代相近，甚至在电影出现的年代就有所应用。在电视技术的早期(那时只有黑白电视)，一种色键的前身—亮键技术就己经被使用了。色键、亮键技术都是基于同一个原理的，即把一种特定的颜色从一幅图像中去除掉，再将另外一幅图像元素填充到这幅图像中，从而构成一幅由两个不同图像源合成的图像。亮键足将图像中最亮的部分或者最暗的部分抠掉，然后用其他的背景图像取代。而在色键的处理中，一个指定的颜色会被作为一个键信号用来决定图像中的哪一部分将被抠掉。从原理上讲，色键的实现方法比亮键更为复杂。为了判断视频图像中的哪部分要被抠掉，需要对图像中每个像素中的色彩组成元素(即亮度、色度、色调)与预先指定抠像颜色的色彩组成元素的数值和相位进行判断。第28页，共67页，2023年，2月20日，星期三对于色键器，蓝色通常被用做背景色，有时候绿色也会被用做背景色。虽然理论上任何一种颜色都可使用，但是多数情况下使用蓝色作为背景是出于多方面考虑的。一个主要的原因是蓝色是肤色的互补色或称为补色。互补色的特点是两者放在一起时，能最大程度地突出对方色彩的鲜艳度。因此色键器也能够更好地区分两种颜色，并进行抠像处理。由于大部分时间人是在蓝箱的里面，所以很容易区分人的肤色和蓝色的背最。另一个使用蓝色背景的原因是背景的蓝色反射在主持人的身上的情况相对于其他颜色的反射处理起来更容易一些，也就是说色被更容易去掉反射到主持人身上的蓝色.如果使用绿色背景，它有一个优势，即摄像机对绿色的敏感程度强于其他的颜色并且摄像机中的绿色信道具备更多的细节，但是绿色的溢出较明显，甚至超过了其他的颜色。总的来说，与使用绿色背景相比，人们在蓝色的背景下工作时心情更加愉快并且感到更加习惯一些。第29页，共67页，2023年，2月20日，星期三虚拟演播室技术是由传统色键技术发展而来的，它是把以主持人为主的前景画面和由计算机图形工作站生成的场景画面，采用色键抠像合成的方法构成一体，产生人物置身于虚拟场景的组合画面，如图16所示。色键技术的优劣会直接影响最终的合成效果，这样，我们在设计虚拟演播室系统时，就需要考虑有关色键方面的技术。第30页，共67页，2023年，2月20日，星期三传统视频领域中的键控技术的本质，就是应用视频开关控制图像的“抠”和“填”如图17所示。“抠”就是利用前景物体轮廓作为遮挡控制电平将背景画面的颜色沿该轮廓线抠掉，使背景变成黑色。“填”就是将所要叠加的视频信号填到被抠掉的无图像区域，而最终生成前景物体与叠加背景合成的图像。在这个处理过程中，依赖于前景物体所产生的遮挡轮廓信号，作为外键信号输入，背景图像中输出像素的键值为0%，而前景物体输出像素的键值为100%。这种传统处理方式存在的缺陷，是对前景物体的软边(比如头发丝)会产生蓝色镶边，就是我们通常说的“蓝溢出”(bluespill)。第31页，共67页，2023年，2月20日，星期三第32页，共67页，2023年，2月20日，星期三数字色键处理是在前后景间作混合而非切换，前后景先分别处理，然后再相加产生合成图像，在处理时它不用限制整体信号。早期的键采用的是非相加的混合，在前后景之间做切换，这种方法的局限性就是没办法将透明或半透明的前景物体叠加到背景上，而同时还要透过它看到背景。与传统的色键处理相比，数字色键处理具有以下特点：用完全相加混合前景与背景，可以再生象透明物体上的倒影那样的清晰效果；采用特有的算法产生遮罩(matte)信号，可以更好地从前景物体中区分出背景；采用抑制衬底及平抑蓝溢出的特殊算法处理前景的同时，允许在前景上再现蓝色阴影；第33页，共67页，2023年，2月20日，星期三以ULTIMATTE公司的数字色键为例来介绍一下数字色键处理的核心技术，ULTULTIMATE是世界公认的蓝/绿屏技术的领导者，无论从传统色键设备到先进的数字色键设备。一直在不断地提高产品的功能，引领业界的潮流。ULTIMATTE的数字色键处理还提供了以下的功能：全线性的遮挡：用于消除硬边缘，所有在前景图像中的图像虚化、清晰细致的图像、透明度以及影子都将在最后合成中重新生成；屏幕矫正：用于对不均匀的蓝屏幕、蓝布景，以及污点的调整，保证最后的合成完美无缺；噪点消除(GrainKiller)：对前景中的蓝屏和绿屏中的噪点进行过滤，不影响前景图像；自动处理：点击任意污染区域，自动地对噪点消除(GrainKiller)控制进行调整；冗余色块：提供了一个外部生成的冗余色块(garbagematte)；闪烁抑制：自动消除蓝屏幕闪烁或前景图像溢出，进一步控制过渡的溢出。第34页，共67页，2023年，2月20日，星期三就以下几个方面作进一步的说明：1)前景处理数字色键在处理前景时，不削弱前景，只削减描绘背衬的蓝色分量，对前景物体的外边缘的处理，可以保持高质量。一般来讲，数字色键都采用独特的算法有选择地减去信号级来表现出衬底。2)蓝溢出的抑制数字色键含有专门用来抑制由衬底溢出的光引起的前景物体的色污染，这是处理前景生成遮翠(matte)信号的处理过程的一部分。数字色键在处理前景时，将衬底的蓝(绿)抑制为黑，前景中的其他区域的蓝(绿)被减弱到一个合适的水平，传统色键通过抵消色度中的指定色调来抑制蓝溢出，而数字色键是有选择的减少蓝(绿)色分量。由此带来的不同是传统色键中的前景物体的蓝色将变为灰色，而数字色键中的蓝色仍保持蓝色。第35页，共67页，2023年，2月20日，星期三3)软边处理传统的色键合成图像时，使用遮罩信号作为外键输入，背景物体的所有像素将以100%的彩色分量值、0%的键值输出，前景物体的所有像素将以100%的彩色分量值、100%的键值输出，这样物体的柔化边缘不可能被清晰键出，同时蓝色背景将为最终的合成图像镶边，一般的处理方法是通过调整键的分割级数来抑制这种蓝色溢出，那样图像的细节会丢失。因此传统的解决方法，首先需要建立一个前景物体的轮廓图像，并且用补色代替蓝色背景，这种处理模式也被称为“消色信号”，其结果看起来不自然。比较流行的方法是利用一个中间图像，该图像生成于系统内部，由色键素材减去蓝色分量形成，看起来像“黑背景图像”，这个中间图像被称为“予繁衍前景”(pre-multipliedforeground)。但是使用其他视频设备去合成这个“予繁衍前景”时仍有缺陷，主要是其所使用的开关必须共有“加混”功能，否则软键部分就不能被清晰地键出，且颜色中保留有黑色，数字色键在进行处理时不会发生这种现象，它采用了一种高性能的柔化键处理技术，“非予繁衍前景”技术，不必顾及开关的功能，更适合于外键的生成。第36页，共67页，2023年，2月20日，星期三4）．遮档信号的生成在传统的色键设备中，一个遮挡信号的产生，一般经过下述步骤：(1)输入一幅蓝背景图像。(2)设置存储空间保留遮挡结果。(3)围绕蓝色背景设置分割区。(4)从图像左上角开始对每一个像素执行以下处理：将该像索描绘为彩色空间的一个点，得到它的彩色坐标；确定这个点是否落在分割区内；如果是，赋值为BLACK，否则，赋值WHITE；(5)存储该像素。(6)对所有像素重复上述步骤。(7)输出遮挡图像结果。第37页，共67页，2023年，2月20日，星期三四、虚拟演播室场景制作方法虚拟演播室的一个重要特征就是使用三维建模软件制作出的虚拟场景代替了传统演播室的实景，也就意味着场景从现实走向了虚拟。在各种流行的三维和二维图形图像制作软件中，场景的大小、布局、材质、动画、光线等元素可以自由设置，使得场景设计师就能够最大限度的发挥想象力，制作出符合节目要求的场景设计。场景创意的核心是要围绕节目本身内容的具体要求来进行的。一个好的场景设计能够和谐地营造气氛，烘托节目内容，从而展现令人赏心悦目的整体视觉效果。不同于传统的制景工艺，三维场景的制作工序简化了。它没有了烦琐的拼装、拆卸、维护、运输、储藏等过程，显著的节省了时间、空间、人力、物力。计算机中的场景制作，修改更为高效，节目间场景的调度可以在几秒时间中内完成。可见虚拟场景制作是虚拟演播室制作流程的重要一环，在这个环节中有它特有的一些规律性的特征，以下逐一进行介绍。第38页，共67页，2023年，2月20日，星期三1.虚拟场景的制作特点1)结构造型首先根据节目具体要求，确定场景的大小和类型，设计出合理的结构形式。在设计过程中要十分注意场景各个结构的比例关系和大小尺寸，因为合成的节目中主持人和嘉宾要与场景中的虚拟物体产生参照的，错误的比例关系会导致虚假的感觉。设计过程中，可以在场景中放置与真实人物同等大小的参考模型，这样就能够避免录制时出现比例失调的情况。其次，对于经常出现在画面里的物体要制作的尽量精致，避免由于模型多边形数量的不足而产生的结构不圆滑的情况。而对于那些不使用近景拍摄或者很少出现在镜头里的场景部分所用的多边形数最要尽量优化。因为虚拟演播室系统采用的是实时渲染技术，对于场景结构复杂度是有要求的。三维场景的建模不能是多边形的任意堆砌，多边形的取舍在这里体现的十分重要。再次，设计中要注意结构景深和立体感，要让场景体现出远景、中景、近景三个不同的层次。第39页，共67页，2023年，2月20日，星期三2)纹理材质在真实世界中，决定物体的物理性质主要是通过材质和纹理来体现的，准确地模拟现实中的物体表面特征，才能得到逼真的画面效果。在使用材质时，应当避免大面积的采用反射效果，因为如果主持人走在一个具有反射效果的地板上而没有出现倒影的话，就会造成破绽，设计的再逼真的地面也会显得虚假了，还要避免将低分辨率的贴图贴在大面积的结构上，因为在取近景时画面会很模糊。在设计过程中，要养成合理运用贴图来表现细节的好习惯，不要一味地在建模上消耗大量的系统资源。第40页，共67页，2023年，2月20日，星期三3)灯光效果再好的场景如果没有设计好灯光也就是白纸一张。在运用灯光过程中，要以真实光照为蓝本，要分出主光区，副光区来表达场景的主次，冷光源和暖光源要合理的安排到场景中，这样可以让场景显得十分饱满。同时阴影也是必要的，这样可以增加场景的真实度。在相互遮挡的物体之间，要放上结构灯加以区分，以此来增强场景层次感。在一些平面结构比较多的场景里，可以多加一些具有投影效果的灯光，将其产生的灯光纹理打到墙上可以增强材质的对比，由此使画面看起来更加丰富。第41页，共67页，2023年，2月20日，星期三4)拍摄取景通常在制作场景时需要考虑整个画面的构图和色彩，正确的方法是从真正拍摄时所需的近景构图去考虑，然后再去实现中景和远景，这样才能保证场景细节丰富，结构有形。在节目拍摄过程中，真正使用的是个别的景别，需要对经常使用的场景区域进行仔细刻画。有些场景从整体上看设计的很漂亮，但在拍摄过程中却无法从中选取合适的景别，这说明设计的顺序出现了问题。重点景别的选取要能够充分体现节目内容、表达结构层次、节目标志和精彩点，场景设计时，设计师要多与摄像师沟通，共同制定出符合节目要求的构图。第42页，共67页，2023年，2月20日，星期三2．虚拟场景的制作流程((3DMAX)1)单位的确定2)建模3)材质4)灯光5)烘培贴图6)输出第43页，共67页，2023年，2月20日，星期三第44页，共67页，2023年，2月20日，星期三第45页，共67页，2023年，2月20日，星期三第46页，共67页，2023年，2月20日，星期三第47页，共67页，2023年，2月20日，星期三第48页，共67页，2023年，2月20日，星期三五、灯光和蓝箱技术虚拟演播室制作的节目是由摄像机拍摄的前景视频信号和计算机生成的虚拟背景视频信号通过色键器合成到一起，为了保证最终合成图像的真实感，对演播室中的蓝箱(或者绿箱)和主持人的正确布光是十分重要的。这个环节处理的成功与否直接关系到色键器抠像质量。所以在录制节目之前，灯光师需要与场景设计师，摄像师和技术人员进行充分的沟通，仔细地设计灯光。从本质上讲，在虚拟演播室中使用灯光与单纯的色键器抠像布光是没有什么区别的。但是，在虚拟演播室的使用过程中，当摄像机运动拍摄到某些光线处理比较复杂的地方时，对于灯光的使用提出了更高的要求。通常在使用固定机位时，前景及背景蓝箱布光中的一些不足在节目中是看不到的，但是在摄像机运动拍摄的情况下，布光的缺陷就变的显而易见了。第49页，共67页，2023年，2月20日，星期三以下是在虚拟演播室灯光和蓝箱设计中的一些。1)主持人的布光2)蓝箱的布光3)摄像机的调节第50页，共67页，2023年，2月20日，星期三1)主持人的布光布置虚拟演播室灯光时，建议首先为主持人和其他前景物体布光。演播室中主持人的用光应该与虚拟场景中虚拟灯光的使用相匹配，避免出现明显的反差。用于主持人的主光方向要与虚拟场景中的主光方向一致在用光的强度，柔和度以及照明的色调上的明显不同会造成合成画面中主持人与虚拟场景触合的不自然，使两者割裂开来，这将完全破坏我们想极力完成的前景与场景的无缝结合。第51页，共67页，2023年，2月20日，星期三比如，场景是一个灯光昏暗的酒吧，用少量略带红色的柔光照亮，而人物光用了很亮的白色光，这将会使主持人从场景中生硬的脱离出来并且使整体画面的感觉会变的很不和谐，灯光师运用主光时，要尽全使主持人的阴影投射到地板而不是蓝箱立面上，地板上的阴影能够增强节目效果的真实感，同时应该控制光强，避免在蓝箱上形成明显的光斑，这会给色键器的抠像造成难度。第52页，共67页，2023年，2月20日，星期三虚拟演播室中的布光中，主持人的侧光和逆光变得尤为重要。首先，侧光和逆光能够烘托出人物头颈和肩部，勾画出人物的立体轮廓，与背景分隔开来，体现出立体感、空间感，其次，由于蓝箱的反射光会在人物的边缘产生蓝色的光晕，侧光和逆光如果运用不当，通过色键器处理后有可能会在主持人的轮廓边缘出现黑边，使得合成效果很不协调。所以合理的使用侧光和逆光能够消除由于蓝箱反光造成的影响。聚光灯常用来为主持人布光，为了防止产生较硬的阴影，可以在灯前加柔光纸。第53页，共67页，2023年，2月20日，星期三地面辅助光的使用，是虚拟演播室的一种用光方式。其主要目的是：当人物站在蓝箱中不走动时，人的鞋与地板之间会有一条黑缝，这条黑缝会造成图像合成后人物的鞋陷入地面的感觉。而当人物在蓝箱中抬脚走路时，鞋底与地面之间会形成阴影。图像合成后，会看到有抠不净的杂波随人物一起走动。地面辅助光的使用不但可以消除这两种现象，而且它还有助于消除由蓝地板反射光造成人物的手臂朝向地板的一面及人物的下巴等处被地面的蓝色光反射造成这些地方图像合成后出现的杂波。同时地面辅助光的余光还可以起到柔化人物脖子下和鼻子阴影的作用。第54页，共67页，2023年，2月20日，星期三2)蓝箱的布光为蓝箱布光的原则就是整个箱体均匀、柔和的布光。蓝箱照度以及颜色纯度上的均匀是保证抠像效果的关键。布光时，灯光师需要对蓝箱的三个立面(采用U型蓝箱时)和地板均匀照明。如图所示。通常采用三基色柔光灯对蓝箱进行布光，三基色柔光灯的色温稳定性好、色彩还原性好，并且不会产生过多的热量。布光时，对蓝箱的灯光强度应该是相同的，且不宜过大。调光器不能用来改变背景光的照射强度，这将造成灯光色温的下降，而使光线变的更黄。演播室中所有的灯光应该保持同样的色温，在使用多个调光器的时候，所有的调光器应该正确的调整到同样的输出电压。第55页，共67页，2023年，2月20日，星期三照亮主持人的灯光应避免照到背景，同样照背景的灯光不要照到主持人。如果演播室蓝箱较大，这种情况是容易避免的，但是如果演播室蓝箱空间较小，就需要特别注意了，因为这样会额外增加前景或背景的照度。照射前景的灯光会影响背景灯光的均匀分布，而来自背景灯光的直接照射能够改变给主持人的主光和辅助灯光间所要求的平衡。对于蓝箱和主持人的灯光照度应该是一样的。通常可以使用灰度卡分别对主持人和背景的灯光照度进行测量和调整，它们测得的数位应该是完全相同的。如果背景的光线较强，那么色键器的输出效果不会很理想。为了使合成后的图像中人物的轮廓边缘有质感，避免出现抠不干净和人物边缘出现锯齿的现象，蓝箱尽量大一些，给人人物留下足够的活动空间。如果条件不允许，人物要尽量离蓝箱远一些，防止蓝箱的蓝光反射到人物的衣服、头发和脸上，造成人物轮廓抠不干净的现象，此时也可能将蓝箱中立面墙的基本光适当压低，减少对人物的蓝色反光以保证人物的边缘与背景融合。第56页，共67页，2023年，2月20日，星期三3)摄像机的调节在拍摄前，正确地调整摄像机的白平衡。若使用多台摄像机时，则保持各摄像机间信号质量的一致。应该使用相同型号的摄像机和镜头。摄像机的光圈建议不要设置得太大，否则将使得绝大多数摄像机镜头拍摄画面中的角落变暗。如果在演播室中没有足够的光线，单纯的增加摄像机的增益值将不会有任何好处，相反还会在视频信号中增加相当数里的噪波，给色键器的抠像带来更多的困难。如果没有足够的灯光提供给演播室中的摄像机，那么除了增加灯光外没有其他更好的解决办法。第57页，共67页，2023年，2月20日，星期三六、实现高质量节目效果的技巧通过虚拟演播室技术制作出的节目效果，无论是表现为抽象、虚幻的环境或是模仿真实的环境都要计观众看后感到自然、合理。也就是说构成前景的主持人，道具等与虚拟背景要很好地融合，前景与背景的气氛、色彩、光线、比例、互动关系等元素做到和谐一致，使观众观看后感觉两者是在一个统一的空间中。如果在虚拟演播室系统的某个环节处理不当，制作出来的节目就会表现出不真实的效果。第58页，共67页，2023年，2月20日，星期三下面从几个方面介绍如何能制作出更具真实感的节目作品。（1）产生自然的边缘（2）透视关系（3）光线匹配（4）色彩调整（5）前景与背景运动的同步（6）前景与背景的互动第59页，共67页，2023年，2月20日，星期三（1）产生自然的边缘虚拟演播室中采用的色键器均是实时的抠像合成设备。如果正确地使用色键器，即使在光照等演播室条件不太理想的情况下，它也能够合成较真实、自然的节目效果。在节目图像中如果在主持人的边缘出现非自然的边缘会影响节目效果的可信度。如果边缘出现黑色或彩色的边缘，或者出现细节丢失的现象，那么视觉画面的真实感立刻就被破坏了。这种效果就如同把剪裁下来的前景图像粘贴到背景画面上，是割裂的两层画面，而不是一个和谐的整体。第60页，共67页，2023年，2月20日，星期三（2）透视关系要实现真实的节目效果，正确的前景与背景的透视关系显的尤为重要。