基于多摄像机视角插值的足球竞赛虚拟视角回放

1、基于多摄像机视角插值的足球比赛虚拟视角回放摘要：本文提出一种新颖的方法来合成虚拟视角,通过在一个体育场安装多个摄像头进行采集图像，使得观众可以观看整个真实的足球场景。本文所提出的方法，是通过被选的视角旁的实际摄像机查看插值，从而生成任意视角的图像。在这种方法中，不需要太强调相机的校准，因为我们将摄像机投影几何学运用于插值覆盖。为了避免复杂和不可靠的3D恢复过程，根据场景的几何属性，对象场景被分割成几个区域。考虑到真实视角之间存在对应关系，因此生成中间视角十分有必要，这个过程是将投影几何学运用到每个区域自动生成的。通过叠加所有区域的中间图像，可以生成整个足球场景的虚拟视角。该方法可以不必强调校准

2、摄像机，也不需要手动调整使其对应匹配。因此，可以很容易地将该方法应用到在一个大范围的动态事件。其中一种应用就是，通过视角合成的算法处理实验结果来观察一场正常足球比赛的回放。这为通过任意一个视角查看整个动态事件提供了一种新方法。关键词：动态事件多相机投影几何足球比赛视觉插值虚拟视角合成1引言信息和通信技术的发展使我们能够欣赏来自世界各地的体育和娱乐活动，除了转播事件外，现今的电视广播也提供了多种视觉效果的娱乐。举个与这些影响相关的例子，视觉系统被CBS用于直播第三十五届超级碗。在这个系统中，使用超过30个摄像头采集多个视频流。然后，用不同视角的视频图像序列来创建一个3D的视觉效果，使得视角在某一

3、暂时固定的时刻可以围绕在对象事件周围。该系统采用简单的视频图像切换的视觉效果，并且计算机基础视觉技术可以提供更具吸引力的视觉效果，如合成任意视角图像的虚拟视角。虚拟现实1，这是一个开创性的项目。在这一领域，要实现这样的虚拟运动的动态场景，需要利用计算机视觉技术，从多个视角重建目标场景中对象的三维模型，随后，将真实图像中的色彩用于合成3D模型的纹理；并且使用传统的渲染技术，将会生成带有颜色纹理3D模型视觉图像。在一个大的空间中，为动态事件提供视觉效果的技术最近已被提出2、网，它们使球员能够从球员周围的视角查看某个特定领域的球员。在2中，三维物体的形状由一组平面描述，以便有效地合成物体的一种新的视

4、角。在3,一个特殊的3D坐标系统，建立在相机的极线几何，用于无需摄像机标定的3D模型的重建。在这些方法中，目标区域是在一个大的空间，其中一些球员存在某一局部区域。另外，在足球比赛中的任意视角运动的方法已被提出4o在这种方法中，球员所代表的简化3D模型，重建使用多个视角，然后虚拟视角图像的球员被呈现在一个虚拟的体育场。虽然观众可以从任意的角度来观看整个足球场景，但所呈现的体育场并不是一个真正的体育场，而是一个计算机生成的虚拟模型。我们的目标是实现对于一整个体育场的实际体育赛事的虚拟视角合成。整个场景，包括球员、球场和体育场都是一个重建的目标，即对象面积大于以前的方法中描述的1、3。止匕外，在虚拟

5、视角中体育场也应该使用采集的场景合成，而不是计算机生成的模型。在本文中，对整个足球的场景的虚拟视角生成，我们提出了一种新奇的方法，在真实的球场使用多个未校准相机。如果不使用3D模型，只有相邻相机之间的投影几何是用来合成新的视角图像5-7。视觉插值8可以通过实际的摄像头来从任何中间的视角重建整个足球场景。首先，相邻的相机之间的射影几何从图像序列获得。通过叠加所有区域的中间图像，虚拟视角中整个足球场景的整体外观可以更加容易地以一种逼真的方式合成呈现。止匕外，我们引入了“看足球比赛录像点播系统”。现有的电视广播只提供预先制作的内容，在生产中手动选择视频摄像机转播体育赛事，这本质上是单向通信。另一方面

6、，互联网有利于广播电台和观众之间的互动交流，内容可以根据观众的需求进行交互修改。如果观众可以选择自己喜欢的视角，他们将从观看这些激动人心的场面中获得极大的乐趣。我们证明了需求系统的视角可以作为互动通信媒体的一个例子。使用所提出的系统，用户可以在观看比赛的同时，自由选择自己的首选视角。他们可以专注于一个特定的球员在特写镜头或可以使用变焦虚拟相机跟踪球运动。本文的结构如下，在第二节中，相关工作的虚拟视角合成，在三种方法中引入了代表性方法。概述所提出的方法是在第三节。第四节解释了如何评估投影几何用于视角插值。随后，在第五节提出将视觉插值技术运用于大型活动的整个场景。第六节展示实验结果，然后在第七节提

7、出关于需求系统的观点。在第八节提出的讨论之后，我们最终在第九节中总结了我们的工作。2相关工作在计算机视觉领域，从一些实际相机图像合成的虚拟视角图像的技术自20世纪90年代就已经开始研究9-11。这些技术，称为基于图像的绘制（旧R）,可以分为三类，基于模型的方法、基于转换的方法、和采用全光函数的方法。通过使用基于模型的方法，它是能够构建3D模型的对象，以生成所需的视角。如前文所述，美国的虚拟现实1项目，例如电影中采用在任意视角合成以及重建带有彩色纹理的三维模型等。惠勒等12提出了一种利用多视角图像进行三维重建的方法。由这些方法生成的虚拟视角图像的质量取决于3D模型的准确性。对象周围的大量摄像机或

8、范围内的扫描仪被用来构建一个精确的模型。此外，摄像机标定13通常需要将图像中的二维坐标与物体空间中相应的三维坐标相关联。由于它是必不可少的测量对象空间中的几个点的3D的位置，变准变得困难，特别是在一个大的空间。由于这些原因，这种方法的对象区域一般仅限于几立方米。另一方面，通过使用基于传输的方法，它是能够合成任意的视角图像没有一个明确的3D模型。塞茨和戴尔14使用变形技术15合成静态场景之间的一对图像的新观点。陈和威廉姆斯8也提出了一种方法，在中间变量的中间视角的变形率的方法。Avidan和Shashua16采用三焦张量图像传输。在这些方法中，密集的原始图像之间的对应关系，需要产生中间视角，对应

9、的往往是根产生的手动或通过光流；因此，目标几乎都是静态图像或稍有不同的图像，如面部表情。最近，Manning和Dyer已经扩展视角变形14刚性物体的平移，即动态视角变形17。Wexler和Shashua提出了一种方法，让运动物体从三个视角沿着直线路径来变换动态视角18。而以上两种方法只涉及转换过程，肖等人已经把变形技术扩展到旋转的情况下，并将其应用于非刚性物体的复杂运动19o所有这些方法计算的运动参数的对象，以插值的移动物体的外观。将这些方法应用到包含复杂运动（例如体育比赛）的多个物体的场景中是不实际的。至于采用全视函数，它描述了所有的辐射能量，通过在空间和时间中的任何点的观察员认为，这可能是

10、从一组样本图像创建新视角o这允许用户任意平移和倾斜的虚拟摄像头，并交互地探索他/她的环境。在其最一般的形式，全视函数是一种七维函数。由于它的高维性，数据压缩或压缩的全视函数是必不可少的。最近，Shum人22提出了一种新的基于图像的绘制技术称为同心马赛克虚拟现实应用。他们提出的3D全视函数和同心马赛克的压缩算法。这种方法提供了更好的图像质量和较低的计算需求渲染比基于模型的方法。然而,它是不适合大型事件，因为它是不可能的描述所有的辐射能量。在相关的方法，康纳等提出了一种利用分层表示方法实现对图像之间动态合成的方法23o前景对象被表示为具有一个背景的多个层。随后，通过估计的分层模型的参数，生成新的视

11、角图像。在该方法中，在初始帧中的相应区域的近似选择是必要的层表示。层的数目不随时间变化，因此，它不能被施加到一个长的图像序列。另一方面，通过应用所提出的方法，我们可以自动合成的动态区域的虚拟视角图像，并表示在每个帧中的整个足球场景。我们将方法应用于长达几分钟的图像序列。止匕外，本文采用的视角为内插三视角。3方法概述图像的任意视角由实时摄像机图像之间的视觉插值所产生。由多个摄像机选择由用户选择的虚拟视角附近的两个或三个摄像机。虚拟视角图像是通过性选择的相机之间的响应。由于我们的目标是在一个大的空间中的动态事件，我们的对象场景分割成动态区域和静态区域，然后在每个区域独立执行视角插值Mutirpic

12、: VjcwiEtliniffltMMi ofPim用I mm”IEhckipvi1md SubfradieinBionnzBfi-Dffi, Lji*h“ SiJhMj#lfte MMehinf%w SyntbeHt forjFidbrVmw专户i杂IbrLabeled Ln.esiMjErwdaair lisiges cFEM翼tff柚田_LnJrrni&fiale linages oFfnwinfrK/umPkudM皿bi.*Me邙hiD&HlEtlln1g1311向出版口|45丽城阈皿了、CmociM业Imi初4门SaporimpaqiiMiiCTlrffig-fnailiaEcEni

13、Ite04-图1处理方法图1描述了所提出的方法的概述。我们的做法如下：首先，多个视角之间的投影几何，这是基本的单应矩阵矩阵24和24,被用于估计选择某一帧的图像序列。足球场景通过背景减法分为动态和静态区域进行视角插值。根据足球场景的属性，静态区域也可以被划分成几个平面区域。一个是背景区域，它可以近似为一个无限远的平面。其他的区域，如地平面和目标，它可以近似为一组平面。中间的图像是通过每个平面区域对应变换合成。由于背景区域和字段区域被认为是稳定的，它们可以通过人工检测，并且虚拟视觉图像可以预先通过一个中间视角生成。虽然可能无法采集所有的观众的动作，我们并不认为这是一个问题，因为观众的运动不是必要

14、的足球场景表示。如果拍摄的场景光线变化，背景图像可以由每一光照条件下采集的序列产生，这在第V-B章节有解释。至于动态区域，视角插值在每一帧都是必要的，因为一个物体的形状或位置是随时间变化的。然而,我们的方法，结合在线和脱机流程为了有效地渲染场景。在脱机过程中，每名球员区域分割和自动标记。标记区域相同的球员在相邻的视角中通过对应变换通信。在线过程，应用基本矩阵获得稠密对应每一个标记的区域以及球形区域。变形技术通过参考摄像机图像生成中间视角图像。如果捕获的场景中球员和球有阴影，中间图像也生成阴影。最后，通过叠加中间图像背景区域和动态区域，我们就完成由用户选择的整个足球场景的虚拟视角。4投影几何的估

15、计A.基本矩阵两摄像机之间的对极几何的基本矩阵表示(表示为矩阵的下方)F,这是一个3X3矩阵。如果点P在三维空间投影到在第一点P1和P2的第二点，对应的图像点满足如下方程：成丁电=0(1)P1和P2分别为P1和P2的均匀坐标。F是一个有7个自由度的秩为2的均匀矩阵，因此，它可以由至少两个视角中7路通信进行非线性计算。考虑到在立体匹配中对应点的搜索，可以减少搜索面积。假设一个点在第一个视角中是已知的，那么第二个视角中的对应点必须位于：lFX(2)其中L和x分别表示L和x的齐次坐标。因此，搜索不需要覆盖整个图像平面，并可以限制到极线。在所提出的方法中，采用矩阵获得稠密对应的动态区域。B.单应在第一

16、个视角中平面图像点与其对应的第二视角中使用单应矩阵H的图像点相关，如sp?2Hp?(3)其中P1和P2是对应图像点的均匀坐标，是尺度因子。H是一个带有8个自由度的3*3的矩阵，因此，它可以计算由至少两个对应的两个视角。通过同一图形变换，一个视角中的点决定了另一个视角中的一个点。该方法采用跨层应在静态重新获得致密的对应区域。5视觉插值A.静态区域在每个区域中的视角插值的方法描述如下。为了简单起见，我们考虑插值两个视角的情况。此方法也可应用于三视角(见第六节)。由于静态区域被认为是很少或根本没有变化随着时间的推移，视角插值实现只有一次在选定的帧中，既不存在球员也不存在球。如果在捕获的图像序列中不包

17、含这样的图像，则可以通过将图像序列的模式值设置为每个像素来构造。因此，不包括动态对象的图像，从而产生每个摄像机。如果捕获的场景有变化的照明，背景图像需要生成的序列中的每一个照明条件。在我们的实验中，我们预先合成的背景图像的图像序列的每150帧。1)场域：在足球场景中，地面和球门可以被视为一个平面和一组平面。然后运用到平面单应获得的中间视角生成所需的对应关系。方程(3)产生两个平面视角的像素明智对应。表示地面目标提供密集的通信在这些区域的平面单应矩阵。我们首先生成两个插值图像在相同的虚拟视角使用两个定向对应，从视角1到视角2和从视角2到视角1,分别。然后，两个扭曲的图像被混合到一个单一的图像。为

18、了扭曲图像，图像的位置和值由图像变形转移，由下列方程描述：p1arap2(4)AndIp1aIP1alP2(5)其中P1和P2是图像中的I1和I2,分别对应点的坐标，和I(P1)和I(P2)图像中的I1和I2,分别对应点的像素值。P代表插值坐标和I(P)代表的插值像素值。定义了分配给各个实际视角的插值权重，如图2所示。两个扭曲的图像生成使用上述过程中，它们被混合成一个单一的图像，这是在中间视角的目标图像。在混合这两个图像，如果一个像素的颜色不同于这些图像，在虚拟视角中的相应的像素呈现的颜色的平均值，否则，所呈现的颜色是提取任一实际图像。图3给出了实例产生中间图像的场区。图3(a)和(d)显示真

19、正的摄像机图像，和(b)和(c)显示从(a)和(d)的内插图像。的虚拟视角的插值权重的真实视角是4至6(b)和6到4(C)。图2图像变形的对应传输tc)IntrniKdiafc1Vmw(Weight6:4)(d)FieldRegenofView2图3足球场区域实时图像例子2）背景区域：背景被放置在与摄像机的视角位置成距离的区域，这样它可以被看作是一个单一的、无限远的平面。我们从每两个实际的视角合成图像，以便产生马赛克，这是各自的全景图像的背景。在这里，我们假设的背景相邻的观点有重叠的区域。从这些全景图像中提取中间视角图像。我们开始通过单应矩阵组合两个视角的坐标系统，它代表从第一视角到第二视角关

20、于背景的变换。接下来，我们混合的重叠的像素值是这样的，在交界处的像素颜色可以顺利地连接两个背景。拼接图像中的像素值由以下方程给出：(6)xx2xx1 HYPERLINK l bookmark0 o Current Document x2xiV1和V2的I1和I2的像素值，和X1和X2是左边和右边的重叠区域的坐标，分别为（如图4所示）。然后从全景图像中提取每个虚拟视角所需的局部区域。以下的单应矩阵Hb然后用于坐标变换来完成背景区域的中间视角。1K=(1一口/+aHb,其中a为插值权重，E为3X3单位矩阵。图5（a）和（b）举个例子说明真实相机图像中背景区域，以及（c）显示（a）和（b）组成的合成

21、图像。图5（d）和（e）当前背景图像的中间图像，其内插权重对d中的图6为4,对e中的图4为6。X2图4图像合成(dJnlcrmcdialirVic*(Weigfii4;6)w)InleTrncdiMt:Vic*(Wtnht6:4)图5背景区域实时图像例子B.动态区域动态区域的视角插值方法如下。在这些区域中，随着形状或位置的变化随着时间的推移，视角插值实现为每个帧。该过程分为脱机和在线过程的有效性。在脱机过程中，所有帧的动态区域中提取的减去从原始图像的背面。既不是球员也不是球存在的图像被用作每个相机的背景。如果视角插值被施加到序列中有变化的照明，我们选择一个背景相同的光照条件。动态区域和静态区域

22、的分割有时是困难的。因此，我们提取动态区域的背景减法,不仅使用强度，但也有颜色矢量，它有三个组成部分：红，绿，蓝。它们被认为是相同的像素分配到当前帧图像和背景图像之间的静态区域，而它们在动态区域的像素变化。图6动态区域提取图6显示了背景减法的结果。动态重新为用上述方法大大提。虽然这种分割是必要的应用视角插值，我们不直接解决这个问题。这是因为主要观察本文目的是产生虚拟视角视频效果点重播在动态区域正确提取条件。由于提取的区域通常包含几个球员和一个球，可能还有阴影部分，我们分别处理这些动态对象。如果阴影包含在对象场景中，我们首先分割阴影区域和球员/球区域。几何信息和颜色信息都被用于这种分割。据推测，

23、阴影通常投射在地面上的足球场景。我们发现一个阴影区域的候选人通过接地平面的所有提取的动态区域相邻的两视角矩阵。这种检测基于单应经常包括球员的脚的一部分。因此，我们还使用像素颜色的阴影提取，通过HSI变换的候选人在每个视角图像。在当前帧图像和背景图像之间的阴影区域的像素的色调几乎是相同的，而它是不同的播放器/球区域。图7显示的分割结果，在上面的方法，这是组合方法的几何变换；矩阵变换和颜色变换；HSI变换，比较的方法只使用单应变换或HSI变换。很明显，合并的方法在动态区域中对阴影部分和球员/球的处理好于独立处理的方法。分割后，视角插值被分别施加到阴影和球员/球区域。在经典的处理方法中，它是可以通过

24、在一个环境中估计光源，从而在另一个视角中合成的阴影；但是，这需要大量的计算成本。另外，在该方法中，我们可以使用投影几何从参考图像转移主体阴影中间视角图像的阴影区域。因为考虑到阴影被投射在地面上，将单应变换应用到阴影区以及其他区域。阴影区域的中间视角使用的接地平面的单应变换，这在第V-A节中有解释。(aiOfigmal(h)HmiDjTaphyTranxl-arm(CjHSITransfkirm,(d)CturihmcdMethod图7动态区域分割结果的比较接下来，我们生成的球员/球区域的虚拟视角图像。标记过程被用来分割每个球员和球。随后，利用地平面如图8所示的单应得到相应的剪影。这是基于这样的

25、假设，一个球员的脚总是与地面接触。即使玩家的跳跃，在跳跃引起的误差很小；因此，表示地平面的单应矩阵仍然可以找到对应的剪影。然而，由于封闭，有些球员可能没有一一对应。在这种情况下，使用前一帧的分割轮廓来处理球员的分离。如图9所示，在封闭的球员的脚的位置是由相邻地平面的单应矩阵计算的观点。然后从边界框(矩形周围的分割球员)的上一帧投射到当前帧。因此，封闭的球员也可以有一个正确的对应。如果在两个视角中检测到封闭，则将球员视为一个大目标。对于在线过程，无论是标记的图像和剪影对应存储在每两个相邻的观点。这就是脱机完成过程。图8动态区域对应Bounding Box j, Foot Posrtion图9覆盖

26、区域对应在线过程使用存储信息，例如，关于选择虚拟视角附近的两个参考视角，标记的图像和对应的轮廓。通过绘制在两个不同的视角，例如视角1和视角2的极线，使用一个矩阵，我们得到的像素对应的轮廓。在每一个极线，交叉口与边界，如A1和A2,B1和B2图8,首先获得轮廓内的对应关系，该对应关系是通过以下方式获得交点的线性插值。在获得整个轮廓的稠密对应之后，将像素位置和值从视角1的源图像中转移，并以相同的方式在图像区域中以图像的方式查看目标图像的2。然而，视角插值只产生中间视角的图像，其中真正的相机的缩放比是相同的。为了提供自由视角观察的缩放效果，它是必要的控制的3D的位置的虚拟相机或它的焦距。由于所提出的

27、方法，它是基于视角插值，不能直接处理的外在和内在的参数，我们处理一个缩放功能扩展或收缩图像。视角插值修改如下方程给出的，而不是（4）:ff（8）P1aPiCiGap2c2-C2f1f2其中Ci和C2图像I1和I2,分别对应主点坐标，和F1、F21和2相机的焦距，分别。f表示虚拟摄像机的焦距。这个方程可以通过实际相机的焦距和虚拟相机的焦距的焦距比的扩展和收缩，进行大概的放大或缩小。使用（5）传输像素值。通过混合两个扭曲的图像生成虚拟视角。上述算法适用于每一对轮廓。根据视角的距离合成它们后，所有的球员球区域被覆盖到阴影区域上。这总结了动态区域的视角插值。最后，在背景区域中、其他区域和动态区域进行图

28、像叠加的排序，完成所选择的视角的整个场景的虚拟视角图像。Camera 1Camera 1Camera 2Camera 4Camera 3Camera 3“Camera 2I Camera 4(a)OitaStadium/EdogawaAthleticStadium(b)KashimaStadium图10体育场摄像机布局6实验结果在三个足球场中，我们将所提出的方法应用到了实际足球比赛，通过多个摄像机采集多个图像序列；在日本东京的江户川田径体育场、千叶体育场和鹿岛大分的大分体育场。如图10所示，在所有的三个体育场的一个侧面放置了一组四个固定摄像机以拍摄罚球区。相邻的相机需要重叠区域的背景图像拼接。

29、采集的视频被转换为BMP&式的图像序列，由720个480像素，24位的RG形色图像，然后用于虚拟视角合成。在这个实验中，我们手动选择50对应点的三维位置。图11给出了在江户川竞技体育场中足球场景生成的中间图像的一些结果。图11（a）-（d）展示使用真实相机拍摄的图像和其他方法提出的虚拟视角图像。球员的位置和背景的位置逐渐改变取决于虚拟视角的角度，这是由两个真正的相机视角之间的插值权重决定的。例如，虚拟视角（E）是位于一个相对重量的摄像机之间的1和2位8。虽然我们的方法涉及到渲染的分离区域，合成的图像出现非常逼真的，由于该区域之间的边界是不可见的。图12介绍了从不同角度重建球员。不仅整个场景的全

30、局外观，而且该球员的本身外观可以在很大程度上展示出来。我们也有实验结果的评价。如图13可见，该方法适用于计算机生成两视角图像绘制的OpenGL那里的四个长方体放置在一个平面上。图13（c）显示由（a）和（b）内插权重值为的方法所生成的合成图像。这个结果是通过叠加虚拟视角图像是平面区域上的虚拟视角图像合成的立方区域。图13（d）显示由OpenG绘制的图彳象,与（C）相同的观点。（c）和（d）之间的色差呈现在（e）。尽管在物体的边缘可以看到误差，但合成图像的大部分区域在外观上几乎相同。这一结果表明，该方法表示的对象在正确的位置在中间视角图像具有一定的色差。像素对应错误是导致颜色差异的重要部分。图1

31、4比较了足球场景的虚拟和真实摄像机拍摄的图像在江户川竞技体育场使用相机。图14(a)和(c)显示了从使用相机2拍摄的真实视角图像生成的虚拟视角图像4。图14(b)和(d)显示使用相机3拍摄的真实视角图像。虚拟摄像机被放置在插值权重为5至5之间的位置的相机2和4,这是接近但不符合相机的位置3。通过比较虚拟和真实的图像，我们看到，现实的图像没有失真。在虚拟视角图像中正确地重建了由两个真实摄像机捕获的播放器区域和字段区域。球员的位置略有差异导致虚拟相机和真正的相机产生的视角位置的差异。接下来，我们所提出的方法在鹿岛体育场应用于三视角拍摄。在三个视角均存在视角插值的情况下，视角的位置是由重量a和重量B

32、决定，如图15所示。从三个真实视角图像合成的虚拟视角图像变形的情况下，两个视角。使用下列方程代替(4)和(5):p1a1P1a1P2P3(9)AndIp1a1IP1a1IP2IP3(10)其中P1,P2,P3,是坐标的对应点在图像I1、I2、I3,分别，I(P1),I(P2),I(P3)的像素值的又t应点在图像I1,I2,I3,分别。当参考相机的数目为三，混合的参考图像的颜色为所有点可能会模糊的虚拟视角图像。然后，我们使用的像素值的最近的相机的边缘点。图15给出了合成的图像从三视角图像的结果。足球场景，包括从真正的三个视角的阴影是从虚拟视角。我们还得到其他的场景包括在大球场拍摄的阴影效果，在视

33、角插信函数的两个视角之间进行(见图16)。图16(c)显示了当图像插值被应用到阴影和球员/球区域分割后得到的图像，而(d)显示没有分割的结果。虽然图16(D)缺乏部分或整个阴影中的球员，但所有的阴影预计正确(C)o这表明，通过变形的阴影区域，我们可以成功地重现另一个视角里的他们。gCam.-2WtigblH2U)Cm.23Wn汽3(p)Fann,3TWri中心图11在江户川竞技体育场中从采集一帧来合成整个虚拟视角的足球场景图12从不同角度重建球员图17给出了一个虚拟视角重放的图像序列的例子。自由视角观察是通过选择参考摄像机和插值重量为每帧。帧1462和1468包含一些封闭，但对封闭的球员不断跟

34、踪，他们的外观很好地利用相邻的摄像头信息和以前的帧信息进行合成。最后，我们通过改变视角的位置以及球的运动制作了一个视频1,以便观众观看整个足球场的足球比赛。另一个例子是一个视频，创造了一个3D的效果走动的动作场景的电影“矩阵”，我们已经创建了两个视频来比较所提出的系统和“视觉”系统。这种比较表明,旋转的虚拟摄像机通过视觉插值，使虚拟摄像机的视频比起真正的摄像机可以得到更有效的切换。7需求观点作为该方法的一个应用，我们已经开发了一个系统，称为“视角需求系统“，观众可以从自己喜爱的观点看足球比赛回放。图18给出了系统的接口。根据虚拟摄像机的位置和缩放比例，将生成的虚拟视角图像显示在窗口的中心。由（

35、8）内插权重a所给出的虚拟摄像机的位置由窗口底部的水平滑动杆决定。缩放比例，这是由f和F1和F/F2在（8）,是由右侧的窗口的水平滑杆决定。一旦用户选择他们喜欢的场景，渲染的虚拟视角，其位置和缩放比例已初步定义。在观看视频时，用户可以随时使用两个滑动条来改变视角。我们成功地完成了从头到尾的几个完整序列的观测。图19给出了系统窗口上显示的图像的例子。我们几乎同时从右到左移动相机并实现放大。例如，图19（a）显示了帧数322的场景，其中虚拟视角被放置在插值权重在4到6的摄像机3和4之间，并且虚拟摄像机与真实相机的缩放比例是。图13评估所提出的方法图14比较江户川体育馆中同一个足球场景虚拟视觉图像和

36、真实视觉图像为了评估系统的性能，处理时间用台式电脑（CPU奔腾4,3.2GHz,内存：2GB,显卡：ATIRadeon9800）。该系统平均运行速度在3.7fps。通过大量动态输出图像表明，处理时间被证明是线性的。这是因为对每个球员和足球的虚拟视角合成处理是被不断执行的。使用一个PC集群来并行处理可以提高处理速度，因此计算成本可以不依赖于场景的复杂性。该系统提供了一个观察足球比赛的直观界面，即使是第一次使用的人也可以很轻易地通过两个滚动条来控制他/她的视角，因为视角的控制与电脑滚动屏幕显示的方式十分相似。这个应用程序提出了展现体育赛事需求的一种新的结构。随着广播的数字化以及通信、广播的融合，视

37、频点播系统会越来越有吸引力。一个实用视觉交互的体育广播系统可以由需求系统推荐的视角组成。8讨论由于所提出的方法包含一些人工工作，我们在本节中整理了这些工作。其中一个是给出相应的点，用于估计摄像机之间的投影几何，即基本矩阵和同形矩阵。只需单击GUI上的特征点即可轻松实现。另一个是在每个摄像机中采集的图像上指定背景区域和其他区域。可以通过生成遮罩图像更容易地执行该处理。上述人工工作仅需要一次，因为摄像机是固定的。之后，其他脱机进程将自动实现。在大分体育场的实验中，我们成功地在图像采集的第二天展示了需求系统的观点。在四个摄像机的情况下，手动工作花了大约一个小时。考虑通过利用提出的方法制作特效影片，适

38、用于现场直播和后期制作。上半场比赛的激动人心的场景可以在半场或第二天重新开始比赛中向观众提供。如果计算性能得到提高，则特殊效果的呈现在后期播放中成为可能。随后，我们继续相机配置。我们假设所有的摄像机都捕获相同的目标区域，并且相机中的照明和尺寸变化很小。另外，相邻的相机需要背景的重叠区域。在本文提出的实验中，我们手动调整了多台摄像机的亮度和焦距，使得摄像机的播放器尺寸和整体颜色几乎可以相同。我们应用的方法，几个长达几分钟的图像序列如图10(a)所示，四个摄像机的距离约为10米。这个设置似乎足以覆盖罚球区域。如果使用更多的相机，则可以提高合成图像的质量。所提出的方法在玩家制服的颜色上没有很大的局限

39、性。唯一的限制条件是制服和球的颜色不同于地面的颜色。因为足球比赛通常满足这个条件，这种方法可以应用于其他体育场馆的其他足球比赛。接下来，考虑所提出的方法的关键情况。在当前的方法中已经观察到某些错误。球员从图像序列中突然消失，因为球员没有在两个参考相机图像中被捕捉到。当参考摄像机从两个捕捉球员的摄像机切换到两个摄像机(其中一个摄像机不捕获球员)时，会发生此错误。止匕外，当四个或五个球员重叠时，分割/通信失败；因此，集合可能是视角合成的比较困难的情况。改进这种情况是至关重要的。图15鹿岛体育馆中足球场景的三视图之间的视角插值(a) kctbrcnDe Camera 1(b) JicjbtTicc

40、Camera 2(i) With ScmmlalK)n of Shadow RcgiDns. (d) Ulthout Stjexnenialiori图16比较大分体育馆中对一个场景包括阴影部分的合成图像图17在大分体育馆中关于包含阴影区域的自由视角视频序列例子9结论本文提出了一种用于观察足球比赛的虚拟视角合成方法。在该方法中，基于由用户选择的虚拟视角附近的两个或三个真实相机图像的视角插值来生成虚拟视角图像。足球场景根据场景属性分为三四个区域。采用适当的投影几何来进行每个区域的视角插值。在虚拟视角中阴影以及球员/球都可以被很好地表示。通过将脱机过程与在线过程分离，我们可以有效地呈现整个足球场景。

41、摄像机之间的投影几何使我们能够减少这种大规模事件的相机校准的困难，而无需重建3D模型。这实现了在诸如足球场之类的大空间中针对整个动态事件的自由视角合成(Camera 4(Rt由)图18 ”需求观点系统”界面Camera i(Uft)(c) Fraine 335 t.ain 2-3 We博n 1.9 Zjoan 1.5图19“需求视点系统”的图像窗口实例除了视角合成技术之外，还引入了足球比赛虚拟视角重播的应用。“视角点播系统”使观众能够以喜欢的角度观看足球比赛，并具有首选缩放比例，并允许他们在任何时候更改这些设置。这个结构将会创造一种全新而愉快的方式来呈现或观看包括足球比赛在内的娱乐和体育活动。

42、REFERENCEST.Kanade,P.W.Rander,andP.J.Narayanan,“Virtualizedreality:Constructingvirtualworldsfromrealscenes,IEEEMultimedia,vol.4,no.1,pp.3437,Jan.1997.I.KitaharaandY.Ohta,“Scalable3Drepresentationfor3Dvideodis-playinalarge-scalespace,inProc.IEEEVirtualReality2003,Mar.2003,pp.45-52.S.YaguchiandH.Saito

43、,aArbitraryviewpointvideosynthesisfrommultipleuncalibratedcameras,IEEETrans.Syst.,Man,Cybern.B,Cybern.,vol.34,no.1,pp.430-439,Feb.2004.T.Koyama,I.Kitahara,andY.Ohta,“Livemixed-reality3Dvideoinsoccerstadium,”inProc.Int.Symp.MixedandAugmentedReality(ISMAR2003),Oct.2003,pp.178-187.N.InamotoandH.Saito,“

44、Flythroughviewvideogenerationofsoccerscene,“inInt.WorkshoponEntertainmentComputing(IWEC2002),May2002,pp.94-101.N.InamotoandH.Saito,aIntermediateviewgenerationofsoccerscenefrommultiplevideos,inProc.Int.Conf.PatternRecognition(ICPR2002),Aug.2002,vol.2,pp.713-716.N.InamotoandH.Saito,Fly-throughviewpoin

45、tvideosystemformulti-viewsoccermovieusingviewpointinterpolation,inProc.SPIE,Jul.2003,vol.5150,VisualCommunicationsandImageProcessing2003,pp.1143-1151.S.E.ChenandL.Williams,“Viewinterpolationforimagesynthesis,inProc.SIGGRAPH93,1993,pp.279-288.S.Pollard,M.Pilu,S.Hayes,andA.Lorusso,“Viewsynthesisbytrin

46、ocularedgematchingandtransfer,ImageVis.Comput.,vol.18,pp.749-757,2000.H.Saito,S.Baba,andT.Kanade,aAppearance-basedvirtualviewgenerationfrommulticameravideoscapturedinthe3Droom,“IEEETrans.Multimedia,vol.5,no.3,pp.303-316,Sep.2003.S.M.SeitzandC.R.Dyer,“Photorealisticscenereconstructionbyvoxelcoloring,“inProc.ComputerVisionandPatternRecognition(CVPR1997),1997,pp.1067-1073.M.D.Wheeler,Y.Sato,andK.I