一种视频转场效果框架的建立

一种视频转场效果框架的建立概要本文为开发多种视频转场效果提供了一种框架。该框架的目的是解决日前程序员对于越来越多的多元化视频转场表现出的低效率及与转场子模块之间的过度耦合问题。因此，本文提出更加模块化、灵活、可扩展的框架。基于对不同效果共同点的分析，把视频转场效果的实现分为4个子模块，每个部分都可以展开独立的开发和设计。此外，这些子模块有很好的可取代、可修改和再利用性。接下来我们正式开始对该框架进行描述，并结合经典的例子来展示它的广泛和实用性。关键字：视频转场，框架，映射方法，源区域，目标区域介绍当数码摄像机在家庭用户中渐渐流行，人们越来越需要一种易于使用的强大视频处理系统。而在镜头间引入转场效果，也是视频处理不可或缺的功能。一个“转场”，用视频术语来说，就是从一个视频到另外一个视频的平滑过渡。在这里，因为“镜头切换”产生的是瞬时的、不易被察觉的过渡，所以在下文讨论中这部分将不在考虑范围之内。考虑到目前用户的需求大且种类繁多，怎样设计一个即通用又高效的算法来设计转场，是一个需要基于理论，并有实践价值的课题。然而有意思的是，目前多数对于视频转场的研究都致力于对转场镜头的检测，而很少侧重于转场本身的生成方法。于是本文侧重于后者，并介绍了一种视频转场框架的概要和并提出了相应有效的方案。开发视频转场缺乏统一的框架会导致以下主要问题：（1）低效率：每一个转场都需要单独设计；（2）灵活性有限：在修改一个部分很难保证其他部分不受影响，从而导致成品转场程序的可修改性很低；（3）扩展性有限：一个转场中的模块很难被再利用到其他转场中去，这在现代的软件开发中是不符合原则的。我们在对大量视频转场进行调查之后，提出一个具开放性、模块化的框架来解决上述问题。相关工作首先，让我们来看看视频转场的商业应用。一些著名的多媒体开发商，如Adobe、Ulead提供了能实现丰富视频转场效果的视频编辑系统，同时，一些其他的开发商，如Crystal graphics、Pixelan Software则专注于开发更多的转场插件。但从Adobe或Ulead 提供的可用于自主开发转场效果的SDK（软件开发工具包）的设计看来，视频转场效果的一般框架从未被公开提出。视频转场在传统上分为2个类别：溶解和去除。经过仔细的分析和标签排序，我们提出了一种能够有效开发大量常见转场的框架。在第4节，我们将展示运用这个框架生成的3种典型转场：溶解转场，carton-style转场，和3D转场。我们提出的框架具有开放、模块化的发展。因此将大大加强代码的效率和可利用率。本文中，我们整合四个模块，提出一种并行、具扩展性的方式让视频转场完美的运作。框架理想的系统应该是灵活的，可扩展的和有效的。考虑到这些目标，转场的产生可以分为几个独立的逻辑部分。这种分块有助于开发者能集中致力于开发每个模块的功能。此外，在对系统最后的调试、维护和扩展上也显得更加方便。本节我们将描述每个模块和系统的总体结构。视频转场的定义1.原始对象的定义 A,B 假设我们有两个视频素材A和B，它们分别产生于不同镜头，有着不同的场景和角色。 其中，x表示的是帧平面上的坐标，t表示的是时间轴上的坐标。 在A和B中，当t1t2=t3t3，如图1所示。我们把A称为前视频素材，B称为后视频素材。图1：转场帧序列2.转场映射的定义F（A,B） 在这里F指的是能够通过S1、S2来表示出S的变换法则。xA、xB和x标记出了A、B视频素材中各自参与转场过程的像素的区域，我们称它们为相应的源区域和目标区域。从第一个例子的研究中，我们可以发现目标区域往往只包含帧平面坐标上一块特定的部分S（x,t），而源区域往往包含帧平面坐标上的S1（x,t）或/与S2（x,t）。3.生成对象C的定义 C是转场生成的视频，或者只是满足下列条件的目标视频： 这些表达式指的是生成视频的第一帧和最后一帧，对应的是前视频素材的第一帧与后视频素材的最后一帧。 现在我们可以把注意力集中在生成的视频C上。视频C的效果取决于四个时变的因素：源区域、目标区域、映射方法、背景。对于它们的定义都共用同一时间参考-只有引用同一时间参考，它们才会是有意义的。（1）源区域：xA、xB在源素材A和B的帧平面内标记出了源区域，并用像素值的方式输入到变换法则F。（2）目标区域：x则标记出了目标视频C中的区域，而变换法则F输出的是像素值。（3）映射方法：我们用映射方法F来获取从源区域到目标区域的像素值。（4）背景：有时我们用图片甚至动画作为背景以达到转场效果。背景的一个重要的特点是它的像素显示了与源素材无关的图片信息。参考图14，用夜晚天空当背景的例子。区域的定义 在这里，有一个像素值参与的多邻域区域。源区域和目标区域都包含一个或几个这样的区域。所以我们来看一看如何让这个映射区域成为最首要的区域。在图2中，帧内区域1，区域2，区域3构成一个帧区域。图2：帧区域和帧内区域之间的关系可以用两种方法来表示一个区域：边缘表示法和区域表示法（图3）。 （1）边缘表示法 区域可以用一个封闭曲线的方程来描述如下： 或者点的集合形成封闭边 （2）区域表示法 首先我们引入一个和原始帧尺寸相同的灰度位图P，并设置它的灰度阈值0255。 于是被定义在该灰度阈值内的像素点ci，cj(i，j=1,2,.,n)形成了一个映射区。在这里，我们可以猜想用这种方法定义的映射区可能没有连接性。 通常我们结合上文提到的两种方法共同来定义A/B视频中的帧的特定区域。有时，来自A和B两个部分的组合会被用来作为一个混合区，我们将在3D效果的例子中加以说明。图3：定义区域的两种方法：左-边缘表示法 右-区域表示法对源视频帧中的源区域的描述 为了方便起见，我们假设源视频素材A和B中的帧尺寸相同。在特定时间点t上，我们定义源视频素材A、B上的帧坐标为IA、IB；目标视频C则为IC。从上一节的讨论中，我们可以进一步定义一系列源区域RA1，RA2，.，RAnIA，还有RB1，RB2，.，RBnIB，最后R=RA1RA2.RAnRB1RB2.RBn。我们用这种方法来描述源区域。但是有一点需要注意：RiRij，ij；i,j=A1,An或B1,Bn。但是我们将它们区别对待，正如IA和IB是不同的一样。关于这个问题我们将在案例分析中加以详细说明。对视频转场帧的目标区域的描述对于目标区域的描述与对源视频帧中的源区域的描述相似。因为只有C参与到，所以定义起来比较简单。视频转场中的目标区域的位置和轮廓也都是时变的。这个环节产生的视觉变化是最容易被观众所注意的，所以下一节我们着重讨论变换法则。对有时间参考的区域变换的描述由于表示区域的方法有所不同，实现变换的方法也是多种多样的。对于边缘表示法来说，方程参数的改变将导致映射区外形或位置的改变。在图4中，变换法则的实现效果取决于沿着给定曲线的圆形映射区中心点的变动和对圆曲线半径的调整。图4：一种通过调整圆方程的参数来定义区域的方法t1t2t3t4对于区域表示法来说，通常有两种实现方法： （1）为区域变换生成一个模板动画（图5）。在设计中，模板动画的把每一帧当作黑/白图片，并且保证生成的动画与转场生成视频C具有相同的帧数。动画演示了A如何平滑过渡到B的全过程。于是在不同的时间点，不同的帧被用来定义目标区域。图5：通过模板动画来描述区域变化的方法 （2）调整能控制区域范围的灰度图的阈值（图6）。用这种方法，不需要模板动画便能时变地改变阈值。例如，有一块区域的像素在灰度范围0，c1内。现在用c2替代c1，于是区域的像素灰度范围变成了0，c2。图6：通过灰度位图来描述区域变化的方法对映射方法的描述 如何在转场视频帧的目标区域显示源视频帧中的图像信息？在这里我们介绍了两种模式：直接映射和间接映射。 （1）直接映射复制源区域中的像素R到转场视频中的目标区域为R（在这里，R=R，“=”指的是它们在帧平面上有相同的位置和尺寸）。我们用图7来说明。 （2）间接映射 源视频信号的特定像素块R通过一定的算法f映射为R（RR，通常在面积上小于R），类似于我们经常用到的比例映射、纹理映射。 在实践中，这两种映射方法通常被结合使用。例如，先将R用直接映射法变换为R，再用间接映射为修饰将R变换为视频C中的R”。当然，映射模式也是时变的。通常不同的转场会用到不同的映射方法。图7：两种映射方法的例子对背景的描述在转场视频帧中，我们通常用图片（时变的图片）或者一个动画来作背景。简单说，我们引入“层”的概念来描述它。从字面上理解，当目标区域处于上层并涵盖了相应的内容，那么背景就处于目标视频帧结构的底层。所以处于目标区域的背景的像素值将被覆盖。背景画面可能是纯色的，或者是一副图片。正如上文所讨论的，背景也可以是时变的。这就是动画也能被当作背景的原因。框架的子模块当使用一个特定的映射方法，源视频帧中的源区域通过视频转场的变换被映射到转场帧的目标区域。而背景区域也是一样，同源区域分别沿时间线做相应变换（图8）。图8：转场各子模块的框架从这个角度看来，视频转场的开发可以用一种平行的方式来完成：目标区域和背景的设计可以分配给专业美术设计师去完成，而源区域的配置和映射方法则分配给程序员来完成。映射方法相对独立，通常我们专注于一些典型的映射方法，例如从矩形区域到椭圆面的纹理映射。对于有不规则轮廓的目标区域，我们首先按照典型方法来处理，然后作适当的修饰。实验表明，这种方法引起的信息损失造成的视觉影响并不会被观众察觉。例子研究为了使说明方便而不失一般性，我们用两个具有相同帧画面的视频来举一个例子。于是从A到B的转场将会是简单的静态图像A到B的转换（图9）。视频帧的宽、高定义为W、H，fM(x)指的是在帧M的平面坐标上标记的位置x的像素值。我们假设转场开始于t=0，并结束于t=T。正如上文所讨论的，四种框架共用相同的时间参考。所以在一个特定时间点t，我们假设源视频的帧 S1(x,t) 和S2(x,t) 为IA和IB，而目标视频的帧S(x ,t)为IC。这样我们可以方便地在例子中描述框架的各部分。图9：视频转场示例 在下面的例子里，我们将利用上文描述的框架来展示三个不同类别的视频转场。溶解效果示例溶解序列S(x,t)是两路视频序列S1(x,t)和S2(x,t)的混合，表现为第一个视频淡出的同时，第二个视频淡入。为了实现溶解效果，我们要做的是设计一个灰度位图GR（如图10）。这里需注意，它的灰度级通常应服从算数级分布，这样有利于方便生成转场。图10：溶解转场的灰度位图例（1）源区域。基于区域表示法，构成源区域的区域取决于阈值c1。 源区域：c1与t成正比，很明显： （2）目标区域。目标区域与源区域相似： （3）映射方法： （4）背景。在这个例子里，RT覆盖了整个帧画面，所以： 实验结果展示如图11。图11：溶解转场示例Carton效果示例一个carton-style序列S(x,t)是两路视频序列S1(x,t)和S2(x,t)的混合，表现为第一个视频帧趋于carton轮廓，在第二个视频移入的同时第一个视频移出（也可以变成carton物体）。现在我们来看看carton-style转场：在镜头的末尾，A像一条鱼一样滑出的同时，B出现了。首先我们用黑/白图片表示帧来设计一个动画模板T(x,t)（图12）。图12：“鱼”形转场的模板动画T(x,t) （1）源区域：RA是一个矩形区域w (t )H，起始于IA的左端，w (t )= W (T t )/T；所以源区域：（2） 目标区域： 所以目标区域: （3）映射方法：（4） 背景。在这里，RT覆盖了整个帧画面，所以：实验结果展示如图13。图13：cartoon-style转场示例3D效果示例 3D转场序列D(x,t) 被定义为将S1(x ,t)变为3D形状并将它送入特殊轨道S2(x,t)。为了实现各种3D效果，有必要建立不同的3D数学框架和映射。我们将在举一个立体球形转场的例子。 （1）源区域。为了展示球形转场，我们定义源视频的区域RA是一个起始于IA左侧的矩形区域，w(t)H，并且w(t)=W(Tt)/T；RB是一个起始于IB右侧的矩形区域，(Ww(t) H。 （2）目标区域。我们引入一个圆方程并用边缘表示法来定义目标区域RT。把坐标原点移动到(W/2,H/2)，假定 r=min(W/2,H/2)，于是圆方程为 在这里，RT保持不变。（3）映射方法：从平面到球面的纹理映射方法可参考文献(Xu,2001)。在目标区域的平面坐标上标记一个特定像素点(xx,yy )，它与源区域的像素点(x,y)的像素值是相同的。 （4）背景。这里的背景是夜晚的天空图片。实验结果展示如图14。图14：3D效果示例结论毫无疑问，人们对视频转场效果的需求是巨大的，因此我们不能用传统的方法来一个个开发它们。为满足客户多样化的需求，开发一个更有效的方法来设计它们更具有可行性。这就是我们的工作宗旨。基于一些新的想法，我们已经得到一些分解转场效果的成果。我们花了大量的时间分析这些类别的视频转场的共同特征，并在本文中阐述一个通用和开放性的框架，旨在分离与整合几个在构建视频转场中相对独立的子模块。本文中新框架的提出，让高效制作大量视频转场成为可能，让实现转场框架的子模块能够通过并