数字视频智能编辑算法研究

数字视频智能编辑算法研究

1传统视频制作成本高据统计，人们收到约60%的信息来自视觉，20%来自听觉，20%来自其他方法，这表明视觉信息的重要性。其中,视频是视觉信息传播的主要媒体,然而在视频制作过程中,常常有一些特殊要求,如场景中的字符或人脸留下一些影响视觉效果的斑点需要去除等。如果按传统的方法,就必须重新拍摄该视频片段,或者用现有的一些PS工具一帧一帧地手动处理该视频片段,制作慢,成本高。为此,笔者创新性地设计了一种数字视频智能编辑系统,旨在智能地处理视频中的小瑕疵,文章首先利用图像跟踪技术实现对连续帧中的小瑕疵跟踪,再利用图像修复技术,去除这些瑕疵的影响,从而达到了视频制作的低成本、高效率、高质量目标。2基于块匹配算法的图像特征点窗口对比图像跟踪技术不同的算法各有其优缺点,适用的场合也不同,因此一种算法的优劣取决于其处理的目标对象的特点。本文的处理对象是视频中的小目标,由于目标区域小,纹理信息少,特征点难以提取,因此基于区域的跟踪算法是一种较为适合的算法。由于基于区域跟踪算法几乎没有抗形变、伸缩的能力,该算法的应用场合非常受限;另一方面,由于跟踪目标的背景占有较大区域,往往含有丰富的信息,这些信息有助于实现目标的精确跟踪。综合考虑这两点,提出了一种结合Kanade-Lucas-Tomasi(KLT)算法和块匹配算法的跟踪算法,其中KLT算法利用背景领域的纹理特征,得到形变仿射信息,完成初步处理,再利用块匹配算法精确跟踪目标。KLT算法对灰度图像的特征点窗口W,KLT算法假定图像在t+τ时刻的像素I(x,y,t+τ)和t时刻像素I(x,y,t)满足关系对于特征点窗口内的各个像素,其唯一近似表示为令A=I+D,I和J分别表示待匹配的两帧图像的特征点窗口,则由上述分析,I和JKLT算法就是要寻找A和d,使得特征点窗口的灰度差平方和SSD最小式中:w(X)为权重函数,通常可以取1,或为了强调中心纹理,取高斯分布函数。当式(4)取得最小值时有式中:当u=DX+d为小量时,可对J(AX+d)进行泰勒展开,并将待求运动参数D和d提取出来,问题可表示为因此,KLT的迭代步骤为:1)假设i=0时,D2)计算式(4),若ε≤min(ε),停止迭代,所得D3)判断迭代次数,若i>N,停止迭代;5)根据式(6),计算D6)由5)的结果,计算J在KLT跟踪算法中,并不是所有包含纹理信息的特征窗口都是适合跟踪的,只有对那些特征窗口,满足矩阵T的子矩阵Z的两个特征值λ块匹配如图1为跟踪算法的实验结果,其中图1b,1c分别为单纯使用块匹配法跟踪的结果,显然它不能处理形变伸缩的序列,而图1d,1e是结合KLT算法的块匹配跟踪结果,从结果可见,目标得到了精确的跟踪。3tables-tod算法描述完成了对目标的正确跟踪后,下一步就是要对跟踪到的目标进行修复,得到期望的图像。图像修复技术主要分为图像细纹修复技术和图像纹理合成修复技术。与传统的需要迭代的修复方法不同,Telea提出了一种快速的非迭代的修复算法。该方法根据像素与结构信息计算区域内已知像素所应有的权重,采取与缺失区域几何信息相关的修复顺序,根据邻域内像素加权来确定未知像素的值。图2为Telea算法的示意图,假设待修复点集为S={x即距离修复点x式中:w这样的权重估计,保证了距离待修复点较近的已知点具有较大的权重,靠近修复方向的已知点具有较大的权重,符合了Telea的信息传递的方向。由于Telea图像修复法只根据图像破损区域的几何特征确定向内修复的方向,可能导致信息向内的错误传递,并且有不连续的现象。但在本系统中,由于考虑的是视频中小目标破损区域,还不会出现Telea算法本身缺陷导致的问题。同时由于Telea算法不需要迭代计算修复权重,还是一种快速的修复算法。总之,针对该视频图像智能编辑系统,Telea算法可以在不影响视频修复质量的基础上,达到快速修复的目的,因此是本系统一个较佳的选择。4预测设备的智能修正根据前面的分析,本文设计的智能编辑系统的数据处理流程为:首先用KLT算法计算图像帧的形变仿射系数矩阵,根据该系数矩阵,计算待匹配区域仿射后的模板,之后,利用块匹配算法,在后续帧中找到此模板的匹配区域,最后利用Telea细纹修复算法完成对匹配区域的修复。如图3所示,为该智能编辑系统的试验结果,该图片序列为电影中截取的片段,其中图3a为截取片段的第一帧,该试验的目标是:用户先在图像上圈出待修复的区域,即脸颊上的痣;然后该系统自动在后续帧中定位该痣在图像中的位置,并将其去除。为了说明问题,该系统随机地选取了智能修复过程中两帧图像的跟踪和修复结果,如图3b,3c分别为图像序列第13帧和第76帧的跟踪结果,图3d,3e分别为图像序列第13帧和第76帧的跟踪并修复的结果。从图3可以看出,本文设计的数字视频编辑系统可以很好地对图像中的小目标进行跟踪并修复,从而实现了视频的智能编辑的目的。5数字视频智能编辑系统文章以视频制作应用作为切入点,针对视频拍摄中不可