H.264里的插值滤波器的理论基础

1、昨晚上在群里和别人探讨了一下H.264里的插值滤波器的原理。在这里做一点总结。（写完以后回头看，发现写的十分罗嗦。懂信号理论的人可以速速浏览。）1插值与上采样插值的过程从信号处理的角度其实就是一个上采样（提升空间采样频率）的过程。因此我们首先从信号处理的角度回顾一下上采样问题。下图为某一维信号上采样的例子：特性是低频（0附近）丰富，高频逐渐减小，直至土n处为0。此外这里还隐含了一个问题，就是该信号的原始采样频率恰好就是奈奎斯特频率（所以周期性的频谱恰好首尾相接），原始采样频率再低一点就要发生混叠了，这个将是第3节要着重考察的问题。A-vD描述的是2倍上采样的过程。事实上我们都知道，插值无非就是

2、用一个N-tap的计算式得出一个值罢了（正如H.264的1/2像素插值）。但是在频率域分析的时候为了清楚起见，通常会将这个过程分成两个步骤：1.增加采样率（压缩频谱横轴）；2.低通滤波。需要说明的是这样的两个步骤只是为了分析需要，它与直接一个N-tap插值是等价的！B就是A增加采样率后的结果，从数学推导上这个过程对应的结果就是压缩横轴，可以想象把vA的频谱从左右两个方向向中间挤压就得到了B。但是在B中高频部分其实是次生的频率（mirrorfrequency），因此我们需要一个低通滤波器把它滤掉，vC就是这样一个理想的低通。最终得到了vD,上采样结束。对比vA和D，其实不难理解。vA是用奈奎斯特

3、频率（假设是f）采得的信号，那么如果我用2f去采，理所当然频谱的间隔会大。2H.264的插值滤波器我们知道H.264使用了两种插值滤波器：1/2像素精度插值时用6-tapFIR；1/4像素精度插值时用bilinear。本节讲为什么要采用这两种滤波器。首先要明白，这里的两种滤波器实质上对应的都是图表1的C，也就是低通滤波器，只不过性能有区别而已。vC的低通是理想的，即边缘完全是切下来的，过渡带宽度为0。而在实际中不可能做到理想，实际滤波器都会有一个过渡带。一般情况下，滤波器实现阶数越高越复杂，对理想性能的逼近越好。下图为一个概念性的示意图（现实情况远比此复杂）：图表2：低通滤波器示意图图表2：低

4、通滤波器示意图6-tapBilinear6-tap要比bilinear复杂，因此低通性能要好。也许有人会说那为什么不采用阶数更高的FIR而获取更好的低通滤波器呢？原因就是这样会给实现带来巨大的复杂性。JVT专家经过权衡计算，得出现有的6-tap滤波器低通性能是所有6-tap中最好的，并且6-tap的计算相对简单。那么为什么1/4像素精度插值的时候，可以使用性能较差的bilinear滤波器就可以了呢？原因也很简单，如下图2n:/0nn原始/.2n:A/0nn1/2精度插值后A.2n:0nn1/4精度插值后图表3：插值信号的频率示意A-vB的过程中，由于vA的频谱基本上占据了整个频段，所以滤波的时

5、候必须要理想低通,否则在高频处就会失真。因此要采用较好的低通滤波器。而B-vC的过程中，B并没有占据全部频段，高频部分都是空的，所以这里的低通就不用那么严格要求了。总而言之，低通滤波器的选择要兼顾性能与复杂度。此外，第一步插值对低通性能的要求最高，之后的插值要求就大为降低了。36-tapFIR的问题至此，H.264的插值滤波器基本上说明清楚了。下面说一点高级的话题，关于6-tap滤波器存在的问题。留给有兴趣的人吧。在图表1中提过，A的采样频率恰好是奈奎斯特频率，因此没有任何混叠（aliasing）失真。但是视频图像在有些高频区域（比如头发，密线条等）很容易就违背奈奎斯特采样而出现混叠失真。下面来一个混叠失真的实例：当视频中出现这样的区域时，插值将受到很大的破坏。进而严重影响ME的效果，最终导致压缩性能的下降。前面说明了6-tapFIR是个低通性能相对较好的滤波器，但是低通性能好并不能抵抗混叠失真。这