信源编码及其发展动态方河仅

1、精选优质文档-倾情为你奉上信源编码及其发展动态班级：通信112班姓名：方河仅学号：3 摘要：在传统通信系统中，信源编码与传输中抵抗信道损耗的保护技术（信道编码）是分别考虑的。但是，在实际中发现，用某种特定方法连接起来的最优信源编码器和信道编码器，并不一定能够成最佳通信系统。因此出现了实现通信系统整体优化的信源信道联合编码理论。本文给出的信源信道编码理论及其发展动向。实验表明在高噪信道使用联合编码器进行图像传输，性能改善效果非常明显。关键词：信源编码 发展 数字 信源与信道编码 1.引言 为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对

2、信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。2.信源编码 的作用的作用之一是设法减少数目和降低，即通常所说的；作用之二是将信源的转化成，以实现模拟信号的数字化传输。 信源编码方式最原始的信源编码就是，另外还有和电报码都是信源编码。但现代通信应用中常见的信源有：、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。另外，在领域，信源编码包括 通用的MPEG2编码和H.264（MPEGPart1

3、0 AVC）编码等相应地，是为了对抗信道中的噪音和衰减，通过增加冗余，如等，来提高抗干扰能力以及纠错能力。为了减少信源输出符号序列中的、提高符号的平均信息量，对所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个：使序列中的各个符号尽可能地互相独立；使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。信源编码的一般问题可以表述如下：若某信源的输出为长度等于

4、M的符号序列集合 式中符号A为信源符号表，它包含着K个不同的符号，A=k|k=1,K，这个信源至多可以输出KM个不同的符号序列。记U=KM。所谓对这个信源的输出进行编码，就是用一个新的符号表B的符号序列集合V来表示信源输出的符号序列集合U。若V的各个序列的长度等于 N，即 式中新的符号表B共含L个符号，B=bl|l=1,L。它总共可以编出LN个不同的码字。类似地,记V=LN。为了使信源的每个输出符号序列都能分配到一个独特的码字与之对应，至少应满足关系 V=LNU=KM或者 N/MlogK/logL假若编码符号表B的符号数L与信源符号表A的符号数K相等，则编码后的码字序列的长度N必须大

5、于或等于信源输出符号序列的长度M；反之，若有N=M，则必须有LK。只有满足这些条件，才能保证无差错地还原出原来的信源输出符号序列(称为码字的唯一可译性)。可是，在这些条件下，码字序列的每个码元所载荷的平均信息量不但不能高于，反而会低于信源输出序列的每个符号所载荷的平均信息量。这与编码的基本目标是直接相矛盾的。下面的几个编码定理，提供了解决这个矛盾的方法。它们既能改善信息载荷效率，又能保证码字唯一可译。离散无记忆信源的定长编码定理对于任意给定的>0，只要满足条件 N/M(H(U)+)/logL那么，当M足够大时，上述编码几乎没有失真;反之,若这个条件不满足，就不可能实现无失真的编

6、码。式中H(U)是信源输出序列的符号熵。通常，信源的符号熵H(U)<logK，因此，上述条件还可以表示为 【H(U)+】/logLN/MlogK/logL特别，若有K=L,那么,只要H(U)<logK,就可能有N<M，从而提高信息载荷的效率。由上面这个条件可以看出，H(U)离logK越远,通过编码所能获得的效率改善就越显著。实质上，定长编码方法提高信息载荷能力的关键是利用了，通过选择足够大的M，把本来各个符号概率不等因而H(U)<logK的信源输出符号序列变换为概率均匀的典型序列，而码字的唯一可译性则由码字的定长性来解决。离散无记忆信源的变长编码变长编码是指V的各个码字

7、的长度不相等。只要V中各个码字的长度 Ni(i=1，V)满足不等式 这 V个码字就能唯一地正确划分和译码。离散无记忆信源的变长编码定理指出：若离散无记忆信源的输出符号序列为， 式中 A=k|k=1,K,符号熵为H(U)，对U进行唯一可译的变长编码，编码字母表B的符号数为L,即B=bl|l=1,L,那么必定存在一种编码方法，使编出的码字Vi=(vi1,viNi)，(i=1,V)，具有平均长度嚻： MH(U)/logL嚻<MH(U)/logL+1若L=K，则当H(U)<logK=logL时,必有嚻<M；H(U)离logK越远，则嚻越小于M。具体实现唯

8、一可译变长编码的方法很多，但比较经典的方法还是仙农编码法、编码法和霍夫曼编码法。其他方法都是这些经典方法的变形和发展。所有这些经典编码方法，都是通过以短码来表示常出现的符号这个原则来实现概率的均匀化，从而得到高的信息载荷效率；同时，通过遵守克拉夫特不等式关系来实现码字的唯一可译。霍夫曼编码方法的具体过程是：首先把信源的各个输出符号序列按概率递降的顺序排列起来，求其中概率最小的两个序列的概率之和，并把这个概率之和看作是一个符号序列的概率，再与其他序列依概率递降顺序排列（参与求概率之和的这两个序列不再出现在新的排列之中），然后，对参与概率求和的两个符号序列分别赋予0和1。继续这样的操作,直到剩下一

9、个以1为概率的符号序列。最后，按照与编码过程相反的顺序读出各个符号序列所对应的二进制数字组，就可分别得到各该符号序列的码字。例如，某个离散无记忆信源的输出符号序列及其对应的概率分布为对这些输出符号序列进行的具体步骤和结果如表。由表中可以看出，在码字序列中码元0和1的概率分别为10/21和11/21，二者近乎相等，实现了概率的均匀化。同时，由于码字序列长度满足克拉夫特不等式 2×2-2+3×2-3+2×2-4=1因而码字是唯一可译的，不会在长的码字序列中出现划错码字的情况。以上几个编码定理，在有记忆信源或连续信源的情形也有相应的类似结果。在实际工程应用中，往往并不追

10、求无差错的信源编码和译码，而是事先规定一个译码差错率的容许值，只要实际的译码不超过这个容许值即认为满意（见信息率-失真理论和）。数字电视的信源编码 一个完整的数字电视系统包括数字电视信号的产生、处理、传输、接收和重现等诸多环节。数字电视信号在进入传输通道前的处理过程一般如图1所示： 电视信号在获取后经过的第一个处理环节就是信源编码。信源编码是通过压缩编码来去掉信号源中的冗余成分，以达到压缩码率和带宽，实现信号有效传输的目的。信道编码是通过按一定规则重新排列信号码元或加入辅助码的办法来防止码元在传输过程中出错，并进行检错和纠错，以保证信号的可靠传输。信道编码后的基带信号经过调制，可送入各类通道中

11、进行传输。目前数字电视可能的传输通道包括卫星，地面无线传输和有线传输等。 信源编码的目的是通过在编码过程中对原始信号冗余度的去除来压缩码率，因此压缩编码的技术与标准成为信源编码的核心。九十年代以来，各种压缩编码的国际标准相继推出，其中MPEG2是专为数字电视包括标准数字电视和数字高清晰度电视制定的压缩编码标准。MPEG2压缩编码输出的码流作为数字电视信源编码的标准输出码流已被广泛认可。目前数字电视系统中信源编码以外的其他部分，包括信道编码，调制器，解调器等，大都以MPEG2码流作为与之适配的标准数字信号码流。 信源编码的第一步首先要对模拟电视信号进行取样和模数变换，相应的需要一个统一的标准。数

12、字演播室标准ITUR601正是为此制定的国际标准。 早在七十年代末，英国广播公司和索尼公司就分别展示了其各自开发的彩色数字录像机，成为最早的数字电视编录产品，由此促成了电视信号模数转换规范的产生。1980年，国际无线电咨询委员会CCIR提出了电视信号模数转换标准的建议，即称为数字演播室标准的CCIR601。后来CCIR成为国际电信联盟的无线电委员会，称为ITUR，相应的CCIR601也改称ITUR601，成为模拟电视向数字电视转变过程中的第一个标准规范，其分量编码标准如表1所示。 表 1 ITUR601数字演播室分量编码标准4：2：2参数 电视制式 PAL NTSC每行取样数 亮度信号 每个色

13、差信号 864 858 432 429 取样结构 正交取样，色差信号与亮度信号的奇次样值同位取样频率 亮度信号 每个色差信号 13.5兆赫 6.75兆赫 编码方式 亮度和色差信号均采用线性PCM，8比特量化 每数字有效行取样数 亮度信号 每个色差信号 720 360量化级数 亮度信号 每个色差信号220 224 参数说明： 1.取样频率：根据奈奎斯特定理，取样频率应至少不低于信号最高频率的2倍。其次，为便于进行信源编码，取样结构最好为正交结构，即每个取样点应与其相邻行和相邻帧对齐。为此取样频率必须为行频的整数倍。要同时满足PAL与NTSC的正交取样，取样频率应为两者行频的公倍数。同时，取样频率

14、的选取还必须兼顾码率和带宽。综合考虑上述因素，亮度信号的取样频率定为13.5兆赫。在4：2：2格式中，每个色差信号取样数为亮度信号的一半，取样频率定为6.75兆赫； 2.每行取样数：由取样频率除以行频得到每行取样数。为提高编码效率，去掉行场逆程的取样，得到降低了的每数字有效行取样数； 3.编码方式：采用简单的线性PCM编码。量化比特数为8比特，这是一个由实验决定的结果。具体实验显示，8比特量化产生的256级量化级，已完全能满足人眼对亮度与色度层次分辨的需要。 ITUR601主要是一种取样标准。模拟电视信号据此取样后进行8比特量化和线性PCM编码，即可得到符合数字演播室标准的基带数字信号。但是，

15、由此得到的数字电视信号具有非常高的码率和带宽，难以进入实用。虽然ITUR601建议早在1980年已经制定，但直到九十年代一系列有效的图像数码压缩技术及相应的国际标准出现以后，数字电视才得到了迅速的发展。 图像数据的压缩主要基于对各种图像数据冗余度及视觉冗余度的压缩，包括如下一些方法： 1.统计冗余度的压缩：对于一串由许多数值构成的数据来说，如果其中某些值经常出现，而另外一些值很少出现，则这种由取值上的统计不均匀性就构成了统计冗余度，可以对之进行压缩。具体方法是对那些经常出现的值用短的码组来表示，对不经常出现的值用长的码组来表示，因而最终用于表示这一串数据的总的码位，相对于用定长码组来表示的码位

16、而言得到了降低，这就是熵编码的思想。目前用于图像压缩的具体的熵编码方法主要是霍夫曼编码，即一个数值的编码长度与此数值出现的概率尽可能地成反比。 霍夫曼编码虽然压缩比不高，约为1.6：1，但好处是无损压缩，目前在图像压缩编码中被广泛采用。 视频图像在每一点的取值上具有任意性。对于运动图像而言，每一点在一段时间内能取可能的任意值，在取值上具有统计均匀性，难以直接运用熵编码的方法，但可以通过适当的变换编码的方法，如DCT变换，使原图像变成由一串统计不均匀的数据来表示，从而利用霍夫曼编码来进行压缩。 2.空间冗余度的压缩：一幅视频图像相邻各点的取值往往相近或相同，具有空间相关性，这就是空间冗余度。图像

17、的空间相关性表示相邻象素点取值变化缓慢。从频域的观点看，意味着图像信号的能量主要集中在低频附近，高频信号的能量随频率的增加而迅速衰减。通过频域变换，可以将原图像信号用直流分量及少数低频交流分量的系数来表示，这就是变换编码中的正交余弦变换DCT的方法。DCT是JPEG和MPEG压缩编码的基础，可对图像的空间冗余度进行有效的压缩。 视频图像中经常出现一连串连续的象素点具有相同值的情况，典型的如彩条，彩场信号等。只传送起始象素点的值及随后取相同值的象素点的个数，也能有效地压缩码率，这就是行游程编码。目前在图像压缩编码中，行游程编码并不直接对图像数据进行编码，主要用于对量化后的DCT系数进行编码。 3

18、.时间冗余度的压缩：时间冗余度表现在电视画面中相继各帧对应象素点的值往往相近或相同，具有时间相关性。在知道了一个象素点的值后，利用此象素点的值及其与后一象素点的值的差值就可求出后一象素点的值。因此，不传送象素点本身的值而传送其与前一帧对应象素点的差值，也能有效地压缩码率，这就是差分编码DPCM。在实际的压缩编码中，DPCM主要用于各图像子块在DCT变换后的直流系数的传送。相对于交流系数而言，DCT直流系数的值很大，而相继各帧对应子块的DCT直流系数的值一般比较接近，在图像未发生跳变的情况下，其差值同直流系数本身的值相比是很小的。 由差分编码进一步发展起来的预测编码，是根据一定的规则先预测出下一

19、个象素点或图像子块的值，然后将此预测值与实际值的差值传送给接收端。目前图像压缩中的预测编码主要用于帧间压缩编码，方法是先根据一个子块的运动矢量求出下一帧对应子块的预测值及其与实际值的差值，接收端根据运动矢量及差值恢复出原图像。由于运动矢量及差值的数据量低于原图像的数据量，因而也能达到图像数据压缩的目的。 4.视觉冗余度的压缩：视觉冗余度是相对于人眼的视觉特性而言的。人眼对于图像的视觉特性包括：对亮度信号比对色度信号敏感，对低频信号比对高频信号敏感，对静止图像比对运动图像敏感，以及对图像水平线条和垂直线条比对斜线敏感等。因此，包含在色度信号，图像高频信号和运动图像中的一些数据并不能对增加图像相对

20、于人眼的清晰度作出贡献，而被认为是多余的，这就是视觉冗余度。 压缩视觉冗余度的核心思想是去掉那些相对人眼而言是看不到的或可有可无的图像数据。对视觉冗余度的压缩通常已反映在各种具体的压缩编码过程中。如对于DCT系数的直流与低频部分采取细量化，而对高频部分采取粗量化，使得DCT变换能借此压缩码率，并能有效地进行行游程编码。在帧间预测编码中，大码率压缩的预测帧及双向预测帧的采用，也是利用了人眼对运动图像细节不敏感的特性。 图像压缩编码的具体方法虽然还有多种，但大都是建立在上述基本思想之上的。DCT变换，行游程编码，DPCM，帧间预测编码及霍夫曼编码等编码方法，因技术上的成熟，已被有关国际组织定为压缩

21、编码的主要方法。 图像压缩的主要技术与标准 目前有关图像压缩方面的主要标准包括CCITT的H.261,JPEG和MPEG。是分别针对电视电话图像，静止图像和活动图像的压缩编码标准。这几种压缩标准虽然各自针对性不同，但压缩编码方法大体相似。 1.H261 图像压缩编码标准的提出最早源于通讯中对可视电话的研究。经过多年努力，至1980年，国际电报电话咨询委员会CCITT所属的视频编码专家组的H.261建议被通过，成为可视电话和电话会议的国际标准。H.261又称Px64，传输码率为Px64kbps，其中P130可变，根据图像传输清晰度的不同，码率变化范围在64kbps至1.92Mbps之间，编码方法

22、包括DCT变换，可控步长线性量化，变长编码及预测编码等。其简化的编码原理框图如图2所示。 图中，DCT变换的输入输出选择开关由帧内/帧间模式选择电路控制。在帧内模式时，开关打到上面，输入信号经DCT变换，线性量化和变长编码后输出，图像只进行帧内压缩。在帧间模式时，开关打到下面，前一帧图像信号经过预测环中的运动补偿后产生一个后帧的预测信号。后帧的实际输入信号与其预测值相减后，在进行一个帧内压缩编码的过程后输出。 图中变长编码器产生的控制信号送量化器以控制其量化步长。当变长编码器的输入中连续出现许多大数值的数据，导致集中出现长的码组，使缓存器接近溢出时，控制信号使量化器的量化步长加大，以降低大数值

23、数据的出现；反之，也可控制量化器以减小其量化步长。在预测环路中由于存在用于恢复前帧信号的反量化器，量化步长控制信号也要送到预测环中的反量化器中。 H.261所针对的可视电话信号最初考虑是在一般电话网中传输的，带宽和码率是其考虑的核心问题。其每帧取样点数比ITUR601所规定的低许多，且采取抽帧传输的方法，无法满足数字电视压缩编码的要求，但H.261是此前压缩编码数十年研究的结果，成为以后JPEG和MPEG编码方法的重要基础。 2.JPEG 1986年，国际标准化组织ISO和国际电报电话咨询委员会CCITT共同成立了联合图像专家组Joint Photographic Experts Group，

24、对静止图像压缩编码的标准进行了研究，JPEG小组于1988年提出建议书，1992年成为静止图像压缩编码的国际标准。JPEG是一个达到数字演播室标准的图像压缩编码标准，其亮度信号与色度信号均按照ITUR601的规定取样后划分为8x8子块进行编码处理。 JPEG是一种不含帧间压缩的帧内压缩编码方法，其主要编码过程与H.261的帧内编码过程大致相同。输入信号经DCT变换后，按固定的亮度与色度量化矩阵进行非线性量化。对量化后的DCT直流系数进行差分编码，交流系数进行行游程编码，再按霍夫曼码表进行变长编码后，送缓存器输出 。 JPEG不含帧间压缩，压缩比较帧内/帧间压缩低。但因为不含帧间压缩，使得各帧在

25、压缩编码后是各自独立的，这一点对于编辑来说是有利的，可以做到精确到逐帧的编辑。所以对于活动画面只进行帧内压缩的Motion-JPEG，目前仍然在一些数字电视编录设备，如非线性编辑系统中得到应用。 3.MPEG 1988年，国际标准化组织ISO和国际电工委员会IEC共同组建了运动图像专家组Moving Picture Experts Group，对运动图像的压缩编码标准进行了研究。1992年和1994年分别通过了MPEG1和MPEG2压缩编码标准。 MPEG1主要是针对运动图像和声音在数字存储时的压缩编码，典型应用如VCD等家用数字音像产品，其编码最高码率为1.5Mbps。MPEG2则针对数字电

26、视的视音频压缩编码，对数字电视各种等级的压缩编码方案及图像编码中划分的层次作了详细的规定，其编码码率可从3Mbps到100Mbps。 MPEG的基本编码过程与H.261相似，即通过DCT进行帧间压缩。除了在编码语法上加进了一些特别规定外，与H.261的一个重要不同是MPEG在预测编码中加进了一个双向预测帧B帧，如图3所示。 图中，I帧只进行帧内压缩，是作为预测基准的独立帧，具有较小的压缩比。由I帧前向预测产生的P帧具有中等压缩比，并与I帧一起成为B帧的预测基准。由此产生的B帧则具有最高的压缩比。I帧出现的频率及I，B，P帧之间如何组合，MPEG未作具体规定，可由编码器自行选择。如索尼的数字Be

27、tacom录像机，为便于精确地编辑，在压缩编码过程中抽掉了B帧，只有I帧与P帧的组合。 在上述各种图像压缩编码标准中，MPEG2是专门针对数字电视的。MPEG2的压缩编码及其标准码流的形成构成了数字电视信源编码的核心。 主要特性 1、H.264/AVC相对以前的编码方法，以MPEG-2为例，在图像内容预测方面提高编码效率，改善图像质量的主要特点如下： 可变块大小运动补偿： 选择运动补偿大小和形状比以前的标准更灵活，最小的亮度运动补偿块可以小到4×4。 1/4采样精度运动补偿：以前的标准最多1/2精度运动补偿，首次1/4采样精度运动补偿出现在MPEG-4第二部分高级类部分，但H.264

28、/AVC大大减少了内插处理的复杂度。 运动矢量可跨越图像边界：在以前的标准中，运动矢量限制在已编码参考图像的内部。图像边界外推法作为可选技术首次出现在H.263中。 多参考图像运动补偿：在MPEG-2及以前的标准中，P帧只使用一帧，B帧只使用两帧图像进行预测。H.264/AVC使用高级图像选择技术，可以用以前已编码过且保留在缓冲区的大量的图像进行预测，大大提高了编码效率。 消除参考图像顺序和显示图像顺序的相关性：在以前的标准中，参考图像顺序依赖显示图像顺序，H.264/AVC消除了该限制，可以任意选择。 消除参考图像与图像表示方法的限制：在以前的标准中，B帧图像不能作为预测图像，H.264/A

29、VC在很多情况可以利用B帧图像作为参考。 加权预测：H.264/AVC采用新技术，允许加权运动补偿预测和偏移一定量。在淡入淡出场景中该技术极大提高编码效率，该技术还可用于其他多种用途。 改善“跳过”和“直接”运动推测：在以前的标准中，预测编码图像的“跳过”区不能有运动。当编码有全局运动的图像时，该限制非常有害。H.264/AVC对“跳过”区的运动采用推测方法。对双预测的B帧图像，采用高级运动预测方法，称为“直接”运动补偿，进一步改善编码效率。 帧内编码直接空间预测：将编码图像边沿进行外推应用到当前帧内编码图像的预测。 循环去块效应滤波器：基于块的视频编码在图像中存在块效应，主要来源于预测和残余

30、编码。自适应去块效应滤波技术是非常著名的技术，能有效消除块效应，改善视频的主观和客观质量。 2、除改善预测方法外，其他改善编码效率的特性如下： 小块变换：以前的标准变换的块都是8×8，H.264/AVC主要使用4×4块变换，使编码器表示信号局部适应性更好，更适合预测编码，减少“铃”效应。另外图像边界需要小块变换。 分级块变换：H.264/AVC通常使用小块变换，但有些信号包含足够的相关性，要求以大块表示，H.264/AVC有两种方式实现。低频色度信号可用8×8，；对帧内编码，可使用特别的编码类型，低频亮度信号可用16×16块。 短字长变换： 所有以前标准

31、使用的变换要求32位运算，H.264/AVC只使用16位运算。 完全匹配反变换：所有以前标准反变换和变换之间存在一定容限的误差，因此，每个解码器输出视频信号都不相同，产生小的漂移，最终影响图像的质量，H.264/AVC实现了完全匹配。 基于上下文的熵编码：H.264/AVC使用两种熵编码方法，CAVLC（上下文自适应的可变长编码）和CABAC（上下文自适应二进制算术编码），两种都是基于上下文的熵编码技术。 3、H.264/AVC具有强大的纠错功能和各种网络环境操作灵活性，主要特性如下： 参数集结构：H.264/AVC参数集结构设计了强大、有效的传输头部信息。在以前的标准中，如果少数几位关键信息

32、丢失，可能解码器产生严重解码错误。H.264/AVC采用很灵活、特殊的方式，分开处理关键信息，能在各种环境下可靠传送。 NAL单元语法结构：H.264/AVC中的每一个语法结构放置在称为NAL的单元中，以前的标准采用强制性特定的位流接口。NAL单元语法结构允许很自由的客户化，几乎适合所有的网络接口。 灵活的像条大小：在MPEG-2中，规定了严格的像条结构，头部数据量大，降低预测效率，编码效率低。在H.264/AVC可采用非常灵活的像条大小。 灵活宏块排序（FMO）：H.264/AVC可以将图像划分为像条组，又称为图像区，每个像条可以独立解码。FMO通过管理图像区之间的关系，具有很强的抗数据丢失

33、能力。 任意像条排序：因为每个像条几乎可以独立解码，所以像条可以按任意顺序发送和接收，在实时应用中，可以改善端到端的延时特性，特别适合于接收顺序和发送顺序不能对应的网络中，如使用INTERNET网络协议的应用。 冗余图像：为提高抗数据丢失的能力，H.264/AVC设计中包含一种新的能力，允许编码器发送图像区的冗余表示，当图像区的主表示丢失时仍可以正确解码。 数据划分：视频流中的编码信息的重要性不同，有些信息（如运动矢量、预测信息等）比其他信息更为重要。H.264/AVC可以根据每个像条语法元素的范畴，将像条语法划分为3部分，分开传送。 网络层 NAL规范视频数据的格式，主要是提供头部信息，以适

34、合各种媒体的传输和存储。NAL支持各种网络，包括： 任何使用RTP/IP协议的实时有线和无线Internet 服务。 作为MP4文件存储和多媒体信息文件服务。 MPEG-2系统。 其他网。 1、NAL 单元 编码的视频流组织成NAL单元，视频数据放置在网络单元中传输，每个网络单元包含整数个字节，第一个字节是头部信息，指示NAL单元的数据类型，其余是净荷。 净荷数据与仿真预防字节做交织处理，仿真预防字节是特殊值字节，防止偶然在净荷中出现同步字节图样。 NAL规定一种通用的格式，既适合面向包传输，也适合流传送。实际上，包传输和流传输的方式是相同的，不同之处是流传输前面增加了一个起始码前缀。 2、N

35、AL单元在字节流中的应用 类似H.320和MPEG-2/H.222.0等传输系统，传输NAL作为有序连续字节或比特流，同时要依靠数据本身识别NAL单元边界。在这样的应用系统中，H.264/AVC规范定义了字节流格式，每个NAL单元前面增加3个字节的前缀，即同步字节。在比特流应用中，每个图像需要增加一个附加字节作为边界定位。还有一种可选特性，在字节流中增加附加数据，用做扩充发送数据量，能实现快速边界定位，恢复同步。 3、NAL单元在面向包传送中的应用 在类似Internet/RTP面向包传送协议系统中，包结构中包含包边界识别字节，在这种情况下，不需要同步字节。 4、VCL和非VCL的NAL单元

36、NAL单元分为VCL和非VCL两种，VCL NAL单元包含视频图像采样信息，非VCL包含各种有关的附加信息，例如参数集（头部信息，应用到大量的VCL NAL单元）、提高性能的附加信息、定时信息等。 5、参数集 参数集是很少变化的信息，用于大量VCL NAL单元的解码，分为两种类型： 序列参数集，作用于一串连续的视频图像，即视频序列。 图像参数集，作用于视频序列中的一个或多个个别的图像。 序列和图像参数集机制，减少了重复参数的传送，每个VCL NAL单元包含一个标识，指向有关的图像参数集，每个图像参数集包含一个标识，指向有关的序列参数集的内容，因此，只用少数的指针信息，引用大量的参数，大大减少每

37、个VCL NAL单元重复传送的信息。 序列和图像参数集可以在发送VCL NAL单元以前发送，并且重复传送，大大提高纠错能力。序列和图像参数集可以在“带内”，也可以用更为可靠的其他“带外”通道传送。 6、存储单元 一组指定格式的NAL单元称为存储单元，每个存储单元对应一个图像。每个存储单元包含一组VCL NAL单元，组成一个主编码图像，VCL NAL单元由表示视频图像采样的像条所组成。存储单元前面可以加一个前缀，分界存储单元，附加增强信息（SEI）（如图像定时信息）也可以放在主编码图像的前面。 主编码图像后附加的VCL NAL单元，包含同一图像的冗余表示，称为冗余编码图像，当主编码图像数据丢失或

38、损坏时，可用冗余编码图像解码。 7、编码视频序列 一个编码视频序列由一串连续的存储单元组成，使用同一序列参数集。每个视频序列可独立解码。编码序列的开始是即时刷新存储单元（IDR）。IDR是一个I帧图像，表示后面的图像不用参考以前的图像。一个NAL单元流可包含一个或更多的编码视频序列。 MPEG-4标准运动图像专家组MPEG 于1999年2月正式公布了MPEG-4（ISO/IEC14496）标准第一版本。同年年底MPEG-4第二版亦告底定，且于2000年年初正式成为国际标准。 MPEG-4与MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具体压缩算法，它是针对数字电视、交互式绘图应用（

39、影音合成内容）、交互式多媒体（WWW、资料撷取与分散）等整合及压缩技术的需求而制定的国际标准。MPEG-4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。 MPEG-4的编码理念是：MPEG-4标准同以前标准的最显著的差别在于它是采用基于对象的编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方法，又有利于不

40、同数据类型间的融合，并且这样也可以方便的实现对于各种对象的操作及编辑。例如，我们可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便的实现交互，根据自己的需要有选择的组合各种视频音频以及图形文本对象。 MPEG-4系统的一般框架是：对自然或合成的视听内容的表示；对视听内容数据流的管理，如多点、同步、缓冲管理等；对灵活性的支持和对系统不同部分的配置。 与MPEG-1、MPEG-2相比，MPEG-4具有如下独特的优点： （1） 基于内容的交互性 MPEG-4提供了基于内容的多媒体数据访问工具，如索引、超级链接、上下载、删除等。利用这些工具，用户可以方便地从多媒

41、体数据库中有选择地获取自己所需的与对象有关的内容，并提供了内容的操作和位流编辑功能，可应用于交互式家庭购物，淡入淡出的数字化效果等。MPEG-4提供了高效的自然或合成的多媒体数据编码方法。它可以把自然场景或对象组合起来成为合成的多媒体数据。 （2）高效的压缩性 MPEG-4基于更高的编码效率。同已有的或即将形成的其它标准相比，在相同的比特率下，它基于更高的视觉听觉质量，这就使得在低带宽的信道上传送视频、音频成为可能。同时MPEG-4还能对同时发生的数据流进行编码。一个场景的多视角或多声道数据流可以高效、同步地合成为最终数据流。这可用于虚拟三维游戏、三维电影、飞行仿真练习等 （3）通用的访问性 MPEG-4提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络以及存储介质中的应用，此外，MPEG-4还支持基于内容的的可分级性，即把内容、质量、复杂性分成许多小块来满足不同用户的不同需求，支持具有不同带宽，不同存储容量的传输信道和接收端。 这些特点无疑会加速多媒体应用的发展，从中受益的应用领域有：因特网多媒体应用；广播电视；交互式视频游戏；实时可视通信；交互式存储媒体应用；演播室技术及电视后期制作；采用面部动画技术的虚拟会议；多媒体邮件；移动通信条