数字电视的码流技术

数字电视原理数字电视码流基础数字电视码流基础数字电视信号是以码流形式传输与模拟电视显著不同。码流内容包含：信号的表示、码流语法、码流中的逻辑关系、码流内部所描述内容、码流的层次关系等。

模拟电视与数字电视的区别（信号及信号传输）

；数字电视码流及分类；码流的主要内容；同步与时间标识；条件接收，加密，加扰；附加信息，电子节目表，服务信息；模拟电视与数字电视模拟电视数字电视信号表示连续的电流或电压利用二进制数“0”、“1”表示信号传输采用扫描实现图像信号的顺序传输打包，码流复用多套电视组成一个传输码流串行传输音视频频分、同时传输打包，音视频交替传输信号同步利用同步脉冲信号同步利用时间信息，时间标识，实现同步条件接收无加密、加扰附加信息无有如电子节目表数字电视码流的类型ES（基本码流）

视频ES

音频ES

数据流PES（节目基本码流）——打包的基本码流PS（节目码流）——用于节目存储，演播室，信道干扰小TS（传输码流）——用于远距离信号传输，信道干扰较大ES视频ES1音频ES1数据1视频ES2音频ES2数据2打包打包打包

传输复用节目复用打包视频PES1音频PES1视频PES2音频PES2PS流1TS流数字电视码流之间的层次关系1.基本码流（ElementaryStream）

包含视频、音频、数据的连续码流。

MPEG视频码流：

根据MPEG图像序列的结构，MPEG视频ES的结构由6层组成。图像序列、图像组、图像帧、宏块条、宏块、块。头部信息数字电视码流的形式是一串二进制数据，要明白二进制数据所代表的含义，还要借助于另一些二进制数据来标明哪些数据是属于哪一层的，以及有关的参数，这些数据被置于有效数据的前面，而且有固定的码字，我们称之为头部信息，一般头部信息的起点由起始码（StartCode）标识。

序列头序列头序列扩展扩展与用户图像组扩展与用户图像头图像编码扩展扩展与用户图像数据序列结束ISO/IEC11172-2(MPEG-1)图4—14MPEG一2视频基本码流（ES）的高层结构（1）序列的头部（sequenceheader）标志整个编码序列的开始，实际码流中可以有多个序列头，以实现编辑切换。该序列头定义了有关图像大小(水平和垂直尺寸)、帧率、码率、用户自定义帧内／帧间量化矩阵等重要信息。考虑到MPEG一2和MPEG一1的兼容性，头部信息分成两部分：一部分称为序列头——这是两个标准的共用部分，另一部分称为序列扩展或序列延伸(sequence

extension)——这是MPEG一2的标志。（2）序列扩展(sequenceextension)它规定了序列的其余信息，包括3个参数：①profile-and-level(型和级别)；②参数2规定了图像格式：4：2：0、4：2：2、4：4：4；③progresssequence，说明是只有帧图像，还是既有帧图像又有场图像。Sequenceextension起始码是000001B5(16进制)，后面是识别码0001——说明是哪一个型Extension(Profile、Level)，如图中ISO／IEC11172—2指MPEG—1。还有序列显示扩展、量化矩阵扩展、序列分级(时间、空间、SNR)扩展等。（3）扩展与用户(extension&user)

有扩展起始码，指明扩展的开始。用户数据是由用户为其特殊应用所定义的数据，用户数据起始码表明用户数据开始。（4）图像组头(Groupofpictureheader)

①group—start—code：一个16进制的字符串000001B8，表明图像组头部的开始。②time—code：一个25比特的字段，用于视频磁带记录器的时间和控制码。

③closed—gop及broken—link均涉及到对B帧的处理。在传送来的图像序列中，码流中第一个I帧和P帧之间的B帧属于前一个GOP，如果对当前GOP进行剪辑，除非这些B帧仅使用后向预测(closed—gop＝1)，否则它们无法正确重建；而broken—link，正常编码过程置0，当对GOP剪辑时则置1，说明该GOP的I、P帧之间的B帧无法正确解码，除非closed—gop=1，否则解码器必须跳帧，以避免显示这些B帧。（5）图像编码扩展(Picturecodingextension)

①picturestructure：说明是顶场(topfield)、底场(bottomfield)还是帧图像(framepicture)。

②intra—dc—precision：规定帧内直流系数的精度是8／9／l0／11bits中的哪一种。此外，还说明运动矢量的变动范围，是否是4：2：0格式等。③f—code：定义P、B帧运动估计时搜索窗的范围，由此限定了宏块MV所能达到的最大值。④top—first—field、repeat—first—field及progress—frame的组合，形成MPEG一2视频多种解码、显示方式。（6）图像数据层(Picturedata)主要包括宏块条头、宏块、块等信息，MPEG—2通常取一行宏块构成一个Slice，是最小的同步单位。（7）扩展系统层语法MPEG一2中有两类数据码流：传送数据流和节目数据流。两者都是由压缩后的视频数据或音频数据(包括辅助数据)组成的分组化单元数据流所组成。传送数据流的运行环境有可能出现严重的差错(比特误码或分组丢失)，而节目数据流的运行环境则极少出现差错，或系统层的编码基本上由软件完成。由于在字头上作了很多详细规定，使用起来较为方便和灵活，可对每个分组设置优先级；加密／解密或加扰；更换广告内容；插入多语种解说声音和字幕等。一个8×8图像块DCT系数的量化（可变长度编码）宏块地址模式量化值运动矢量块模式编码亮度块色度块起始码起始码起始码宏块条地址量化值宏块0宏块1…宏块n－1图像标志量化加权矩阵宏块条0宏块条1…宏块条m－1图像序列参数图像级和型图像0图像1…图像p－1码流各层的主要语法元素组成块层宏块层宏块条层图像层图像序列层2.包的基本流（PacketElementary

StreamPES）

基本码流是对编码的视频码流、音频码流和其他编码数据流的统称。音频或视频数据经过编码后得到基本码流（ES）还不能直接送入传输系统或节目系统。一个符合ISO11172规定的码流是由一个或几个基本码流ES(elementarystream)复合而成的。数据传输需要分组打包，数据分组。ES流经过打包后称为打包的基本码流，其包的长度可变，一般取单元长度。一个单元长度：一幅视频图像一个音频帧

ISO11172将基本码流复合在一起的办法是将基本码流先打成小包PES(packetelementarystream，即打包的基本流，实质是码流的数据分组)，每个小包都只能有一种基本码流，比如视频小包、音频小包或其他，PES最大长度达216字节。一个小包不可能有两种或两种以上的基本码流，其小包头部都有码流识别码(streamid—codes)，可借以区别不同性质的基本码流。

在PES的头部包含有许多信息，借此可以识别这个PES是视频还是音频或者是数据，也可以知道包有多长等。对于小包中的第一个存取单元，小包的头部还包含解码时间标签或时间戳DTS(decodingtimestamp)和显示时间标签或时间戳PTS(presentationtimestamp)。码流在时间上被分割成许多小包串行传送，几个小包又在系统复用层被打成大包便于信道编码与传送。（1）PES的组成

在PES数据块的前面有一个PES的头部，其头部包含了许多信息，首先是包起始码，它由一个起始码前缀和后面的起始码标志组成。起始码前缀是由一串字符共23个“0’’和一个“1”组成，即“000000000000

0000

00000001”。起始码标志是一个8bit的整数，说明起始码的种类，即包标志(stream－id)，说明这个包所属码流的性质(视频、音频或数据)及序号，起始码的比特格式是专用的，在码流中不会有同样的组合是代表别的意思。

包标志(stream-id)，说明这个包所属码流的性质(视频、音频或数据)及序号，比如：1100××××——MPEGAudiostream，Number××××；1111××××——MPEGVideostream，Number××××。stream-id后面的是PES包长度，说明这个字段后面有多少个字节。PES中2bit“10”是MPEG一2的标志，其后的PESHeaderFlags即PES头部识别标志为14bit，PES组成及其PESHeaderFlags包含内容如图4—15所示。图4—15PES的组成图包起始码标识流标识码PES长度PES头PES包数据“10”加扰控制优先级指示数据校准指示版权指示原始复制标识包头数据长度包数据块PES字段解码时间标签显示时间标签ES系统时间标识ES流数据存储介质模式附加复制信息循环校验码标志PES扩展标志标识包头字段任意字段PES专用数据PES扩展字段长度PES扩展字段数据节目包序列节目码流系统目标解码器缓冲器在图4—15中，SC表示加扰指示，PR表示优先级指示，DA说明相配合的数据，CR表示有无版权指示，OC表示原版或拷贝，PD表示是否有PTS及DTS，ESCR表示PES包头部是否有ElementaryStreamClockReference，即基本码流的时钟基准信息，RATE表示PES包头部是否有ElementaryStreamRate即基本码率信息，TM指出是否有8比特的字段说明DSM(digitalstoragemedia)的模式，AC未定义，CRC表示是否有循环校验码，EXT说明是否有扩展标志。(2)传输包PES包进入传输系统，要被分割成一个又一个固定长度为188字节的传输包，其PES包的数据，包括头部都是作为传输包的净负荷数据一个接一个地传送。一个新的PES包数据总是开始一个新的传输包，如果PES包在一个传输包的中间处结束，那么传输包的余下的长度内就用填充字填进去。传输包的头部结构分为两层，一层是固定长度的连接层(linklayer)，另一层是长度可变的适配(adaptationlayer)。其作用分别如下：①linklayer的作用是：

A．包同步。它是包中的第一个字节，用于建立包同步；

B．包识别符(PID)。包之所以能被复用和解复用，就是靠特定的基本码流和控制码流的包识别符号。由于PID在头部的位置是固定的，要提取某个基本码流的包很容易，只要同步建立后靠PID滤出这个包就行。

C．误码处理。解码器中的打包层能够作误码检测是靠连续计数的字段来实现的，在发送端对所有的包都作0到15的重复计数，在接收机终端如发现连续计数器的值中断，即表明数据在发送中丢失了，此时解码器的传输处理器就会告诉解码器某个基本码流丢失了数据。

D．条件接收。MPEG一2传输格式允许包的数据作扰乱处理，各个基本码流都可以独立地进行扰乱。传输包的连接头信息要说明包中的净负荷数据是否被扰乱了，如果是，则要标志出解扰的密钥。必须指出的是，头部信息总是清楚的、不被扰乱的。②adaptationlayer的作用是：A．同步和定时。正如前文ISO11172中所说，压缩后的数字图像的各帧数据量相差很大，这就不可能从图像数据的起始部分直接获取定时信息，所以在数字码流中没有像在模拟电视中有“同步脉冲’’的概念。解决上述问题的方法是选择一些包的适配头传送时间信息，这就是节目时钟参考PCR(programclockreference)。它是一个27MHz的时钟信息，指出在传输解码器从码流中读完这个字段时的期望时间，在发送端利用计数器对系统时钟进行计数形成PCR；在解码器中通过锁相环电路，对当地27MHz时钟的相位和接收的瞬时PCR相比较，决定解码过程是否同步。

B．随机进入压缩的码流。在节目调谐或节目更换时需要随机进入音频和视频，即随机进入I帧(在I帧前面的视频序列的头部应该一个随机进入点)。

C．当地节目的插入。同步和时间标志

图像得以稳定重现的前提是与发送端的正确同步。模拟电视图像每帧的扫描时间是一定的，而且绝对是按次序传送的，所以只要在每一帧和每一行起始的时间同步，就一定解决了整个图像的同步问题，而且音频与视频是同时传送的，不存在音频与视频的同步问题。

对于经压缩编码的图像来说，同步就是一个较为复杂的问题，这是因为：

(1)I、P、B帧三类图像经压缩后的字节数相差悬殊。

(2)由于帧间预测编解码的需要，显示图像的次序不同于解码器输入图像的次序。

(3)音频的基本码流和视频的基本码流是交错传送的。解决同步问题的方法是在码流中插入时间标志，有了时间标志就可以在显示前重新排序，重建压缩前的图像序列的次序，并且使音频和视频同步显示。要加时间标志，首先要有统一的时间基准，即如图4—16所示的STC(systemtimeclock)，它对视频和音频都是有效的，运行于90kHz，每天持续24小时，且解码器的时间基准同样锁定在STC上。有了时间基准，那么在大包的头部插入一个叫系统时钟参考SCR(systemclockreference)的时间标志，它是一个33bit的数，用以指明是SCR的最后一个字节离开编码器的时间，在STD的输入端则提取这个时间。

图4—16时间标志系统注：解码器中的双向箭头进出STC，表示可以有不同结构收集图像对STC取样得到PTS收集音频帧对STC取样得到PTS复用系统编码与缓冲编码编码对STC取样得到SCR缓冲器解码与显示缓冲器解码与显示比较PTS比较PTS数字DSM存储介质STC

STC

未编码的视频视频输出未编码的音频音频输出3.节目码流PS节目码流是将一个或几个具有公共时间基准的PES组合成的复用流。所有的基本码流就像单个节目码流一样同步解码。

PS流比较适合于相对误码率小的传输环境中，如交互式多媒体环境和媒体存储管理系统，演播室环境。

PS码流的数据包长度相对比较长，并且是可变的。

PS是由两层组成系统层：包头，系统时钟参考基本流和属性压缩层：PES数据流4.传输码流TS

传输流是由一个或几个不同的PES经过传输打包后组成的复合流。

TS利用一套节目专用信息表PSI来管理码流中各个PES的关系及其它的一些复用信息。

TS流的数据结构为固定长度的包（188字节或204字节，其中有效数据固定为188字节），它适合在相对有干扰或误码的环境中传输，如有线电视或地面广播。TS流的每个包数据分为包头数据和净荷数据两部分。

同步与时间标识模拟电视系统实现图像信号的顺序传输与图像得以稳定重现的前提是与发送端的正确同步。模拟电视图像每帧的扫描时间是一定的，而且绝对是按次序传送的，所以只要在每一帧和每一行起始的时间同步，就一定解决了整个图像的同步问题，而且音频与视频是同时传送的，不存在音频与视频的同步问题。数字电视系统中对于经压缩编码的图像来说，同步就是一个较为复杂的问题，这是因为：

(1)I、P、B帧三类图像经压缩后的字节数相差悬殊。

(2)由于帧间预测编解码的需要，显示图像的次序不同于解码器输入图像的次序。

(3)音频的基本码流和视频的基本码流是交错传送的。在信号处理压缩过程中，需要时间并且视音频压缩处理所需时间的不一致，不固定也会给同步造成困难。不同步问题在数字电视系统中，存在的不同步问题：序列图像解码和显示重排（同步）的问题；图像的行、场同步问题（图像的空间同步）；视音频同步问题（时间同步）无论是TS码流还是PS码流，每一套视频流或音频流都独占了一个PID资源。各视/音频数据包在时域上相互独立，交错分布在码率中，解码端在获取视音频数据包后，采用缓冲机制，拼装成视频帧或音频帧，经解码器解码后进行播放。如果在时间域上不加以控制，播放的图像与声音之间往往会出现错位现象——音、像的时间不同步。为此就需要在码流中添加视音频数据间的时间相关性信息。数字电视的时间信号由码流中的专门信息来传递，接收端应该从码流的这些信息中恢复时钟。

系统时钟在数字视频应用系统中，解码和编码之间需要经过数字方式存储，传输等各种不同处理，不可能做到每个比特从编码器到解码器之间的间隔保持相同。为了实现各种不同应用状态下的编/解码之间的同步，在MPEG系统中引入了系统时钟（systemtimeclock，STC）的概念。解决同步问题的方法是在码流中插入时间标志，有了时间标志就可以在显示前重新排序，重建压缩前的图像序列的次序，并且使音频和视频同步显示。要加时间标志，首先要有统一的时间基准，即如图4—16所示的STC(systemtimeclock)，它对视频和音频都是有效的，运行于90kHz，每天持续24小时，且解码器的时间基准同样锁定在STC上。有了时间基准，那么在大包的头部插入一个叫系统时钟参考SCR(systemclockreference)的时间标志，它是一个33bit的数，用以指明是SCR的最后一个字节离开编码器的时间，在STD(系统目标解码器)的输入端则提取这个时间。

图4—16时间标志系统注：解码器中的双向箭头进出STC，表示可以有不同结构收集图像对STC取样得到PTS收集音频帧对STC取样得到PTS复用系统编码与缓冲编码编码对STC取样得到SCR缓冲器解码与显示缓冲器解码与显示比较PTS比较PTS数字DSM存储介质STC

STC

未编码的视频视频输出未编码的音频音频输出MPEG一2编解码系统中有一个共同的节目参考时钟(PCR)，此时钟是用来产生指示音频和视频的正确显示和解码时序的时间标签或时间戳，同时可用来指示在抽样间隙中系统时钟本身的瞬时值。指示音频和视频显示时间的时间标签为显示时间标签(PTS)，指示解码时间的为解码时间标签(DTS)。在MPEG一2数字视频广播系统中，传输流中PCR的插入至关重要，必须在PCR域(或字段)最后离开复用器的那一刻进行，同时把27MHz系统时钟的采样作为PCR字段插入到相应的PCR域中。在此之前插入的PCR，可能由于系统存在缓存，其缓存过程中各字节的延时会造成PCR的抖动，影响解码器的时钟恢复，这是不允许的。每个节目均有其本身的时间基准，包含多节目的传送码流，各有其本身的PCR域值。为了解决同步问题，MPEG一2采用了在ES、PES和TS三个码流中设置相关的时钟信息，并通过联合作用达到编解码同步和视音频同步。它实际上就是系统时钟在不同的图像显示及声音回放时刻的抽样值。在每一个音频帧和视频帧的编码比特所形成的PES的包头中，包含了相应的PTS值。接收端首先利用前面讲的方法将本地时钟恢复出来后，便形成了PTS的参考基准，当接收到任何的PTS包信号(包括音频和视频)时，经过解码后，在进行显示和回放之前，都要将它所携带的PTS与经过恢复的PCR进行比较，如果满足：其中△t为PCR的抖动容限。那么表明此时图像或声音正好位于显示或回放时刻，于是可立刻将图像帧或音频帧进行显示或回放，不需作任何同步处理；但是通常是PTS的到达与PCR时钟恢复是两个独立的过程，上式一般不满足，要进行以下的同步调整：

(1)如果PTS<PCR－△t，那么立即将该帧丢弃，并重复已显示帧，直至PTS值赶上来，并使式(4—9)得以满足。

(2)如果PTS>PCR+△t，那么将已译码出来的音视频帧放在显示缓存器里等待，直至PCR的值增加起来，使式(4—9)得以满足。此时，才将显示缓存器里的内容释放出来。由于发端音视频帧的PTS均以系统时钟为基准插入，所以通过上述的调整过程均可以保证接收端的音视频同步。

在ES流中通过采用VBV—Delay确定解码起始，在PES流中由解码时间标签和显示时间标签确定解码和显示次序。在接收端利用计数器形成本地时钟参考LCR，再利用PCR重建和编码端同步的27MHz系统时钟。当每一个新的PCR到达时，解码器都会将其和自己本地27MHz系统时钟的采样值比较，利用两者的误差生成控制本地27MHzVCO（压控振荡器）的误差电压，从而使本地27MHz系统时钟和编码端的27MHz系统时钟同步。恢复了27MHz系统时钟后，再利用PES头信息中的显示时间标签和解码时间标签进行视音频的同步，同时利用VBV—Delay在解码器的缓冲器(Buffer)充盈到相应程度后启动初始解码。

解码端的27MHz时钟全靠PCR产生，如果PCR插入不正确，那么将导致解码端Buffer上溢或下溢。例如，编码端的系统时钟为27MHz，而解码端的时钟为27.001MHz，那么由于解码速度偏快，最终将导致解码端的Buffer的下溢；相反若解码端时钟低于27MHz，由于解码速度偏慢将最终导致Buffer上溢。可见，PCR的设计本身是用来恢复解码时钟的，并不是真正的系统时钟值。

PCR为42bit计数值，其中33bit为PCR-Base，9bit为PCR-Ext，因此有PCR—time=PCR-Base×300+PCR-Ext。PCR的时间基准为系统27MHz时钟，PCR-Base为27MHz时钟300分频后90kHz的33位计数值；PCR-Ext则为27MHz时钟的9位计数值，以提供PCR的精度。实际中，PCR每隔100ms至少被传输一次，在指定的TS分组的适配层中传送。系统时钟恢复

在解码过程中，要做到与编码端同步，就需要以编码端的系统时钟作为参考。

PCR或SCR都是系统时钟的抽样值，解码端可以用它们来恢复编码端的系统时钟，使得解码端和编码端拥有共同的时钟基准。二者恢复机制相同，以PCR为例具体说明恢复机制。在TS码流中，每个PCR到达解码端的精确时间由PCR值指示，它就是PCR被发送时编码端的本地时钟。如果解码端和编码端的系统时钟频率严格匹配，那么一旦根据PCR设定一次解码端的本地时钟以后解码端和编码端的系统时钟就能保持同步。按标准规定系统时钟应该维持在27000000±810Hz之间，每秒的变化率应小于等于75×10－13Hz。实际上是很困难的。

如果二者频率的偏差随着时间的积累将会导致解码器中要么数据过剩（节目内容大量积压），要么数据不足（节目时断时续）。为了做到与编码端系统时钟保持同步，解码端必须不断地按照所到达的PCR来修正本地时钟。为此采用锁相坏（PLL）技术，当第一个PCR到达时，PCR值被直接装入系统时钟计数器；将此后的本地系统时钟值与当前到达的PCR做差分运算，得到的误差值e;e通过低通滤波和增益控制后，输出控制信号f；压控振荡器（VCO）在f的控制下输出修正后的系统时钟。音视频同步（时间同步）在数字电视系统中，必须解决一个重要的音视频同步即唇音同步问题。这是由于数字图像压缩编码处理时间与声音压缩编码所需要的信号处理时间不一致，因此如果在发送端不对接收端的视频和音频同时显示与回放进行标志，那么在接收端将视频和音频信号解码出来后，就不知道如何协调视频和音频信号的显示及回放，以使之同步。为了避免出现音视频显示与回放的不同步而影响收看的问题，在发送端要将每帧图像及其相应声音的显示及回放时刻，以系统时钟为参考表现出来，称之为显示时间标志(presentationtimestamp)。数字电视系统是如何实现同步的1.建立系统时钟STC，使发送端（编码），接收端（解码），TS码流或PS码流有一个统一的时间标志。在大包的头部插系统时钟参考SCR的时间标志，用以指明是SCR的最后一个字节离开编码器的时间，在STD(系统目标解码器)的输入端则提取这个时间。

2.

编码时，在ES、PES和TS三个码流中设置相关的时钟信息，并通过联合作用达到编解码同步和视音频同步。

3.确定时间标志，在打包码流PES的包头插入系统时钟参考（SCR）节目时钟参考(PCR)信息。(PCR)是用来产生：显示时间标签(PTS)——指示音频和视频的正确显示的时间标签；解码时序的时间标签或时间戳(DTS)——指示解码时间的解码时间标签。4.STD(系统目标解码器)的输入端，接收到PCR后采用锁相坏（PLL）技术，当第一个PCR到达时，PCR值被直接装入系统时钟计数器；将此后的本地系统时钟值与当前到达的PCR（每相隔100ms发送一次）做差分运算，输出控制信号f；压控振荡器（VCO）在f的控制下输出修正后的系统时钟STC。5.通常是PTS的到达与PCR时钟恢复是两个独立的过程，式一般不满足，要进行同步调整以解决唇音同步问题；解码时序的时间标签或时间戳(DTS)——指示解码时间的解码时间标签，解决图像的空间同步和图像序列显示重排的问题条件接收，加密，加扰

1.条件接入（CA）的直接含义是：对某部分特权信息的访问需要满足一定的条件，也就是信息加解密技术。

2.数字电视条件接入系统构成：用户管理系统、节目管理系统、密钥生成系统、加扰系统、服务信息生成系统、智能卡和解扰系统。

3.加密与加扰：实现条件接收，对信号要加扰（对编码后的图像码流加扰），加扰是通过控制字实现的，而加密是对控制字进行加密，而加扰的算法一般是公开的，而必须对控制字加密。加扰：控制字是用于对数字电视相关节目的码流数据进行加扰的密钥，由于加扰系统工作于实时状态，必须保证较高的速度，再加上在许多标准系统中，加扰的算法基本上是公开化的，因此加扰系统一般采用某些比较常用的而且比较简单的算法。为了防止系统被破解，要求控制字必须比较长而且经常改变，同时要求生成方式应该是随机的，不能有固定的规律。一般实际系统中控制字每几秒钟就要改变一次。控制字的产生往往采用类白噪声源的硬件产生。加密（控制字）：加扰的控制字必须由节目提供方送到接收端，接收端才能将加扰后的数字电视码流正确解码。由实时性和不断变化的要求，这种传送只能通过传送电视码流的信道传送，必须对它进行加密传送。