数字电视技术

数字电视技术

对视频编码标准的解读

冯锡增（原广东省广播电视局总工程师）dabfxz@163.com2014年8月内容提要广播电视台与数字化电视中心和传输发射数字电视编码的基本原理数字电视信号的类型TS传输层基本原理先进的编码技术H264与AVS先进的编码技术的演进和发展趋势信源相关测试仪器及其使用广播电视为什么要数字化当前，广播电视正在全面数字化；因为整个信息行业已经数字化，我们的竞争对手也已经数字化；我们的内部环境也具备数字化的条件；数字信号和模拟信号的差别是什么？（对技术人员不用解释，非技术人员要好好搞清楚,什么是模拟信号，什么是数字信号？）数字化的优点1）数字信号处理、传输使信号质量大大提高数字信号在记录/重放、信号传输和处理等过程中不会引起信号劣化，通过整形和纠错编码等技术可将数字信号有效还原，收端图像质量与发端基本一致。数字电视，比特率为4～5Mb／s的信号，传输到用户清晰度达到480线，主观评价约4.3分。而模拟信号只有3分左右。（模拟电视经电视中心、微波、卫星、发射机和接收机各环节后，按五级质量制评定只有3.25分）。数字化的优点（续）2）频谱资源利用率高电视数字化，节目容量大大提高。如1个8MHz模拟频道可以传6～10套数字电视节目。500MHz带宽内可以传380～630套节目。HFC网络改造(1G)会使容量进一步提高。

3）多信息、多功能数字技术有利于电视节目与数据的融合。大大扩展服务内容。如电子节目指南、财经信息、视频点播、歌唱点播、新闻选取、远程教育、电视购物、交互游戏等新颖的增值服务。数字化的优点（续）4）数字化带来有效的用户管理系统数字化使得信号非常容易实现加扰、解扰和加密、解密，便于开展各类收费业务。条件接收（CA）系统的应用，可以实现对用户的有效管理，确保运营商的资金回报。广播电视系统的组成电视技术中心电视信号传输家庭用户有线电视网络无线发射IP网络卫星怎样学习数字电视编码技术复习好模拟信号的有关内容，因为这是基础；数字电视广播包括编码和调制两部分，而核心部分是编码技术；对广播电视系统的不同部分，重点有所不同；编码的内容广泛，有深有浅，学什么要根据需要；从事研究、开发的，要深入到数学等领域；从事具体应用的、值班的，要掌握原理的要领；有些基本的概念要补学，比如电视原理、信息论、数字逻辑运算等等；数字化的基本思路先把模拟信号变为数字信号，得到普通（未压缩）数字码流；再把普通数字码流变为压缩的数字码流；了解压缩的方法、各种压缩方法的原理；了解一个压缩标准（如MPEG-2）的码流结构，然后举一反三；电视信号的类型和演变黑白电视信号（模拟）；彩色电视信号（模拟）；数字电视信号（未压缩）；数字电视信号（压缩）；不同标准的数字电视信号（压缩）；不同的数字电视接口；复习：电视信号的基本概念象素（光如何变为电信号）；扫描（顺序、隔行）、行、场、帧、奇数场、偶数场；黑电平、白电平、消隐（行消隐、场消隐）和同步（行同步和场同步）信号、均衡脉冲；黑白全电视信号的组成复习：黑白电视的全电视信号三基色原理：R、G、B和Y、R-Y、B-Y；彩色电视信号的产生、彩色电视如何与黑白电视兼容、彩色电视的副载波；色同步信号；分量信号和复合信号；模拟电视信号的三大制式；PAL-D模拟广播制式的特点模拟复合系统的要点彩色电视信号彩色电视信号编码的基本概念“编码”含义很多，如‘图书编码’、商品的编码等等，这里说的是电视信号的编码；什么是模拟信号？什么是数字信号？有人说“数字化时代了，信号都是0和1了，没有差别了！”是否真的如此？把模拟信号简单变为数字信号，除了带宽大大增加以外，基本没有什么意义。数字化的优点必须通过编码才可以实现。数字电视信号的产生直接产生：字幕机，数字摄像机等转换生产：电影胶片——电视电影机模拟-数字（A/D转换）——信号数字化取样—时间的离散化；量化—空间（数值）的离散化；编码；信号数字化的过程信号数字化过程（一）取样：取样频率，Nyquist定理把连续信号变换成离散信号信号数字化过程（二）量化：将离散信号样值进行离散化处理；离散化的量化级信号数字化过程（三）编码：量化后的信号仍然只是离散信号，还不是数字信号。用n比特二进制码来表示已经量化了的取样值，称为编码。常用的是8比特或10比特。每个二进制数对应一个量化电平，再按时序将它们排列起来，就得到基带数字信息流。这个码流只有0和1。

演播室里用的信号是SDI信号。传输速率：传输速率=取样频率fs×量化比特数从示波器看到的信号数字信号模拟信号视频信号的数字化

编码方式：复合编码——将彩色全电视信息直接编成PCM码分量编码——将亮度信号Y，色差信号R-Y和B-Y分别编码或PCM码复合编码与分量编码的比较“复合编码”与电视制式有关“分量编码”与电视制式无关在节目后期制作中：“复合”需解码。

“分量”无需解码。传输时：“复合”由于频分复用，产生亮，色串扰

“分量”采用时分复用，无亮，色串扰。ITU-R601建议编码主要参数

（4：4：4格式）

参数625行50场/s制式525行60场/s制式

1，编码信号经过γ校正的信号EY，ER-EY，EB-EY或ER，EG，EB2，各信号的全行样点数864858

3，取样结构正交，按场，行，帧重复，并与此4：2：2标准的亮度样点重合

4，每种信号的取样频率13.5MHz

5，编码方式每样值至少8比特均匀量化PCM

6，用样点表示的数字有效行长度至少720

7，视频信号电平每样值共220量化级，黑电平对应于第16量化级；

8比特的最高有效位峰值白电平相应于第235量化级（MSB）量化级之间的在量化等级中部共分224级，零电平对应128级对应值（范围：0—255）ITU-R601建议演播室分量编码主要参数(4∶2∶2格式)参

数625行50场/s制式

525行60场/s制式1、编码信号Y、R-Y、B-Y2、全行样点数

亮度信号(Y)864858

每个色差信号(R-Y、B-Y)4324293、取样结构正交，场、行、帧重复，R-Y和B-Y的样点同位，并和每行第奇数个(1，3，5...)Y样点同位4、取样频率

亮度信号13.5MHz

每个色差信号6.75MHz5、编码方式线性PCM、8比特量化/每个取样值6、每数字有效行数样点数

亮度信号720

每个色差信号3607、视频信号电平与量化级间的对应值

亮度信号

每个色差信号

共22个量化级，黑电平对应量化级16；峰值白电平对应量化级235

在量化等级中间部，共分224级，零电平对应于128级数字电视中大量使用英文缩写，应当注意它们是什么意思；数字电视信号的接口和数字电视信号的格式是不同的概念，也要区分；如SDI,HD-SDI,ASI,SSI等这些是接口；MPEG-II,H.264，TS流等是信号格式；数字电视信号接口和格式27（简化的）数字电视系统基本构成模数转换信源编码信道编码数模转换信源解码信道解码信道模拟电视信号输入模拟电视信号输出

MatrixCompositeEncoderAtoDConvSerializerRGB270MHzYR-YB-Y6.75MHz

SampleRateforB-Y

andR-Y13.5MHz

Sample

RateforYSerializerClockX10ITU-RBT.601-2

SerialDigital

Component

270Mb/secYR-YB-Y10BitsParallelITU-RBT.601-2

ParallelDigitalComponent

27MB/secSerialDigitalComposite

143Mb/sec(NTSC)177Mb/sec(PAL)ParallelDigitalComposite

PAL=17.7MHz

NTSC=14.3MHzMultiplexed27MB/sec

B-Y/Y/R-Y/Y/B-Y/Y

10BitsParallel4Fsc

(PAL=17.7MHz)

(NTSC=14.3MHz)Component

AnalogVideo

(RGB)Analog

Composite

Video

(PAL/NTSC)MPEG2

Program

EncoderDVD

DigitalVersatile

(Video)DiskAtoD

ConvAudioColorDifference

Component

AnalogVideo

(Y,B-Y,R-Y)MPEG2

Protocol

TransportStreamTransmission

Channel

TxTransmission

Channel

RxMPEG2

Program

DecoderMPEG2

Protocol

TransportStreamTransmissionChannelAnalysisSDH,ATM,SONETorModulatedRFSignals.MPEG2

Protocol

AnalysisPicture

Quality

AnalysisITU-RBT.601-2SerialDigital

Component270Mb/secMPEG2

Protocol

ProgramStreamDataDataAnalogComposite

Video(PAL/NTSC)AtoD

ConvAtoD

Conv数字电视系统基本构成的例子模拟分量模拟复合数字复合数字分量MPEGSDI信号SDI标清电视信号是数字信号，数字信号特点是“1”、“0”两个值的信号信号失真不累加它便于和计算机共同使用使设备多功能化、自动化便于实现数字压缩、编码，显出数字化优越性使系统多功能化，一机多用、三网合一SDI信号的产生：30取样、量化和编码：601

取样

0 1 2 3

0 1 2 3

0 1 2 3

0 1 2 3 linenlinen+263linen+1linen+2644:2:2取样RecommendationITU-RBT.601(CCIRRecommendation601)“4”=13.5MHz“2”=6.75MHzCbYCrYCbYCrY场消隐有效视频720有效行样点x576行31取样、量化和编码：（625/50扫描的4：2：2参数）每行总的样点数Y：864CB：432CR：432总样点数：1728每个有效行样点数Y：720CB：360CR：360总样点数：1440抽样结构正交行、场、帧内，每行的CB、CR样点位置与Y的奇数样点位置一致抽样频率Y：864fH=13.5MHzCB和CR：432fH=6.75MHz32数字视频压缩的必要性HDTV1920×1080显示格式数字化后传输速率995Mb/SSDTV复合编码135Mb/S

分量编码4：2：2216Mb/S传输：HDTV需1Gb/S信道

SDTV需1～2个155Mb/S信道可见，无论对于传输还是广播，码率压缩都是绝对必要的。为什么信源要压缩编码？编码器传输带宽要求100Mhz左右传输带宽只要求3Mhz左右4:2:2编码、8bit量化未压缩SDTV信号从传输角度上考虑需要进行电视信号压缩解码器为什么信源要压缩编码

编码器从存储角度上考虑需要进行电视信号压缩解码器10分钟要求130Gb存储容量左右10分钟只要求4Gb左右4:2:2编码、8bit量化一帧SDTV图像数据量8.6Mb编码的基本概念-码有多少种？编码的本质是“算法”；按用途分：信源编码和信道编码、加密用的编码等等；信源编码的目的是压缩；信道编码的目的是抗干扰；按性质分：无失真编码和有失真编码、按对象分：音频、视频、数据；码流为什么能够压缩？因为图像里有冗余，即不必要的部分；利用事件的统计特性与统计冗余度的压缩；利用人眼的视觉特性与视觉冗余度的压缩；码流为什么能够压缩(续)冗余就是多余的东西，它和相关性有关；电视画面有时间相关性和空间相关性；电视图象中相继各帧对应象素点的值往往相近或相同，具有时间相关性，找出这些相关性就可以减小信息量，从而实现与时间有关的压缩。一幅图象相邻各点的取值往往相近或相同，具有空间相关性，找出这些相关性就可以减少信息量，从而实现与空间有关的压缩。

图像数据压缩原理的例子帧内相邻点的相关性帧间相邻点的相关性图像数据压缩原理的例子×8倍码流为什么能够压缩(续)对经常出现的数据用短码组表，对不经常出现的数据用长码组表示，则最终用于表示这一串数据的总码位就减少了。从而实现与统计冗余有关的压缩。莫尔斯电报就是典型的例子：最常用的e和t分别用一点、一划表示，出现率很低的q则用.___表示；码流为什么能够压缩(续)

人眼的视觉特性：对亮度信号比对色度信号敏感；对低频信号比对高频信号敏感；对静止图象比对运动图象敏感；对图象中水平和垂直线条比对斜线条敏感；

包含在色度信号、图象高频信号和运动图象中的一些数据并不能对增加图象相对于人眼清晰度作出贡献，而被认为是多余的数据，这就是视觉冗余度。

压缩视觉冗余度就是去掉那些相对人眼而言是看不到的或者可有可无的图象数据。基本的压缩编码技术

无论哪种标准，实际都采用了多种压缩技术；压缩技术类型多（见下表），原理各不相同；注意区分两大类方法：无损压缩：又叫冗余度压缩技术，无损伤压缩技术。它们无失真，数学上可逆。即它是可还原的，这类编码称为熵编码。有损压缩：又叫信息量压缩技术，有损伤压缩技术。它们有失真，数学上不可逆。即它是不可还原的。图像压缩编码经典方法第二代方法帧内压缩帧间压缩统计编码预测编码变换其它运动补偿霍夫曼编码算术编码线性码对数吗差分脉冲编码调制增量调制正（余）弦变换方波变换基于特征矢量的变换内插法矢量量化法游程编码法方块编码法运动补偿内插法位移估值法三维线框模型（模型法分形用于图像压缩编码小波变换用于图像压缩编码神经网络用于图像压缩编码基本压缩编码方法之一

预测编码例1——差分脉冲编码调（DPCM）DPCM不直接传送图象样值本身，而是对实际样值与它的一个预测值之间的差值进行再次量化、编码。这种方法可消除图象信号的空间相关冗余（帧内预测）和时间相关冗余（帧间预测）。利用象素的相关性还可进一步减小差值。DPCM系统原理图DPCM系统原理框图+量化器编码器预测器+解码器预测器信道+输入XN输出X'NeN

e’N+-X'NE’N++++X''N(X''N

：是通过预测公式从DPCM的输入XN和已传出去的几个邻近样值计算出来的。)X''N

+

+++基本压缩编码方法之二

离散余弦变换（DCT）

DCT(DiscreteCosineTransform)是数码率压缩的一种常用的变换编码方法。DCT是先将整体图像分成NN像素块，然后对NN像素块逐一进行DCT变换。由于多数图像高频分量较少，相应图像高频分量的系数经常为零，加之人眼对高频成分的失真不太敏感，所以可用更粗的量化。因此传送变换系数的数码率，要大大小于传送像素所用的数码率。到达接收端后通过反离散余弦变换回到样值。虽有失真，但人眼是可以接受的。

（DCT来源于傅里叶变换，只不过在电脑时代才可以用于图像处理）DCT系数Y0：(0~2407)

Y1-7：(-1024~1023××××××××+y0y1y2y3y4y5y6y7恢复成的图像信号(0~255)DCT系数Y0、Y1-7

与各像元信号相乘后恢复原图像信号

水平一行数据的变换示意图F2.0F4.0F5.0原始图像信号

(0~255)图像信号分解为各种余弦成分DCT基底直流成分低频成分高频成分F0.0F1.0F3.0F6.0F7.0运动物体的帧间位移运动位移的处理基本压缩编码方法之三

霍夫曼（Hoffman）编码霍夫曼(Hoffman)编码(属于统计编码)是可变字长编码(VLC:Variable-LengthCoding)的一种，相当于对概率大的符号给短码，对概率小的符号给长码。附图是霍夫曼编码的具体方法：

1）先按出现的概率大小排队，把两个最小的概率相加，作为新的概率和剩余的概率重新排队。

2）再把最小的两个概率相加，再重新排队，直到最后变成1。

3）每次相加时都将“0”和“1”赋与相加的两个概率，读出时由该符号开始一直走到最后的“1”，将路线上所遇到的“0”和“1”按最低位到最高位的顺序排好，就是该符号的霍夫曼编码。霍夫曼编码有一个好处，就是任何短码都不会是长码的起始部分，也就是不会出现一对像011和01101这样的码组。这样就可以把各码字直接相连而不需要增加其它形式的同步间隔。霍夫曼编码既然属于统计编码，它要求事先知道各信源符号出现的概率，否则编码的效率会明显下降。

游程长度编码（RunlengthEncoding）

游程编码(RLC)是一种十分简单的压缩方法，它将数据流中连续出现的字符用单一的记号来表示。例如，字符串5310000000000110000000012000000000000可以压缩为5310-10110-08120-12，其中，“-”后面两个数字是“-”前面数字的连续个数。通常，DCT系数量化之后，都采用之字形方式读出。在用之字形读出方式情况下，出现连零的机会较多，尤其在最后，如果都是零，在读到最后一个数后只要给出“块结束”（EOB）码，就可以结束输出，从而节省很多码率。游程编码的压缩率不高，但编码、解码的速度快，仍被得到广泛的应用，特别是在变换编码后再进行游程编码，有很好的效果。小波变换编码小波是什么？傅里叶变换的“基底”是正弦波；傅里叶变换有缺点和限制；用其他的“波”做基底行不行？小波（Wavelet）由此产生，而且解决了傅里叶变换的不足；小波的基本概念——什么是小波信号的时域表示和频域表示只适用于平稳信号，对于非平稳信号，在时间域各种时间统计量会随着时间的变化而变化，失去统计意义；而在频率域，由于非平稳信号频谱结构随时间的变化而变化导致谱值失去意义小波的基本概念——什么是小波时频表示主要目的在于实现对非平稳信号的分析，同样的可以应用于平稳信号的分析小波的基本概念——什么是小波为什么选择小波小波提供了一种非平稳信号的时间-尺度分析手段，不同于傅里叶变换方法以及改进了的傅里叶变换方法，具有更为明显的优势。小波的基本概念——什么是小波小波有多种小波的发展历史1807:JosephFourier——FT，只有频率分辨率而没有时间分辨率1909:AlfredHaar——发现了Haar小波1945:Gabor——STFT1980：Morlet——Morlet小波，并分别与20世纪70年代提出了小波变换的概念，20世纪80年代开发出了连续小波变换CWT（continuouswavelettransform）1986：Y.Meyer——提出了第一个正交小波Meyer小波1988：StephaneMallat——Mallat快速算法（塔式分解和重构算法）小波的发展历史1988：InridDaubechies作为小波的创始人，揭示了小波变换和滤波器组(filterbanks)之间的内在关系，使离散小波分析变成为现实RonaldCoifman和VictorWickerhauser等著名科学家在把小波理论引入到工程应用方面做出了极其重要贡献在信号处理领域中，自从InridDaubechies完善了小波变换的数学理论和StephaneMallat构造了小波分解和重构的快速算法后，小波变换在各个工程领域中得到了广泛的应用，典型的如语音信号处理、医学信号处理、图像信息处理等小波标准分解流程示意非标准分解是指使用一维小波交替地对每一行和每一列像素值进行变换。首先对图像的每一行计算像素对的均值和差值，然后对每一列计算像素对的均值和差值。这样得到的变换结果只有1/4的像素包含均值，再对这1/4的均值重复计算行和列的均值和差值，依此类推。非标准分解的过程如下:非标准分解非标准分解流程示意分形变换编码分形(Fractal)是几何学里的一个分支，对象是“自相似”的几何图形；什么是自相似？如下面的例子：分形几何的历史萌芽期：十九世纪末，二十世纪初；

当时推出了Cantor集，Weierstrass函数等。形成期：二十世纪六、七十年代；

Mandelbrot的大量工作.

1.1967年，“Science”杂志提出,英国的海岸线究竟有多长？

2.1975年，《分形对象：形，机遇和维数》一书出版；

分形(fractal)这个词源于这本书.它是从拉丁语“fractus”派生出来的，意思是“不规则的或者断裂的”。分形几何的历史(续)发展期：二十世纪八十年代至现今：

1.Hutchinson,1981,分形与自相似.

给出了自相似集合的数学理论基础.

2.Mandelbrot,1982,《自然界的分形几何》

3.Barnsley,1988,《Fractaleverywhere》

4.Falconer,1990,《分形几何——数学基础及其应用》.分形几何的应用图像，数据压缩方面的研究。如：对某一个静态场景的分形压缩。

（压缩比可达近万倍）自然景物的模拟如：雪花，海岸线，分形山，分形树叶分形生长模型。对某一个静态场景的分形压缩原图分形压缩得到的图形一些分形图片:信源编码信源编码的目的：压缩带宽（码率）；信源编码的手段(方法)很多，不一定全部都用上，需要考虑效率和计算量；不同的信源编码标准差别在于方法的数量不同，因而效率不同、码流的结构也不同；但它们的基本方法大同小异。关于视音频压缩编码标准为什么要有标准？简单的历史：MPEG-1、JPEG、MPEG-2、MPEG-4、MPEG-7、H.261、H.263、H.264、AVS、HEVC/AVC；MPEG-2编码的基本原理编码实际上分硬件和软件两部分；初期是以通用硬件加软件；随着技术的发展，专用硬件的比例逐步增加；既要了解方框图，也要了解码流的结构；编码的程序十分专业，需要专门学习。MPEG-2编码器方框图MPEG-2中的码流MPEG-2的结构可分为压缩层和系统层。一路节目的视频、音频及其它辅助数据经过数字化后，通过压缩层完成信源压缩编码，分别形成视频的基本流ES(ElementaryStream)、音频的基本流和其它辅助数据的基本流。紧接着，系统层将不同的基本流分别加包头打包（分组）为PES(PacketizedES，打包基本流)包。PES又称为分组基本码流。然后，多个PES被复接成一个节目码流(PS)和一个传输码流(TS)视频码流的结构数字电视码流的多个层次ES：基本码流PES：打包的基本码流PS:节目流TS：传输流MPEG-2中的码流层次视频ES1音频ES1数据流1视频ES2音频ES2数据流2打包打包打包打包视频PES1音频PES1视频PES2音频PES2节目复用PS流1传输复用TS流基本码流（ES）视频信号压缩到1Mbit/s(MPEG-1)或2～6Mbit/s(MPEG-2)；音频信号压缩到100～400kbit/s；压缩后的视音频信号称作ES(elementarystream)流，包括视频流和音频流；一路节目的视频、音频及其它辅助数据经过数字化后，通过压缩层完成信源压缩编码，形成基本流ES(ElementaryStream)、包括视频的、音频的和其它辅助数据的基本流。

ES的结构和内容根据各种数据的编码格式而不同。PES流压缩后所有ES流被打成不同长度的包，叫做PES(packetizedelementarystreams)。根据不同时刻视音频内容的不同，压缩比也时刻变化，就需要有不同长度的数据包。每个视频包有一个或几个压缩视频帧每个音频包有一个或多个压缩音频信号段PES流所有ES流首先被打包成不同长度的PES包，通常为64kbytes（字节）。开头为6字节的PES头：前3个字节是起始码前缀000001，用于表明一个PES包的开始。第4个字节是起始码标志，说明起始码种类，表明净负荷数据(payload)中的是视频、音频还是数据流。后两个字节是包长度，说明后面还有多少字节。如果长度为0，表示PES包大于64kbytes；然后是可选PES头；最后是实际传送ES流的净负荷数据。可选PES头：PES头的可选扩展，根据当前传送ES流的要求设置。由12个比特的11个标志来控制可选PES头中包含哪些字段，其中有PTS(presentationtimestamps)和DTS(decodingtimestamps)，这对视/音频同步非常重要。最后可能有填充字节。PES包的结构

由于MPEG只定义了传输流，而没有对编码器作出规定，设计者可以选择构建一个将基本码流转换为传输流的多路复用器。在这种情况下，PES包就不再以可识别的形式存在，而是以逻辑形式存在于传输流的有效载荷中。节目码流（PS）将具有共同时间基准的一个或多个PES组合（复合）而成的单一的数据流称为节目流（ProgramStream）。PS的形成其一是将视频ES、音频ES、其他ES分别打包成视频PES包、音频PES包、其他PES包：使每个PES包内只能存在1种性质的ES；每个PES包的第一个AU的包头可包含PTS和DTS；每个PES包的包头都有用于区别不同性质ES的数据流识别码。这一切，使解复用和不同ES之间同步重放成为可能。其二是通过PS复用器将PES包复用成PS包，即将每个PES包再细分为更小的PS包。PS包头含有从数字存储媒介（DSM-DigitalstorageMedium）进入系统解码器各个字节的解码专用时标，即预定到达时间表，它是时钟调整和缓存器管理的参数。

PS包长度比较长且可变，适用于无误码环境，适合于节目信息的软件处理及交互多媒体应用。但是，PS包越长，同步越困难；在丢包时数据的重新组成，也越困难。因此PS用于存储（磁盘、磁带等）、演播室CD-I、MPEG-1数据流。PS流的结构TS传输层基本原理传输流TS：将具有共同时间基准或具有独立时间基准的一个或多个PES组合而成的单一的数据流称为传输流（TransportStream）。传输流是许多种PES包的多路复用。TS流的结构header包含了对包传输过程非常重要的信息：同步字节:固定值47hex，在TS流中的间隔也固定。码流中其他位置也可能出现47hex，因此同步字节利用固定数值和固定间隔两方面联合实现同步。解码器在接收到5个TS包后开始同步。同步字节是作为解码器识别用的，从而可对包头和有效载荷进行串并转换传输差错标志:由解调器在传输信道末端设置,在传输层之上的错误校正层中，如果原始误码率(BER)太高而无法校正时，通过它的设置可以指示传输流包中可能含有错误13bit的PID(packetidentifier):描述该包中payload的内容以及该包属于哪个ES流。有时TS包的头长度必须大于4个byte：包头扩展到payload中，payload长度相应缩短，但总包长度仍是188bytes。扩展的包头称作“adaptationfield”。在4bytes的包头中由Adaptationcontrolbits标志是否有adaptationfield。除了同步字节、传输误码标识和PID以外，TS头还包括：PayloadUnitStartIndicator一个比特来标记一个payload的开始如果该比特为1，表示该TS包是一个新payload的开始，该TS包包含了视频或音频PES包和PES头的开始，或者是表的开始，此时TS包的payload第一个字节为tableID。TransportPriority一个比特，表示该TS包比其他相同PID的TS包的优先级更高。除了同步字节、传输误码标识和PID以外，TS头还包括：TransportScrambingControlBits两个比特，标记TS包的payload部分是否被混杂。如果两个比特都为0，表示payload没有混杂。如果其中有一个比特不为0，表示payload进行了混杂，需要CAT来解扰。AdaptationFieldControlBits两个比特，标记是否有扩展头adaptationfield如果两个比特都为0，表示没有adaptationfield如果有adaptationfield，payload变短，头变长，但总包长度保持188字节。ContinuityCounter每个具有相同PID的TS包带有自身的4bit计数器。从0到15连续计数TS包数目，到15以后重新从0开始。可以发现丢失TS包的情况，并识别码流错误（计数不连续）。允许在改变节目时出现不连续计数，由adaptationfield中的DiscontinuityIndicator来标记。在节目流中，由于音频和视频均锁定于一个公共时钟，因此可利用其时间标记以重建时间轴。传输流携带有许多不同的节目，每个节目都可以使用不同的压缩因子并具有不同的比特率。在传输流中就必须含有重建稳定时钟的附加数据。传输流必须为每个节目提供各自独立的同步。

对TS包再进行复用：先复用同一个节目的TS包，一个节目可包含一个或多个视频和音频信号（如不同角度摄像机、不同语言等）。所有节目的所有复用数据流再进行复用形成最终的TS流。MPEG-1，视频PES包与音频PES包复用，最大码率为1.5Mbit/s，用于VCD。MPEG-2的TS包长188字节，包含所有节目的所有数据。由于码率不同，MPEG-2TS流中不同ES流的包出现频率不一样。每个节目有一个编码器对所有ES流编码，产生PES，并将PES包打包成TS包。每个节目的码率通常约2～8Mbit/s，但由于节目内容随时间变化，视/音频和数据总码率可以是固定或变化的，称为统计复用。所有节目的TS流再复用成一个总的TS流，最大约40Mbit/s。一个TS流中通常有6,8,10甚至20个节目组成。码率在传输过程中可变，但总码率必须保持不变。一个节目可以包括视频和音频，或单纯音频或单纯数据，结构灵活可变。TS流中包含一些“表”来描述组成结构，解码器可以利用这些表来确定TS流的当前结构。两种比特流的区别节目码流（PS）用于误码比较小的传输或存贮媒介，节目码流可以是固定码率也可以是可变码率，其数值在系统时钟参考(SCR)中定义，为本地应用相对于无误码的环境设计；传输码流（TS）用于误码比较大的传输或存贮媒介，其码率可以是固定的或不固定的，其数值在节目时钟参考(PCR)中定义。它是为广播应用而设计，即TS是为易误码的环境和有较高比特差错概率的噪声媒质设计的，那里往往需要把几个信道集合成一束数据。TS用在广播系统和长距离网络中。在TS中可以包括多个节目。因此接收TS时首先要解复用。

PS和TS是各针对一类应用而设计的。都以数据包为基础。PS的包长可变，通常较长；TS的包长固定为188字节，包头4个字节，184个净荷字节。并可与ATM适配。TS流、包结构以及同步TS流单一性：TS流的基本组成单位是长度为188字节的TS包。TS流混合性：TS流由多种数据组合而成，一个TS包中的数据可以是视频数据，音频数据，填充数据，PSI/SI表格数据…….（唯一的PID对应）。1、TS流：可以将TS流理解为一种单一码流、混合码流：视频数据音频数据填充数据表格信息视频数据填充数据表格信息……………………截取某段TS流PID=45PID=45PID=78PID=69PID=0PID=69PID=0TS流、包结构以及同步TS包头TS包包同步、包ID，等PCR等视频,音频or其他数据包头(4字节)有效载荷区(最高184字节)自适应区(188字节)TS包结构分析：TS包由包头、有效载荷区组成（有些包中还包括自适应区）。2、这是TS包结构TS流、包结构以及同步TS包必有成分自适应区：包含PCR等信息有效载荷区：TS流、包结构以及同步TS流、包结构以及同步截取某TS包的包头内容进行分析说明：※Header:sync_byte(1B)：0x47

transport_error_indicator(1b)：0

payload_unit_start_indicator(1b)：1该字段置1表示携带的是PSI或PES第一个包transport_priority(1b)：0

PID(13b)：0000001000100（0x44），假设该ID携带的是节目1的视频PES

Transport_scrambling_control(2b)：00，表明该TS包中有效数据未经加扰处理Adaptation_field_control(2b)：11，标识既有adaptation_field又有payload

Continuity_counter(4b):0000，表示该计数器为0，PID相同的包的计数因该是连续的※

Adaptation_field：……..※

PES：........对应二进制码：01000111010000000100010000110000…….某TS包部分数据：0X47404430……..TS流、包结构以及同步3、怎样实现解码端的系统时钟恢复和视音频播放同步？MPEG-2规定的系统时钟频率为27MHz，传输流（TS）中的PCR，PTS/DTS等均为对该共同系统时钟的采样值。解码端捕获PCR，恢复出本地的STC，作为音视频同步控制的基准，并依据DTS、PTS时间标签来安排解码和显示时间表，使音视频分别同步于STC，以实现音视频之间的同步。标准规定在原始音频和视频流中，PTS的间隔不能超过0.7s，而出现在TS包头的PCR间隔不能超过0.1s(数字电视中是0.04秒)。包同步、包ID，等PCR等某PES包部分数据MPEG-2同步及时间恢复在编码、传输和解码中占有重要的地位，它不仅直接影响视音频的解码质量，还是衡量整个传输网络优劣的重要指标。有效载荷区自适应区包头PTS/DTSTS流、包结构以及同步编码端时钟基准Sample&InsertPCRinAdaptationFieldTransportStreamPCRPCRTransportHeader解码端时钟基准Extract&ProcessPCRPCRVideoPESheaderAudioPESheader编码端时钟基准Sample&InsertSample&InsertPTSDTSPTS解码端时钟基准Extract&ProcessPSI/SI表格信息1、什么是PSI/SI表格，为什么使用这些表格？简单来看，TS是一个传输层的协议栈，它可以承载各种内容的传输，比如MPEG，WMV，H264，甚至是IP，那么其中的传输规范是如何定义的呢？这个即是PSI（节目特定信息）要做的事情。PSI表格信息用来描述传送流的组成结构。由上面的章节，我们知道解码端只要知道了某个TS包的PID，就知道这个包中到底携带的是什么数据。而解码端之所以有这种能力，是因为他先获得了PSI表格信息。

…………PSI/SI表格信息另外为了适应实际应用和业务发展的需求，又专门制定一个数字视频广播的业务信息标准—SI信息，来规范和服务于各业务提供商和设备生产厂家，以促进和保证数字视频广播业务在我国健康有序的发展。2、PSI信息由什么组成，各包含哪些内容？

PSI信息由四种类型的表（table）组成。1）节目关联表(PAT)：针对复用的每一路业务，PAT提供了各个节目号及其相应的节目映射表（PMT）的PID，同时还提供网络信息表（NIT）的PID。

2）节目映射表(PMT)：PMT表存放的是节目中包含的音频、视频、其他数据的PID信息。每一个节目的所有信息必须包含在一个PMT中，但在一个PMT中可以包含多个节目的信息。PMT本身的PID由PAT表格提供。PSI/SI表格信息表格名称表格对应的ID号（PID）表格描述节目关联表（PAT）0x00各节目号以及对应PMT的PID，NIT的PID节目映射表（PMT）由PAT表中提供各节目中多种数据流的PID网络信息表（NIT）由PAT表中提供包含网络参数条件接受表（CAT）0x01一些加密数据流的PID3）条件接收表(CAT)：条件接收表提供了在复用流中条件接收系统的有关信息。当有EMM时，它还包括了EMM（授权管理信息）所在的PID（CA_PID）。4）网络信息表(NIT):提供有关物理网络的信息，比如网络ID，网络中所包含的传输流ID，所在频点等信息。NIT表本身的PID由PAT表提供。PSI/SI表格信息3、PSI表格信息详解（以解码端工作过程举例）：1）从TS流中解析出ID为0x00的PAT表格信息。2）由PAT表提供的信息从TS流中解析出各个节目的PMT表格信息。3）确定各节目中包含的视频数据、音频数据以及其他数据的PID。4）根据PID从TS流中解析出各节目的视频、音频以及其它数据，分别存储。5）之后再分别完成各节目的音视频同步解码与显示。PSI/SI表格信息4、SI表格由几部分组成，都包含哪些内容？业务信息（SI）由以下九个表构成。其中SDT表、EIT表和TDT表是必须包括的，其它表是可选的。1）业务描述表(SDT)：描述了包含在特定TS流中的全部业务的相关信息。业务描述表包含了描述系统中业务的数据，例如业务名称、业务提供者等。2）事件信息表(EIT)：描述了包含在特定业务中的所有事件的相关信息。事件信息表包含了与事件或节目相关的数据，例如事件名称、始时间、持续时间等。不同的描述符用于不同类型的事件信息的传输，例如不同的业务类型。3）时间和日期表(TDT)：时间和日期表给出了与当前的时间和日期相关的信息。由于这些信息频繁更新，所以需要使用一个单独的表。PSI/SI表格信息4）业务群关联表(BAT)5）运行状态表(RST)6）时间偏移表(TOT)

7）填充表(ST)8）选择信息表(SIT)9）间断信息表(DIT)这里就不再对SI信息进行详解，方式与前面的PSI原理是一样的。PSI/SI表格信息5、PSI/SI表格信息在TS流中如何传输？

PSI/SI表格信息在TS流中以段的形式进行传输（也可以理解为对这些表格信息进行了打包）。基本思想是：先将一个表格信息以段的方式进行封装，最后将段插入到TS包中。因为TS包188字节，所以一般情况下，一个section要分成好几部分存放在连续的TS包中（如果表格信息过多，需要先进行分组，再分别封装成好几个段）。PSI/SI表格信息table_id=0x00表明这个段是属于PAT表的section_syntax_indicator=1 section_length=0x55该段的长度…version_number=1 current_next_indicator=1 section_number=0x00表明这个段是该PAT表第一个段last_section_number=0x02该PAT表总共分成了多少个段...table_id=0x00表明这个段是属于PAT表的…section_number=0x01

表明这个段是该PAT表第二个段last_section_number=0x02该PAT表总共分成了多少个段...table_id=0x00表明这个段是属于PAT表的…section_number=0x02

表明这个段是该PAT表第三个段last_section_number=0x02该PAT表总共分成了多少个段...PAT表的段结构：某TS流中用于传输PAT表格信息的段：PSI/SI表格信息6、PSI/SI表格的插入，内容如下：在DVB标准中，规定PSI/SI表格信息需要每隔一段时间就插入到TS流中进行传输。这是因为，在接收终端，用户收看电视节目以及调换频道是发生在任意时刻的，如果PSI/SI表格信息不定期循环进行发送，解码端就会因为没有这些表格信息，无法对TS流中的多个节目的各种数据进行区分和解码，这样就会导致用户收看不到电视节目或者等待很长时间才收看到节目。视频数据音频数据填充数据PSI/SI视频数据填充数据音频数据填充数据PSI/SI视频数据填充数据表格信息…PSI/SI……小结传输流TS里面定义的内容比较多，建议参考MPEG-2手册或者书本。如何了解MPEG-2的详细内容MPEG-2标准文件即ISO/IEC13818，目前有10部分。在MPEG-2标准中，最重要部分是：

ISO/IEC13818-1：系统(传输流和节目流)，PES，T-STD缓存器模型和基本PSI表：CAT、PAT、PMT和NIT。ISO/IEC13818-2：视频编码。ISO/IEC13818-3：音频编码。ISO/IEC13818-4：MPEG测试和一致性。ISO/IEC13818-6：数据广播和DSMCC。TS流参数的监测由于TS流承载了诸多信息，码流的及时监测对最终用户端收看到音视频的质量息息相关。在码流出现问题时及时加以处理，是监测TS流的目的。对MPEG-2TS流参数的测试，主要是依据“DVB系统测试指导“文件TR101-290”。下面主要分析TR101-290文档中关于TS流的3级错误检测。TS流参数监测主要监测的是在实现同步以后能使解码端连续工作所必须的参数以及需要周期检测的参数主要监测的是能够使解码端实现正确解码所必须的几个参数主要监测的是依赖于应用方面的一些参数firstprioritysecondprioritythirdpriorityTS流参数的监测1、第一优先级需要检测的错误TR101-290的第一优先级错误包括6种：※同步丢失错误※同步字节错误※PAT错误※连续计数错误※PMT错误※PID错误TS流参数监测1）同步丢失错误(TSSyncLoss)：

同步错误是衡量传输流质量的最重要的指标，只有在获得了同步之后，才能监测其它的参数。

判断准则：连续检测到5个正常同步视为同步，连续检测到2个以上不正确同步则为同步丢失错误。传输流失去同步，标志着传输过程中会有一部分数据丢失，直接影响解码后的画面的质量。2）同步字节错误(SyncByteError)：同步字节的标准值为0x47，当同步字节的值为其他数值的时候，认为是同步字节错误。同步字节错误表明在传输过程中部分数据出现错误，可能导致接收时出现马赛克，严重时导致解码器解不出信号。TS流参数监测3）节目关联表(PAT)错误：PAT表在DVB标准中用于指示当前节目及其在数据流中的位置。标识节目关联表PAT的PID为0x0000，如果PAT丢失或被加密，解码器将无法搜索到相应节目；如果PAT超时，解码器工作时间延长。PAT错误包括:1）标识PAT的PID没有至少0.5s出现一次(要求PAT表格信息每500ms以内发送一次)。2）PID为0x0000的table-id不为0x00（要求携带PAT表格的TS包中table-id

的值必须等译0x00）。3）PID为0x0000的包头中的加扰控制段不为0（如果加扰的话，解码端将无法解析出PAT信息）。TS流参数监测4）节目映射表(PMT)错误：PMT在DVB标准中用于指示每套节目视/音频数据在传输流中的位置。节目映射表PMT标识并指示了组成每路业务流的位置，以及每路业务的节目参考时钟（PCR）字段的位置。PMT错误包括：

1）标识PMT的PID没有达到至少0.5s出现一次（PMT表格必须每500ms以内发送一次），如果PMT超时，影响解码器切换节目时间。

2）PMT表的加扰控制段不为0（如果加扰的话，解码端将无法解析出PMT信息）。TS流参数监测5）连续计数错误(ContCountError)：TS包头中的连续计数是随着每个具有相同PID的TS包的增加而增加，为解码器确定正确的解码顺序。对于每一套节目的视/音频数据包而言，连续计数错误是一个很重要的指标。传输流连续计数不正确，表明当前传输流有丢包、错包、包重叠等现象，将导致解码器不能正确解码，图像出现马赛克等现象。6）PID丢失错误(PIDMissing)：检测数据流中各套电视节目的图像/声音数据是否正确，即检查是否每一个PID都有码流。PID丢失，将导致该套节目无法正确解码。根据规定，一般音视频的PID出现周期不能超过5秒。TS流参数监测2、第二优先级需要检测的错误TR101-290的第二优先级共列出几种错误：※传输错误※CRC错误※PCR间隔错误※PCR抖动错误※PTS错误※CAT错误TS流参数监测1）数据传输错误(TransportError)：TS包头中的传输包错误指示为“1”，表示在相关的传输包中至少有1个不可纠正的错误位，只有在错误被纠正之后，该位才能被重新置0。而一旦有传输包出错，就不再从错误包中得出其他错误指示。

2）循环冗余校验错误(CRC)：节目专用信息(PSI)和服务信息(SI)出现错误，可以由CRC计算出来，以指明该包是否可用。如果出错将不再从出现错误的表中得出其他错误信息。PAT、PMT出现连续错误，将影响解码器对某一节目的正确解码。TS流参数监测3）节目参考时钟间隔错误(PCRDiscont)：PCR用于恢复27MHz系统时钟，PCR间隔错误，将导致接收端的时钟抖动或漂移，影响画面显示时间。PCR间隔指两个连续的PCR之间最大的间隔时间，通常要求同一节目里两个连续PCR的时间间隔不能超过100ms。在数字电视广播应用中，PCR的时间间隔应不大于40ms。4）节目参考时钟抖动错误(PCRJitterError)：PCR的错误范围是由允许偏离正确PCR值的最大值确定的，称为PCR精度，PCR的精度必须高于500ns或PCR抖动量不得大于±500ns，PCR抖动过大，将影响接收端系统时钟的正确恢复，解码时会出现马赛克现象，严重时不能正常显示图像。TS流参数监测5）播出时间标记错误(PTS)

在DVB标准中规定PTS每700ms传输一次，PTS传输超时将影响图像正确显示。PTS只有在TS未加扰时方能接收。6）CAT错误

CAT表指出了授权管理信息EMM包的PID并控制接收机的正确接收，如果CAT表不正确，就不能正确接收加密节目。CAT错误包括：1）在PID为0x0001上出现带有table-id不等于0x01的情形（即要求携带CAT表信息的TS包中的table-id的值必须等于0x01）。2）PID为0x0001带有的加扰字段的不为0x00（即携带CAT表的TS包不能加扰，如果加扰，解码端将无法解析出CAT信息）。TS流参数监测3、第三优先级需要检测的错误第三级错误共有10种错误，包括：NIT错误、SI重复率错误、缓冲器错误、非指定PID错误、SDT错误、EIT错误、RST错误、TDT错误、空缓冲器错误及数据延迟错误。第三等级错误并非是TS传输流的致命错误，但会影响一些具体应用的正确实施。监测软件和设备网上有码流分析软件可以下载；一些公司生产专用的测试仪器；先进的编码技术H.