ts流解析规则_第1页
ts流解析规则_第2页
ts流解析规则_第3页
ts流解析规则_第4页
ts流解析规则_第5页
已阅读5页,还剩8页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、HLS, Http Live Streaming是由Apple公司定义的用于实时流传输的协议,HLS基于HTTP协议实现,传输内容包括两部分,一是M3U8描述文件,二是 TS媒体文件。1、M3U8文件用文本方式对媒体文件进行描述,由一系列标签组成。#EXTM3U#EXT-X-TARGETDURATION:5#EXTINF:5,./0.ts#EXTINF:5, ./1.ts#EXTM3U :每个 M3U 8文件第一行必须是这个 tag。#EXT-X-TARGETDURATION :指定最大的媒体段时间长度(秒), #EXTINF中指定的时 间长度必须小于或等于这个最大值。该值只能出现一次。#EX

2、TINF :描述单个媒体文件的长度。后面为媒体文件,如 ./0.ts2、ts文件ts文件为传输流文件,视频编码主要格式h264/mpeg4 ,音频为acc/MP3。ts 文件分为三层:ts 层 Transport Stream 、pes 层 Packet Elemental Stream> es层Elementary Stream. es层就是音视频数据,pes层是在音视频数据上加了时间戳等对数据帧的说明信息,ts层就是在pes层加入数据流的识 别和传输必须的信息ts层ts header (4 byte)adaptation field (x byte)payload (184 - x

3、byte)pes层pes header optional pes header pes payload(6 byte)(x byte)(x byte)nal header(4 byte)nal type(1 byte)h264 data(x byte)adts header(7 byte)aac data(x byte)注:详解如下(1)ts层 ts包大小固定为188字节,ts层分为三个部分:ts header >adaptation field、payload。ts header固定4个字节;adaptation field可能存在也可能不存 在,主要作用是给不足188字节的数据做填充

4、;payload是pes数据。ts headersync_byte8b同步字节,固定为 0x47transport_error_indicator1b传输错误指示符,表明在 ts头的adapt域后由一个 无用字节,通常都为 0,这个字节算在adapt域长度 内payload_unit_start_indicator1b负载单元起始标示符,一个完整的数据包开始时标记为1transport_priority1b传输优先级,0为低优先级,1为高优先级,通常取0pid13bpid值transport_scrambling_control2b传输加扰控制,00表示未加密adaptation_field_

5、control2b是否包含自适应区, 0蛛留;0伪无自适应域,仅 含有效负载;1的仅含自适应域,无有效负载;11 为同时带有自适应域和有效负载。continuity_counter4b递增计数器,从0-f,起始值不一定取 0,但必须是连续的ts层的内容是通过PID值来标识的,主要内容包括:PAT表、PMT表、音 频流、视频流。解析ts流要先找到PAT表,只要找到PAT就可以找到PMT, 然后就可以找到音视频流了。 PAT表的PID值固定为00 PAT表和PMT表需要 定期插入ts流,因为用户随时可能加入ts流,这个间隔比较小,通常每隔几个 视频帧就要加入PAT和PMT。PAT和PMT表是必须的

6、,还可以加入其它表如 SDT (业务描述表)等,不过hls流只要有PAT和PMT就可以播放了。PAT表:他主要的作用就是指明了 PMT表的PID值PMT表:他主要的作用就是指明了音视频流的 PID值音频流/视频流:承载音视频内容。adaptionadaptation_field_length1B自适应域长度,后面的字节数flag1B取0x50表示包含 PCR或0x40表示不包含 PCRProgram Clock Reference ,节目时钟参考,用于恢复出与PCR5B编码端一致的系统时序时钟STC (System Time Clock )。stuffing_bytesxB填充字节,取值 0x

7、ff自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考,pcr、dts、pts都是对同一个系统时钟的采样值,pcr是递增的,因此可以将 其设置为dts值,音频数据不需要pcr。如果没有字段,ipad是可以播放的,但 vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的,不够的长 度直接补0xff即可。视频流和音频流都需要加 adaptation field ,通常加在一个 帧的第一个ts包和最后一个ts包里,中间的ts包不加。TSHeadPAT/PMTStuffing BytesTSHeadAdaptation FieldPes1TSHead

8、Pes2 - Pes(NdJTSHeadAdaptation FieldPesNPAT格式table_id8bPAT表固定为0x00section_syntax_indicator1b固定为1zero1b固定为0reserved2b固定为11section_length12b后面数据的长度transport_stream_id16b传输流ID,固定为0x0001reserved2b固定为11version_number5b版本号,固定为 00000 ,如果PAT有变化则版本号加1current_next_indicator1b固定为1 ,表示这个PAT表可以用,如果为 0则要等待下一个PAT表

9、section_number8b固定为0x00last_section_number8b固定为0x00开始循环program_number16b节目号为0x0000时表7K这是 NIT,节目号为0x0001时,表示这是PMTreserved3b固定为111PID13b节目号对应内容的 PID值结束循环CRC3232b前面数据的CRC32校验码PMT格式table_id8bPMT表取值随意,0x02section_syntax_indicator1b固定为1zero1b固定为0reserved2b固定为11section_length12b后面数据的长度program_number16b频道号码

10、,表示当前的PMT关联到的频道,取值0x0001reserved2b固定为11version_number5b版本号,固定为 00000 ,如果PAT有变化则版本号加1current_next_indicator1b固定为1section_number8b固定为0x00last_section_number8b固定为0x00reserved3b固定为111PCR_PID13bPCR(节目参考时钟)所在TS分组的PID,指定为视频PIDreserved4b固定为1111program_info_length12b节目描述信息,指定为0x000表示没有开始循环stream_type8b流类型,标志

11、是 Video还是Audio还是其他数据,h.264编码对应 0x1b , aac编码对应 0x0f, mp3编码对应0x03reserved3b固定为111elementary_PID13b与 stream_type 对应的 PIDreserved4b固定为1111ES_info_length12b描述信息,指定为 0x000表示没有结束循环CRC3232b前面数据的CRC32校验码pes层pes层是在每一个视频/音频帧上加入了时间戳等信息,pes包内容很多,我 们只留下最常用的。Pes Header 阐Optional Pes Header (3B - 259B)Payload1 最大 6

12、5526B)pes start code3B开始码,固定为 0x000001stream id1B音频取值(0xc0-0xdf ),通常为 0xc0视频取值(0xe0-0xef ),通常为 0xe0pes packet length2B后面pes数据的长度,0表示长度不限制,只有视频数据长度会超过0xffffflag1B通常取值0x80 ,表示数据不加密、无优先级、备份的数据flag1B取值0x80表7K只含有 pts,取值0xc0表7K含有pts和dtspes data length1B后面数据的长度,取值 5或10pts5B33bit 值dts5B 33bit 值pts是显示时间戳、dts

13、是解码时间戳,视频数据两种时间戳都需要,音频数 据的pts和dts相同,所以只需要pts。有pts和dts两种时间戳是B帧引起的, I帧和P帧的pts等于dts。如果一个视频没有B帧,则pts永远和dts相同。从 文件中顺序读取视频帧,取出的帧顺序和dts顺序相同。dts算法比较简单,初始值+增量即可,pts计算比较复杂,需要在dts的基础上加偏移量。音频的pes中只有pts (同dts),视频的I、P帧两种时间戳都要有,视频 B帧只要pts (同dts) o打包pts和dts就需要知道视频帧类型,但是通过容器 格式我们是无法判断帧类型的,必须解析 h.264内容才可以获取帧类型。举例说明:I

14、PBBBP读取顺序:123456dts顺序:123456pts顺序:153246点播视频dts算法:dts =初始值+ 90000 / video_frame_rate ,初始值可以随便指定,但是最好不 要取 0, video_frame_rate 就是帧率,比如 23、30。pts和dts是以timescale为单位的,1s = 90000 time scale , 一帧就应该是 90000/video_frame_rate 个 timescale。用一帧的timescale除以采样频率就可以转换为一帧的播放时长点播音频dts算法:dts = 初始值 + (90000 * audio_sam

15、ples_per_frame) / audio_sample_rate , audio_samples_per_frame 这个值与编解码相关,aac取值1024 , mp3取值 1158, audio_sample_rate 是采样率,比如 24000、41000。AAC一帧解码出来 是每声道1024个sample ,也就是说一帧的时长为1024/sample_rate秒。所以 每一帧时间戳依次 0, 1024/sample_rate ,,1024*n/sample_rate 秒。直播视频的dts和pts应该直接用直播数据流中的时间,不应该按公式计算。(3) es 层es层指的就是音视频数据

16、,我们只介绍 h.264视频和aac音频。h.264视频:打包h.264数据我们必须给视频数据加上一个nalu (Network AbstractionLayer unit) ,nalu 包括 nalu header 和 nalu type ,nalu header 固定为 0x00000001 (帧开始)或0x000001 (帧中)。h.264的数据是由slice组成的,slice的内容 包括:视频、sps、pps等。nalu type决定了后面的h.264数据内容。 广 一=7-*|0|1|2|3|4|5|6|7| +-+-+-+-1-+-+|F|NRI| Type |*- F 1b fo

17、rbidden_zero_bit , h.264 规定必须取 0nal_ref_idc ,取值03 ,指示这个nalu的重要性,I帧、sps、pps通常取3, NRI 2b 一一P帧通常取2, B帧通常取0Type 5b 参考下表nal_unit_type说明0未使用1非IDR图像片,IDR指关键帧2片分区A3片分区B4片分区C5IDR图像片,即关键帧6补充增强信息单元(SEI)7SPS序列参数集8PPS图像参数集9分解符10序列结束11码流结束12填充1323保留2431未使用红色字体显示的内容是最常用的,打包es层数据时pes头和es数据之间要 加入一个type=9的nalu,关键帧sli

18、ce前必须要加入type=7和type=8的nalu, 而且是紧邻。Pes Headnalu(0x09)随意(1B)nalu慎他)内容nalu(0x67)内容nalu(0x68)内容nalu(0x65)Pes Headnalu (0x09)曲意 (1BInalu 但他)内容nalu (0x41)内容一、背景介绍之前我做了一个项目,要求写一个 TS流解析的模块,因此看了 ISOIE C 13818-1文档,外加很多人的博客来帮助理解,来了解 TS流格式是 个什么东西,收货颇多。因此我觉得是时候发点干货回馈社会了。二,TS流背景介绍 在介绍具体字段,参数这些头疼,烦人的东西之前,我觉得有必要先介

19、绍下TS流的应用背景,有了这个概念,再去深入学习,将如虎添翼。 TS流最经典的应用就是我们平时生活中的数字高清电视。我们看的电 视码流就是TS封装格式的码流,电视码流发送过来后,就会由我们的 机顶盒进行解封装,解码,然后传给电视机进行播放。这里就有一个问 题,我们看电视,有很多的频道,节目,对应码流是怎么区分的呢? (T IPS,频道和节目的关系,比如我们有 中央电视台综合频道,下属 CCT V-1CCTV14这些节目)TS流引入了 PAT和PMT两张表格的概念来 解决这个问题。三,PAT 和 PMTTS流是以每188字节为一包,我们可以称为 ts packet。这个ts pack et有可能

20、是音视频数据,也有可能是表格。举例说明, TS流的包顺序 为:PAT , PMT, DATA , DATA PAT , PMT , DATA , DATA 每隔一段时间,发送一张 PAT表,紧接着发送一张PMT表,接着发送 DATA (音视频)数据。那么你可能要问了,有了这2张表格怎么区分频道,节目呢? PAT表格 里面包含所有PMT表格的信息,一个PMT表格对应一个频道,比如中 央电视台综合频道。而一个 PMT里面包含所有节目的信息,比如 CCTV1CCTV14 。在实际情况中我们是有很多频道的,所以PMT表格可不止一张,有可能是 PAT, PMT, PMT, PMT,DATA, DATA

21、, PAT, PMT, PMT, , , DATA, DATA这样的形式。除了这个设定外, 每个频道或节目都有自己的标识符(PID),这样当我们拿到一个 DAT A,解析出里面的PID,就知道是什么节目,并且也知道所属频道是什 么了。我们看电视的时候,会收到所有节目的DATA,当我们正在看某个节目的时候,机顶盒会把这个节目的DATA单独过滤出来,其它的舍 弃。四,ts packet格式讲解ts packet我们知道一包是188字节,它分为ts header和ts body。其 中ts header里面会有个PID字段标识着当前ts body的类型。ts bod y有可能是表格,也有可能是 DA

22、TA,表格没什么好说的,我们说下 D ATA的结构。DATA包其实就是PES包,而PES包是对ES的封装,PES包分为PES头加E So这里的ES是原始流,是指经过压缩后的 H264, aac等格式的音视 频数据。那么帧数据,PES包,ts packet包的对应关系是什么样的呢? 一帧数据封装成一个 PES包(含PES头和ES),这个PES包如果小 于188字节,那么一个ts packet就可以放下了。最终ts packet 一包 的格式就是ts header+填充字节+PES包(PES头+ES)。填充字节的 意思是如果ts header加上PES包不满188字节,这个时候肯定要填充下使其凑满188字节发送。是不是很简单?那么我们知道视频帧是很 大的,往往大于18

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论