rtmp流媒体协议

1、H5视频直播扫盲1 H5到底能不能做视频直播？当然可以，H5火了这么久，涵盖了各个方面的技术。对于视频录制，可以使用强大的 webRTC (Web Real-TimeCommunication )是一个支持网页浏览器进行实时语音对话或视频对话的技术，缺点是只在PC的chrome上支持较好，移动端支持不太理想。对于视频播放,可以使用HLS(HTTP Live Streaming) 协议播放直播流，ios和android都天然支持这种协议，配置简单，直接使用video标签即可。webRTC兼容性:IEFirefoxChromeEdgeSalvideo标签播放hls协议视频:1 <video

2、controls autoplay>2<source src="http:7:8080/hls/mystream.m3u8" type="application/vn3 <p class="warning">Your browser does not support HTML5 video.</p> 4 </video>2到底什么是HLS协议？简单讲就是把整个流分成一个个小的，基于 HTTP 的文件来下载，每次只下载一些，前面提到了用于H5播放直播视频时引入的一个.m3u8的文

3、件，这个文件就是基于 HLS协议，存 放视频流元数据的文件。每一个.m3u8文件，分别对应若干个ts文件，这些ts文件才是真正存放视频的数据， m3u8 文件只是存放了一些ts 文件的配置信息和相关路径，当视频播放时， .m3u8 是动态改变的，video标签会解析这个文件，并找到对应的ts文件来播放，所以一般为了加快速度，.m3u8放在web服务器上，ts文件放在 cdn 上。.m3u8 文件，其实就是以 UTF-8 编码的 m3u 文件，这个文件本身不能播放，只是存放了播放信息的文本文件：1 #EXTM3Um3u 文件头2 #EXT-X-MEDIA-SEQUENCE第一个TS分片的序列号3

4、 #EXT-X-TARGETDURATION每个分片TS的最大的时长4 #EXT-X-ALLOW-CACHE是否允许 cache5 #EXT-X-ENDLIST m3u8 文件结束符6 #EXTINF指定每个媒体段（ts）的持续时间（秒），仅对其后面的URI有7 mystream-12.tsts文件:mystream-10.tsmystream-9.ts mystream-11 .ts mystream-1 2.ts mystream-13.ts mystream.m3u8 ftest.htmlmy stream-10. tsHLS的请求流程是:1 http请求m3u8的url。2服务端返回一

5、个 m3u8的播放列表,这个播放列表是实时更新的，一般一次给由5段数据的url3客户端解析m3u8的播放列表，再按序请求每一段的url获取ts数据流。简单流程：请求video3 HLS直播延时我们知道hls协议是将直播流分成一段一段的小段视频去下载播放的，所以假设列表里面的包含5个ts文件，每个TS文件包含 5秒的视频内容，那么整体的延迟就是25秒。因为当你看到这些视频时，主播已经将视频录制好上传上去了，所以时这样产生的延迟。当然可以缩短列表的长度和单个ts 文件的大小来降低延迟，极致来说可以缩减列表长度为 1 ，并且ts的时长为1s,但是这样会造成请求次数增加，增大服务器压力，当网速慢时回造

6、成更多的缓冲，所以苹果官方推荐的ts时长时10s,所以这样就会大改有30s的延迟。参考资料：workingInternet/Conceptual/StreamingMediaGuide/FrequentlyAskedQuestions/FrequentlyAskedQuestions.html4 视频直播的整个流程是什么？当视频直播可大致分为：1 视频录制端： 一般是电脑上的音视频输入设备或者手机端的摄像头或者麦克风，目前以移动端的手机视频为主。2 视频播放端：可以是电脑上的播放器，手机端的 native 播 放器，还有就是h5的video标签等，目前还是已手机端的native 播放器为主。3

7、 视频服务器端：一般是一台 nginx 服务器，用来接受视频录制端提供的视频源，同时提供给视频播放端流服务。简单流程：nginx手机摄像头5怎样进行音视频采集?当首先明确几个概念：视频编码：所谓视频编码就是指通过特定的压缩技术，将某 个视频格式的文件转换成另一种视频格式文件的方式，我们使用的 iphone 录制的视频，必须要经过编码，上传，解码，才能真正的在用户端的播放器里播放。编解码标准：视频流传输中最为重要的编解码标准有国际电联的H.261、H.263、H.264 ,其中HLS协议支持H.264格式的编码。音频编码：同视频编码类似，将原始的音频流按照一定的标准进行编码，上传，解码，同时在播

8、放器里播放，当然音频也有许多编码标准，例如 PCM 编码， WMA 编码，AAC编码等等，这里我们 HLS协议支持的音频编码方式是AAC 编码 。下面将利用ios 上的摄像头，进行音视频的数据采集， 主要分为以下几个步骤：1 音视频的采集， ios 中，利用 AVCaptureSession 和AVCaptureDevice 可以采集到原始的音视频数据流。 2 对视频进行H264编码，对音频进行 AAC编码，在ios中分别有已经封装好的编码库来实现对音视频的编码。 3 对编码后的音、视频数据进行组装封包； 4 建立 RTMP 连接并上推到服务端。ps :由于编码库大多使用c语言编写，需要自己使

9、用时编译，对于 ios ，可以使用已经编译好的编码库。x264 编码： faac 编码： ffmpeg 编码：关于如果想给视频增加一些特殊效果，例如增加滤镜等，一般在编码前给使用滤镜库，但是这样也会造成一些耗时，导致上传视频数据有一定延时。简单流程：iOS摄像头AVCaptureSession原始视频流x2ertmnginx服务器iOS麦克风AVCaptureSession原始音频流faa6前面提到的ffmpeg是什么？和之前的x264 一样，ffmpeg其实也是一套编码库，类似的还有Xvid , Xvid是基于MPEG4协议的编解码器，x264是基于H.264协议的编码器，ffmpeg集合了

10、各种音频，视频编解码协议，通过设置参数可以完成基于MPEG4,H.264等协议的编解码，demo这里使用的是x264编码库。7什么是RTMP ?Real Time Messaging Protocol （简称 RTMP ）是Macromedia 开发的一套视频直播协议，现在属于 Adobe （ 和HLS 一样都可以应用于视频直播，区别是 RTMP基于flash 无法在ios的浏览器里播放，但是实时性比HLS要好。所以一 般使用这种协议来上传视频流，也就是视频流推送到服务器。这里列举一下hls和rtmp对比:协议原理延时优点使用场景RTMP长链接 tcp每个时刻 的数据收 到后立刻 发送2s延时

11、低即时互动HLS ；短链接 http集合一段 ;时间数据 生成忸切片 文件更新 m3u8文件10s 30 s跨平台h5直播8 推流简所谓推流，就是将我们已经编码好的音视频数据发往视频流服务器中，一般常用的是使用 rtmp 推流，可以使用第三方库librtmp-iOS进行推流，librtmp封装了一些核心的api供使用者调用，如果觉得麻烦，可以使用现成的ios视频推流sdk,也是基于 rtmp 的，9 推流服务器搭建简简单的推流服务器搭建，由于我们上传的视频流都是基于rtmp 协议的，所以服务器也必须要支持rtmp 才行，大概需要以下几个步骤：1 安装一台 nginx 服务器。2安装nginx的

12、rtmp扩展，目前使用比较多的是 3配置nginx的conf文件:123456789101112rtmp server listen 1935; # 监听的端口chunk_size 4000;application hls #rtmp 推流请求路径live on;hls on;hls_path /usr/local/var/www/hls;hls_fragment 5s;3 141516174 重启 nginx ，将 rtmp 的推流地址写为rtmp:/ip:1935/hls/mystream ，其中 hls_path 表示生成的.m3u8和ts文件所存放的地址，hls_fragment表示切

13、片时长,mysteam 表示一个实例， 即将来要生成的文件名可以先自己随便设置一个。更多配置可以参考:根据以上步骤基本上已经实现了一个支持rtmp 的视频服务器了。10在html5页面进行播放直播视频？简单来说，直接使用video标签即可播放hls协议的直播视频：1 <video autoplay webkit-playsinline>2 <source src="7:8080/hls/mystream.m3u8" type="application/vn3 <p class="warning&qu

14、ot;>Your browser does not support HTML5 video.</p>4 </video>需要注意的是，给video标签增加webkit-playsinline 属性，这个属性是为了让video视频在ios的uiwebview里面可以不全屏播放，默认ios会全屏播放视频，需要给 uiwebview设置allowsInlineMediaPlayback =YES。业界比较成熟的 videojs ,可以根据不同平台选择不同的策略，例如ios使用video标签，pc使用flash等。11 坑点总结简根据以上步骤，笔者写了一个demo，从实现

15、ios视频录制，采集，上传，nginx服务器下发直播流，h5页面播放直播视频者一整套流程，总结出以下几点比较坑的地方：1 在使用 AVCaptureSession 进行采集视频时，需要实现AVCaptureVideoDataOutputSampleBufferDelegate 协议，同时在 - (void)captureOutput:(AVCaptureOutput*)captureOutputdidOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connectio

16、n 捕获到视频流， 要注意的是didOutputSampleBuffer 这个方法不是didDropSampleBuffer方法，后者只会触发一次，当时开始写的是 didDropSampleBuffer 方法，差了半天才发现方法调用错了。2在使用rtmp推流时，rmtp地址要以rtmp:开头，ip地址要写实际ip地址，不要写成localhost ,同时要加上端口号，因为手机端上传时是无法识别 localhost 的。这里后续会补充上一些坑点，有的需要贴代码，这里先列这么多。demo 地址：参考资料：结尾打个广告：移动端日志工具：ReactNative下拉刷新组件：ScrollView欢迎使用！

17、原创文章转载请注明：转载自AlloyTeamh5-rtmp<!DOCTYPE html><html><head><meta charset="UTF-8"><title>Insert title here</title><link href=" rel="stylesh eet">script src="</head><body>videoid="my-player"class="video-js&

18、#39;controlspreload="auto"poster="/data-setup=''>source src='rtmp:/ type='rtmp/flv' /></p></video>script type="text/javascript">var player = videojs('my-player');var options = ;var player = videojs('my-player', options, function onPlayerReady() videojs.log('Your player is ready!');/