流媒体技术介绍

流媒体技术介绍第一页，共33页。压缩编码视频编码解码渲染视频存储视频技术体系第二页，共33页。视频编解码1媒体传输技术2媒体存储3第三页，共33页。图像与视频图像：是人对视觉感知的物质再现。三维自然场景：对象包括深度，纹理和亮度信息二维图像：纹理和亮度信息第四页，共33页。图像与视频图像：是人对视觉感知的物质再现。三维自然场景对象包括深度，纹理和亮度信息；二维图像包括纹理和亮度信息视频：连续的图像。视频由多幅图像构成，包含对象的运动信息，又称为运动图像。第五页，共33页。数字视频数字视频：自然场景空间和时间的数字采样表示。空间采样解析度（Resolution）时间采样帧率：帧/秒第六页，共33页。空间采样第七页，共33页。人类视觉系统HVSHVS：眼睛、神经、大脑HVS特点：对高频信息不敏感对高对比度更敏感对亮度信息比色度信息更敏感对运动的信息更敏感数字视频系统的设计应该考虑HVS的特点：丢弃高频信息，只编码低频信息提高边缘信息的主观质量降低色度的解析度对感兴趣区域（RegionofInteresting，ROI）进行特殊处理第八页，共33页。色彩空间RGB色彩空间三原色：红（R），绿（G），蓝（B）。任何颜色都可以通过按一定比例混合三原色产生。RGB色度空间由RGB三原色组成广泛用于BMP，TIFF，PPM等每个色度成分通常用8bit表示[0,255]YUV色彩空间YUV色彩空间：Y：亮度分量UV：两个色度分量YUV更好的反映HVS特点RGB转化到YUV空间亮度分量Y与三原色有如下关系：经过大量实验后ITU-R给出了，第九页，共33页。YUV图像分量采样和图像格式YUV图像分量采样YUV图像可以根据HVS的特点，对色度分量下采样，可以降低视频数据量。根据亮度和色度分量的采样比率，YUV图像通常有以下几种格式：通用的YUV图像格式根据YUV图像的亮度分辨率定义图像格式YUV444是完全未刪減最逼真的格式,即每4個Y,配4個U,4個V

YUV422則是在UV上減半之格式,即每4個Y,配2個U,2個V

YUV420則是在UV上減1/4之格式,即每4個Y,配1個U,1個V第十页，共33页。帧和场图像一帧图像包括两场——顶场，底场第十一页，共33页。逐行与隔行图像逐行图像：一帧图像的两场在同一时间得到，ttop=tbot。隔行图像：一帧图像的两场在不同时间得到，

ttop≠tbot。第十二页，共33页。视频质量评价视频质量评价有损视频压缩使编解码图像不同，需要一种手段来评价解码图像的质量。质量评价：客观质量评价主观质量评价主观质量评价：用人的主观感知直接测量的方式。优点：符合人的主观感知缺点：不容易量化受不确定因素影响，测量结果一般不可重复测量代价高客观质量评价：通过数学方法测量图像质量评价的方式。优点：可量化测量结果可重复测量简单缺点：不完全符合人的主观感知

第十三页，共33页。为什么要进行视频压缩？未经压缩的数字视频的数据量巨大存储困难:一张DVD只能存储几秒钟的未压缩数字视频。传输困难:1兆的带宽传输一秒的数字电视视频需要大约4分钟FrameRateFrameSizeBits/pixelBit-Rate(bps)(Byte)30fps176X144pixels129,123,840一分钟的视频数据第十四页，共33页。为什么可以压缩？去除冗余信息空间冗余：图像相邻像素之间有较强的相关性时间冗余：视频序列的相邻图像之间内容相似编码冗余：不同像素值出现的概率不同视觉冗余：人的视觉系统对某些细节不敏感知识冗余：规律性的结构可由先验知识和背景知识得到第十五页，共33页。数据压缩分类无损压缩（Lossless）压缩前解压缩后图像完全一致X=X'压缩比低(2:1~3:1)例如：Winzip，JPEG-LS有损压缩（Lossy）压缩前解压缩后图像不一致X≠X'压缩比高(10:1~20:1)利用人的视觉系统的特性例如：MPEG-2，H.264/AVC，AVS第十六页，共33页。压缩系统的组成编码器中的关键技术

编解码中的关键技术第十七页，共33页。编解码器实现编解码器的实现平台：超大规模集成电路VLSIASIC，FPGA数字信号处理器DSP软件编解码器产品：机顶盒数字电视摄像机监控器第十八页，共33页。编解码器实现编解码器的实现平台：超大规模集成电路VLSIASIC，FPGA数字信号处理器DSP软件编解码器产品：机顶盒数字电视摄像机监控器第十九页，共33页。视频编码标准编码标准作用：兼容：不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码高效：标准编解码器可以进行批量生产，节约成本。主流的视频编码标准：MPEG-2MPEG-4SimpleProfileH.264/AVCH.265/HEVCAVSVC-1标准化组织：ITU：InternationalTelecommunicationsUnionVECG：VideoCodingExpertsGroupISO：InternationalStandardsOrganizationMPEG：MotionPictureExpertsGroup第二十页，共33页。视频编解码1媒体传输技术2媒体存储3第二十一页，共33页。视频传输视频传输：通过传输系统将压缩的视频码流从编码端传输到解码端传输系统：互联网，地面无线广播，卫星视频传输面临的问题传输系统不可靠：带宽限制、信号衰减、噪声干扰、传输延迟视频传输出现的问题：不能解码出正确的视频、视频播放延迟视频传输差错控制差错控制（ErrorControl）解决视频传输过程中由于数据丢失或延迟导致的问题差错控制技术：信道编码差错控制技术、编码器差错恢复、解码器差错隐藏视频传输的QoS数据包的端到端的延迟带宽：比特/秒数据包的流失率数据包的延迟时间的波动第二十二页，共33页。流媒体传输协议RTSP方法方向对象要求含义DESCRIBEC->SP,S推荐检查演示或媒体对象的描述，也允许使用接收头指定用户理解的描述格式。DESCRIBE的答复-响应组成媒体RTSP初始阶段ANNOUNCEC->SS->CP,S可选当从用户发往服务器时，ANNOUNCE将请求URL识别的演示或媒体对象描述发送给服务器；反之，ANNOUNCE实时更新连接描述。如新媒体流加入演示，整个演示描述再次发送，而不仅仅是附加组件，使组件能被删除GET_PARAMETERC->SS->CP,S可选GET_PARAMETER请求检查RUL指定的演示与媒体的参数值。没有实体体时，GET_PARAMETER也许能用来测试用户与服务器的连通情况OPTIONSC->SS->CP,S要求可在任意时刻发出OPTIONS请求，如用户打算尝试非标准请求，并不影响服务器状态PAUSEC->SP,S推荐PAUSE请求引起流发送临时中断。如请求URL命名一个流，仅回放和记录被停止；如请求URL命名一个演示或流组，演示或组中所有当前活动的流发送都停止。恢复回放或记录后，必须维持同步。在SETUP消息中连接头超时参数所指定时段期间被暂停后，尽管服务器可能关闭连接并释放资源，但服务器资源会被预订PLAYC->SP,S要求PLAY告诉服务器以SETUP指定的机制开始发送数据；直到一些SETUP请求被成功响应，客户端才可发布PLAY请求。PLAY请求将正常播放时间设置在所指定范围的起始处，发送流数据直到范围的结束处。PLAY请求可排成队列，服务器将PLAY请求排成队列，顺序执行RECORDC->SP,S可选该方法根据演示描述初始化媒体数据记录范围，时标反映开始和结束时间；如没有给出时间范围，使用演示描述提供的开始和结束时间。如连接已经启动，立即开始记录，服务器数据请求URL或其他URL决定是否存储记录的数据；如服务器没有使用URL请求，响应应为201（创建），并包含描述请求状态和参考新资源的实体与位置头。支持现场演示记录的媒体服务器必须支持时钟范围格式，smpte格式没有意义REDIRECTS->CP,S可选重定向请求通知客户端连接到另一服务器地址。它包含强制头地址，指示客户端发布URL请求；也可能包括参数范围，以指明重定向何时生效。若客户端要继续发送或接收URL媒体，客户端必须对当前连接发送TEARDOWN请求，而对指定主执新连接发送SETUP请求SETUPC->SS要求对URL的SETUP请求指定用于流媒体的传输机制。客户端对正播放的流发布一个SETUP请求，以改变服务器允许的传输参数。如不允许这样做，响应错误为"455MethodNotValidInThisState”。为了透过防火墙，客户端必须指明传输参数，即使对这些参数没有影响SET_PARAMETERC->SS->CP,S可选这个方法请求设置演示或URL指定流的参数值。请求仅应包含单个参数，允许客户端决定某个特殊请求为何失败。如请求包含多个参数，所有参数可成功设置，服务器必须只对该请求起作用。服务器必须允许参数可重复设置成同一值，但不让改变参数值。注意：媒体流传输参数必须用SETUP命令设置。将设置传输参数限制为SETUP有利于防火墙。将参数划分成规则排列形式，结果有更多有意义的错误指示TEARDOWNC->SP,S要求TEARDOWN请求停止给定URL流发送，释放相关资源。如URL是此演示URL，任何RTSP连接标识不再有效。除非全部传输参数是连接描述定义的，SETUP请求必须在连接可再次播放前发布特点：具备媒体回话协商，结合RTP具备实时传送能力，集合RTCP具备媒体动态调整，QOS保证能力适用：适用于单向的实时直播和点播场景缺点：需要专业的播放器，协议在互联应用场景中不够广泛第二十三页，共33页。流媒体传输协议RTMP在PC时代伴随FlashPlayer几乎同时整个互联网在线播放场景，但移动互联网基本被抛弃。特点：利用flashplayer插件形式快速推广，具备实时传输能力。场景：PC浏览器兼容flashplayer播放场景缺点：浏览器插件形式所带来的安全问题逐步被浏览器厂商抛弃。HTML5重新定义media标签浏览器厂商解决视频播放问题。移动互联网时代以Apple为首的厂商抵制flashplayer第二十四页，共33页。HTTP流媒体传输协议HLSClientServer①获取播放文件段列表（M3U8）②返回播放文件段列表（M3U8）⑥播放ts文件短片④下载列表对应ts文件⑤返回ts文件流⑦更新播放文件段列表（M3U8）⑧返回播放文件段列表（M3U8）③分析播放文件段列表视频被切分为TS短文件,以HTTP形式承载.优点：利用http协议传输具备很好的网络穿透能力

结合CDN网络具备非常强的分发和网络加速优势更合适于点播场景。HTML5浏览器天然支持播放，无需插件

分片技术更适合移动互联网的应用场景缺点：需要缓冲至少3个segment，直播应用延迟巨大，视频加载速度慢。第二十五页，共33页。SIP/RTP协议传统CT技术场景，广泛应用于视频通话、视频会议等场景。特点：具备用户回话协商能力和媒体协商能力，具备很强的实时传输、QOS保证等特点，整体技术完备。场景：视频通话、视频会议等需要双通的场景。缺点：协议形式较重，开发复杂；SIP协议在互联网下的传输表现出很多不适应性，如设备阻止，网络穿透性不强等。第二十六页，共33页。流媒体分发技术（直播）内存复制缓存流量控制IO平滑特点：对媒体数据内存复制分发保证数据的实时性和资源在分发通道间的合理分配技术难点：内存调度和合理分配防止单通道传输问题引起的连锁反应CPU（线程）随业务输入输出路数变化调度方案大并发的网络IO处理能力第二十七页，共33页。流媒体分发技术（点播）RTP/RTSPRTP/XMPPHLSRTMP单机IO无法支撑点播访问CDN加速用户播放进度，开始时间，片源随机性大特点：媒体数据访问随机性大：开始时间、进度、片源播放终端形式多样技术难点：降低磁盘IO和CDN加速命中率技术终端适配第二十八页，共33页。4G无线传输智能重传ARQ向前纠错FEC多隧道冗余动态编码213442135562X1234123412