IP视频流处理系统技术方案

IP视频流处理系统技术方案2010年10月21日目录TOC一、项目需求 3二、系统主要技术及功能介绍 32.1、视频流压缩编码技术： 32.2、服务器处理技术： 42.3、网络传输协议： 52.4、对端流媒体播放技术（解码） 5三、系统组成 63.1编码硬件（服务器）介绍； 63.1.1编码硬件（服务器）构架 63.1.2编码硬件（服务器）组成 63.1.3编码硬件（服务器）编码技术介绍及转换格式说明 73.1.4编码硬件（服务器）编码流程介绍及GPU并行处理技术介绍 73.1.5编码硬件（服务器）编码指标说明（压缩比、分辨率、带宽、信号类型、流媒体格式、码流、帧数等指标） 83.1.6编码硬件（服务器）处理性能 93.1.7编码硬件（服务器）扩展能力 103.2解码器介绍； 103.2.1解码器介绍 103.2.2解码技术介绍 103.2.3解码后最终显示性能 113.2.4解码器与编码器协同工作原理 113.2.5窗口显示性能 12四、IP视频流处理系统技术点实现方式 12五、IP视频流处理系统优势所在及对比 12六、系统图 14七、新版本介绍 157.1、版本介绍 157.2、BlendOneV2窗口管理介绍： 17八、系统测试 18一、项目需求支持多路IP流媒体信号源并行输入；可以将外部视频信号转换为IP流媒体以窗口的形式在大屏幕上显示；所有操作均兼容集中控制主机、操作电脑等控制设备；完美实现多窗口显示，并且可以进行窗口放大、缩小、漫游、叠加、拉伸等功能；支持显示模式预存、调用、修改等功能；二、系统主要技术及功能介绍2.1、视频流压缩编码技术：视频流压缩编码技术。由于存在视频信息数据量大而网络带宽有限的矛盾，压缩技术一直是网络视频通信的关键技术。网络流媒体技术面临着网络带宽的波动和多种应用的挑战，高压缩率的分级编码技术是很好的解决途径。它能提供根据带宽而自适应变化的视频码流，以满足不同质量的服务。功能：此技术主要用于编码器进行视频流的转码工作，将具有分辨率和行场频率的VGA、RGB、DVI信号转换为可以通过网络进行传输的流媒体格式；编码体系结构图：2.2、服务器处理技术：服务器处理技术。编码服务器是流媒体系统的核心设备，它通过对视频流的发送和控制，保证了通信的服务质量。为了解决时延和带宽的限制，服务器必须根据实际的可用带宽把压缩的数据打包成合适的码并响应网络的反馈控制信息；同时为了实现客户与服务器的交互功能（VOD），服务器还要有对用户发来的服务请求（VCR）进行有效处理的功能。典型流媒体服务器技术包括数据放置策略、磁盘调度算法、内存缓冲区管理算法等功能：编码服务器不但负责各类信号的转换工作，并且负责转换后的流媒体网络推送工作，并且根据不同的情况提供不同的策略、算法及缓冲；2.3、网络传输协议：网络传输协议。由于我们的设备应用于局域网，并且要求有1000M的带宽流量，但是由于流媒体的传输应避免网络丢包情况，因此我们选择比较适合实时视频传输的协议主要有：网络层的IP协议，传输层的用户数据报协议(UDP)、实时传输协议（RTP）、会话层的RTSP（实时流协议）。在传输层的下层，为了减小时延，视频数据传输使用尽力转发的UDP。RTP是在UDP的上层为数据传输提供丢包检测和同步的实时传输协议，RTCP是配合RTP的控制协议；功能：此技术对应的功能主要负责流媒体在网络上广播推送服务，通过相应的协议及我们针对网络广播的软体限制，避免丢包，延迟的现象出现；2.4、对端流媒体播放技术（解码）接收端的流播放技术。由于流媒体采用的是IP\UDP等非可靠传输协议，数据可能不会按原来的顺序到达接收端而且可能存在丢包，所以在解码前开辟一个缓冲区进行重排和错误掩盖。为了实现实时连续播放并且拒绝丢包情况，我们开辟一个适当大小的播放缓冲区，以避免网络带宽的波动带来的缓冲区下溢；而我们采用的编码技术是MPEG-4标准，因此在解码方面同时采用MPEG-4的解码标准；通过我们自主研发的播放软体，配合相应的解码算法，最终实现对端接受设备的连续播放；三、系统组成3.1编码硬件（服务器）介绍；3.1.1编码硬件（服务器）构架编码服务器的构架为服务器软硬结合方式的构架，通过我们自主研发的集成了编码、网络、并行处理的机制的软体，结合定制的高性能图形卡共同实现实时各类信号的并行转码及网络并行推送功能；数据采集数据采集编码器传输控制3.1.2编码硬件（服务器）组成（1）采集模块，进行RGB/DVI信号采集，为编码模块提供数据（2）编码模块，以MPEG4标准对图像数据进行压缩编码（3）控制模块，对外提供控制接口，对采集模块和编解码模块进行参数设置（4）传输模块，接受通讯连接，对外传输压缩数据3.1.3编码硬件（服务器）编码技术介绍及转换格式说明采集信号保存为YUV信号后传送给编码器，编码器按照MPEG4标准对采集信号进行编码。编码格式为4:2:0格式，帧格式采用I帧，P帧和B帧。3.1.4编码硬件（服务器）编码流程介绍及GPU并行处理技术介绍（1）编码流程介绍 编码器采用的是变换和预测的混合编码法。编码原理由图一所示，输入的帧或场Fn以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。如果采用帧内预测编码，其预测值PRED（图中用P表示）是由当前片中前面已编码的参考图像经运动补偿（MC）后得出，其中参考图像用F’n-1表示。为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来（指显示次序上）已编码解码重建和滤波的帧中进行选择。预测值PRED和当前块相减后，产生一个残差块Dn，经块变换、量化后产生一组量化后的变换系数X，再经熵编码，与解码所需的一些边信息（如预测模式量化参数、运动矢量等）一起组成一个压缩后的码流，在将该码流传输到网络。如上所述，为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。因此必须使残差图像经反量化、反变换后得到的Dn’与预测值P相加，得到uFn’（未经滤波的帧）。为了去除编码解码环路中产生的噪声，提高参考帧的图像质量，从而提高压缩图像性能，编码器还设置了一个环路滤波器，滤波后的输出Fn’即重建图像可用作参考图像。图一编码器流程框图（2）编码并行处理在各宏块进行变化和量化的过程中，存在大量的计算，因此利用计算机强大的数据处理功能，将各个宏块数据进行并行处理，从而提高编码速度。3.1.5编码硬件（服务器）编码指标说明（压缩比、分辨率、带宽、信号类型、流媒体格式、码流、帧数等指标）（1）编码器输入信号：RGB信号流（2）编码格式：MPEG44:2:0格式（3）编码帧结构：支持三种类型I/IPP/IBBP（4）工作方式：VBR(可变码率编码)/CBR（固定码率编码）（5）支持分辨率：1024x768、1280x960、1280x1024、1400x1050、1600x900、1680x1050、1920x1080、1920x1200、1920x1440等（6）编码帧率：（25～30）fps（7）压缩比：根据图像内容因素的不同，如图像细节，运动和静止，编码图像质量等方面因素，压缩比和码率会不同，理论上MPEG4压缩比最大可达到4000:1。实际中测试的压缩比约为：（8）码率：（1～50）Mbps（9）带宽：200Mbps编码器输入信号分辨率 帧结构编码格式帧数(fps)编码图像质量平均码率（Mbps）带宽要求压缩率RGB241024x768GOP=100IBBP4：2：030QP=00.7Mbps1Mbps808.901440x10504：2：030QP=01Mbps3Mbps1099.631920x10804：2：030QP=02.5Mbps3Mbp597.191920x12004：2：030QP=02.5Mbps3Mbp663.553.1.6编码硬件（服务器）处理性能（1）编码器可支持1～4路信号同时采集（2）最多支持4路信号（3）支持最高分辨率为2048x1536（4）最大码流达到40Mbps（5）压缩比：在质量最好的情况下，压缩比约为100~8003.1.7编码硬件（服务器）扩展能力分辨率最大支持路数1024x76881400x105041920x108041920x120043.2解码器介绍；3.2.1解码器介绍解码器采用MPEG4解码标准进行解码。解码器从网络接收到编码后的数据后，按照标准对编码数据进行解码。3.2.2解码技术介绍解码流程介绍：由图二可知，解码器得到由编码器输出的数据后，经熵解码得到量化后的一组变换系数X，再经反量化、反变换，得到残差Dn’。利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器中的原始PRED是相同的。当该解码器产生的PRED与残差Dn’相加后，就产生uFn’，再经滤波后，最后就得到滤波后的Fn’，这个Fn’就是最后的解码输出图像。图二解码框图3.2.3解码后最终显示性能解码帧率：最高可达60fps支持分辨率：4x4~8192x8192，宽度或高度必须为2的倍数流量：24bit/像素3.2.4解码器与编码器协同工作原理（1）编码器收到原始采集数据后进行压缩编码，服务器将编码后的数据传输到客户端（2）客户端接收到编码数据后，解码器尽最大能力进行解码，以最快的速度显示（3）编码器与解码器都在“推模式”下工作（4）由于MPEG本身的特点，解码器只有在收到关键帧才能正式启动解码，而关键帧的间隔与编码设定有关，所以开始解码时可能出现短暂的等待，当关键帧到达才进入解码，显示图像3.2.5窗口显示性能（1）采用DirectX独占显示技术，直接进行显卡显示操作，充分发挥显卡性能；（2）支持多核CPU并行处理技术，通过DMA模式进行数据传输，发挥PCI-E的带宽优势，传输速度可达16GB/s，窗口显示具有刷新速度快，占有资源小的特点。四、IP视频流处理系统技术点实现方式（1）编解码：支持并行处理，支持多核CPU，SIMD技术优化（2）图像显示：DMA传输，采用DirectX显示技术（3）图像传输：基于TCP/IP的可靠传输方式五、IP视频流处理系统优势所在及对比随着视频应用的不断深入和网络技术、图像技术的不断成熟，视频系统正在迈入数字化、网络化、大型化时代，视频信号数量多，距离远。传统方式下，为了在远程观看视频，就需要部署专用传输线路，线路的数量随着视频数量的增长而增长，考虑到信号的线路损耗，需要根据实际条件添加中继设备。传统方式下的系统无法复用建设好的线路，重复建设多，成本高。（1）多网融合。IP视频处理系统能够使用网络线路，无需进行线路铺设，系统建设快，成本低，具有多网融合的特点，现有网络不但能够进行局域网通讯，还能实现视频网的搭建。（2）利于扩容。视频通过压缩，使用网络接入，在保证质量的同时，降低带宽占用，大大提高并行传输视频的数量。当网络线路的带宽能够满足同时观看视频数量的需要时，添加视频点只需添加一台采集设备即可，扩容简单、迅速。（3）节约成本。IP视频处理系统充分利用现有资源，扩容便捷，使得整个系统建设成本大大降低，建设时间快，同时以其优良的升级能力，也为未来的建设节约成本。六、系统图七、新版本介绍7.1、版本介绍由于IP流媒体技术得研发成功，因此在设备应用中我们对对端解码器也做了软体的升级，由第一代融合解码器升级为第二代融合处理器（BLENDONEV2）BlendOneV2其中包括：服务器端BlendOneV2SEVER控制客户端：BlendOneV2Manage上一代融合解码器并不具备IP流媒体的解码、采集功能并且针对Ip流媒体的窗口管理机制也没有被集成；而为了配合对端编码器的应用，我们在第二代融合解码服务器中不但集成了最新的IP流媒体的解码、采