智慧影视-影视云分发平台解决方案

1、 智慧影视:影视云分发平台解决方案 1需求简析1.1项目背景某公司致力于中国电影事业的发展，同时为全国各大影院按期上映最新的影片提供保障。现阶段的做法主要依靠拷贝硬盘并委托快递公司运输的方式，以同步更新全国影院的片源。但有时难免会因为时间太紧的原因，尤其是一些偏远的地方，物流通常运送时间会很长，无法在短期内抵达，从而造成不必要的损失。同时，使用寄送硬盘方式的成本也十分高昂。因此，拟通过云计算的相关技术，打造电影“云分发平台”（以下简称“平台”），整合现有资源，运用云传输技术，通过网络信道将影片远距离地分发到各个影院。其中，尤其希望能够解决偏远地方的影片传输问题，以缓解时间上的压力。同时，由于网

2、络传输十分依赖带宽，现阶段国内宽带的租用较之国际水平要昂贵许多。因此，在短期内会“平台”与物流的方式将会并存，共同解决电影的发布问题。随着电信事业的发展，在不久的将来带宽费用会大幅降低，届时再逐步转移到完全基于“平台”传输。2架构概述云分发概述云分发系统是基于互联网的分布式的大容量数据资源智能分发传输软件系统，其主要作用是在分布式网络环境中，尤其是跨区域的广域网络中，克服网络带宽有限、网络状态不够稳定、原始数据来源有限等问题，在不同的应用或存储节点之间快速、稳定地共享、分发和传输大容量文件数据，尤其针对目前广电、媒体行业中越来越多的高清视频等媒体资源，提供了一套完整的内容分发与数据传输技术解决

3、方案。2.1.1 TCP/IP协议的缺陷许多应用系统需要在不同的机器之间传输海量的数据，需要高速远距离网络传输的支持，这可能需要网络速度达到数百兆比特每秒或是更高。在这种情况下，传统的TCP算法就不太适用了。主要有以下三方面的原因：传统的TCP拥塞控制机制在高速网络中反应性比较差，这是因为TCP在高速网络中对分组丢失的反应要敏感得多。这主要是由于它的拥塞避免算法是基于AIMD（Additive Increase Multiplicative Decrease，加性增乘性减）的。传统的TCP总是把分组丢失解释为拥塞，而假定链路错误造成的分组丢失是可以忽略的，但是在高速网络中，由链路错误引起的分组

4、丢失和由网络拥塞引起的分组丢失的可能性是相同的。因此，不能笼统地认为分组丢失都是由网络拥塞引起的。传统的TCP不能使用网络链路的所有容量。首先从TCP的基本原理分析，TCP工作在“缓慢启动”和“拥塞避免”这两种状态之下。因此，TCP会在检测到分组丢失之后进行状态更改，状态更改模式如下图所示：图2-5TCP状态更改模式其次，如果以10Gbps的带宽速度考虑，首先要估计的是交换组件中的可用缓冲容量。假定在队列达到饱和之前，网络路径上的可用队列容量为256MB，那么工作在拥塞避免模式下的TCP会话将会在达到最高传输速率（即10Gbps）之后的大约590个RTT间隔（或者大约41秒之后）发生丢包。这时

5、，处于拥塞避免模式下的TCP的发送速率为10.1Gbps。在实用情况下，TCP拥塞避免模式会在5.0Gbps到10.1Gbps之间，导致这种理想的TCP会话产生锯齿式振荡。单个锯齿振荡周期长为2062秒，即34分钟22秒。这意味着网络必须在几十分钟内（或者在传输数十亿个分组期间），在网络路径上稳定地保持无丢包运行，而且相应的传输比特错误率低于10-14。它还意味着这种方式能够传输庞大的数据集，因为在一个TCP拥塞避免周期中传输的数据量高达1.95TB（即1.951012字节）。这也表明，TCP会话无法充分地利用可用的网络带宽，因为在这些情况下的平均数据传输速率为7.55Gbps，而不是10Gb

6、ps（参见图2-6）。图2-6高速网络下的TCP行为2.1.2 cTrans云传输机制cTrans云传输技术基于UDP协议，在应用层做了可靠性保障，同时加入P2P技术，进一步提高了信道利用率。cTrans云传输通过三次握手明确信道状况和基本传输速率，随后会以此速率发包，接收端在应用层检测收到包的序号，产生错误后记录下序号，累积一段时间后反馈序号列表，发送端重新将这些序号的包发送一遍即可。使用cTrans协议传输效率如下图2-5所示：图2-7cTrans协议性能柱状图可以看出，cTrans十分适合大数据的远距离传输模式，能够极大地提升传输带宽利用率，解决远距离传输的难题。2.2 cTrans云分

7、发系统基于cTrans高速云传输机制构建的cTrans云分发系统，主要包括中央节点资源及任务管控软件、边缘节点传输客户端软件两个部分。主要功能包括节点管理、用户管理、资源管理、任务管理、日志管理、参数设置等功能模块。cTrans云分发系统广泛适用于广电、媒体、互联网、军队、科研机构等特定行业和专业领域，并可在资源及数据的存储层面，与相关领域的业务系统（例如：媒资管理系统、地理信息系统等）进行整合。云分发系统具有传输速度快、传输成功率高、运行安全稳定、扩展性强、易于部署维护等优点。下图2-8为cTrans云分发传输界面：图2-8 cTrans云分发系统传输界面3方案具体技术分析以上系统架构中，涉

8、及到的具体技术主要包括了cTrans云传输技术和cStor云存储技术。其中，cStor云存储技术实现底层的数据统一存储、共享、备份；cTrans云传输技术实现对大数据的远距离高效传输，使用云计算的架构整体上确保云内计算机的联动和各类保障，共同对外提供服务。3.1 cTrans云传输cTrans(high performance reliable file transfer)云传输协议，是我们基于超远距离下大数据的高效传输的需求而自主研发的一种传输层协议。3.1.1主要特点cTrans传输协议的实现主要由转发模块、存储模块、可靠传输模块构成，底层基于UDP协议。其主要特点在于：1)采用流水线传输

9、技术，实现传输与存储的高度并行。2)建立了特殊的可靠传输机制，确保数据有序正确到达，并且其开销不因为速度的增加而相应增长。3)灵活的拥塞控制框架，可以根据线路特性，实现相应的拥塞控制机制，进行专门优化。4)灵活的转发框架，转发的节点个数不受限制，并且可以实现转发的多级级联。3.1.2系统原理cTrans云传输协议的结构如下图所示：图3-1cTrans云传输协议结构3.1.3开销固定的报文确认机制与TCP不同，cTrans将数据接收和确认分开，数据接收方定期地发送方报告数据包的接收情况，包括接收到的和未接收到的包的序号。由于确认数据的发送速率保持恒定，从而确保“确认”的开销为常量。随着带宽的增大

10、，报文确认的开销所占总带宽的比例将随之减少，带宽利用率进一步提高。3.1.4保障可靠性机制和TCP一样，cTrans提供端到端的面向连接的可靠服务。数, 据发送方将待发送的报文进行统一编号，然后根据窗口的大小进行发送。每一个报文发送后都将启动一个软定时器进行记时。如果等待超时，发送方将重发该报文。如果在规定的时间内当收到接收确认，发送方将会检查该报文序号之前的报文是否全部收到，如是则移动窗口下沿至该报文的后一个。接收方则按序号依次向上递交接收到的数据。3.1.5文件并行传输与存储应用流水线思想，将文件发送端的流程划分为文件读取和数据发送两个独立的部分，同, 时增加读取队列和发送队列来取消步骤之

11、间的资源相关性，运用多线程技术，实现发送和传输重叠执行，达到性能优化的目的。同理在接收端将文件存储和数据接收分解成, , 独立的部分。3.1.6中间节点的快速转发由于采集到的数据要经过跨网段的多个节点进行相应处理，如果直接从数据采集的源端同各个节点建立连接进行传输，则会浪费宝贵的带宽资源、增加源端的负载，并且不利于系统的扩展。为此cTrans将数据的传输和处理进行分离，既可以将接收到数据实时转发到其它的cTrans同时又可以将数据进行本地存储。这种结构既节省了从, 数据源端到转发器之间的宝贵, 带宽，又实现了数据的快速并行处理，, 同时还具有良好的扩展性，可以方便地实现级连，构建大规模的联网系统。应用流水线的思想，, 将网络数据的接收、存储、转发分解成流水线上的独立单元，网络数据顺序进入以, 上单元进行处理。这样既提高了并行程度，同时也减少了数据的内存拷贝次数，从而提高了系统整体性能。3.1.7 cTrans性能测试测试系统有A、B、C三台机器，以千兆以太网连接。数据从服务器A依次发送到, B，C。进行存储测试时，A向B发送数据，B接收后，在本地进行存储，同时将数据转发给C，C接收到后进行存储。测试环境的硬件配置如下图所示