一种视频分发调度方法和系统技术交底书

1、一种视频CDN上可持续优化的内容调度方法和系统作者：郑叔亮版本：v1.0文档创建日期：2013年6月21日最后修改日期：2013年6月25日1本发明要解决的技术问题是什么？视频内容分发网络（简称VCDN）是视频服务提供商交付大规模内容的核心基础设施。通过建立强大的源服务中心和分布于各地的边缘服务节点，以及中间的多级协调节点，大型的VCDN系统已经可以覆盖上亿规模的用户并能够提供上千万的并发服务能力。可服务的终端覆盖机顶盒、PC、手机、平板电脑等。交付的内容也包括各种码率的视频，并支持直播、点播、时移、回看、nPVR等业务。具有一定规模的VCDN系统所面临的一个重要且复杂的问题就是内容分发的调度

2、问题。这一问题之所以重要是基于如下原因：1. 随着系统规模的扩大，成本控制越来越困难。运营商不能一味地依靠增加节点和服务器来保障服务质量，否则系统采购和运维成本将增长得很快，这对于视频交付系统尤其明显，进而运营商就会面临亏损的风险。因此需要通过合理的内容调度来避免不必要的硬件投资。2. 虽然CDN系统都带有比较强大的负载均衡能力，但均是一些被动的负载均衡方式，比如DNS、LVS等。内容本身在CDN系统上的分布会在很大程度上决定负载的分布。因此，主动地调度内容可以很好地增强系统资源利用的效果，从而进一步保障服务质量。3. 运营商会依据其市场营销策略，适时地推广一些内容吸引用户收看，以尽快将广告投

3、入和版权投入变现。因此，为了能够支持这些灵活的运营策略，就要求VCDN系统具备高效的内容分发调度的能力，把最合适的内容推送给距离目标用户最近的边缘节点，以便他们能够流畅地观看这些最热门的视频。而分发调度问题的复杂性也恰好体现在以上三个方面（成本、服务质量、营销策略）之间天然的矛盾关系：首先，以控制成本为核心的运营方式必然会面临服务质量下降的挑战。在投入受限的情况下还要尽量保障服务质量是一个重大的挑战。其次，如果以保障服务质量为第一要务，那么如何规划增加节点或服务器，增加多少，在哪里部署，又或者是否租用第三方的服务等问题都直接关系到运营成本。第三，这种对热门内容的推广实质上是一种人工的内容调度方

4、式。人工的方案很可能会对自动化的策略产生干扰和负影响。总之，视频内容调度的难点并不在于数据传输技术（或者说可以由网络协议的研究者来改进），而是在于能够很好地调和上述三方面矛盾的调度系统和策略。从目前商业和技术发展的状况来看，VCDN系统本身的架构在一段时间之内不会发生重大的变革。因此，如何基于这一类模式的系统结构，给出一套能够持续优化的调度系统的架构模式和策略设计方法，并且能够很自然地融合自动化和人工策略，是本方案要解决的核心问题。2详细介绍技术背景，并描述已有的与本发明最相近似的技术方案视频内容分发调度是指按照既定的策略，将内容从一个节点分发到另一个或几个节点。分发的方式主要有用户侧主动拉取

5、和服务侧主动推送。不论哪种方式都是将内容分发到离用户更近的地方，以提升用户服务质量。目前已经有诸多内容分发调度相关的技术方案，主要分为如下几类：1. 以单纯的用户侧内容拉取方式为主的调度方法，即边缘节点按需缓存。这样的系统架构相对简单，系统整体运行效率易于保障。2. 在第一类方案的基础上结合人工主动分发的调度方法。系统架构相对第一类方案稍显复杂，但基本还是比较简单和高效。3. 以保障用户服务质量为主要目标，设计服务质量数据采集和分析系统，指导内容分发策略的制定。4. 在以租用公共CDN服务为主的运营模式下（主要是一些自己不自建CDN的增值服务提供商），分析不同CDN服务的计费方式和服务质量保障

6、能力，构建计费分析模型，可给出总成本最低的内容分布策略。5. 以P2P技术以依托的边缘节点之间、终端之间和边缘节点和终端之间的自动分发。这样的方案能够有效节约带宽成本，并且在某些场景下提升服务质量（比如对热门内容的集中观看）。3以因果关系推理的方式推导出现有技术的缺点是什么？下面分别对上面提到的五类方案分析各自的不足：1. 虽然架构简单且系统性能易于保障，但最大的问题就是服务质量难以管理和有效保障，尤其是在针对特定用户或特定内容进行服务质量保障的时候。这种方案在保障服务质量方面的唯一措施就是增加服务节点或服务器，属于粗狂的运营方式，因此运营成本难以控制。2. 本质上和第一类方案相同，只不过可以

7、在一定程度上人工干预内容的分布。这对于视频内容消费行为比较稳定的用户群来说比较适用，但依然没有从根本上解决第一类方案在成本可控的情况下保障服务质量的问题。3. 第三类方案已经将重点转到了服务质量，但更多地强调是把各种技术融合到VCDN系统中，所导致的结果就是忽略对成本的控制。做出的系统在技术上虽然先进，但成本高昂。4. 这一类方案是限定在一种特定的运营模式下而产生的。这些服务提供商基本都是以OTT的方式运营视频服务。他们更加关注的是成本，因此才会有这样的方案。这种情况下，服务质量难以保障，或者要想保障高质量的服务，就不得不投入大成本。虽然他们能在一定范围内优化成本，但不可能从根本上控制成本，因

8、为他们都是租用第三方的CDN服务。5. P2P虽然能够帮助节省带宽，但服务质量不可控。理想条件下（即80%的用户收看的是20%的内容）P2P技术能够达到较好的效果，但由于市场环境和用户行为的不断变化（比如用户对于长尾内容的需求量增大），这种方案的灵活性不够，难以适应其它大多数条件，反而会造成资源的浪费。4本发明技术方案的详细阐述，应该结合流程图、原理图、电路图、时序图进行说明4.1 VCDN系统的架构CDN系统经过多年的发展，其架构已经趋于稳定。VCDN系统同样如此。图4.1所示是VCDN系统的典型架构，记为架构1。图中实线表示数据流，虚线表示请求调用。图4.1 架构1：VCDN系统的典型架构

9、架构1包含3类模块：l M1. 源服务器：存储从内容源（一般是视频编码打包服务器）获取的视频内容，并通过主动（即M1向M2推送）或被动（即M2从M1拉取）的方式分发内容到M2。在具体部署的时候，M1一般是许多服务器组成的集群节点，可存储全部的视频内容，作为视频运营的中心。l M2. 边缘服务器：一般包括缓存服务器和推流服务器。缓存服务器缓存M1分发的请求，以便推流服务器在接到用户请求的时候从缓存服务器直接获取内容来播出。在具体部署的时候，M2一般是分散在各地的服务节点，每个节点包含少量的服务器，以响应一定区域内的请求。l M3. 路由服务器：将用户请求路由到具有最佳服务质量的M2，以便合理地利

10、用全网资源。在运营VCDN系统的时候，主要有两大类过程。一类是运营准备或内容准备过程，即图4.1中标注的P1到P4的过程。另一类是运营过程，即图中R1到R3的过程。在运营准备过程中，视频内容首先被注入到M1（P1），然后分发到需要内容的各个M2（P2）。M3需要全面了解内容分布的请求，以及各个M2的负载情况（系统负载、缓存容量等），因此会从M1获取内容分布的数据（P3），从M2获取边缘节点状态的数据（P4）。当然，在运营过程中，P4也会定期地执行，以便能够及时更新M2的情况。终端设备首先会向M3请求视频（R1），M3给终端返回最佳的M2。终端设备再向M2请求视频（M2），这样M2就可以为终端设

11、备推送视频流了（R3）。4.2 视频内容分发调度方法为了能够从根本上调和成本、服务质量和市场营销策略三方面的矛盾，本方案提出一种可持续优化的视频内容分发调度方法。该方法充分评估成本、服务质量和市场营销策略对VCDN系统的意义和作用，抽象出一套解决方案模型，可根据技术和商业环境的变化灵活得出优化视频内容调度的解决方案，并且可以根据调度效果自动调整模型参数，从而实现持续优化。在该方法的指导下，可以在架构1的基础上增加相应模块，实现具有可持续优化的视频内容分发调度功能的VCDN系统。该方法可通过如下步骤来描述：1. 依据服务质量模型，建立服务质量监测和度量的体系（参照4.3节）；2. 依据成本模型，

12、建立服务质量到系统成本的映射体系（参照4.4节）；3. 依据内容分发模型，建立内容的服务质量和成本评估体系（参照4.5节）；4. 依据3给出的结果以及既定的运营策略，生成可自动化执行的内容分发调度方案，即将哪些内容分发到哪些节点，并替换哪些内容（参照4.5节）。5. 执行方案之后重复步骤1。以上步骤可以形成一个良性循环。每隔一段时间（少则一个小时，多则一天）调整一次内容分发方案，可以动态地保持系统的服务质量，并且可以充分利用系统资源，以节约成本。4.3 服务质量模型服务质量由四个方面组成：l 内容的可用性：即凡是用户可以浏览到的，且在用户权限范围内的内容都应该可以被该用户消费。如果用户不能正常

13、地访问合法且已授权的内容，那么服务的可用性就出现了问题。对用户内容的授权一般不是在CDN系统中执行的，因此通过路由之后的用户访问请求都是合法的。这样，在VCDN系统上，对可用性的度量就可以聚焦到M2模块是否能够完全服务所有的用户请求，从而可以用一段时间内完成服务的次数与请求服务的次数的比例来度量，记为QoS_A。l 响应性：即服务响应用户请求的时间。这段时间的组成可能会比较复杂，既包括鉴权的时间，也包括请求路由和推流的时间，甚至还可能有获取密钥解扰视频流的时间。其中，请求路由和推流的处理时间才是VCDN系统范围内的。因此，可以在M3接收到用户请求的时候为其打上起始时间戳，在M2响应用户请求之后

14、再打上截止时间戳。我们可以用一段时间内所有请求响应的时间段的平均值作为VCDN系统的响应性度量，记为QoS_R。l 连续性：即用户在收视过程中是否存在播放中断的情况。度量连续性最直接的方式是在客户端统计单位时间内因接收数据不够而导致暂停或缓冲的次数。但这样就会对客户端有强制的要求。也会增大收集统计数据的困难。因此，本方案采用监控M2推流的吞吐量和相应内容的码率来间接地实现。即如果发生单位时间内（比如1秒或10秒）的吞吐量小于码率的情况，那么就认定是发生了中断。可以用一段时间内所有请求的中断次数的平均值来度量服务的连续性，记为QoS_C。l 视频质量：可以用交付视频的码率来评估。通常情况下高码率

15、的内容视频质量就高。但对于不同终端设备来说，视频质量的意义是不同的。比如对于小屏幕的移动终端，1Mbps左右的码率就可以达到非常不错的视频质量，而对于大屏幕的电视来说，6Mbps以上的码率才可能达到很好的视频质量。所以，为了便于评估，有必要采用统一的度量方案，可以将视频质量划分等级，比如超清、高清、标清、流畅，而同一种等级对于不同的终端标准不同。这里将一段时间内各个等级的百分比作为视频质量度量的方法，记为QoS_Q。全面掌握了服务质量之后，就需要将服务质量和系统资源的消耗关联起来。这一环节非常重要，因为关联的结果直接反映了服务质量对系统成本的要求。这样的数据对分发策略的优化才更有意义。服务质量

16、和系统资源的关系如下：l 内容的可用性取决于服务器的并发处理能力和带宽的容量。服务器的并发处理能力越强并且带宽的容量越充足，内容的可用性就越高。l 响应性取决于内容的分布情况。内容的分布实际上表达了对存储能力的要求，比如节点数据，服务器存储容量等。l 连续性取决于服务器的吞吐能力。吞吐能力实际上是一种综合能力，是由内容的分布情况、服务器并发能力和带宽容量共同决定的。l 视频质量同样取决于服务器的吞吐能力。4.4节会进一步讨论成本和系统资源的关系，从而得出服务质量和成本的关系。4.4 成本模型VCDN的成本由四个方面组成：l 系统采购成本：主要有服务器成本和网络设备成本，记为Cost_P。l 运

17、营维护成本：包括人力成本和机房成本。自动化程度越高、系统越健壮，人力成本就越低。机房成本则与系统的架构和配置有关，主要体现在空间成本和电力成本。这部分的成本记为Cost_M。l 带宽成本：记为Cost_B。l 其它第三方服务成本：如果要由第三方托管一些服务，比如后备的CDN，那么这部分成本也要计算进来，记为Cost_O。不同方面的服务质量对成本的影响是不同的。下面通过分析系统资源与成本的关系给出服务质量与成本的关系。服务器的并发处理能力决定了系统的采购成本，带宽容量决定了带宽成本，存储能力决定了系统采购成本。而第三方服务成本主要是由这三种系统资源共同决定的（比如云服务，无需采购设备，无需运维，

18、甚至无需租用带宽，都是云服务提供商将这些系统资源打好包一同提供）。运营维护成本比较特殊，可以分为两部分，一部分直接依赖于采购成本，而且基本上和采购成本成线性关系，另一部分则是人工维护成本，基本上是一个常数。因此，运营维护成本可以表示为Cost_M = p Cost_P + m。基于这样的分析，可以定义如下四个映射（将服务质量映射到成本）：l QC1：N QoS_A a1 Cost_P + a2 Cost_B + a3 Cost_Ol QC2：N QoS_R r1 Cost_P + Cost_M + r2 Cost_O = (r1 +p) Cost_P + r3 Cost_O + ml QC3：

19、N QoS_C c1 Cost_P + Cost_M + c2 Cost_B + c3 Cost_O = (c1 + p) Cost_P + c2 Cost_B + c3 Cost_O + ml QC4：N QoS_Q q1 Cost_P + Cost_M + q2 Cost_B + q3 Cost_O = (q1 + p) Cost_P + q2 Cost_B + q3 Cost_O + m其中N表示可并发服务的请求数。p和m完全可以通过历史的运维经验数据确定，可以视为常数。在稳定的运营模式下，QC1到QC4的各个系数基本不会有变化。可通过如下步骤计算这些系数：1. 在一个基础的系统构成和配

20、置下，持续监测各个服务质量的值。2. 在系统容量可以承受的范围内，随着用户规模的扩大服务质量不会下降，直到到达临界点服务质量会发生拐点（在实验环境中可以人工地增加请求压力）。记录拐点处的服务质量值和各方面的系统成本值。3. 投入少量的成本升级系统，保证服务质量回升到初始水平。4. 重复第2步，直到收集足够的数据（因为系数最多有3列，所以最少收集3轮数据即可）。5. 将上述步骤收集的数据代入QC1到QC4，计算线性方程得出各个系数。从上述步骤可以看出，这是一种关注宏观的计算方法。而且是以反复测试的方式来训练模型。这种训练模型的方法不仅仅可以用在实验系统中（可模拟用户请求），还可以用在实际的运营系

21、统中（更加准确，但周期会比较长）。需要强调的是，在实验系统中，通过上面的公式和计算过程可以分析出如何以最节省的资源尽可能满足最大的服务容量（N QoS_Q），称之为基准成本和服务质量关系。QC1到QC4的作用是多方面的，主要体现在如下几点：l 关系式中系数较大的项，说明较小的成本投入就能带来比较明显的服务能力的提升。因此，在服务提供商面临用户规模扩大，服务质量下降的问题时，可以考虑先将资源投入到哪一部分的成本中。l 基准成本和服务质量关系表示了不同方面的成本投入的一个合理配比是多少，对实际运营具有重要意义。l 快速发现成本投入被浪费的方面，或需要补充的方面。l 指导内容分发调度的优化。4.5

22、内容分发模型内容分发模型的目标是给出调度内容的分发对服务质量和成本的影响。在这里，内容分发可以被抽象为三元组（Cnew，Node，Cold），即内容Cnew被分发到节点Node上，并替换Cold。如果Cold = 0，那么就意味着无需替换而仅仅是增加内容。内容分发直接影响的是存储容量，从而会影响系统采购成本Cost_P或第三方服务成本Cost_O；对Node的服务质量的影响则是针对内容Cnew的服务质量的提升和针对内容Cold的服务质量的下降。当然，在真实的系统中，如果节点的存储容量尚有剩余或者旧的内容被替换，那么并不会增加任何成本；另外，如果被替换的旧内容被关注的程度很低，那么也不会对整体服

23、务质量产生任何影响。因此，对于一个更加有意义的内容分发模型来说，需要把这些因素也考虑进去。这里用QoS_Content表示与所有内容的分布相关的总体服务质量，用QoS_Content_C表示与内容C的分布相关的独立服务质量，二者之间存在如下关系：（公式1）QoS_Content = QoS_Content_C1 + QoS_Content_C2 + + QoS_Content_Cn = 1 QoS_Content + 2 QoS_Content + + n QoS_Content其中的系数表示某一内容的影响系数，取值在0和1之间，所有的和为1。如果某一内容已经完全不被收看，那么它的影响系数就是

24、0；如果该内容被广泛点播，那么它的影响系数就可能接近1。因此，的计算方法就是统计一段时间内针对某一内容的请求数和总请求数的比值。用QoS_Total表示整体服务质量：QoS_Total = N (a QoS_A，r QoS_R，c QoS_C，q QoS_Q)即整体服务质量是一个四元组，其中的a、r、c、q表示各个分量的系数，N即并发处理请求的数量。针对不同的系统，分量系数是一套常量，可以通过测试和计算线性方程来得到（类似于对QC1到QC4的计算）。当然，这里并不关注服务质量的绝对值，所以将a、r、c、q都设为1也是合理的。内容的分布对QoS_Total的影响，主要在于QoS_R和QoS_C分

25、量。因此，可以定义QoS_Content = N (r QoS_R，c QoS_C)，同上，将r和c都设为1也是合理的。这样就可以用实际可监测的服务质量来评估内容服务质量。然后，通过公式1就可以定位到单个内容的独立服务质量，即QoS_Content_Ci =i N (r QoS_R，c QoS_C)。进一步地通过QC2和QC3就可以用成本来评估内容服务质量。通过内容分发模型，可以发现：l 哪些内容值得被分发服务质量高且成本占用可以接受的内容。l 哪些旧的内容可以被替换服务质量低下或成本占用较大的内容。在实际应用中，如果要生成内容分发调度方案，还要考虑人工制定的市场营销策略的影响。人工策略是需要

26、首先被满足的，因此要基于人工策略的评估结果来进一步评估是否还需要优化，如何优化。以下给出具体方案的说明：1. 评估市场营销策略中的内容分布对目标节点的服务质量和成本的影响。如果人工策略中推送的内容是全新的内容，那么就找一个最受欢迎的内容作为被推送内容的起始参考内容，以该内容的服务质量和成本影响作为新内容的参考值。2. 如果对成本的要求尚未超出节点容量，那么就将内容加入到待分发方案中；如果超出了节点容量，那么就将找出最需要被替换的内容，将新内容和待替换内容一同加入到待分发方案中。3. 评估完所有运营策略指定的内容之后，如果节点尚剩余容量，那么进入步骤4；否则进入步骤5。4. 找出最值得被分发的内

27、容，将内容加入到待分发方案中，进入步骤6。5. 找出最值得被分发的内容和最需要被替换的内容，将二者加入到待分发方案中。6. 评估总体服务质量的提升，如果达到预期，那么过程结束；否则进入步骤3。4.6 视频内容分发调度系统在架构1中，M3会关注内容的分布以及M2的负载情况，但M3不会控制内容的分发，只是被动地接受所有的事实，然后再为终端设备分析并提供边缘节点的地址。事实上，对于视频推流这种占用带宽且对延迟敏感的服务来说，地域因素（一般具体地会体现在网络延迟）会直接决定路由的结果。因此，M3本身并没有优化流量的能力。分发的功能一般是在M1上。简单的按需分发（即M2拉取的方式）或人工策略下的定向分发

28、，M1都应该可以胜任。但是，随着系统规模的扩大，各个模块之间的发展逐渐趋于独立，尤其是将一些模块部分或全部地由第三方服务提供或托管之后，模块之间就更加难以确知各自的结构、规模和服务能力。这也就意味着M1会逐渐地失去对M2的感知能力，因此就很难建立更加复杂的内容分发机制。即便能够改进M1的分发功能，也会发现M1的功能将越来越复杂，其职能也将逐渐变得模糊。这对于M1是致命的，因为M1需要能够具备非常出色的平滑升级和线性水平扩容能力（不仅仅是存储能力，还有流化内容的吞吐能力），从而就需要简单稳定的结构和机制。所以将M1的分发功能复杂化或者所谓的智能化，都会带来非常严重的兼容性问题和扩展性问题。本方案所提出的可持续优化的内容分发调度方法和系统就