IPTV承载网测试指标-20061228-A

IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 1 of 18 文档编号 Document ID密级 Confidentiality level 内部公开 华为技术有限公司 Huawei Technologies Co., Ltd.文档状态 Document Status 共16页 Total 16 pages IPTVIPTV承载网测试指标承载网测试指标 拟制 Prepared by 张鹏 刘炅 Date 日期 2006-12-15 评审人 Reviewed by 数通测试组 Date 日期 2006-12-27 批准 Approved by 刘晓文 Date 日期 2006-12-27 华为技术有限公司 Huawei Technologies Co., Ltd. 版权所有 侵权必究 All rights reserved IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 2 of 18 修订记录 Revision Record 日期日期 DateDate 修订修订 版本版本 RevisionRevision VersionVersion 修改修改 章节章节 SecSec No.No. 修改描述修改描述 ChangeChange DescriptionDescription 作者作者 AuthorAuthor 2006-12-151.00 initial 初稿完成张鹏 刘炅 IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 3 of 18 目录 Table of Contents 1 1IPTVIPTV网络承载概述网络承载概述4 2 2视频质量测试视频质量测试5 2.1视频质量测试分析5 2.2MDI (Media Delivery Index)6 2.2.1Delay Factor7 2.2.2Media Loss Rate9 2.2.3MDI实测10 2.2.4MDI的参考指标11 2.3其他视频测试指标12 2.3.1V-Factor12 2.3.2VQS （Video Quality Score）12 2.3.3MDI，VQS 和V-Factor 的比较13 3 3频道切换时间频道切换时间 (CHANNEL(CHANNEL CHANGE/ZAPCHANGE/ZAP DELAY)DELAY)14 3.1组播频道切换时间相关定义14 3.2实测组播频道切换时间与用户感受切换时间16 3.3频道切换时间参考指标16 插图目录 图1 播放中的媒体流（传输质量较差）.11 图2 网络质量较差情况下的视频流的MDI.11 图3 在网络质量较好情况下的视频流的MDI.12 图4 组播频道切换时间.15 IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 4 of 18 IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 5 of 18 IPTV承载网测试指标 摘摘 要：要：IPTV, 承载网, 测试, MDI, Delay Factor, Media Loss Rate, Channel Zap 参考文献：参考文献：RFC 4445 1 1 IPTVIPTV 网络承载概述网络承载概述 IP 网络承载 IPTV 业务最主要包括电视频道（TV）和视频点播（VOD）节 目。为了保证 IPTV 的收看质量与目前的有线电视网收看质量相当，IPTV 承载 网要求能在带宽、频道切换时延、网络 QoS 等方面提供保证： 带宽：要求每个 IPTV 用户接入带宽达到 34Mb/s(使用 MPEG2 编码)或 2Mb/s(使用 MPEG4 或更高压缩率的编码)。在组播的情况下还需要网络设备 具备更大的复制转发带宽。 频道切换时延：有线电视网的频道切换非常快，IPTV 也应尽量减少端到端 时延，据 IPTV 用户调查，用户可接受 1 秒的 TV 频道切换时间及 10 秒下的 VOD 切换时间。 QoS：丢包、抖动等都会严重影响 IPTV 的收看质量，会让用户觉得 IPTV 比不上有线电视的感觉。 可以看出，IPTV 技术标准对承载层面提出了不同于普通以太网传输的要求： 在管理上针对用户和节目的网络带宽管理、VLAN 功能管理、精细播放权限控 制、频道切换时间控制和组播业务安全等新的功能要求；在传输上 IPTV 业务的 IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 6 of 18 流媒体特性决定了用户需要长时间占用网络带宽，而且要实时保证网络的 QoS。 随着服务提供商积极开展Triple-play（通过融合的基础设施传输话音、视 频和数据）业务，网络设备制造商也在极力设计并测试可在这些网络中提供出 色服务质量（QoS）的设备。服务质量机制允许设备将政策应用到网络中不同 类型的流量上，以确保每种流量均以最适当的方式被处理。例如，视频流和语 音流对延迟非常敏感，所以通常具有更高的优先级。而数据流（例如网络或电 子邮件）不受定时影响，因而不必得到相同的优先对待。 但是，消费者通常不会关注流量的优先级和丢失的数据包，他们真正在意 的是IPTV节目流畅显示而不出现视频障碍，以及语音通话的清晰。从这个角度 看，QoE (Quality of Experience)用户体验质量才是真正的关键所在。在竞争 激烈的今天，挑剔的客户会毫不犹豫地将不能达到预期质量的供应商抛弃掉。 因此，为了成功占领市场，服务提供商和网络设备制造商必须严格测试其三重 播放设备，以确保他们提供恰当的服务质量。 一般来说，IPTV 系统的性能测试有两个方面最为重要，这两个方面也是 IPTV 系统提供商和运营商最关心的两个指标。一个是视频质量评定；另外一个 是频道切换时间。所以这里主要讨论一下这两方面的指标。 2 2 视频质量测试视频质量测试 2.1视频质量测试分析 由于传输通道（基于IP网络）的特殊性以及接收设备IP STB（Set Top IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 7 of 18 Box，机顶盒）的特殊性， 对于视频（Video）传输质量评估以及服务质量评 估方面需要使用与传统的数据传输评定完全不同的方式和方法， 这也是当前 IPTV 网络性能评估的难点和焦点。 所以在此也就仅仅讨论Video Over IP网络， 即视频承载在IP网络的性能测试问题。 由于MPEG 视频流打包后通过IP网络传输和交换的过程中会发生抖动和时 序失真。这些失真是由于目标包的时序与发送时的源时序不同造成的。有一些 数据包到达的时候比它们在传输前的延时要短，而另外的一些数据包到达的时 候比它们在传输前的延时要长，通过与理想状态下数据包的时序情况的对比， 就可以定义数据包的抖动情况（理想的数据包到达时间与实际到达时间的时间 差）。Video over IP 测试技术的关键就是测试网络抖动以及丢包的情况。目 前最好的办法是根据RFC 4445来进行测试和测量。RFC 4445主要用于IP网络中 视频质量评定的标准，其中描述的称为MDI (Media Delivery Index)测量指标 适用于通过IP网络传输的任何一种媒体流，与媒体流所使用的上层编码方式无 关。 2.2MDI (Media Delivery Index) 媒体流传输指标（MDI）测量是在网络层面上的测量，用以表示预期的视 频质量即最终的用户服务质量。它不受视频编码方案的影响，提供了一个 简明的判断流媒体传输质量的指标，用于量化流媒体在网络中传输质量，现已 经被北美和欧洲的运营商广泛采纳，并已被不同的测试厂商采用。 MDI由两部分组成： IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 8 of 18 (1). DF (Delay Factor) (2). MLR (Media Loss Rate) 2.2.1 Delay Factor 为了解Delay Factor (DF) 参数，这里再解释一下抖动与缓冲之间的关系。 抖动是端到端传输延迟随时间发生的一种变化。若数据包以稳定速率到达目的 地则呈现零抖动；若数据包以不稳定速率到达目的地则呈现非零抖动。 视频流在网络中传输时，视频源和目的地是分离的，并被网络中的各个设 备路由、排序和重组等。因此当媒体流到达目的地的整个过程中其传输速率会 发生一定变化。若媒体流到达的瞬时速率与目的地的处理速率不一致，那么媒 体流必须在接收之后进行缓冲。 以典型的3.75 Mb/s MPEG视频流为例：目的地的解码器是以3.75 Mb/s的 恒定速率处理（或流出）数据，但是数据的到达速率可能高于或低于该流出速 率。解码器中的缓冲器用于收集确定数量的数据包（其到达时速率不同），并 将这些数据包以恒定速率送至解码引擎。 抖动越严重，需要消除抖动的缓冲区就越大。但是，采用较大缓冲区的代 价是引起延迟。另外，缓冲区的大小有限，所以过多的抖动会导致缓冲区上溢 或下溢。上溢是数据包到达缓冲区速率过高，以致占满缓冲区的空间而被接收 机丢弃。下溢是数据包的到达速率非常低，以致缓冲区没有足够的数据流入解 码器。 上溢和下溢都会降低用户的体验质量，是两种不希望出现的情况。若缓冲 IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 9 of 18 区出现上溢或下溢，由于媒体数据包的丢失，用户看到的视频就会时断时续， 并且图像出现失真。 接收到的字节数减去流出的字节数可以显示出的一个需要在测试点保持的 虚拟缓冲区的大小和时间。这个值除以传输带宽时，结果就应该是一个虚拟缓 冲区的内容全部流出的时间；传输带宽越高的，缓冲区全部流空的时间也就越 短。 MDI中的Delay Factor是一个时间值，它表示缓冲区必须包含多少毫秒的 数据才能消除抖动。一般是在单位时间间隔内（通常是1秒）。 为更进一步描述DF的计算，需要考虑一个用于缓冲接收媒体流数据包的虚 拟缓存VB。当在一个计算的时间段内一个包P(i)到达，计算2个Virtual Buffer的 值，VB(i,pre)和VB(i,post)，定义如下： ; TiMRSjsumpreiVB*)(),(1.1ij当 SipreiVBpostiVB),(),( 当Sj是一个第j个包的媒体载荷长度时，Ti是包i到达的相对时间（在约定的 时间间隔内），MR是额定的媒体流速率。 的大小到达之前的虚拟缓冲区是正好在)(),(iPpreiVB 的大小到达之后的虚拟缓冲区是正好在)(),(iPpostiVB 初始状态VB(0) = 0是用于每个测量时间间隔的开始。一个测量时间间隔是 从一个额定周期（通常为1秒）里正好最后一个包到达的时间至下一个额定周期 里正好最后一个包到达的时间。 在一个测量周期内，如果接收了k个包，则在衍生出的VB(max)和VB(min) IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 10 of 18 中有2*k+1个VB值。在从2*k+1个VB采样中确定VB(max)和VB(min)之后，测 量时间间隔内的DF被计算为： MR VBVB DF (min)(max) 以上计算过程摘自RFC 4445。 它的计算结果反映的是与媒体流相关的抖动变化情况，同时也能反映出媒 体流在发生时序失真的情况下，需要多大的缓冲区或缓冲时间来消除抖动或时 序失真所引起的负面影响，如过载、丢包、画面停顿等。 计算结果还反映了承载网络中某个测试点到媒体源之间的网络情况。我们 可以通过记录DF值来发现网络中各种潜在的问题。 要想让缓冲区可以高效的 平滑媒体流提早到达或者延迟到达的时间，缓冲区必须在视频播放之前（数据 流出之前）被填充好。因为在数据流出的时候，如果缓冲区流空而新的数据没 有进来，就会形成瞬间的数据中断，这种情况是不允许出现的。因此，DF值也 可以显示出在媒体流速率下缓冲区内数据流空的时间。足够大的缓冲区可以帮 助消除承载网络带来的抖动，但是也会造成过大的延迟。 与一般的二、三层抖动计算相比，DF 指标是专门针对媒体流的，它的计 算因子是媒体流速率，而不是一般的物理传输速率。因此，DF可以很好地被用 来评估视频在网络中的传输和实际的播放质量。 2.2.2 Media Loss Rate Media Loss Rate (MLR) 是在一个选定的时间内（一般为1秒）丢失的或 者非正常（如乱序）的媒体数据包的数量。 IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 11 of 18 对非正常数据包的检测非常重要，因为许多用户侧的设备往往不对接收到 的数据包重新排序，而直接将其发送到解码器。 任何数据包丢失，即出现非零MLR时，都会对视频质量带来不利影响，并 造成视觉失真或异常以及不均匀的视频回放。 可能会有零个或者多个媒体流包在一个IP报文里，例如，通常一个IP报文 里载有7个188字节的MPEG媒体包。在这种情况下，一个IP报文的丢失可能会 引起7个MPEG媒体包的丢失（如果7个丢失的媒体包中没有空包）。 图 1 播放中的媒体流（传输质量较差） 2.2.3 MDI 实测 下面两个图是数通测试组人员在存在IPTV质量问题的某局点实测得到的结 果，使用的测试仪表为Thales Copper G2（客户指定）： IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 12 of 18 图 2 网络质量较差情况下的视频流的 MDI 从这个图中可以看出MDI为 5.14:0，DF稳定在5.141ms,实时的MLR为0， 但是MLT(Media Loss Total)为2，说明由于网络质量造成了2个媒体包的丢失。 网络问题确认并解决后，再次模拟测试，得到结果如下： 图 3 在网络质量较好情况下的视频流的 MDI 从这个图中可以看出MDI为 5.14:0，DF稳定在5.140ms，实时的MLR为 0， MLT(Media Loss Total)为0。 IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 13 of 18 2.2.4 MDI 的参考指标 MDI 是一个非常重要的Video Over IP 网络的评定指标，可以被用于精确 测量和监测影响视频传输质量的网络抖动和延迟。 使用DF参数可以确认、定位并且跟踪网络的抖动情况；通过测量MLR可以 确认、定位并跟踪网络的丢包状况。缓冲区溢出造成的数据包丢包现象可以表 明网络的阻塞的情况，或者是由于本地电气噪音干扰造成的间歇性的错误，在 这种情况下MLR的值会不断地跳变。而如果MLR保持一个恒定的值，但是网络 负载却不高的话则表明是服务器或者是信号源的问题。 通过参考整个业界的测试指标以及我们自己的实测经验，提供如下的参考 指标： (1).DF的计算中涉及到了媒体流的速率和载荷，因此DF的指标首先由 媒体流的速率和载荷来决定，而且由于用户端使用的STB质量参差 不齐，使用的缓冲区大小不同，因此实际还要根据用户端STB的缓 冲区大小来确定。 编码方式常用带宽范围(bps)典型DF值(ms) MPEG21.56M 1.757.0 根据实际的测试经验，DF的值应最大不超过50ms。 (2).可接受的最大MLR： MLR 为 0 （在播放中任何媒体包的丢失都 会对视频的播放造成影响，从而整体影响QoE）。 IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 14 of 18 2.3其他视频测试指标 2.3.1 V-Factor V-Factor 指标是根据MPQM Motion Picture Quality Metrics）来做视频 质量评定；包括两个部分， 对于视频流的语音部分，使用和语音评定同样的方 法 MOS / R-Factor。 V-Factor 的评定划分为0-120 的分数，其评估的参 数包括媒体丢失率，媒体包丢失的分布情况等。另外，V-Factor 的评估要考 虑编码的类型。 2.3.2 VQS （Video Quality Score） VQS 是一种主观评定指标 (Subjective Measurement)，和对语音评估 的MOS 指标有些类似， VQS 将图像质量划分为1-5 的等级来评定图像质量 的好坏。 视频质量指标（VQS）：当VQS4.2时视频效果良好。 2.3.3 MDI，VQS 和 V-Factor 的比较 MDIMDI a) 适合做多频道数量， 成千上万用户的网络测试， 并且需要对每个 用户做实时分析和统计 b) 从网络层来评估媒体流的时延和丢包，不关心上层编码类型， 不 管所采用的编码是H.264, MPEG4 还是AVC 或者中国的AVS， 所 以适合评估IP 设备 （比如 IP DSLAM, Switch, Edge Router）的 IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 15 of 18 性能。 V-FactorV-Factor a) 和上层的编码类型有关,适合评估特定码流类型到达用户终端的视频 流的质量。 b) 不适合做多频道，成千上万用户的网络测试 c) 可以做网络层参数的统计，也可以对视频质量进行评估。 VQSVQS a) 一种主观的图像评定标准，采用主观感觉的办法评定视频图像的质 量。 b) 一般来说，采用VQS 指标不关心网络层参数的统计。 因此，从承载网的角度评估IPTV的质量，我们重点关注MDI。 3 3 频道切换时间频道切换时间 (Channel(Channel Change/ZapChange/Zap Delay)Delay) 频道切换时间，顾名思义，是在用户按下换台键后，下一个节目开始播放 之间的时间。这个时间对于IPTV和VoD的业务时间定义是不同的。我们这里主 要讨论IPTV中组播业务的频道切换时间。 3.1组播频道切换时间相关定义 频道切换时间相关的几个定义，参考下图；为了保证这些定义的准确性， 特意保留了这些定义的英语解释。 IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 16 of 18 Multicast Channel 1 Multicast Channel 2 Join Channel 1 IGMP Membership Report (*. C1) Join Latency Leave Channel 1 IGMP Leave Group (*. C1) Join Channel 2 IGMP Membership Report (*. C2) Join Latency Leave Latency Channel Overlap CSD CSD Channel Switch Delay (STB dependent) 图 4 组播频道切换时间 Join Latency - The time between a request to join a multicast group and the receipt of the first byte of data for a multicast group.（加入延时-从组播组加入请求到接收到第一个字节的组播组 数据之间的时间间隔） Leave Latency - The time between a request to leave a multicast group and the receipt of the last byte of data for the multicast group.（离开延时-从组播组离开请求道接收到此组播组的 最后一个字节的数据之间的时间间隔） Channel Overlap - The duration of time when data is received for a new joined multicast group and a previously left multicast group. This time is usually zero units.（频道重叠时间-接收到新加入 的组播组的数据和接收原组播组最后一个数据包之间的时间间隔。这个 时间通常为零） Channel Switch Delay (STB dependent) - An internal IGMP processing delay between a Leave and Join request. This value IPTV 承载网测试指标Internal Use 2019-11-17Confidential Information of Huawei. No Spreading without Permission. Page 17 of 18 is ideally insignificant; however, it can be otherwise.（频道交换延 时（由STB决定）-IGMP离开和加入消息的内部处理延