iMaster NCE-WAN应用体验技术白皮书

1、 DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name iMaster NCE-WAN 应用体验 DOCPROPERTY DocumentName 技术白皮书目 录 TOC h z t 标题 1,1,标题 2,2,标题 3,3, 标题 4,4, 标题 5,5, 标题 7,1, 标题 8,2, 标题 9,3, Heading1 No Number,1,Appendix heading 1,1,Appendix heading 2,2,Appendix heading 3,3,Appendix heading 4,4,Appendix he

2、ading 5,5, Heading 1,1,Heading 2,2,Heading 3,3, Heading 4,4, Heading 5,5, Heading 7,1,Heading 8,2,Heading 9,3 HYPERLINK l _Toc14773709 1 应用体验 PAGEREF _Toc14773709 h 1 HYPERLINK l _Toc14773710 1.1 概述 PAGEREF _Toc14773710 h 1 HYPERLINK l _Toc14773711 1.1.1 需求分析 PAGEREF _Toc14773711 h 1 HYPERLINK l _To

3、c14773712 1.1.2 总体方案 PAGEREF _Toc14773712 h 1 HYPERLINK l _Toc14773713 1.2 应用识别 PAGEREF _Toc14773713 h 2 HYPERLINK l _Toc14773714 1.2.1 概述 PAGEREF _Toc14773714 h 2 HYPERLINK l _Toc14773715 1.2.2 首包识别 PAGEREF _Toc14773715 h 3 HYPERLINK l _Toc14773716 1.2.3 特征识别 PAGEREF _Toc14773716 h 4 HYPERLINK l _T

4、oc14773717 1.3 应用选路 PAGEREF _Toc14773717 h 7 HYPERLINK l _Toc14773718 1.3.1 概述 PAGEREF _Toc14773718 h 7 HYPERLINK l _Toc14773719 1.3.2 隧道质量检测 PAGEREF _Toc14773719 h 10 HYPERLINK l _Toc14773720 1.3.3 总体流程 PAGEREF _Toc14773720 h 11 HYPERLINK l _Toc14773721 1.3.4 部署方案 PAGEREF _Toc14773721 h 13 HYPERLIN

5、K l _Toc14773722 1.4 QOS PAGEREF _Toc14773722 h 14 HYPERLINK l _Toc14773723 1.4.1 概述 PAGEREF _Toc14773723 h 14 HYPERLINK l _Toc14773724 1.4.2 总体流程 PAGEREF _Toc14773724 h 15 HYPERLINK l _Toc14773725 1.4.3 部署方案 PAGEREF _Toc14773725 h 17应用体验概述需求分析企业应用种类繁多，常见的有生产类、协同类、云化、娱乐类等各类应用。不同企业应用对带宽和链路质量要求各不相同，例如

6、，在协同类应用中，实时视频会议对链路的丢包率、延迟、抖动容忍度非常低，如果链路出现丢包就会导致卡顿、花屏；而生产类应用中，邮件、FTP文件传输类应用则对丢包相对不敏感但是对带宽要求高，应尽快完成传输。因此各类应用对链路的需求各不相同。从企业各种应用对网络的需求来看，传统WAN有以下问题：1、不同价值的应用运用在相同链路上这包含了两层含义，以语音通话和FTP文件传输为例：一、语音通话和文件传输这两种应用对链路质量要求不同，但是当目的地址相同时，传统路由技术不能识别应用，不能把不同企业应用分流到不同链路上，这就可能导致网络拥塞；二、网络拥塞后，传统技术做不到让低价值的文件传输应用避让语音通话应用。

7、例如把FTP流量调整到Internet链路，从而保证语音通话一直运行在高质量的MPLS链路上。2、链路质量下降时应用不能动态选路传统的IP网络使用路由协议计算报文的路径，这些路由协议（BGP/OSPF等）只看到报文，却看不到应用。因此，路由协议的算法仅考虑报文可达性，而不考虑链路质量对应用可用性的影响。这导致网络运维管理和应用体验管理间存在鸿沟，只能靠网络运维人员静态配置网络。在链路质量变化时，通过手工方式调整网络转发路径，无法及时根据链路质量的变化动态选择转发路径。3、链路质量劣化时缺少有效改善手段由于Internet不提供可靠的传输，所以在网络发生丢包时应用的传输效率会降低。当企业无法选择

8、更好的链路时，缺少有效的改善手段，导致应用体验变差。例如，语音应用在数据包丢失过多时会导致语音模糊听不清，甚至呼叫中断，因此需要利用网络优化技术解决此类问题。总体方案从传统WAN的问题可以看到，企业需要一种可以识别应用并且保障应用体验的方案。SD-WAN解决方案针对以上问题，提出了企业应用体验保障方案。如下图所示，包含以下几方面：应用体验方案1、应用识别应用识别是指根据网络流量的特征，确定流量归属的企业应用的技术。因为不同企业应用对链路质量的要求各不相同，所以对应的优化保障措施也有所不同，所以应用识别是体验保障方案的前提。2、应用选路传统网络技术不能根据不同应用对链路质量的不同要求动态选择路径

9、。而应用选路方案是基于企业应用对链路质量的要求，通过对多个WAN链路状态的持续监控，对应用进行链路选择的方案，可以使高价值的企业应用运行在高质量的链路上。3、QoSQoS方案在传统的QoS技术（流量监管、流量整形、队列调度等）功能基础上进一步扩展，可以感知企业业务，从而对纷繁的企业应用提供差异化服务。此外，在企业多部门需要隔离的场景下，还提供基于企业部门的服务质量保障，形成“业务-部门-站点”这种层次化的质量保障方案。4、广域优化（V100R019C10版本）广域优化是提高数据在WAN上传输质量和效率的技术的集合。SD-WAN解决方案的广域优化技术关注如何在低质量的链路上获得良好的企业应用体验

10、，提供丢包补偿技术，可以在链路质量下降出现大量丢包时仍能保证视频不卡顿和花屏。此外，也提供传输优化和数据优化技术以提升数据传输的效率。总之，SD-WAN会综合利用应用识别、智能动态选路、QoS、广域优化技术提升应用体验，提高带宽利用率，解决企业WAN互联中应用体验的保障问题。应用识别概述应用识别是CPE上的一项基础功能，用于为CPE提供各种策略的匹配对象。通过应用识别功能能够精确的识别到某一应用程序，从而便于后续基于应用程序去制定选路策略、QoS策略、安全策略等。华为SD-WAN CPE支持的应用识别技术包括特征识别和首包识别。特征识别特征识别是通过匹配应用发送报文的特征识别出应用的一种技术，

11、也称特征识别。特征识别能够精确地识别各种常见的应用程序。例如，网页游戏和网页视频都是使用HTTP协议8080端口进行数据传输，传统设备通过端口号和协议都无法将这两种应用程序区分开，而CPE能通过每种应用程序的特征有效区分这两种应用程序。首包识别首包识别是指应用的第一个报文到达设备时，设备就能识别出该应用程序。以TCP应用为例，传统的识别方式在TCP三次握手阶段，由于报文中没有载荷设备无法识别出应用。而对于首包识别，设备通过TCP的SYN报文就能识别出该应用。首包识别通过静态识别表和DNS关联识别两种方式来识别应用。首包识别首包识别在应用的第一个报文到达时即可识别出应用类型，相比特征识别可以带来

12、两个优势：无须关注应用的载荷，解决特征识别对一部分加密应用无法识别的问题；应用的识别效率更高，对设备的性能消耗更小。首包识别技术通常用于以下场景：在基于应用的选路场景中，如果在第一个数据报文就能正确识别应用，让流量走在正确的链路上，就可以避免应用在识别前走A链路，识别后走B链路，链路切换影响应用的体验。出于安全集中管控的需要，企业分支访问internet通常采用在总部部署防火墙，然后分支集中从总部去访问internet。但在云化应用场景中，SaaS和可信网络的流量需要从分支机构直接发送到Internet，而不是将流量绕行到数据中心，那样既会浪费带宽，又会增加网络时延。因此需要通过首包识别技术，

13、第一时间将SaaS应用识别出来，针对该部分流量做localbreakout。在安全场景中，首包识别能让应用在第一个报文就匹配安全策略，及时阻断恶意应用，避免安全风险和流量浪费。并且首包识别无须关注应用的载荷，可以解决加密的应用流量无法识别的问题。首包识别提供静态识别表和DNS关联识别两种识别应用的技术：一、静态识别表技术针对IP地址、端口号、协议类型固定的应用，可以将应用的三元组信息记录到静态识别表中。当数据流的第一个报文到达设备后，将进行静态识别表匹配查找，如果命中表项，表示该数据流即为该表项对应的应用类型。静态识别表，主要用于首包识别的自定义应用场景。对于用户在AC界面上通过IP地址、端口

14、号、协议类型自定义应用的场景，设备优先使用报文的“目的IP地址+目的端口+协议类型”进行查表匹配；如果未匹配，再尝试使用报文的设备优先使用报文的“源IP地址+源端口+协议类型”进行查表匹配；如果二者均未匹配，再通过特征识别方式进行应用识别。二、DNS关联识别方式首包识别还提供了基于DNS的识别技术，如果应用是以域名方式定义的，当DNS解析时，CPE可以将域名（）和DNS应答的IP地址（）进行匹配和缓存，从而在后续TCP握手时根据首包的IP地址就可以检测出应用类型，如下图所示。DNS关联识别DNS关联识别在数据流量加密的场景下也可以使用。虽然数据经过加密后，对外显示的是无法理解的密文，但是前面的

15、DNS关联识别过程是相同的，所以加密流量也可以识别。规格说明：当前版本，CPE的特征库通过域名方式定义了一些知名SAAS应用，这些知名SAAS应用的识别采用DNS关联技术；当前版本尚不支持通过自定义域名的方式去实现DNS关联识别。特征识别特征识别是通过匹配应用报文的特征从而识别出应用的一种技术。对于基于TCP的应用，由于TCP握手阶段的三次握手报文不传输应用载荷，因此只有在握手成功后，传输有载荷的报文时才能进行识别。相比首包识别，特征识别识别应用更细致精确。特征识别考察应用的特征信息不再是简单的DSCP、协议号、IP地址和端口号，而是报文载荷中的某些特征关键字、应用发送报文的速率、多个报文的长

16、度序列等信息。特征识别对这些信息进行更细致综合地考察，从而确定报文所属的应用。由此可见，特征识别适合应用在多通道协议或者端口号不固定的场景。从识别方法上看，特征识别识别应用一般有报文特征字识别、关联识别、行为识别和动态映射表识别等。一、报文特征字识别对于未公开的协议（例如当前多数的P2P、IM、VoIP）厂家出于多方面的考虑，不公开其协议细节，这时可通过报文流中的某些有明显特征的字符序列来识别应用。这类方法工作量大，而且协议的变化快，必须不断进行技术跟踪才能保证检测的高效可靠。报文特征字识别方法中，如果单个报文的特征比较弱，就需要结合多个报文的特征来增强特征，这样特征识别过程就有单报文识别和多

17、报文识别两种情况。多报文识别由于需要检测和记录多个报文的检测结果，所以资源开销高于单报文识别。同时也由于无法做到首包识别，会影响需要首包识别的业务。二、关联识别有一些应用采用协议通道和数据通道分离的方式通信，实际传输数据的数据通道是动态协商出来的。如 REF _Ref535912226 n h * MERGEFORMAT 图3-3所示， VoIP、各种P2P应用以及一些文件传输类应用（例如FTP）仅仅采用端口识别的方式只能发现协议通道，而真正的音频、视频和文字的数据传输通道无法识别。动态协商端口多媒体通信中，实际的音频、视频和文字通道是协商后再动态产生的。这些通道的源、目的端口号，不同于初始连

18、接时的知名端口号，这些端口号被承载于协商的报文内容中。因此需要解析协商报文，提取动态协商的端口号，然后将这样的流量标记为相应应用的类型。我们将这种需要多个通道协同检测的技术称为关联识别技术。三、行为识别对应用报文的行为特征分析，是指对报文中端口的范围、报文长度统计、报文发送频度、报文收发比例以及目的地址的分散程度等情况综合识别应用。例如在VoIP应用中，语音数据报文长度通常较为稳定，发送频率较为恒定；P2P网络应用单IP的连接数多、每个连接的端口号都不同；文件共享数据报文比较大并且大小稳定，等等。通过这些行为特征可以识别应用。行为识别适用于比较复杂的协议和加密协议识别的场景。复杂协议没有特征关

19、键字可以作为识别特征，而加密协议在初步判断时，也看不出来与其他加密报文的区别。四、动态映射表方式与首包识别表类似，动态映射表里面也记录报文五元组、DSCP等信息，用于首包匹配时查表识别应用。不同的是，这些信息是特征识别的结果，并且是动态加入的。如 REF _Ref535912166 n h * MERGEFORMAT 图3-4所示， 在CPE1通过特征识别，将识别结果（如应用A和应用B）导入网络控制器，然后再分发到其他CPE。其他CPE可以共享这些识别信息，复用这些识别结果，这就是动态映射表方式。动态映射流程规格说明：1、当应用的报文到达应用识别模块时，先进行首包识别，如果首包识别出该应用，不

20、再进行特征识别；如果首包识别未识别出该应用，会进行特征识别。2、CPE特征识别的能力主要依赖CPE的应用识别特征库，CPE出厂预置了特征库，该特征库中包含首包识别方式定义的应用（知名SAAS，域名方式）和特征识别方式定义的应用（特征字、行为等）。该特征库中预置的应用一般分为几大类：商业系统、娱乐、传统互联网、网络应用、通用类应用。在设备出厂预置特性库的同时，华为提供特征库的在线更新功能，以便用户获得最新的应用识别能力。即AC控制器从安全中心下载最新的特征库，之后AC根据升级策略对设备的特征库进行升级。升级完成后，可以查看各个设备的升级状态。特征库地址为： HYPERLINK /sec/web/

21、freesignature.do /sec/web/freesignature.do。3、对于特征库中未包含的应用，用户可以基于应用的特征去自定义应用。应用选路概述SD-WAN的一个重要特性就是可以根据应用诉求进行智能选路，即能够实时监控网络的质量，并根据应用对SLA质量诉求，在多条不同网络质量的WAN链路上，动态、自动地选择符合应用SLA质量要求的网络路径，同时兼顾WAN网络的整体使用效率，称之为智能选路。SD-WAN解决方案提供如下智能选路算法：类别选路算法说明启用说明基本选路功能链路质量选路1、基于应用指定应用的主备链路，当链路质量不满足SLA要求时，即达到切换指标时自动进行主备链路的切

22、换。2、切换指标主要指链路的延迟、抖动和丢包率。不同的业务对链路质量的要求不同，比如语音和视频业务对时延、丢包率的容忍度较低。CPE设备通过IPFMP协议实时监控应用所在链路的延迟、抖动以及丢包率，三个指标只要有其中一个超出阈值，就会触发链路切换。3、系统为语音、实时视频、低时延数据、大容量数据这四种典型的业务定义了切换指标，用户直接选择业务类型即可。用户也可以根据业务需求自定义切换指标，选择“自定义”后，可对“延迟”、“抖动”、“丢包率”进行设置。必选高级选路功能带宽选路通过设置链路带宽占用的上下限进行带宽选路。链路带宽占用率下限值：当前应用流量通过该传输网络转发，新的应用流量也可以进入。下

23、限值链路带宽占用率上限值：部分应用流量切换到其他传输网络，新的应用流量也不可以再进入。可选负载均衡选路当有多条链路时，应用在多条链路上进行逐流负载分担可选应用优先级选路如果在同一条链路上有多种业务报文，当链路拥塞时会优先保证高优先级应用的使用，低优先级应用避让高优先级应用。可选一、链路质量选路不同应用对链路质量的要求不同，比如语音和视频业务对时延、丢包率的容忍率较低，容忍率一般要求时延在150ms以内，丢包率低于1%；则可将语音和视频业务主选链路配置为质量较好的MPLS链路，备选链路为Internet链路，并配置业务的SLA要求，按照链路SLA进行选路。如下图所示，在MPLS没有发生拥塞时MP

24、LS链路的质量较好，此时语音选择在MPLS链路上传输。当由于拥塞导致MPLS质量下降时，CPE通过实时的链路质量检测，在检测到链路SLA变差并达到语音所能容忍的SLA边界时，将语音流量动态的调整到符合SLA要求的负载较轻的Internet链路上。另外在MPLS链路由于故障断链时，SD-WAN CPE实时检测到链路故障，及时的将MPLS链路上所有业务动态迁移到Internet链路上，保证业务不受MPLS链路故障的影响。智能选路场景之链路质量选路二、带宽选路带宽选路一般有两种场景：一种是在线路带宽达到一定阈值或者剩余带宽低于一定阈值时某些应用的新建流就不能再选择这条链路，以防止应用质量或者链路质量

25、的劣化；一种是对于高优先级的应用会优先保证其对线路带宽的占用，为了防止高优先级应用将带宽占满，此时可配置应用带宽的限制条件，在该应用的带宽占用达到一定阀值时不再使用相应的链路，此时就可以使用带宽选路配置。如下图所示，由于视频业务对带宽占用较大，因此为保证视频应用的体验，在链路带宽占用率超过80%时不再选择这条链路，此时可配置视频业务的链路带宽选择条件为超过80%时选择其他链路。智能选路场景之带宽条件选路三、负载均衡选路在企业有多条链路时，希望能够充分利用线路带宽，基于链路带宽进行负载均衡选路，此时可配置负载均衡方式的选路调度方式。如下图所示，企业分别购买了不同运营商的两条MPLS链路，电信10

26、0M的MPLS和联通50M的MPLS，则可将语音业务的主选链路设置为这两条MPLS链路。在两条链路质量均满足语音业务SLA的前提下，语音业务可以负载分担的方式跑在两条MPLS链路上，通过实时的带宽利用率监控，确保带宽利用率可达到85%以上，充分利用线路带宽。智能选路场景之负载均衡、四、应用优先级的选路如果在同一条链路上有多种业务报文，为了在链路拥塞时优先保证高优先级应用的使用，在发生拥塞时低优先级应用避让高优先级应用，此时可使用优先级选路。比如语音和视频以及文件传输都在MPLS上，在链路带宽不够时优先保证语音和视频业务不受影响。如下图所示，由于MPLS线路质量相对Internet链路好，为充分

27、利用MPLS链路，将语音和FTP业务的主选链路均选择为MPLS，备选链路为Internet。设置语音业务的优先级高于FTP。初始时，语音和FTP均选择MPLS链路，随着语音业务和FTP业务的增加，MPLS链路出现拥塞，为保证语音业务的体验，将FTP业务逐步迁移到Internet链路，在MPLS拥塞解除后停止迁移。另外，为充分利用MPLS带宽，可以配置在MPLS恢复时将FTP业务逐步迁移回MPLS链路。智能选路场景之应用优先级选路选路依赖对链路质量状态的实时监控。智能选路基于对链路质量的监测结果以及应用优先级、应用以及链路带宽的占用情况，动态选择相应的路径转发报文。隧道质量检测应用质量选路首先需

28、要确定WAN链路的质量状态，也就是要对WAN链路的质量情况进行测量。IP流性能测量IP FPM（IP Flow Performance Measurement）是华为拥有专利技术的IP网络性能检测方案，可以有效地完成三层网络端到端的性能统计。一方面，IP FPM可以直接对业务报文进行测量，测量数据可以真实反映IP网络的性能；另一方面，IP FPM可以在线监控IP网络承载的业务的变化，真实准确地反映出业务的运行情况。链路质量由3个指标构成：丢包率、时延、抖动。下面分别介绍这几个指标在IP FPM中的检测技术。一、丢包检测方法：隧道两端互发KeepAlive报文。CPE A发给CPE B的Keep

29、Alive报文携带业务周期T1内发送的报文计数SndA(T1)、发送时刻时间戳TsA(T1)、序号Seq；CPE B收到KeepAlive报文后发送业务周期T1内接收到的报文计数RcvB(T1)、A的KeepAlive报文的接收时间TrB(T1)、序号Seq。CPE A到CPE B的统计信息同步后，双端可以计算CPE A发送报文的丢包率。单次丢包计算公式为：LossA= (SndA-RcvB) /SndA*100%同样，CPE B把T1时间发送报文的信息发到CPE A，CPE A把收到报文的统计信息发往CPE B。这样可以计算CPE B发送报文的丢包率。多次统计之后的平均值可以作为选路的依据。

30、二、双向时延检测方法时延检测不需要专门再发报文，因为KeepAlive报文里有时间戳，可以直接使用。双向时延检测假设CPE A设备与CPE B设备的时钟差为M，如图6-17所示。则单次双向传输时延计算公式如下：Delay = TrB -（TsA+M）+（TrA+M）- TsB = (TrB - TsA) + (TrA-TsB)从公式可以看出，延时为双向测量值，抵消掉了时间误差，不依赖于NTP。时延计算也是把统计10次的平均值作为选路依据。三、抖动计算方法统计整个统计周期内的所有IP FPM算法计算得到的时延的标准差，即时延的抖动。通过对每个链路启动一个IP FPM测试例，可以对链路内所有流量进

31、进行发送周期内的报文统计，切换周期可以达到亚秒级。默认的质量检测周期10s，每隔5s刷新一次选路策略，因此链路质量变化后的切换周期为1015s；链路断开则立即出发切换，时间默认约为6s。总体流程华为SD-WAN智能选路解决方案支持根据应用对链路的质量要求（SLA条件）对应用进行选路；支持根据链路优先级对链路进行分组，优先使用高优先级的链路组；支持根据应用优先级以及带宽条件的选路。智能选路处理流程：1、链路质量检测模块实时监测站点间链路质量状态。2、智能选路模块（SPR）定期基于链路SLA以及链路以及应用带宽占用情况刷新每个应用组的SPR策略（基于链路带宽占用情况、应用带宽占用情况），根据配置的

32、策略刷新（实际刷新的就是应用对应应用联接的状态）。3、转发收到报文后，识别应用APP，根据目的IP查找到目的站点（Site）的选路策略（下一跳为Site ID的才会进入SPR选路流程，为明确下一跳的则按照路由转发，比如目的地址为对端隧道口网段地址时会按照路由转发到对应隧道口），根据应用优先级以及链路带宽的占用状态选择可用的链路。4、封装发送应用报文，实时统计链路带宽占用状态，根据应用优先级刷新应用联接对应状态（新流可进入，老流保持，老流避让）。选路流程说明其中，对于网络拥塞时应用优先级的选路原理如下：应用优先级和链路带宽状态对应关系说明每个应用组都有相应的应用优先级。每个应用组对应一组联接，在

33、联接建立时通知SPR，SPR为每个APP下发对应的联接，在联接删除时通知SPR，SPR删除转发面联接。转发为每条链路基于链路带宽的85%建立一个METER桶，平均分为8等份，对应应用组的8个优先级。转发实时统计每条链路的带宽占用情况，基于每个带宽等级的上下限刷新该TNP对应的应用联接的状态。对于新建流：查询应用应用对应的联接，是否存在回流态的联接，没有则按照配置的策略丢弃或者做ECMP动作。对于老流：查询对应应用联接状态，如果是避让态或者清空状态则需要避让到回流态的联接，如果没有则保持不变。默认5s刷新一次SPR策略（基于SLA和链路以及应用带宽占用情况等条件）。部署方案1、用户基于应用进行主

34、备路径的设置，对应到AC界面上实际是进行TN的设置。即，为应用指定不同优先级的TN，高优先级的TN为主用，低优先级的TN做为备用。2、在实际应用中，同一TN里面可能存在多条链路，例如一个CPE有两条来自同一个运营商的internet链路，那么这两条链路通常规划为同一个TN。同一TN里面有多条链路，意味着有多个Connection，当前缺省情况下，应用随机优选一个Connection进行转发。当开启Loadbalance模式时，流量在多个Connection之间进行hash负载分担。3、当多个TN属于同一Priority里面时，缺省情况下，随机优选某一TN对应的某一Connection进行转发。

35、当开启Loadbalance模式时，流量才会在多个TN对应的Connection之间Hash负载。4、用户为某一组应用设置了不同优先级的TN，当开启Loadbalance模式时，优先级依然有效。具体表现为：流量先在高优先级TN对应的connection之间进行负载分担，当流量超过高优先级TN的带宽承载能力时，次低优先级的TN会被使用，新流会在次低优先级TN对应的connection之间进行负载分担，依次类推到更低优先级的TN。5、带宽选路的上下限阈值的作用为：a、当带宽占用低于下限，新流、老流均可以使用这个链路；b、当带宽占用在上下限之间，老流继续使用这个链路，新流使用其他链路；c、当带宽占用

36、高于上限，新流老流全切换到其他链路。建议仅在带宽充足的场景下开启带宽选路，以避免流量在不同链路上来回震荡。通常情况下，带宽选路用于Loadbalance模式下，为了避免链路拥塞时高优先级应用挤占低优先级应用的带宽，可以将高优先级应用的带宽限制在一定阈值内。6、用户可以基于某一TN进行带宽上下限的设置，也可以基于TN进行应用最大带宽和最小带宽的设置。基于TN进行应用最大、最小带宽的设置，是指该选路策略对应着组应用使用该TN的最大、最小带宽。最大、最小带宽的含义与带宽上下限的含义类似，未超过最小带宽，新流、老流均使用该链路；超过最小带宽，但小于最大带宽，老流继续使用该链路；超过最大带宽，新流、老流

37、使用其他链路。这里的最大、最小带宽没有QoS的功能。7、当应用的所有链路的SLA、带宽等条件均不满足要求时，可以设置在多个不满足条件的链路中选择一个最优的使用（差中选优），也可以设置丢弃该应用的流量。8、为了避免链路频繁震荡造成主备链路的频繁切换，可以选择是否开启回切模式。在回切模式下，应用的流量从主链路切换到备链路，当主链路SLA满足要求时，流量将从备链路切换回主链路。如果开启带宽选路功能，不建议启用回切功能，以避免流量在不同链路上来回震荡。9、用户基于应用设置选路策略时，可以配置应用优先级。当应用拥塞时，低优先级的应用会避让高优先级的应用，即低优先级的应用切换到其他链路。该优先级的设置，仅

38、在Loadbalance模式下生效。10、当用户未配置选路策略时，流量采用路由转发，站点间的路由为等价路由。11负载分担（LB）选路或者带宽条件选路，需要和QoS策略配合使用，以避免应用流量超过实际链路宽带时，在不同链路上来回震荡。包括以下两种场景：低优先级应用+高优先级应用的流量超过实际链路带宽，包括低优先级应用的突发流量造成接口流量超过实际带宽。此时应通过QoS限制低优先级应用的带宽，将其限制在一定范围，并配合应用优先级进行流量调度。高优先级应用的流量超过实际链路带宽，此时应通过QoS限制高优先级应用的总带宽。流量在不同链路震荡原因说明：当应用流量超过链路带宽造成拥塞后，会根据应用优先级避

39、让到其他链路；当流量切换到其他链路后同样因为流量超带宽造成拥塞，再次切换回去，从而导致流量在不同链路上来回切换。12、智能选路部署步骤如下：A、自定义应用：对于企业自身的应用，可以通过自定义应用的方式去定义。如企业的某个应用的服务地址和端口是固定的，那么就可以在CPE的自定义应用界面，通三元组的方式去自定义应用。B、创建应用组：创建完自定应用之后，需要创建应用组，将预置应用或者自定义应用加入到相应的应用组。C、创建流分类模板，流分类模板引用应用组。D、基于流分类模板创建相应的选路策略。QOS概述在传统网络中，QoS已经证明自己是语音、视频和数据多业务融合的关键质量保障技术。在SD-WAN解决方

40、案中，QoS同样是企业实现多业务差分服务的关键，SD-WAN针对overlay网络以及underlay网络提供丰富的QoS功能，并通过AC控制器进行编排，简化QoS的配置，大大提高QoS的易用性。QoS应用场景主要有如下两类：一、单部门多应用企业应用对链路的要求各不相同，重要程度也不同。当出口链路带宽有限时，应该优先保证重要应用的体验。例如，可以配置即时消息类应用使用最高优先级传输，即使网络出现拥塞也可以优先发送；视频应用优先权次之，网页访问再次之；而邮件等业务在该调度方式下不会抢占其他业务带宽。通过队列调度，对不同应用分配相应队列即可实现这种需求。二、企业多部门企业通常都有多个部门，各个部门

41、重要性各不相同。既要隔离各部门的流量，又要对各部门提供不同的带宽。对不同部门提供不同带宽意味着：保证不同部门的基础带宽，当需要使用时至少可以分配到指定的配额；当有的部门没有把本部门的配额全部占用时，这些“空闲”的带宽要能够被其他带宽紧张的部门使用。部门里有上网流量或访问传统站点的流量。这些流量比较特殊，需要被单独限制。我们通过一个举例来理解如何实现精细化QoS保证，如下图所示。某企业带宽配置要求1、物理链路的总出口带宽为100Mbit/s，其中部门1占用40%的物理链路带宽，部门2占用60%的物理链路带宽。要保证不同部门的基础带宽；2、部门1带宽空闲时部门2可以使用，部门2带宽空闲时部门1可以

42、使用；3、指定部门1本地上网和站点间互访流量的带宽分配比例为4：6，部门2本地上网流量和站点间互访流量比例为3：7。在物理链路拥塞情况下，根据该带宽比例对流量进行最小带宽保证。总体流程华为SD-WAN解决方案支持基于IP五元组、基于应用组、基于DSCP进行流量分类，支持对流量进行队列优先级调度、流量监管、流量整形三种QoS策略，支持通过HQoS实现多维度带宽比例分配、DSCP重标记等QoS功能。为了满足不同的配置场景，提供了两种QoS配置策略，一种是Overlay网络的QoS，一种是基于站点CPE设备配置的QoS称为Common QoS。两种QoS的实现原理相同，只是策略应用的范围不同。QoS

43、处理流程一、队列优先级为不同类型的业务指定不同的QoS优先级，系统根据QoS优先级将不同类型的业务通过不同优先级的队列进行转发，提供有差别的QoS服务质量。在带宽资源紧张情况下，优先保证高级别业务的转发带宽。对于需要重点保障的关键应用，建议使能“队列优先级”。当使能“队列优先级”后，CPE会根据设置的队列优先级，自动将识别的报文设置为不同的队列类型。队列优先级与队列类型、DSCP 之间的对应关系，如下表所示。队列优先级队列类型DSCP值最高LLQCS7（56）高EFef（46）中等AFaf31（26）低（系统默认，不能设置）BEdefault（0）、各队列类型的含义如下：1、LLQ（低延时队列

44、）：设备除了提供普通的EF队列，还支持一种特殊的EF队列LLQ队列。LLQ队列较EF队列而言，时延更低。2、EF（加速转发队列）：匹配规则的报文进入EF队列后，进行绝对优先级调度，仅当EF队列中的报文调度完毕后，才会调度其他队列中的报文。而且当AF或BE队列有空闲带宽时，EF队列可以对空闲带宽进行占用。加速转发适用于需要保证低延时、低丢弃概率、确保带宽、且占用带宽不是很大的业务，例如语音报文。3、AF（确保转发队列）：可以保证在网络发送的业务流量没有超过最小可确保带宽的情况下，此队列中报文的丢失概率非常低。确保转发适用于流量较大，且需要被保证的业务。4、BE（尽力而为队列）：与系统定义的缺省类

45、default-class关联使用，未进入AF队列和EF队列的剩余报文进入BE队列。BE队列使用WFQ算法调度，队列数越多，带宽被分享的越公平，但是占用的队列资源相对也多。WFQ调度的BE队列适用于那些对时延和丢包无特殊要求的业务，例如普通上网业务。二、流量监管（削峰）对流量进行控制，通过监督业务流量占用的带宽，对超出部分的流量进行“惩罚”，使业务流量占用的带宽被限制在一个合理的范围之内，从而保护带宽资源合理分配。SD-WAN方案中使用CAR进行流量监管。三、流量整形（削峰填谷）是一种主动调整流量输出速率的措施。当下游设备的入接口速率小于上游设备的出接口速率或发生突发流量时，下游设备入接口处可

46、能出现流量拥塞的情况，此时用户可以通过在上游设备的接口出方向配置流量整形，将上游不规整的流量进行削峰填谷，输出一条比较平整的流量，从而解决下游设备的拥塞问题。四、带宽分配通过HQoS的多级队列，实现多个VPN之间和VPN内的带宽分配。一个物理链路的带宽划分为多个逻辑链路带宽，每个逻辑链路带宽供不同VPN独立使用。每个VPN的逻辑链路的带宽又可以指定Overlay网络业务占用带宽和Local breakout网络占用带宽。Overlay带宽即为中心站点、汇聚站点或分支站点之间通信使用的带宽，Local Breakout带宽是通过本地直接访问Internet或通过本地和传统站点互联使用的带宽。五、

47、DSCP重标记设置报文IP头里的DSCP优先级，这里有几种可配置情况：1、配置LAN侧入口Remark DSCP，则对用户进入CPE设备流量的IP DSCP进行修改。如果该报文后续进入overlay隧道转发，外层隧道IP的DSCP会从内层IP DSCP拷贝。最终效果是内/外层IP的DSCP都昰Remark指定的值。 2、配置WAN侧出口进行DSCP Remark，则对Underlay出口发送的设备流量的IP DSCP进行修改。如果报文添加了overlay隧道头，则只对外层隧道IP的DSCP进行修改，不会修改内层用户IP DSCP。最终效果是内/外层IP的DSCP可能不一样，外层DSCP是Rem

48、ark指定的值。3、如果同时配置LAN和WAN侧DSCP Remark，对用户进入CPE设备流量的IP DSCP进行修改，同时当该报文在Underlay出口发送时再进行一次外层IP DSCP的修改。最终效果是，如果是封装了Overlay 隧道IP头的报文内层IP是LAN Remark DSCP的值，外层是WAN Remark DSCP的值；如果是Local Breakout报文，只有一层IP头，DSCP对应的是外层是WAN Remark DSCP的值。部署方案对于既要对不同应用提供差异化服务质量，又要按不同部门提供不同带宽保障的场景，可以使用HQoS策略来满足客户需求，如下图所示。HQoS业务

49、模型 该配置模型包含三层配置：业务层服务质量、Overlay/本地出局流量策略、接口流量限制。以VPN1中的VoIP为例，HQoS相关参数设置如下表所示：HQoS参数设置配置项参数业务层策略名称（以部门1VoIP举例）voip_traffic _department1流分类模板voip_traffic_classification # 识别语音业务策略优先级1 # 高优先级应用队列优先级最高队列保证带宽40% #保证部门带宽的40%给VoIP使用带宽限制40Mbit/s #最大使用40Mbit/s重标记DSCP46 # 设置LAN侧报文DSCP值VPN流量策略VPN 1百分比40% #部门1保

50、证带宽占接口总带宽比例VPN 2百分比60% #部门2保证带宽占接口总带宽比例VPN1本地出局流量百分比40% #占部门1带宽的40%VPN2本地出局流量百分比30% #占部门2带宽的30%接口总带宽限速接口带宽100Mbit/s一、VPN内的QoS策略（对应HQOS Level1队列）在AC控制器上基于每个VPN配置QOS流策略，该策略控制的流量对象是来自每个VPN用户内网的各种Application流量。AC控制器支持的流量策略配置功能如下：1、创建流分类策略模板当VPN用户的流量需要分类时（如语音、数据、办公应用、普通上网等），需要预先为每一类流的分类对象创建一个流分类策略模板。流分类对

51、象的定义规则可以是以下一种或多种组合：基于IP五元组基于Application/Group基于DSCP进行流分类2、配置QOS流策略动作创建QoS策略，每个QoS策略分别选择一个对应的流分类模板，然后指定该策略对应的流对象所要执行的QOS动作。目前支持的流动作包括如下这几种：优先级队列调度带宽限制：CAR & ShappingRemark DSCP二、VPN间流量策略（对应HQOS Level2队列）把一个VPN的所有流量作为一个流对象，入AF队列进行优先级调度。AF队列的特点是：当接口有剩余带宽时，AF队列按照权重分享剩余带宽；同时，在接口拥塞的时候，仍然能保证各类报文得到用户设定的最小带宽

52、。这样在物理链路拥塞的情况下，每个VPN都有自己的最小带宽保证；在链路不拥塞情况下，一个VPN虚拟网可以共享物理链路上其他VPN的多余带宽。AC控制器上配置功能参考如下：配置的VPN部门的带宽比例，基准总带宽为物理链路的签约带宽。缺省情况下没有为每个VPN指定带宽比例值，则AC内部自动按VPN数量进行平均分配。这里还有一种特殊情况，如果一个VPN部门有Local Breakout的Internet流量时，还可以指定本地breakout流量占该VPN总带宽的比例，剩余带宽留给VPN内走Overlay隧道的站点互访流量。这样把一个VPN的流量按Breakout流量和Overlay隧道的站点间互访这

53、两类流量拆分成两个HQOS的父策略队列。如下图所示，部门1VPN有LocalBreakout流量，比例是40%；而部门1VPN总带宽为物理链路的40%，则LocalBreakout流量为总带宽的16%。三、接口带宽限速当用户的Local Breakout流量或隧道封装以后Overlay的流量从物理接口发送到Underlay网络时，可以基于接口总带宽对流量进行接口GTS限速。该接口带宽对应用户从运营商购买的签约带宽值，在AC租户界面上必须配置到underlay物理链路上，作为HQOS基准带宽及性能监控的链路参考带宽。CPE设备上只会根据上行带宽对接口outbound方向的流量做Shapping，

54、不会根据下行带宽对inbound流量做带宽限速。广域优化概述传统的企业网络分支间互联，一般会租用运营商的MPLS专线或者Internet网络。但是MPLS专线或者Internet网络存在下面的问题：MPLS价格昂贵，租用的带宽比较小；Internet网络由于经过多跳，会存在时延比较大，并且丢包的情况。当前随着企业云化，出现了云分支、云应用；随着音视频分辨率的提升，音视频会议和视频监控技术应用更加广泛，音视频对带宽和时延的要求也在迅速增长。企业数据流量WAN侧比重逐渐加大，造成了企业租用线路的费用大幅提升。而Internet线路质量（相比MPLS链路，时延进一步加大、链路丢包增加）也带来了企业应

55、用体验问题，对于Internet的业务质量保证需求更加迫切，为了解决这些问题，企业网络需要引入广域链路优化技术来优化应用的访问体验，并且降低企业带宽费用。FEC优化需要抗丢包技术的原因企业中有很多应用对延迟非常敏感，这主要是一些即时通信类的应用，比如语音通话、视频会议。为了保证低延迟，减少TCP握手、重传等影响，这些应用一般会选用UDP作为传输层协议。但是UDP不像TCP一样保证可靠传输，在网络出现丢包的时候会导致应用质量变差。视频传输在链路质量不好时，体验非常差，通常会出现丢包导致卡顿、花屏现象。以RTP为例，RTP需要确定性的时延，对网络的Jitter容忍度小，一般机顶盒Jitter Bu

56、ffer为60ms，达到85ms时体验下降。视频类应用无影响有影响（花屏）不可用丢包0.05%1%10%时延100ms150ms300ms抖动50ms85ms125ms视频通信有如下特性：视频通话在通话建立时会发送一个I帧，后续的视频图像使用帧间预测（P帧）编码，这样可以只传输图像的变化信息，减少网络带宽占用。如果视频码流有任何异常（误码/丢包），都会造成P帧解码错误，从而P帧之后的图像都会重建异常，此时只能通过申请编码端重新编码I帧来解决。当网络中出现丢包，导致错误时，错误的P帧以及之后I帧之前的所有P图像都会异常。此时视频终端如果输出图像就会花屏，如果不输出则会长时间图像凝固。所以丢包对视

57、频通信影响非常明显。而由于视频通信基于实时性的考虑，一般设计基于UDP传输，不像TCP有可靠性保障，就更依赖网络的可靠传输。而Internet、无线传输场景丢包率比企业LAN网络和MPLS专线更高，会进一步劣化视频体验。所以需要对音视频做抗丢包优化。华为基于FEC（前向纠错）技术可以优化网络出现丢包的场景。FEC优化技术介绍华为FEC优化技术通过配置流策略的方式，对报文丢包进行优化。FEC通过流分类拦截指定数据流，增加携带校验信息的冗余包，并在接收端进行校验。如果网络中出现了丢包或者报文损伤，则通过冗余包还原报文。FEC优化技术可以在发送端基于原始包，按照RS（Reed Solomon）算法编

58、码生成冗余包，将原始包与冗余包都发送到连接上；接收端根据实际收到的包，解码恢复出丢包。当前对于每次编解码，会以包为单位进行丢包检测与恢复。FEC执行过程为：发起端的CPE从LAN侧收包，对于EVPN隧道上通过流分类指定的需要优化的流量进行抗丢包优化。发起端的CPE积攒多个原始报文作为一个编码块，对编码块中的原始报文进行FEC编码，生成FEC冗余包。编码侧根据编码矩阵算法可以对多个报文生成多个冗余包。发起端的CPE对原始报文封装FEC私有头并发包。在网络中传输报文时，编码块中的报文和冗余包都可能出现丢包。接收端CPE从网络收包，检测丢包信息，剥掉私有头。接收端进行FEC解码。根据编码矩阵和根据实

59、际收到的包（含FEC冗余包）计算出解码矩阵，根据解码矩阵和收到的包（原始包+冗余包）解码出丢失的原包。只要一个编码块中的丢包数不超过冗余包数量，就可以恢复该编码块中的丢包。接收端的CPE向接收端的LAN侧发包，把纠错后的报文按顺序发给视频接收端。在编解码过程中有一些技术细节：1、积攒原始包时会尽量聚合流量通过流量汇聚，可把大量的报文编码到相同的编码块。这样可以减少缓存报文的时间，更快创建冗余包，这样在丢包时就可以更快恢复丢包。攒包时流量汇聚使用的KEY为：EVPN连接ID、VPN ID、FEC算法类型和WAN优化模板ID。编码块默认原始包数为12，范围是445。2、华为FEC有两种，分别为de

60、termined FEC（DFEC）和Adaptive FEC（AFEC）DFEC会按固定的冗余率生成冗余报文，为了在网络丢包突然增加时能保证不丢包，需要把丢包阀值设置为比网络最大丢包率还要高一些。当编码块中实际网络丢包超过冗余包数量时，此编码块中的丢包都不能还原。AFEC会动态调整冗余包比例。由于DFEC每个编码块都生成固定个数的冗余包，这样当网络实际丢包率不高时，会浪费带宽；而当有时候网络丢包变多时，DFEC的冗余包数又可能不足以恢复丢包。AFEC对此做了改进，会根据解码侧返回的丢包信息动态调整编码块的冗余包数，从而解决了DFEC浪费带宽和偶尔不能恢复丢包的问题。3、编码块大小一个编码块攒