华为高品质万兆园区体验保障技术白皮书

华为高品质万兆园区体验保障技术白皮书372307;jiaoyi0066627675835;chenling00401874;lilei00618660;zhangzhenwei00491540;renhuajunO0591074;jiping00643510;liangyanming00597569;jianghai00825346版权所有侵权必究版权所有O华为技术有限公司2009。保留一切权利。商标声明注意华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129客户服务邮箱：support@客户服务电话：0755-285600004008302118目录 61.1产生背景 6 6 6 7 82技术/方案介绍 9 9 2.3.2VIP用户保障 2.4.3会议地图 3关键技术 213.1智能应用控制(SAC) 3.2随路体验测量(iPCA) 3.2.3时延检测方法 3.2.4IPCA自动建流和反向建流 3.2.5丢包原因上报 3.3.2拥塞调度算法 3.4自适应前向纠错码(A-FEC) 29 附录B缩略语缩略语清单 华为高品质万兆园区体验保障技术白皮书响，相关的体验问题也是员工投诉的重灾区。为此华为提出了“基于体验建网、基于体验运维”的理念和业音视频会议已经成为企业办公的核心应用系统，尤其是高层会议的质量对企业的运营效率有很大影响，相关的体验问题也是员工投诉的重灾区。但不同于传统的网络通断类问题，体验类问题涉及的范围大、网元数量多，移动性、突发性和随机性很强，IT团队往往投入大量人力物力而无法确认根因，经常默默“背锅”,更重要的是无法确定优化措施从而提升办公体验。典型案例如下：2天进行演练和保障，如果是特级会议(每年<5场次)需要投入10+人提前一个月进行保障。网络运维团队希望能够进行全自动化的会议保障，减少人力投入。网络人员重保会议全程值守。网络人员的痛点是故障排查难、自证清白难。望能够针对会议进行优先保障，出现问题能够快速定界定位问题。如上，客户急需一种音视频会议端到端的保障和定界的解决方案。1.2问题和挑战当前市面上主流的音视频会议的厂商都宣称支持30%以上的抗丢包能力，但这个抗丢包能力指的是随机丢包，实际现网中突发拥塞的时候往往会出现连续丢包。音频流如果出现连续10个丢包会导致听到的声音丢失1个字，视频流如果出现连续20个以上的丢包就会感知瞬间的卡顿；会议应用厂商一般通过弱网对抗技术，诸如降低发送帧率、降低视频分辨率解决网络丢包对会议视频的影响。如下表，帧率的和分辨率的降低必然影响终端用户体验；序号帧率(fps)1体验优2体验无影响3体验有影响4体验受损5明显卡顿表格1会议体验与帧率的对应关系1.2.2漏斗模型带来的丢包问题图1园区流量大打小一般的音视频会议的突发流量在100Mbps左右，拥塞丢包概率不高，更多的情况是因为音视频会议的流量和其他大流量业务分配在一个队列导致的拥塞丢包。园区网络闲时网络利用率不足5%,但突发网络利用率会达到100%,特别是园区网络组网普通漏斗模型(汇聚和核心采用10GE以上的链路，接入下行端口使用GE的链路)导致的大打小是有线侧丢包的主要原因。突发流量很多时候是由于服务器的网卡发包机制决定的。服务器网卡在发送业务报文的时候，会以当前物理速率进行发送，10GE的端口就会按照10Gbit/s的速率向外发送，发送完后等待应用层的后续报文。这种原理决定了物理链路在传输报文时，一定是按照链路速率传输，工作一段时间，空闲一段时间。整体平均后的带宽利用率可能不高，比如5~10%,但实际是以100%~0%~100%的实际带宽利用率在工作。这种流量在微观层面就是突发，服务器的发包都是按照100%的带宽利用率在发送，接收端的桌面电脑一般是1G接入，无线接入的笔记本和手机连入的AP的上行口一般也是1G的链路，此时大打小的场景下会导致接入交换机丢包，特别是AP下有多用户并发的场景更加容易出现。-计算不同负载下的短时间段内的出口拥塞和概率(计算依赖突发模型)-计算综合所有负载情况下1天(24hr)内的丢包数发生概率负载比例发生比例t/T0.1%0.1%0.1%0.1%4.32e68.64e58.64e58.64e58.64e58.64e48.64e4|8.64e4流量描述业务比例突发模型1、真实的业务比例2、真实的突发模型文件34%其他49%负载比例432负载比例6一天内丢包次数的概率分布应用网络介质win10PC有线3无线3小鱼易连无线3腾讯会议无线5华为云会议win10PC有线无线钉钉会议无线6Espace语音win10PC有线5表格2主流音视频会议DSCP值2技术/方案介绍为了解决客户问题，华为提出了“基于体验建网、基于体验运维”的理念和业务保障方案园区网络的流量特点是突发性强，闲时网络利用率不足5%,突发拥塞时网络利用率达到100%而出广域链路的质量不稳定，难以避免丢包问题，基于音视频丢包导致的体验异常20%以上是广域丢包导2023-10-25用户数应用数单会议字地图字地图地图随流体验测量大数据分析数字地会议监图大屏控大屏体验保障自动化配置管控析层高品质单板核心汇聚网络层终端层高品质单板会议流音视频会议快车到图2方案架构NCE-Campus:支持重要业务和关键用户的保障策略下发；通过数字地图大屏实现重要用户和关键应用的体验运维统一入口；通过会议监控大屏，呈现指定会议的网络拓扑，以及基于会议拓扑的状态监控和运维能力，帮助管理员实现重要会议保障；·CampusInsight:通过大数据分析实现用户数字地图、应用数字地图、单会议地图功能，并为NCE-Campus的数字地图大屏和会议监控大屏提供数据；快车道；广域通过动态冗余技术(A-FEC)解决广域丢包对音视频质量的影响，用internet链路提供类似专线的体验；通过VIP优先接入、VIP带宽预留技术为VIP用户提供快车道；·基于体验管网：通过随路体验测量(iPCA)技术提供真实业务流端到端的丢包和时延统计并上报给CampusInsight进行分析；统计用户和应用的网络KPI并上报给CampusInsight进行分析；●终端层：VIP用户和音视频业务通过WLAN空口和有线接入网络。自适应向前纠错机制保障30%丢包率情况下音视频会议不卡顿。通过VIP优先接入、VIP带宽预留技术为网络边界处基于智能应用识别结果对报文的优先级进行标记，园区内其他设备按照边界设备的标记进行队列调度，实现重要保障业务优先转发。基于不同的应用识别部署方式，调度策略设计如下。.2集中式智能应用识别和调度针对V600版本的设备款型我们主推集中式智能应用识别和调度的方案，核心交换机需要配备高品质体验保障卡体验保障卡四图3集中式智能应用识别和调度1.上行流量●接入层设备有线接入场景，如果接入交换机具备应用识别能力，在接入交换机配置基于应用识别的DSCPRemark。如果接入交换机无应用识别能力，有线接入上行流量可以不修改报文优先级；注：基于现网局点统计，有线侧拥塞主要发生在接入交换机到终端，或者接入交换机到AP下行方向，对于重要业务上行流量无优先转发策略，影响可控；2023-10-25华为机密，未经许可不得扩散第12页，共32页无线接入场景，在AP上配置基于应用识别的DSCPRemark,实现对重要业务的重标记。对于音视频会议应用建议重标记DSCP值为32或者46,实现音视频流量从队列5或者队列4转发；汇聚层和核心层设备端口信任DSCP或802.1p,基于接入层标识的优先级实施调度策略，保证高优先级●核心层设备配置基于应用识别的DSCPRemark,DSCP值和上行流量设置一致；汇聚层设备端口信任DSCP,基于报文的优先级实施调度策略，保证高优先级业务优先获得调度。图4分布式智能应用识别和调度1.上行流量用识别的DSCPRemark,实现对重要业务的重标记。对于音视频会议应用可以重标记DSCP值为32或者46,实现音视频流量从队列5或者队列4转发；汇聚层和核心层设备端口信任DSCP或802.1p,基于接入层●出口网关或者防火墙(可选)配置基于应用识别的DSCPRemark,DSCP值和上行流量设置一致；汇聚层和核心层设备端口信任DSCP,基于报文的优先级实施调度策略，保证高优先级业务优先获得调度。如果出口网关/防火墙无法做RemarkDSCP,并且需要保障的应用可以通过ACL识别，可以考虑在核心接入交换机端口信任DSCP,基于报文的优先级实施调度策略，保证高优先级业务优先获得调度。.1多媒体智能调度●单AP下行VI/VO业务时延保证：当VI/VO队列的音视频业务空口时延超过配置的阈值时(默认VI队列video时延<50ms,VO队列vocie时延<20ms),触发语音视频时延优化，系统将尽力保证优化后时延不超过保障时延；●单AP上行拥塞控制：通过对TCP流量的滑动窗口调整，降低终端实际发送上行数据量以保障语音视频业务的用户体验●基于接入用户数调整WMM参数：系统根据不同接入用户数，通过算法动态调整WMM参数，提高语音/视频(VI/VO)业务体验。对于音视频会议流量可以通过报文的DSCP值，以及SAC应用识别结果入VI/NO队列。对于知名的音视频会议，通过开启AP上的SAC应用识别功能，实现音视频流量入VI/NO进行优先转发。对于企业私有的音视频流量可以通过修改报文的DSCP值(修改为AF4(32)或者EF(46)),保障音视频流量0123452023-10-25华为机密，未经许可不得扩散第14页，共32页67表格3802.3报文的DSCP优先级到802.11报文的UP优先级的映射关系的缺省值优先级最高最低76543021表格4AC(AccessCategory)与802图5自适应向前纠错原理2.发起端的CPE对原始报文进行A-FEC编码。2023-10-25b.发起端的CPE积攒多个原始报文作为一个编码块，对编码块中的原始报文进行A-FEC编码，生成A-FEC冗余包。发起端可以根据编码矩阵(即生成矩阵)算法对多个报文生成多3.报文和冗余包在网路中传输。网络情况较差时，报文和冗余包都可能出现丢失。4.接收端的CPE对接收到的原始报文和冗余包进行A-FEC解码。a.接收端CPE从网络收包，检测丢包信息，进行A-FEC解码。根据编码矩阵和实际收到的包计算出解码矩阵(即还原矩阵),根据解码矩阵和收到的包解码出丢失的原包。只要一个编码块中的丢包数不超过冗余包数量，就可以恢复该编码块中的丢包。5.接收端的CPE把恢复后的报文按顺序发给接收端的其他设备。2.3.2VIP用户保障通过VIP优先接入和VIP带宽预留技术保障在高密接入场景下VIP用户的访问体验。对于企业的重要用户，比如总裁级的领导，网络规划时，把这类用户规划为VIP用户，针对VIP用户建议部署VIP用户优先接入和VIP用户带宽预留。VIP用户优先接入通过配置VIP用户优先接入，保障在一些用户密集的场景(会议室，食堂等),VIP用户可以优先接在设备上配置VIP用户优先接入后，当接入用户数达到AP最大用户数或用户CAC门限时，如果再有新用户接入到网络，该用户先进行认证，认证成功后，在授权阶段判断该用户是否是VIP用户，如果是，则允许该用户接入并替换一个非VIP用户，强制该非VIP用户下线；如果不是，则强制该用户下VIP用户带宽预留优化后VIP优化后VIP用户普通用户VIP用户空口带宽预留算法基于射频，通过为VIP用户预留带宽(即预留相应的时间切片)保证VIP针对非固定IP的应用(例如SaaS类应用：腾讯会议、钉钉会议等)无法配置五元组进行iPCA的逐如图用户部署iPCA时，推荐整网提前指定好Mid-Point和Out-Point且都开启AutoDetect,这样增加2023-10-25华为机密，未经许可不得扩散第17页，共32页一个应用流监控的时候只需要在起点指定应用的名称，不需要再配置Mid-Point和Out-Point。流量的统计起点In-Point节点要与应用识别部署在同一台设备，通过应用识别的数据实现从应用名称关联到五元组，再通过五元组匹配到流量。后续的Mid-Point和Out-Point节点，由于没有应用识别数据，需要根据In-Point节点对报文的染色自动识别需要检测的报文并触发建流和统计。Out-Point节点如果是双向统计，由于没有应用识别数据，接收的反向流量也是没有经过染色的。只能根据正向流获取反向的五元组信息，自动下发ACL匹配五元组，触发染色、建流和统计。反向流经过染色后，同正向流处理，后续节点识别染色位触发建流和统计。AutoDetect节点依赖设备的资源模式切换为iPCA,才能有足够的表现资源实现自动随流检测，在此模式下一组核心下双栈不能超过30000终端。基于五元组的逐跳随流检测针对固定IP的应用(例如本地部署的应用),如果发现了应用体验异常，可以通过iPCA的技术进行端到端的随流检测来进行定界。传统的iPCA功能如果要将发往某个服务器的所有流进行逐流统计，需要将所有的流的五元组都进行单独配置。而iPCA只需要2条配置，一条上行流配置为服务器的DIP,一条下行流配置为服务器的SIP。所有命中这两条规则的流都会自动生成五元组的流表进行iPCA的统计。iPCA通过染色位(推荐使用IPFlags的第OBit位)来进行丢包和时延的统计。和统计，Out-Point端口进行去染色和统计，Mid-Point端口只需要进行统计即可。一条双向流的上行流和下行流在同一个端口可能分别是In-Point和Out-Point。用户需要在所有流可能经过的路径的端口都配核2.4.2用户/应用数字地图NCE-Campus结合Campuslnsight打造的数字地图功能提供了园区网络运维和优化的统一入口，通过多维数据统一治理，分别从网络物理层、应用层、用户层多个层面呈现园区网络的拓扑能力，同时集成大屏、分层拓扑、体验可视、流量监控、告警日志、诊断工具、同时应用地图集成常用诊断工具(ping、tracert、设备表项查询等),实现故障的快速闭环；图9应用地图界面图10用户地图界面2023-10-25华为机密，未经许可不得扩散第20页，共32页2技术/方案介绍2.4.3会议地图随着企业办公方式的多元化以及远程办公的增多，音视频会议已经成为企业需要业务，音视频流量在园区网络总流量中占比达20%以上，对于音视频会议特别是重要音视频会议的保障压力越来越大。企业传统的人拉肩抗的重要会议保障方式已经满足不了企业的业务诉求。CloudCampus提供了基于会议粒度的重要业务保障方案，通过一屏实现会议总览，实时监控会议中涉及所有终端的网络质量情况。对于影响会议体验的网络质量问题及时告警，并且通过基于网络拓扑的丰富网络监控数据和运维工具，实现故障的快速闭环，通过自动化的方式，极大的简化了重要会议保障操作，减少了对运维人员的依赖；使用会议地图功能，需要在网络设备上对与需要进行重要业务保障的设备开启iPCA随流检测功能，并且需要部署NCE-Campus和CampusInsight分析器；会议地图支持通过NCE-Campus对外提供API调用的方式，实现与会议管理系统或者会议系统的无缝集成，进一步简化重要会议保障的操作；会议地图也支持管理员通过NCE-Campus的UI录入需要保障的会议信息。这种方式一般只适用固定会议室接入会议的场景，对于非固定位置使用移动终端接入会议的场景需要使用和会议管理系统之间通过API调用的方式实现会议保障。第三方会议管理系统需要适配NCE-Campus北向API,输入会议ID、终端IP/MAC、媒体服务器体服务器IP/应用ID等信息。会议系统NCE会议重保系统iMasterNCE会议地图订阅会议信息会议服务运图11会议地图整体架构录入的信息包括输入会议ID、终端IP/MAC、媒体服务器IP/应用等信息。访问应用结语(异常/总数)●正常图13进入某个站点查看会议的拓扑对于指定会议的地图，可以查看本次会议涉及的所有流信息、每条的流逐跳的网络质量数据，支持基于物理拓扑绘制本次会议所有流经过的每一跳设备，并且基于拓扑可以查看所有设备的基本状态信息(包括终端接入的一些状态信息);3关键技术3.1智能应用控制(SAC)智能应用控制SAC(SmartApplicationControl)是一个智能的应用协议识别与分类引擎，利用业务感知技术，对报文中的第4~7层内容和一些动态协议(如HTTP、RTP)进行检测和识别，根据分类结果实施精细化体验分析和QoS策略控制。匹配到匹配到应用程序SAC检测特征匹配特征码库语音视频优化限速业务流量图14原理介绍：·不同的应用程序通常会采用不同的协议，而不同的应用协议具有各自的特征，这些特征可能是特定的端口、特定的字符串或者特定的比特序列，能标识该协议的特征称为特征码。·特征识别技术，即通过匹配数据报文中的特征码来确定应用。·协议的特征不仅在单个报文中体现，某些协议报文的特征是分布在多个报文中的，需要对多个报文进行采集分析，才能够识别出协议类型。·系统对流经设备的业务流进行分析，将分析结果加载到设备上的特征库进行对比，通过匹配数据报文中的特征码来识别出应用程序，根据识别结果实施精细化QoS策略控制或者对语音和视频应用进行优化从而提高语音和视频的通信质量。本文中的方案还可以结合iPCA技术进行应用体验的分析。网络包守恒算法iPCA(PacketConservationAlgorithmforInternet)是一种IP网络性能统计技术，它通过直接对业务报文进行标记的方法，实现对网络丢包情况进行统计。2023-10-25华为机密，未经许可不得扩散第23页，共32页3关键技术图15ToS字段：共8比特位，前3比特位(0~2位)为报文的Precedence字段标识了IP报文的优先级，第3位至第7位比特位在实际的应用中使用较少，可以用来作为染色位。Flags字段：共3比特位(0~2位),为报文分片标志位，其中第0比特位为保留位，可3.2.2丢包检测方法IP报文数为1000个，“3”口统计到的进入的报文数为900个，则经过计算可以确定在2->3这条链路上发生了丢包，且丢包率达到了10%,根据此分析结果，运维人员对2->3进行维禽禽S57(源网关)3下4S127_1禽S57(目的网关)需要实现如上描述的丢包检测还需要保证每一跳的设备进行报文计算的统计周期必须一致的，这个时候就需要用到上文描述的染色位。图17到的染色位置1的业务报文数。的业务报文，计数器开始计数。对本统计周期内入口染色位置1的业务报文计数结束，得到本周期内接收到的染色位置1的业务报文计数为P1。●t3时刻：Switch_2对本统计周期内所有染色位置1的业务报文计数结束，得到本周期内发送的染色位置1的业务报文计数为P2,在Switch_2出口处报文的染色位标志被去除。本统计周期内报文丢包数LostPacket=P1-P2。3.2.3时延检测方法对业务路径时延直接测量方法，就是对实际业务的报文进行抽样记录及测量其在网络中的实际转发时间，抽样方法是通过设置业务报文的特征位进行识别区分。以下图所示的网络为例，通过统计Switch_1发送业务流的时间、Switch_2收到业务流的时间，以及统计回程流Switch_2发送回程流的时间和Switch_1收到回程流的时间，获得网络报文转发时延。所示的是一段时间内Switch_1发送报文，以及Switch_2收到报文的时延统计。3关键技术·t2时刻：Switch_2对发送回程报文的染色位置1,计数器开始记录报文发送时间。·t3时刻：经过网络转发及延迟后，Switch_1收到本测量周期内第一个染色位置1的回3.2.4IPCA自动建流和反向建流的设备作为头节点(in-Point)配置基于应用识别触发IPCA建流功能，中间节点(mid-Point)和尾节点(Out-Point)根据头节点的染色标记自动进行流学习，尾节点还能自建反2023-10-25华为机密，未经许可不得扩散第26页，共32页3关键技术2自动随流检测就是仅在In-Point测量点指定统计流，Mid-point和Out-point不需要指定统计流，自动根据上游设备对报文设置的染色位获取统计流信息，创建统计表项。如上图所示的网络为例，在Switch_1上配置统计流，并将接口作为In-Point测量点，对入方向的报文进行丢包和时延统计。将Switch_1出接口、Switch_2、Switch_3配置为自动随流检测测量点。报文从Switch_1转发到Switch_3自动随流检测流程如下：1.报文进入Switch_1,通过匹配应用识别的五元组信息识别统计流。在Switch_1报文接口入方向对报文进行染色和统计。2.报文从Switch_1出接口转发，出接口配置了自动随流检测功能，自动识别染色位置1的报文创建统计表项并进行流量统计。3.报文转发到Switch_2,Switch_2接口配置了自动随流检测功能，自动识别染色位置1的报文创建统计表项并进行流量统计。4.报文转发到Switch_3,Switch_3接口配置了自动随流检测功能，自动识别染色位置1的报文创建统计表项并进行流量统计。Switch_3出接口配置作为Out-Point测量点，5.在Switch_3学习到流后自动创建反向的五元组流进行染色后进行反方向流的随流检3.2.5丢包原因上报开启了丢包原因上报后，iPCA检测的流如果在设备的包数和丢包原因(一个统计周期内，如果被测流的丢包原因变化，只上报最后一次的丢弃原因，3关键技术3.3多媒体智能调度基于此场景诉求，华为设计了一套多媒体智能调度算法。首先通过应用识别技术来区分前台业务和后台业务，再对前台业务的时延进行监测，时延过大则说明业务受损。发现这些业务受损时，通过拥塞控制算法抑制后台业务流量的带宽，让用户享受高速网络的同时，语音视频等前台业务不受影响。多媒体智能调度技术分为3部分，分别是拥塞检测算法、拥塞判决算法和拥塞调度算法。这里拥塞主要指的前台业务是否拥塞，他的主要功能是监测前台业务的时延，对该业务是否受损进行判断，一旦出现业务受损的情况，其通知拥塞判决算法，实现下一步拥塞原因的识别。我们知道，对于多媒体语音\视频业务，时延是业务体验好坏的最关键指标，一旦时延大，一定会带来业务体验的受损，拥塞检测算法通过监测该指标，就可以准确的衡量业务是否受损。举个例子，一个良好的语音会议体验，RTT时延需要小于150ms,我们刨去业务服务器和有线网络的处理时延(约50ms),也就是说当Wi-Fi网络的时延超过100ms(单向超过50ms)时，语音会议的体验就会受到影响。3.3.2拥塞判决算法前台业务出现拥塞后，下一步是识别拥塞产生的原因，称作拥塞判决。前面我们提到，基于业务识别，我们把流量分为两类，一类是前台业务，一类是后台业务，由于后台业务的贪婪特性，会挤占空口带宽，影响前台业务的体验，这里我们主要用到的输入是信道利用率CU(Channel贪婪流量越高，CU越高。我们统计的本AP发送CU、本AP接收CU以及干扰CU。将拥塞分为三种：第一种是本AP下行贪婪流量大导致拥塞，第二种是本AP上行贪婪流量大导致拥塞，第三种是其他AP贪婪流量大导致拥塞。如果对应CU超过我们设置的阈值就认为是由对应的贪婪流量导致的。》同频邻居APBE/BK贪婪业务受影响的VI/VO多媒体业务未受影响的VI/VO多媒体业务3.3.2拥塞调度算法针对上述的三种贪婪流程，我们把拥塞调度算法分成三部分，如图所示，分别针对本AP下行贪婪业务、本AP上行贪婪业务以及邻居AP的贪婪业务导致拥塞进行对应的调度。本AP温轮询调度时间片同频邻居AP些温通过TCP滑创反压●本AP下行拥塞控制这里用到的关键技术是绝对优先调度，该技术主要是在下行调度时预留一部分时间资源给多媒体业务。预留的时间资源也被称为预留时间切片，切片大小可通过调整切片比例修改。每次发包调度前查询队列信息，若当前VINO队列的总发包时间不超过切片值，则优先调度VINO队列中业务；若当前VINO队列的总发包时间超过切片值，则沿用原有的轮询调度。●本AP上行拥塞控制主要思想是通过TCP