相关标准及路由器测试

第八章网络设备测试

测试标准及路由器测试目标：了解相关标准学习路由器的常用指标及测试方法主要内容1相关标准2测量方法概述3路由器的性能指标4路由器性能测试5测试实例1/31/20231西安电子科技大学ISN国家重点实验室朱畅华chhzhu@1相关标准RFC2544(BenchmarkingMethodologyforNetworkInterconnectDevices)RFC2889（BenchmarkingMethodologyforLANSwitchingDevices）YD/T1156-2001《路由器测试规范－高端路由器》YD/T1098-2001《路由器测试规范－低端路由器》YD/T1141-2001

千兆比以太网交换机测试方法YD/T1142-2001IP电话网守设备技术要求及测试方法YD/T1072-2000IP电话网关设备测试方法YD/T1075-2000

网络接入服务器（NAS）测试方法YD/T1171-2001IP网络技术要求—网络性能参数与指标1/31/20232西安电子科技大学ISN国家重点实验室朱畅华chhzhu@相关标准-续YD/T1251.1-2003

路由协议一致性测试方法——中间系统到中间系统路由交换协议（IS-IS)

YD/T1251.2-2003

路由协议一致性测试方法——开放最短路径优先协议（OSPF）YD/T1251.3-2003

路由协议一致性测试方法——边界网关协议（BGP4）YD/T1260-2003

基于端口的虚拟局域网（VLAN）技术要求和测试方法YD/T1033-2000

传输性能的指标系列YD/T1091—200056kbit/s调制解调器接口及传输性能技术要求和测试方法1/31/20233西安电子科技大学ISN国家重点实验室朱畅华chhzhu@RequestforComments:2544NetworkWorkingGroup，BenchmarkingMethodologyforNetworkInterconnectDevices，S.Bradner，HarvardUniversity，J.McQuaid，NetScoutSystems，March1999Thisdocumentdiscussesanddefinesanumberofteststhatmaybeusedtodescribetheperfo-rmancecharacteristicsofanetworkintercon-nectingdevice.Inadditiontodefiningtheteststhisdocumentalsodescribesspecificformatsforreportingtheresultsofthetests.1/31/20234西安电子科技大学ISN国家重点实验室朱畅华chhzhu@RFC2544Benchmarkingtests1：ThroughputDefinition:

Themaximumrateatwhichnoneoftheofferedframesaredroppedbythedevice.详见：RFC1242吞吐量测试可以确定被测试设备(DUT)或被测试系统(SUT)在不丢弃包的情况下所能支持的吞吐速率。二分法1/31/20235西安电子科技大学ISN国家重点实验室朱畅华chhzhu@Throughputtest---ProcedureSendaspecificnumberofframesataspecificratethroughtheDUTandthencounttheframesthataretransmittedbytheDUT.Ifthecountofofferedframesisequaltothecountofreceivedframes,thefewerframesarereceivedthanweretransmitted,therateoftheofferedstreamisreducedandthetestisrerun.ThethroughputisthefastestrateatwhichthecountoftestframestransmittedbytheDUTisequaltothenumberoftestframessenttoitbythetestequipment.1/31/20236西安电子科技大学ISN国家重点实验室朱畅华chhzhu@RFC2544Benchmarkingtests2：LatencyDefinition:Forstoreandforwarddevices:Thetimeintervalstartingwhenthelastbitoftheinputframereachestheinputportandendingwhenthefirstbitoftheoutputframeisseenontheoutputport.Forbitforwardingdevices:Thetimeintervalstartingwhentheendofthefirstbitoftheinputframereachestheinputportandendingwhenthestartofthefirstbitoftheoutputframeisseenontheoutputport.

由此定义看：仅包括排队和处理时延，不包括传输时延？1/31/20237西安电子科技大学ISN国家重点实验室朱畅华chhzhu@延时测试延时测试测量一台DUT在有负载条件下转发数据包所需的时间。SmartApplications

在规定时间内生成100%的负载(或者按测试设置中规定的比例)。在测试过程中，SmartApplications

测量每对端口上的每一个包的延时。对于存储转发（Store-and-forward）设备来说，测量的延时是指从输入帧的最后一个比特达到输入端口的时刻到输出帧的第一个比特出现在输出端口上的时刻的时间间隔。对于cut-throughout设备来说，延时是指从输入帧的第一比特达到输入端口的时刻到输出帧的第一比特出现在输出端口的时刻的间隔。测试设置中规定的每一种包长度都要进行延时测试。1/31/20238西安电子科技大学ISN国家重点实验室朱畅华chhzhu@Latencytest----Procedure:SendastreamofframesataparticularframesizethroughtheDUTatthedeterminedthroughputratetoaspecificdestination.ThestreamSHOULDbeatleast120secondsinduration.AnidentifyingtagSHOULDbeincludedinoneframeafter60secondswiththetypeoftagbeingimplementationdependent.Thetimeatwhichthisframeisfullytransmittedisrecorded(timestampA).ThereceiverlogicinthetestequipmentMUSTrecognizethetaginformationintheframestreamandrecordthetimeatwhichthetaggedframewasreceived(timestampB).ThelatencyistimestampBminustimestampA。RFC1242ThetestMUSTberepeatedatleast20timeswiththereportedvaluebeingtheaverageoftherecordedvalues.1/31/20239西安电子科技大学ISN国家重点实验室朱畅华chhzhu@RFC2544Benchmarkingtests3：FramelossrateDefinition:Percentageofframesthatshouldhavebeenforwardedbyanetworkdeviceundersteadystate(constant)load

thatwerenotforwardedduetolackofresources.

（如何理解两个that?并列修饰。）RFC1242包丢失测试通过测量由于缺少资源而未转发的包的比例来显示高负载状态下DUT的性能。1/31/202310西安电子科技大学ISN国家重点实验室朱畅华chhzhu@FrameLossrate---testProcedureSendaspecificnumberofframesataspecificratethroughtheDUTtobetestedandcounttheframesthataretransmittedbytheDUT.Theframelossrateateachpointiscalculatedusingthefollowingequation:((input_count-output_count)*100)/input_countThefirsttrialSHOULDberunfortheframeratethatcorrespondsto100%ofthemaximumratefortheframesizeontheinputmedia.Repeattheprocedurefortheratethatcorrespondsto90%ofthemaximumrateusedandthenfor80%ofthisrate.ThissequenceSHOULDbecontinued(atreducing10%intervals)untiltherearetwosuccessivetrialsinwhichnoframesarelost.

1/31/202311西安电子科技大学ISN国家重点实验室朱畅华chhzhu@RFC2544Benchmarkingtests4：Back-to-backDefinition:Fixedlengthframespresentedataratesuchthatthereistheminimumlegalseparationforagivenmediumbetweenframesoverashorttomediumperiodoftime,startingfromanidlestate.Measurementunits:NumberofN-octetframesinburstRFC12421/31/202312西安电子科技大学ISN国家重点实验室朱畅华chhzhu@背靠背性能测试背靠背性能测试通过以最大帧速率发送突发传输流并测量无包丢失时的最大突发（Burst）长度(总包数量)来测试DUT的缓冲区容量。SmartApplications

在全负载条件下生成突发传输流，如果所有的包都得到转发，就增加突发长度，并重新进行测试。但是，如果某一对端口上出现包丢失，SmartApplications将突发长度减少一半并再次进行测试。然后，SmartApplications利用二分搜索查找无包丢失时的最大突发长度。测试设置中规定的每一种包长度都要进行背到背性能测试。1/31/202313西安电子科技大学ISN国家重点实验室朱畅华chhzhu@Back-to-back—testprocedureSendaburstofframeswithminimuminter-framegapstotheDUTandcountthenumberofframesforwardedbytheDUT.Ifthecountoftransmittedframesisequaltothenumberofframesforwardedthelengthoftheburstisincreasedandthetestisrerun.Ifthenumberofforwardedframesislessthanthenumbertransmitted,thelengthoftheburstisreducedandthetestisrerun.Theback-to-backvalueisthenumberofframesinthelongestburstthattheDUTwillhandlewithoutthelossofanyframes.ThetriallengthMUSTbeatleast2secondsandSHOULDberepeatedatleast50timeswiththeaverageoftherecordedvaluesbeingreported.1/31/202314西安电子科技大学ISN国家重点实验室朱畅华chhzhu@RFC2544Benchmarkingtests5：SystemrecoveryObjective:TocharacterizethespeedatwhichaDUTrecoversfromanoverloadcondition.Procedure:FirstdeterminethethroughputforaDUTateachofthelistedframesizes.Sendastreamofframesatarate110%oftherecordedthroughputrateorthemaximumrateforthemedia（线速）,whicheverislower,foratleast60seconds.AtTimestampAreducetheframerateto50%oftheaboverateandrecordthetimeofthelastframelost(TimestampB).ThesystemrecoverytimeisdeterminedbysubtractingTimestampBfromTimestampA.1/31/202315西安电子科技大学ISN国家重点实验室朱畅华chhzhu@RFC2544Benchmarkingtests6：ResetObjective:TocharacterizethespeedatwhichaDUTrecoversfromadeviceorsoftwarereset.Procedure:FirstdeterminethethroughputfortheDUTfortheminimumframesizeonthemediausedinthetesting.Sendacontinuousstreamofframesatthedeterminedthroughputratefortheminimumsizedframes.CausearesetintheDUT.Monitortheoutputuntilframesbegintobeforwardedandrecordthetimethatthelastframe(TimestampA)oftheinitialstreamandthefirstframeofthenewstream(TimestampB)arereceived.TheresetvalueisobtainedbysubtractingTimestampAfromTimestampB.Hardwareandsoftwareresets,aswellasapowerinterruptionSHOULDbetested.1/31/202316西安电子科技大学ISN国家重点实验室朱畅华chhzhu@转发能力测试实例思博伦（Spirent）通信的SmartBits6000B依据RFC2544完成吞吐率延迟帧丢失率BacktoBack测试1/31/202317西安电子科技大学ISN国家重点实验室朱畅华chhzhu@3路由器的测试指标1、吞吐量：吞吐量是指路由器的包转发能力。吞吐量与路由器的端口数量、端口速率、数据包长度、数据包类型、路由计算模式（分布或集中）以及测试方法有关，一般泛指处理器处理数据包的能力。高速路由器的包转发能力至少应在20包/秒以上。端口吞吐量：

端口吞吐量是路由器在某端口上的包转发能力。通常采用两个相同速率测试接口。一般测试接口可能与接口位置及关系相关，例如同一插卡上端口间测试的吞吐量可能与不同插卡上端口间吞吐量值不同。

整机吞吐量：

整机吞吐量是指设备整机的包转发能力，是设备性能的重要指标。路由器的工作在于根据IP包头或者MPLS（多协议标签交换）标记选路，因此性能指标是指每秒转发包的数量。整机吞吐量通常小于路由器所有端口吞吐量之和。1/31/202318西安电子科技大学ISN国家重点实验室朱畅华chhzhu@路由器的测试指标2、背板能力：背板指输入与输出端口间的物理通路。背板能力是路由器的内部实现，传统路由器采用共享背板，但是应用于高性能路由器时不可避免的会遇到拥塞问题，其次也很难设计出高速的共享总线，所以现有的高速路由器一般采用可交换式背板的设计。背板能力通常大于依据吞吐量和测试包长所计算的值。但是背板能力只能在设计中体现，一般无法测试。（电磁兼容性设计）1/31/202319西安电子科技大学ISN国家重点实验室朱畅华chhzhu@路由器的测试指标3、丢包率：丢包率是指路由器在稳定的持续负荷下，由于资源缺少而不能转发的数据包在应该转发的数据包中所占的比例。丢包率通常用作衡量路由器在超负荷工作时路由器的性能。丢包率与数据包长度以及包发送频率相关，在一些环境下，可以加上路由抖动或大量路由后进行测试模拟。1/31/202320西安电子科技大学ISN国家重点实验室朱畅华chhzhu@路由器的测试指标4、时延以及时延抖动：时延是指数据包第一个比特进入路由器到最后一个比特从路由器输出的时间间隔。该时间间隔是存储转发方式工作的路由器的处理时间。时延与数据包的长度和链路速率都有关，通常在路由器端口吞吐量范围内进行测试。时延对网络性能影响较大,对高速路由器，在最差情况下,要求对1518字节及以下的IP包时延均都小于1ms。时延抖动是指时延的变化。数据业务对时延抖动不敏感，所以该指标通常不作为衡量高速路由器的重要指标。对IP上除数据外的其它业务，如语音、视频业务，该指标才有测试的必要性（VoIP）。1/31/202321西安电子科技大学ISN国家重点实验室朱畅华chhzhu@路由器的测试指标5、路由表容量：路由器通常依靠所建立及维护的路由表来决定包的转发。路由表能力是指路由表内所容纳路由表项数量的极限。由于在Internet上执行BGP（边界网关协议）的路由器通常拥有数十万条路由表项，所以该项目也是路由器能力的重要体现。一般而言，高速路由器应该能够支持至少25万条路由，平均每个目的地址至少提供2条路径，系统必须支持至少25个BGP对等以及至少50个IGP邻居。1/31/202322西安电子科技大学ISN国家重点实验室朱畅华chhzhu@路由器的测试指标6、QoS（服务质量）能力：主要用于度量与某种业务相关的一整套性能。队列管理机制：队列管理控制机制通常指路由器拥塞管理机制及其队列调度算法。常见的方法有RED（随机早期预测）、WRED（加权随机预测）、WRR（加权轮询）、WFQ（加权平均队列）、以及改进后的加权公平流排队算法WF2Q等。排队策略：支持公平排队算法，支持加权公平排队算法。该算法给每个队列一个权（weight），由它决定该队列可享用的链路带宽。这样，实时业务可以确实得到所要求的性能，非弹性业务流可以与普通（Best-effort）业务流相互隔离。1/31/202323西安电子科技大学ISN国家重点实验室朱畅华chhzhu@路由器的测试指标6、QoS（服务质量）能力（续）拥塞控制:必须支持WFQ、RED等拥塞控制机制。由该机制可以为不符合其业务级别CIR/Burst合同的流量标记一个较高的丢弃优先级，该优先级应比满足合同的流量和尽力而为的流量的丢弃优先级高。在有可能存在输出队列争抢的交换环境中，必须提供有效的方法消除头部拥塞。端口硬件队列数：通常路由器所支持的优先级由端口硬件队列来保证。每个队列中的优先级由队列调度算法控制。1/31/202324西安电子科技大学ISN国家重点实验室朱畅华chhzhu@路由器的测试指标7、网管能力：网管是指网络管理员通过网络管理程序对网络上资源进行集中化管理的操作，包括配置管理、计账管理、性能管理、差错管理和安全管理。设备所支持的网管程度体现设备的可管理性与可维护性，通常使用SNMPv2协议进行管理。网管粒度指示路由器管理的精细程度，如管理到端口、到网段、到IP地址、到MAC地址等粒度。管理粒度可能会影响路由器转发能力。1/31/202325西安电子科技大学ISN国家重点实验室朱畅华chhzhu@路由器的测试指标8、突发量能力：突发量是指以最小帧间隔发送最多数据包而不引起丢包时的数据包数量，该指标用于测试路由器的缓存能力。具有线速双工转发能力的路由器，此指标值无限大。网络中数据的流量并不是一成不变的，有时整个网络的数据会在一段时间内急骤增加，甚至达到物理介质的理论速度，因此使用突发量能力来描述这种环境下路由器的表现。1/31/202326西安电子科技大学ISN国家重点实验室朱畅华chhzhu@插页—线速？线速（WireSpeed）：线速是指理论上线缆通过最大帧数时的状态。在LAN交换机之类的产品目录中所说的“支持线速”，表示的是：线缆中流过的帧数理论上支持最大帧数。如果是以太网，MAC帧最小为64B，这种64B的帧最大限量通过线缆的状态就是“线速”。10M以太网1秒为1万4881个，100M以太网为10M的10倍--14万8810个。1/31/202327西安电子科技大学ISN国家重点实验室朱畅华chhzhu@路由器的测试指标9、可靠性与可用性：设备的冗余：冗余可以包括接口冗余、插卡冗余、电源冗余、系统板冗余、时钟板冗余、设备冗余等。冗余用于保证设备的可靠性与可用性，冗余量的设计应当在设备可靠性要求与投资间折衷。路由器可以通过VRRP等协议来保证路由器的冗余。热插拔组件：由于路由器通常要求24小时工作，所以更换部件不应影响路由器工作。部件热插拔是路由器24小时工作的保障。无故障工作时间：该指标按照统计方式指出设备无故障工作的时间。一般无法测试，可以通过主要器件的无故障工作时间计算或大量相同设备的工作情况计算1/31/202328西安电子科技大学ISN国家重点实验室朱畅华chhzhu@路由器的测试指标内部时钟精度：拥有ATM端口做电路仿真或者POS口的路由器互连通常需要同步。在使用内部时钟时，其精度会影响误码率。高速路由器的可靠性与可靠性规定应达到以下要求：①系统应达到或超过99.999%的可用性。②无故障连续工作时间：MTBF>10万小时。③故障恢复时间：系统故障恢复时间<30mins。④系统应具有自动保护切换功能。主备用切换时间应小于50ms。⑤SDH和ATM接口应具有自动保护切换功能，切换时间应小于50ms。⑥要求设备具有高可靠性和高稳定性。主处理器、主存储器、交换矩阵、电源、总线仲裁器和管理接口等系统主要部件应具有热备份冗余。⑦系统必须不存在单故障点。1/31/202329西安电子科技大学ISN国家重点实验室朱畅华chhzhu@4路由器测试一般可以分成以下几类：功能测试性能测试稳定性可靠性测试一致性测试互操作性测试网管测试路由器测试方法通常分为本地测试法、分布测试法、远端测试法和协同测试法。1/31/202330西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（一）功能测试（1）接口功能：该功能用作将路由器连接到网络。可以分为局域网接口及广域网接口两种。局域网接口主要包括以太网、令牌环、令牌总线、FDDI等网络接口。广域网接口主要包括E1/T1、E3/T3、DS3、通用串行口（可转换成X.21DTE/DCE、V.35DTE/DCE、RS232DTE/DCE、RS449DTE/DCE、EIA530DTE）等网络接口。（2）通信协议功能：该功能负责处理通信协议，可以包括TCP/IP、PPP、X.25、帧中继等协议。（3）数据包转发功能：该功能主要负责按照路由表内容在各端口（包括逻辑端口）间转发数据包并且改写链路层数据包头信息。1/31/202331西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（一）功能测试（4）路由信息维护功能：该功能负责运行路由协议，维护路由表。路由协议可包括RIP、OSPF、BGP等协议。（5）管理控制功能：路由器管理控制功能包括五个功能，SNMP代理功能，Telnet服务器功能，本地管理、远程监控和RMON功能。通过多种不同的途径对路由器进行控制管理，并且允许纪录日志。（6）安全功能：用于完成数据包过滤，地址转换，访问控制，数据加密，防火墙，地址分配等功能。1/31/202332西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（二）性能测试1、吞吐量的测试：对路由器吞吐量测试本质上就是找到路由器不丢失报文情况最高速度点，它包含了两层含义，首先要保证待转发的任何一帧都能够正确地转发到适当的地址，其次要充分发挥设备的转发能力。假设测试粒度为dv，如果在某个速率v下DUT能够正确转发，但在v+dv速率下开始有出错的情况，则v即为吞吐量。由于帧的错误转发是一个随机过程，某一次测量过程中可以正确转发按特定速率发送的N个帧，但在重复的测试中就可能出现丢失的现象，因此帧突发量的测试尽量选取较小的变化粒度，并要持续较长时间，重复测量多次求平均值。即使对于同一台DUT，吞吐量也随帧大小的不同而改变，在测试过程中，要考虑各种帧尺寸下的情况，如果接收帧有校验和，接收时还必须执行完整的校验过程。1/31/202333西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（二）性能测试吞吐量的测试主要关心两个方面的性能，一是待测设备的整体转发能力一个就是它对某种单一应用的支持程度。因此在测试中，应包括一对端口的发送接收和全部端口同时发送接受两种极端情况下的吞吐量测试。全部端口参与转发的情况下，主要是测试整机的吞吐量，可以选取多个端口，更重要的是选取性能高的端口，这样可以使整个路由器达到较大的负载。1/31/202334西安电子科技大学ISN国家重点实验室朱畅华chhzhu@实测结果与理论吞吐率的对比吞吐量(pps)帧尺寸(字节)理论吞吐量某种帧格式下的实测吞吐量1/31/202335西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（二）性能测试-延时2、延迟测试：互连设备的接受端在收到一个待转发的帧后，在转发之前需要完成一系列的操作，如计算路由，检查权限等。从某一端口输入或转发到另一端口的帧，可能因为来不及转发而需要在待测设备的缓冲队列中等候处理，这些都需要耗费一定的时间，导致帧转发延迟，对延迟测试的目的就是要反映DUT执行转发操作的速度以及转发队列的处理情况。1/31/202336西安电子科技大学ISN国家重点实验室朱畅华chhzhu@性能测试-延时存储转发设备和位转发设备中延迟的定义不同。局域网交换机多采用位转发方式，而大多数路由器一般采用存储转发方式。对于采用存储转发方式的设备，延迟的计算方法为：延迟=输出帧的第一位出现在输出端口的时刻–输入帧的最后一位到达输入端口的时刻对于位转发设备：延迟=输出帧的第一位出现在输出端口的时刻–输入帧的第一位到达输入端口的时刻。1/31/202337西安电子科技大学ISN国家重点实验室朱畅华chhzhu@性能测试-延时根据延迟的定义，延迟是网络设备对一个报文的延迟，延迟的测试是以报文为单位进行测试的，理论上延迟测试要求测得两个参数（输入帧的第一位到达输入端口的时刻，输出帧的第一位出现在输出端口的时刻）。但在工程中得到这两个参数是非常困难的，因为，帧格式规定帧的头几位为报文头，是报文的控制信息，欲测出常规报文的延迟，报文头是不能改变的，在一个流中，报文的报文头都是相同的，通过记录帧的第一位到达输入端口的时刻和第一位出现在输出端口的时刻来计算延迟是不可能的，但是由于整个报文的延迟与报文中任意位的延迟相等，我们可以通过在报文的特殊位置加入特殊标志位进行测试。1/31/202338西安电子科技大学ISN国家重点实验室朱畅华chhzhu@性能测试-延时在测试时，测试要持续足够长的时间，以已确定的吞吐率通过DUT连续发送数据帧到指定目的地的过程在120秒以上；测试必须进行多次（50次以上），取其平均值，反映DUT的统计性能，并且应在不改变设备配置情况下，覆盖不同的帧尺寸；测试的发送方与接受方必须有精确的时间同步；在测试时还要区分需要计算路由与不需要计算路由两种情况，例如对于同属于一个数据包的连续若干帧具有相同的转发地址，除了第一帧外，后续各帧不需要再做路由计算。1/31/202339西安电子科技大学ISN国家重点实验室朱畅华chhzhu@性能测试-延时由于延迟测试要涉及时钟分辨率和同步精度等问题因此必须进行误差分析误差分为两类第一类是时钟引起的误差第二类是在线时间和代理计时的不同引起的的误差。因此在计算延迟时必须考虑时钟分辨率，时钟漂移，实际发送报文的时间与定时器记录时间差额等不确定因素的影响，并根据其值求出校正误差，算出真正的延迟结果1/31/202340西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（二）性能测试-丢弃率3、丢失率：丢失率指在稳定负载下应被网络设备正确转发，但由于资源缺乏没有被转发的帧的百分比。实际的测试方法可以是以一定速率向DUT发送一定数目的帧，并对DUT发送的帧进行计数。在某一点的帧丢失率=（（发送帧–接收帧）╳100）/发送帧。该参数可以反映过载情况下网络设备的性能，并且有助于表明一个设备在面对广播风暴等网络异常情况下的行为。1/31/202341西安电子科技大学ISN国家重点实验室朱畅华chhzhu@性能测试-丢弃率根据作用的不同，帧可以划分为多种类型，如数据帧、学习帧、路由更新帧等，网络设备应当采取合适的丢弃策略，尽量保证关键帧和重要帧的顺利传输。例如若丢失了某个关键的路由信息帧，就有可能导致大量数据不能交换，从而引起更大的丢失率。即使都是用户数据帧，那些具有QoS保证的应用数据应当及时转发。由于丢失率测试主要考虑待测设备在超负荷运转情况下的异常行为，包括帧的丢失、重发、乱序和错发等。在接收时不能简单统计收到帧的个数，必须加以识别。这需要发送代理对帧进行编号，接收代理可以通过对帧编号的查对来判断各种不同的异常情况。重发和乱序不算作丢失，但在接收帧总数里不能重复统计收到的重复帧。1/31/202342西安电子科技大学ISN国家重点实验室朱畅华chhzhu@性能测试-丢弃率因为帧丢失是一个随机行为，需要进行多次测试（50次）给出平均值。针对不同的帧格式要分别测量其丢失率，最好能够测量混合格式帧下对不同类型帧的丢失率。测试丢失率以前首先要获取特定帧格式、尺寸和在介质下的理论速率，然后估计该设备或端口的吞吐率，如果已经测试得出吞吐率，测试丢失率将按照吞吐率为最低负载，然后逐渐增加负载，观察报文丢失情况。1/31/202343西安电子科技大学ISN国家重点实验室朱畅华chhzhu@性能测试-丢弃率在测试丢失率时，为了达到反映测试设备在超负荷情况下的实际运行情况，同时真实反映设备丢失率的情况，可采用三种方式一对一端口发送和接收：反映单端口的丢失情况，两端口可以随机选取，重复测量10次计算平均值即可多对一半网格扇入测试：通过发送代理（例如用3个）以一定速率向待测设备的每个接收端口发送数据，所有数据帧均随机发向某一个发送端口。这种情况下，需要测量更多次数来反映平均性能多对多全网格浸没测试：多个结点（例如4个）形成一个连通图，即任意端口要发送报文到其余各端口，任意端口要收到其余各端口发向自身的报文。1/31/202344西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（二）性能测试-突发量测试4、突发量测试：突发量的测试是使用标准定义在物理介质的极限速率发送用户数据，用来查看路由器忍耐力和对突发量的响应策略。该参数描述了路由器在最高负荷下的功能特性。帧突发量是对DUT的一个输入端口而言的，即在时间T内向DUT的端口I输入y个帧间隙为t的连续帧，如果前x个帧被成功转发，那么帧突发量为x。帧突发量反映DUT的缓冲能力，缓冲区及分配策略，同时在一定程度上反映DUT的交换结构及调度算法。例如，共享缓冲区结构，输入缓冲区结构，输出缓冲区结构以及其它缓冲区结构的交换机必然有不同的帧突发量。1/31/202345西安电子科技大学ISN国家重点实验室朱畅华chhzhu@性能测试-突发量测试对突发量进行测试时，时间T必须足够大，RFC中规定测试时间至少为2秒。如果T时间内DUT能成功地转发所有帧，就应增加T值重新测量。测试重复至少50次，然后求出帧突发量的平均值和偏差。在测试中，帧间隙时间t应该为最小值，为此，在帧突发量测试之前必须首先测量并确定最小帧间隙时间。帧间隙时间反映了DUT的接收速度。在通常情况下，10M以太网的帧间隙取9.6(µs)，100M以太网的帧间隙为0.96(µs)。对于一个有多种介质（如以太网、令牌环网和ATM），每一种介质有多个端口（总端口数为n）的DUT，测试时也应考虑多介质混合、多端口输入、多端口输出等多种情况，测试帧长度也要覆盖各种情况。1/31/202346西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（二）性能测试-系统恢复能力测试5、系统恢复能力测试：网络是一个非常复杂的环境，路由器有可能因为某种原因而出现软件的暂时故障，因此在出现软件崩溃或协议混乱的情况下，系统应该能够自动实现系统恢复，为保证网络畅通，系统恢复的时间应该尽量小，同时在系统恢复时，对外部的所有响应一般也不能全部终止。在测试时应根据路由器吞吐量测试结果或根据介质允许的理论速率来确定采用的帧发送速率，确保设备迅速过载，发送时间持续至少60秒，随后将发送速率降低50%，并记录当前发送的时间T1，同样持续60秒，然后在接收端比较发送帧序号与接收帧序号，找到丢失的最后一帧，记它的发送时间为T2，求出系统恢复时间T=T1-T2，测试多次后，求出其平均值。1/31/202347西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（二）性能测试-系统重启能力测试6、系统重启能力测试：路由器在刚加电或重启动后的一段时间内，不能接收和转发数据，这一无效时间段对评价路由器的性能也比较有用，如果重启的时间过长，会直接影响到设备的应用前景。重启测试包括使用DUT设备软件的reset方式进行软件系统重启测试；使用DUT设备硬件的reset按钮进行重启测试；断电重启测试等三种方式。其中断电重启测试应在电源关掉10秒后进行。测试时以某尺寸和某速率发送一串连续的帧，当触发一个重启时，记下原始数据流中收到的最后一帧出现的时间T1，同时记录重启后收到新的数据流的第一帧时间T2，得到重启时间T=T1-T2。1/31/202348西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（三）稳定性和可靠性测试大多数路由器需要每天24小时，每周7天连续工作，作为Internet核心设备的骨干路由器的稳定性和可靠性尤其重要。尤其要了解产品在规定的条件下和规定的时间内，完成规定功能的能力；按规定的程序和方法进行维修时，保持或恢复到规定状态的能力；以及在任一随机时刻需要和开始执行任务时处于可工作状态的程度。路由器的稳定性和可靠性很难测试。一般可以通过两种途径的得到：（1）厂家通过关键部件的可靠性以及备份程度计算出的系统可靠性；（2）用户或厂家通过大量相同产品使用中的故障率统计产品稳定性和可靠性。当然，也可以通过在一定时间内对试运行结果的要求来在一定程度上保证路由器的可靠性与稳定性。1/31/202349西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（四）协议一致性测试：协议一致性测试旨在建议路由器所实现的协议是否完全和协议规范所描述内容的一致，路由器一致性测试通常采用“黑箱”方法，IUT（被测试设备）叫做“黑箱”，通过比较IUT的实际输出与预期输出的异同，判定IUT在多大程度上与协议描述相一致，确立通过一致性测试的IUT在互联时成功率的高低。测试系统通过控制观察点PCO与被测试设备接口，按照其应答是否遵守规范，即定时关系和数据匹配限制，测试的结果可分为通过、失败、无结果3种，不同的测试事件是通过不同的PCO来控制和观察的。1/31/202350西安电子科技大学ISN国家重点实验室朱畅华chhzhu@协议一致性测试路由器是一种复杂的网络互连设备，需要在各个通信层上实现多种协议。如相应的接口的物理层和链路层协议、IP/ICMP等互联网层协议、TCP/UDP等传输层协议、Telnet/SNMP等应用层协议以及RIP/OSPF/BGP等路由协议。协议一致性测试理论上要求测试路由器所实现的所有协议。由于该测试内容繁多测试复杂，在测试中可以根据需要选择重要的协议以及所关心的内容测试。由于骨干网上路由器可能影响全球路由，所以在路由器测试中应特别重视路由协议一致性测试例如OSPF协议和BGP协议,路由器一致性测试一般采用分布式测试法或远程测试法。1/31/202351西安电子科技大学ISN国家重点实验室朱畅华chhzhu@协议一致性测试工作流程协议规范服务规范测试目的测试套PICS/PIXIT测试记录测试评估测试报告1/31/202352西安电子科技大学ISN国家重点实验室朱畅华chhzhu@协议一致性测试者所进行的工作分以下几步进行：1根据协议规范，服务规范确定测试目的；2生成并描述测试套；3按测试套对IUT（被测试的协议实现实体或系统）进行测试；4根据测试记录参照PICS（协议实现的一致性声明）和PIXIT(协议实现的补充测试数据)进行评估，并给出测试报告。1/31/202353西安电子科技大学ISN国家重点实验室朱畅华chhzhu@IUT的一致性测试分为4级：基本互联测试，旨在检查IUT是否具备进一步测试的条件，是否有最小的联接能力，能否接受和发送数据能力测试，检测IUT是否符合静态一致性要求行为测试，目的是测试IUT是否符合动态一致性要求一致性分解测试，要求测试执行系统对一致性要求逐项地给出yes/no的确定回答。测试总是由低级向高级逐级进行的。1/31/202354西安电子科技大学ISN国家重点实验室朱畅华chhzhu@IUT的一致性测试具体测试案例BGP-4一致性测试包含了检测BGP-4设备是否正确运行所必需的多个测试项，每个测试项校验了BGP-4运行的一方面，综合起来校验了待测设备BGP-4协议实现的情况。BGP-4是外部距离矢量路由协议，通过比较不同的自治域路径，选择到达特定目标地址的最佳路径。BGP-4可用于自治域（AS）内，称为iBGP;也可用于自治域（AS）之间，称为eBGP。为进行一致性测试，需要三个测试端口和待测设备建立对等关系，一个端口使用iBGP协议，代表和待测设备在同一自治域的一个路由对等体（地位对等的BGP-4路由设备），另两个测试端口使用eBGP协议，代表在不同区域的路由对等体。在不同测试项中，测试端口有时向待测设备发送BGP-4报文，有时接受报文验证待测设备的行为。1/31/202355西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（五）互操作性测试：由于通信协议、路由协议非常复杂且拥有众多选项，实现同一协议的路由器并不能保证互通互操作。并且因为一致性测试能力有限，即使通过协议一致性测试也未必能保证完全实现协议。所以有必要对设备进行互操作测试。互操作测试实际上是将一致性测试中所用的仪表替换成需要与之互通互操作的设备，选择一些重要且典型的互连方式配置，观察两设备是否能按照预期正常工作。1/31/202356西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（六）路由器网络管理测试网管测试一般测试网管软件对网络以及网络设备的管理能力。路由器是IP网的核心设备，路由器的网络管理是用户使用路由器的接口。如果路由器附带网管软件，可以通过使用所附带的网管软件来检查网管软件所实现的配置管理、安全管理、性能管理、计帐管理、故障管理、拓扑管理和视图管理等功能。如果路由器不附带网管软件，则应当测试路由器对SNMP协议实现的一致性以及对MIB（管理系统库）实现的程度。由于路由器需要实现的MIB非常多，每个MIB都包含大量内容，很难对MIB实现完全测试。一般通过抽测重要MIB项来检查路由器对MIB的实现情况。整个网络管理测试可以包括两个方面：对于SNMP协议的测试；为用户提供的可用的网络管理功能进行网络管理功能的覆盖性测试。1/31/202357西安电子科技大学ISN国家重点实验室朱畅华chhzhu@（七）鲁棒性测试鲁棒性是指设备在恶劣条件下正常工作的能力，包括自适应不同质量等级的通信链路的能力，抗人为错误操作或攻击的能力，处理网络异常条件（如错误报文，网络拥塞）的能力，抗恶劣工作环境（如高温、低温）的能力等。网络设备的鲁棒性有多个层次，可以分为组件级，板级，子系统级，系统级。对它的评测级别可分为四级：A，B，C，D。A为最高级别。路由器鲁棒性测试采用向路由器发送各种错误信息，根据路由器向测试仪返回的错误信息，判定该路由器的鲁棒性。在保证正确运行的情况下，干扰用户程度与报错率越低，错误处理能力与消错率越高的设备鲁棒性越好。最简单的鲁棒性测试是对运行环境测试，如产品正常工作的工作温度、环境相对湿度、洁净度等等。1/31/202358西安电子科技大学ISN国家重点实验室朱畅华chhzhu@5路由性能测试实例1Spirent的AX/4000宽带网络测试平台RIPv2OSPF路由性能测试路由表深度路由收敛测试1/31/202359西安电子科技大学ISN国家重点实验室朱畅华chhzhu@AX/4000AX/4000能够进行多种路由协议的仿真、路由协议的一致性测试以及路由的性能测试。它可以通过向被测设备灌入路由表，并能够模拟产生流量，完成路由表深度和收敛能力测试。控制端采用HPVectraVL400