SpirentAbacus性能及功能测试培训

1、Abacus100性能及功能测试培训唐im.tang议题性能测试语音质量测试Modem/fax测试回声测试补充业务测试性能测试PSTN/VOIP网络性能网络（包括一个或多个网络单元）性能网络性能是指网络或网络单元能够承受的最大能力，通常表现为BHCA (Busy-Hour-Call-Attempt) 或 CPS (Call Per Second)，以及呼叫完成率或呼损率等指标网络性能受网络单元设备的软硬件性能和网络传输损伤等多方面因素影响，因此测试应考虑网络损伤情况网络性能测试方法同步呼叫、异步呼叫、长保持呼叫纯信令呼叫、加载媒体流（语音/视频）呼叫PSTN网络、VO

2、IP网络、IMS网络、承载网络。本地呼叫测试、异地分布式呼叫测试 负荷压力呼叫测试负荷压力呼叫测试，一般分为同步呼叫和异步呼叫两种，有纯信令呼叫和带媒体流呼叫两种模式，分别测试系统对信令和媒体流的在峰值压力下和恒定压力下的呼叫处理能力。 需要测试仪表仿真大量的用户发起呼叫，来精确验证VOIP系统的最大呼叫处理能力，得到“平衡点”的BHCA（每小时的呼叫处理次数）或者CPS（每秒钟的呼叫处理次数），呼损一般不能超过万分之一。“平衡点”是符合以下条件的网络最大呼叫处理能力(BHCA/CPS)呼损率不能超过万分之一（各个国家规范有所不同）语音质量要符合国家规范（中国规范：PESQ=4.0）语音单向延

3、迟要符合ITU的规范（ITU：OneWayDelay150ms）呼叫建立时间符合国家规范（中国规范：轻载1s / 重载2s）拨号音延迟符合ITU规范（ITU：DailToneDelay500ms）回声、抖动、丢包等指标处于正常范围 PSTN/VOIP网络性能 同步呼叫同步呼叫一般分为纯信令和带媒体流的两种，分别测试系统对信令和媒体流的处理能力 同步呼叫一般采用几十到几千个用户同时发起呼叫，使用二分法，精确验证出PSTN/VOIP系统同时能够处理多少路呼叫并发，是一种峰值压力的测试 同步呼叫测试时间一般不超过1小时；呼损不能超过万分之一 PSTN/VOIP网络性能 异步呼叫异步呼叫一般分为纯信令

4、和带媒体流的两种，分别测试软交换对信令处理能力和媒体网关对媒体流处理能力 异步呼叫一般由足够多的用户采用异步方式发起呼叫（例如间隔一秒发呼一个用户），通过更改呼叫保持时间和呼叫间隔时间来调整压力，精确验证出PSTN/VOIP系统的呼叫性能，通常体现在BHCA和CPS数值上，即系统每小时或每秒处理呼叫的能力 测试时间一般超过1小时，甚至达到24小时或48小时或更长时间；呼损不能超过万分之一 PSTN/VOIP网络性能 长保持呼叫长保持呼叫一般分为纯信令和带媒体流的两种，分别测试软交换对信令处理能力和媒体网关对媒体流处理能力 长保持呼叫一般由足够多的用户采用同步或异步方式发起呼叫，呼叫保持时间一般

5、不低于8小时，精确验证出PSTN/VOIP系统的对于长呼叫的处理能力，即在规定时间内有无“掉话”通常体现在呼损数值上，不能超过万分之一 或者不允许有呼损发生网络性能的其他参数 呼叫过程音呼叫过程音由网络提供，用来提示网络状况或呼叫过程Dial Tone 拨号音，代表网络资源可用，准备接受用户拨号Busy Tone 忙音，表示被叫资源忙Congestion Tone 拥塞音，表示网络拥塞，资源不足Ring back Tone 回铃音，表示被叫振铃，资源可用网络用户对于这些呼叫音都很熟悉网络用户只是期待这些呼叫音，并不关心网络类型听到这些音表明网络正常听不到这些音就认为网络设备或终端设备异常网络性

6、能的其他参数 呼叫过程音（续）呼叫过程音的检测是确保网络性能的有效方法之一这种方法主要检测呼叫过程音的时延Dial tone delay （摘机到听到拨号音）Dial Tone Delay 500msAcknowledgement delay （拨号完毕到被叫应答）Post dial delay （拨号完毕到听到回铃音）One-way Delay （被叫应答到主叫听到被叫的应答）根据ITU-T建议, One-way delay 400ms （卫星电路除外） 用户感受的呼叫过程音之间的延迟网络性能的其他参数 信令时延PSTN Signaling SS7, ISDN, GR-303, V5VoIP

7、 Signaling SIP, H.323, MGCP, MEGACO, SIGTRAN, SCCP信令时延取决于消息发送到接受的时间多数情况下是传输过程中产生的但是也不完全是网络引起的这种时延有时候是由于设备/终端内部引起的高呼叫量会对信令时延产生影响网络时延往往被忽略，尤其网络对信令包采取优先策略时高呼较量产生的延迟，可以通过改善网络设备软硬件处理技术来得到缓解网络性能的其他参数 信令时延（续）Response Time = (t1 t0)Post Dial Delay = (t2 t0)Call Setup Time = (t3 t0)Tear down Time = (t5 t4)信令

8、时延 Post Dial DelayPOST Dial DelaySS7PDD = time (ACM received) time (IAM Sent)PRIPDD = time (Alerting received) time (Setup Sent)SIP/SIP-TPDD = time (180 Ringing Received) time (INVITE Sent)H.323PDD = time (Q.931 Alerting Received) time (Q.931 Setup Sent)MGCP (MGW)PDD = time (RQNT Received Indicating

9、 G/rt) time (NTFY sent w/ Digits)MEGACO (MGW)PDD = time (MODIFY Received Indicating al/rt) time (NOTIFY sent w/ DigitString)信令时延 SIPResponse Time = (time first Response Rx time INVITE Tx)Post Dial Delay = (time 180 Ringing Rx time INVITE Tx)Call Setup Time = (time 200 OK Rx time INVITE Tx)Tear down

10、Time = (time 200 OK Rx time BYE Tx)PSTN/VOIP 网络性能的进一步分析网络性能测试结果BHCA/CPS未达到设计要求，我们要找原因我们使用二分法很快测出网络的最大BHCA/CPS，此时还要记录信令延迟（例如，PostDialDelay)，数值可能很大；然后，我们降低话务量，再记录此时的信令延迟；如果信令延迟与话务量成正比，而且话务量较低时信令延迟很小，这说明网络已经达到极限，出现大量呼叫排队，我们应该通过改善软硬件配置来提高性能；如果信令延迟基本不随话务量变化而变化，那么可以肯定问题在网络上，我们要分析网络上为什么存在这么大的延迟。单向延迟的变化分析方法

11、相同。只不过它是对媒体流的分析。用户使用模拟呼叫器进行网络性能测试我们可以使用拨号音延迟（DialToneDelay)来帮助我们查找问题。如果DialToneDelay超过500ms甚至1s，那就说明VOIP呼叫处理设备的拨号音发送器资源不足，话务量增大导致排队时间过长，很可能这是制约VOIP网络性能的最大瓶颈！VOIP测试结果分析举例DUT：AG （设计性能 15,000 BHCA）测试方案：通过模拟analog终端和SS来验证MG性能结果：BHCA=15000，Call Error Rate (24 hours) = 0通常客户会认为：DUT达到设计指标BHCA=15000时Dial To

12、ne Delay = 1500msPESQ = 3.0BHCA=10000时Dial Tone Delay = 450msPESQ = 4.1最后结论DUT的最大性能是 BHCA=10000!而不应该是15000性能测试问题解答Q1：如何计算 CPS / BHCA? 我们的测试例需要多少用户仿真?仪表仿真的用户数应该至少大于测试例中要求的最大并发呼叫数目的两倍；Cps=总用户数/一个呼叫周期(呼叫时长+空闲时长)并发呼叫数 = CPS * 呼叫保持时长；Abacus目前支持CPS设定；根据需要仿真的用户数目来估算需要多少测试资源（例如：需要多少板卡）Q2: 如何去寻找 “平衡点”?第一次测试按

13、照被测系统的设计容量(BHCA/CPS)来进行;；然后使用二分法寻找 “无差错点”；如果其他参数也满足“平衡点”条件，那么“无差错点”= “平衡点”； 否则，降低呼叫话务量，直到其他参数也满足条件。如何在abacus100上查看信令时延指标?配置abacus100统计post dial delay统计前需正确配置ringback tone的频率如配置不当，可能会导致abacus100无法正确检测ringback tone而报“no ringback tone”错误语音质量测试PSTN网络参数对于语音质量的影响通话回声语音压缩A/D & D/A 转换噪声 电路噪声/外部噪声 （造成声音衰减与失真

14、变形）单向时延随机误码 (BER 10-6)语音间断与滑码话务量VOIP网络参数对于语音质量的影响网络架构接入连接的类型QoS控制下的边缘路由MTU大小包丢失 包乱序单向延迟（延迟）可变延迟（抖动）时钟漂移流量负载大小路由翻动信令/协议不匹配网络及链路故障语音质量影响因素示意图信号失真SignalDistortions祯丢失Frame Loss延迟Latency抖动Jitter语音质量VoiceQuality编解码（Codec）传输线路Transmission网络拥塞NetworkCongestion交换与路由Switching &Routing语音的频率范围对语音质量的影响人能够听得见的声音

15、范围：20HZ 20000HZ人能够说得出的语音范围：300HZ 3400HZ通常我们所说的语音质量是指 300HZ-3400HZ 的通话质量不同频段对于语音处理设备的敏感度不同，通常男声/女声的语音质量不同话务量对语音质量的影响此图中，Media可以是语音、视频或者数据，一般理解为呼叫承载量，或者成为呼叫负荷，当这个承载量超过或接近系统最大能力时，语音质量就会明显下降。QOS控制对语音质量的影响ITU-T Y.1541 定义了不同的QOS等级网络节点对QOS等级的控制是否合理，将导致网络损伤产生的程度，间接影响网络的语音质量QoS(Y.1541)应用（示例）节点机制网络技术0高质量视频和Vo

16、IP、VTC（实时应用、对丢失敏感、对抖动敏感、互动水平高）严格的 QoS，确保无过载受限制的路由和距离，用于专网1VoIP、 VTC （实时应用、对丢失敏感、对抖动敏感、互动水平高）具有服务流量优先权的独立队列限制较少的路由和距离2较低的视频和VoIP质量、信令、事务数据（高互动水平）独立的队列，可丢弃的优先级受限制的路由和距离3事务数据、互动独立的队列，可丢弃的优先级受限制较少的路由和距离4事务较少、主要是数据（损失较低）长队列、可丢弃的优先级任意路由/路径5传统的 Internet应用（默认IP网络）独立的队列（最低优先级）任意路由/路径VOIP中常用语音编码Codec & Bit Ra

17、te (Kbps) Codec Sample Size (Bytes) Codec Sample Interval (ms) Mean Opinion Score (MOS) Voice Payload Size (Bytes) Voice Payload Size (ms) Packets Per Second (PPS) Bandwidth Ethernet (Kbps) G.711 (64)80104.1160205087.2G.729 (8)10103.9220205031.2G.723.1 (6.3)24303.924303421.9G.723.1 (5.3)20303.820303

18、420.8G.726 (32)2053.8580205055.2G.726 (242G.728 (16)1053.6160303431.5= 80 ms Speech= 40 ms Speech= 20 ms Speech80 Bytes40 Bytes20 Bytes包大小对语音质量的影响（G.729为例）注释: 包长度越小，语音质量越好VOIP正常包长度语音编解码对语音质量的影响MOS Scores by Audio CODEC12345G.711 PCM(64 Kbps)G.726 ADPCM (32 Kbps)G.728 LD-CELP (16 Kbps)G.

19、729 CS-ACELP(8 Kbps)EVRCG.723.1 MPMLQ(6.3 Kbps)G.723.1(5.3 Kbps)AMRToll QualityMOS by CODEC: Coder / DecoderPCM = Pulse Code ModulationADPCM = Adaptive Differential Pulse Code ModulationCS-ACELP = Conjugate-Structure Algebraic-Code-Excited Linear-PredictionLD-CELP = Low-Delay Code Excited Linear Pre

20、dictionAMR = adaptive multi-rate. Used for GSM wireless.EVRC = Enhanced Variable Rate CODEC. Used for CDMA (Code Division Multiple Access) 2000MPMLQ = Multi-pulse Maximum Likelihood Quantization丢包对于语音质量的影响丢包的来源网络拥塞包延迟到达乱序错包丢包会严重影响语音质量丢包对于语音质量的影响程度还取决于编码算法不同的编码算法对于丢包的处理并不相同例如G.711带有一个额外的丢包补偿机制(packet

21、 loss Concealment)丢包对于语音质量的影响(续)G.113附录I定义了一个Ie参数用于反映丢包对于语音质量的影响Ie是一个数值，代表设备层面引入的损伤Ie值越大，表明损伤越大。0表示没有损伤。由下面公式可以看到语音质量R Factor和Ie成反向的关系R = Ro - Is - Id - Ie + AR Transmission rating factorRoBasic signal-to-noise ratioIsAll simultaneous impairmentsIdAll delaysIeEquipment Impairment factorAExpectation

22、factor丢包对语音质量的影响丢包对R-Factor 影响十分明显Total Packets sentR-Factor ScorePackets loss %Voice CodecsJitter的来源不同节点上的处理时间不同例如，流量比较大的路由器可能会花更长的时间去查看路由表传输队列延迟不同例如，网络壅塞的出现语音包语音蓄水池连续平滑语音流抖动缓冲（Jitter Buffer） Jitter Buffer 可以平滑语音流 50ms抖动(Jitter)对语音质量的影响包到达时间不可预知抖动(Jitter)越小，语音质量越好20 Bytes1,500 BytesVoiceData 长包 vs.

23、 短包端对端延迟来源算法延迟串行延迟传输延迟节点延迟影响语音质量的固定延迟固定 编码 缓冲 VAD 压缩算法固定 交换可变 语音争用 数据争用 视频争用固定 串行广域网固定 交换 传输 串行可变 语音争用 数据争用 视频争用固定 交换可变 语音争用 数据争用 视频争用固定 解码可变 去抖动缓冲 包丢失隐藏源发局域网核心网络终结局域网源发网关边缘路由器核心网络路由器终结网关边缘路由器固定 串行广域网影响语音质量的可变延迟语音/数据/视频争用抖动缓冲丢包补偿延迟对语音质量的影响PSTNITU-T G.114建议延时对于语音质量的影响ITU G.114 相关建议如果单向时延大于25ms,则需要启用回

24、声抑制器大多数用户都能接受带回声抑制的单向时延小于150ms的环境150-400ms: 对于语音应用，用户满意度开始下降。其他应用尚可以接受。400ms以上：大多数的应用都无法接受。主动测试（介入式）发送、接收和对比波形文件，对语音质量进行端到端的客观评估MOSPSQM、PSQM+PESQ被动测试（非介入式）R-Value 测量RTP包上的语音质量基于E-Model模式 (ITU-G.107)日本 J-MOSP.563（ITU-T推荐）根据音频信号测量语音流量的语音质量提供PSQM估计值语音质量测试方法人的主观评价 (MOS)Mean Opinion Score (MOS)ITU-T P.80

25、0分值从 1 到 54 以上认为语音质量很好取决于人的听觉问题测试比较昂贵难以重复主观性太强PSQM (ITU-T P.861)PSQM (Perceptual Speech Quality Measurement)由荷兰的 KPN 组织发明1996年8月，得到ITU-T认可，成为标准主动介入式语音质量测试技术范围从 0 到 6.5: 0 最好, 6.5 最差, 小于4 勉强可以接受算法比较简单，对处理器硬件要求不高目前已经被多数机构抛弃，改为采用 ITU-T P.862 (PESQ)PESQ (ITU-T P.862)Perceptual Evaluation of Speech Quali

26、ty (PESQ)荷兰的KPN与英国BT联合发明2001年2月，得到ITU-T认可, 成为语音质量测试标准经实践检验，可以替代 PSQM 和 PAMS主动介入式语音质量测试技术范围从 0.5 到 4.53.5以上认为可以接受问题算法复杂对于处理器硬件的要求较高PESQ (ITU-T P.862) 续。PESQ具有附加诊断信息查找更多的语音质量问题PESQ可以在多数应用场合，精确的预报/转换人体主观评价指标，MOS-LQO PESQ在用户话机侧和网络侧都有过滤补偿机制 PESQ基于 PAMS 技术, 易于识别和计算延迟变化 主动（介入式）语音质量测试方法DUT发送波形文件接收波形文件通过对比发送

27、和接收的Wave文件来评估语音质量MOS、PSQM、PSQM+、PESQ发送（绿色）和接收（橙色）波形文件扩展后的发送（绿色）和接收（橙色）波形文件PESQ得分与 PESQ评估次数E-Model（G.107）（被动式语音质量）ITU G.107由ETSI发明与PESQ不同，强调网络损伤的存在主要应用于传输层面与MOS, PSQM, PESQ, PAMS 不同，属于非介入式测试结果更加取决于网络结构和性能R = Ro - Is - Id - Ie + AR Transmission rating factorRoBasic signal-to-noise ratioIsAll simultane

28、ous impairmentsIdAll delaysIeEquipment Impairment factorAExpectation factorE-Model（G.107）（续）Range of E-Model Rating R Speech transmission quality category User satisfaction 90 R 100 Best Very satisfied 80 R 90 High Satisfied 70 R 80 Medium Some users dissatisfied 60 R 70 Low Many users dissatisfied

29、50 R 60 Poor Nearly all users dissatisfied NOTE 1Connections with E-Model Ratings R below 50 are not recommended. NOTE 2Although the trend in transmission planning is to use E-Model Ratings R, equations to convert EModel Ratings R into other metrics, e.g. %MOS, %GoB, PoW can be found in ITU-T Rec. G

30、.107 Annex B 1. E-Model在Abacus上的输出值为R-Factor各种语音质量指标之间的转换关系 P.861PSQM/PSQM+P.862PESQ06.5-0.54.5端到端的语音质量测试端到端性能测试发起带有RTP媒体流的真实呼叫，检验网络性能和功能检验语音质量单向延迟 (One Way Delay)精度达到 +/- 2 ms思博伦语音质量的测试工具Abacus(5000,100,50)主动式语音质量测试，输出参数包括：MOS,PSQM,PESQ,MOS-LQ0,J-MOS,R-Factor(P.834)被动式语音质量测试(端点分析)，输出参数包括：R-Factor(G

31、.107)支持网络损伤统计：丢包、时延、抖动、乱序、语音间断/滑码、回声支持各种呼叫延迟(Timer)统计，包括：DialToneDelay, PostDialDelay, RingTimeDelay, OneWayDelay, RoundTripDelay, AckowledgementDelay, CallSetupDealy, ResponseTimeDelay, TearDownDelay, 。支持本地测试和异地分布式测试ClearSight被动式语音质量测试(监控分析)，输出参数包括：R-Factor, MOS支持本地测试和异地分布式测试配置abacus100进行语音质量测试Adva

32、nced配置窗口Channels通道配置Advanced 菜单用于配置话音质量或者传真、Modem测试选择语音测试标准选择语音测试文件视频质量测试传真、Modem测试语音质量测试语音质量测试 Real Measurement over time对每一次的语音质量进行monitor对抓到的语音波形进行回放和对比分析Modem/Fax测试Abacus100 = 32个V.34 模拟数据modem最多支持32路 V.34 Analog Data ModemV.34模拟数据modemAbacus100支持V.34模拟数据ModemV.34 定义2.4 kbps到33.6 kbps传送数据的调制方法Ab

33、acus100支持用户自定义各种modem协议，来支持各种收发数据的传输参数V34: abacus支持从2.4Kbps到26.4K各种速率V32bis: 从4.8kbps到14.4KbpsV23V22bisV21用户在Protocol-Development窗口中进行自定义，并在Partition and Timing | Protocols panel窗口中来选择Abacus100支持最多32路V.34模拟数据Modem 96个 T.30 Fax = Abacus 100T.30 Fax up to V.17Abacus 100 支持 T.30 Fax up to V.17T.30定义两台传

34、真机间的数据交换能力的协商过程调制方法:支持不同速率的各种协议V17: 7.2 kbps, 9.6 kbps, 12.0 kbps, and 14.4 kbpsV29: 7.2Kbps and 9.6KbpsV27：2.4Kbps and 4.8KbpsAbacus100 支持最多96路T.30 FaxResolution(dpi): 200*100(normal), 200*200(fine)T30 FAX协商过程Modem/fax测试统计指标FAXConnection speedThroughput speedConnection timeReceived Fax pagesFax line error rate ModemConnection speed(Tx/Rx)Throughput speed(Tx/Rx)Modem bit error rateCall completionsErrorsFax monitor and captureFax