测试软件及测试终端差异性研究分析-1205.docx

测试软件及测试终端差异性研究 河南公司无线网优中心二零一五年十二月1. 概述 在当前LTE日常优化中，电信使用的测试工具以CDS、ATU、鼎立为主，设备厂家以各自公司开发的测试工具为主，不同测试工具输出的指标也各不相同。本案例是通过对华为PROBE、电信CDS、电信ATU三种常用测试设备，以DT和CQT手段评估相同终端不同软件的差异性和不同终端相同软件的差异性；以便为日常优化和评测树立标准化尺度和度量衡。2. 测试原理和方法v CDS软件ABM抽样测试：基于UDP业务的测试，下载测试和上传测试采用抽样带宽方式，在每1S内，仅在联系的100ms时间内进行UDP传输。测试过程中如果脱离LTE网络，抽样测试停机采样，终端回到休眠状态。上传/下载分别在统一终端分时隙进行测试；当拨号连接异常终端后，间隔10S后重新发起连接。1）如果是认为原因导致拨号中断，拨号异常中断前的采样点和时间纳入统计；2）测试过程中如果因网络问题超过30S应用层无任何数据传输，需断开网络连接，该数据传输过程的最后30S不纳入LTE速率统计；v Probe软件测试：Probe软件采用FTP软件进行上传/下载测试。上传/下载分别进行测试；v ATU软件PBM测试：PBM抽样测试：基于UDP业务的测试，下载测试和上传测试采用抽样带宽方式，在每1S内，仅在联系的100ms时间内进行UDP传输。测试过程中如果脱离LTE网络，抽样测试停机采样，终端回到休眠状态。上传/下载分别在统一终端分时隙进行测试；当拨号连接异常终端后，间隔15S后重新发起连接。1）如果是认为原因导致拨号中断，拨号异常中断前的采样点和时间纳入统计；2）测试过程中如果因网络问题超过30S应用层无任何数据传输，需断开网络连接，该数据传输过程的最后30S不纳入LTE速率统计；测试设备：序号项目内容1测试软件Probe3.14CDS7.1ATU2测试电脑1 酷睿 I5-2410M DDR3 2G ;Window 64位测试电脑2AMD A8-5750M DDR3 4G；Window 64位测试终端数据卡型号：HUAWEI-E392U-12;3测试方式Probe软件测试利用FTP进行大数据的下载或上传测试；CDS软件使用ABM抽样测试方法测试，并行上传下载；ATU软件利用PBM抽样测试方法测试，并行上传下载；3. 测试软件及测试终端纵横对比3.1. 不同测试软件测试结果分析分析3.1.1. CQT测试Probe和CDS差异性（-X表示次数）测试方法：利用同一台电脑分别用CDS和Probe软件测试3次进行指标对比；测试结论：CDS测试软件解析的RSRP值略低于Probe软件解析值，但CDS软件解析的SINR和平均下载速率及平均上传速率均高于Probe测试指标；SINR相差5.4dB，下载相差13.2M，上传相差5.3M；测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比CDS-1100%-102.3910.6639875100%31304100%Probe-1100%-101.498.4832187100%27894100%CDS-2100%-104.4812.0443076100%33064100%Probe-2100%-101.316.4831060100%23903100%CDS-3100%-102.3714.0952723100%33353100%Probe-3100%-103.255.5332752100%29927100%CDS-均值100%-103.0812.2645225100%32574100%Probe-均值100%-102.016.8332000100%27241100%3.1.2. DT测试Probe和CDS差异性（-X表示次数）测试方法：使用相同电脑在相同路段分别用CDS和Probe软件进行DT测试3次进行指标对比；测试结论：CDS测试软件解析的RSRP值略低于Probe解析的值，但CDS软件解析的SINR和平均下载速率及平均上传速率均远高于Probe测试指标；SINR相差3.9dB，下载相差3.4M，上传相差7.0M；测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比CDS-199.86%-87.69512.90243805100%37962100%Probe-197.38%-84.9810.5741791100%31929100%CDS-299.53%-85.32613.94545729100%38284100%Probe-299.01%-88.848.9239966100%30122100%CDS-399.75%-86.90913.46840794100%38160100%Probe-3100.00%-84.819.193827398.95%31419100%CDS-均值100.00%-86.6413.4443443100%38135100%Probe-均值99.00%-86.219.5640010100.00%31157100%3.1.3. 不同软件项目相同终端对比测试小结 通过不同软件在相同无线环境和相同电脑下测试指标对比，CDS软件的CQT指标和DT指标均优于Probe软件解析值；测试项目测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比CQT测试CDS-均值100%-103.0812.2645225100%32574100%Probe-均值100%-102.016.8332000100%27241100%DT测试CDS-均值100%-86.6413.4443443100%38135100%Probe-均值99%-86.219.5640010100%31157100%3.2. 相同测试软件不同电脑对比分析3.2.1. CDS软件不同电脑CQT测试对比；（-X表示次数）测试方法：在同一位置使用2台电脑分别用CDS软件测试3次进行指标对比；测试结论：电脑1和电脑2测试得出的RSRP值相差不大，但电脑2解析的SINR和平均下载速率及平均上传速率均远高于电脑1测试指标；SINR相差3.1dB，下载相差7.1M，上传相差7.3M；测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比电脑1-1100%-102.39 8.48 39875100%31304100%电脑2-1100%-104.48 12.04 43076100%33064100%电脑1-2100%-104.97 10.23 41657100%23669100%电脑2-2100%-102.37 14.09 52723100%33353100%电脑1-3100%-104.57 10.79 41094100%23151100%电脑2-3100%-103.80 12.83 48047100%33596100%电脑1-均值100%-103.98 9.83 40875 100%26041 100%电脑2-均值100%-103.55 12.99 47949 100%33338 100%3.2.2. Probe软件不同电脑CQT测试对比；（-X表示次数）测试方法：在同一位置使用2台电脑分别用Probe软件测试3次进行指标对比；测试结论：电脑1和电脑2解析的RSRP值相差不大，但电脑1软件解析的SINR和平均下载速率及平均上传速率均高于电脑2测试指标；SINR相差1.4dB，下载相差2.9M，上传相差1.8M；测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比电脑1-1100%-101.3126.47731060100%23903100%电脑2-1100%-101.48710.66132187100%27894100%电脑1-2100%-103.2455.52633752100%29927100%电脑2-2100%-101.216.1436788100%30317100%电脑1-3100%-103.7077.23934424100%28684100%电脑2-3100%-100.546.7138746100%29894100%电脑1-均值100%-102.75 6.41 33079 100%27505 100%电脑2-均值100%-101.08 7.84 35907 100%29368 100%3.2.3. CDS软件不同电脑DT测试对比（-X表示次数）测试方法：在同一路段使用2台电脑使用CDS进行DT测试3次进行指标对比；测试结论：电脑2解析的RSRP值高于电脑1解析的值，且电脑2软件解析的SINR和平均下载速率及平均上传速率均高于电脑1测试指标；SINR相差2.4dB，下载相差6.4M，上传相差6.6M；测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比电脑1-198.87%-92.30710.7963219792.99%2685484.08%电脑2-199.86%-87.69512.90241791100%37962100%电脑1-299.04%-91.7612.043974398.55%33952100%电脑2-299.53%-85.32613.94545729100%38284100%电脑1-395.93%-94.12910.4237191100%33880100%电脑2-399.75%-86.90913.46840794100%38160100%电脑1-平均97.95%-92.73 11.09 36377 100%31562 100%电脑2-平均99.71%-86.64 13.44 42771 100%38135 100%3.2.4. Probe软件不同电脑DT测试对比（-X表示次数）测试方法：在同一路段使用2台电脑使用Probe进行DT测试3次进行指标对比；测试结论：电脑1和电脑2解析的RSRP值相差不大，且电脑2软件解析的SINR和平均下载速率及平均上传速率均和电脑1测试指标相差不大；测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比电脑1-197.38%-84.9810.5743805100%31929100%电脑2-198.99%-84.519.884032898.99%31713100%电脑1-299.01%-84.849.9239966100%30122100%电脑2-299.01%-84.6410.424227699.01%32214100%电脑1-3100%-84.819.193827398.95%31419100%电脑2-3100%-83.519.739771100%33219100%电脑1-均值99%-84.88 9.89 40681 100%31157 100%电脑2-均值99%-84.22 10.00 40792 100%32382 100%3.2.5. 相同测试软件不同电脑对比测试 利用相同软件通过不同电脑进行CQT和DT分组测试对比，测试过程中确保测试过程中所处相同位置，测试电脑2的测试指标好于测试电脑1测试指标，如下分组测试结果；测试项目测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比CDS-CQT测试电脑1-均值100%-103.989.8340875100%26041100%电脑2-均值100%-103.5512.9947949100%33338100%CDS-DT测试电脑1-平均97.95%-92.7311.0936377100%31562100%电脑2-平均99.71%-86.6413.4442771100%38135100%Probe-CQT测试电脑1-均值100%-102.756.4133079100%27505100%电脑2-均值100%-101.087.8435907100%29368100%Probe-DT测试电脑1-均值99%-84.889.8940681100%31157100%电脑2-均值99%-84.221040792100%32382100%3.3. ATU和Probe对比分析3.3.1. CQT测试Probe和ATU差异性（-X表示次数）测试方法：在同一位置使用1台电脑使用Probe软件进行CQT测试及使用一部ATU设备进行CQT测试测试3次进行指标对比；测试结论：无论好点还是差点ATU测试软件解析的RSRP值高于Probe解析的值，且ATU软件解析的平均下载速率及平均上传速率均高于Probe测试指标；下载相差9.7M，上传相差3.1M；测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比ATU-1100%-81.813.5218216.6100%21920.76100%probe-1100%-79.5610.6243697.38100%33402.82100%ATU-2100%-81.1114.734339.58100%35519.09100%probe-2100%-78.859.4139965.77100%34365.54100%ATU-3100%-79.3616.3641547.64100%34751.18100%probe-3100%-78.639.0539564.54100%33678.4100%ATU-平均100%-80.76 14.86 31368 100%30730 100%probe-平均100%-79.01 9.69 41076 100%33816 100%3.3.2. DT测试Probe和ATU差异性（-X表示次数）测试方法：在同一路段使用1台电脑使用Probe软件进行DT测试及使用一部ATU设备进行DT测试测试3次进行指标对比；测试结论：ATU测试软件解析的RSRP值略高于Probe解析的值，且ATU软件解析的SINR和平均下载速率及平均上传速率均高于Probe测试指标；SINR相差不大，下载相差4.9M，上传相差6.6M；测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比ATU-198.48%-71.4815.9652138 100%26854100%probe-198.99%-73.5715.6552700 100%37962100%ATU-299.21%-73.7515.1647719 100%33952100%probe-299.45%-73.9515.8253887 100%38284100%ATU-398.87%-75.2515.5248020 100%33880100%probe-399.24%-73.3815.5855926 100%38160100%ATU-平均99.21%-73.49 15.55 49292 100%31562 100%probe-平均99.23%-73.63 15.68 54171 100%38135 100%3.3.3. ATU和Probe测试对比 利用ATU和Probe软件进行分组测试，通过CQT和DT分组对比测试，Probe软件测试指标要好于ATU测试指标；测试项目测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比CQT测试ATU-平均100%-80.7614.8631368100%30730100%probe-平均100%-79.019.6941076100%33816100%DT测试ATU-平均99.21%-73.4915.5549292100%31562100%probe-平均99.23%-73.6315.6854171100%38135100%4. 总结：1、 CDS和Probe软件利用统一测试终端相比较，通过CQT和DT分组测试，CDS测试指标优于Probe测试指标；2、 CDS软件通过不同终端通过CQT和DT分组测试与Probe软件在相同条件下测试相比较，Probe软件在不同终端下的测试指标相差不大；CDS在不同终端条件下的测试结果差异性很大，对测试终端要求较高；3、 ATU和Probe相比较，相同条件下ATU测试指标差于Probe测试指标；测试项目测试条件覆盖率RSRP均值SINR均值下载均速下载优良比上传均速上传优良比CQT测试CDS-均值100%-103.0812.2645225100%32574100%Probe-均值100%-102.016.8332000100%27241100%DT测试CDS-均值