NB-IoT网络质量测试评估规范

1、NB-IoT网络质量测试评估规范中国移动通信有限公司2017年8月目录1 目标 32 总体原则 33 NB-IOT网络性能测试规范 43.1 室外道路测试规范 43.2 定点测试规范 54 NB-IOT指标分析规范 74.1 NB-IOT 网络性能评估指标 74.2 NB-IOT遍历小区及基站的统计 141 目标本测试评估规范用于网络建设初期，评估和分析各省、市的NB-IoT网络性能和网络质量。2 总体原则1. 评估应包括室外、室内多个场景，场景选择应和客户实际业务发生一致。2. 评估应充分考虑数据质量和采集效率，使用自动化手段进行，评估期间最大限度降低人为干预。3. 测试评估体系根据目标，主

2、要从“网络性能评估”维度考虑。其核心内容、指导方向、测试手段和主要指标如下：核心内容由于NB-IoT网络不支持切换，主要通过室外道路遍历测试和定点测试两种方式对网络性能进行评估。网络性能指标排除了数据源、网间互联等因素，反映的是网络的极限能力，不代表客户的真实感知。指导方向a) 反映网络覆盖、干扰、资源等方面的问题，指导网络规划建设；b) 指导网络层面的性能和质量优化。测试手段自动测试平台、自动测试前端ATU 、扫频仪。主要指标a) 覆盖、干扰、重叠覆盖度等网络指标；b) 速率、时延、成功率等主要业务指标；c) 基站、小区遍历性指标。3 NB-IoT 网络性能测试规范3.1 室外道路测试规范N

3、B-IoT室外道路测试主要采用NB-IoT扫频仪和ATU设备进行网络性能测试，主要测试方法及要求如下： 1. 测试区域按照网格划分（建设区域）区域进行测试；2. 测试道路城区范围：包含背街小巷在内的所有1-4级道路；交通干线：铁路（重点是高速铁路和动车组）、高速公路、国道省道等；县城城区：县城城区范围内的主要道路；农村及旅游景点：乡镇、行政村、旅游景点及连接道路。3. 测试路线 按照指定路线进行道路遍历性测试，合理规划路线尽量减少重复道路测试；4. 测试轨迹记录测试仪表需配备相应GPS 设备进行测试轨迹记录。5. 测试仪表及数据处理必须使用集团集采的测试仪器仪表，数据处理采用集团自动路测平台进

4、行统一汇总统计；6. 测试速度城区保持正常行驶速度，不设置最高限速，平均车速需达到20Km/h ；高速测试按照高速公路实际限速正常行驶； 7. 渗透率、重复率不考虑实际交通情况，渗透率需达到85%以上、重复率不得高于30%。8. 测试条件：全网下行模拟50%加扰9. 测试方法和步骤1） 步骤 1 ： 采用测试业务1,遍历事先选择的道路行驶路线。遍历过程中，如果有脱网、掉线，则停车重新恢复业务。2） 步骤2：采用测试业务2，重复步骤13） 步骤3：采用测试业务3，重复步骤14) 步骤4:采用测试业务4,重复步骤1序号测试业务测试内容概要1NB-IoT空闲态测试(1)测试终端：处于Idle态，不做

5、任何业务(2)扫频仪：对服务小区和邻区进行扫频若测试终端和扫频仪的测试结果相当(覆盖、干扰、重叠覆盖度等)，则使用测试终端测试即可。2Ping小包业务ping 包大小：20byte每次从空闲态发起ping包业务，ping响应超时时延设置为30s, ping周期设置60s3Ping大包业务ping 包大小：200byte每次从空闲态发起ping包业务，ping响应超时时延设置为30s, ping周期设置60s4终端开关机测试终端开机、关机操作：(1) 开机：终端开机，发起 Attach Request到AttachComplete(2) 关机：终端从空闲态发出Detach Request开机到关

6、机的时间间隔 60s;关机到开机的时间间隔 60s。3.2定点测试规范NB-IoT定点测试主要采用ATU设备进行网络性能测试，主要测试方法及要求如下：1 .测试楼宇根据城市的规模，测试楼宇的数量可不同。楼宇数量至少需满足：(1) 一线城市及省会城市：40个楼宇(2)二线城市：30个楼宇(3)其他城市：20个楼宇所选取的测试楼宇均匀分布于城市的不同网格中，测试楼宇类型包括但不仅限于党政军机关、写字楼、居民楼、宾馆酒店、餐饮娱乐、交通枢纽、学校、大型商超。2 .测试选点从物联网典型应用场景选择测试点，且一个城市所选取的定点场景需遍历到此城市包含的所有业务类型。场景包括但不仅限于：a）物联网典型应用

7、场景：弱电井、车库、地下室、水电气表间、管道井等b）公众用户所及区域：走廊、过道、办公区、会议室、楼梯、电梯厅等? 室内选点要求：低层楼宇：五层以下楼宇选取低层，共一层，每层选择2个测试点中层楼宇：二十层以下楼宇选取低层、高层各一层，每层选择 2个测试点高层楼宇：二十层以上楼宇选取低层、中间层、高层各一层，每层选择2个测试点若楼宇有地下室场景，则地下室也作为测试楼层，选择2个测试点。? 室外选点：在每个楼宇外围选择2个室外测试点，测试点尽量为物联网典型应用场景，如室外停车位3 . GPS定位：测试人员进入楼宇前需首先进入GPS定位、上报测试点。4 .测试仪表及数据处理： 必须使用集团集采或业内

8、成熟的测试仪器仪表，数据处理采用集团自动路测平台进行统一汇总统计。5 .测试步骤a）步骤1:在选定的测试定点上，ATU设备进行测试业务1b）步骤2：更换为测试业务2,重复步骤1c） 步骤3:更换为测试业务3,重复步骤1d）步骤4:更换为测试业务4,重复步骤1序号测试业务测试内容概要1UDPt数据量上传业务文件大小：1MByte;定点测试，连续发包，定点持续发送3分钟以上的业务；每个点测试1次2UDPit数据量下载业务文件大小：1M Byte ;定点测试，连续发包，定点持续发送3分钟以上的业务；每个点测试1次3Ping小包业务ping 包大小：20byte定点测试，每次从空闲态发起ping包业务

9、，每个点ping包10次4Ping大包业务ping 包大小：200byte定点测试，每次从空闲态发起ping包业务，每个点ping包10次4 NB-IoT指标分析规范4.1 NB-IoT网络性能评估指标1 .覆盖类指标该部分指标来源于 3.1 室外道路测试规范” 步骤1的测试结果，扫频仪和ATU空闲态终端分别给出。全部网格及各网格分别给出统计结果。序号指标定义说明单位统计10g来源1覆盖率覆盖率=条件采样点/总采 样点*100; NB-IoT条件采 样点： RSRP = -94dBm（密集城区）、RSRP = -97dBm （一般城区）；综合接收场强和信干比，描述全网的覆盖情况%3.1的步骤1

10、,包 括扫频仪和ATU 设备的测试结果2平均RSRP参考信号平均接收电平从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度dBm3.1的步骤1,包 括扫频仪和ATU 设备的测试结果3边缘RSRP取RSRP中CDF等于5%的值如果边缘RSRP太低，不能达到 网络最低覆盖要求。如果边缘RSRP过高，小区间干扰也会严 重。故NB -IoT更加重视利用边 缘覆盖电平，来评估小区边缘的 覆盖dBm3.1的步骤1,包 括扫频仪和ATU设备的测试结果4RSRP连续弱覆盖比NB-IoT连续弱覆盖里程/NB-IoT测试里程*100%评估路测中参考信号 RSRP接收 功率情况，反映服务小区覆盖的%3.

11、1的步骤1,包 括扫频仪和ATU例主要指标。 其中：弱覆盖里程 的定义为持续10秒70%的采样点路段满足 RSRP - 89 dBm（密集城区）、-92dBm （一般 城区）。设备的测试结果5RSRP连续无覆盖比例NB-IoT连续无覆盖里程/NB-IoT测试里程*100%评估路测中参考信号 RSRP接收 功率情况，反映服务小区无覆盖 的情况。连续无覆盖里程的定义 为持续10秒70%的采样点路段 满足RSRP - 99 dBm （密集城 区）、-102dBm （一般城区）%3.1的步骤1,包 括扫频仪和ATU 设备的测试结果注1:覆盖率RSRP门限为，NB-IoT的验收指标（规划指标-OTA损耗

12、-车体损耗）。2 .干扰类指标该部分指标来源于 3.1 室外道路测试规范”步骤1的测试结果，扫频仪和ATU空闲态终端分别给出。全部网格及各网格分别给出统计结果。序号指标定义说明单位统计log来源1平均 RS-SINR参考信号平均接收 信号与干扰噪声比从参考信号平均接收信号与干扰 噪声比角度，评估全网的平均干 扰强度dB3.1的步骤1,包 括扫频仪和ATU 设备的测试结果2边缘 RS-SINR参考信号平均接收信号与干扰噪声比取CDF （累计概率分布）5%对应的值从参考信号平均接收信号与干扰 噪声比角度，评估全网各小区边 缘的干扰强度dB3.1的步骤1,包 括扫频仪和ATU 设备的测试结果3连2重

13、SINR质差里程占比连2萋SINR质差里程/NB-IoT测试里程*100%评估RS-SINR质差里程；其中：SINR质差里程定义为持续10秒且 70%的采样点CRS-SINR=4的采样点/总采样点*100%;重叠覆盖度 指与最强信号电平差距在6dB范围内的 电平数量，且最强信号 RSRP -89 （密 集城区）或92dBm（一般城区）；重叠覆盖度=4,即认为存在较严 重的重叠覆盖情况；从参考信号 平均接收信号电平角度，评估服 务小区覆盖范围内强信号邻区叠 加的程度%3.1的步骤1,包 括扫频仪和ATU设备的测试结果5重叠覆盖里程 占比道路重叠覆里程占 比=连续重叠覆盖度=4的里程/总 测试里程

14、 * 100%评估全网内重叠覆盖里程占比， 一定程度上反映网络建设合理性%3.1的步骤1,包 括扫频仪和ATU 设备的测试结果6Mod3冲突比例Mod3冲突比例=Mod3冲突小区数 量/测量到的邻区数量总数*100%PCI = 3* Group ID （ S -SS）+ Sector ID （P-SS）,如果 PCI mod 3值相同 的话，就会造成P-SS的干扰；实 际网络必然中存在两邻区 PCI模3 无法错开的情况。模3会造成CRS 信号相互干扰，使SINR降低；重 叠覆盖和模3干扰同时存在，以重 叠覆盖影响为主%3.1的步骤1,包 括扫频仪和ATU设备的测试结果3 .调度类指标指标来源：

15、根据一个城市所有的定点测试结果统计（含室外和室内）下述指标， 统计时需对不同的ping包大小进行区分统计。序号指标定义说明单位统计log的来源1上行物理层速率（含掉线）物理层总上传量（含 掉线）/上传总时长（含掉线），每个点 分别计算再求平均。评彳t NB-IoT网络上行传输性能的重要指标Kbps3.2的步骤12上行物理层速率 （不含掉线）物理层总上传量（不 含掉线）/上传总时 长（不含掉线），每 个点分别计算再求 平均。评彳t NB-IoT网络上行传输 性能的重要指标Kbps3.2的步骤13下行物理层速率 （含掉线）物理层总下载量（含 掉线）/下载总时长（含掉线），每个点 分别计算再求平均。

16、评彳t NB-IoT网络下行传输性能的重要指标Kbps3.2的步骤24下行物理层速率 （不含掉线）物理层总下载量（不 含掉线）/下载总时 长（不含掉线），每 个点分别计算再求 平均。评彳t NB-IoT网络下行传输性能的重要指标Kbps3.2的步骤25MAC层上行平均BLERMAC层上行BLER=上行总错误TB数/上行传输总TB数*100% ,每个 点分别计算再求平 均。评估数据传输的误码程度， 反映系统保证传输数据的准 确性和稳定性，间接反映空 口的质量%3.2的步骤16MAC层下行平均 BLERMAC层下行BLER= 下行总错误TB数/下 行传输总TB数 *100% ,每个点分 别计算再求

17、平均。评估数据传输的误码程度， 反映系统保证传输数据的准 确性和稳定性，间接反映空 口的质量%3.2的步骤27下行NPDSCH平均重复次数每次调度下行 NPDSCH重复次数 总和/调度次数，每 个点分别计算再求 平均。评估下行业务信道的重复次 数，反映空口的质量次3.2的步骤28上行NPUSCHFormat 1平均重复次数每次调度上行NPUSCH重复次数 总和/调度次数，每 个点分别计算再求 平均。评估上行业务信道的重复次数，反映空口的质量次3.2的步骤19上行MCS统计上行MC钎均值=上 行码字MCSt总和/ 上行码字MCS上报 次数，最高频率MCS 占比=max（每种MCS 上报个数/MC

18、S上报 个数总和），每个点 分别计算再求平均。评估采用的平均调制编码方 式统计，可以间接反映了当 前数据传输速率的大小3.2的步骤110下行MCS统计下彳T MC钎均值=下 行码字MCSt总和/ 下行码字MCS上报 次数，最高频率MCS 占比=max（每种MCS 上报个数/MCS上报 个数总和），每个点 分别计算再求平均。评估采用的平均调制编码方 式统计，可以间接反映了当 前数据传输速率的大小3.2的步骤211上行NPUSCHFormat 1平均调度的子载波个数每次调度上行NPUSCH子载波数 总和/调度次数，每 个点分别计算再求 平均。评估上行信道的调度情况个3.2的步骤112上行NPUSC

19、HFormat 13.75KHz的比例上行3.75KHZ子载波 的调度次数/总调度 次数，每个点分别计 算再求平均。评估上行信道的调度情况个3.2的步骤113上行NPUSCHFormat 13.75KHz ST勺比 例上行3.75KHz S万载 波的调度次数/总调 度次数，每个点分别 计算再求平均。评估上行信道的调度情况个3.2的步骤114上行NPUSCHFormat 1 15KHzST勺比例上行15KHz S万载 波的调度次数/总调 度次数，每个点分别 计算再求平均。评估上行信道的调度情况个3.2的步骤115上行NPUSCHFormat 1 15KHzMT的比例上行15KHz MT子载 波的

20、调度次数/总调 度次数，每个点分别 计算再求平均。评估上行信道的调度情况个3.2的步骤118定点测试的Ping 包成功率Ping包成功的总次 数/ping包总次数，每个点分别计算再求平均。评估室内外定点测试情况下 的业务性能%3.2的步骤3和步2H4 ,两种ping包大小区分统计19定点测试的Ping 包时延Ping包总时延/ping包总次数，每个点分 别计算再求平均。评估室内外定点测试情况下的业务性能秒3.2的步骤3和步2H4 ,两种ping包 大小区分统计20遍历测试的ping 包成功率Ping包成功的总次 数/ping包总次数，每 个点分别计算再求 平均。评估室外遍历测试情况下的业务性能

21、%3.1的步骤2和步2H3 ,两种ping包 大小区分统计21遍历测试的ping 包时延Ping包总时延/ping 包总次数，每个点分别计算再求平均。评估室外遍历测试情况下的 业务性能秒3.1的步骤2和步 骤,3,两种ping 包大小区分统计22定点测试的上行 掉线率上行掉线总次数/发 起上行UDPIk务的 总次数。所有样本一 起计算。评彳t NB-IoT网络的稳定程度%3.2的步骤123定点测试的下行 掉线率下行掉线总次数/发 起下行UDPIk务的 总次数。所有样本一 起计算。评彳t NB-IoT网络的稳定程度%3.2的步骤24 .移动类指标序号指标定义说明单位统计10g的来源1NB-IoT

22、 网内异频重 选成功率NB-IoT网内异频重 选成功次数/NB-IoT网内重选尝试次数*100%评彳t NB-IoT网内异频重选的连续性、稳定性%3.1的步骤1,只 涉及ATU设备2NB-IoT 网内异频重选时延NB-IoT网内异频重选平均时延=NB-IoT网内重选 时延总和/NB-IoT网 内重选次数评彳t NB-IoT网内异频重选的连续性、稳定性秒3.1的步骤1,只 涉及ATU设备3NB-IoT 网内同频重选成功率NB-IoT网内同频重选成功次数/NB-IoT网内重选尝试次数*100%评彳t NB-IoT网内同频重选的连续性、稳定性%3.1的步骤1,只 涉及ATU设备4NB-IoT 网 内

23、同频重 选时延NB-IoT网内同频重选平均时延=NB-IoT网内重选 时延总和/NB-IoT网内重选次数评彳t NB-IoT网内同频重选 的连续性、稳定性秒3.1的步骤1,只 涉及ATU设备5TA区更新 成功率TA区更新成功次数/TA区更新尝试次数*100%评估:NB-IoT跨TA List重选情况下业务和状态的连续性、移动性%3.1的步骤1,只 涉及ATU设备6TA更新平 均时延TA更新平均时延=TA更新时延总和/TA更新次数评彳t NB-IoT网络位置区更新时延秒3.1的步骤1,只涉及ATU设备7NB-IoT连接态脱网重搜平均时延NB-IoT连接态脱网 重搜平均时延=脱网 重搜时延总和/脱

24、网 重搜次数评彳t NB-IoT脱网重搜时延秒3.1的步骤1,只 涉及ATU设备说明1:重选时延定义，重选开始-SIB1 （不跨TA List）或TAU Complete （跨TA List）说明 2: TA 更新时延定义，TAU Request-TAU Complete说明3:道路测试中如有脱网则统计7,没有就不需要统计5 .接入类指标序号指标定义说明单位统计10g的来源1RRC连接 建立成功率RRC连接建立成功率 =RRC连接建立成功次 数/RRC连接建立尝试 次数*100%评估系统接入性能的重要指 标；其中：以终端发起RRCConnectionRequest 作为一 次RRC连接建立尝试

25、，到终 端发送RRCConnectionSetupComplete 作为一次RRC连接建立成功%3.1的步骤2,3,42RRC连接 建立平均时延RRC连接建立平均时 延=RRC连接建立时延 总和/RRC连接建立成 功次数评彳t NB-IoT系统接入性能的 重要指标；其中：以终端发起RRCConnectionRequest 作为一 次RRC连接建立尝试，到终 端发送RRCConnectionSetupComplete 作为一次RRC连接建立成功秒3.1的步骤2,3,43ATTACH成功率ATTACH成功率=ATTACH 成功次数/ATTACH尝试次数*100%评彳t NB-IoT系统接入性能的 重要指标；其中：以终端发起 ATTACH REQUEST 作为一 次ATTACH尝试，到终端发 送 ATTACH COMPLETE 作为 一次ATTACH成功%3.1的步骤44ATTACH 平均时延ATTACH平均时延=ATTACH时延总和/ATTACH成功次数评彳t NB-IoT系统接入性能的 重要指标；其中：以终端发起ATTACH REQUEST 作为一 次ATTACH尝试，到终端发 送 ATTACH COMPLETE 作为一次ATTACH成功秒3.