5G+TSN联合测试床：5G+Over+TSN前传网络发展及验证报告

5G+TSN联合测试床：5GOverTSN前传网络发展及验证报告（2022年版）工业互联网产业联盟本报告所载的材料和信息，包括但不限于文本、图片、数据、观点、建议，不构成法律建议，也不应替代律师意见。本报告所有材料或内容的知识产权归工业互联网产业联盟所有（注明是引自其他方的内容除外并受法律保护。如需转载，需联系本联盟并获得授权许可。未经授权许可，任何人不得将报告的全部或部分内容以发布、转载、汇编、转让、出售等方式使用，不得将报告的全部或部分内容通过网络方式传播，不得在任何公开场合使用报告内相关描述及相关数据图表。违反上述声明者，本联盟将追究其相关法律责任。工业互联网产业联盟联系电话编写说明随着5G在千行百业的广泛应用，工业互联网逐渐成为5G应用的蓝海市场。相较于消费互联网，终端之间交互需求增长，需要更为灵活开放的架构，低时延高可靠的性能要求，因此确定性前传网络也将越来越受到关注，时间敏感网络（TSN）、FlexE、SDN技术在前传网络的融合应用将为其在新的场景下适应新的需求提供有力支撑。为了更好建立工业互联网时间敏感网络产业生态，了解TSN应用于移动前传网络当前技术落地现状水平，2020年起工业互联网联盟（AII）启动了5GTSN融合部署的技术及产业研究工作，积极本次验证工作旨在针对基于分组传送的时间敏感网络用于部署5G前传网络的技术发展及相关技术指标进行验证，验证这一技术方）：第一部分：背景说明 11.发展现状 12.场景说明 23.关键技术 5第二部分：技术方案验证 91.5G业务质量对比测试 92.前传网络能力测试 263.综合承载方案验证 33附录测试设备介绍 37 372.前传设备 393.仪表 401第一部分：背景说明5G作为新一代移动互联网技术，除了将为消费互联网带来更好的业务体验，还将为产业互联网（工业互联网、车联网等）提供技术支撑。相比消费互联网上的应用，工业互联网业务的传输对于网TSN技术在现有的以太网基础上增加或者增强了时间同步，流5G与TSN的融合部署及应用为进一步满足工业互联网新型应用1.发展现状概括来讲，5G与TSN技术有两个大的个方向，一是3GPPR16正式提出的，将5G系统实体化为一个TSN域内部的网桥，来实现TSN网络部署规模和范围的扩展，该方向在R17阶段进行了技术细QoS协同进行了细化，为5GTSN端到端落地应用向前推动迈进了一IEEE802.1CM被率先提出将TSN技术应用于移动前传网络作为TSN融合部署的主要场景，并逐步引起业内关注。相较于消费互联网，工业互联网终端之间交互需求增长，网络部署需要更为灵活开2放的架构，低时延高可靠的性能要求，因此确定性前传网络也将越来越受到关注，TSN、FlexE、SDN技术在前传网络的融合应用将为其在新的场景下适应新的需求提供有力支撑。在工业互联网园区网动、华为、上海诺基亚贝尔、新华三、英特尔、高通及艾灵网络共联网网络建设需求，从端到端系统、承载网及核心网多个维度开展5GTSN融合部署技术及方案研究及验证工作，2022年度重点对TSN2.场景说明3场景一：车间内部终端与综合接入点的MEC之间的业务通信，多为高确定性、高可靠性的生产控制类业务，此时前传为主要承载图15G用户面及基带模块部署在综合接入点场景场景二：不同车间内终端之间的业务通信，如确定性、同步性要求高的生产协同类业务，此时前传为主要承载网络，传输范围为图25G用户面及基带模块部署在综合接入机房场景4场景三：园区内公共服务设施或车间内设备与园区综合接入机房MEC之间的业务通信，多为实时性监控业务，此时前传为主要承载图图35G用户面及基带模块部署于园区综合机房场景场景四：园区内个人终端或者园区物联网终端经园区核心机房5GC与园区云平台通信，多为非实时性数据业务，此时涉及前传和回图45G基带模块与用户面设备分设场景综上所述，场景一到场景三中前传网络都作为5G承载工业园区应用的主要承载网络，利用基于分组的以太网作为前传网络的承载5光纤直驱无源WDM半有源WDM有源WDM以太网点到点点到点链/环/点到点链/环/点到点网/链/环/点到点6~121112/125G彩光25G彩光25G彩光以太接口无保护无保护1+1保护1+1保护手段丰富-<10km>10km>10km>10km方式可以极大增加网络部署的灵活性，并可以作为数通网络与原有园区网络融合部署，叠加以TSN为代表的确定性网络技术，可以实现降低网络部署复杂度且满足工业园区网络高质量承载需求的综合达3.关键技术3.1开放前传接口移动前传网络是指基带单元和无线单元间的网络，移动前传网络是指基带单元和无线单元间的网络，4G时期及能力、低时延高可靠提出了更高要求，典型的可选前传方案包括光纤直驱（单纤单向、单纤双向）、WDM（无源、有源、半有源）、微波、以太组网等方式。表格1汇总了各类典型的部署方案在组网形表格1主流前传方案对比表3GPP定义了AAU-DU底层分离（LLS）不同方式的协议栈功能划6Option8。其中的Option7是物理层内切分，又可细分为Option7-1,Option7-2和Option7-3等。不同的物理层切分方式对前传接口带宽有不同的要求，物理层切分越靠近MAC层对前传接口带宽图5AAU-DU底层分离的切分选择示意理功能重新分割等因素，前传典型接口由4G基站基带处理单元BBU和远端射频单元RRU之间的10Gbit/s速率CPRI（通用公共无线接口）向25Gbit/s的eCPRI(演进型CPRI)接口演进，如图6所示。CPRI协议基于Option8方式划分，物理层功能全部位于DU，前传接口带宽要求高；eCPRI协议中在物理层内部进行划分（Option7-），图6CPRI和eCPRI切分方式的演进趋势73.2高精度时间同步时间同步是基站之间业务协同的基础，也是时间敏感网络实现基站之间的时间同步技术主要采用直接外接时钟的同步技术和基于网络传递的同步技术两大类，2G~4G阶段主要以直接外接时钟但是由于需要逐跳支持、双向光纤等长等部署限制，也未在4G时代由于5GNR基本业务普遍采用TDD制式，即同频点分时区分不同而时间敏感网络由于需要对流量按照时隙进行精准调度，网元之间前传网络以射频单元AAU及基带单元DU为边缘节点，由于承载在5G网络之上的TSN业务本身就要支持逐跳的高精度时间同步，因此可以考虑利用TSN的前传系统为5G网络提供时钟同步传递能力。前传组网的时间同步方案考虑时钟源接入点及信号传递方向，主要有如下接或内置的时钟源处获取同步信息，也可以从中传或者8回传网络中获取，通过前传网络向射频模块2)时钟信号从前传网络桥设备接入产生，通过时间敏感网置或外接相应的时钟源，通过前传网络向基带模块输出本次测试采用方案（1），具体而言，可以一个TSN域作为时钟域，以DU直连BITS或者承接上游的IEEE1588v2时钟信号（取决于上游网络是否支持PTP利用TSN网络逐跳向下传递同步时钟信号，从3.3帧抢占技术相对于传统前传网络的点对点连接，基于包转发的前传网络可以提供多点对多点连接，同时前传网络对于数据传输的延时和丢包率有严格要求，AAU到DU之间的IQ数据端到端单向时延不能高于100μs，丢包率应低于10−7；控制管理数据（C&M），丢包率应低于10−6。在基于桥接技术的前传网络中，可将不同种类流量规划到不同VLAN中或者相同VLAN的不同优先级中，来实现业务（preemption）满足高优先级流量的时延和丢包要求。帧抢占是指在恢复可抢占帧的传输之前暂停可抢占帧的传输，以允许传输一个或多个快速帧。将数据流按照其实时性要求标记为快速流量和可抢占流量，高优先级实时流量可以打断正在传输的低优先级流量，而低优先级流量则分片，待实时流量传输完成后进行9重组。这样既保证了高优先队列的实时性传输，也兼顾了低优先队图7帧抢占机制原理示意图第二部分：技术方案验证5G专网在工业园区的部署日益成为热点，部署方案要兼顾工业应用的对于确定性的要求以及网络综合承载的需要。目前IEEE802.1CM标准已经对时间敏感网络应用于前传网络进行标准化规定，基础理论基本成熟。鉴于上述前提，本次测试验证从基于以自身可提供的功能和性能能力，以及其部署于工业互联网园区时，1.5G业务质量对比测试1.1测试目的5G业务质量对比测试主要通过黑盒方式验证基于以太网传输的的对比测试，验证基于以太网的开放前传接口在中短距离传输链路测试内容如表2所示，将从单用户数据通信性能、多用户数据通信性能和语音业务质量三个方面对前传网络用以太网络替换光纤直连的5G系统进行端到端性能评估，来验证方案替换后对于原有表格25G业务质量对比测试内容序号测试内容测试目的单用户端到端性能测试5G系统基础组网能力验证。多用户端到端性能测试5G系统基础功能验证用户ViNR业务测试5G系统业务功能验证测试拓扑如图9所示，前传网络由两台前传交换机组成的以太网实现，用户侧接口分别对接基站设备的射频模块和基带模块，BBU连接5G核心网，用户流量由仪表从空口输入射频模块图85G业务质量对比测试拓扑1.2单用户端到端性能测试设备及光纤直连，单用户流量配置如表3所示，单用户业务测试分四种配置模型：上行112Mbit/s、上行80Mbit/s、下行760Mbit/s和504Mbit/s，对于光纤直连和用以太网交换机连接的前传网络进行网络性能对比测试，用以验证利用以太网交换机连接方式用作前传网络的可行性。每个配置模型分别对于光纤直连、以太网连接场吞吐量、业务质量），每个样本空间测量获得20个数据，共40个样本数据，并对样本进行统计学处理，以保证测试数据的有效性，表格3单用户端到端性能测试流量配置说明5G系统单用户端到端上行时延测试结果如表格4所示，光纤与交换机两种模式的最大和最小时延相同，使用TSN交换机连接的平均时延略大于光纤直连，如图11所示，光纤直连表格4单用户端到端上行时延测试结果(单位：μs)光纤直连时延TSN交换机连接时延最小时延平均时延最大时延最小时延平均时延最大时延130001310014000130001340014000图图9单用户端到端上行时延测试对比统计结果表格5单用户端到端下行时延测试结果(单位：μs)光纤直连时延TSN交换机连接时延图10单用户端到端下行时延对比测试统计结果单用户端到端上行吞吐量测试结果如表格6所示，本次测试两轴为测试次数，纵轴为每次测试取得的吞吐量数据，由统计结果可表格6单用户端到端上行吞吐量测试统计结果(单位：Mbit/s)光纤直连吞吐量TSN交换机连接吞吐量最小吞吐量平均吞吐量最大吞吐量最小吞吐量平均吞吐量最大吞吐量光纤直连吞吐量光纤直连吞吐量TSN交换机连接吞吐量最小吞吐量平均吞吐量最大吞吐量最小吞吐量平均吞吐量最大吞吐量图图11单用户端到端上行吞吐量测试对比统计结果单用户端到端下行吞吐量测试结果如表格7所示，光纤直连、横轴为测试次数，纵轴为每次测试取得的吞吐量数据，由统计结果可知，两个场景吞吐量皆接近满带宽，光纤直连场景与交换机连接表格7单用户端到端下行吞吐量测试统计结果（单位：Mbit/s）图12单用户端到端下行吞吐量测试统计结果上下行信号质量测试结果如表格8、表格9所示，其中SNR为信噪比，是度量通信系统通信质量可靠性的一个主要技术指标，信中代表无线信号强度的参数,RSRQ表示LTE参考信号接收质量，用光纤直连、以太网连接场景的SNR、RSRP、RSRQ值稳定趋于不变，表格8单用户上行信号质量测试统计结果测试光纤直连TSN交换机连接SNR/dBRSRP/dBmRSRQ/dBSNR/dBRSRP/dBmRSRQ/dB1min10min表格9单用户下行信号质量测试统计结果测试光纤直连TSN交换机连接SNR/dBRSRP/dBmRSRQ/dBSNR/dBRSRP/dBmRSRQ/dB1min10min1.3多用户端到端性能测试表格10多用户测试流量配置说明UE-SIM模拟三用户同时发包，三用户上行发包速率分别为100Mbit/s和30Mbit/s,包每个配置模型分别对于光纤直连、每个配置模型分别对于光纤直连、以太网连接场景以10s、1min及10min为采集样本空间进行网络性能测试（时延、吞吐量、业务质量），光纤直连、以太网连接场景分别采集数据20个，共40个样本数据，并对样本进行统计学处理，以保证测试数据的有效3都为30Mbit/s，选取优先级最高的用户进行结果统计，并对样本进行统计学处理得出图14，由统计结果可知，两个场景最大以及最小时延相同，光纤直连场景与交换机连接场景时延分布分别集中在表格11多用户端到端上时延测试统计结果（单位：μs）光纤直连时延TSN交换机连接时延最小时延平均时延最大时延最小时延平均时延最大时延140001410015000140001440015000光纤直连时延光纤直连时延TSN交换机连接时延最小时延平均时延最大时延最小时延平均时延最大时延48504800图图13多用户端到端上行时延对比测试统计结果都为200Mbit/s，选取优先级最高的用户进行结果统计，并对样本进行统计学处理得出图15，由统计结果可知，两个场景最大以及最小时延虽不同，但差距不大，光纤直连场景与交换机连接场景时延分表格12多用户端到端下行时延测试统计结果(单位：μs)光纤直连吞吐量光纤直连吞吐量TSN交换机连接吞吐量最小吞吐量平均吞吐量最大吞吐量最小吞吐量平均吞吐量最大吞吐量29.9994图图14多用户端到端下行时延对比测试统计结果都为30Mbit/s，选取优先级最高的用户进行结果统计，对样本进行统计学处理得出图16，横轴为测试次数，纵轴为每次测试取得的吞吐量数据，由统计结果可知，两个场景最大以及最小吞吐量皆接近满带宽，光纤直连场景与交换机连接场景在吞吐量数据方面没有统表格13多用户端到端上行吞吐量测试统计结果(单位：Mbit/s)光纤直连吞吐量光纤直连吞吐量TSN交换机连接最小吞吐量平均吞吐量最大吞吐量最小吞吐量平均吞吐量最大吞吐量图图15多用户端到端上行吞吐量对比测试统计结果都为200Mbit/s，并对样本进行统计学处理得出图17，横轴为测试在图片显示中光纤曲线被交换机曲线覆盖，由统计结果可知，两个场景最大以及最小吞吐量皆接近满带宽，光纤直连场景与交换机连表格14多用户端到端下行吞吐量测试统计结果(单位：Mbit/s)图图16多用户端到端下行吞吐量对比测试统计结果如表格15、表格16所示，两个表格分别为上下行信号质量测试结果，由统计表可以看出，随着时间推移，光纤直连、以太网连表格15多用户上行信号质量测试统计结果测试光纤直连TSN交换机连接SNR/dBRSRP/dBmRSRQ/dBSNR/dBRSRP/dBmRSRQ/dB1min10min表格16多用户下行信号质量测试统计结果测试光纤直连TSN交换机连接SNR/dBRSRP/dBmRSRQ/dBSNR/dBRSRP/dBmRSRQ/dB1min10min置UE-SIM模拟两用户进行通信，两用户上行发包速率为600Mbit/s,包长为不固定包,为UDP包，下行模拟发包接口场景与光纤直连流量配置相同，取主叫用户数据进可知，两个场景最大以及最小时延虽不同，但差距不大，两个场景1.4用户ViNR业务质量测试设备及光纤直连，ViNR业务配置如表格17所示，本次测试采用模拟两个用户进行真实通话进行测试，由于两用户类型相同，故本次表格表格17用户ViNR业务质量测试流量配置说明表格18ViNR业务端到端时延测试统计结果（单位：μs）测试光纤直连TSN交换机连接最小时延平均时延最大时延最小时延平均时延最大时延2min30.69测试测试光纤直连TSN交换机连接最小抖动平均抖动最大抖动最小抖动平均抖动最大抖动2min图图17ViNR业务端到端时延对比测试统计结果如表格19及图19所示，由统计结果可知，交换机接入最大最小以及平均抖动方面均略大于光纤接入场景，差值在50ns-表格19ViNR业务端到端抖动测试统计结果(单位：ns)图18ViNR业务端到端抖动对比测试统计结果如表格20及图20所示，由统计结果可知，交换机接入场景在最大最小以及上行吞吐量方面均略大于光纤接入场景，两个场景在表格20ViNR业务端到端上行吞吐量测试统计结果(单位：Mbit/s)测试光纤直连TSN交换机连接最小平均最大最小平均最大2min图19ViNR业务端到端上行吞吐量对比测试统计结果如表格21及图21所示，由统计结果可知，交换机接入场景在最大最小以及下行吞吐量方面均略大于光纤接入场景，两个场景在表格21ViNR业务端到端下行吞吐量测试统计结果(单位：Mbit/s)测试光纤直连TSN交换机连接最小平均最大最小平均最大2min图20ViNR业务下行吞吐量对比测试统计结果如表格22及图22所示，表格中P-MOS(通信系统语音要指标，0分代表最差的质量，5分为最高分):交换机接入场景P-MOS值与光纤接入场景无区别，稳定在4.448，由统计结果可知，交表格22ViNR业务质量P-MOS测试统计结果光纤直连开放前传接口第一次第二次第三次第四次第一次第二次第三次第四次2min图21ViNR业务端到端P-MOS对比测试统计结果抖动、吞吐量、信号质量以及特定业务质量，可以看出，将采用以太组网方式作为前传网络承载方式，在实验室环境与光纤直连的方为以太网方式作为前传组网的一种技术选型方案提供了一定的数据2.前传网络能力测试2.1测试目的本部分测试重点针对前传网络本身的功能性能进行测试，关注对前传网络进行包围测试，以获得前传组网的性能测试数据，验证端到端转发性能指标。另一方面利用同步性能测试仪表对前传网络表格23前传网络能力测试内容序号测试内容测试目的前传仿真组网测试5G系统基础组网能力验证。前传时钟同步性能测试5G系统基础功能验证2.2前传仿真组网性能测试TSN的前传交换机组成，用户侧通过连接测试仪表，仪表两个端口分别模拟射频模块和基带模块，仿真eCPRI接口的用户面、C&M面图22前传仿真组网性能测试拓扑流量配置如表24所示，前传仿真组网性能测试分两种配置模型：64模型：64Byte或1500Byte，对于以太网交换机连接的模拟前传网络进行网络性能测试，每个配置模型对于光纤直连、以太网连接场景以10s、1min及10min为采集样本（时延、吞吐量、业务质量），每个样本空间测量获得10个数据，共20个样本数据（以下统计结果图中，横坐标表示测试时间，纵坐标为每次测试时间中取得的对应数据）并对样本进行统计学处理，以保证测试数据的有效性，确保验证可以真实反映对表格24前传仿真组网性能测试流量配置说明仪表两个端口分别模拟RU、DU进行通信，前传交换机分别接入仪表的两个端口，仪表模拟用户进行发报文为64Byte时，前传网络的上行最大时延为1759ns，随着报文字节变大，当报文字节为1500Byte时，最大时延为1935ns，如图24所示，随着时间增加，两个字节的流量传输的前传网络的时延变表格25前传网络上行时延测试统计结果（单位：ns）包长(Byte)最小平均最大1659171517591500189119151935图图23前传网络上行时延测试统计结果图前传仿真组网测试上行抖动的测试数据如表格26所示，在字节变大，当报文字节为1500Byte时，最大抖动为355ns，在表格26前传网络上行抖动测试统计结果（单位:ns）包长(Byte)最小平均最大327371.54201500237297355图24前传网络上行抖动测试统计结果图最大时延为1889ns，如图26所示，随着时间增加，前传网表格27前传网络下行时延测试统计结果(单位：ns)包长(Byte)最小时延平均时延最大时延1612167917191500184518691889图图25前传网络下行时延测试统计结果图如表格28所示，在报文为64Byte时，前传网络的下行最大抖抖动为335ns，在报文传输过程中，1500Byte报文传输较稳定。表格28前传网络下行抖动测试统计结果(单位：ns)包长(Byte)最小抖动平均抖动最大抖动3103744751500240297335图26前传网络下行抖动测试统计结果图2.3前传时间同步性能测试载，时间敏感网络自身也需要时间同步来保证精确流量调度。因此时间同步的方案至关重要，其性能测试也是本次验证的一个重点内本部分测试通过专业时间同步测试仪表对于两台TSN交换机组网的前传承载网进行时间同步精度测量，TSN前传时间同步性能测试拓扑如图28，同步性能测试仪表主时钟端可获取被测设备发送的PTP协议报文，报文交互正常，符合预期组网的时间误差指标，需要注意的是，除了实际的时间误差测试指标，0.1Hz滤波以后的时钟从前一个时钟接收时间，并消除输入的高频噪声（即充当低通滤波器），并向下游继续发出时间信号。因此，就沿时钟链传递的噪声量而言，低频噪声会沿时钟链累积。高频噪声被链中的每个时钟因此这里系统设定一个0.1Hz的一阶低通滤波器，以用来滤掉最后一次时钟信号发送时产生的高频噪声，来更精确的显示时钟在链路图27前传时钟同步性能测试拓扑测试指标：2WayTimeErrort1+t4）/2时间误差T1）；如表格29所示，本次测试使用Paragon-X仪表进行测试，仪表两端口与前传交换机相连，仪表一端口作为Master，另一端口作为Slave，与Master端口相连的前传交换机端口为Slave,另一端口为Master传递时钟到Slave进行同步，仪表采用协议标准为ITU-TG.8275.1,测试模式为边界时钟，测试时长6h,分大值)经过时间推移，时钟误差变化不大，为0.528ns,经过表格29网络时钟误差性能测试结果（单位：ns）长2WayTimeError2WayTimeError（0.1Hz低通滤波）最大值最小值平均值最大值最小值平均值30min0.5270.5080.5190.20.0510.1560min0.5280.5060.5180.1930.0510.1456h0.5280.5060.5180.1920.0510.145本部分测试主要以TSN交换机组网的前传网络能力作为测试对象，分别测试时网络性能数据（时延、抖动、吞吐量）及时间同步性能。通过对测试数据的分析可以看出两跳交换机组成的前传网络端到端单向时延小于2μs，抖动低于500ns，时间同步精度可达ns级别，在实验室场景下可以证明，利用TSN交换机组网的前传网络3.综合承载方案验证工业园区作为推进我国改革开放和经济发展的重要载体，一直被视为经济建设的主战场。工业企业数字化正在从园区动下，正在承担OT网络及IT网络融合，综合承载方案验证主要验证基于TSN的前传方案在部署于园区网图28综合承载方案验证连接图测试内容如表30所示，验证视频监控业务、工业控制业务两种典型工业园区业务的承载质量，分别代表大带宽实时上行流量以及表格30综合承载方案验证测试内容序号测试内容测试目的视频监控业务承载测试测试本方案视频监控业务承载质量工业控制业务承载测试测试本方案工业控制业务承载质量多业务混合承载测试测试本方案5G前传、视频监控、工业控制业务承载质量以视频监控为代表的辅助生产类业务，主要性能指标受带宽（高清8M/路）及时延影响（20-100ms）。本次测试选取实验室视频监控系统作为应用系统，摄像头与监控平台之间通过前传交换机设备承载，通过验证可以证实通过前传网络承载的高清视频监控业务图图29视频监控画面控制系统的同步信号通常用于电机的协同，往往对时间同步精度（亚μs级）、时延（百μs