面向时隙光交换网络的纳秒级时间同步技术

本期专题MonthlyTopic面向时隙光交换网络的纳秒级时间同步技术面向时隙光交换网络的纳秒级时间同步技术NanosecondTimeSynchronizationTechnologyforTime-slotOpticalSwitchingNetworksDingRui，DangDaohang，GuoYuanzhi，XueXuwei，GuoBingli，HuangShanguo（BeijingUniversityofPostsandTelecommunica⁃tions，Beijing100876，China）随着互联网和通信服务的飞速发展，数据中心组网架构的研究重心由电交换转向光交换。由于光交换网络进行时隙交换之前需要同步时钟信号，时间同步的精度和稳定性是提升光网络性能的重要参数。提出基于FPGA实现的时间同步方案，与现有方案相比，该方案在降低了同步复杂性的同时具有更高的精度和稳定性。测试结果表明时间同步后的偏移量不超过2.56ns，在不同光纤长度、运行时长和环境温度下的时钟抖动为皮秒级。Abstract：关键词：Keywords：1概述随着互联网的普及和通信服务的快速发展，流媒体、云计算等相关应用业务对数据流量的需求增加，数据中心组网的规模不断扩大，高密度服务器之间的通信对带宽提出更高的要求，而传统的电交换架构受限于带宽和能耗，逐渐难以满足通信网络对传输容量及速率的要求。由于对光交换技术的研究和需求逐收稿日期：2023-12-15渐增加，目前已有研究将光交换引入数据中心架构，与全电交换相比，全光交换在带宽、时延等方面有更好的性能。为解决大规模数据中心的问题，满足它对高带宽、高效数据传输的需求，同时兼顾通信系统的扩展成本，通常采用光电混合架构，兼顾光交换和电交换的优势，可以灵活地选择传输方式。在数据中心换的前提是精确的时间同步，确保各个机架的时隙对222024/02/DTPT面向时隙光交换网络的纳秒级时间同步技术本期专题MonthlyTopic齐，同步的精度越高，划分的时隙越短，控制器在分配带宽时越灵活，可根据实际流量的需求实现动态分在已有的光网络架构中，通常使用基于网络传输时间戳的同步协议，其精度在毫秒级或微秒级，或者采用精度能达到纳秒级甚至亚纳秒级的高精度同步方案，但是该方案依赖于特定硬件对相关协议的支持。目前能长时间保持稳定的时间同步模块的最高精度为10ns。微软提出一种快速光交换架构Sirius，并根据自身的调度特点设计了一种新的同步协议，能达到百皮秒级的时间同步，但是需要在每个时隙进行同步，挑选质量最佳的时钟作为主时钟。TDM技术在时域上复用多路信号，可在同一个信道上传输多路数据。为了保证分割时隙的准确性，需要提前对各端点进行时间同步。本文提出一种面向时隙光交换网络的纳秒级时间同步技术，基于FPGA（FieldProgrammableGateArray）用硬件描述语言实现 IEEE1588v2协议。由于机架的主从端都通过FPGA实现该协议的同步逻辑，所以不需要额外的硬件支持就可以实现高精度的时间同步，只需要在数据链路层将时间同步报文插入数据包并通过以太网封装传输即可。同时，与需要考虑网络抖动而在每个时隙挑选最佳时钟的方案相比，硬件开发板的晶振时钟源质量较好，能长时间保持稳定，不需要频繁启动同步进程。对交换模型进行了实验测试，实验结果证明了基于FPGA开发的时间同步模块可以实现纳秒级同步，单个同步周期的主从时钟偏移量不超过2.56ns，即一个时钟周期，且能保持长时间的稳定，同步后的时钟抖动不超过20ps。2架构实现思路2.1系统结构种无源光波导元件，可以实现多波长的路由和分配。为解决数据中心规模扩大带来的带宽、时延、能耗等问题，引入光交换器件AWGR和可调谐激光器来增加带宽并降低能耗，基于FPGA的同步与调度可以满足高速数据处理和不同规模网络处理的需求。通过AWGR的多波长输入输出和周期性路由特性，提升带宽利用率。各机架完成同步是基于FPGA的调度模块负责集中调度的前提，因此采用IEEE1588v2协议实现纳秒级硬件同步。每个机架包含架顶（TopofRack，ToR）交换机，负责机架内服务器之间的通信。光交换具有高带宽、低时延的特点，而电交换具有更好的控制性能，为了更好地分配和利用带宽，通过分流模块将大象流和老鼠流分别转发到光路和电路，减少网络堵塞，降低延迟和丢包率，提升资源利用率。整体系统架构如图1所示。SchedulerToR3ToR4Rack3Rack4ElectricalSwitchToR1ToR2HserversRack1Rack2图1系统架构2.2时间同步模块在光网络架构中，每个ToR都包含时间同步模块，在系统初始化完成后，调度器作为整体控制器和时间同步的主端，并以其时钟为基准同步各从端ToR的时钟。基于FPGA实现的控制器负责同步、流控等功能，配置并调用Xilinx官方IP核10G/25GHighSpeedEth⁃ernetSubsystem。使用AXI4_Lite协议控制FPGA计数器的初始化和修改，时间同步的主从端分别通过FPGA实现，用户端同步模块的数据通过AXI4_Stream发送到IP核，IP核封装数据并通过光口发送。IP核的以太网接口包括PCS/PMA和MAC2个部分，用户数据通过axi协议传入10GMAC核并进行以太网协议的封装，MAC核和PHY核之间通过xgmii接口相连，10GPHY将数据进行编/译码并转换为串行通过GTY输出，SFP经过光电转换将数据通过光纤发送到其他设备。具体的1588v2协议通过硬件编程语言实现，采用双跳模式，即将事件报文和时间戳分开发送。先由主端向从端发送Sync报文并记录时间戳t1，表明同步开邮电设计技术/2024/0223本期专题MonthlyTopic面向时隙光交换网络的纳秒级时间同步技术发送到从端记录。从端发送Delay_Req报文并记录时lay_Resp报文发送到从端。由此，t1与t2的差值就是链路延迟与时钟偏移之和，t3与t4的差值为链路延迟与时钟偏移之差，通过差值相加减并除以倍数即可分别计算出链路的延迟与时钟偏移。由FPGA实现的同步模块结构如图2所示。选定控制器做Master，以该时钟为标准送同步信号并交互时间戳，在一个同步周期结束后，从端根据接收的时间戳计算时延和偏移，修改本地计3实验设置用实验测试平台搭建4×4的交换模型，使用4个FPGA模拟ToR1~4，另1个FPGA作为集中控制器负责整体的调度。每个ToR都有4个25Gbit/s的传输通道，其中2个连接到电交换机，一个端口通过可调谐光模块走光纤链路与AWGR相连，SFP28收发器提供25Gbit/s的传输带宽。选定控制器为主端，ToR1~4为从端，以控制器上的时钟为主时钟，通过时间戳的交互计算时钟偏移量，同步其他4个ToR的时钟。在正式传输数据前，同步各架顶交换机的时钟，并通过示波器测量主从时钟的偏差。同步完成后进行数据传输，使用以太网测试仪发包并监测流量状态。4实验结果主从端FPGA内部均有一个基于390.625MHz时钟的计数器，导出一个在计数值变化时会翻转的电平线连接到示波器测量，采样约20000个数据点并计算所示，其中绿色波形为主时钟，黄色波形为从时钟，采样结果显示时钟偏移为2.0269ns。红色波形为几万个数据点的分布图，峰值范围从1.9834ns到2.0685根据示波器的结果，以RMS值作为有效数据点绘图，测量不同运行时长下的时钟偏移，结果如图4所示，偏移量维持在一个稳定值。由于时间同步模块可以在一个时钟周期内完成同步，采用的时钟频率为390.625MHz，因此时钟偏移量不超过2.56ns。为考察同步后时钟的稳定性，分别测量不同光纤长度、运行时长和环境温度下的同步结果，数据点的采样方式与图4相同。1013m长度的光纤对时钟偏移的影响，差值保持在皮秒级，虽然在1m到15m光纤长度下时钟偏移由396ps增加到了800ps，但512m和1013m长度下的同步结果基本都在800ps左右。由图6可看出，不同光纤长度下，时钟抖动在10.086ps到10.630ps之间，稳定性较好。实验结果表明光纤长度对时间同步的结果没有显著影响，不影响纳秒级光交换系统的性能。FPGA作为从端ToR1~4，对多节点同步的情况下各点的同步效果进行测试，结果如图7所示。从图7可以看出，时钟抖动基本保持在一个稳定值，最小值为10.689ps，最大值为11.155ps。对不同环境温度下时钟的稳定性进行测试，将代表主从端的FPGA放在恒温箱中运行，以5℃为一个梯度单位进行测量。实验结果表明在20~50℃的温度下，时钟抖动均稳定在135总结本文提出了纳秒级时间同步光电混合架构，该架M 时钟&控制信号计数器计数器状态机状态机1588状态机clksystemtimer-intx-axis…1588IPclksystemtimer-inrx-axisclksystemtimer-inrx-axis…1588IPrx-axis…时钟修正S时钟修正 时钟&控制信号计数器计数器状态机状态机1588状态机24图21588v2同步模块结构2024/02/DTPT面向时隙光交换网络的纳秒级时间同步技术本期专题MonthlyTopic图3示波器测量波形时钟偏移/ns3.02.52.0304050607080运行时长/min图4运行时长对时钟偏移的影响构实现了基于硬件的纳秒级时间同步，保证基于时隙的数据传输，减少了集中调度各架顶交换机所造成的时延。最终结果表明一个同步周期内主从时钟的偏移为纳秒级，时钟偏移量不超过2.56ns且稳定性较时钟偏移/ps9008007006005004005125128111013820255002004006008001000光纤长度/m图5光纤长度对时钟偏移的影响参考文献：［2］罗瑞琦.基于时分复用的FPGA互联网络优化［D］.北京：中国科邮电设计技术/2024/0225本期专题MonthlyTopic面向时隙光交换网络的纳秒级时间同步技术时钟抖动/ps02004006008001000光纤长度/m图6光纤长度对时钟抖动的影响时钟抖动/psToR1ToR2ToR3ToR4304050607080运行时长/min图7各节点的时钟抖动情况时钟抖动/ps20253035404550温度/℃图8温度对时钟抖动的影响worksandarchitecturesfordatacentercostandpowerefficiency［In⁃ahybridelectrical/opticalswitcharchitectureformodulardatacenters（4339-350.agilereconfigurabledatacenter