112G线性光互联解决方案

II112G线性光互联解决方案2023PAGE\*ROMANPAGE\*ROMANIV前言过去十几年，互联网和云计算迅猛的发展，产生了超大规模的数据中心，而传统网络技术已经无法满足超大规模数据中心的要求，进一步推动网络技术25G接入，100G100G接入，200G/400G200G接入，800G/1.6T互联演进。为了提高物25GNRZ56GPAM4演进。随着物理层单链路速率的提升，交换机/SerdesIP架构也在不断迭代，在单通道112GSerdesADC+DSP架构，均衡和信号再生能力较强，硬件架构上线性直驱112G光电转换具备可OIFCEI-112G-Linear标准已经验证确认。基于以上前提，采用线性直驱方案的互联线缆，技术上无风险。目录前言 III一、背景介绍 1二、112G高速互联系统设计 1（一）112GSerDes基本架构 2三、112Glinear线性光互联 4（一）线性互联优势 4（二）线性光互连可行性分析 5OIFCEI-Linear协议进展 5112Glinear光产品系统架构 6112Glinear光产品可行性评估 8（三）112Glinear光产品设计 10整体设计 10光路部分设计 10发射部分设计 11接收部分设计 12（四）112Glinear光产品测试 12四、112Glinear线性铜互联 13（一）112Glinear铜互连优势 13（二）112Glinear铜产品设计 14结构设计 15电路设计 15产品形态 16（三）112Glinear铜产品测试 17信号完整性测试项目要求及方法 17电气可靠性测试要求 18机械可靠性测试要求 19环境可靠性测试要求 20五、112Glinear线性互联系统测试 21（一）系统Tx参数摸底 21（二）链路性能评估 22（三）系统兼容性测试 23PAGEPAGE25一、背景介绍随着带宽需求的增加，以太网交换机和光纤通信通道都需要在单位容量成本、带宽密度和能源效率方面保持同步快速提升以适应市场需求。从2010年到现在，交换芯片ASIC（专用集成电路）40112GSerDesSerDesbit112Gbps二、112G高速互联系统设计10Gb/s、25Gb/s56Gb/s112Gb/s宽受到严重限制，使用高速通道的设计越来越困难。同时，芯片功耗的剧烈上升，在互连设计中对电源通道设计的挑战成倍。高速通道的实现由可支撑的损耗预算决定。损耗由链路长度，板材、连接器，过孔等无源损耗节点决定。在网络设备中，前面区域通常由用于系统间通信的光模块占据，而系统内的板卡通信通过背板/系统尺寸，系统背板/1m112Gb/s的电气串行速率下，达到这种距离已经需要使用先进的低损耗电路材料和高性能连接器来满足损耗预算。芯片基片和印刷电路板(PCB)总损耗。在考虑高速通道设计时，需要考虑的重要因素是高速通道各种组件的阻抗和串扰特性，在112Gbps，回损对低损耗信道的影响变得很明显。基于这一认识，112Gbps的应用将需要更多地权衡插入损耗以外因素的影响。（一）112GSerDes基本架构高速信号在无源通道传播中会产生畸变，造成接收端信号信噪比（S/N）恶SerDes恢复再生能力。无源通道对信号的影响通常分为：损耗(Loss)、反射和串扰(Crosstalk)。串扰影响具有不确定性(Un-Deterministic)，不能被纠正（Corrected）；损耗和反射影响是确定性的(Deterministic)，理论上可纠正。SerDesSerDes112GPAM456Gbps，UI≈18ps。112G对损耗较大的链路，纯模拟架构难以保证误码率，几乎所有的长链路112GSerDes图1112G基于数字架构SERDES框图模拟部分的功耗不会随着数据率增加而增加，而对数字部分功耗随波特率增加而增加。从时域看，无源通道损耗越大，通道冲击响应持续的时间越长，UIDFE/FFE，SerDes大。112Gbps56GbpsDFE/FFE112GSerDes的功耗不可忽略。针对不同无源通道损耗和应用场景，将112GSerDes线性均衡(CTLE)、FFEDFESerDesCTLEDFE位于接收侧，FFE可位于接收和发送侧，在发送侧通常称为FIR(FiniteImpulseResponse)滤波器。如图，3FIR1，在直流的幅度为(Main-pre-post)/(Main+pre+post);3FIRFFEFFEISI图2发送侧FFE恢复信号机制接收线性均衡（CTLE），CTLE（VSR参考接收机）CTLE频噪声。CTLE增益曲线通常可采用零极点函数进行表征，为了更好的将接近，CTLECTLE的传递函数，从而获得更平坦。图3无源CTLE电路和频域相应曲线DFE（DecisionfeedbackEQ）：时域上，ISI；DFEtap系统的不稳定，即误码传播，DFE越大。FFE（FeedForwardEQ）FIR，FFEADDSPFFEFFE没有负反馈机制，不会造成误码传播，适合于有误码系统。图4FFE和DFE实现机制及DFE时域响应二次反射噪声也称为回音(echo)噪声，回音噪声非线性，在频域上体现为Ripple，在时域上为毛刺，无法通过线性均衡(CTLE和FFE)消除。若回音噪声在DFEtap控制范围内，可以消除噪声；两个反射点的间距为，则反射的能量出现于信号后，则至少需要:112G互连技术的实施带来了很大挑战：信号速率的翻倍，电源功耗的剧烈增加，关键器件性能的提升和可靠性设计，成本的管控等。总之，需要仔细的研究，以针对所确定的每一个挑战的解决方案，实现满足带宽要求的经济高效的112G互连解决方案。三、112Glinear线性光互联（一）线性互联优势400G/800G/1.6T演进，为了在光模块的容量、功耗、成本三者之间达到一个平衡，光模块内部光学组件需要向更高程度的集成和制造自动化的发展。展望未来，SwitchFabricASIC和光学引擎的集成被认为是提升集成密度、成本效益和能源效率方面的发展的方向之一。因此出现了从可插拔部署模型转向新的光学器件共同封装(CPO)模型的转换，该模型通过使光学器件更接近SwitchFabricASIC来解决上述挑战。共同封装光学解决方案需要在能效(pJ/bit)和成本CPOCDR/DSP采用高度晶圆等级或是芯片等级的集成来验证可行性但是仍然需要面对散热的严酷挑战，热源高度集中难以有效的提升系统特性的稳定性。因此市场倾向需要线性光学引擎接口来实现低功耗、低成本、低时延，特别是用于共同封装光学器件(CPO)、近封装光学(NPO)和超算中心、低时延同步移动网络、AI服务器的应用，但是同时对于主系统芯片的信号补偿能力挑战及信道的信号完整度的要求也大幅提升，此时线性架构的竞争优势也相对非常明显包含:端口功耗显着降低(无DSP)DSPCDR)ASIC物理层接口运行不影响数据速率、协议层、FEC架构可扩展到下一代数据通讯更快的系统链接启动及低时延1．OIFCEI-Linear协议进展OIF计划推动芯片到光学引擎的线性接口，实现低功耗、低成本、小尺寸CPO、NPO以及112G串行光模块。该项目将有助于增加带宽和降低交换机端口的功率，采用紧密共封装光模块的交换机/服务器的应用将因为于功率/成本的112Gbps芯片到光学引擎/3CEI-Linear实现每通道10e-5或更高的原始误码率(PreFECBER)，实现每通道10e-15或更好的校正误码率(PostFECBER)图5CEI-112G-LINEAR-PAM4CPO 图6CEI-112G-LINEAR-PAM4NPO图7CEI-112G-LINEAR-PAM42．112Glinear光产品系统架构图8CEI-112G-VSR图9CEI-112G-Linear如图所示是CEI-112G-Linear链路模型，对比图CEI-112G-VSR来看，112G-Linear模型采用一种全新的系统架构，取消了模块侧的信号再生、时钟恢复能力，利用系统端的能力对链路信号进行恢复。如何选择合适的元件将光电转换中引起的信号失真减至最小，同时实现在系统端实施线性补偿高频信号衰减是一个重大挑战。在接收方向，光电二极管将光信号转换为电流信号，TIA(电流信号转换为差分电压信号。在传统系统架构中，TIACDRTIADSPTIATIA在发射方向，系统端驱动器输出的信号将经过通道衰减后进入激光驱动器再进行电光转换。基于同样的考虑，激光驱动器中增加了连续时间线性均衡器（CTLE）来补偿通道的频率相关衰减，同时提供宽增益覆盖范围，以及多种调制和耦合方式来支持VCSEL/EML以及硅光架构。在这种Linear架构中，光电芯片选型需要注意：TIAPDPD装工艺的最优耦合方式（打线或者倒装）TIAPD选择激光器时：考虑所需的调制方式以及基于组装工艺的耦合方式。同样IEEE将电光转换带来的信号失真降低至最小。3．112Glinear光产品可行性评估基于以上架构我们分别对发端和收端链路性能进行了原形验证，验证TXDriver能力和RXTIA能力。TXDriverBERT、LinearDriverEVB、激光器、采样示波器搭建一套完整BertTxFFETx信LinearDriver图10TxDriver能力验证26.5625GBdTEDCQ=1.96dBER=3.388dB。波特率在53.125GBd100MOM4光纤之后，TDECQ=3.5dB，ER=3.0dB。预期实际贴片之后，发端性能可以提高两个量级，目前正在贴片验证中。图1126.5625GBd光眼图图1253.125GBd光眼图RXTIA如图利用外置光源、LinearTIAEVB、损耗板、BERTtraceRXlinearTIAOMA1dBtraceline，模拟链路损耗，BER1E-6图13RxTIA能力验证图14外置光源图15Rx端验证结果（三）112Glinear光产品设计整体设计LinearQSFP112方案进行。采用单模硅光方案具有几个好处：的能力有限，单模设计可以避免多模设计的模间色散可能引入的传输问题，具有更高的可靠度；光设计的高集成度也更有利于产品的制作；提供了保障。因此，基于评估，采用单模硅光方案的设计，是可行性较高的一种选择。光路部分设计光路部分设计如框图，ATXBBPD（检光二极管）RXTIA。反过来，BA路组件数量减少，对于光路耦合制作是更加友好的设计。在设计中，我们采用更高精度要求的工艺设计，一是提高光的耦合效率，二是尽可能降低光的反射影响，避免信号在光介面上的过多损失；图16光路设计示意图发射部分设计发射部分设计如框图，传输链路包含驱动器，调制器，激光器以及光纤阵400G分，整体发射链路设计具有更少的传输节点，以及更低的传输时延，另外整体同时链路节点的减少，使设计具有更灵活的空间利用，通过缩短电信号的传输路径，尽可能的减少信号的损失，结合前期方案验证的实际测试数据，这是一种具备可行性的较优的设计。图16TX设计示意图接收部分设计接收部分的设计如框图，包含TIA，PD(检光二极管)，光纤阵列，极大简化了信号链路。在设计中，为了尽可能的减少信号损失，一是尽可能的缩短了PCB<2dBCEI-112GPD80%以上的耦合效率。图17RX设计示意图（四）112Glinear光产品测试112GIEEEbs/cd/ck，OIF-CEI112GVSR/LR等。规范中对于测试项目、测试方法和指标要求有详细定义，可以作为测试依据的参考。IEEE规范和OIF-CEI非强制要求的规范，应该看作互连接口的基础要求。数据中心用户可以根据行业规范，制定符合自己要求的需求指标。IEEE802.3ck106GbpsElectricalC2MIEEE802.3cu106Gbps10Km,Single-ModeOpticalFiberat106GbpsperλIEEE802.3db106Gbps50M,MultimodeOpticalFiberat106GbpsperFiberOIF CEI-112GLR72–Gbpsupto28-30 dBlossattheNyquistfrequency,includingtwoconnectorsOIF CEI-112GVSR72–Gbpsupto12-16 dBlossattheNyquistfrequency,includingoneconnector四、112Glinear线性铜互联（一）112Glinear铜互连优势互联网上70%的流量发生在数据中心内部，因此数据中心内部的互联技术要随着数据流量增加。大型互联网数据中心是这些年互联增长最快的市场，也是技术革新最快的领域。在当前比较流行的CLOS的数据中心网络架构下，Leaf至Spine层之间采用短距至长距光模块的链路数量占比约为接入层交换机至服务器之间链路总数的三分之一左右，而对于占据主要互联用量的Server和TOR则可以通过高速铜缆（DAC/ACC/AEC）和有源光缆（AOC）进行互联，覆盖20米以下的距离，而无源铜缆DAC相比于有源光缆（AOC），具备有失效率低、功耗低以及成本低的天然优势，在现在“碳中和”的要求下，数据中心的PUE(PowerUsageEffectiveness)成为衡量数据中心运行效率的关键指标。近年来，伴随着大型/超大型数据中心的自建和新建，先进的IDC一体化设计大大提升了单机柜功率容量，从而有效缩小了服务器接入的垂直布线距离（通过调整TOR交换机的部署位置），随着白盒网络设备和自定计算节点的部署落地，机柜内服务器网络接入链路开始大规模的使用DAC或者DAC+ACC方案，满足高可靠性、低成本及低功耗的数据中心搭建要求。Linear铜互连通过模拟线性放大的方式进行铜缆的拓展应用，整体方案相对于AEC（Re-timer方案）以及AOC有着更低的成本及功耗的优势，并且Linear铜缆互联整体的测试相对简单，对与线缆厂商以及上游的终端客户更加友好。（二）112Glinear铜产品设计112GPAM4的高速铜缆解决方案的高度兼容性的迭代升级保证了新一代外部高速铜缆技术的稳定迁移。全新的解决方案以现有产品族群的设计要求为牵引，在结合现有结构特点做升级演进，提升速率的同时，也保证了对管理接口和Pin定义的延续，QSFP112Pin定义如图所示。图18QSFP112Pin参考定义结构设计根据实际运用环境的不同，OSFP，QSFP-DD产品又衍生出多种形态。多形态的设计均是基于对模块本身散热需求的考量，鉴于无源铜缆的功率非常低（毫瓦级），同时考虑到产品形态的归一化对产品和市场发展的健康促进，一般将QSFP-DDType1和OSFPOpenTop作为无源铜缆的首选型号（如下表以QSFP112G为例）。表1QSFP112尺寸参考接口类型接口形态接口规范QSFP112QSFP112Specification-Rev2.0电路设计如图所示，ACC的原理是在线缆的接收端通过模拟的方式对高频信号增加具有一定能力的线性补偿（CTLE），从而实现铜缆应用时的高损耗补偿，满足系统的链路要求。图19ACC典型原理框图Linear铜互联方案传输原理如图所示，低频时增益维持不变，随着频率升高后增益变大，补偿高频信号的损耗，经过一个较高的频率之后，增益又慢慢变小，通过不同频点增益组合设置，可实现不同频段的增益补偿，如下为参考CTLE曲线图。图20ACC线性增益信号传输原理图21CTLE曲线图在112GPAM4下，ACC的设计需要选取更低插损、更高带宽的传输介质，由此对PCB布板、线缆焊接以及铜线的要求提升，优良的SI参数性能是保证信号传输质量的关键。产品形态单通道112G线性铜互连产品设计，以400GQSFP112DAC和ACC为例，在通信协议上需符合的标准包括：IEEE802.3ckQSFP112MSAHWRev6.01SFF-8661,SFF-8679,SFF-8636/CMIS5.1EIA-364,UL94,1581,VW1RoHS产品的拓扑结构主流的有一对一和一分二两种，如图所示，应对不同布线场景需要。铜线的选取包括30AWG、28AWG、27AWG、26AWG，数字越大线径越小，传输损耗也越大。图22主流产品形态（三）112Glinear铜产品测试为保证高速线缆认证流程的统一和规范性，在基于EIA-364测试标准要求的前提下，结合外部高速铜缆的设计和运用特点，分别对电气，机械和环境可靠性要求。信号完整性测试项目要求及方法下面的项目为TP1-TP4的测试数据，含MCBPCB走线和连接器，如下图：测试指标：项目要求单位最大插损@26.56GHz-19.75dB最小插损@26.56GHz-11dB最小线缆组件ERL-8.25dB≤-22+10*(f⁄26.56) 0.05≤f26.56差模转共模回损SDC22≤-15+3*(f⁄26.56) 26.56≤dB≤40f表示频率，单位GHz≤-10 0.05≤f12.89差模转共模转换衰减SDC21-SDD21≤-14-0.3108*f 12.89≤≤40dBf表示频率，单位GHz共模转共模回损SCC1140≤-1.812.89≤f≤dB最小COM≥3dB电气可靠性测试要求项目要求参考低阶接触阻抗（LLCR）最大20milliohms(毫欧)信号接触点（初始）EIA-364-23:320mVDC,10mA绝缘电阻相邻触点之间最小1e3MegaOhmEIA-364-21:100VDC耐电压相邻触点之间无缺陷（方法B），EIA-364-20:最大漏电流为1mA方法B300DC持续1分钟机械可靠性测试要求项目要求参考插入力QSFP112:40NMAXQSFP-DD:90NMAXOSFP:40NMAXEIA-364-13D拔出力QSFP112:30NMAXQSFP-DD:50NMAXOSFP:30MAXEIA-364-13D耐久性QSFP112:250次QSFP-DD:50次OSFP:50次EIA-364-09C机械振动没有任何物理损伤实验结束后需要维持SI信号的完整EIA-364-28F机械冲击没有任何物理损伤实验结束后需要维持SI信号的完整EIA-364-27C线缆组件摇摆测试吊重1k，弯折半径最小20mm,最大5倍线径，20个循环。没有任何物理损伤实验结束后需要维持SI信号的完整EIA-364-41D线缆装接后保持力QSFP112不小于90N,至少保持1分钟QSF-DD不小于125N,至少保持1分钟OSFP不小于125N,至少保持1分钟EIA-364-38C环境可靠性测试要求项目要求参考冷热冲击温度:-20℃～80℃温度转换时间:<5分钟循环数:100次没有任何物理损伤实验结束后需要维持SI信号的完整EIA-364-32E温湿循环温度:-20℃～85℃湿度:80%～50%驻留时间:60分钟温度转换时间:<30分钟循环数:12次没有任何物理损伤实验结束后需要维持SI信号的完整EIA-364-31B恒温盐雾试验时间：48H试验温度：47～35℃EIA-364-26B盐水浓度：5%没有任何物理损伤实验结束后需要维持SI信号的完整混合气体测试Cl2浓度:0.01PPMNO2浓度:0.2PPMH2S浓度:0.01PPMSO2浓度:0.1PPM温度:30℃相对湿度:70%RH没有任何物理损伤实验结束后需要维持SI信号的完整EIA-364-65温度寿命温度:85℃驻留时间:A:96小时 B:250小C:500小时D:1000小时没有任何物理损伤实验结束后需要维持SI信号的完整EIA-364-17B五、112Glinear线性互联系统测试LinearDSP块的成本和功耗，因此系统端需要对这种产品进行特殊参数调试来满足通信链路的需求。（一）系统Tx参数摸底图23系统TxFIR参数调试组网拓扑如图所示。通过遍历系统端TxFIR参数，保证光模块发眼图符合IEEE802.3ck协议标准。这里注意，每个交换机端口都需要调参。（二）链路性能评估图24系统TxFIR参数调试经过系统Tx参数摸底，可以知道交换机不同端口TxFIR相对较优的TxFIR组合，这里需要进行系统联调，每个端口寻找一组最优的TxFIR参数，使链路BER和SymbolError符合链路要求。（这里每家设备设计不同，不做统一约束）。这里有两点链路特性需要重点：反射能力。条不同光功率下的接收能力。（三）系统兼容性测试交换机互联测试组网：测试项：编号测试项测试结果1DDM告警信息读取功能正确读取模块信息以及收发光功率等DDM信息2热插拔的稳定性反复插拔光模块至少15次，查看在正常插拔/快速插拔模块时，是否出现模块不识别或者系统挂死的现象。I2C可以正确识别，Linkup正常。3常温设备冷热重启后交换机冷热重启之后，I2C可以正确识别，Linkup正常。4端口震荡模块正常识别，linkup成功；无I2C挂死现象（此处通过查看模块DDM信息确认）；打流无丢错包4光模块传输距离测试根据应用场景，测试实