2024下一代以太网络技术需求

II下一代以太网络技术需求 PAGE\*ROMANPAGE\*ROMANIV目录一、新型数据中心给以太网络发展带来新机遇 1（一）数据成为新战略性基础资源 1（二）数据中心发展趋 4（三）以太网络需支持数据向新型化迈进中心 6二、以太网络发展现状 6（一）以太技术发展迅速应用广泛 7（二）以太标准构建开放生态 8三、以太网络迎接全新挑战 8（一）AI大模型演进需要超大带宽 8（二）大规模计算以及存储介质升级需要极低时延 10（三）一体化大数据中心需要高通量 11（四）业务体验保障需要无丢包高可靠 12四、下一代以太网络应运而生 13（一）下一代以太网络技术愿景 13超大带宽 14极低时延 14绝对可靠 15高网络通量 15超大规模 15（二）下一代以太网络技术体系 15物理层接口 16链路层/网络层流控 17网络层/传输层负载均衡 17直连拓扑架构 18五、总结和展望 18PAGEPAGE10一、新型数据中心给以太网络发展带来新机遇（一）数据成为新战略性基础资源随着数字化转型的持续推进，以及互联网应用的广泛深入，个人、企业和社会都发生着深刻的变化。在这个过程中，每天大量的数据被产生。图灵奖获JimGray18IDC202120102ZB，2025180ZB，1图1IDC统计和预测全球数据增长量为了充分发挥数据价值，以中国、美国、欧洲为代表的国家和区域纷纷出台数据强国的战略规划。1998现中的数字经济》系列报告后，2021119GrandStrategyfortheGlobalDigitalEconomy）技术和数字技术的重要性，将发展数字经济作为实现国家繁荣和保持竞争力的关键。2016（GDPR，GeneralDataProtectionRegulation），20182030盟数字十年战略》，提出高速、可靠和强大的数字基础设施成为数字化关键基2030署高性能计算能力和综合的数据基础设施，加速促进安全、高性能且可持续的数字基础设施建设与全民利用。我国也在《“十四五”国家信息化规划》中提出要加快数字化发展、进入建设数字中国的新阶段，这包括“推进“新网络”部署，建设泛在智能的网络连接设施”，“加快“新感知”推广，建设物联数通的新型感知基础设施”，“强化“新算力”支撑，构建云网融合的新型算力设施”，以及“加强“新技术”引领，探索建设前沿信息基础设施”。除了产业政策的支持，围绕计算、存储和网络的技术变革也在持续的积累和突破。AITOP50019902500GE10EAI2018OpenAI1.1GPTFacebook2020OpenAI1750GPT-3，大模型的参数规模逐渐增加。图2TOP500超算性能发展，图片来源：硬盘（HDD，HardDiskDriver）广泛应用于各种计算机和服务器中，自二十世纪五十年代既已存在。作为传统的存储单元，HDD成本低廉，容量大，但运行速HDD，之后出现的固态硬盘（SSD，SolidStateDrive）则采用完全不同的技术，没有磁头，马达，磁盘等一系列的零件，存储100IDC全球数据统计，2018SSD发货量超越HDD，且发货量差距逐年攀升。而近几年随着数据量的爆发以及企业、消费者对传输性能、时延等要求增加，出现了储存级存储器(SCM，Storage-ClassMemory)，又称为持久型存储器(PM，PersistentMemory)，SSDDRAM图3存储介质类型从网络领域看，不管是无线网络还是有线网络都在快速迭代。无线蜂窝网3GPP202073Release16，5G3Release174G-LTEWi-FiIEEE802WFAWi-Fi69.6Gbps。有线以太网络延续着大带宽的400G800GT全球范围内以新一代信息技术为代表的科技革命正加速进行着，围绕着数据构建的下一代数字基础设施也正在加快发展。数据中心作为数据集中计算和存储的地方，是下一代数字基础设施的重要组成，是算力生态系统的核心。（二）数据中心发展趋数据中心的发展是伴随着信息化水平不断提升的过程。信息化初期，一个传统机房方式难以应对，于是诞生了数据中心的概念。2010机资源庞大的集合体，有大量的服务器、网络设备和存储设备，实现数据的集中。通过虚拟化技术，数据中心实现了计算、存储资源的池化，不再以单个物理设备的形态对外呈现，还是以统一资源调度的形式进行规划和使用，从而做到资源利用最大化，达到最大的投入产出比。这一时期，数据中心主要支撑如ERP/OA/Mail/Web这样的电子化业务。10随着云原生理念的推进，要求数据中心以应用为中心，以更高效方式为应用输送基础设施能力，使得应用能够以可扩展、可复制的方式最大化地利用云的能力，而避免陷入具体基础设施能力细节，如资源管理、调度等。该时期的数据中心能更好的为企业提供数字化生产业务，如金融系统的网上银行，政府部门的政务云化等。2021的刺激影响下，全球数字化进程加速，算力需求急剧爆发。数据中心进一步成为了算力中心。一方面，AI、HPC，Tractica预测看到，HPC+AI2025HPC40%4Gartner202550%的组织向以异构计算为中心，分布式多云的新架构，为智能化的创新业务提供泛在算5G智慧工厂等。图4HPC和AI融合加速，图片来源：Tractica（三）以太网络需支持数据向新型化迈进中心数据中心发展进入到了全新的阶段，新型数据中心将具有高技术、高算力、高能效、高安全等特征。而数据中心网络正向全以太化演进。2021指出，四大变革驱动数据中心网络走向全以太化。首先，数据中心云化加速，开放的以太网可以很好地满足云业务按需自助服务和快速弹性的诉求，可天然被云调用和管理，并具备良好的互通性、弹性、敏捷性以及多租户安全能力；其次，存储全闪存化趋势明显，NVMeoverFabricoverFC，NVMeoverRoCESDNPCIePCIeFC、IBIPv6面向新型数据中心，以太网络将连接更多算力，承载更大数据量，完成更快数据传输，从而满足人们日常工作生活的基本连接走向应对科技前沿、国计民生领域的高品质连接，全面支撑算力系统互联实现数据价值。工信部新型数据中心发展三年行动计划（2021-2023）中提到，算力规模方面，总算力规200EFLOPS，10%；网络时延方面，国家枢纽节点20台的《行动计划》也提出了“网络质量升级行动”，要求支持国家枢纽节点内的新型数据中心集群间网络直连，促进跨网、跨地区、跨企业数据交互。这都对以太网络提出了新的要求。二、以太网络发展现状4040极大的提升，并通过开放的标准制定，以太产业链形成了良好的生态，被应用于不同的市场领域。以太网络逐渐成为世界上应用最广泛的网络技术。（一）以太技术发展迅速应用广泛1973Metcalfe）在备忘录里描述了他新发明的网络系统，这个系AlohaAloha35图5：梅特卡夫手绘的以太网架构，图片来源：https://\h/3/ethernet_diag.html随后，为了能够尽可能多的接入不同的设备，最大化局域以太网的价值，DEC10MbpsDIXIEEE802IEEE10BASE510Mbps速率基带信号，5004010Mbps400Gbps入而广泛的影响着人们日常生活。IEEE802IEEE19802月，IEEE议”。IEEE802OSI12（LLC）。IEEE802IEEE802.1IEEE802.3IEEE802.1IEEE802.3通过积极的技术讨论，达成技术共识，形成标准规范。40，IEEE8026图6IEEE802以太标准发展历史三、以太网络迎接全新挑战（一）AI大模型演进需要超大带宽随着应用需求的爆发，AI，AI7自然语言处理（NLP）模型演进趋势看到，模型规模逐年翻倍。2020，OpenAIGPT-3175Billion45TB，2021AIMegatron-Turing530Billion，依照此趋势，预计很快将会有100Trillion参数的模型推出。图7NLP模型规模演进趋势，图片来源\h8架构下均可不同程度的减少训练完成时间。图8网络带宽对训练完成时间的影响，图片来源论文“SiP-ML:High-BandwidthOpticalNetworkInterconnectsforMachineLearningTraining”400G200G400G800G~1.6T（二）大规模计算以及存储介质升级需要极低时延对于计算系统，2021EE10ETFLOPS，要达到E/10E100KCLOS644CLOSCLOSHPL91us，3%左右。通过降低网络时延、提升线性度，可以使计算集群有效算力逼近理论峰值算力。图9HPL与时延/带宽之间的关系HDDIOSSDSCM（StorageClassMemory）IOHDD50%10图10网络时延成为端到端访问时延的瓶颈存储介质的变化也驱动着存储架构发生变化，从有存储网络（SAN）HDDCentricSSDCentricSCMMemoryCentricMemoryCentricAI等应用需求。因此，降低网络时延逼近内存级的访问时延，以匹配高吞吐存储系统。在计算、存储系统的变化下，需要全新的百纳秒量级的极低时延网络提供有效的支撑。（三）一体化大数据中心需要高通量国家建设一体化大数据中心协同系统需要一体化的算力网络。而网络的一DC、多云间的协同，东数西算/东数西存场景下均需要高通量的HASHDCIDCN交换机缓存溢出产生丢包，不但造成业务性能受损，而且也严重浪费了长距路径资源。AI海量参数的同步通过网络在参与计算的各个服务器之间高效的传递，其典型特100MBGBHASHAIGoogleHASH‘ToRfanindrops’，11。图11哈希不均带来拥塞问题，图片来源论文“JupiterRising:ADecadeofClosTopologiesandCentralizedControlinGoogle’sDatacenterNetwork”因此，有效利用网络带宽，提高网络通量，是实现一体化大数据中心的必要条件。而当前业界主流的负载分担算法均存在一定的性能问题，例如，ECMP算法适用于流数量较多的场景，当流数量较少时易出现负载分担不均的情况；FlowletSwitching；Packet-basedECMP法对接收端缓存压力大，流重组时延大。需要全新的网络均衡技术，全面提升网络通量。（四）业务体验保障需要无丢包高可靠“无损”是数据中心网络发展的主要方向，新型数据中心中高性能应用对时延、吞吐有更高要求，更加需要无丢包高可靠的网络保障业务体验。流控技术是实现无丢包的主要技术手段。然而随着以太网络带宽需求的增12104PFC兼顾无丢包可靠性和端到端低时延，影响业务性能。因此，要求流控技术能够有更快的响应速度，避免缓存不足引起丢包，同时，兼顾控制粒度，精准识别拥塞，做到既快且准的流量控制，从而提升业务体验。图12交换芯片发展趋势四、下一代以太网络应运而生当前的以太网主要聚焦于不同距离不同速率下的互联互通，依托带宽的升EthernetAlliance2022510M5G、10G10M10G、100G100M~100G200G、400G10G~400G800G、1.6T10G~400G13800G、1.6T图13以太网演进路线，图片来源：EthernetAlliance然而，其网络本质仍然是提供“尽力而为”的连接，面向如新型数据中心这样的高性能应用场景显得捉襟见肘。下一代以太网络应从“尽力而为”转向“质量有保证”，从单维度带宽优14图14下一代以太网络多维度能力提升下一代以太网络具有如下技术能力：a)超大带宽匹配以太网联盟给出的带宽演进路线，从当前单端口400G，走向单端口800G~1.6T。单通道速率从100G/lane朝着200G/lane演进。以太网络当前400Gbit/s带宽单端口已经商用。单端口800Gbit/s20252030100Gbit/s，200Gbit/sb)极低时延端到端时延从毫秒级走向微秒级，单跳转发时延达到百纳秒级。总线级以太网络通过极简转发，无阻塞流控、新网络拓扑架构等技术在静态时延、动态时延、网络跳数等方面做了系统性优化，极大提升了时延性能（参见“总线级数据中心网络技术白皮书”）。在此基础上，进一步降低接口转发时延，提升高性能计算等场景下竞争力。c)绝对可靠大带宽大规模网络场景网络无损不丢包。提供可靠流控机制保证网络传输无丢包，对拥塞状态能快速响应精准调控，减小buffer压力，避免头阻死锁等问题对业务性能造成伤害。高网络通量大规模/超长距传输下网络利用率提升到75%+。hash题，实现网络级负载均衡。超大规模组网规模提升10倍，支持100K节点的大规模组网。E/10E（二）下一代以太网络技术体系下一代以太网络无法依赖单点技术的突破而实现多维度性能的提升，它需要物理层、链路层、网络层、传输层全栈体系、多网络层次间的协同配合，同时采用优化的网络架构，共同达成整体技术能力要求。图15下一代以太网络全栈体系物理层接口物理层根技术的突破是达到极致性能的基石。下一代以太物理层技术兼容以太网的软硬件应用，在大带宽和低时延上实现突破。DSPFEC、更高质量的封装/板材/200G，800G/1.6T。FEC16FEC子层的时延占总时延的60200GbE，PCS/FEC时延占比达到67.9400GbE69FECFEC图16IEEE802.3定义的接口时延链路层/网络层流控链路层流控是保障网络无损不丢包的关键。其本质是在识别到拥塞状态后，通过对拥塞点上游或者源端流量控速的方式（包括停止流量发送）缓解拥塞，避免交换机缓存溢出产生丢包。PBFC（PreciseBackpressureFlowControl）是一种精准反压的机制，相比于传统PFC，具有更细粒度的控制；相