从ServerSwitch到SONiC Chassis：数据中心交换机技术的十年

-7-从ServerSwitch到SONiCChassis：数据中心交换机技术的十年在数据中心里，数以万计的服务器由很多的交换机连接起来，构成了一个高带宽、低延迟的网络。众所周知，云计算业务对于牢靠性有特别高的要求，这要求网络的运维人员，必需对交换机做到高度的可掌握、可管理，能够时刻了解网络发生了什么，在消失故障的时候必需快速定位和排解故障。编者按：微软交换机操作系统开源项目SONiC(SoftwareforOpenNetworkingintheCloud)在微软Azure数据中心里已经大规模部署，但如何在高层的ChassisSwitch上部署SONiC仍旧是一个挑战。为此，微软亚洲讨论院和Azure网络产品部门合作，胜利构建了第一个SONiCChassis原型系统，它的背后隐藏着讨论者们历经十年的不懈探究。

随着云计算时代的到来，各大公司在全球不断建设数据中心，来支撑飞速增长的云计算业务。2022年，由Facebook等公司发起了一个非营利组织开放计算项目（OpenComputeProject,OCP），旨在通过开源的方式，重构数据中心的下一代硬件，进展面对下一代数据中心的服务器、存储、网络、基础设施等创新硬件。

OCP是目前世界上计算基础硬件方向掩盖范围最广、影响力最大的组织之一，成员包括Facebook、微软、谷歌、英特尔、AMD、阿里巴巴、腾讯、百度和华为等公司。

在数据中心里，数以万计的服务器由很多的交换机连接起来，构成了一个高带宽、低延迟的网络。众所周知，云计算业务对于牢靠性有特别高的要求，这要求网络的运维人员，必需对交换机做到高度的可掌握、可管理，能够时刻了解网络发生了什么，在消失故障的时候必需快速定位和排解故障。

此外，新的云计算业务，也对交换机不断提出新的功能需求，这就要求网络的开发人员能在短时内实现新的交换机功能并部署上线。在这些新的挑战和要求面前，传统交换机厂商的设备已经显得越来越力不从心，因此，各大云计算厂商纷纷开头了自己的交换机自研之旅。

SONiCChassis

作为OCP合作项目的一部分，微软在2022年OCP峰会上发布了交换机操作系统开源项目SONiC(SoftwareforOpenNetworkingintheCloud)。该项目利用交换机抽象接口（SwitchAbstractionInterface,SAI）为不同的交换芯片供应了统一的管理和操作接口，并将交换机软件分解为多个容器模块，来加速软件的迭代开发，如图1。SONiC得到了许多云计算、交换机和芯片厂商的响应，目前的开源社区成员包括微软、阿里巴巴、腾讯这样的云计算厂商以及Mellanox、思科、Arista这样的交换机和芯片厂商。

图1:SONiC系统架构

目前，SONiC在微软Azure数据中心里已经得到了大规模的部署（如图2所示）。然而，目前SONiC的部署局限在T0和T1这两层的交换机（Switch）上，如何在高层（T2/T3）的ChassisSwitch上部署SONiC仍旧是一个巨大的挑战。因此，微软Azure网络产品部门和微软亚洲讨论院系统与网络组于2022年9月启动了SONiCChassis的合作讨论项目，来设计支持SONiC的ChassisSwitch。

图2:SONiC在微软的数据中心内的部署状况

传统的ChassisSwitch架构其实是由多个交换机芯片构成的（见图3示例）。前端芯片和后端芯片是靠一个特别的基于Cell（交换机芯片内部一种固定长度的数据单元）交换（CellSwitching）的无损（Lossless）网络连接起来的。

目前，ChassisSwitch内部的Cell网络并没有公开的拓扑和路由标准。不同芯片厂商的ChassisSwitch内部Cell网络的实现也不尽相同，且细节并不公开，可以说是不折不扣的黑盒子。在这种不透亮     的状况下，网管们很难用SONiC来管理ChassisSwitch，也无法发觉和诊断Chassis内部消失的网络问题。

图3:传统ChassisSwitch的内部架构

为了让SONiC能够运行在ChassisSwitch上，我们首先要把ChassisSwitch变成网管们熟识的白盒子。和传统ChassisSwitch一样，SONiCChassis依旧由多块交换芯片构成。但不同的是，我们用标准的（二层）Clos以太网（EthernetNetwork）来连接这些芯片（如图4所示）。

Clos以太网是当今数据中心的标准架构。这样，网管们可以轻松地把数据中心网络的大量成熟技术（比如掌握平面协议、流控机制和故障诊断技术）和运维管理阅历直接移植到Chassis内部网络上来。

图4:SONiCChassis的内部网络拓扑

在拓扑打算了后，下一个挑战是Chassis内部的掌握平面（ControlPlane）。SONiCChassis的每个芯片上都运行了一个SONiC实例（Instance），并采纳了BGP-EVPN作为掌握平面协议。前端芯片上的SONiC通过BGP-EVPN直接相互交换外部的路由信息，而不涉及后端芯片上的SONiC。这样，我们仅需要在前端采纳比较昂贵的大路由表芯片，而可以在后端芯片的选择上拥有更多的选择。比如，后端可以选择高端口密度（HighPortDensity）小路由表的芯片，来提升整个SONICChassisSwitch的端口密度。

为了协作BGP-EVPN，SONiCChassis内部采纳一种标准的网络虚拟化技术LAN（VirtualeXtensibleLocalAreaNetwork）。每一个前端芯片都是一个LAN隧道节点（LANTunnelEndPoint,VTEP），进出Chassis的数据包会被前端芯片添加/挪走LAN头。在不知道外部的路由信息的状况下，后端芯片只需要依据数据包的LAN头部信息，将数据包转发至正确的前端芯片即可，如图5所示。

图5:SONiCChassis的掌握平面，在这个例子里，VTEP1上的SONiC直接把10.0.1.0/24的路由信息发送给了VTEP6上的SONiC。

经过历时近半年的紧密合作，微软亚洲讨论院和Azure网络产品部门在今年2月联合构建了第一个SONiCChassis的原型系统，并且在3月的OCP全球峰会上进行了展现，得到了工业界的广泛关注。

目前，我们正在连续解决SONiCChassis中的一些关键技术问题（比如Chassis内部的拥塞掌握以及故障监控诊断机制），争取早日将SONiCChassis部署到微软的数据中心中。

图6:SONiCChassis的原型系统，展现于2022年3月OCP全球峰会上

从ServerSwitch到SONiCChassis:十年如一日的坚持

"在SONiCChassis项目的背后，其实是我们在数据中心交换机技术上十年的曲折探究历程。'已经在微软亚洲讨论院工作了16年的资深讨论员熊勇强介绍道。"早在十年前，我们盼望为BCube和DCell这样以服务器为核心的数据中心架构实现高性能的转发引擎，所以我们启动了ServerSwitch项目。'

图7:ServerSwitch架构

ServerSwitch将商用的交换机芯片和服务器通过高带宽的PCI-E接口连接起来，充分挖掘了交换机芯片和CPU的可编程力量，实现了一个高性能可编程的平台。在2022年，ServerSwitch论文发表在计算机系统和网络的顶级会议USENIXSymposiumonNetworkedSystemsDesignandImplementation(NSDI)上，并获得最佳论文奖。

然而，这样一个在学术界大受欢迎的工作，在微软内部的落地却几经波折。"我们虽然基于ServerSwitch做了一些新奇的应用，比如利用主机的大内存来缓存交换机芯片无法汲取的数据包，但是离生产环境的需求还是有不小的距离。'熊勇强不无感慨地说。"在2022年和2022年的时候，我们盼望可以把Azure网络的GenericFlowTable(GFT)卸载到ServerSwitch平台上，并且做了许多努力，设计并实现了40GServerSwitch系统。然而由于交换机芯片的流表资源的限制以及功耗问题，产品部门最终还是选择了FPGA'。

转机发生在2022年，ServerSwitch的核心开发者吕国晗（现微软SONiC项目首席开发经理）加入了Azure网络产品部门。于是微软亚洲讨论院和Azure网络产品部门开启了AzureCloudSwitch（ACS）的合作项目，旨在设计一个跨平台模块化的交换机操作系统。这可能也是微软在自研交换机操作系统上最早的尝试。

图8:ServerSwitch

就在大家满心高兴的时候，命运却开了一个不大不小的玩笑。ACS最初是基于微软公司的Windows平台开发的，就在ACSWindows原型系统即将大功告成之际，微软开头乐观拥抱Linux和开源系统，而Windows并非是开源网络系统中的主流操作系统，因此Azure网络产品部门的负责人AlbertGreenberg立即叫停ACSWindows开发，转向Linux，也就是今日的SONiC项目。

"那个时候，大家在ACSWindows上已经投入了巨大的心血，突然知道项目被叫停，都非常无奈和懊丧。'熊勇强回忆到。"但是不得不说，投身Linux的确是一个非常明智的打算。Linux的开源