2024伯努利融合型机柜技术白皮书

11伯努利融合型机柜技术白皮书2023PAGE\*ROMANPAGE\*ROMANVI前言随着互联网和云计算技术的发展，业界对于服务器的算力需求呈现更高性能、更高能效和多元化趋势，CPU、GPU、DPU等不同算力平台带来技术创新的同时，对于基础设施硬件的散热和能效等方面的挑战越来越大。作为基础设施硬件三大核心的服务器、机房、机柜，在当下的产业结构中采用分层解耦设计，各层级主要聚焦在各自的层级进行相关技术探索和优化。从过往的经验来看，这种分层设计在促进产业链做大、做精、做细等方面做出了很大贡献，但是因为产业分工、投入等的方面的差异，导致各层级之间的技术能力无法同时提高或者对齐，从而表现出明显的“木桶效应”。对应层级的技术短板在更强调基础设施硬件综合能力的需求下变的更为突出。以机柜技术为例，在标准机柜无法满足需求的时候，以ODCC和OCP为代表的行业组织，几乎同时对机柜技术展开技术探索，以天蝎、方升和OpenRack为代表，在机柜的结构设计、空间设计、标准化等方面获得了显著的成果，积累了非常有价值的经验。但是相比服务器层级和机房层级的投入和成果，作为连接服务器和机房的机柜技术探索仍然偏少。比如：服务器可以通过上盖开孔提高系统散热能力，机房冷热通道温差的扩大可以降低能耗，但是因为机柜设计的原因，冷热通道的温差扩大和上盖开孔可能会导致热风回流问题恶化，进而限制服务器散热能力，也反向限制机房能耗的降低。类似这种问题都说明机柜存在明显的技术短板。为了解决分层设计带来的机柜技术短板问题，美团、腾讯等具备垂直整合能力的互联网厂商倡导基于跨层级的系统化设计理念对服务器机柜进行优化，机柜将承担更多的系统功能需求，不仅具备结构承载能力，还将承担散热能力提升、能效优化等多方面的系统需求。从本项目的实践结果来看，架构改动小、实际收益大，体现了跨层级系统化设计思想对于当下基础设施领域优化的指导意义，同时也希望系统化设计思想可以为行业带来更多的应用收益。目录版权声明 I编制说明 II前 言 III一、概述 1二、术语、定义和缩略语 1三、伯努利融合型机柜的设计思想 1四、伯努利融合型机柜参考设计标准 3（一）机柜高度 5（二）机柜宽度与深度 6（三）机柜标识 8（四）脚轮与支柱 8（五）机柜承载能力定义 9（六）机柜并柜定义 9（七）机柜布线定义与约束 10（八）设备供电定义与机柜接地 12（九）PDU安装定义 13（十）服务器安装支架 15（十一）交换机专用封堵框设计 16（十二）热端封堵毛刷板设计 17（十三）热端封堵盲板设计 18（十四）机柜热端封堵泡棉设计 18（十五）服务器上下间隙封堵设计 19（十六）冷板式液冷兼容设计 21（十七）集中供电兼容设计 23五、对安装设备的结构尺寸约束 24（一）机箱深度（D） 24（二）机箱宽度（W） 24（三）机箱高度（H） 24六、交付模式的定义 25七、使用环境 25PAGEPAGE10伯努利融合型机柜技术白皮书本白皮书主要介绍伯努利融合型机柜架构设计思想和参考设计署并对参考设计方案中的各种尺寸、设计建议、安装要求等进行明确和介绍。二、术语、定义和缩略语术语解释RURackUnit,1RU=44.45mm,EIA-300UUAU1AU=45.45mm，起源于阿里牵ODCC推COCI（ChinaOpenCloudInfrastructure）U准，COCIUnit，1AU=1CU=45.45mm。SUScorpioRackUnit,1SU=46.5mm，天蝎机柜规范主推U准。OUOpenUnit,1OU=48mm，OCP（OpenCumputeProject）主推的U高标准。三、伯努利融合型机柜的设计思想随着互联网和云计算技术的发展，业界对于服务器的算力需求呈现更高性能、更高能效和多元化趋势，CPU、GPU、DPU等不同算力平台带来技术创新的同时，对于基础设施硬件的散热和能效等方面的挑战越来越大。作为基础设施硬件三大核心的服务器、机房、机柜，在当下的产业结构中以分层解耦设计为主，各层级主要聚焦在各自的层级进行相关技术探索和优化，其中服务器层级和机房层级的投入和成果更多，而作为连接服务器和机房的机柜技术探索则相对较少，机柜技术领域在当下已经成为基础设施硬件的短板，呈现出明显的木桶效应。为了解决基础设施分层设计带来的机柜技术短板，美团等具备垂直整合能力的互联网厂商倡导基于跨层级的系统化设计理念对服务器机柜进行优化，充分吸收现有机柜标准的设计经验，对现有机柜架构进行优化设计，提供一款基于伯努利散热架构（机柜前端开放+后端封闭的散热架构）的融合型机柜参考设计，该机柜具40KW+的单柜散热能力，25℃+的冷热通道支持能力，兼容前后出线，兼容通用服务器和云服务器部署，兼容风冷和冷板式液冷混合部署，兼容标准机柜和整机柜出货CRPS可以有效解决的当前机柜技术面临的兼容性和能效问题，是一款非伯努利融合型机柜采用热端封闭+冷端开放的创新散热架构，相比业界现有的机柜架构，在提升机柜系统散热能力和能效方面优势明显（相关的数据可以参考ODCC订阅号的文章：美团李建：服务器机柜散热架构优化实践），机柜散热架构对比如下图所示。图1伯努利散热架构简介伯努利融合型机柜强调的是融合，既吸纳业界现有机柜的优秀设计，又强化机柜在基础设施中对能效提升的作用，同时充分考虑兼容性，以解决IDC面临的各种混布需求。本文会提供伯努利融合型机柜的参考设计，并对该机柜的所有设计进行开源。需要说明的是，该参考设计主要为架构层面的要求，工程人员可以根据实际使用需求做适当的修改，下面对该机柜的参考设计进行详细介绍。四、伯努利融合型机柜参考设计标准本机柜的散热架构实现方案如下：热端封闭：机柜后方孔条与后立柱之间实现结构封堵；后方孔条与服务器之间通过泡棉实现热端封堵；服务器上下间隙通过封堵。冷端开放：机柜的前方孔条与前立柱之间的间隙打开；服隙做相关设计可以参考下图。图2伯努利融合型机柜热端封闭方案图3伯努利融合型机柜冷端开放方案（一）机柜高度伯努利融合型通用机柜参考设计高度2500mm，配置支撑柱，不配置脚轮。该机柜高度保持机柜架构保持一致的基础上，可以根据实际需要进行适配设计，比如42U或者46U的高度标准。图4伯努利融合型机柜高度伯努利融合机柜架构本身U上兼容业界4URU/AU/SU/OU。本文的机柜SU52SURU/AU署。不同U表1不同U高标准U高不同标准名称标准来源尺寸主要使用场景RUEIA-310-D44.45mm最通用标准，OEM服务器通用标准AUODCC-方升45.45mm阿里使用SUODCC-天蝎46.45mm百度、腾讯、美团等OUOCP48mm国外互联网主用（二）机柜宽度与深度伯努利融合型机柜宽度、深度尺寸的参考设计如下:5机柜横TOP视图主要尺寸如下：孔450mm,0mm/+2mm。孔距465mm，0mm/+2mm。机柜前后方孔条距720mm，允许公差+2mm/-2mm，此尺寸也可以根据实际需要进行调整，如果兼容更小深度的服务器，建议通过移动前方孔条的方式实现，后方孔条和后立柱不建议移动，孔距700mm-720mm1200mm，2mm/-2mm。2500mm，差为+3mm/-3mm。（6）L型深度尺寸建议650mm，允许公差为+2mm/-2mm,（7）L型支架安装面距离可根据实际使用需求做定制设计，参考设计方案为了兼容通用服务器，该尺寸建议为350mm，允许公差为+2mm/-2mm。（8）PDU固定支架端面距离机柜后端面125mm，允许公差为0mm/+2mmPDU留PDU左右出线等固灵活机柜内部空间定义如下图所示，机柜后方孔条不得占用，不能绑扎线缆等，相关线缆均要求在前后理线区域进行绑扎固定。图6伯努利融合型机柜内部空间定义（三）机柜标识机柜方孔U识1喷涂漆不做严格约束，可以根据实际使用环境和需求决定，如果方孔条不做漆面喷涂，可以直接用镀锌表面处理，同时相关切口需要做好防腐处理。后侧方孔条粘贴封堵泡棉的位置要求不做喷涂，以保证粘（四）脚轮与支柱机柜本身兼容配置脚轮和不配置脚轮设计，如果配置脚轮，轮要求为万向轮，单轮承重450kg，4脚轮9坡道推20mm窄缝隙。通用机柜参考设计中不配置脚轮，但是配置调平支架，要求脚杯底座可旋转，在调平时对地面无磨伤。图7脚轮和立柱（五）机柜承载能力定义机柜可承载服务器最大重量1.2T（带轮动载要求），机柜最大重量1.5T，机柜静止承重大于1.5T（不包含机柜及机柜部件自重）。（六）机柜并柜定义机柜支持单柜部署以及并柜部署，参考设计的机柜上并柜孔义，52U穿线孔24UU3穿线孔，顶部穿线孔49UU1穿线开孔机柜左右对称，机柜前后均预留并柜横向穿线开孔，自带毛刷封堵。机柜上中下分布3锁固孔，机柜前后均配置。相关尺寸和位置示意图参考下图。图8并柜设计示意图（七）机柜布线定义与约束机柜兼容前后出线，机柜前后同时保留理线板，前出线理线板设计深度100mm，左右两侧安装，后理线板设计深度≥140mm，左右两侧安装。图9前后理线空间示意图机柜4孔2150mm*130mm，前部两开70*100mm，方孔角需要处理为圆形，配置毛刷，机柜后端底部开2个下线孔，用于下走线和液冷管路预留，每个开孔150mm*200mm。10机柜顶部出线孔视图11机柜底部出线孔视图（八）设备供电定义与机柜接地PDU2PDU4PDUPDU较灵活PDU端面朝向机柜后面，也可以支持PDU朝向机柜侧面；PDU兼容国IEC标准，可以根据业务需求自行定制，PDU固定支架做PDU尺寸如下图所示。图12PDU规格尺寸示意图机柜后部顶部和底部均部署有接地铜柱，尽量靠近机柜后部，机柜后部上盖处预留接地铜条设计，（九）PDU安装定义PDU安装支架通过螺丝固定后理线板两侧，全高和半高PDU均可以固定，固定支架同时具备电源线理线架的功能，PDU固定支架在配置冷板兼容场景下，建议为无孔设计，起到液电隔离的作用，纯风冷场景下，可以根据成本和减重做适当简化处理。为了保持兼容性，PDU的安装方式支持2类常见的安装方式。安装方式一：PDU出线端面朝向机柜后面PDU左右12PDU125mmPDU固定支架上专设的理线孔处做固定，较长的电源线则靠支架内侧捆扎，尽量远离弱电绑线区域。需要确保电源线走线整洁，不影响服务器的运维和使用。这种出线方式为伯努利融合型机柜推荐950mm+深度尺寸图13机柜PDU后部安装支架示意图 图14机柜PDU出线端朝向机柜后侧部署示意图安装方式二：PDU出线端面朝向机柜侧面PDU固定支架实现，此时PDU侧部署或者单2署，电源线通过后理线区域理线和绑扎。（十）服务器安装支架机柜支持多种安装支架，抽拉滑轨，伸缩式L型滑轨和固定式L型支架，对于以上三种安装方式下，取支撑架的地面与机箱的最低点，保持与方升架构一致，要求其距离机柜标准U节线距离0.5mm。固L侧面打螺钉与机柜固定，通过支架底部托架拖住服务器。L型支架安装面距离不做严格约束，可以根据各自的实际情况进行定制，本参考设计中的L距离350mm，L尺寸推荐650mm，以预留机柜后方孔（十一）交换机专用封堵框设计因为伯努利融合机柜采用热端封闭方案，所以对于深度尺寸较小的MOR和TOR，建议额外增加交换机专用封堵框用于实现热端封闭，封堵框需要保证交换机顺利拔插，运维方便，同时不影响交换机本身的散热。以1U交换机对应的封堵框为例，相关尺寸如下所示：570mm,0mm/-2mm；内部净46mm，公0mm/+1mm，内部不要有任何的物；含后部挂耳477mm,公差+1mm/-1mm;不含后部挂耳宽度448mm，公差+1mm/-1mm。图151U交换机专用封堵框设计示意图交换机封堵机框安装方式为从机柜后端向前安装，机框的L型卡扣与机柜的固定式L型支架实现滑动卡接限位，机框在后方孔条处配置有锁固挂耳，用于机框固定。对于封堵机框设计的几个注意点：（1）L卡扣L尺寸相关，需要根据实做盖交换机内部尽量光滑，如有必要推荐覆膜，尽量减少对交划伤；堵框和交换机的适配，交换机封堵框高度尺寸可能会1SU留1U（十二）热端封堵毛刷板设计为了在机柜热端封堵条件下支持交换机后出线场景，所以交换机的热端封堵方案推荐采用毛刷封堵板实现，如下图所示：图161U封堵毛刷板设计示意图（十三）热端封堵盲板设计按照伯努利散热架构要求，机柜的热端封堵方案在机柜后方孔条处进行封堵，对应空余U位的盲板封堵也需要在后方孔条处实现，封堵盲板推荐采用塑胶材质，通过卡条的形式实现严格的热端气流封堵，如下图所示。图17热端封堵盲板设计示意图（十四）机柜热端封堵泡棉设计按照伯努利散热架构要求，机柜的热端封堵方案在机柜后方孔条处进行封堵，封堵方案要求如下：YU356，质：PUFoam（）0.029g/cm360，：，无素。胶面要求使用：3M468，0.1mm胶面，粘封堵位置为后方孔条内侧，同时避让后方孔条开孔，方孔。左右后方孔条各1PCS，高度保持与后方孔条等高，单2pcs接。封堵泡棉的具体尺寸主要取决于适配的服务器宽度尺寸，同时和方孔条的尺寸设计有关，参考设计中泡面尺寸参考如下图所示。图18热端封堵泡棉设计示意图（十五）服务器上下间隙封堵设计USU，所以在部署服务器的时候，服务器上下之间存在间隙，此间隙原则上均建议做封堵，1RUOEM务器如果间隙较小，可以根据机房和服务器的实际情况决定。封堵YU356材质的泡棉，OEM可以通过额外增加封堵条，ODM机器建议直接在服务器上盖后方孔条对应位置进行泡棉粘贴实堵堵YU356，质：PUFoam（）0.029g/cm360，：，无素。胶面要求使用：3M468，0.1mm胶面，粘撑钣泡棉根据封堵间隙的大小，有几种规格，ODM研服务器推荐直接在服务器上盖贴附，高度参考为C，宽度与服务器等宽，10mmOEM挡风条设计。相关参考表2服务器上下间隙封堵尺寸设计参考OEM服务器用上下间隙可拆卸封堵条ODM服务器用上盖封堵条间隙场景间-mm钣金结构厚度-mm-A封高度-mm（上下对称分布B封堵泡棉宽度-mm-C泡棉深度-mm-D泡棉宽度-mm-E泡棉高度-mm-F1U服务器上间隙3.3511.54401044742U服务器上间隙6.8234401044783U服务器上间隙8.352444010447104U服务器上间隙11.825.54401544713图19ODM服务器上盖封堵泡棉设计示意图20拆装式挡封条设计示意图21隙封堵示意图（十六）冷板式液冷兼容设计伯努利融合型机柜兼容冷板式液冷方案，分水器的位置配置灵活，可以根据自身服务器的配置需求进行灵活调整，服务器深度尺寸低于850mm，可以采用目前业界常见的电液分离的部署方案，服务器深度大于850mm以上，如果要支持前出线和风液兼容设计，建议采用本文的参考