冷板式液冷服务器可靠性测试规范

11版权声明ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位I编写组数字经济时代，算力需求不断增加，算力基础设施能耗节节攀升，液冷因其显著的散热优势，成为数据中心的主要散热技术，满足政策和行业双重需求。其中，冷板式液冷技术发展成熟、生态完本规范制订的目的主要在于指导行业进行液冷服务器系统及部件的可靠性测试，提升液冷产品的设计、生由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各冷板式液冷服务器可靠性测试规范O I II IV 1 1 3 4 4 5 7 9 10 10 11 12 13 13 15 17 17 17 17V冷板式液冷服务器可靠性测试规范O 18 19 20 20 21 22 23 23 24 24 25 26 27 28 29 30 30 31 32 33 34 34 35 36冷板式液冷服务器可靠性测试规范O 37 37 38 38 39 39 39 40冷板式液冷服务器可靠性测试规范O冷板式液冷服务器可靠性测试规范本规范适用于液冷服务器系统及部件的可靠性测试，包括机电、液冷、结构、软件以及认证测试的各个场景，本规范中“液冷服务管路及CDU。本规范用以指导液冷产品开发的可靠性测试，项目可二、规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用GB/T2423.2电工电子产品环境试验第2部分：试验方法试验GB/T2423.3环境试验第2部分：试验方法试验Cab：恒定湿GB/T2423.5环境试验第2部分：试验方法试验Ea和导则：冲击1冷板式液冷服务器可靠性测试规范OYD/T3980-2021数据中心冷板式液冷服务器系统技术要求和测IEC62368-1音频/视频、信息和通信技术设备第1部分：安全2冷板式液冷服务器可靠性测试规范OISO7779信息技术设备和电信设备发出的空ISO9296Acoustics;declarednoiseemissGB/T14832-2008标准弹性体材料与液压BSENISO9080Plasticspipingandductingsystems-Determinationofthelong-termhydrostaticstrengthofthermoplasticsmaterialsinpipeETSIEN300753AcousticNoiseEmittedByTelecom三、术语和定义指采用液体作为传热工质在冷板内部流道流动，通过热传递对3冷板式液冷服务器可靠性测试规范O用于向机柜内各液冷冷板分配水或其他冷却工质，一般介于冷量分配单元与冷板之间的冷却工质供回装置。在总线盲插架构中，背门热交换器Reardoorheatexchanger一种安装在机柜背面的热交换器，通过内部流动的液冷，将经过的热空气进行冷却，冷却后的空气再循环到数据中心，从而减少对传统机房空调制冷设备的需求，一般设计成机柜背门形态。也可冷板式液冷整机柜服务器Coldplateliquidcoolingrack机柜管理单元、分液歧管、背门热交换器（可选）等集成在机柜内的一体化服务器产品，一般采用冷板式液冷散热，以整机柜一体化（一）液冷的定义液冷是以液体工质为传热介质，带走设备热量的散热方式。液冷散热系统通常由至少两个相互隔离的循环回路组成，其中供给设4备的内循环也称作二次侧，将热量传递给外界环境的循环也叫一次流体工质吸收热量的方式有两种：一种是通过流体温度升高而吸收热量，此时流体形态始终保持液态，也称作单相液冷；另一种是由液态转变为气态通过汽化潜热转移热量，此时流体的形态发生（二）液冷一次侧的散热方式一次侧的设备通常由客户根据实际的应用条件，综合考虑成本进行部署和安装。主要的散热设备包括主要有三种：干冷器、冷却其中，干冷器通常由管翅式风液换热器和风扇组成，管内走封5冷却塔靠蒸发冷却，换热和空气湿球温度相关，利用水与空气流动接触后进行冷热交换产生蒸汽，蒸汽挥发带走热量达到蒸发散热、对流传热和辐射传热等原理来散去工业上或制冷空调中产生的余热来降低水温的蒸发散热装置，以保证系统的正常运行，装置一般为桶状，故名为冷却塔；按水和空气的接触方式可分为直接冷却制冷机组则是采用空调式的蒸发-压缩-冷凝循环，利用制冷剂6从能耗上来看，制冷机组>>干冷器>冷却塔，但是冷却塔需要消耗大量的水，对于无水区域则难以使用。从制取水温上看，制冷机组可以获得7-12℃的冷却水；干冷器出来的冷却水高于环境干球温度8.3-11.1℃（即T环+△T，一般适用于温度较低的区域，否则水温太高，高达到50-60℃);冷却塔可以获得高于环境湿球温度2.8-3.9℃（开式）/3.9-6.7℃（闭式）的冷却水（即T环+△T，一般（三）液冷二次侧散热的实现形式二次侧的散热，根据工质与发热器件的距离可以将液冷分为以78柜级冷却即机柜内安装风液热交换器，工质进热交换器，设备（四）板级液冷系统的基本构成板级液冷系统主要由CDU、Manifold和冷板构成，三者通过管内部主要部件是泵、板换、管路以及监控配电部件，一方面输送液体到各个机柜，另一方面将来自各个机柜的热量通过板换交换到一次侧；它的控制主要是控制一次侧流量和二次侧进液温度，以及负9冷板式液冷服务器可靠性测试规范O体分配给机柜内各个单板，并将各个单板载热后的热流体收集并回冷板（coldplate）则对应原风冷散热器的位置，通过Tim/硅脂等材料和各发热芯片接触，冷板内部走流体，通过流体进出带走热（五）应用技术要求存储时间3个月以内：-30℃~+60℃（-22℉~+140℉)存储时间6个月以内：-15℃~+45℃（5℉~113℉)冷板式液冷服务器可靠性测试规范O存储时间1年以内：-10℃~+35℃（14℉~95℉)）：a.风液复合半液冷：仅处理器或处理器和内存采用冷板液冷散b.风液复合全液冷：处理器和内存采用冷板液冷散热，其他部c.全冷板液冷：处理器、内存、硬盘、标卡、PSU以及节点内d.整机柜服务器供电输入应支持2N供电系统，宜采用集中供注：2N供电是指供电输入有2个供电源，呈备份关系，每个供电源提供N(1)柜级分液歧管技术要求：a.应在最高点设置自动排气阀，用于排放系统部署及运行过程中产生的气体（自动排气阀占用空间不应干涉服务器节点插拔维）；d.柜级分液歧管宜选用不锈钢、铝、PPR等材料，且系统中不应有两种电位差较大的金属共存，避免电化学腐蚀的发生，如果必e.盲插系统所使用的分液歧管宜配备防止快接头故障喷射、漏a.配备快接头浮动机构（仅采用盲插设计时适用），以满足节c.管路设计应满足相应的弯曲半径要求，铜管不小于1.6倍管径（直径），非金属软管不小于3倍，以避免在装配、运输、维护冷板式液冷服务器可靠性测试规范Of.机柜和节点宜配套完善的漏液导流排出系统，以便在漏液发g.机柜底部应配备具有漏液检测功能的传感器，用于感知漏液五、失效模式液冷产品最有特点的三大失效模式为，堵塞、泄漏、凝露，除此以外还有其他的失效故障，可参考电子产品常见失效模式的分析（一）堵塞与风冷不同，液冷采用液体的循环流体散热，有专门的流体通道，当循环系统中的某个节点发生堵塞，工质流道遇阻，会导致设备无法散热、高温告警、芯片降频甚至宕机；堵塞有两种形式：杂a.杂质（堵塞物）一般来源于加工、现场施工、运行过程沉淀等，聚集在焊接位置、缝隙较小的流道位置或者过滤器位置；零部对于此类堵塞，系统上采用备份方式避免，如下图一次侧、二次侧c.堵塞的分析及验证，应结合以上具体场景，挖掘所有可能出（二）泄漏接口和密封方式众多，往往产生泄漏点，部冷板式液冷服务器可靠性测试规范O例3：FEP套宝塔，内部宝塔采用尼龙材质，长期受管路的挤压产生蠕变，竹节结构向内变形，管和竹节之间的密封力下降，产冷板式液冷服务器可靠性测试规范O（三）凝露热空气遇到低温的工质容易在部件表面产生凝露，温度、相对湿度液冷系统一般会自动控制进出水温度，避免产生凝露；但控制六、试验方法（一）密闭性测试测试目的：确认液冷部件及整机柜（节点与机柜连接状态）的冷板式液冷服务器可靠性测试规范Oa.将转接管的其中一端母头与压力表对接，将转接管的另外一b.将无油空压机（或带减压阀的氮气瓶）与另一个分液歧管液），）；b.测试时间：稳压10Min后当前压力值记为P1，分别保压冷板式液冷服务器可靠性测试规范O测试判据：压降值（P1-P2及P1-P3）符合生产企业内部规范要（二）液冷管路耐压力测试a.在管路对外接口处装上工装接头，所有对外接口密封，内部b.通过注液工装或试验机，向被测样品中注入工质，使其压力c.确定系统内部压力均匀、稳定后，稳压1min后检查样品有无e.完成以上测试，如果没有异常；则继续注入压力，使其压力f.确定系统内部压力均匀、稳定后，稳压1min后检查样品有无a.0.5P压力情况下：稳压1min，外观检查，变形鼓包不超过冷板式液冷服务器可靠性测试规范Oa.5倍最大正常工作压力（满足冷板散热流量情况下各部件的）；）；（三）液冷接头插拔测试a.不带压状态下插拔：在实际系统使用环境中或模拟系统运行的循环工装进行插拔测试，对冷板组件与分液歧管的液冷接头公、b.对分液歧管充入工质，并加压至300Kpa（或实际最大工作压力），再对冷板组件与分液歧管的液冷接头公、母头进行250次插（四）杂质堵塞测试测试目的：验证冷板管路长期冲刷或加工过程中残余的杂质，工质长期不流通结晶沉淀物在快接头长期断开和连接可能存在堵塞冷板式液冷服务器可靠性测试规范Ob.配比100mL乙二醇污染溶液，通过软管注入至液冷公头或母c.24h后，对插液冷公、母头10次，同时观察快接头是否被石英砂和工质沉淀物堵塞不回弹，目测观察是否存在漏液，及完成后（五）脉冲压力测试测试目的：评估液冷组件（含冷板组件、分液歧管、液冷接头a.液冷部件接入压力脉冲试验机，排气注入工质（或去离子）；b.设定压力循环模式为正弦波曲线，波峰压力为350Kpa，波谷）；冷板式液冷服务器可靠性测试规范Oa.被测样品，有多种状态的部件，连通和断开状态需要分别测试，测试数据和基础数量一致，如快接头有插拔连通密封、断开密（六）冲刷腐蚀测试b.将被测样品接入实际工作系统或等效工况工装中，测试样品a.无上电业务需求，测试样品可单独将液冷服务器内部的冷板冷板式液冷服务器可靠性测试规范O（七）液冷管路温度循环测试），b.测试条件：温度范围-40~70℃a；温度变化速率1℃/min；峰对于产品规格、或产品实际应用中达到的最高/最低温度；超过（-40℃~70℃)范围时，根据产品能达到的最严酷条件来测试。（八）液冷管路温度冲击测试a.对待测液冷部件充压入工质，并加压至350Kpa，并放入温箱b.测试条件：温度范围5~70℃a；温度变化速率10℃/min；峰冷板式液冷服务器可靠性测试规范O按产品规格、或产品实际应用中达到的最高/最低温度，超过（5℃~70℃)范围时，根据产品能达到的最严酷条件来测试。（九）液冷管路高温高湿测试测试目的：评估管路部件是否能满足高温高湿环境长期运行要a.对待测液冷部件充压入一半体积工质，加压至350Kpa，并放管路内充入工质量不宜充满，至少预留50%空隙以作为压力变（十）漏液检测能力测试测试目的：检验被测液冷设备的漏液检测能力是否符合技术规冷板式液冷服务器可靠性测试规范Oa.液冷设备灌满冷却液，上电自循环，查询并记录漏液检测状b.通过排液孔排液将液冷设备冷却液排放到液冷设备底部，液c.去除液冷设备底部液体，使漏液传感器处于干燥状态，查询（十一）非金属介质兼容性测试a.将系统中涉及与工质接触的所有非金属材料（参考下表），拉伸性能GB/T528、GB/T1690软管标准样条GB/T1690邵氏硬度GB/T531.1、GB/T1690拉伸性能GB/T528、GB/T1690软管/密封垫标准样条GB/T11547拉伸性能GB/T1040抗冲性能GB/T1843a.若无法制备标准样条，可制取一定规格的样片进行测试，同c.若O形圈尺寸过小，不易测试，可按照橡胶密封垫的测试方（十二）非金属老化测试测试目的：评估非金属材料在液冷工质下长期接触工质，可能冷板式液冷服务器可靠性测试规范Oa.选取至少5组样品，样品为非金属部件的零件状态，将软管b.将准备好的零部件放入高压罐体中，加满工质，并加压至c.测试完成后，取出样品，组装成成品，分别注入工质并打压本表推荐的温度及测试周期是基于特定材料定义，实际可基于（十三）金属耐腐蚀性测试测试目的：模拟液冷系统中金属部件在工质中的腐蚀场景，验a.将金属样片（数量不低于5pcs）固定在工装上（工装材质与）；冷板式液冷服务器可靠性测试规范Oc.或将被测金属实物样品接入测试系统（实际工作机柜或等效），b.金属样片厚度按照实际样品最薄壁厚，或直接在样品最薄壁（十四）中性盐雾测试测试目的：验证液冷部件实际使用过程中，在相应环境下耐腐a.测试条件设置为：5%氯化钠溶液（NaCl）盐溶液，pH值冷板式液冷服务器可靠性测试规范O（十五）电源备份测试测试目的：检验被测电源模块在单路输入异常时输出电压是否a.将被测电源模块的2路输入（为了方便描述，分别命名为A路/B路）分别上电，保证输入电压在正常范围内，电源指示灯应处于绿灯常亮状态，系统开始运行，待系统运行到稳定状态后开始测b.将A路输入下电，观察系统工作是否出现异常，是否有除输c.恢复A路供电，将B路输入下电，观察系统工作是否出现异d.通过BMC下发命令切换供电来源，观察系统工作是否出现e.断开A路供电，通过BMC下发命令由B路切换到A路，或a.手工切换输入源后系统正常工作，无除输入掉电之外的告警b.BMC命令切换后系统正常工作，电源可准确切换到对应供电冷板式液冷服务器可靠性测试规范Oc.其中一路供电不具备供电能力的情况下，电源不响应BMC（十六）噪声测试b.整机柜进入运行状态，按照下图17点法或21点法进行测试）：b.单节点进入运行状态，按照下图9点法进行测试（依据尺寸）；（十七）气候环境试验测试目的：模拟气候要素中温度/湿度及其变化对单节点或整机a.受试产品在箱内安装应保证除必要的支点外，全部暴露在传冷板式液冷服务器可靠性测试规范Ob.试验持续时间应从样品在规定的试验条件上稳定的瞬间开始e.试验严酷度等级的确定应考虑产品在实际的贮存、运输与使用中出现的概率，一般取20%;f.检测仪器的精度至少应为被测变量容差的三分之一；（十八）低气压测试a.受试产品在箱内安装应保证除必要的支点外，全部暴露在传b.试验持续时间应从样品在规定的试验条件上稳定的瞬间开始冷板式液冷服务器可靠性测试规范O（十九）工作随机振动测试c.机箱模拟实际安装状态，紧固在机架或等效固定工装上。如果机箱在机架内的实际安装情况有滑道支撑，存在后挂耳等情况，（二十）工作冲击测试冷板式液冷服务器可靠性测试规范Oc.机箱模拟实际安装状态，紧固在机架或等效固定工装上。如果机箱在机架内的实际安装情况有滑道支撑，存在后挂耳等情况，（二十一）运输包装件碰撞测试测试目的：考量产品在包装运输时，其包装缓冲能力是否满足b.包装：按实际发货要求，将所需的服务器整机及配套附件包a.包装本体不能失去原有功能，如托盘断裂、外箱撕裂及缓冲冷板式液冷服务器可靠性测试规范Ob.内装设备外观应无人眼可见的变形、凹坑、掉漆、划痕或丝c.各部件的机械固定和连接处，如螺钉、铆接及卡接等部位，（二十二）运输包装件跌落测试测试目的：考量产品在包装运输时，其包装缓冲能力是否满足b.包装：按实际发货要求，将所需的服务器整机及配套附件包a.包装本体不能失去原有功能，如托盘断裂、外箱撕裂及缓冲b.内装设备外观应无人眼可见的变形、凹坑、掉漆、划痕或丝c.各部件的机械固定和连接处，如螺钉、铆接及卡接等部位，（二十三）运输包装件滚动测试测试目的：考量产品在包装运输时，其包装缓冲能力是否满足b.包装：按实际发货要求，将所需的服务器整机及配套附件包a.包装本体不能失去原有功能，如托盘断裂、外箱撕裂及缓冲b.内装设备外观应无人眼可见的变形、凹坑、掉漆、划痕或丝c.各部件的机械固定和连接处，如螺钉、铆接及卡接等部位，（二十四