2023冷板式液冷服务器可靠性测试规范

11冷板式液冷服务器可靠性测试规范2023PAGE\*ROMANPAGE\*ROMANVII前言数字经济时代，算力需求不断增加，算力基础设施能耗节节攀升，液冷因其显著的散热优势，成为数据中心的主要散热技术，满足政策和行业双重需求。其中，冷板式液冷技术发展成熟、生态完善，对数据中心PUE的有效降低发挥着重要作用。本规范制订的目的主要在于指导行业进行液冷服务器系统及部件的可靠性测试，提升液冷产品的设计、生产、部署及应用水平。由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系编写组。目录版权声明 I编写组 II前 言 IV一、范围 1二、规范性引用文件 1三、术语和定义 3四、技术要求 4（一）液冷的定义 4（二）液冷一次侧的散热方式 5（三）液冷二次侧散热的实现形式 7（四）板级液冷系统的基本构成 9（五）应用技术要求 10环境规格要求 10散热及配电方式 11液冷关键部件技术要求 12五、失效模式 13（一）堵塞 13（二）泄漏 15（三）凝露 17六、试验方法 17（一）密闭性测试 17整机柜保压测试 17冷板组件密闭性测试 18（二）液冷管路耐压力测试 19（三）液冷接头插拔测试 20（四）杂质堵塞测试 20（五）脉冲压力测试 21（六）冲刷腐蚀测试 22（七）液冷管路温度循环测试 23（八）液冷管路温度冲击测试 23（九）液冷管路高温高湿测试 24（十）漏液检测能力测试 24（十一）非金属介质兼容性测试 25（十二）非金属老化测试 26（十三）金属耐腐蚀性测试 27（十四）中性盐雾测试 28（十五）电源备份测试 29（十六）噪声测试 30整机柜噪声测试 30单节点噪声测试 31（十七）气候环境试验 32（十八）低气压测试 33（十九）工作随机振动测试 34（二十）工作冲击测试 34（二十一）运输包装件碰撞测试 35（二十二）运输包装件跌落测试 36（二十三）运输包装件滚动测试 37（二十四）运输包装件堆码测试 37七、标志、包装、运输和贮存 38（一）产品的标志应符合有关法律法规和标准的要求 38（二）包装要求 39（三）运输要求 39（四）贮存要求 39（五）冷板部件还应满足以下要求 40PAGEPAGE11冷板式液冷服务器可靠性测试规范一、范围液冷、结构、软件以及认证测试的各个场景，本规范中“液冷服务器系统”是指CDUCDU。本规范用以指导液冷产品开发的可靠性测试，项目可根二、规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T2423.1电工电子产品环境试验第2部分：试验方法_试验A_低温GB/T2423.2电工电子产品环境试验第2部分：试验方法试验B：高温GB/T2423.3环境试验第2部分：试验方法试验Cab：恒定湿热试验GB/T2423.4Db:交变湿热GB/T2423.5环境试验第2部分：试验方法试验Ea和导则：冲击GB/T2423.10电工电子产品环境试验第2部分：试验方法试验Fc：振动（正弦）GB/T2423.222部分：试验方法试验NZ/BM:高温/低气压综合试验GB/T5720O形橡胶密封圈试验方法GB/T1690GB/T1690GB/T7759.1硫化橡胶或热塑性橡胶压缩永久变形的测定第1部分在常温及高温条件下GB/T1040塑料拉伸性能的测定GB/T528硫化橡胶或热塑性橡胶拉伸应力应变性能的测定GB/T531.1硫化橡胶或热塑性橡胶压入硬度试验方法第1部分：邵氏硬度计法（邵尔硬度）GB/T1843GB/T塑料耐液体化学试剂性能的测定GB/T5861液压快换接头试验方法YD/T3980-2021数据中心冷板式液冷服务器系统技术要求和测试方法YD/T1816电信设备噪声限值要求和测量方法IEC62368-1音频/视频、信息和通信技术设备第1部分：安全要求ISO7779信息技术设备和电信设备发出的空气噪声的测量ISO9296Acoustics;declarednoiseemissionvaluesofcomputerandbusinessequipmentECMA-74信息技术与通信设备机载噪声的测量GB/T19291-2003金和金的腐蚀 腐试的一般则GB/T14832-2008标准弹性体材料与液压液体的相容性试验BSENISO9080Plasticspipingandductingsystems-Determinationofthelong-termhydrostaticstrengthofthermoplasticsmaterialsinpipeformbyextrapolationETSIEN300753AcousticNoiseEmittedByTelecommunicationsEquipmentGB/T9813.3计算机通用规范第3部分：服务器三、术语和定义下列术语、定义适用于本文件：Coldlate冷板是带有内部流体通道并允许冷却工质流过的紧凑型换热器。[来源：GB/T15428，3.1]式Coldlatelidcoong指采用液体作为传热工质在冷板内部流道流动，通过热传递对热源实现冷却的非接触液体冷却技术。Maniold用于向机柜内各液冷冷板分配水或其他冷却工质，一般介于冷量分配单元与冷板之间的冷却工质供回装置。在总线盲插架构中，分液歧管也可称为“液冷总线”。背门热交Reardoorheatexchanger一种安装在机柜背面的热交换器，通过内部流动的液冷，将经过的热空气进行冷却，冷却后的空气再循环到数据中心，从而减少对传统机房空调制冷设备的需求，一般设计成机柜背门形态。也可称为“液冷门”。冷板式液冷整机柜服务器Coldplateliquidcoolingrackserver一种采用冷板式液冷散热，将计算节点、交换节点、供电单元、机柜管理单元、分液歧管、背门热交换器（可选）等集成在机柜内的一体化服务器产品，一般采用冷板式液冷散热，以整机柜一体化的快速交付模式。四、技术要求（一）液冷的定义液冷是以液体工质为传热介质，带走设备热量的散热方式。液冷散热系统通常由至少两个相互隔离的循环回路组成，其中供给设备的内循环也称作二次侧，将热量传递给外界环境的循环也叫一次侧，两个循环通过CDU内置的板换进行隔离和交换热量。图1液冷系统基本组成流体工质吸收热量的方式有两种：一种是通过流体温度升高而吸收热量，此时流体形态始终保持液态，也称作单相液冷；另一种是由液态转变为气态通过汽化潜热转移热量，此时流体的形态发生了变化，也称作相变液冷。（二）液冷一次侧的散热方式一次侧的设备通常由客户根据实际的应用条件，综合考虑成本进行部署和安装。主要的散热设备包括主要有三种：干冷器、冷却塔和制冷机组。其中，干冷器通常由管翅式风液换热器和风扇组成，管内走封闭的水，热量靠和空气干球温度进行显热交换。图2干冷器冷却塔靠蒸发冷却，换热和空气湿球温度相关，利用水与空气流动接触后进行冷热交换产生蒸汽，蒸汽挥发带走热量达到蒸发散热、对流传热和辐射传热等原理来散去工业上或制冷空调中产生的余热来降低水温的蒸发散热装置，以保证系统的正常运行，装置一般为桶状，故名为冷却塔；按水和空气的接触方式可分为直接冷却塔（也称开式冷却塔）和间接冷却塔（也称闭式冷却塔）。图3冷却塔制冷机组则是采用空调式的蒸发-压缩-冷凝循环，利用制冷剂和压缩机来制取冷量。图4制冷机组从能耗上来看，制冷机组>>干冷器>冷却塔，但是冷却塔需要消耗大量的水，对于无水区域则难以使用。从制取水温上看，制冷机组可以获得7-12℃的冷却水；干冷器出来的冷却水高于环境干球温度8.3-11.1℃（即T环+△T，一般适用于温度较低的区域，否则水温太高，高达到50-60℃）；冷却塔可以获得高于环境湿球温度2.8-3.9℃（开式）/3.9-6.7℃（闭式）的冷却水（即T环+△T，一般可获取不超过35℃的冷却水）。（三）液冷二次侧散热的实现形式二次侧的散热，根据工质与发热器件的距离可以将液冷分为以下四种类型：芯片内冷、浸没冷却、板级冷却和柜级冷却。芯片内冷即工质直接进入到芯片封装内：图5芯片内冷却浸没冷却即工质直接接触芯片封装：图6浸没冷却板级冷却即芯片封装与冷板接触，冷板内进工质：图7板级冷却柜级冷却即机柜内安装风液热交换器，工质进热交换器，设备内的热量由风传递给热交换器内的工质：图8柜级冷却（四）板级液冷系统的基本构成板级液冷系统主要由CDU、Manifold和冷板构成，三者通过管路进行连接。CDU（coolantdistributionunit）是液冷系统的动力和控制单元，内部主要部件是泵、板换、管路以及监控配电部件，一方面输送液体到各个机柜，另一方面将来自各个机柜的热量通过板换交换到一次侧；它的控制主要是控制一次侧流量和二次侧进液温度，以及负载和功耗的变化匹配。ManifoldCDU的冷流体分配给机柜内各个单板，并将各个单板载热后的热流体收集并回送到CDU。冷板（coldplate）则对应原风冷散热器的位置，通过Tim/硅脂等材料和各发热芯片接触，冷板内部走流体，通过流体进出带走热量。图9冷板式液冷基本构成（五）应用技术要求环境规格要求液冷服务器应满足如下环境规格要求：a. 存储时间3个月以内：-30℃～+60℃（-22℉～+140℉）存储时间6个月以内：-15℃～+45℃（5℉～113℉）存储时间1年以内：-10℃～+35℃（14℉～95℉）45℃供液；d.工作湿度：10%~90%；）：38%~85%68%~80%——存储时间1年以内：20%~75%3050m；。散热及配电方式风液复合半液冷：仅处理器或处理器和内存采用冷板液冷散风液复合全液冷：处理器和内存采用冷板液冷散热，其他部全冷板液冷：处理器、内存、硬盘、标卡、PSU以及节点内整机柜服务器供电输入应支持2N供电系统，宜采用集中供N+MPSUN+NPSU，PSU模块可灵活插拔；注：2N供电是指供电输入有2个供电源，呈备份关系，每个供电源提供N路输入。液冷关键部件技术要求应在最高点设置自动排气阀，用于排放系统部署及运行过程中产生的气体（自动排气阀占用空间不应干涉服务器节点插拔维护）；3柜级分液歧管宜选用不锈钢、铝、PPR等材料，且系统中不应有两种电位差较大的金属共存，避免电化学腐蚀的发生，如果必盲插系统所使用的分液歧管宜配备防止快接头故障喷射、漏注：在总线盲插架构中，分液歧管也可称为“液冷总线”。配备快接头浮动机构（仅采用盲插设计时适用），以满足节管路设计应满足相应的弯曲半径要求，铜管不小于1.6倍管径（直径）3倍，以避免在装配、运输、维护3机柜和节点宜配套完善的漏液导流排出系统，以便在漏液发机柜底部应配备具有漏液检测功能的传感器，用于感知漏液故障。五、失效模式液冷产品最有特点的三大失效模式为，堵塞、泄漏、凝露，除此以外还有其他的失效故障，可参考电子产品常见失效模式的分析和应用。（一）堵塞与风冷不同，液冷采用液体的循环流体散热，有专门的流体通道，当循环系统中的某个节点发生堵塞，工质流道遇阻，会导致设备无法散热、高温告警、芯片降频甚至宕机；堵塞有两种形式：杂质（堵塞物）导致的堵塞、中间设备停止工作导致的堵塞。杂质（堵塞物）一般来源于加工、现场施工、运行过程沉淀等，聚集在焊接位置、缝隙较小的流道位置或者过滤器位置；零部图10杂质堵塞管路示例设备停止导致的堵塞：如CDU对于此类堵塞，系统上采用备份方式避免，如下图一次侧、二次侧采用环路图11设备停机导致堵塞(以单柜双阀为例，不代表所有情况)堵塞的分析及验证，应结合以上具体场景，挖掘所有可能出（二）泄漏循环体系中的腔体和流道，密封是基本功能，但由于结构材料、接口和密封方式众多，往往产生泄漏点，部分泄露场景列举如下：例1：低温下工质凝固撑裂管路图12工质凝固撑裂管路例2：长期电化学腐蚀，导致管路腐蚀穿透：图13管路腐蚀例3：FEP套宝塔，内部宝塔采用尼龙材质，长期受管路的挤压产生蠕变，竹节结构向内变形，管和竹节之间的密封力下降，产生泄漏：图14结构变型导致泄漏例4：非金属盖板和水长期接触，出现水解开裂：图15水解开裂（三）凝露液冷系统采用工质带走热量，低温的工质在设备内部流动循环，热空气遇到低温的工质容易在部件表面产生凝露，温度、相对湿度和露点的对照关系见下表：液冷系统一般会自动控制进出水温度，避免产生凝露；但控制策略是否满足所有场景要求，需要按场景测试验证。六、试验方法（一）密闭性测试测试目的：确认液冷部件及整机柜（节点与机柜连接状态）的密闭性是否满足要求。测试方法：液冷部件及整机柜在满配节点配置时开展下列测试：整机柜保压测试将转接管的其中一端母头与压力表对接，将转接管的另外一将无油空压机（或带减压阀的氮气瓶）与另一个分液歧管液600kPa；图16整机柜保压测试示意图断开无油空压机（或带减压阀的氮气瓶）10分钟，记录压力表读数P1；60分钟，再次记录压力表读数P2；计算压降值P1-P2。测试判据：压降值（P1-P2）符合生产企业内部规范要求。冷板组件密闭性测试对组装完成品后的液冷组件，进行气密保压测试xxxkPa（）；10Min后当前压力值记为P1后，记录P2（24h）P3（48h）。测试判据：压降值（P1-P2及P1-P3）符合生产企业内部规范要求。（二）液冷管路耐压力测试测试目的：评估管路系统是否满足耐压强度要求。测试方法：在管路对外接口处装上工装接头，所有对外接口密封，内部接口打开以均压；通过注液工装或试验机，向被测样品中注入工质，使其压力0.5Pa；1min后检查样品有无10min完成以上测试，如果没有异常；则继续注入压力，使其压力达到P；1min后检查样品有无10min测试判据：0.5P压力情况下：稳压1min，外观检查，变形鼓包不超过0.2mm10min0.02MPa；P在以下三个参数中取最大值作为测试压力P：5倍最大正常工作压力（满足冷板散热流量情况下各部件的）；3（0）；5（。（三）液冷接头插拔测试测试目的：评估管路插拔部件的可靠性。测试方法：不带压状态下插拔：在实际系统使用环境中或模拟系统运行的循环工装进行插拔测试，对冷板组件与分液歧管的液冷接头公、250300Kpa（或实际最大工作压力），再对冷板组件与分液歧管的液冷接头公、母头进行250测试判据：<5mL；（四）杂质堵塞测试测试目的：验证冷板管路长期冲刷或加工过程中残余的杂质，工质长期不流通结晶沉淀物在快接头长期断开和连接可能存在堵塞参考GJB420B12100mL）24h24h10次，同时观察快接头是否被石英砂和工质沉淀物堵塞不回弹，目测观察是否存在漏液，及完成后测试判据：6.1（）6.2（（五）脉冲压力测试测试目的：评估液冷组件（含冷板组件、分液歧管、液冷接头等）长期耐压力循环变化下的可靠性风险。测试方法：液冷部件接入压力脉冲试验机，排气注入工质（或去离子水）；350Kpa，波谷0；251Hz；（）；6.16.2备注：被测样品，有多种状态的部件，连通和断开状态需要分别测试，测试数据和基础数量一致，如快接头有插拔连通密封、断开密5pcs。（六）冲刷腐蚀测试测试目的：模拟实际工况下运行的长期可靠性，经过热氧老化、高温加速后，服务器的冷板组件是否满足工作要求。测试方法：6.16.2将被测样品接入实际工作系统或等效工况工装中，测试样品3测试工况：额定流量L、高温T条件下运行D天。无上电业务需求，测试样品可单独将液冷服务器内部的冷板组件独立取出测试；LT=95℃，D=60（七）液冷管路温度循环测试测试目的：评估管路部件是否能满足温度变化的影响。测试方法：600Kpa（）测试条件：温度范围-40~70℃a；温度变化速率1℃/min；峰6h、924h6.16.2对于产品规格、或产品实际应用中达到的最高/最低温度；超过（-40℃～70℃）范围时，根据产品能达到的最严酷条件来测试。（八）液冷管路温度冲击测试测试目的：评估管路部件是否能满足温度快速变化冲击的影响。测试方法：350Kpa，并放入温箱中；测试条件：温度范围5~70℃a10℃/min；峰1h、1024h按产品规格、或产品实际应用中达到的最高/最低温度，超过（5℃～70℃）范围时，根据产品能达到的最严酷条件来测试。（九）液冷管路高温高湿测试测试目的：评估管路部件是否能满足高温高湿环境长期运行要求。测试方法：a. 350Kpa，并放b.测试条件：75℃，95%RH，1000h；c. 24h6.16.2管路内充入工质量不宜充满，至少预留50%空隙以作为压力变形缓冲。（十）漏液检测能力测试测试目的：检验被测液冷设备的漏液检测能力是否符合技术规范要求。测试方法：液冷设备灌满冷却液，上电自循环，查询并记录漏液检测状态；通过排液孔排液将液冷设备冷却液排放到液冷设备底部，液去除液冷设备底部液体，使漏液传感器处于干燥状态，查询（十一）非金属介质兼容性测试测试目的：评估非金属材料在液冷工质的兼容性能力。测试方法：将系统中涉及与工质接触的所有非金属材料（参考下表651000h；非金属材料测试材料种类涉及部件样品名称测试项目参考标准橡胶密封圈O形圈质量GB/T5720邵氏硬度压缩永久变形拉伸性能密封垫标准样条质量GB/T1690邵氏硬度GB/T531.1、GB/T1690压缩永久变形GB/T7759.1拉伸性能GB/T528、GB/T1690软管标准样条质量GB/T1690邵氏硬度GB/T531.1、GB/T1690拉伸性能GB/T528、GB/T1690塑料软管/密封垫标准样条质量GB/T11547拉伸性能GB/T1040抗冲性能GB/T184324ha. -520%；b.-55%；-50%备注：若无法制备标准样条，可制取一定规格的样片进行测试，同50mm/min测试建议拉伸速度为500mm/min；O形圈尺寸过小，不易测试，可按照橡胶密封垫的测试方（十二）非金属老化测试测试目的：评估非金属材料在液冷工质下长期接触工质，可能会产生裂解、相溶、失去弹性等失效风险。5组样品，样品为非金属部件的零件状态，将软管将准备好的零部件放入高压罐体中，加满工质，并加压至350Kpa，温度设定至130℃，存储28天；测试完成后，取出样品，组装成成品，分别注入工质并打压到350Kpa、1Mpa。测试判据：350Kpa、1Mpa，腔体不出现液体渗漏现象。备注：本表推荐的温度及测试周期是基于特定材料定义，实际可基于（十三）金属耐腐蚀性测试测试目的：模拟液冷系统中金属部件在工质中的腐蚀场景，验证液冷部件是否满足耐腐蚀要求。测试方法：将金属样片（5pcs）固定在工装上（工装材质与被测金属绝缘，且与工质无兼容性问题）；95℃；或将被测金属实物样品接入测试系统（实际工作机柜或等效）95℃；606.1（）6.2（）金属样片要求参考GB/T19291-2003标准第4章，重点确认：金属样片厚度按照实际样品最薄壁厚，或直接在样品最薄壁位置取样，但确保样品有效暴露面积不少于25cm²。（十四）中性盐雾测试测试目的：验证液冷部件实际使用过程中，在相应环境下耐腐蚀性能。测试方法：测试条件设置为：5%氯化钠溶液（NaCl）盐溶液，pH值6.5～7.2，喷雾温度：35℃，盐雾沉降率在：1～3ml/h/80cm^2；48h金属表面无明显变色、起泡、开裂等腐蚀缺陷。（十五）电源备份测试测试目的：检验被测电源模块在单路输入异常时输出电压是否满足技术规范要求；测试方法：2路输入（为了方便描述，分别命名为路/B路）分别上电，保证输入电压在正常范围内，电源指示灯应处于绿灯常亮状态，系统开始运行，待系统运行到稳定状态后开始测试；A路输入下电，观察系统工作是否出现异常，是否有除输AB路输入下电，观察系统工作是否出现异BMC下发命令切换供电来源，观察系统工作是否出现ABMCBA路，或断开B路供电，通过BMC下发命令由A路切换到B路。测试判据：手工切换输入源后系统正常工作，无除输入掉电之外的告警信息出现；BMC命令切换后系统正常工作，电源可准确切换到对应供电其中一路供电不具备供电能力的情况下，电源不响应BMC的切换命令。（十六）噪声测试测试目的：整机柜作为声源对外辐射的噪声值（声功率级）。测试方法：a. 整机柜按照ISO77795.1.2.2及ECMA-745.1.2.2放置于半消声室中；整机柜进入运行状态，按照下图1721点法进行测试（依据机柜尺寸选择不同布点法）：图1717点法平行六面体包络面上被测点位置（设备长、宽≤1m，设备高度>2m）图1821点法平行六面体包络面上被测点位置（1m<设备长≤4m，1m<设备宽≤4m，设备高度≤2m）若需要。参考YD/T1816第6.1节、ETSIEN300753第6节、ISO9296中的相关规格要求。单节点噪声测试测试目的：单节点作为声源对外辐射的噪声值（声功率级）。测试方法：ISO77795.1.5ECMA-745.1.5的要求，单节点进入运行状态，按照下图9点法进行测试（依据尺寸）；图199点法平行六面体包络面上被测点位置（设备长、宽≤1m，设备高度≤2m）若需要。测试判据：参考YD/T1816第6.1节、ETSIEN300753第6节、ISO9296中的相关规格要求。（十七）气候环境试验测试项目：低温测试、高温测试、湿热测试、温度变化测试。测试目的：模拟气候要素中温度/湿度及其变化对单节点或整机柜产品的影响。测试方法：受试产品在箱内安装应保证除必要的支点外，全部暴露在传试验持续时间应从样品在规定的试验条件上稳定的瞬间开始计算，一般不能少于30分钟；1℃/min；试验严酷度等级的确定应考虑产品在实际的贮存、运输与使用中出现的概率，一般取20％；/存储测试参考GB/T2423.1/存储测试参考GB/T2423.2/循环测试参考GB/T2423.22要求；/交变湿热测试参考GB/T2423.3、GB/T2423.4（十八）低气压测试测试目的：模拟高海拔地区低气压对产品的影响。测试方法：受试产品在箱内安装应保证除必要的支点外，全部暴露在传试验持续时间应从样品在规定的试验条件上稳定的瞬间开始计算，一般不能少于30分钟；1℃/min；10Kpa/min。测试判据：参考GB/T2423.27要求。（十九）工作随机振动测试机箱模拟实际安装状态，紧固在机架或等效固定工装上。如果机箱在机架内的实际安装情况有滑道支撑，存在后挂耳等情况，5~10Hz:+12dB/Oct10~50Hz:0.02m2/s350~100Hz:-12dB/Oct3axes,30min/axis。测试判据：参考GB/T2423.11要求。（二十）工作冲击测试测试目的：考量产品在工作中的抗冲击干扰能力。测试方法：机箱模拟实际安装状态，紧固在机架或等效固定工装上。如果机箱在机架内的实际安装情况有滑道支撑，存在后挂耳等情况，冲击测试条件：峰值加速度：30m/s2；脉冲持续时间：11ms；x-y-z正反共6个方向，每个方向冲击3次测试判据：参考GB/T2423.5要求。（二十一）运输包装件碰撞测试测试目的：考量产品在包装运输时，其包装缓冲能力是否满足要求。测试方法：包装：按实际发货要求，将所需的服务器整机及配套附件包按GB/T9813.35.8.7测试判据：包装本体不能失去原有功能，如托盘断裂、外箱撕裂及缓冲内装设备外观应无人眼可见的变形、凹坑、掉漆、划痕或丝各部件的机械固定和连接处，如螺钉、铆接及卡接等部位，（二十二）运输包装件跌落测试测试目的：考量产品在包装运输时，其包装缓冲能力是否满足要求。测试方法：包装：按实际发货要求，将所需的服务器整机及配套附件包按GB/T