烽火通信浸没式液冷系统测试报告

生产单位：烽火通信科技股份有限公司、中国移动通信集中国信息通信研究院源信息（如送样人、产地、生产单位等）由客户提供，1烽火通信科技股份有限公司、中国移动通信CTTL-XXFF-2024-0041《液冷系统测试方法》4.服务器结构件：金属件、塑料件、标签等结构外6.在不同的液泵频率和液温下运行液冷系统3.服务器结构件：金属件、塑料件、标4.冷却液体外观无色、透明，气味），集团宁夏有限公司协调测试环境及场地，中国移动通信集团烽火通信浸没式液冷系统介绍：该系统由一套浸没Tank、一套液冷额定功率20KWCDU、一套室内配电箱、一套室外水泵控制柜、宁夏回族自治区中卫市沙坡头区沙坡头区工业园区凤云路宁夏移动中卫数据中图1烽火浸没式液冷系统液冷机柜图2烽火浸没式液冷系统室外风机18℃~23℃1服务器运行状态验证及程满载正常运行，液冷系统正常运行，硬件设备温度在正常范围内，CPU和GPU无2无3模块插拔正常，光模块使用块插拔正常，光模块使用正无4无5服务器结构件可靠性分析金属件、塑料件、标签等结无6冷却液可靠冷却液体外观无色、透明，气味无异臭；入液运行48小时后冷却液体外观无变味无异臭；入液运行48小时无7液泵频率和在不同温度下，服务器硬件无8tank温度最高35.1度，冷却无9无审核人：王少鹏12图1烽火液冷系统配电图编号1检测项目服务器运行状态验证及核心温度检测目的确保服务器在液冷环境中，安全可靠的运行检测环境浸没式液冷系统前置条件1、液冷系统打开正常运行2、服务器放入液冷机柜中，开机运行程序，持续满负载运行检测步骤开始持续运行48小时，期间观察服务器运行状态，硬件设备温度以及液冷系统运行状态，确保全程服务器正常满载运行，液冷系统正常运行。预期结果经过48小时测试，服务器全程满载正常运行，液冷系统正常运行，硬件设备温度在正常范围内，CPU和GPU温度不超过70度。检测结果经过48小时测试，服务器全程满载正常运行，液冷系统正常运行，硬件设备温度在正常范围内，CPU最高63度，GPU最高65度。备注图中GPU温度每八小时出现一次降温是由于英伟达dcgmi命令运行时每八小时业务重启导致，与液冷系统无关编号2检测项目电源热插拔检测目的确保电源在液冷环境中进行插拔操作时的稳定性和性能检测环境浸没式液冷电源插拔测试需要在液冷环境中进行，确保测试条件与实际使用场景一致。前置条件1.按照实际使用场景部署液冷机柜，安装服务器2.服务器满负载运行检测步骤1.拔出电源线，拔出电源，观察服务器运行是否正常，整体功耗是否正常，插入电源，插入电源线，再次观察服务器运行是否正常，整体功耗是否正常，重复三次。2.跟换下一个电源，重复步骤1操作，至到6个电源均测试完成预期结果全程18次电源插拔，服务器正常运行，功耗稳定。检测结果全程18次电源插拔，服务器正常运行，功耗稳定。备注电源插拔测试：第2次正常正常正常2号电源正常正常正常3号电源正常正常正常4号电源正常正常正常5号电源正常正常正常6号电源正常正常正常1号电源：2号电源:3号电源：4号电源：5号电源：6号电源编号3检测项目光模块插拔检测目的确保400G光模块在液冷环境中正常插拔及运行。检测环境浸没式液冷电源插拔测试需要在液冷环境中进行，确保测试条件与实际使用场景一致。前置条件1、按照实际使用场景部署液冷机柜，安装服务器2、400G光模块通过MPO光纤与对端400G光模块连接3、服务器开机运行检测步骤1、插入封装光模块，查看网卡指示灯是否由熄灭状态变为显示橙色，后面转为绿色2、测试网络是否通畅，然后拔出光模块3、依次在3张网卡上，重复上述操作3次预期结果全程9次插拔，封装后的光模块插拔正常，光模块使用正常，网络通畅检测结果全程9次插拔，封装后的光模块插拔正常，光模块使用正常，网络通畅备注光模块插拔测试：第2次正常正常正常2号网卡正常正常正常3号网卡正常正常正常对端网卡：1号网卡：2号网卡：3号网卡：编号4检测项目材料/部件兼容性测试检测目的为了评估液冷环境对主板物理特性是否有影响，对液冷环境PCBA物理兼容性层面可靠性测试检测环境浸没式液冷系统前置条件无检测步骤1、服务器入液前，对服务器PCBA板部位进行拍照2、服务器入液持续运行48以上小时3、抬出服务器，对服务器PCBA板相同部位进行拍照对比。预期结果PCBA外观正常，无变化检测结果PCBA外观正常，无变化备注编号5检测项目服务器结构件可靠性分析检测目的为了评估液冷环境是否会影响机箱结构件的性能，对机箱结构件进行外观检视、烤漆检视、螺丝扭力测试等可靠性评估。检测环境浸没式液冷系统前置条件无检测步骤1、服务器入液前，对服务器金属件、塑料件、标签等进行拍照2、服务器入液持续运行48以上小时3、抬出服务器，对服务器金属件、塑料件、标签等相同部位进行拍照对比。预期结果金属件、塑料件、标签等结构，外观无变化检测结果金属件、塑料件、标签等结构，外观无变化备注1月15日金属件和塑料件照片：1月19日金属件和塑料件照片：1月15日金属接口照片：1月19日金属接口照片：1月15日整体结构照片：1月19日整体结构照片：编号6检测项目冷却液可靠性分析检测目的为了测试浸没式液冷服务器中冷却液体长期使用后液体的物理特性及成分是否变化检测环境浸没式液冷系统前置条件无检测步骤1、服务器入液前，对液体采样并检测2、服务器入液持续运行48以上小时，对液体进行第二次采样并检测预期结果冷却液体外观无色、透明，气味无异臭；入液运行48小时后冷却液体外观无变化。检测结果冷却液体外观无色、透明，气味无异臭；入液运行48小时后冷却液体外观无变化。备注编号7检测项目基础测试-液泵频率和液温测试检测目的检测液冷系统液泵在不同频率下的工作状态，服务器在不同液温下的硬件温度检测环境浸没式液冷系统前置条件液冷系统部署完成正常运行检测步骤1、切换至调试模式，调节循环液泵至不同频率，待温度稳定后，记录数据2、调整系统室外散热逻辑，将液温升至不同温度，待稳定后，记录数据预期结果在不同温度下，服务器硬件温度正常检测结果即使在50度的液温下，服务器硬件温度最高80.12度，仍在正常使用访问内备注不同频率下的系统状态频率设备PDU度度瞬时PUE25Hz0.417kW7.632kW32.6℃35.2℃1.054630Hz0.552kW7.910kW32.0℃34.6℃1.069735Hz0.652kW7.799kW30.5℃1.083640Hz0.836kW7.850kW30.6℃33.7℃1.106445Hz1.070kW7.861kW30.5℃33.2℃1.136150Hz1.357kW7.967kW30.8℃32.9℃1.1703不同液温下的硬件温度Tank进口液温CPU（平均值）GPU（平均值）30℃57.5℃61.87℃35℃60.0℃64.75℃40℃65.5℃69.75℃45℃73.0℃75.25℃50℃78.5℃编号8检测项目性能测试检测目的测试设备在满载情况下性能是否符合设计要求检测环境浸没式液冷系统前置条件液冷系统部署完成正常运行检测步骤1、服务器满载运行，读取控制面板上的温度并记录预期结果1、温度数据应低于45℃,冷却液供回液温差应低于5℃。检测结果进tank温度最高32.6度，出tank温度最高35.1度，冷却液供回液温差低于5℃,符合设计要求备注备注液泵频率率风机转速温度温度液冷用电功率室外温度室外湿度25Hz0%30.6℃34.2℃0.447.9℃30.3%25Hz23%32.2℃34.7℃0.495.6℃31.4%25Hz32.6Hz0%34.6℃0.446.7℃41.4%25Hz33.4Hz24%31.6℃35.0℃0.496.7℃31.4%25Hz32.4Hz0%31.5℃34.4℃0.443.7℃34.6%液泵频率水泵频率风机转速温度温度液冷用电功率室外温度室外湿度25Hz32.4Hz0%31.3℃34.4℃0.44kW8.2℃32.0%25Hz33.6Hz23%35.0℃0.49kW5.7℃32.4%25Hz33.6Hz23%31.9℃0.49kW30.2%25Hz32.8Hz0%31.8℃34,6℃0.48kW6.8℃30.2%25Hz33.3Hz23%32.5℃34.9℃0.49kW8.2℃32.0%25Hz0%30.6℃34.2℃0.44kW24.8%液泵频率水泵频率风机转速温度温度液冷用电功率室外温度室外湿度25Hz33.8Hz23%32.6℃0.50kW6.2℃35.6%25Hz32.6Hz0%31.5℃34.4℃0.44kW9.0℃32.2%25Hz32.3Hz0%30.0℃34.5℃0.43kW7.3℃38.7%25Hz32.5Hz0%31.0℃34.5℃0.44kW6.6℃39.6%25Hz33.4Hz23%32.2℃34.9℃0.48kW6.4℃41.4%25Hz33.6Hz23%0.49kW9.3℃27.5%编号9检测项目能效测试检测目的测试计算液冷系统48小时PUE能效值检测环境浸没式液冷系统前置条件液冷系统部署完成正常运行检测步骤1、服务器满载运行，记录服务器功耗，液冷设备功耗，计算瞬时PUE。2、记录开始时间以及PDU和液冷设备电表值。3、持续运行48小时，记录结束时PDU和液冷设备电表值，计算48小时平均PUE。预期结果瞬时PUE以及48小时PUE符合正常PUE范围检测结果瞬时PUE在1.0564到1.0661之间，48小时平均PUE值为1.0604备注液冷系统功耗(含机器)IT设备功耗瞬时PUE7.98kW7.54kW1.05838.01kW7.52kW1.06517.96kW7.52kW1.05858.08kW7.59kW1.06457.97kW7.53kW1.058