绿色数据中心创新实践-冷板液冷系统设计参考白皮书

1、 HYPERLINK / HYPERLINK / 板考 HYPERLINK / 图片图1冷板式液冷整体链路图 2图2开式冷却塔示意图 5图3闭式冷却塔示意图 5图4干冷器示意图 5图5冷塔+水冷冷机+板换系统示意图 6图6风冷冷水机组示意图 7图7闭式冷却塔/干冷器液冷系统示意图 7图8开式冷却塔冷却示意图 7图9冷板示意图（分体式） 14图10冷板设计热边界条件曲线 15图11冷板热性能和流阻曲线 16图12冷量分配单元热交换原理示意图 16图13机架式冷却工质供回液歧管示意图 19图14快换接头示意图 21图15直连式示意图 22图16环形管路示意图 22表格表1一次侧和二次侧供液温度的参

2、考值 6表2一次侧冷源建议方案 7表3水基冷却工质优缺点 12表4防冻液优缺点 12表5介电液体优缺点 12表6冷媒优缺点 13表7冷却工质液体热性能参数 13表8冷板设计考量参数 14表9冷量分配单元（CDU）考量参数 17表10GB/T290442012采暖空调系统水质中集中空调间接供冷闭式循环冷却水系统标准 18表11SHAE一次侧循环水要求 18表12冷却工质供回液歧管考量参数 19表13冷却工质供回液歧管参考设计要求 19表14泵的选择考量参数 20表15快换接头考量参数 21表16环形管网参考设计输入 221候正人类益严峻挑战促进经济繁保地联了2030持续发降能碳强采取紧应对候及其

3、1影响重内推动全球各国提供更资源和明智的解决案2021底发布的五合境大会续会长级言再次推动绿色转减少碳和非碳续标。视国2030持续发推持续发要态建家战碳达”和和让绿低碳各续发极推态5网等术的快及应在各业质量发展提所有新能作新基础设施的数规模不能耗持续高速增长据相关估全类型数的1.%2%机柜仍保速长态伦斯克实验室国数产业发展关估采关。面对不断增长的能源消耗经济社持续发展双重压加速数据运营模式的绿色转型成之急2021年 5国家发改委等四部委联发全国一化大数据中心协同创新体系力枢纽实施方将绿色低碳列为基本原强调通过创新技术全面提高其能源利用效同年 7信部新型数据中心发展三年行动计划2021-2023

4、 ,明确提出新建大型及以上数据中心电能利用效Power UsageecienesPU降低到 1.3022年 1”经发展规随家发展改相推进“东数西算程实化数心绿色发展心PUE到1.3启都将PUE在1.5。政以及数降本增个IT术绕降低PUE通推基设冷散热技以及提能统措施元决合性地创新数降。众板液态“造改地通续全续重数进数领服数向续推进数心度演液标长数速清集元。数践板液参是态合合果盖液链图板液态及板液是通板液进促其标降低善板液态推进数业速转以持各低碳发碳达做。文散验检参。淋淋泵泵喷热机房外墙 风机 元） 侧 侧进IT及冷板机+快换接图1 2随云大数人等一代息快速发数据设是。升着字经人类活逐渐息数量激

5、与之的数据处不提服务器度越来越致来5仍以1%续心。“建”数以术创驱和网基础质量发展在会的字转升合服提供基设快速源消耗带来热点地区局部能源的稀缺和地域之间的均衡在北上这些核心地很潜在面临房电的窘境为能源耗度数必以绿低能减排应快速发健持续发展。根据家政未来枢纽8部数据心 PUE需要降低到 1.25括南地西部地区的数据心 PUE要求在 1.2且要求制系统采取新的解决。高率。UptimeInstitute发布2020全球数据调查报显， 0球7%于10W/常是5W/为8.4W/度于 0W/占 1于HP领但趋于 7的5.6W/1的2.4W/宏度。造成趋势主要有方面一是从应面算密集型应场景的激加云业互企业导

6、致服数中。自T机器了T著度越务器U处器从9的W的，在3到时。风数以决12kW机服耗通服器机容服功超过15对流散花板液种散，势率机散液升服使率稳使数；统统循环能耗且液冷简换热流也减风末端在间流；占选址使液统的数心相于传统风冷数更加去庞末端空调系建筑利能置够规模的服务应场景易布地低PUE低营UE年UE到1.2冷心E低5以源降成加统液差；液态条普相。液末端液侧冷机械统然统机械风冻统水供 11温外气条冷机械冷过然冷系式冷却闭式冷却塔冷器等供3液冷源合。统风统冷，。冻及，初期成本投较低不需业人员维无冷却水系统备节水和降低维护费用等优点但风冷冷水机组一般装在运维相对较恶维护性靠性不如水冷且风冷机冷较率较低

7、。冻统是冻冷机、冻水冷水冷却及配套设施组其液态剂在蒸器直接蒸实现对外冻水吸通过液。水冻统电较低全冷效果靠使但机冻泵投较要资源耗机体设风机费比。统经将接喷填风流流通气质换 风机 进水水蒸发在图 风机 进水水闭式冷却塔的水质较被冷却换热器不结寿命应在且对却本器器冷却其过程水的消是通过走液体然风来冷液降液温达冷却图器载剂使醇溶要根极度取液浓。 风机进水 进水 风机进水 进水 外 气 换热器水本较但其较起被冷换热器结适气质较区域虽增板式换热器水泵来避免换热器但统较。 风机水 进水 喷塔换热通过流气喷淋热散图 环外通被冷通换递外喷，水系统集水盘路组外循不内循相接只是通换热器 风机水 进水 喷图3图图4图

8、体机投冷恶系。景在板液发热器件直接接触是通装有液体冷板直接接触来散导热部件将热量导到冷板器件直接接触对服部性度的。侧相对稳通过冷却液分配CD及统架构进配置虑种的使条件场景进按照冷方成机械冷然冷结合情：侧温度结合地气象条二侧供液温度要推供温度超过35果用45或+供温以冷机组达到的节能出发建议冷板供液温度在4048冷却工质供液温度及流量应满足液冷元件的散热差差10理想在810差1理差-表 1值冷组根温球/湿温及液服务进液温外温度温出23左表。组+高湿机房境温度要直接冷塔/法直接满供要机冷源组+供图耗。环环 塔 液冷机柜板式 换热冷机组CDU图5塔+机+：较仅冷塔+。冷水于DU机冷塔+。风组风冷水机

9、组将凝水压缩机等部成整且常配冷免费冷源模集图但是的蒸发潜统统偏以水。环风冷环风冷机含免费冷源模）环 CDU 液冷机柜式 过散。式却此时冷却塔器通过进的湿膜降再。图6景1：较仅费冷模。模免费冷源模块法满足CDU温度要机械降温接风机。塔/器图 机环环 CDU 液冷机柜图7器图冷式以散热温统较于CDU换友耗体偏湿。图冷。环环 CDU 液冷机柜板式换热器图8以液表板液在际运转液统往仍要调使以满液散。侧冷源议案然气低以满然冷冷充资源裕资源裕水闭式冷却开式冷却塔干冷器冷机+冷塔+板换表 2案 3侧是从元通质歧和IT连通过自二侧冷回路的热量通过冷量分配元的板式热交换器传递到，最终放。着T增求传统风冷液案提更

10、高效冷却率何时换到液取决于许括散热PUEIT成以来的IT部略改造设还是,入O。法足 设的散热故需要新案提冷能于 CPU和 GPU等高功耗元器究何时何种功率下需要液冷通论但应注成分析还液一些设冷所浸所保长冷质。88 412冷板式液是指采液为传热工在冷板内部流道流通过热传递对热源实现冷却的非接触液体冷却技术其热量通过装配在需要冷却的子元器上的冷板再通过冷与液体工热接液浸喷液冷要是元器在热装散热以热质接接2冷板带部流通道冷工质流过的热交换或散热冷板装要器热器的热量通过液体冷工传递到冷量分配元的板式热交换器冷根其结，内部流道以是沟扣合翅铲折叠翅等构造于一些高功耗或高热度元器件的散热设流道常还会设成复微

11、通道结以接散热能。散模模模大限度满足扣正压冷板根据散热模和定模块之间的连接液散热模模他方式连根据求进拆组以一体式液冷板冷板散热模块模拆组根据可。本件中提到的冷却解决案是指同使风冷和冷板液冷是率热度液冷低风以IT却于PU/GPU模液用。还种将冷泵及换热器集成统设应以冷设计仍来满液元器的散热求降低机调功机安装液冷气以机房取全液。全液冷却指是所元器产的热量全部通过液体冷工质传递至外部环境冷方式于 IT设采全液体冷却大致是通过现服入工是通液式服部入质要通服合件供热。气最机心。质/转。液。水基冷工以纯水溶不添加任何他依据耐温060纯，需要工质纯化模块使以纯水溶添加缓蚀杀生剂并依据耐零温度求添加0%60防

12、冻剂构成样检添状况工般使浸试。吸放热气相之相冷质相冷质的点较要通过液体潜热收热循成热相流相质常媒。指冷浸）须渗作。冷分是隔并在部提侧热机式机机式CDU个IT机整机提供比机式CDU更大供式CDU种更大能供的CDU类最大达到10MW以以整个数心提供冷避免CDU故障造成冷需际虑 CDU的 NN2对 CDU模块行N1却现CDUUp检模凝去对保颗流造成止为0。液从CDU进冷流各T从液流。歧必须能够提供符合 IT设冷却流确保机冷却质障 T入液统些。开 T冷T封式快换接两种设插拔式插式插拔式是需要人动握住快换接进插拔连接操作的接手插手插拔插保通过导通或拔开需操的接设需要通过精确的滑设位来辅位连并保持通压以避

13、公头头液 5却质其选择要在足还应侧冷浸长时虑I及身预及成合。每种液缺表 5和 6介绍水质良传热纯液通过维持超低电导率环境抑制浸润材料的腐蚀和微物的滋配方液通过缓蚀剂生剂的添加剂降低浸润料腐蚀风险和抑细长但这些添加会降低水热导存消失去用的问题以需要研究对整体性能的潜在影响和品质监测。是 作境温度以及足操运输储存使冻醇醇但醇衰要致泵耗提操作温度温添的%的量表。减低液在运输污染风IT和/或机架以预先充合适的冷工质或惰性气体加保在系统现场装配按制提供装操流还在统冲洗预及体，必须定期检测液冷工质尤其是配方液的品质解其成分化。非质是物电体冷媒物或成类其粘吸湿水解题作推电液单相相点较的液单相冷点较低的液变冷

14、电液体个优点在发生潜在泄漏液体电绝缘低电一会造成 IT设路短时针某些电要全暖W这因以表，冷相冷冷媒相对较低的腾温液体以。水纯良好的传热性与配方液）泄漏导会随碳粉机盐溶而率致IT短处置反短，监）良传热能）具备高导电率特性，泄漏可能导致 IT设备短路，基本无处置表3点冻剂2体积浓醇, 抑制液体粘度变化=泵功由于液体粘性的变化导致耗可满足下境工温要根据冻体积浓度）散热降低酸等酸性有强中加pH标监测表4点电体纯低电会造在泄短路度热低某些要量WP成对高供）相微通道冷存在流不稳均性表5点冷媒潜热某些冷媒要虑ODP全暖W响合HFC全化CFC饱新型合HFO饱对境燃比相要耗比较泵操相体电体比较电比较全暖W）以是

15、惰的毒/不燃/相微通道存在流不稳性表6点料浸质接接质蚀险泄至低所要浸及供合性见浸润料的描请参文献 ASHRAE提供的表只是建随着新设及新材它将继续更要注该是所述料的过。置的可。过装是止颗物积聚污染其是板液微通道热换器间隙度快换接头结构都关在这些颗粒物污致在能过统根系，含突发余。求质应质良热标B/T5录A及D/T1第4第6。质标冷工质液体具有不同的热性评估不同液体的热性能时应对以重视表 7 显液体评估时的重要参数按照液冷装置部在地地位候条这些参要合虑。参数导热系数W/（mK）比热Jg潜热J动态粘度（与温度相关）as密度（与温度相关）g/m3冰点温度C闪点温度C饱温腾温）C饱和压力表7数参参数指标

16、对流换热系数W/（m2K）c（芯片表面温度）C芯片功耗W环境温度要求C工作压力a（Ma）压降a（Ka）流量L /min或mL/min液体入口温度C液体出口温度C高度mm有效表面积M2过滤颗粒求m干度（两相）无量纲参数图9图）冷图的选择取决于散热要成本要操作参数及使用的浸润材料等因素二侧冷却回路中与冷工质接触的所有部件所使的材料必须要和冷工质的浸润材清WM根据需要被冷却的元器件不同的温度要求冷却工质参数，例如流速温度和传热特冷板设计复杂难度也不同例常的微通道冷板结比较复中微通道主要是增加液体接触面积以提高冷却性能而更简化的冷板设计是带有简易内部流通道的模块。设得。标表8使热TI来增需要冷件冷板间

17、的传热性要虑道微通之参，议于50m。表8数求：应根据子设部结构进行设以获更好的换热效在满足芯片整个使周期内的壳温要求流模；散热；虑管位及液位避子设备；基流道合种虑；应足求,装/散热底接；液板质冷却工质的选用应考虑与二次侧循环回路中所有直接接触的固体表面材质间的相性。热求：；统的流量选以要流宜于10于便；供图1质经质图10热条线使界条流量及温的任界条冷板入处冷质温度及其流该冷板冷可满冷最大温参板板图冷板处冷质流速于 1.5m冷液差宜控在 5-10 范。）冷板入口液体温度）L/）图0线热试将冷板锁固在待测芯冷板的液进与热性能测试系统相确保试环凝性并流经冷板流待施加功待试果稳定记录冷板进的压待测芯壳

18、冷板液体温待测施加功耗以及流经冷板的液流量值依据测试结别依据算冷的流量范内热图。c-） Q )板/） c） 板温）Q） P=P1-P2 P流K） P1板K） PK）的L和所标板热衰后。冷CD在热U、U 。CDU二侧流体回侧回路隔提供二侧流体回路和次侧流体回路之间的连接及热交换CDU 的功能还包括对压流温露点控水质洁净度及泄漏监测通使用 CDU侧降低泄中压流速较使通过CDU控平温造各T设。U，U的小参设取决有IT集图 1可导。C/C/）L/）图1线冷板流阻式/机式CDUT 式/机式CDUT 换器水水）标择DU数表 9和 DU于 DU浸必料。参数最大制冷量总液体体积M3CDU 板换热性能指标（趋C

19、在 T在UV*L（基于*冷却工质）声功率或声压B（A）或dB（A）水泵流量LPM过滤装置ype,#Micons,50-MiconasgenealQ）a&LPM物理尺寸：高/宽/深mmorU/inches/mm议XXX重量千克（运输或运行重量）一次侧连接方式和尺寸Inches（如法兰、快装卡盘、盲插手动安装、螺纹连接）二次侧连接方式和尺寸套参数最大制冷量总液体体积M3CDU 板换热性能指标（趋C在 T在UV*L（基于*冷却工质）声功率或声压B（A）或dB（A）水泵流量LPM过滤装置ype,#Micons,50-MiconasgenealQ）a&LPM物理尺寸：高/宽/深mmorU/inches/

20、mm议XXX重量千克（运输或运行重量）一次侧连接方式和尺寸Inches（如法兰、快装卡盘、盲插手动安装、螺纹连接）二次侧连接方式和尺寸5.3.3统：参GB5019-15暖， CDU侧冷室外机在蒸发冷却将供水温度逼近湿温度使冷机的CDU侧最低供水温度主所在地季空调室算湿球温度确定参考SHRAE以极。dgsrmt塔循气直接接要排放废水且杂质颗物较止结垢冷稳CDU一不推使塔干：表9数能CDU换热取其趋近温特性趋近温度是在T在DU温趋虑 DU 散机还其：）程级+考HRAqudCoingGudeinesortaomquipmet Ceer：7；物/PT0000。CDU侧循水质直接影响CDU换热以液长稳C

21、DU系统参考G/T90441统空供表1。检充水pH（25）检充水pH（25）.5.5.510浊度NTU510电导率（25）Scm6002000Clmg/L250250总铁mg/L.310钙硬度（以CaO计）mg/L300300以mg/L200500以Pmg/L-.5液冷控统负责冷液冷CD侧质监漏通控现具轮以供连模器根据机际对液冷机组减机和降。表0B/T4接准参考ASHRAEC_ae-Cooled Serers Common Designs,Components, andPoesses_19表。参数回路pH79缓蚀剂要求杀菌剂-硫化物10ppm硫酸盐100ppm氯化物50ppm细菌1000CFs

22、mL总硬度（以CaO计）200ppm电导率-固体悬浮物-蒸发残留物500ppm浊度20NT散浊表1RE求机液关流或机内IT设冷图1使机架式CDU的液冷部歧管与 IT设备和机架式 CDU直接构成完整的结是快换接头连着 IT连接接连螺纹连类型接要未来液流量及操作性能要以及 IT设的液流动扑结构冷板数求有效冷工质歧管位置机。歧的位置机根据I设部及放机面液歧位选择要确他O括T设电便IT接液歧侧路提连接布液液网连接连泄对较在底部泄漏后滴落在地板上风险低,以建议连接设置。二侧回路的连接部包括能够保二侧操压的管道和快换接同快换接头需要满足爆破压要求工见七章压安典型的数预期使是 1020除快换接头歧分结构命限

23、需要供回液歧管进行顾液试，虑。图 3图标估歧设要参以足歧各其表2。参数总液体体积M3歧管内径或内部尺寸mm或inches（mmxmm或inchesxinches）歧管支路数量个歧管材质LPMInches/mm物理尺寸:高/宽/深mmorU/inches/mm与CDU连接型式及尺寸与IT设备连接型式及尺寸冷却工质从CDU进入歧管的置otfackoropfack工作压力a或PSI液体流速m径mm表2数求表3保。参数标准机架供回液歧管否材料要求最大操作压力100psi要求最小爆破压力300psi要求减压系统供回液歧管需配备排气装置要求几何尺寸截面积（方形管或圆形管x高度）形状和尺寸由制商自己决定与U

24、要求操作方便快捷工作温度范围（1-65）C要求运输温度范围-400C要求制造商自己决定认证oHS,CE要求工作年限10年要求保存5年表3求件供心是设了护联置还联连接要虑料。泵由各种类型的电机驱在评估或优化装置的能源效率需要虑点泵的安装位置决定其局限性和选择标准泵在侧位选择很性果泵在IT于 IT设的机箱度IT设内间非宝泵的集成构服务器机箱的一部IT备供计液管机流使其被冷。接板供一过料粒降包体。件，局/管。标参数泵/泵/最小流量LPM,GPM最大流量LPM,GPM泵流量LPM工作电压电制V例如C110230V频率（定频/变频）MHz功率W重量g或C声压级（或声功率级）dA（A）与液体接触部分的材料

25、ales,O-ring,springs,pion,connecors结构尺寸:高度/宽度/深度mmmmmm平均故障间隔时间（MTBF）建议810年IP防护等级例如，IP66,水力特性曲线（PQ）a&LPM轴封形式例如，机械密封轴封寿命小时表 4数侧流快换接头证服拔性图了T，但会给液额换头虑流。快换接头公/头/件/。断开集成在快换接头内部的于密封流体流动自封阀芯会流体连保设受影此其选型必须格限制每次断开时冷工质的泄漏一般要求单次插拔泄漏小于16液连续拔 6滴滴于 0.5且建使泄量的快换接类接头溢流。在使手动插拔快换接头连接的系统应虑体工程学问题例如锁机连接间限确于维插设计通常还需要虑安装公差和不

26、对中公设可靠的盲插配合机构快换接液CD、软的以通过种方式实现于软管连椎扣压箍式结构提种靠连接刚液螺纹连比注螺纹连接螺AJ196或G/BSPIO 9等O造。PPlugBody LockfeaturePlugerminationPlugSocet Sealingr Socet SemPlugEndView Plug Socet Socet erminationSocet Body图4自P:Dnn）5.61标表 15选择冷板式液冷快换接头需要虑的参数需要注意压和爆破压压定义条件下的最大系统压爆破压表示部发生灾难性故障时的参数流量LPM,GPM流量系数,v工作压力k爆破压力k水力特性曲线a&LPM接头

27、断开液体泄漏量mL气体渗入量mL温度操作、储存、运输C,F*N,lf/a最大插拔次数不小于5000次适用工质如：水、丙/乙二醇力质颗粒于50快换接头类型和水力直径英寸,管道端接口椎管式、卡箍式、带 O-Ring密封的螺纹接头材质不锈钢表5数法提供插拔提插拔其须。将CDU末端服般连接直连图 图 的接DU质供U管状参数CDU流量LPM,GPMCDU数量个CDU二次侧接口规格inches（例如，法兰、快装卡盘、盲插, 手安装,螺纹连接）环路支路流量LPM,gpm环路支路数量个机架歧管接口规格inches（例如，法兰、快装卡盘、盲插, 手安装,螺纹连接）主管规格Inches参数CDU流量LPM,GPM

28、CDU数量个CDU二次侧接口规格inches（例如，法兰、快装卡盘、盲插, 手安装,螺纹连接）环路支路流量LPM,gpm环路支路数量个机架歧管接口规格inches（例如，法兰、快装卡盘、盲插, 手安装,螺纹连接）主管规格Inches/mm支路规格Inches/mmMa或bar最小爆破压力Ma或bar工作温度范围C输温度C制造及表面处理酸洗钝化支路位置根据设计平面图工作年限10年保存期限5年 CDU侧管 CDU侧管 CDU阀隔断阀软连接 机柜 气装置每个 CDU支路和机架支路安装有阀门连接 CDU和机架歧便个设备的维为确保局部段检或发故障其段能 CDU侧管 CDU侧管 CDU阀隔断阀软连接 机柜

29、 气装置接接冷源CDU图5CDUCDU机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜图6CDUCDU机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜电地操手应便操电段支与 D长应在段或个连接软连接和活套法软连接及长误活套收接时。径选根据CDU流以机架数量核支路与DU用304锈钢料现直接装不锈道焊接弧生产确以及包装发往现都必须经过酸波清表1。表6入背板空调负责液冷服务器风冷分散其由背板空调系外风机换热控制工管道及阀电系统控统组于保障机组实现最优能设全背板空机架结安装机门背板空工况送风度度3 6减泄漏法是稳健的泄漏预防策际设安装操需

30、的泄漏管计管计括泄检设。在二次侧冷却回路需要在不同的存在泄漏风险的位置进行检如 CD机快换接和/算间接检测方可通过监测析有硬感器状检识管路泄漏特配的降和/或流量变化直接检法是在高风险区域部署泄漏检测硬典型直接检测装置为探测膜检泄漏检线泄漏接触会记告进靠的泄漏检感应放置在发生泄漏冷工之直接接触或有能聚集再接触区机CDU和/或侧环管设施检测侧环机架和/输送的在泄漏险。是 T泄冷造损坏数要检泄检泄快位泄节位要吸储存和/导流装避免漏价值设接取人工处理响应所需的时间增加于确定泄。泄漏级预最低级预是发生泄漏会通设施人员现场处但人员可造损失级预在发送泄漏件时对IT设备进行数关机和/动电以降低暴露在泄漏/冷工的硬件损坏或数据丢的概需要考虑处被泄接挽还的法气流就检测泄漏通知IT设液闭以更限度地避设施暴露接触泄漏便维损失泄干要。泄检：间接方通使压流温度和气泡等感器算泄；直接方位上所使泄漏绳电薄膜检带检检。泄：检泄并闭T干在检测到泄漏后使干预例IT设备液。 7对T即C01和C1。IEC62368-音频/视和通设第1安要第32018是安全标其要求冷以压的 3爆破变泄40ps）泄板变。化和绿低经成经济社质持续发关键推中国“双碳标的提让数字化绿低碳相协加速推动数字基础设施升推进