2023冷板液冷标准化及技术优化

II冷板液冷标准化及技术优化白皮书2023PAGE\*ROMANPAGE\*ROMANVIII目录冷板液冷标准化及技术优化白皮书 1一、概述 1二、术语、定义和缩略语 1三、冷板液冷介绍 8（一）冷板液冷技术介绍 8冷板液冷发展历程 8冷板液冷技术原理 10冷板液冷技术特点 12冷板液冷关键技术 15（二）常用产品器件介绍 16冷板组件 17快速接头QDC 203.软管 24机柜工艺冷媒供回歧管RCM 25冷量分配单元CDU 26环路工艺冷媒供回歧管LCM 297.冷源 308.工艺冷媒 34（三）冷板液冷发展面临的主要挑战 401.水质 402.泄漏 42冗余路由 44高成本 44建设周期长 45能耗问题 45冷源水耗 46四、工程标准化及设计要求 46（一）标准化现状及需求 46标准化现状 46标准化需求 48（二）工程标准化设计要求 50二次侧管路 50功能要求 54（三）典型案例介绍 55江苏某大数据产业园项目 55厦门某智算中心 57山西某大规模冷板液冷数据中心 58广州科云数据中心 59五、接液材料研究 60（一）传统材料 61（二）国外推荐材料 61金属与金属合金类 61合成橡胶、塑料和其它材料类 63（三）国内常用非金属材料 65管路及接头材料 65密封件材料 69（四）新材料管路设计制造及测试方法 72设计原则 72管路制造 743.测试 74（五）其它行业领域冷板液冷新材料应用 76直流输电领域 76静止无功补偿装置SVC冷却领域 77储能领域 78（六）数据中心新材料应用案例 81国内数据中心案例 81国外数据中心案例 83六、冷板液冷新技术展望 89（一）负压冷板液冷技术 89技术背景介绍 89负压CDU技术原理 89负压液冷系统方案技术亮点 92应用案例 94（二）相变冷板冷却技术 97重力热管方案 97动力热管方案 98（三）冷板液冷气-液混合技术 98风冷CDU 99气-液组合末端 102气-液同源冷源 102PAGEPAGE100冷板液冷标准化及技术优化白皮书一、概述随着AI时代的到来，冷板液冷技术作为一种解决高算力发热的冷却方式，已经成为行业最热门的话题之一，得到越来越广泛的关注。本文将分四个部分进行展开：第一部分：对冷板液冷技术进行介绍，从发展历程、技术特点、关键技术、器件组成等方面逐一介绍，并指出其发展面临的主要挑战。第二部分：对冷板液冷的工程标准化进行分析，从标准化的现状，到标准化的需求，并指出设计和功能要求，最后分享一些典型数据中心案例。第三部分：通过接液材料的详细描述，为读者呈现除传统材料外，其他行业领域和国内外数据中心对新材料的应用情况分享。第四部分：对近几年冷板液冷出现的新技术进行介绍和展望。二、术语、定义和缩略语AFLASAsahiGlassFluoroelastomer的简写。它是由日本旭硝子株式会社（AsahiGlassCo.,Ltd.）开发的一种特殊的氟橡胶材料，学名是聚四氟乙烯-聚丙烯共聚物，它具有优异的耐化学性、耐高温性、耐油性和耐候性，常用于制造密封件。CDA铜发展协会（CopperDevelopmentAssociation）。CDU冷量分配单元（CoolantDistributionUnit）用于实现液冷系统的二次侧冷却环路驱动、稳压和自动配流，同时实现一二次侧循环系统热量交换、物理隔离等功能的单元。CLF制冷负载系数（CoolingLoadFactor），一般定义为数据中心制冷设备耗电与IT设备耗电的比值。本文提到的冷板液冷CLF指的是冷板液冷系统的耗电与对应液冷部分IT设备耗电的比值。CPU中央处理器（CentralProcessingUnit），它是服务器的核心组件之一。CPVC氯化聚氯乙烯（ChlorinatedPolyvinylChloride），是一种特殊的塑料材料，是PVC经过氯化处理而制成的。它具有出色的阻燃性能和耐化学腐蚀性能，广泛应用于管道系统、化工设备、火灾喷淋系统、电力线路绝缘和建筑材料等领域。CRAC计算机房空调器（ComputerRoomAirConditioner），其主要是指带压缩机的蒸汽压缩制冷循环系统，通过制冷剂蒸发将机房空气热量带到室外的空调。CRAH计算机房空气处理器（ComputerRoomAirHandler），其主要是指通过冷冻水将机房空气热量带走的冷冻水末端空调。CSPE氯磺化聚乙烯（ChlorosulfonatedPolyethylene），也被称为海普隆Hypalon®。它是一种通过将聚乙烯与氯和硫进行反应而制得的合成橡胶，其特性包括耐候性、耐辐射、抗化学腐蚀和电绝缘性能。DCLC直接接触式液体冷却（DirectContactLiquidCooling），DCLCTM被CoolIT公司注册，特指冷板液冷的间接式液冷，直接接触指的是冷板（而非工艺冷媒）与CPU等发热源的直接接触。EPDM三元乙丙橡胶（EthylenePropyleneDieneMonomer），是一种合成橡胶。EPR乙烯丙烯橡胶（EthylenePropyleneRubber），是一种合成橡胶。ETP它是由乙烯（Ethylene）、四氟乙烯（Tetrafluoroethylene）和丙烯（Propylene）通过共聚反应制得的共聚物，ETP型氟橡胶是一种高性能的氟橡胶材料，具有出色的化学稳定性、耐热性和耐油性。FEP聚全氟乙丙烯（FluorinatedEthylenePropylene），是一种热塑性聚合物，由四氟乙烯和含氟单体（如四氟乙烯醚）共聚而成。它具有类似于PTFE的出色耐化学腐蚀性、低摩擦系数和优异的耐高温性能。相比于PTFE，FEP具有更低的熔融温度，更容易地加工成各种形状。FKM（Fluoroelastomer）（FluorocarbonRubber），是一种特殊的橡胶材料，具有出色的耐化学腐蚀性能和高温稳定性。FWS设施水系统（FacilitiesWaterSystem）,冷源与CDU之间的水系统，即一次侧冷冻或冷却水系统。GFGF型氟橡胶是由氟化碳单体聚合而成，添加了玻璃纤维（GlassFiber）增强剂的氟橡胶材料，玻璃纤维的添加可以增强氟橡胶的强度和刚度，提高其耐磨损性和耐冲击性。GPU图形处理器（GraphicsProcessingUnit），是一种专门用于处理图形和图像的处理器。与CPU相比，GPU在图形处理方面有着更强大的计算和并行处理能力。HDPE高密度聚乙烯（HighDensityPolyethylene），是一种常见的塑料材料。HNBR氢化丁晴橡胶（HydrogenatedNitrileButadieneRubber），是一种耐油性较高的橡胶材料，通过氢化处理增加了耐热性和抗臭氧性能，被广泛应用于涉及高温、高压和化学腐蚀环境下的密封和橡胶制品。LCM环路工艺冷媒供回歧管（LoopCoolantManifold）用于向环路内各支路分配工艺冷媒的装置。MFI熔融指数（MeltFlowIndex），指热塑性塑料在一定温度和压10MFR熔体质量流动速率(Melt-massFlowRate)，指热塑性树脂材料分子平均尺寸和流动性能的一项指标。NBR丁晴橡胶（NitrileButadieneRubber），是一种常见的合成橡胶材料。OCP开放计算项目（OpenComputerProject）Facebook（Meta）2011年发起的，旨在通过共享设计和创新来构建高效、节能的数据中心设备和硬件基础架构。目前，OCP同ODCC、OPEN19并称为全球三大开放计算组织。PA聚酰胺塑料（Polyamide），具有良好的综合性能，包括力学性能、耐热性、耐磨损性、耐化学药品性和自润滑性，且摩擦系数低，有一定的阻燃性，易于加工。PE聚乙烯(Polyethylene)，是一种常见的塑料材料。PEEK聚醚醚酮（PolyetherEtherKetone），是一种高性能工程塑料，具有极高的热稳定性、耐化学腐蚀性和机械强度。PEX交联聚乙烯（Cross-LinkedPolyethylene），由聚乙烯分子经过交联处理生成，交联可以提高材料的强度、耐热性和耐化学腐蚀性，是一种常用的供水管道材料。PFA聚全氟丙烯（PerfluoroAlkoxy），是一种氟塑料，属于全氟聚合物的一种类型。它具有出色的化学稳定性、高温耐性、电PTFE更好，通过热塑性加工方法（如注塑或挤出）加工成管材、薄膜、块材和各种形状的制品。PFPE全氟聚醚（Perfluoropolyether），是一种特殊的氟化合物材料，具有出色的化学稳定性、热稳定性和润滑性能。PMVE全氟甲基乙烯基醚（Perfluoromethylvinylether），是一种全氟聚合物，具有出色的化学稳定性、高温稳定性和电气绝缘性能。PP聚丙烯(Polypropylene)，是一种常见的热塑性聚合物。PPH均聚聚丙烯（PolypropyleneHomopolymer），相比PPR，具有更高的刚性和强度，广泛用于各种工业和建筑材料。PPO聚苯氧化物（PolyphenyleneOxide），是一种高性能工程塑料。它具有优异的耐热性、电绝缘性、机械性能和化学稳定性。PPR\h无规共聚聚丙烯（PolypropyleneRandom），相比PVC，具有更高的耐热性和耐化学腐蚀性能，广泛用于家庭水管系统。PPS聚苯硫醚（PolyphenyleneSulfide），是一种高性能工程塑料。它具有优异的耐热性、耐化学腐蚀性、机械强度和电绝缘性能。PPSU聚苯砜(Polyphenylsulfone)，一种无定形的热塑性工程塑料，具有高度透明性、高水解稳定性，是所有高性能热塑性塑胶中最牢固的材料之一。该材料兼具强大的机械特性与耐热和耐化学性，因此非常适于通常负载较高和需接触化学品的各种要求严苛的应用。PSU聚砜（Polysulfone），是一种特定的高性能工程塑料，它具有高温稳定性、机械强度、耐化学腐蚀性、电绝缘性和耐磨性等特殊性能。PTFE(Polytetrafluoroethylene)溶液；低摩擦系数，可用于轴承、垫片和密封环等高摩擦部件；电绝缘性，可作为电缆绝缘材料。PUE能源利用效率（PowerUsageEffectiveness），是数据中心最ITPVC聚氯乙烯(PolyvinylChloride)，是一种普遍使用的塑料，可以用于管道、电缆、地板、窗框等，但其耐高温性能较差，会释放出挥发性化合物危害人类健康。PVDF聚偏二氟乙烯（PolyvinylideneFluoride），相比PTEF，其刚性、硬度、电绝缘性、抗蠕变性能尤为突出，是最强韧的氟材料。QDC快速接头（QuickDisconnectCoupling），包括自锁式快速接头（手插和盲插）、球阀式快速接头。RCM机柜工艺冷媒供回歧管（RackCoolantManifold）用于向机柜内各液冷冷板分配工艺冷媒的装置。SFN二次侧流体管路（SecondaryFluidNetworks），加拿大液冷厂商CoolIT的命名方式，同LCM。SUSSUS是日本JIS（日本工业标准）中使用的不锈钢材料标准的简称。在过去，日本的不锈钢材料常常使用SUS作为牌号的前缀，例如SUS304代表符合JISG4303标准的304不锈钢。SVC静止无功补偿装置（StaticVarCompensator），由电容器及各种电抗元件构成与系统并联并向系统供应或从系统吸收无功功率的装置。TCS工艺冷媒系统（TechnolgyCoolingSystem），冷板组件与CDU之间的系统，即二次侧系统。TDP热设计功率（ThermalDesignPower），是处理器或显卡等计算机硬件热设计的一个主要参数。TDP是指处理器或其他硬件在满负荷工作情况下的最大热量产生值，代表了CPU或其他实际使用时的预计功耗极限，是散热器的设计和选择的重要参考依据。TFE四氟乙烯（Tetrafluoroethylene），是一种无色、无味且具有高度稳定性的气体。UHMWPE超高分子量聚乙烯（Ultra-HighMolecularWeightPolyethylene），是一种特殊类型的聚乙烯，其分子量非常高，通常达到数百万至数千万克/摩尔。它具有许多优异的性能：高强度、高耐磨性、低摩擦系数、优异的耐化学性、良好的电绝缘性和优异的高温性能。UNS统一编号系统（UnifiedNumberingSystem），它是一种用于材料和金属标准化命名的编码系统。它由SAE（SocietyAutomotiveEngineers）、ASTM（AmericanSocietyTestingandMaterials）和ASME（AmericanSocietyMechanicalEngineers）等多个工程组织共同制定和管理的，不受国籍、材料种类、制造方式、化学成分等因素限制的开放式系统，在全球广泛应用。它由一个字母和五个数字组成，字母表示材料类型，数字表示材料化学成分、机械性能等相关参数，便于跨国贸易。WUE用水效率（WaterUsageEffectiveness），是数据中心重要的评价指标之一，定义为数据中心总用水量与IT设备耗电量之比，单位为L/kW·h。空气冷却AirCooling，与液冷相对应，以空气为冷却介质，通过CRAC或CRAH设备将机房内的空气降温至18～30℃左右的冷空气，将服务器产生的热量转移的过程。业内常被称为“风冷”。液冷LiquidCooling或DirectLiquidCooling，液体冷却的简称，以液体为冷却介质，通过CDU设备将进入服务器的工艺冷媒液体降温至17～45℃左右，将服务器产生的热量全部或部分转移的过程。根据工艺冷媒是否与服务器接触分为直接液冷和间接液冷两大类。直接液冷的液体一般是不导电的油类或者氟化物；间接液冷的液体一般是去离子水，醇类溶液，还有氟化物。气液比空气冷却和液体冷却混合布置的机房或者机柜，空气冷却和液冷功率（或发热量）的大致设计比例，一般指冷板液冷服务器。业内常被称为“风液比”。风冷（AirCooled）（AirCooledCondensation）的简称，一般指冷却介质向空气尤其室外空气转移热量的过程。水冷水冷冷凝（WaterCooledCondensation）的简称，一般指冷却介质通过冷却水转移热量的过程。一次侧PrimarySide，是指在间接热交换过程中，提供热量或冷量的一侧。在液冷领域，以CDU的板式换热器为界限，冷源侧为一次侧。二次侧SecondarySide，是指在间接热交换过程中，热量或冷量传递给待调节区域的一侧。在液冷领域，以CDU的板式换热器为界限，服务器侧为二次侧。工艺冷媒系统TechnologyCoolingSystem，简称TCS，是指用于冷却和保持电子设备运行温度在可接受范围内的系统。该系统即为二次侧所在系统，工艺冷媒即二次侧冷却液。逼近温度Approach Temperature 或 Minimum Temperature，是指二次侧供液温度与一次侧进水温度之差。微模块模块化数据中心的简称，ModularDataCenter（MDC），是指完全按照模块化设计思路搭建的可快速部署的数据中心模型，数据中心内部由多个完全相同的微模块（MicroModule）组成；微模块则是以若干机架为基本单位，包含制冷模块、供配电模块及网络、布线、监控在内的独立的运行单元，全部组件可在工厂预制，并可灵活拆卸，快速组装。接液材料接液材料是指其表面与工艺冷媒直接接触的材料，必须和工艺冷媒具备兼容性，以将冷却回路中潜在的腐蚀风险和泄漏风险降至最低。三、冷板液冷介绍（一）冷板液冷技术介绍冷板液冷发展历程虽然液冷这个技术名词是近代才出现的，但是液冷或者说用水降温这种生活方式，却是与人类发展史紧密相伴的。用水降温是动物与生俱来的本领，人类还进一步利用液冷原理建造自然水冷建筑“含凉殿”。液冷技术并非从数据中心行业发展应用起来的，其最初的应用是在机械加工行业，也就是18世纪第一次工业革命发明的机械加工设备，使用水和油作为金属加工液进行降温。之后，19世纪第二次工业革命将人类社会带入电气时代，尼古拉·特斯拉首次将液冷应用于变压器冷却。20世纪开始进入电子时代，随着科技的进步和制作工艺的发展，高性能、高功率的电子元器件的冷却要求不断提高，就需要选择效率更高的液冷技术，理论上沸腾的热水可以带走的极限热量是2MW/cm2。1944年美国人高格勒提出热管换热器概念，它是一种不附加任何动力，可以使冷凝的液体依靠吸液芯克服重力再回到上方，达到热量从一个地点传动到另一个地点目的的传热器件。经过热管技术的演进，闭合管路的冷板始于航天设备的应用，冷板的叫法据说来自20世纪60年代的美国阿波罗登月计划，登月设备中液冷已经广泛应用于高精度电子器件的冷却。[1]液冷技术首次在计算机上得到正式使用是在1951年，人类历史UNIVACI液冷技术的发展应用是曲折的，主要跟计算机性能需求和芯片技术发展紧密相关。1966年，IBM推出了System360大型计算机，这款计算机是当时运算速度最快、性能最强的机器，主要用于科学应用领域的高速数据处理（比如太空探索、亚原子物理学、全球气候预测等）。为确保该大型机在高速运算中不会发生过热宕机，IBM首度开发了用水冷却的液冷系统。但在随后的几十年，由于在较低热负荷时空气冷却成本更低、安装部署更为简单，液冷技术并未被重视。直到20世纪80年代，计算机性能飞速提升，为了满足散热的需要，空气冷却和液冷融合的气液混合系统开始出现，甚至有一段时间多种芯片级液冷技术得到深度应用并走向成熟。20世纪90年代，晶体管新技术的应用，推动着大型计算机和超级计算机芯片的功耗和热量断崖式下跌，散热又重新回到空气冷却的模式。21世纪初，随着IBM对外发布基于Power6处理器的液冷超级计算机节点Power575,其在微处理器模块上使用了冷板液冷，使服务器工作温度降低了至少20℃。Power575液冷系统通过采用模块化的设计和快国内随着信息技术赋能千行百业，数据中心能耗和芯片散热问题也得到重视，国家和地方出台了一系列数据中心能效水平限值要求，如国家工信部规定新建大型、超大型数据中心PUE不超过1.3。液冷技术在国内有了迅速成长壮大的土壤，国内如曙光、华为、浪潮、联想、新华三和中兴通讯等代表性厂商已经纷纷推出了系列液冷产品。中科曙光最早于2015年推出国内首款标准化量产的冷板液冷服务器，同年，中科院大气物理研究所的“地球数值模拟装置原型系统”率先使用冷板液冷服务器，大大提高散热效率，也成为国内液冷服务器大规模使用的第一个公开案例，该系统并于2017年上榜当年全球高性能计算机（HPC）TOP500榜单。冷板液冷因对现有服务器芯片组件及附属部件改动量较小，可操作性更强，成为目前国内成熟度最高、应用最广泛的液冷散热方案。随着国内主流服务器厂商纷纷推出冷板液冷服务器产品，液冷技术开始逐步走向成熟并开始批量化、规模化使用。冷板液冷技术原理传统空气冷却方式以空气为介质进行散热，通过送入低温空气、经与电子器件进行热交换后，将其热量带走。液冷方式则以液体为介质进行散热，只需提供中温液体即可满足元器件散热需求，比空气冷却方式散热效率更高，也更加节能（如图3-1所示）。图3-1空气冷却及液冷工作原理冷板液冷技术是目前最为成熟、应用最为广泛的液冷散热方式。冷板液冷技术是指通过冷板（通常为铜、铝等导热金属构成的封闭腔体）将发热器件的热量间接传递给在封闭的循环管路中的冷却液体，通过冷却液体将热量带走的冷却形式[2]。冷板液冷技术利用工艺冷媒作为中间热量传输的媒介，将热量由热区传递到远端后再进行冷却。在该技术中，工艺冷媒与被冷却对象分离，工艺冷媒不与电子器件直接接触，而是通过冷板等高效热传导部件将冷却对象的热量传递到工艺冷媒中，因此冷板液冷技术又称为间接液冷技术。冷板液冷技术相较于传统空气冷却技术，不需改变现有服务器的形态，使用、维护等方面与现有服务器也较为接近。冷板液冷系统工作原理如图3-2所示，冷板液冷是将服务器内的主要散热元器件CPU、GPU、内存等产生的热量通过与冷板内的液体进行热交换并带出服务器，这一部分的热量占服务器总热量的50%-80%，剩余少部分的热量采用空气冷却，通过空气与服务器进行热交换。冷板液冷系统中的二次侧的中高温液体带走服务器的热量，流经CDU，传递给一次侧冷却水，并通过冷源设备将热量传递到室外空气，这一过程中的主要动力装置为循环水泵以及冷源设备的风机。图3-2冷板液冷系统原理示意图冷板液冷技术特点冷板液冷方案一般具备以下特点：高效散热：液体的体积比热容是空气的1000-3500倍，意味着冷却液体可以吸收大量热量而不会显著升高温度；液体的对流换热系数是空气的10-40倍，同等空间情况液冷的冷却能力远高于空气；由液冷冷板套件替代CPU原散热套件，通过工艺冷媒在冷板中的强制对流，有效地将热量从设备中快速地带走，散热效率得到大幅提升。高TDP方案：当CPU芯片TDP超过350W时，冷板液冷成为少（3-3）。图3-3TDP变化与冷却方式的演进[3]精确制冷：冷板套件直达服务器内部，实现更为高效的部件级精确制冷，CPU核温低至65℃左右，使元器件在更稳定更合适的支持高功率部署：冷板液冷技术散热效率更高，可支持单60kW兼容性优：在不改变目前服务器主板的情况下即可实现，拆卸简单，安装方便。相比其他液冷技术，对机房的要求较低，与现有机房的兼容性优。冷板液冷可实现液冷微模块的形式，可实现与三）1小节。维护简便：服务器与机柜的连接采用快速接头，服务器上生态更成熟：冷板液冷是液冷技术中应用最早，也是最为支持定制：可根据特定的电子元件，考虑组件的尺寸、形状和散热要求，可优化工艺冷媒通过冷板的流动路径、增加翅片等图3-4）。图3-4某强化对流换热定制开发冷板CFD分析支持超频：由于服务器的运行温度更低，可允许服务器超更加节能：整个冷却系统采用中高温水作为冷却介质，不同于靠低温水或空气进行散热，从而大大降低了冷却系统能耗，可充分利用自然冷源，冷板液冷CLF可低至0.1以下，比传统空气冷20支持余热回收：一次侧回水温度约为38℃-45℃，虽属于低品位余热，但考虑到数据中心规模体量巨大，其产生的余热量可观且稳定、持续。因此可依据余热利用场景灵活选择设置，如办公及生活供暖、泳池加热、设施农业温室供热等方式就近消纳余热资源。冷媒易获得：相比其它液冷技术，冷板液冷通常采用乙冷板液冷关键技术冷板液冷技术的关键技术包括以下几点：冷板设计：冷板的设计对冷却系统至关重要。冷板必须与电子元器件保持良好的热接触，这样热量才能快速有效地从元器件传递到冷板。冷板流道通过机械加工、铲齿、挤压、锻压等工艺加工，密封采用搅拌摩擦焊、真空钎焊、气体保护焊等工艺焊接，需要具有良好的密封性。此外，冷板内通道流量大小、水阻和布局方工艺冷媒的选择和水质管理：冷板液冷系统中使用的液体冷却剂通常是去离子水、乙二醇或丙二醇等水基溶液。去离子水会添加适当的药剂来抑制细菌滋生并减缓金属腐蚀。工艺冷媒须慎重选择，以保证与接液材料的兼容性。工艺冷媒必须具有良好的比热容、流动特性和低粘度，以确保有效的热传递。同时，需要对水基的工艺冷媒进行定期的水质监测和分析。近两年，陆续出现了氟化物代替水基溶液作为工艺冷媒进行冷却，详见本文6.2。除6.2外，本文其它章节所涉及工艺冷媒均基于水基溶液进行设计和介绍，特此说明。RCM设计：RCM的流量分配设计将直接影响各支路流量，如二次侧泵和LCM设计：用于循环工艺冷媒的二次侧泵设计必须确保LCM每个接口足够的流量和压力。二次侧泵必须支持长期可靠连续运行，且噪音小。LCM的设计必须能够最大限度地减少压降并确保通过冷板和热交换器的高效流动。二次侧系统可靠性测试：二次侧系统的长期稳定可靠直接冷源设计：冷源设计必须能够将电子元件产生的热量全部散入室外空气，并提供稳定的一次侧进水温度。需根据设计进水温度、当地气候水源条件、冗余要求、周边热回收设施等要素合理设计冷源。冷却水水质管理：一次侧作为散热源侧，其水质管理至关重要。不恰当的水质管理会导致水流堵塞，将直接影响系统是否可以正常工作。冷却水水质管理除了泥沙冲洗，定期除垢除菌外，还控制系统设计：控制系统负责监控和调节工艺冷媒温度和流量，以确保最佳的冷却性能。控制系统可以包括温度传感器、流量计和其他监测和控制组件，以确保系统在安全范围内运行。特别要注意的是，需要考虑防凝露和漏液监测设计，控制系统还可以包（二）常用产品器件介绍冷板液冷系统一般由二次侧冷却环路和一次侧冷却环路构成，其中，二次侧冷却环路是通过工艺冷媒循环将发热元件产生的热量导出的冷却环路；一次侧冷却环路是通过工艺冷媒将二次侧冷却环路导出的热量传递至室外环境或通过热回收系统回收利用的冷却环路。二次侧冷却环路由冷板组件、CDU和连接系统（包括RCM、QDC、LCM等）等构成；一次侧冷却环路由冷源和一次侧回路等构成，二次侧冷却环路与一次侧冷却环路在CDU处进行换热。图3-5给出了各部件位于液冷系统的位置示意。图3-5冷板液冷系统构成示意图基本组成冷板组件由冷板、配套管路、扣具、转接头、快速接头QDC、漏液检测装置等主要零部件构成，图3-6给出了冷板组件的构成示意，图3-7展示了冷板和冷板组件的实物照片。图3-6冷板组件构成示意图图3-7冷板&冷板组件实物照片其中，各冷板组件描述如下：冷板：以工艺冷媒为媒介，实现热量交换的紧凑型换热部CDU、RCM、LCM设备配套管路：用于冷板与冷板或液体快速接头之间互连材质冷板组件的接液材料要与工艺冷媒保持良好的兼容性，数据中心设备冷板组件材质一般如表3-1所示：表3-1不同部件的材料冷板组件名称常用材料说明冷板散热模块：紫铜固定模块：铝散热模块为接液材料；一体式冷板不区分散热模块和固定模块。管路橡胶：EPDM等塑料：PTFE、FEP等接液材料，橡胶管路和转接头连接时需通过卡箍或卡环或压接等方式增加连接可靠性。扣具金属、塑料等非接液材料转接头紫铜、不锈钢等接液材料，材料类型需和冷板散热模块保持一致。快速接头不锈钢等接液材料关键设计指标参考表3-2以IntelEGSCPU的冷板设计为例，对冷板组件关键设计参数进行说明。表中参数不作为所有冷板组件的参考限值。表3-2设计参数关键设计项设计参数描述说明冷板内部流道小功率器件冷板可直接采用机加工流道、金属管嵌管等方案大功率器件（一般为＞散热模块为接液材料；一体式冷板不区分散热模块和固定模块100W）冷板一般采用铲齿工艺，齿厚一般为0.1～1.0mm，齿间隙一般为2～10倍过滤精度。例如，二次侧过滤为50m0.10.5mm冷板内部流速冷板内部流道内、管路内部流速＜1.5m/s可以根据该流速计算出不同管径下的最大流量额定流量满足芯片散热要求基础上，流量越小越有优势，以下数据供参考：IntelEGSCPU单冷板组件额定流量为0.7L/min冷板所需流量小，单台CDU能承担的节点更多，更节能冷板热阻冷板热阻是芯片表面温度与二次侧供液温度差值后，与芯片功耗的比值。满足芯片散热即可，以下数据供参考：IntelEGSCPU标准冷板组件的热阻为0.033℃/W@0.7L/min冷板流阻冷板流阻是冷板流体流动时前后压差值。IntelEGSCPU件的流阻为1.6kPa@0.7L/min快速接头QDC为方便服务器或机柜的安装和维护，宜在服务器的冷板组件和RCMRCM和LCMQDC自锁式快速接头和球阀式快速接头。快速接头应具备可实现的快速连接和断开功能，方便带压连接和断开，可实现单人单手操作。宜尽量降低流阻，节约二次侧泵的能耗。自锁式快速接头自锁式快速接头（图3-8）具备流体截断功能的插拔组件，由插头与插座组成。自锁式快速接头通常用于冷板组件和RCM的连接（3-9）1/8～1/2弹簧自复位确保供液中断，工艺冷媒不会溢出到系统外，以避免频繁工艺冷媒补液，污染甚至危及服务器。此接头需提供如图3-10OCP3-3，表中的Cv定义如下：Cv值表示的是元件对介质的流通能力，即:\h流量系数，CvCv=Q*(ρ/△P)0.5,Q，ρP图3-8自锁式快速接头图3-9服务器冷板组件与RCM之间快速接头连接图3-10自锁式快速接头流量-压降曲线（供参考）表3-3UQD快速接头OCP技术标准参数UQD02UQD04UQD06UQD08主体尺寸/in1/81/43/81/2标称流量直径/mm8.9最大工作压力/bar6.9最小爆破压力20.720.720.720.7/bar流量/L·min-12.16.411.417.8最大溢出量/mL0.0200.0250.0350.070最小Cv值0.250.801.602.50工作温度/℃17～6517～6517～6517～65贮存温度/℃-40～75-40～75-40～75-40～75球阀式快速接头球阀式快速接头自带球阀，可手动调节球阀通断的快速接头，常用于RCM与LCM的连接处。此类接头最经典案例是丹佛斯FD83（图3-11），接头规格为1寸、2寸两种，它的特点是：图3-11FD83接头FD83接头的流量-压降曲线见图3-12，相关技术参数见表3-4。图3-12FD83接头流量-压降曲线（供参考）表3-4FD83接头技术参数接头规格最高工作压力/bar最低爆破压力/bar额定流量/L·min-1Cv值1寸1020189302寸1020800127软管软管为挠性连接，可实现位移、长度伸缩补偿、缓冲、耐震功能，软管连接包括机柜级软管和服务器级软管，机柜级软管作用是RCMLCM，服务器级软管作用是连接RCM连接端口型式，需要在管端安装软管接头、快速接头等配件以适配连接要求。图3-13软管示意软管材料：应满足与工艺冷媒兼容，常用材料如EPDM，服务器级软管除了采用EPDM外，还有使用PTFE、FEP。软管压力：软管建议满足工作压力不小于5bar。工作温度：15～75℃贮存温度：-40～75℃管体颜色：为便于供液管路和回液管路的区分，建议采用不同颜色。此外，根据实际设计，考虑相关阻燃的要求。RCMRCM安装于液冷机柜内部，具备分液、集液和排气等功能的部件。RCM一般由排气阀、分支管路和主管路等组成。分支管路的软管端部安装有QDC，实现与服务器内冷板组件的连接。主管路接口位于上端或下端，是工艺冷媒供回液冷机柜的接口，与LCM通过软管连接。30420RCM，建30×30mm40×40mm。5kPa。作为分集液器，应保证流量均匀，各分支管路的最大流10%。1.0MPa。图3-14RCM冷量分配单元CDUCDU的作用是将进入服务器冷板组件的工艺冷媒与冷源侧的冷却水进行隔离，并将冷却后的工艺冷媒分配给不同服务器的冷板的冷却设备。因此，CDU最主要的部件为液-液换热的板式换热器，其次是用于工艺冷媒循环输送的二次侧泵，再次是配置工艺冷媒系统（即二次侧）所需的调节、定压、补水、排气等装置，包括电动球阀、定压罐、补水箱/袋、自动排气阀等，然后是冷却水系统（即一次侧）所需的装置，监测相关温度、压力、流量、漏液的传感器，以及相关的电器控制器件。图3-15CDU内部器件示意CDU根据布置方式不同，分为机架式CDU和柜式CDU，见图3-16；如果一次侧冷却方式用空气散热代替冷却水散热，即液-液换热器改为空-液换热器，即为风冷CDU，其介绍详见本文第六章第（三）节第1小节，原理图见图3-17。机式CDU 柜CDU图3-16CDU不同型式示意 CDU b)CDU图3-17不同一次侧散热方式示意图目前，CDU的规格设计五花八门，根据工艺冷媒或冷却水中是否有醇以及醇含量，一次侧和二次侧温差，以及供液温度条件，都会对制冷量有较大的影响。如CoolITNortek3-18图3-18a)表示二次侧采用25%丙二醇溶液，流量为400L/min情况下，一次侧在不同进水温度和流量下，不同逼近温度（ApproachTemperature）下对应的制冷量（HeatLoad），比如，37℃供液，400L/min25%27℃进水，360L/min650kW。3-18b360L/min次侧液体的不同含醇量在不同逼近温度（MinimumDifferentialTemperature）下对应的制冷量（PercentageofFullDuty）。此外，还需要提供一次侧压降-流量曲线以及二次侧泵不同转速下的压b)图3-18国外CDU制冷量查询曲线LCMLCM一般安装于数据中心地板底部，有时也会安装于机柜顶部，具备分液、集液和排气等功能。LCM一般由排气阀、分支管路、主管路、阀件等组成。LCM将从CDU冷却的工艺冷媒，通过分支软管输送到RCM处，实物照片见图3-19。图3-19LCM现场照片LCM的系统架构：LCM管路一般采用环状管网，用于提供供液管网的可靠性，在考虑CDU并机组环的台数时，应考虑故障域的大小，是否与业务的可靠性需求匹配。图3-20展示CDU不入列情况下，CDU1+1和2+1并机组环的架构型式，图3-21展示CDU入列情况下，不同布局下LCM环管或者备份双管路布局型式。图3-20CDU不入列LCM布置架构方案示意图3-21CDU入列LCM布置架构方案示意冷源根据工艺冷媒供液温度需求，CDU的换热能力，确定一次侧冷却水进水温度，根据此进水温度，结合当地的气候和水资源条件，选择合适的冷源方式，冷源可采用机械制冷或者自然冷却。机械制冷系统包括风冷冷冻水系统和水冷冷冻水系统，可提供12～18℃的中温冷冻水。在室外条件允许的情况下，可直接采用自然冷却供冷。自然冷却系统可选用开式冷却塔、闭式冷却塔和干冷器等，可提供30℃以上的冷却水[9]。机械制冷风冷冷冻水系统主要由风冷冷水机组、冷冻水泵及配套设施组成，其液态制冷剂在其蒸发器盘管内直接蒸发为气态，实现对盘管外的冷冻水吸热制冷，并通过风冷冷凝的方式将气态制冷剂冷却为液态。水冷冷冻水系统主要由水冷冷水机组、冷冻水泵、冷却水泵、冷却塔及板式换热器等组成，其液态制冷剂在蒸发器盘管内直接蒸发为气态，实现对盘管外的冷冻水吸热制冷，并通过水冷冷凝的方式将气态制冷剂冷却为液态。自然冷却开式冷却塔经过将循环冷却水直接喷淋到冷却塔填料上，同时由风机带动冷却塔内气流流动，通过室外空气与冷却水之间的热质交换冷却循环水，冷却后的循环水在冷却塔底部出水。开式冷却塔一般需要增设可拆卸的板式换热器隔离使用，否则易因水质问题导致CDU内不可拆卸的焊接式板式换热器脏堵。开式冷却塔的具体形式见图3-22：图3-22开式冷却塔示意图闭式冷却塔是将管式换热器置于塔内，通过室外流通的空气、喷淋水与管内的循环冷却水进行热交换而实现向大气散热的设备。闭式冷却塔由内循环和外循环两个系统组成，其内循环通过与被冷却设备连接，构成一个封闭式系统，将系统热量带到冷却塔，即内循环水通过换热盘管将热量传递到大气中；外循环由循环喷淋泵、布水系统、集水盘及管路组成，外循环水不与内循环水相接触，只是通过冷却塔内的换热器吸收内循环水的热量，然后通过和空气直接接触来散热。闭式冷却塔的具体形式见图3-23：图3-23闭式冷却塔示意图干冷器通过室外空气来冷却换热器盘管内的冷却水，从而降低冷却水的温度，达到冷却的目的。根据室外条件，可选择性增加喷淋设备强化冷却。干冷器中的冷却水通常使用乙二醇溶液来防冻，需要根据项目地冬季极端温度选取溶液浓度。干冷器的具体形式见图3-24：图3-24干冷器示意图由于一次侧进水温度的不同，所选择的室外冷源也会有所不同，即冷源的搭配形式有所不同。一次侧进水温度大致可分为五个等级，见表3-5。表3-5不同一次侧进水温度等级下的冷源配置[7][10]液冷水温等级一侧进水温度冷源配置W1717℃冷水机组，辅以水经济器（板式换热器）W2727℃W3232℃冷却塔或干冷器，辅以冷水机组或区域热回收系统W4040℃W4545℃冷却塔或干冷器，辅以区域热回收系统W+＞45℃注：最低供水温度不低于2℃。工艺冷媒冷板液冷的工艺冷媒主要选择纯水液和配方液，纯水液主要为去离子水，配方液主要为乙二醇或丙二醇溶液。此外，工艺冷媒需要添加抑菌剂和缓释剂，不同工艺冷媒之间不可以混用。去离子水具有良好的导热性能，超低电导率、制备工艺成熟，0℃，在运输、储存、短时停机、业务量较少、服务器已安装未运行等情IT乙二醇或丙二醇具有一定的毒性。目前，华为、曙光以25%乙二醇2525%并非定值。配方液浓度的高低会影响工质流动的快慢，散热的大小。当浓度过低时，无法起到防冻作用及抑制微生物的作用。当浓度在20%以上时，乙二醇溶液和丙二醇溶液对微生物可起到一定的抑制作用。具体项目采用的浓度大小需根据项目地点的气象参数和防冻要求即可[4]。表3-6不同工艺冷媒的物性参数（40℃,101kPa）对比[4]工艺冷媒去离子水25%乙二醇25%丙二醇工艺冷媒行标要求沸点/℃100.0103.8101.2冰点/℃0.0-12.2-10.0导热系数/（W/m·℃）0.630.510.49比热容/（kJ/kg·℃）4.1743.7433.96密度/（kg/m3）99210271014运动粘度/（mm2/s）0.65901.16581.3852在最低使用温度下液体运动粘度＜50mm2/s导电性混合杂质后导电混合杂质后导电混合杂质后导电初始液体电导率＜300μs/cm毒性无有一定毒原溶液口服性，丙二醇原溶液口服液体允许接触浓 度 100ppm；使致 死 1.6g/kg致死量22g/kg液体要求无皮肤接触，无眼接触刺激，无响，对水生毒害无影响腐蚀性弱腐蚀性，需加缓蚀剂弱腐蚀性，需加缓蚀剂弱腐蚀性，需加缓蚀剂环保性环保，直接排放需加水稀释后排放到污水管道需加水稀释后排放到污水管道臭氧破坏潜能ODP=0设备兼容性维持工质运抑制管路材料中的腐蚀和微生物的也配有添加剂（缓蚀和杀菌）通过添加剂（缓蚀剂和杀菌）有效抑制管路中材料腐蚀和细菌的滋长通过添加剂（缓蚀剂和杀菌）有效抑制管路中材料腐蚀和细菌的滋长产业链及成本去离子水制备工艺及产业链较成熟与汽车防冻液共用产业链，大量应用，产业链成熟、成本低品、饮料等有低毒性要链，应用范围小，成本高pH管壁形成生物粘膜，有效防菌。具体的工艺冷媒检测项目及参数推3-7。表3-7取样监测项目和参数推荐值关键水质参数单位数值pH（25℃）/8.0～9.5浊度NTU＜5电导率（25℃）μs/cm＜20（去离子水）＜1500（缓蚀剂）微生物CFUs/mL＜100铜及铜离子ppm＜0.2铁及铁离子ppm＜0.1锌及锌离子ppm＜0.1铝及铝离子ppm＜0.1氯离子ppm＜10硫化物ppm＜1硫酸盐ppm＜10总硬度（以CaCO3计）ppm＜20总悬浮固体ppm＜3冷板液冷用工艺冷媒测试方法参考见表3-8。表3-8工艺冷媒测试内容及方法监控内容测试方法外观通过目测法观察工艺冷媒的外观情况。pH利用玻璃电极法测定水溶液的pH值。具体方法为：在某一特定温度下（如25℃），先将电极浸泡到标准缓冲溶液进行校准，然后用水冲洗电极，用待测液体洗涤后，将电极插入待测液体读出PH值。也可选用在线式PH计进行实时监测系统中水溶液的pH值变化。在线式pH计带有温度传感器，可自动进行温度补偿。酸值利用颜色指示剂法或者电位滴定法测定绝缘液体的酸值。具体方法为：颜色指示剂法：将绝缘液体溶解在含有少量水的甲苯和异丙醇混合溶剂中，以氢氧化钾异丙醇标准溶液为滴pH11.51gmgKOH／g电位滴定法：将绝缘液体溶解在含有少量水的甲苯和异丙醇混合溶剂中，并加入颜色指示剂，以氢氧化钾异丙醇标准溶液为滴定剂。当颜色有明显变化时，每1gmgKOH／g电导率利用电导率仪测定水溶液的电导率。具体方法为：在试验前，用电导率不大于200μs/cm的去离子水清洗电导率的传感器，然后再用待测溶液清洗至少两次，然后进行测定。或选用在线式电导率仪进行实时监测系统中水溶液的电导率的变化。在线式电导率仪带有温度传感器，可自动进行温度补偿。粘度利用玻璃毛细管粘度计测量液体的运动粘度和动力粘度。具体方法为：标定玻璃毛细管粘度的毛细管常数；在某一特定温度下（如25℃），记录下一定体积的液体流过标定好的毛细管粘度计的时间；毛细管粘度计的毛细管常数与流动时间的乘积，即为该温度下液体的运动粘度；该温度下液体的运动粘度与该温度下液体的密度的乘积，即为该温度下液体的动力粘度。或选用在线式粘度计对工艺冷媒进行实时监控。冰点利用临界角折射率仪测定乙二醇或者丙二醇水溶液的冰点。具体方法为：取几滴蒸馏水置于棱镜的表面上，合上盖板，进行仪器归零校准。有温度自动补偿功能的折射率仪无须进行校准，可直接使用；将待测液体滴在棱镜的表面上，合上盖板，直接读出度数。注意：对于可同时测定乙二醇和丙二醇冰点的折射率仪器，应根据水溶液的类型从相应的刻度表读出读数。倾点采用自动压力脉冲法测定绝缘液体的倾点。具体方法为：按照SH/T0771-2005，将试样注入样品杯后，首先将液体加热到规定温度，然后以1.5℃±0.1℃/min速度用珀尔帖装置冷却，仪器每降低1℃或3℃时施加一次压缩脉冲氮气到式样的表面，通过光源照射试样，当施加脉冲时使用光学检测器检测试样表面的移动。当施加压缩脉冲氮气时观察不到试样表面的移动时，就是试样的不流动点，最后一次施加压缩脉冲氮气时可以观察到试样表面移动的温度即是倾点。储备碱（保留碱度）测试方法为：将10mL的待测水溶液用水稀至约100mL，再用浓度为0.1mol/L的盐酸标准滴定溶液滴定到pH值为5.5。记录滴定所消耗的盐酸标准滴定溶液的毫升数，精确到0.1mL。含水量参考NB/T42140-2017，用卡尔费休自动电量滴定法测定绝缘液体中水分的含量。浊度按照HJ1075-2019，利用一束稳定光源光线通过盛有待测水溶液的样品池，传感器处在与发射光线垂直的位置上测量散射光强度，测量出水溶液的散射浊度，单位为NTU。或选用在线式浊度仪进行实时监测系统中水溶液的浊度的变化。颗粒物浓度按照ISO11500进行颗粒物浓度测定。用在线或者离线的自动颗粒计数系统，测量出一定体积工艺冷媒中不同大小粒径的颗粒的分布情况。腐蚀产物元素含量采用电感耦合等离子体原子发射光谱（ICP-AES）测定工艺冷媒中金属（Ca，Mg，Al，Cu，Fe，Zn）和部分非金属元素（Si,SP）的含量。有机物污染物采用傅里叶红外光谱仪（FTIR）分析氟化液或者油样中溶解的有机物（如塑化剂DOP）的情况。缓蚀剂浓度采用分光光度计测量工艺冷媒中缓蚀剂（如有）的浓度。为了测量缓蚀剂的浓度，需要首先知道缓蚀剂的吸收峰的位置，然后用不同浓度的缓蚀剂溶液绘制出标准浓度曲线。测量出待测工艺冷媒在特定吸收峰出的吸光度后，根据标准浓度曲线发推出液体中缓蚀剂的浓度菌落数测试方法为：将一定体积的待测液体滴在微生物培养基上，经过培养处理后，数出所生长出的菌落个数，计算出每毫升待测液体中可以培养出多少菌落数。如果菌落数太多，需要对待测液体进行预稀释处理。如果无条件制备培养基培养微生物菌落，也可选用商用的菌片进行培养处理。（三）冷板液冷发展面临的主要挑战水质工艺冷媒和一次侧冷却水都存在水质问题，ASHRAE提供了相关的标准见表3-9。工艺冷媒的使用寿命更低，需要经常监测和加药维护，原因主要在于工艺冷媒常由水/醇类组成，在长期高温下运行时工艺冷媒中的的水、醇以及其它成分，可能由于蒸发、化学反应等原因，导致快速消耗。工艺冷媒一旦发生严重问题是需要采取换液措施的，工艺冷媒的更换是一个繁琐的任务，需要将设备停机，排液，清洗管路后再充注新的工艺冷媒。水质问题主要有四个，分别是腐蚀、微生物滋生、结垢和污垢。任意一个问题都会削弱冷板的散热能力，增加系统停机风险。腐蚀腐蚀的类型主要有三种：均匀腐蚀，点蚀腐蚀和电化学腐蚀。均匀腐蚀也称为一般腐蚀，是指金属表面被腐蚀形成氧化膜，这是通常预期内的腐蚀，有时我们称之为钝化。点蚀是金属表面的局部腐蚀，在使用紫铜管的情况下，这种腐蚀可能导致漏水，典型的MTTF约为2年。电化学腐蚀为两种电势差较大（一般大于0.6V）的金属接触，且被浸润在同一电导率较高的工艺冷媒中，就会发生电化学腐蚀。这种电势差会迫使电子从电势较低的活泼金属流向电势较高的不活泼金属，失去电子的活泼金属将被腐蚀。此外，即使在金属不接触时，因为溶解的铜离子以非常低的浓度沉积在铝表面，造成铝被铜腐蚀。微生物滋生水系统中微生物滋生可能导致冷却回路中的沉积、污垢和腐蚀。防止微生物生长包括用杀生物剂处理以控制细菌种群。为了避免生物生长，硬结垢结垢是指在二次侧系统表面沉积致密的盐。当由于高浓度或温度升高而超过盐在水中的溶解度时，就会发生结垢。污垢污垢是非结垢物质的沉积，如腐蚀物和有机物。真菌，如镰刀菌，会生长、污染和堵塞过滤器以及翅片散热器。它们通常生长在冷却塔水池或污水坑上。表3-9ASHRAE推荐的一次侧冷冻水和工艺冷媒的水质要求[8]一次侧冷却水FWS工艺冷媒TCSpH7.0～9.08.0～9.5缓蚀剂Corrosioninhibitor(s)需要需要抑菌剂Biocide/需要硫化物Sulfide＜10ppm＜1ppm硫酸盐Sulfate＜100ppm＜10ppm氯化物Chloride＜50ppm＜5ppm细菌Bacteria＜1000CFUs/mL＜100CFUs/mL总硬度（CaCO₃）Totalhardness（asCaCO₃）＜200ppm＜20ppm电导率Conductivity/0.2～20μs/cm总悬浮固体Totalsuspendedsolids/＜3ppm蒸发后残留物Residueafterecaporation＜500ppm＜50ppm浊度Turbidity＜20NTU＜20NTU泄漏相比空气冷却，行业对冷板液冷的可靠性有很多顾虑，尤其漏液造成服务器短路的情况几乎无法接受，因此，行业需要完善的系统级、机柜级、节点级漏液检测、漏液集中回收、漏液保护等解决方案。液冷循环体系中的腔体和流道，密封式基本功能，但由于结构材料、接口和密封方式众多，往往产生泄漏点，部分泄漏场景包含：图3-25冷板冻裂示意电化学腐蚀，导致管路或QDC图3-26部件腐蚀示意软管总成，内部宝塔接头长期受管路的挤压产生蠕变，非金属材料，如管路密封垫、排气阀浮子与工艺冷媒长图3-27材料水解开裂示意冗余路由根据项目建设等级，冷板液冷系统冷源、冷却水泵、冷冻水泵、CDU、LCM等设备需进行冗余配置。一二次侧液冷管网采用环网形式，但受限于机柜宽度尺寸，主管阀门建议采用单柜单阀门布置，当主管阀门发生故障时，导致两台机柜断液，无法满足单点故障维护要求，在后续管网设计时，需进行阀门小型化或其他应急措施，满足单点故障维护要求。高成本相比空气冷却，冷板液冷CAPEX投资相对较高，对后续的应用规模有重要的影响：冷板组件、QDC、RCM、LCM、CDU等因材料要求不锈钢或紫铜，成本较高，需要新材料或工艺进一步降低成本。由于需要保证材料兼容性、防腐抑菌和高效换热，所有部件均需要使用高性能、高耐腐蚀性和高导热性的材料，这些材料通常价格较高，直接导致液冷系统材料成本的增加。为确保系统的可靠密封，需要对液冷部件进行精密加工和组装，如LCM的焊接、酸洗、钝化、拼装、测试等工艺，复杂的制造过程和精密工艺导致制造成本增加。建设周期长冷板液冷数据中心涉及大量设备和工程管路，尤其是LCMRCM而用户侧，尤其是互联网用户，对快速交付的需求仍然存在，因此，有些集成商提出了诸如管路预制，冷源模块化，整机柜交付、集装箱预集成等措施。能耗问题相比空气冷却，冷板液冷因较高效的散热，可以极大降低PUE。在实际运行中，冷板液冷机房的气液比，一二次侧供回液温度和温差、冷通道温度要求、冷源方案等对PUE指标均有影响。为优化冷板液冷系统PUE，需寻求多种节能途径：提高一二次侧供回液温差，降低系统流量；优化液冷系冷源水耗冷板液冷系统的耗水量主要来自一次侧冷源，一次侧冷源的选择对WUE影响较大。一般来说，WUE的大小关系为：开式冷却塔＞闭式冷却塔＞干湿联合闭式塔＞带湿膜干冷器＞干冷器，因此，针对缺水地区，建议采用干冷器。四、工程标准化及设计要求（一）标准化现状及需求标准化现状国内标准方面，已发布1项与电子设备相关的冷板液冷国家标准，GB/T15428-1995《电子设备用冷板设计导则》。该标准主要规定电子设备使用的冷板换热计算和结构设计，对于冷板核心参数定义，性能定义，材料定义，加工工艺，漏液检测定义和测试方法及要求均不涉及。目前与冷板液冷系统相关的标准，已发布4项行业标准，9项团体标准，标准清单详见表4-1。已有标准主要概述了数据中心冷板式液冷系统设计、CDU和其他相关方面的技术要求与测试方法，适用于液冷系统的设计、施工、部署、运维、测试等环节的技术指导。表4-1冷板液冷国内相关行业和团体标准清单级别标准编号标准名称公布日期发布单位行业标准YD/T4024-2022数据中心液冷服务器系统总体技术要求和测试方法2022/4/24中国通信标准化协会行业标准YD/T3983-2021数据中心液冷服务器系统能源使用效率技术要求和测试方法2021/12/2中国通信标准化协会行业标准YD/T3982-2021数据中心液冷系统冷却液体技术要求和测试方法2021/12/2中国通信标准化协会行业标准YD/T3980-2021数据中心冷板式液冷服务器系统技术要求和测试方法2021/12/2中国通信标准化协会团体标准T/CCSA274-2019数据中心液冷系统冷却液体技术要求和测试方法2020/7/29中国通信标准化协会团体标准T/CCSA270-2019数据中心冷板式液冷服务器系统技术要求和测试方法2020/7/29中国通信标准化协会团体标准T/CCSA269-2019数据中心液冷服务器系统总体技术要求和测试方法2020/7/29中国通信标准化协会团体标准T/CCSA239.1-2018服务器用液冷系统第1部分：间接冷板式2020/7/28中国通信标准化协会团体标准T/CIE091-2020温水冷板式间接液冷数据中心设计规范2021/4/29中国电子学会团体标准T/CIE090-2020数据中心温水冷板式间接液冷设备通用技术要求2021/4/29中国电子学会团体标准T/CIE088-2020非水冷板式间接液冷数据中心设计规范2021/4/29中国电子学会团体标准T/CIE098-2021液/气双通道热管冷板间接液冷数据中心设计规范2021/4/29中国电子学会团体标准T/CIE097-2021液/气双通道热管冷板间接液冷数据中心散热设备通用技术规范2021/4/29中国电子学会对于服务器与存储设备用液冷部件冷板、连接系统、CDU身的设计、生产、测试和评价标准整体规定方面，目前已发布1T/CESA1249.1-2023《服务器及存储设备用液冷装置技术规范13234国外标准方面，ASHRAETC9.9定义了供给冷量分配单元的一次侧冷却水的温度等级，从W17到W+共6个温度等级（表3-5）。综上，从全球范围看，信息技术领域冷板液冷的标准较少，在通用市场暂未形成大规模影响。标准化需求基于不同类型业务场景，预计未来2-3CPU20-30kW，GPU40-50kW据中心关键组件、系统架构标准化需求。从产品适配角度，通过推动标准化产品的普及，提升用户冷板式液冷产品的可选性、兼容性等。冷板液冷系统的关键组件，包括冷板组件、QDC、CDU及连接管路（RCM、LCM和软管等）。这些关键组件的标准化，最直接的收益是降低成本，间接加速冷板液冷系统的推广及应用。从冷板组件标准化角度看，考虑服务器热设计功率随技术发展在不停演进，但不同业务类型散热功耗相对偏差不大。如单节点CPU1kWGPU10kWQDC企以便降低不同OEM（ODM）服务器替换、更新等场景液冷设施接驳OCPQDCRCMRCM的布置需与I/O，PDUCDUCDUCDU。针对柜式CDU，更适宜考虑在不同液冷分级（3-5）下，不同颗粒度规模（400kW、600kW、800kW、1000kW或更高容量）的标准化产品。产业链设备厂商可考虑以某种液冷分级（W323-5）、满足可在线冗余需求的CDU量等参数。同时，保留一定容量幅度范围的换热能力，设备的容量兼容能力可有效提升，提高设备产品力。从用户角度，降低CDU差异化选择，为冷板液冷系统标准化模型创造良好基础。冷板液冷单系统容量是实现楼栋级液冷乃至更高规模液冷集群的基础。从冷板液冷单系统容量标准化需求角度看，更适宜以数据中心常用变压器容量（2000kVA、2500kVA）为基本模数，推演CDU（W32）标准的一、二次侧产品解决方案。考虑到一次侧及冷源的经济性，可23乃至更高倍数为框架，整体搭建室外冷源及一次侧管路系统。CDU及二次侧管路应整体考材质LCM法兰等管件通常采用SUS304钝化、清洗、烘干处理。需要焊接处理的不锈钢宜采用低碳（＜0.03%）以避免敏化甚至腐蚀，焊接后需要使用酸洗钝化的方式去除热着色氧化物。密封材料应满足RoHS要求。密封材质应具备良好的密封性和抗老化能力；与工艺冷媒接触的材料表面不易发生腐蚀，禁止使用生料带等易腐易堵的密封方式及辅料。执行标准及承压管路管径及壁厚选型在满足系统流量分配的前提下，同时应遵循DIN118501.0MPa。表面粗糙度要求管路内壁表面光洁度高，金属特性稳定，表面的粗糙度（Ra）0.6μm。预制化管路要求采用工厂预制化方式，在工厂内完成所有管道模组的焊接加工、管道清洗、密闭性测试、洁净度测试、烘干等工作，宜氮气保压运输至工程现场进行组装，现场只允许进行管道组装及相关清洗工作，不建议在机房内动火焊接。管道清洗完之后电导率应不大于10μs/cm，且水体无杂质、表面无油污。密闭性测试可采用水压密封试验（建议10～12bar，保持8～24h）或者气压密封试验（建议2～8bar，保持5～10min）。LCM深化设计时，须进行管路三维建模，确认与其它系统无结LCM材质选配管道组成件、并应按单线图标明管道系统号和按预制顺序不锈钢预制管路可少量配置不锈钢波纹软管进行建筑物与预制管路之间的公差配合。管路设计LCM建议架空地板下敷设，环路设计，避免单点故障，架高地700mm900mm（此标高未考虑其它管线系）。LCM底部宜设置集液盘，以及安装排气阀、泄水阀等配件的空间，二次侧主管管径不宜大于DN200；另外当尺寸大于DN200时配件多为工业级，导致工程成本增加，同时大管径载冷量更大，相同冷负荷前提下需布局的环路数量减少，整体可靠性也随之降低。环网管路应在适当位置安装自动排气阀，保证系统排气。排气阀建议设置隔离阀门，方便维护。LCM的阀门安装应采用对焊或法兰对夹安装、端面密封，不宜采用螺纹安装（避免生料带及密封胶的使用，腐蚀堵塞冷板或QDC）。LCM分支管应安装可快速物理断开的球阀，与机柜RCM接管进行快拆连接。机柜分支关断阀、主管路分段阀以及主分支关断阀（蝶阀、球阀、分段法兰）阀体、阀板、阀球材质通常均采用SUS304不锈钢或以上材质，承压≥1.0MPa。安装方式应采用焊接、法兰、卡箍连接，端面密封。卡箍连接应采用高压卡箍，禁止采用单铆钉轻型卡箍。不允许螺纹安装。工艺要求不锈钢管路安装前应提前进行安装环境管理，安装空间应处于洁净状态。不锈钢管路在安装运输过程中应小心轻放，并注意对非不锈钢金属材质EPDM、PTFE等柔性材质进行保护。不锈钢预制管路安装过程应按布置图纸编号进行分段安装，防尘包装不得提前拆除。不锈钢管路的安装支架和固定管卡宜采用不锈钢材质，当安装支架和固定管卡用非不锈钢的金属材质时，需采用EPDM或PTFE来对管路与支架之间进行有效隔离。不锈钢管路管件安装前应提前进行检查，管件无损伤且干净无灰尘。连接件（法兰或卡盘）连接应与管道同心，并应保证螺栓自由穿入。法兰螺栓孔应跨中安装。法兰间应保持平行，其偏差建议不1.52mm；卡盘间应保持对称，错位偏1mm采用卡盘连接或者法兰连接时，垫圈不得扭曲移位，管路紧固时应对称的均匀用力，紧固力使密封圈压缩形变，行成无间隙密封。水力平衡LCM设计需考虑机柜流量均匀，液冷机柜最大流量和最小流量之间的不平衡率控制在10%以内，且满足所有机柜设计散热流量需求；在最不利单点故障工况，不平衡率应不大于15%。复杂大系统应提供不同工况下的水力平衡仿真报告。系统排水LCM最低位置应设置排污（水）口等，配置排水阀，采用SUS304不锈钢材质，排水阀口径不应小于DN10。宜采用焊接或卡盘连接，禁止采用螺纹连接。保留足够的检修空间，方便维护。漏水检测LCM底部需设置集水盘，集水盘需采支持分段预制且可实现定向排水，集水盘建议设置不小于i=0.003坡度，内部需沿管路路由全部铺设米级定位式漏水告警绳，定位式漏水告警绳敷设应覆盖LCM及阀门。漏水绳上需安装定位标识，漏水检测的告警信号应可接入机房动环管理系统，当出现漏液告警时可将发生泄漏的物理位置定位到某个主管路。保温CDU有防结露功能时，LCM无需使用保温措施；另外，CDU内部一次侧管路及换热器建议保温，CDU内部二次侧无需保温。过滤精度二次侧过滤精度宜不大于50μm（即不小于300目），一次侧过滤精度宜不大于250μm（即不小于60目），建议使用阻力小、在线维护方便的过滤器。应设置旁路管路，支持在线维护，不影响系统正常运行。流速限值1.5m/s25mm管都有被侵蚀的风险，尤其是在弯管和接头处。管径38mm~76mm1.8m/s,76mm2.1m/s[5]。（三）典型案例介绍江苏某大数据产业园项目曙光数创全系统交付的MW规模大数据产业园液冷项目，致力于建设车联网、云计算、智能制造、区块链等相关领域区域数据中心，为用户提供个性化的定制化数据分析服务。图4-1大数据产业园项目现场1：1CDU445kW，3+135/40℃二次侧冷却介质：去离子水添加药剂单个服务器节点设计流量范围：1.0～1.2L/min单个服务器节点（含快速接头）流阻为35kPa@1L/min二次侧主管路按照环状管网设计，降低因管路水利不平衡造成的机柜流量分配不均的影响。每个环网中设计8个支路，每个支路布置13-18个液冷机柜。每两个机柜设置一组分段阀，在不大幅增加造价的同时尽量降低单点故障的影响。CDU布置在空调间，通过接入主环网为系统供液。二次侧硬管道、阀门、管件材质均为304不锈钢，管道在工厂完成分段预制，在项目现场仅需完成组装，无需动火焊接。有维护需求的部位（手动阀件连接处）采用法兰或卡箍连接，互锁型球阀、自动排气阀、传感器等附件采用螺纹连接，连接处均采用0型圈或组合密封圈密封，密封圈材质采用EPDM或PTFE材质。本项目在生产测试车间搭建与本项目单个环网1:1比例的测试平台。测试平台接入CDU及冷源设备，按照试验设计在管网中布置已完成权威检测机构标定的流量计、压差传感器、温度传感器等检测设备。进行均流测试时，采用“假负载”模拟现场机柜。图4-2为厂验测试现场照片。图4-2厂验测试现场厦门某智算中心创新实验室面向能源、材料、半导体领域高速增长的研发需求与大规模科学计算需求，于2022年建成国内高校领先水平的智算中心，以实现多领域原创性突破与智能化转型。ODCC-2023-02004图4-3东部（厦门）某智算中心IT规模：800kW单机柜功率：50kW，100%冷板液冷CDU颗粒度：400kW，2+1备份一次侧进出水温度：35/45℃二次侧供回液温度：40/50℃二次侧冷却介质：去离子水室外冷源：700kW闭式冷却塔，1+1备份设计年均PUE：＜1.2特点：模块化设计，工厂预制山西某大规模冷板液冷数据中心秦淮数据MW规模部署的国内第一个冷板液冷数据中心，于2023年7月建成并完成测试交付。图4-4华北大型冷板液冷数据中心现场CDU和干冷器实景1：135/42℃一次侧冷却介质：45%乙二醇溶液二次侧冷却介质：去离子水CDU规模：350kW，1+1备份冷源方式：干冷器，5+1特点：一次侧大环网，二次侧CDU小环网高可靠性广州科云数据中心广州科云数据中心作为行业先锋，早在2019年率先试点实践了冷板液冷技术。图4-5广州科云数据中心IT规模：120kW单机柜功率：10kW，峰值13.2kWCDU颗粒度：120kW，1+1备份一次侧进出水温度：12/18℃二次侧供回液温度：30/35℃二次侧冷却介质：乙二醇溶液冷冻水列间空调：40kW，1+1备份设计年均PUE：PUE＜1.18特点：冷板液冷试点早期实践五、接液材料研究详细了解所有冷却部件和所使用的材料至关重要，需要和所有接液材料部件及液体供应商建立密切合作，确保材料的相容性。有关常见接液材料的描述，该列表并不是对所述材料相容性的承诺，具体材料选择或供应商切换时，仍然需要通过测试来确定。（一）传统材料液冷系统接液材料要与工艺冷媒保持良好的相容性，不会产生腐蚀、劣化及其他理化性质的改变；具备良好的机械性能、环境适应性，且符合环保要求。ASHRAERCM、LCM量低于15304L316L不锈钢，非金属部分使用EPDM[5]。目前，国内液冷LCM、RCM广泛使用的是卫生级不锈钢管材。OCP202210PhilipYu（纳尔科）SeanBarlett（Meta）牵头的项目[6]中，明确给出了二次侧接液66℃的适用条件，并把材料金属与金属合金类表5-1OCP金属与金属合金类材料推荐材料名称明细说明紫铜CopperCDA110：≥99.95%铜+0.002%银CDA1020：≥99.95%铜+0.002%银（UNSC11000）CDA1220：99.9%铜+0.02%磷CDA1100：99.9%铜+0.04%氧15%黄铜Brassof<15%zinc大于15%的锌具有更易腐蚀的α相谨慎使用不锈钢StainlessSteel304L或者316L（推荐）必须考虑氯化物限值镍,高镍合金NickelnickelalloysB的合金B型哈式合金：65～70%镍+1.5～3%铬+1～2%铁+25～32%铜+0.002%硼谨慎使用铬Chromium电镀耐腐蚀材料谨慎使用钛Titanium2级（UNSR50400）：99.75%钛+0.25%铝B-Ni-688.9%镍+11%磷铜冷板钎焊材料BCuP-293%铜+7%磷铜冷板钎焊材料BCuP-389%铜+5%银+6%磷+0.15%其它铜冷板钎焊材料BCuP-487%铜+6%银+7%磷铜冷板钎焊材料BCuP-580%铜+15%银+5%磷铜冷板钎焊材料TF-H600F74.9%铜+15.6%锡+5.3%磷+4.2%镍铜冷板钎焊材料合成橡胶、塑料和其它材料类表5-2OCP合成橡胶、塑料和其它材料类推荐材料名称明细说明EPDM三元乙丙橡胶EthylenepropylenedienemonomerA型氟橡胶VitonA亚氟乙烯六氟丙烯VinylidenefluoridehexafluoropropyleneGF型氟橡胶VitonGF亚氟乙烯六氟丙烯四氟乙烯VinylidenefluoridehexafluoropropylenetetrafluoroethyleneETP型氟橡胶VitonETP乙烯Ethylene、四氟乙烯tetrafluoroethylene（TFE）、全氟甲基乙烯基醚perfluoromethylvinylether（PMVE）FEP全氟乙丙烯聚合物Fluorinatedethylenepro