ODCC-2023-01008 冷板液冷服务器设计白皮书

11版权声明ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位I编写组由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各 I II IV 1 2 2 3 4 7 7 7 8 10 11 12 12 12 14 16 19 21 21 24 26V 28 28 28 29 29 30 30 31 31 32冷板液冷服务器设计白皮书随着我国数智化转型的逐步推进，在数智化中起决定性作用的算力对生活、服务、经济的影响越来越大。为了满足日益增长的算力需求，全国数据中心的规模也随之迅速增长。国家互联网信息办数据中心及机架规模的快速增长，导致数据中心用电量急剧攀据中心能耗，助力实现双碳目标，政府鼓励重点行业利用绿色数据中心等新型技术实现节能降耗，要求全国新建大型、超大型数据中同时，随着服务器核心计算芯片的更新换代，服务器单芯片功耗将达到500~1000W，风冷散热能力有限，机柜空间剩余现象愈发液冷技术通过用冷却液体替代传统空气散热，液体与服务器高效热交换，大幅提高服务器散热效率和业务系统可靠度，并且环境1适应性好，可以减少土地占用，因此逐步成为一种数据中心制冷新传统风冷使用空气作为换热介质，液冷数据中心使用工质水或者氟化液等液体作为换热介质。由于密度、比热容和导热系数的差根据冷却液与发热源的接触方式，液冷技术可以分为非接触式非接触式液冷主要指冷板式液冷，将服务器发热元件的热量，液体不与发热源直接接触，冷却液多采用去离子水。冷板2接触式液冷的液体与发热源直接接触，包括浸没式液冷和喷淋浸没式液冷将服务器浸没在冷却液中，通过液体温升或相变带走服务器中所有发热元件的热量，液体与发热源直接接触，冷却液多采用矿物油、氟化液等不导电、非腐蚀性液体。浸没式液冷原理浸没式液冷可完全去除散热风扇，换热能力强，节能效果好，署密度一般低于冷板式液冷，机房配套和服务器改造难度和成本也根据冷却液在冷却子系统中形态的不同，浸没式液冷可以分为单相浸没式液冷和相变浸没式液冷。单相浸没式液冷的冷却液在整个冷却子系统的循环过程中都以液体的形式存在，相变浸没式液冷的冷却液在对设备制冷后吸热变为气态，相变后的气态冷却液被浸没腔体子系统内的冷凝器冷却变成液体，液体受重力作用流回腔体，3喷淋式液冷的冷却液从服务器机箱顶部的喷淋模块滴下来，通过冷却液与发热元件之间的接触进行对流换热，从而为发热元件降温，再通过服务器内的流道汇集至换热器将热量散发，冷却液多采喷淋式液冷也可完全去除散热风扇，换热能力强，相较于浸没式式初始投资初始投资中初始投资及运维成初始投资及运维成结构改造及液体消耗成本大，液冷系统初始投资成本低4商变等主流色云图、能、曙光仅广东合一多少超算领域数据中心场景初始投资部署方式与风冷相同，从传统模式过初始投资中等，运维成本低，热管的散热能力初始投资PUE收益最高，需使用专用机柜，服务器结构需改造为初始投资PUE收益较高，部分部件不兼容，服务器结构初始投资较高，运维成本高，液体消耗收益中等，部署方式同浸没式，服务器结5因素，冷板式和单相浸没式相较其他液冷技术更有优势，是当前业界的主流解决方案，冷板式液冷可以实现从传统风冷模式的平滑过6液冷冷却液目前业内选择有乙二醇溶液、丙二醇溶液、去离子获取性高，乙二醇溶液成本相较于丙二醇溶液更低。冷却液浓度建去离子水具有良好的传热性能，无毒安全，可作为冷却液之一，但需注意对冷却液的维护。去离子水的冰点为0℃,需考虑运输、储存、短时停机、业务量较少、服务器已安装未运行等情况下的防冻问题。去离子水需添加缓蚀剂和杀菌剂，否则容易造成铜腐蚀，长冷却工质均需要添加缓蚀剂和杀菌剂，防止管路滋生细菌导致综上，建议采用25±5%浓度的乙二醇溶液作为液冷系统的冷却快接头是用于节点冷板模组和液冷机柜集分水器之间的水路连接接头，需支持插拔节点时快速连通和截断节点与液冷机柜集分水快接头分为手插快接头和盲插快接头两种形态，手插接头对运维人员的要求较高，插拔操作依赖机房运维人员，服务器和机柜易于解耦。盲插快接头插拔具备自动化保障，操作方便，连接精度高，7一次侧接口集中式CDU一次侧接口二次侧出水二次侧回水一次侧接口集中式CDU一次侧接口二次侧出水二次侧回水架空地板可满足未来自动巡检、机器人运维需求，但服务器和机柜解耦难度液冷快速接头要满足可维护性、可靠性、流阻性能等多方面的当前业界手插和盲插快接头均有应用，后续随着服务器和机柜冷板式液冷系统中通过CDU隔离一次侧和二次侧回路，并完成液冷机柜分布式架空地板回水液冷机柜集中式CDU分布式式集中式CDU8机柜形态，与一个服务器机设备形态，宽、深与服务器尺与服务器机柜并排部署，可同时为多个服务器机柜提供部署在服务器机柜底部，只能为所在服务器机柜提供制冷能力部署复杂性服务器机房需要进行二次侧服务器机房免二次侧管路部论上可以通过两个机柜间CDU空间利用率CDU需占用机柜安装空间，液冷机柜规模较小时，空间机柜规模较小时，空间利用率9模部署液冷机柜时，空间利高；规模部署液冷机柜时，空小规模时成本较分布式CDU小规模时成本低，大规模时成大型数据中心，液冷大规模中小型数据中心，液冷小规模冷板是与芯片接触实现换热的核心部件，冷却液在内部流动将芯片热量带走。根据散热模块与固定模块的可拆卸性，可以分为一体式冷板和分体式冷板。一体式冷板的散热模块和固定模块不可拆卸，分体式冷板的散热模块和固定模块通过螺钉固定，可拆卸。冷(1)主板上的所有冷板/散热器必须方便拆卸，保证散热器与元(3)应具有节点级告警、隔离、导流功能，满足节点(6)冷板组件的流阻及液冷工质流量设计，应满足处服务器液冷管路作为输送冷却工质的通道，需要具备如下技术(3)服务器液冷管路与冷板采用宝塔头连接或卡箍紧通用算力整机柜服务器包含机柜、柜内服务器节点、电源框、总支持2+2路三相交流供电输入，电压范围：346VAC~415VAC-位块线Mani-测实现机柜功率、温度、漏液检测等信息采集、告警生成及上传，支持除机柜门及其附件的整柜运输（含机柜、服务器节点、交换AI算力整机柜服务器包含机柜、柜内服务器节点、电源框、总线服务器节点供电电源双电源框支持6+6路三相交流供电输入，电压范围：346V最少支持5个交换机槽位，支持第三方标准通用交换机安机柜内供1、48V铜排供电，满足计算节点和+48V通用交换机供电需Mani-Manifold带走服务器冷板热量，服务器风冷部分热量和柜内Manifold带走服务器冷板热量，服务器风冷部分热量和柜内1、服务器节点、机柜防漏液设计，支持柜级和节点级漏液监2、实现机柜功率、温度、漏液检测等信息采集、告警生成及上传，并满足与集中监控平台、集中带外管理工具对接的要一体化交付支持除机柜门及其附件的整柜运输（含机柜、服务器节点、交换节点、管理模块、电源框、PDU、电源模块、传感器服务器机柜和节点宜支持总线盲插设计，采用三维浮动液冷快接液冷总线：服务器节点液冷水路采用盲插快接头设计，节点冷板整机柜宜支持水电盲插，后续技术成熟后，建议网络也采用总线宜提供机柜各部件管理功能，如资产管理、功率封顶、液冷监控监测设备如光电式水浸传感器、漏水感应绳水浸传感器等检测到漏液机柜集中电源应顶置，实现上走电，下走水的水电分离架构设计，节点应采用模块化高可靠冷板、耐压长寿命软管、无滴漏快接头等，具备漏液监测及告警、单节点漏液隔离和防喷射能力，确保系统如采用盲插方案，液冷服务器节点与机柜分液单元之间的液冷接头应采用盲插快接防喷射结构设计，节点拔出遮住快插接头，节点插液冷节点底座应采用无孔铆密封设计，前后增加挡水墙，确保节点出现漏液情况时漏液不会扩散到其余节点，将节点漏液造成的影响液冷节点在机箱底座应设置导流槽、导流嘴，将节点漏液通过机柜导流管导到机房排水管中，从而安全排到机房外部，确保节点漏液液冷节点应支持漏液检测，包括从节点进水口到出水口全管路的宜支持整机柜在产线安装调测，整机柜交付到客户机房，缩短现统组成的冗余系统，每个数据中心机房供电系统包含N套供电系统（称径（从供电输入经供电系统直到双电源输入负载）中的所有环节和设），支持系统散热风扇分区调速和PID（Proportional-Integral-为提高系统可靠性，单板硬件应采用电信级器件及加工工艺流程；板载的BMC集成管理模块能够持续监控系统参数、触发告模式一大型液冷机房，基础设施已经完备，只需采购“液冷服务器和接头”即可。模式二液冷服务器+液大型液冷机房，基础设施已经完备，已完成集模式三液冷服务器+液冷机柜+CDU+二机房外部冷塔及一次侧管路已具备，只涉及机房内部的二次侧管路改造和布设，可以打包采模式一模式一模式二模式三机房内设施服务器服务器+机柜模式一方案全部由省公司冷服务器+液冷机柜（整机柜）”等2、其他配套全部由省公司统一建设务器+机柜+CDU+冷却液+二次侧管2、其他配套全部由省公司统一建技术少，产品成熟兼容性对接内容较少，但整机柜目前应用案例相对更多，业界产业界尚无完善的兼容性度较差，需要较多服务器定制和接口对接验证，存在兼口、电梯、走道等搬运空间和运品更成熟，整体交付责任界面较清晰，但整机柜口、电梯、走道等搬运空间和运输通道承载要求标准，现行液冷产品普遍存在厂家服务器和液冷机柜等配套设施整体打包交付情况建设机柜分离建设方式，需要进行服务器与配套间的对接，建设周期相对配套对接相对较少，比风冷周期长，但比机柜分开建设周期短，整机柜方案工厂完成主要集成，现场交付周期相配套对接最少，比风冷周期长，由于服务器整机柜打包交付，实施复杂度最小和建设周期相对最短均比风冷建设周期长，初步调研预上，无法做到类似现网风冷快速上线方案优：界面与传劣：产品成熟度较差，建设优：产品成熟度较好，配套对接内容少，交付及后期运维风险较优：当前产品和解决方案成熟度最好，项目实施围最大，尤其包围相对较大，增加机柜内水路运含CDU及二次测管数据中心引入液冷系统时应综合考虑产业成熟度、运维便利性、数据中心引入液冷服务器时，由于单机柜装机密度增大，机柜对机房承重提出了更高要求。同时，不同的液冷技术在部署形态、静电地板高度、制冷系统管路、机架供电、运维空间等方面相比传统风冷服务器均有新的特殊要求。冷板式液冷和浸没式液冷给传统数据中心（如含液冷门，同时考虑卸货平台、标准机柜标准机柜（47U）必须（通无/闭式/可使用隔离换板，具一次侧冷却水软化水/纯水/去软化水/纯水/去离无需要，不锈钢环需要，不锈钢环路列间空调无需独立无需独立运维空间需要配套提供运维（高功率暂无应用冷板式液冷服务器和浸没式液冷服务器目前多为定制化部署，相对传统风冷服务器，在系统设计、部件兼容性、部署方式、运维工具及习惯等方面，冷板式液冷服务器定制化程度较低，浸没式液冷服务器定制化程度较高。冷板式液冷和浸没式液冷给传统数据中心带来的服务器热部署方式液统运维总结超聚变助力某教科研机构搭建高性能、高质量计算平台项目规模•共240个液冷高密节点，4.5技术优势•算力密度提升：采用2U8高密液冷节点，提供1.43千万亿次计算能力 场景：风液混合部署•液冷高密节点及配套液冷设施单独建设；•网络，存储低功耗设备仍采用风冷建设。交付模式：仅交付机柜及液冷服务器•一次侧，液冷配套设施，机柜和服务器由不同厂家提供•液冷2U8高密节点，相比同算力风冷节点，节省8倍部署空间•低PUE，pPUE低至1.25整柜液冷交付，浪潮整机柜方案助力某金融客户机房建设项目规模项目技术优势项目总体规模包含6000台2U4节点液冷服务器、3000台1U液冷服务器通用节点，单机柜支持36U液冷安装空间，单柜功率达20kW每组机柜模块配套2台CDU，并形成液冷环网系统，在1台CDU出现故障时，另一台CDU可以完成对该组机柜模块的液冷制冷机房规模约250台液冷机柜、50台350kW液冷CDU，二次侧整体+IT设备交钥匙 场景：风液混合部署•每个模块采用独立的CDU+管路+液冷机柜+液冷服务器，即独立的二次侧循环由单一厂家供应。•网络，存储等低功耗设备仍采用风冷模块建设。 交付模式：二次侧打包采购•液冷方案一次侧和二次侧交付内容分开采购•二次侧打包服务器、机柜、CDU、二次侧管路等统一设计，集中化布局 液冷方案收益•多节点服务器交付，算力密度提升4倍•PUE低至1.2；曙光数创冷板液冷解决方案助力某互联网数据中心项目项目规模项目技术优势•预制化二次侧管网流体均流设计，并通过工厂均流性测试验证；•液冷换热单元CDU高效降温，维护便捷；•液冷智能控制系统，设置多级别告警和应急响应机制。 场景：风液混合部署•每个模块采用独立的CDU+管路+液冷机柜+液冷服务器。即独立的二次侧循环由单一厂家供应。•网络，存储等低功耗设备仍采用风冷模块建设。 交付模式：二次侧打包采购•液冷方案一次侧和二次侧交付内容分开采购（冷塔，一次侧管路由总集成方和设计院完成）， 液冷方案收益•2U机架服务器，单柜21kW，算力密度提升2.5倍，为风冷机柜2.5倍•低PUE，整体PUE低至1.25；曙光数创冷板液冷解决方案助力某IDC数据中心项目项目规模•某IDC数据中心项目，共1500+节项目技术优势•预制化二次侧管网流体均流设计，并通过工厂均流性测试验证;；•液冷换热单元CDU高效降温，维护便捷；•液冷智能控制系统，设置多级别告警和应急响应机制。 场景：风液混合部署•每个模块采用独立的CDU+管路+液冷机柜+液冷服务器。即独立的二次侧循环由单一厂家供应。•网络，存储等低功耗设备仍采用风冷模块建设。 交付模式：二次侧打包采购•液冷方案一次侧和二次侧交付内容分开采购（冷塔，一次侧管路由总集成方和设计院完成）， 液冷方案收益•2U机架服务器，单柜20kW，算力密度提升2.5倍，为风冷机柜2.5倍•低PUE，整体PUE低至1.25；曙光数创冷板液冷解决方案助力国内某高性能计算系统建设项目规模项目技术优势•项目整体交付，包含液冷服务器、风冷冷却、液冷一二次侧相关。 场景：风液混合部署•每个模块采用独立的CDU+管路+液冷机柜+液冷服务器。•网络，存储等设备采用风冷冷却模式。 交付模式：项目整体交付•项目低压供电、风冷冷却方案、液冷方案一次侧和二次侧整体交付； 液冷方案收益•4U液冷刀片服务器+2U液冷服务器，单柜最高60kW+，单柜算力密度较传统风冷机柜提升10倍，低PUE，整体PUE低至1.23；……烽火液冷整机柜某高校应用案例项目