冷板液冷服务器设计白皮书-2023.10

ODCC-2023-01008冷板液冷服ó~设«白皮书[编号

ODCC-2023-01008]冷板液冷服ó~设«白皮书_放数oo心委\会2023-09发布1ODCC-2023-01008冷板液冷服ó~设«白皮书版权声明ODCCÿ开放数据中心委员会Ā发布的各项成果，×:著作权法;保护，编制单位共同ï有著作权2转载1摘编或利用其它方式使用

ODCC

成果中的文字或者观点的，à注明来源：<开放数据中心委员会

ODCC=2对于未经著作权人书面同意而实施的剽窃1复制1修改1销售1改编1汇编和翻译出版等侵权行为，ODCC

及有关单位将追究其法律¯任，感谢各单位的配合与支持2IODCC-2023-01008冷板液冷服ó~设«白皮书编写组项目经理：董少杰工作组长：王峰中移动信息技术有限公司中国电信股份有限公司研究院­献专家：阮前中移动信息技术有限公司肖爱元刘玲中移动信息技术有限公司中移动信息技术有限公司许豪豪孙翠锋黄山中移动信息技术有限公司中移动信息技术有限公司中移动信息技术有限公司李圣义高从文曹原铭雷鸣中移动信息技术有限公司中移动信息技术有限公司中国移动通信集团设计院有限公司中国移动通信集团设计院有限公司中国移动通信集团设计院有限公司中国移动通信集团设计院有限公司中国信息通信研究院

(云大所数据中心团队)中国信息通信研究院

(云大所数据中心团队)超聚Ø数字技术有限公司刘芹封铎谢丽娜李宁东单彤张_ß苏金炎冯思渊超聚Ø数字技术有限公司超聚Ø数字技术有限公司超聚Ø数字技术有限公司IIODCC-2023-01008冷板液冷服ó~设«白皮书常乾坤刘明岩徐欣曙光数据基础设施创ð技术(北ð)股份有限公司曙光数据基础设施创ð技术(北ð)股份有限公司曙光数据基础设施创ð技术(北ð)股份有限公司华为技术有限公司孙晓光高俊恩相文博温春光张子徐徐旭东蔡®义许银录冯亚利董玉山钟凤舞李海平金超强张安娜赵雷华为技术有限公司浪潮电子信息产`股份有限公司浪潮电子信息产`股份有限公司浪潮电子信息产`股份有限公司烽火通信科技股份有限公司烽火通信科技股份有限公司烽火通信科技股份有限公司中航光电科技股份有限公司中航光电科技股份有限公司深圳忆联信息系统有限公司深圳忆联信息系统有限公司普洛ï普瑞数据科技(上海)有限公司中科可控信息产`有限公司宁畅信息产`ÿ北ðĀ有限公司IIIODCC-2023-01008冷板液冷服ó~设«白皮书前

言本规范由开数据中心标准èß委员会发_2由于时间仓促，水€限，错误和O足之处在€难免，l迎各O读者批评指l2如p意见或建°请联系编写组2IVODCC-2023-01008冷板液冷服ó~设«白皮书目

录版权声明............................................................................................................................................I编写组

..............................................................................................................................................II前

言

..............................................................................................................................................

IV一1

引言

........................................................................................................................................1二1

液冷€术分类

........................................................................................................................2ÿ一Ā

非接触式液冷.............................................................................................................2ÿ二Ā

接触式液冷.................................................................................................................3ÿOĀ

液冷€术ü比.............................................................................................................4O1

冷板式液冷部件选择.............................................................................................................7ÿ一Ā

冷t液.........................................................................................................................7ÿ二Ā

快接头.........................................................................................................................7ÿOĀ

冷量分配单元ÿCDUĀ...............................................................................................8ÿ四Ā

冷板...........................................................................................................................10ÿ五Ā

服á器液冷管路.......................................................................................................11四1

液冷服á器要求

..................................................................................................................12ÿ一Ā

整机柜服á器的要求...............................................................................................121．

通用算力整机柜服á器要求.................................................................................122．

AI算力整机柜服á器要求....................................................................................143．

整机柜设计要求.....................................................................................................16ÿ二Ā

单节点服á器的要求...............................................................................................19五1

液冷带来的Ù化

..................................................................................................................21ÿ一Ā

液冷O种交付模式及优劣势...................................................................................21ÿ二Ā

液冷机配套要求...................................................................................................24ÿOĀ

液冷ßĀP风冷ßĀ的ü比分析...........................................................................26VODCC-2023-01008冷板液冷服ó~设«白皮书}1

Þ用案例

..............................................................................................................................28ÿ一Ā

超聚Ù金融领域液冷Þ用案例...............................................................................28ÿ二Ā

超聚Ù科教领域液冷Þ用案例...............................................................................28ÿOĀ

浪潮金融领域液冷Þ用案例...................................................................................29ÿ四Ā

曙光à联网领域液冷Þ用案例...............................................................................29ÿ五Ā

曙光

IDC领域液冷Þ用案例...................................................................................30ÿ}Ā

曙光气象领域液冷Þ用案例...................................................................................30ÿ七Ā

烽火科教领域液冷Þ用案例...................................................................................31ÿ{Ā

华~

IDC领域液冷Þ用案例...................................................................................31ÿ九Ā

华~

AI领域液冷Þ用案例.....................................................................................32VIODCC-2023-01008冷板液冷服ó~设«白皮书冷板液冷服务器设计白皮书一1

引言随着sÿ数智化转型的逐nèß，在数智化中起决定性作用的算力ü生活1服á1经济的影响越来越大2~了满足日益增长的算力需求，全ÿ数据中心的规模_随之迅Ÿ增长2ÿ家à联网信息Þ|室发_的:数_中ÿ发展ç告ÿ2022€Ā;显示，截ó

2022€ß，sÿ数据中心机架总规模已超过

650

万标准机架，à

5

€€均增Ÿ超过

30%，在用数据中心算力总规模超

180EFLOPS，O居世界第二2数据中心及机架规模的快Ÿ增长，导ô数据中心用电量急剧攀升22021€全ÿ数据中心耗电量达

2166亿þ，þs全ÿ总耗电量的2.6%，碳排量

1.35

亿吨，s全ÿ总排量的

1.14%2~了降P数据中心能耗，û力áĀß碳目标，€府鼓励Þ点行`利用绿色数据中心等新型€术áĀ节能降耗，要求全ÿ新建大型1超大型数据中心均电能利用效率ÿPUEĀ降到

1.3

以Q，ÿ家枢纽节点ß一n降到

1.25以Q，绿色P碳等ÿ达到

4Aÿ以P2同时，随着服á器x心计算芯片的更新换代，服á器单芯片ß耗将达到

500~1000W，风冷散热能力p限，机柜空间剩余Ā象愈发明显2GPU服á器1高性能计算服á器等设备的发展及ß率密þ的增àü数据中心的制冷水提出了更高的要求2另外，风扇作~

IT

设备要散热部件，wß耗在

IT

设备总ß耗中s比越来越高，à向提高数据中心整体

PUE，Pÿ家节能降耗€策要求相悖2液冷€术通过用冷t液体ÿ代传统空气散热，液体P服á器高效热交换，大幅提高服á器散热效率和`á系统ÿ靠þ，并`ÿ境1ODCC-2023-01008冷板液冷服ó~设«白皮书’Þ性好，ÿ以减少土地s用，因m逐nr~一种数据中心制冷新型解决方案2二1

液冷€术分类传统风冷使用空气作~换热介°，液冷数据中心使用ý°水或者氟化液等液体作~换热介°2由于密þ1比热容和导热系数的差异，相同流量的液体相比空气散热能力最高ÿ提升

3500倍2y据冷t液P发热源的接触方式，液冷€术ÿ以分~非接触式液冷和接触式液冷两大类2ÿ一Ā非接触式液冷非

接

触

式

液

冷



要

指

冷

板

式

液

冷

，

将

服

á

器

发

热

元

件ÿCPU/GPU/DIMM

等Ā贴à冷板，液体在冷板内流ú，带走发热元件的热量，液体OP发热源直接接触，冷t液多采用去离子水2冷板式液冷原理如QĀ€示ÿĀ

1冷板式液冷原理示意Ā冷板式液冷换热热阻较大，相比传统风冷散热€术ÿáĀ

60%～90%的能耗降P，数据中心

PUE值能降ó

1.2þ右，同时，ÿ保持传统机柜方式部署，部署密þ较高，ü当前机配套和服á器改

难þ和r本较小2但由于w只ü服á器中的高发热元件采用液冷散热，因m，Ï需少量风扇ü服á器中的非液冷元件ß行风冷散热.另外，还需考虑液体泄露风险22ODCC-2023-01008冷板液冷服ó~设«白皮书ÿ二Ā接触式液冷接触式液冷的液体P发热源直接接触，包括浸没式液冷和喷淋式液冷两种2ÿ1Ā浸没式液冷浸没式液冷将服á器浸没在冷t液中，通过液体温升或相Ù带走服á器中€p发热元件的热量，液体P发热源直接接触，冷t液多采用矿物油1氟化液等O导电1非腐蚀性液体2浸没式液冷原理如QĀ€示ÿĀ

2浸没式液冷原理示意Ā浸没式液冷ÿ完全去除散热风扇，换热能力强，节能效果好，数据中心

PUE

值ÿ降ó

1.1

及以Q，但一般需要改~箱式部署，部署密þ一般P于冷板式液冷，机配套和服á器改

难þ和r本_较大2y据冷t液在冷t子系统中形态的O同，浸没式液冷ÿ以分~单相浸没式液冷和相Ù浸没式液冷2单相浸没式液冷的冷t液在整个冷t子系统的循ÿ过程中都以液体的形式`在，相Ù浸没式液冷的冷t液在ü设备制冷后吸热Ù~气态，相Ù后的气态冷t液被浸没腔体子系统内的冷凝器冷tÙr液体，液体ØÞ力作用流回腔体，完r冷t系统循ÿ2ÿ2Ā喷淋式液冷3ODCC-2023-01008冷板液冷服ó~设«白皮书喷淋式液冷的冷t液Ð服á器机箱顶部的喷淋模块滴Q来，通过冷t液P发热元件之间的接触ß行ü流换热，Ð而~发热元件降温，再通过服á器内的流道汇集ó换热器将热量散发，冷t液多采用矿物油1氟化液等O导电1非腐蚀性液体2喷淋式液冷_ÿ完全去除散热风扇，换热能力强，相较于浸没式液冷节省冷t液，数据中心

PUE

ÿ降ó

1.1

þ右2喷淋式液冷需要ü机柜和服á器机箱ß行改

，ßĀ难þ较大2ÿOĀ液冷€术ü比O同液冷€术的ü比如Qÿ表

1液冷€术ü比非接触式液冷接触式液冷浸没式液冷相Ù浸没

单相浸没液冷方案冷板式热管式喷淋式式式结构改

及液初

始

投

资

初始投资中

初始投资

初始投资

体

í

耗

r

本中

等

，

ß

等，ßĀr

及ßĀr

及ßĀr

大，液冷系统投资r本Ār本P本P本高本高初始投资r本PPUE

1.1-1.2

1.15-1.25ā1.05ā1.09ā1.14ODCC-2023-01008冷板液冷服ó~设«白皮书ÿĀ较简单简单仅浪潮少复杂复杂æ性阿

Ý

巴华

~

1

浪潮

1

曙巴1H3C

1

绿供Þ

光

1

联商

想

1

超

聚Ù

等



流仅曙光色ßĀ1

仅广东合一ß

÷

智能1曙光供Þ商数创Þ用多案例超算领域较多数据中心场o较多无批量使用初

始

投

资中

等

，

ß初始投资最

高

，PUE

收

益最高，需使用_用机柜，服á器结构需改

~刀片式初始投资

初

始

投

资

较较

高

，

高，ßĀr本PUE

收

益

高，液体í耗较高，部

r

本

高

，

PUE分部件O

收益中等，部兼容，服

署方式同浸没á器结构

式，服á器结Ā

r

本

初始投资中P，PUE

收

等，ßĀr益

中

等

，

本P，热管部

署

方

式

的散热能力P

风

冷

相

p

限

，

PUE同

，

Ð

传

收益较P统

模

式

过分析需改构需改渡较滑5ODCC-2023-01008冷板液冷服ó~设«白皮书综合考量初始投资r本1ÿĀæ性1PUE效果以及产`r熟þ等因素，冷板式和单相浸没式相较w他液冷€术更p优势，是当前`界的流解决方案，冷板式液冷ÿ以áĀÐ传统风冷模式的滑过渡，在数据中心领域Þ用更多26ODCC-2023-01008冷板液冷服ó~设«白皮书O1

冷板式液冷部件选择ÿ一Ā冷t液液冷冷t液目前`内选择p乙二醇溶液1_二醇溶液1去离子水等2w中华~1曙光1超聚Ù以

25%乙二醇溶液~，浪潮1新华O以

25%_二醇溶液~2乙二醇溶液1_二醇溶液~ý`标品，ÿ获×性高，乙二醇溶液r本相较于_二醇溶液更P2冷t液浓þ建°在

20%~30%，浓þOß过高，过高会影响ý°散热性能Ā_Oß过P，过P会影响防冻和抑制微生物滋生的能力2去离子水xp良好的传热性能，无毒安全，ÿ作~冷t液之一，但需注意ü冷t液的Āæ2去离子水的冰点~

0℃，需考虑ß输1储`1短时停机1`á量较少1服á器已安装未ß行等情况Q的防冻þ

2去离子水需添à缓蚀剂和杀菌剂，否则容易

r铜腐蚀，长期使用容易导ô

CDU内的铜钎焊板式换热器渗漏2冷tý°均需要添à缓蚀剂和杀菌剂，防k管路滋生细菌导ô堵塞和泄露2综P，建°采用

25±5%浓þ的乙二醇溶液作~液冷系统的冷t液2ÿ二Ā快接头快接头是用于节点冷板模组和液冷机柜集分水器之间的水路连接接头，需支持插ô节点时快Ÿ连通和截断节点P液冷机柜集分水器之间的水路，并保证O漏液2快接头分~手插快接头和盲插快接头两种形态，手插接头üßĀ人员的要求较高，插ô操作依赖机ßĀ人员，服á器和机柜易于解耦2盲插快接头插ôx备自ú化保障，操作方便，连接精þ高，7ODCC-2023-01008冷板液冷服ó~设«白皮书ÿ满足未来自ú巡检1机器人ßĀ需求，但服á器和机柜解耦难þ大2液冷快Ÿ接头要满足ÿĀæ性1ÿ靠性1流阻性能等多方面的需求，Þy据á×Þ用需求选择合’通径的快接头ÿ(1)免ýxĀæ的需求，ÿ以免ýxß行快Ÿ接头的断开和接合Ā(2)连接P断开中冷t液的泄漏O影响日常Āæ过程，同时Oü服á器和机柜

r影响Ā(3)能兼容O同冷t液Ā(4)发生故障并需要更换时，能方便更换ĀæĀ(5)在指定流量范围内，流阻Þ尽ÿ能P，降P液冷系统的能耗2当前`界手插和盲插快接头均pÞ用，后续随着服á器和机柜接口规范的制定和统一，将逐n统一~盲插快接头2ÿOĀ冷量分配单元ÿCDUĀ冷板式液冷系统中通过

CDU隔离一k侧和二k侧回路，并完r一k侧和二k侧的热交换，~服á器提供制冷能力2y据

CDU的形态和部署O置，ÿ分~集中式

CDU和分_式

CDU两种，如Ā€示ÿ液冷柜液冷柜集o式CDUV布式CDU架空w板架空w板一次侧ç口一次侧ç口Î次侧出水Î次侧回水出水回水出水回水V布式式CDU集o式CDUĀ

3分_式

CDU和集中式

CDU示意Ā8ODCC-2023-01008冷板液冷服ó~设«白皮书集中式

CDU

的单Ā

CDU

ÿ以同时~多个服á器机柜提供制冷能力，ÿ以通过多Ā

CDU

集群áĀ

N+M

的冗余能力，ÿ靠性高，’用于规模部署液冷服á器机柜的场o2分_式

CDU免二k侧管路安装，单Ā

CDU只~€在机柜服á器提供制冷能力，无法提供跨机柜的冗余能力，ÿ靠性较集中式

CDU

P2集中式

CDU

和分_式

CDU

的ü比如Q表€示ÿ表

2集中式

CDUP分_式

CDUü比集中式

CDU分_式

CDU机柜形态，P一个服á器机

设备形态，宽1深P服á器尺柜尺ûĀ本相同

ûĀ本相同，高þ

4Uþ右形态P服á器机柜并排部署，ÿ

部署在服á器机柜ß部，只能部署方式

同时~多个服á器机柜提供

~€在服á器机柜提供制冷能制冷能力力部署复杂

服á器机需要ß行二k侧

服

á

器

机

免

二k

侧

管

路

部性管路部署，部署复杂署，部署简单每个机柜

1

Ā

CDU，无法áĀ通过多个

CDU

集群方式提供

CDU间冗余能力，ÿ靠性Pÿ理ÿ靠性N+M冗余能力，ÿ靠性高论Pÿ以通过两个机柜间

CDU1+1备份提高ÿ靠性ĀCDU

需s用机柜安装空间，液冷机柜规模较小时，空间利用率较分_式

CDU

PĀ规空间利用率CDUOs用机柜安装空间，液冷机柜规模较小时，空间利用率9ODCC-2023-01008冷板液冷服ó~设«白皮书模部署液冷机柜时，空间利

高Ā规模部署液冷机柜时，空用率高

间利用率较集中式

CDUP小规模时r本较分_式

CDU

小规模时r本P，大规模时r高，大规模时r本P

本较集中式

CDU高r本大型数据中心，液冷大规模

中小型数据中心，液冷小规模部署

部署’用场oÿ四Ā冷板冷板是P芯片接触áĀ换热的x心部件，冷t液在内部流ú将芯片热量带走2y据散热模块P固定模块的ÿè卸性，ÿ以分~一体式冷板和分体式冷板2一体式冷板的散热模块和固定模块Oÿè卸，分体式冷板的散热模块和固定模块通过螺钉固定，ÿè卸2冷板的€术要求如Qÿ(1)板P的€p冷板/散热器必须方便è卸，保证散热器P元器件p良好的接触并保持两者之间p足够的压力，P

CPU

接触的散热器面须保证w面þĀ(2)冷板需采用铜材°，配套管路ÿ采用

EPDM1FEP1PTFE

软管或铜管Ā(3)Þxp节点ÿ告警1隔离1导流ß能，满足节点ÿ故障O扩散要求Ā(4)冷板需采用一体式焊接密封ý艺，_ÿ采用组装式密封圈密封ý艺Ā(5)最大ý作压力O小于

0.35MpaĀ10ODCC-2023-01008冷板液冷服ó~设«白皮书(6)冷板组件的流阻及液冷ý°流量设计，Þ满足处理器最大散热需求2ÿ五Ā服á器液冷管路服á器液冷管路作~输‘冷tý°的通道，需要x备如Q€术要求ÿ(1)服á器液冷管路采用耐高温耐高压

FEP

波纹管或

EPDM

材°软管，ý作压力g0.35MPa，最大压g1MPaĀ(2)服á器液冷管路设p漏液检测ÿ检测漏液Ā(3)服á器液冷管路P冷板采用à塔头连接或t箍紧固áĀÿ靠密封211ODCC-2023-01008冷板液冷服ó~设«白皮书四1

液冷服á器要求ÿ一Ā整机柜服á器的要求1．通用算力整机柜服á器要求通用算力整机柜服á器包含机柜1柜内服á器节点1电源框1总线等多种部件，建°规格要求如Q表ÿ表

3通用算力整机柜服á器要求高

2200mm，宽

600mm，深

1200mm(如含液冷门，建°≤1400mm)，机柜节点

21

inch或

19

inch宽最大

36个

1U节点最大

18个

2U节点服á器节点支持整柜集中供电，单个电源框高þ≤3RU，支持

2N

供电系统，电源模块支持

N+2备份Ā支持

2+2

路O相交流供电输入，电压范围ÿ346V

AC~415V

AC-3ph-50Hz，每相电流

32AĀ供电电源配置或支持

220VAC供电输入，电压范围

198V

AC～264V

AC，建°每路电流

63AĀ或支持

240VDC供电输入，电压范围

192V

HVDC-288V

HVDC，建°每路电流

63A212ODCC-2023-01008冷板液冷服ó~设«白皮书交换槽最少支持

5个交换机槽O，支持第O方标准通用交换机安装2Oß通过管理模块ü电源ß行统一管理并提供整机柜总ß率Ā电源框体内ß配置管理模块，并x备ú态节能管理ß能2管理模块机柜内供电总线1148V铜排供电，满足计算节点和+48V通用交换机供电需求221ó少支持

5+5路

AC供电，满足

AC通用交换机供电需求2半液冷场oÿManifold

带走服á器冷板热量，服á器风冷部分热量和柜内交换Mani-fold1风液换热器机的热量通过机散热设备带走2全液冷场oÿManifold

带走服á器冷板热量，服á器风冷部分热量和柜内交换机的热量通过风液换热器带走，áĀ

100%液冷散热2服á器节点1机柜防漏液设计，支持柜ÿ和节点ÿ漏液监ç，能够áĀ漏液自隔离2漏液检测áĀ机柜ß率1温þ1漏液检测等信息采集1告警生r及P传，并满足P集中监çĀ1集中带外管理ýxü接的要求213ODCC-2023-01008冷板液冷服ó~设«白皮书一体化

支持除机柜门及wÖ件的整柜ß输ÿ含机柜1服á器节点1交换交付

节点1管理模

块1电源框1PDU1电源模块1传感器等Ā2．AI算力整机柜服á器要求AI

算力整机柜服á器包含机柜1柜内服á器节点1电源框1总线等多种部件，建°规格要求如Q表ÿ表

4AI算力整机柜服á器要求高

2200mm，宽

600mm，深

1200mm(如含液冷门，建°≤机柜1400mm)，节点

21inch或

19

inch宽服

á

器

节

最少

32U服á器部署空间，ÿ’配

GPU模组，液冷冷板ó少覆点盖

CPU1GPU支持整柜集中供电，2个

3U电源框，单个电源框高þ≤3RU，最大支持

36块电源，支持

2N供电系统，电源模块支持

N+2备份Ā供

电

电

源配置ß电源框支持

6+6

路O相交流供电输入，电压范围ÿ346VAC~415VAC-3ph-50Hz，每相电流

32A2或支持

220VAC供电输入，电压范围

198V

AC～264V

AC，建°每路电流

63AĀ14ODCC-2023-01008冷板液冷服ó~设«白皮书或支持

240VDC供电输入，电压范围

192V

HVDC-288V

HVDC，建°每路电流

63A2最少支持

5

个交换机槽O，支持第O方标准通用交换机安交换槽O管理模块装2ß通过管理模块ü电源ß行统一管理并提供整机柜总ß率Ā电源框体内ß配置管理模块，并x备ú态节能管理ß能21148V

铜排供电，满足计算节点和+48V

通用交换机供电需机

柜

内

供电总线求221ó少支持

5+5路

AC供电，满足

AC通用交换机供电需求2半液冷场oÿManifold带走服á器冷板热量，服á器风冷部分热量和柜内Mani-交换机的热量通过机散热设备带走2fold1

风液换热器全液冷场oÿManifold带走服á器冷板热量，服á器风冷部分热量和柜内交换机的热量通过风液换热器带走，áĀ

100%液冷散热211服á器节点1机柜防漏液设计，支持柜ÿ和节点ÿ漏液监漏液检测ç，能够áĀ漏液自隔离215ODCC-2023-01008冷板液冷服ó~设«白皮书21áĀ机柜ß率1温þ1漏液检测等信息采集1告警生r及P传，并满足P集中监çĀ1集中带外管理ýxü接的要求2支持除机柜门及wÖ件的整柜ß输ÿ含机柜1服á器节点1交换节点1管理模

块1电源框1PDU1电源模块1传感器等Ā一

体

化

交付3．整机柜设计要求(1)总线盲插设计服á器机柜和节点ß支持总线盲插设计，采用OĀ浮ú液冷快接头148V

供电

busbar

等关键€术，áĀ服á器节点水1电总线盲插，液冷1电源总线介绍如Qÿ液冷总线ÿ服á器节点液冷水路采用盲插快接头设计，节点冷板ß出水采用x备浮úß能的盲插快接头P机柜

manifold

连接，áĀ液冷的s插s用，sôs断2电源总线ÿ液冷服á器节点P机柜直流

48VBusBar的电源连接线采用<盲插=设计，去除电源物理线缆，提高部署效率2整机柜ß支持水电盲插，后续€术r熟后，建°网络_采用总线盲插方案，áĀ柜内水1网1电O总线盲插2(2)独立机柜管理模块16ODCC-2023-01008冷板液冷服ó~设«白皮书ß通过管理模块ü电源ß行统一管理并提供整机柜总ß率Ā电源框体内ß配置管理模块，并x备ú态节能管理ß能Āß提供机柜各部件管理ß能，如资产管理1ß率封顶1液冷监çß能2(3)柜ÿ漏液检测能力当

manifold

发生漏液时，液体被收集到机柜ß部的接液盘，相关监测设备如光电式水浸传感器1漏水感Þÿ水浸传感器等检测到漏液后Pç机柜管理模块，发出告警信÷2(4)柜ÿ水电分离设计机柜集中电源Þ顶置，áĀP走电，Q走水的水电分离架构设计，p效隔离漏液影响2(5)节点ÿ靠性设计节点Þ采用模块化高ÿ靠冷板1耐压长寿命软管1无滴漏快接头等，x备漏液监测及告警1单节点漏液隔离和防喷射能力，确保系统的稳定ÿ靠ß行2如采用盲插方案，液冷服á器节点P机柜分液单元之间的液冷接头Þ采用盲插快接防喷射结构设计，节点ô出遮Q快插接头，节点插入露出快插接头，áĀs插s通，sôs断，漏液防喷射2液冷节点ßÿÞ采用无孔铆密封设计，前后增à挡水墙，确保节点出Ā漏液情况时漏液O会扩散到w余节点，将节点漏液

r的影响ç制在单节点内部217ODCC-2023-01008冷板液冷服ó~设«白皮书液冷节点在机箱ßÿÞ设置导流槽1导流嘴，将节点漏液通过机柜导流管导到机排水管中，Ð而安全排到机外部，确保节点漏液O会累ÿ扩散到w他节点2液冷节点Þ支持漏液检测，包括Ð节点ß水口到出水口全管路的漏液检测，出Ā漏液情况时立sPç服á器

BMC系统，产生漏液告警，通知机Āæ人员及时处理2(6)整机柜交付ß支持整机柜在产线安装调测，整机柜交付到客户机，缩短Ā场安装时间，提高交付效率2(7)2N供电系统整机柜Þ支持

2N供电系统22N供电系统是指由两套或多套供电系统组r的冗余系统，每个数据中心机供电系统包含

N套供电系统ÿĀ作

NĀ，w总容量~机供电系统的Ā本容量2在供电系统的整个路径ÿÐ供电输入经供电系统直到ß电源输入负载Ā中的€pÿ节和设备都ß行冗余配置ÿĀ作

N备Ā，`是彼m隔离的两条供电线路，l常ß行时，每套供电系统仅ç总负荷的一部分22N供电系统如QĀ€示，以机^电输入~例218ODCC-2023-01008冷板液冷服ó~设«白皮书Ā

42N供电系统示意Āÿ二Ā单节点服á器的要求(1)能源效率通用算力服á器支持

CPU+VRD液冷散热，ÿ选内`液冷散热ĀAI算力服á器支持

CPU+VRD+GPU液冷散热，ÿ选内`液冷散热Ā支持备供电1高压直流供电，提高供电系统的效率Ā支持高效率的单板

VRDÿVoltage

Regulator

DownĀ电源，降P板

DC电源转换的损耗Ā支持系统散热风扇分区调Ÿ和

PIDÿProportional-Integral-DerivativeĀ智能调Ÿ1CPU智能调频，Ð而áĀ节能降耗Ā提供ß率封顶和ß率ç制措施Ā支持错峰P电€术，降P服á器启úß耗2(2)ÿ用性和ÿ服á性19ODCC-2023-01008冷板液冷服ó~设«白皮书~提高系统ÿ靠性，单板硬件Þ采用电信ÿ器件及àýý艺流程ĀÞ

支

持

热

插

ô

的

SAS/SATA/NVMe

硬

盘

2

SAS/SATA

硬

盘

支RAID0/1/10/5/50/6/60，提供

RAID

缓`，支持超ÿ电容掉电数据保æĀÞ提供热插ô电源模块，支持

N+N

冗余Ā风扇模块，支持

N+1

冗余，提升系统整体ÿ用性Ā板载的

BMC集r管理模块能够持续监ç系统参数1触发告警，并`采×恢复措施，以便最大限þ地避免停机2(3)ÿ管理性和安全性集r在服á器P的

BMC管理模块ÿ用来监ç系统ß行状态，并提供à程管理ß能Ā支持

BIOS菜单密码，保证系统启ú及系统管理的安全性Ā支持机箱开盖检测，增强安全性Āß支持Ā于芯片ÿÿ信y

ROTÿRoot

of

TrustĀ的安全启ú，x备Ð硬件ÿ信y开始的逐ÿ校验ß能，构筑完整的安全启ú链220ODCC-2023-01008冷板液冷服ó~设«白皮书五1

液冷带来的Ù化ÿ一Ā液冷O种交付模式及优劣势液冷系统î及一k侧散热系统1二k侧散热系统1CDU1液冷机柜1液冷服á器的ü接，y据

IT

设备侧P机配套侧各自的交付内容，液冷服á器p如QO种交付模式ÿ表

5液冷服á器交付模式交付

IT设备侧交付交付界面说明模式内容模

式一大型液冷机，Ā础设施已经完备，只需采购<液冷服á器和接头=sÿ2液冷服á器大型液冷机，Ā础设施已经完备，已完r集中式CDU及机内二k侧管路_局Ā只需采购交付<液冷服á器+液冷机柜及内部配套部件=2模

式

液冷服á器+液二冷机柜液冷服á器+液

机外部冷塔及一k侧管路已x备，只î及机冷机柜+CDU+二

内部的二k侧管路改

和_设，ÿ以打包采模

式Ok侧管路购交付<服á器+机柜+CDU+二k侧管路=2O种交付模式的示意Ā如Qÿ21ODCC-2023-01008冷板液冷服ó~设«白皮书模式一内设ý模式Î模式O服ó~服ó~+柜Ā

5液冷O同交付模式示意Ā目前液冷€术标准化程þ较弱，服á器P液冷机柜1CDU

液冷管路的ü接和冷tý°的选择，`内暂无á°þ束性标准，各厂家之间缺少兼容性ü接，因m尚`在一定程þ的解决方案捆绑þ

2O种交付模式的ü比如Q表€示ÿ表

6液冷服á器O种交付模式ü比方案ü比模式一模式二模式O备注11IT

侧负责<液

11IT

侧负责<服11IT

侧负责

冷服á器+液冷机

á

器

+机

柜

+CDU+液冷服á器

柜ÿ整机柜Ā=

冷t液+二k侧管21

w

他

配

套

等

路=等Ā全部由省|ø

21w他配套全部

21w他配套全部统一建设

由省|ø统一建

由省|ø统一建设2方

案内容设€

术评估Þ

用

案

例

极

兼容性ü接内容

目前Þ用案例相

`界尚无完少，产品r熟

较少，但整机柜

ü更多，`界产

善的兼容性22ODCC-2023-01008冷板液冷服ó~设«白皮书þ较差，需要

方

案

ü

机



入

品更r熟，整体

标准，Ā行较多服á器定

口1电梯1走道

交付责任界面较

液冷产品n制和接口ü接

等搬ß空间和ß

清p，但整机柜

遍`在厂家验证，`在兼

输通道要求高2容性风险方

案

ü

机



入

服á器和液口1电梯1走道

冷机柜等配等搬ß空间和ß

套设施整体输通道载要求

打包交付情更高2况配套ü接相ü较机柜分离建设

少，比风冷周期均比风冷建设周期长，初n调研预计

6

个o以P，无法做到类似Ā网风冷快ŸP线配套ü接最少，比风冷周期长，由于服á器整机柜打包交付，á施复杂þ最小和建设周期相ü最短方式，需要ß

长，但比机柜分建

设

行服á器P配

开建设周期短，周期

套间的ü接，

整机柜方案ý厂建设周期相ü

完r要集r，较长Ā场交付周期相ü短优ÿ产品r熟þ

优ÿ当前产品和较好，配套ü接

解决方案r熟þ内容少，交付及

最好，项目á施后期ßĀ风险较

难þ最小2优ÿ界面P传统风冷类似方

案总结劣ÿ产品r熟þ较差，建设周期较长2小2劣ÿIT

侧ßĀ范劣ÿIT

侧ßĀ范

围最大，尤w包23ODCC-2023-01008冷板液冷服ó~设«白皮书围相ü较大，增

含

CDU及二k测管à机柜内水路ß

路等非常规

IT

类Ā2

设备2数据中心引入液冷系统时Þ综合考虑产`r熟þ1ßĀ便利性1建设周期等因素，选择合’的交付模式2ÿ二Ā液冷机配套要求数据中心引入液冷服á器时，由于单机柜装机密þ增大，机柜ü机Þ提出了更高要求2同时，O同的液冷€术在部署形态1静电地板高þ1制冷系统管路1机架供电1ßĀ空间等方面相比传统风冷服á器均p新的特殊要求2冷板式液冷和浸没式液冷给传统数据中心带来的机配套Ù化如Q表€示ÿ表

7液冷给机配套带来的Ù化Ā网机冷板式液冷浸没式液冷备注1200*600*2200mm1200*600

ÿ如含液冷门，同时考虑卸¯Ā1电梯等设备尺û设备Þ量2650*800*1205mm*2200mm建

°

深

þ

≤1400mmĀ600-1000KG-1300KG

4000KG800KG24ODCC-2023-01008冷板液冷服ó~设«白皮书g1200KGÿ

非

`

储密集g1000KGĀ机Þg1000KGg1000KG标准机柜

标准机柜ÿ47UĀ

箱式部署ÿþ

3

个部署形态ÿ47UĀ

/非标机柜标准机柜空间Ā600-800mmf7°500-架高地板入门坡道列间空调通道封ý冷t塔600-800mm600mm非必须f7°必须ÿ通道封ýĀ列间空调/液冷门

O需要需要需要/O需要O需要ý式无/ý式/ÿ使用隔离换板，x体评估ý式开式一k侧冷t

中

水

/自

软化水/纯水/去

软化水/纯水/去离来水

离子水

子水水需要，O锈钢ÿ

需要，O锈钢ÿ路二k侧管道

无路部署部署列间空调二k侧换热CDUCDU/水冷门25ODCC-2023-01008冷板液冷服ó~设«白皮书无需独立

无需独立ßĀ空

需要配套提供ßĀßĀ空间

间

天车及ßĀĀ空间ßĀ空间27-100KW/Tankÿ高ß率暂无Þ用案例Āß率密þ

5-7KW/柜

15-80KW/柜ÿOĀ液冷ßĀP风冷ßĀ的ü比分析冷板式液冷服á器和浸没式液冷服á器目前多~定制化部署，相ü传统风冷服á器，在系统设计1部件兼容性1部署方式1ßĀýx及`惯等方面，冷板式液冷服á器定制化程þ较P，浸没式液冷服á器定制化程þ较高2冷板式液冷和浸没式液冷给传统数据中心带来的ßĀÙ化如Q表€示ÿ表

8液冷给ßĀ带来的Ù化比较项传统服á器冷板式液冷CPU/内`/VRD/GPU等液冷散热，w余Ï然风扇散热浸没式液冷100%风扇散去除风扇，100%液服á器风扇热冷散热`储仅支持

SSD和服á器氦气盘，电源无风兼容€p常见部件部件兼容性兼容€p常见部件

扇定制，光电转接头和线缆需密ý或防腐蚀定制前后窗

IO前后窗

IOó展前窗

IOó展ÿó展IOó展ó展ÿ需含快接头Ā能力Ø限Ā26ODCC-2023-01008冷板液冷服ó~设«白皮书需要增à冷板1管路1漏液检测线机柜式部署液冷部件O需要O需要部署方式

机柜箱式部署氟化液或者矿物油，每箱使用

700-800L二k侧冷t多使用乙二醇水，O需要部署方式液分液器CDU每柜

30-40LO需要O需要每机柜均需部署O需要需要，用于一k侧

需要，用于一k侧和二k侧换热

和二k侧换热系统内1CDU1二

CDU1二k侧管路都漏液检测系统O需要k侧管路都需要需要每季þ巡检ÿ€þø值1Ÿ粒物杂°检测等Ā，补液频率þ半€，需要ßĀ天车1_用ßĀĀ等ýxĀßĀßĀýx

传统手ý补液频率þ半€11部署ßĀ方式改ú较大，ßĀ人员需特殊ÿ¯11O同的交付模式会影响原p机侧P

IT设备侧的Āæ界面划分ÿ采用机柜内解耦时，Āæ界面P原p风冷方式相同Ā21IOó展能力Ø限ÿ使用前后

IO机型部署，硬盘O支持热插ôĀ总结31`储仅支持

SSD和氦气盘，ü服á器影响较大21ü`á几乎无影响27ODCC-2023-01008冷板液冷服ó~设«白皮书}1

Þ用案例ÿ一Ā超聚Ù金融领域液冷Þ用案例ÿ二Ā超聚Ù科教领域液冷Þ用案例超Ú变û力某教科研构搭þ高g能1高­ß«ÿ平Ā项þÍ模技o优势•q240n液冷高密节点，4.5PB存储2•ÿ力密度óWÿ×用2U8高密液冷节点，ó供1.43SOÿ次«ÿ能力oÿ风液混合部液冷高密节点及配套液冷设ý单独þ设Ā网络，存储低功耗设备Ï×用风冷þ设2••交Þ模式ÿ仅交Þ柜及液冷服ó~••一次侧，液冷配套设ý，柜和服ó~由不同厂ÿó供一次侧设备，CDU等ó前部，服ó~厂ÿ交Þ液冷柜及液冷服ó~进行对ç2液冷ý案w益••液冷2U8高密节点，þ比同ÿ力风冷节点，节省8倍部空间低PUE，pPUE低ó1.2528ODCC-2023-01008冷板液冷服ó~设«白皮书ÿOĀ浪潮金融领域液冷Þ用案例整柜液冷交Þ，浪潮整柜ý案û力某Ñ融客wþ设项þÍ模项þ技o优势项þ总体Í模包含6000Ā2U4节点液冷服ó~13000Ā1U液冷服ó~通用节点，单柜o持36U液冷安装空间，

单柜功率达20kW每组柜模块配套2ĀCDU，

并形成液冷ÿ网系统，

在1ĀCDU出Āe障时，

另一ĀCDUÿ以完成对该组柜模块的液冷v冷Í模þ250Ā液冷柜150Ā350kW液冷CDU，

Î次侧整体+IT设备交钥匙oÿ风液混合部••每n模块×用独立的CDU+û路+液冷柜+液冷服ó~，s独立的Î次侧循ÿ由单一厂ÿ供应2网络，存储等低功耗设备Ï×用风冷模块þ设2交Þ模式ÿÎ次侧打包×­••液冷ý案一次侧和Î次侧交Þ内ûV_×­Î次侧打包服ó~1柜1CDU1Î次侧û路等统一设«，集o化布局液冷ý案w益••[节点服ó~交Þ，ÿ力密度óW4倍PUE低ó1.2Āÿ四Ā曙光à联网领域液冷Þ用案例曙光数创冷板液冷解决ý案û力某àÔ网数oo心项þ项þÍ模项þ技o优势•某àÔ网数oo心项þ，q27000+节点，1016•••œv化Î次侧û网流体均流设«，并通过工厂均流g测试验证Ā液冷换热单元CDU高m降温，维护便wĀĀ液冷柜2液冷智能çv系统，设[ÿ{^ï和应e响应v2oÿ风液混合部••每n模块×用独立的CDU+û路+液冷柜+液冷服ó~2s独立的Î次侧循ÿ由单一厂ÿ供应2网络，存储等低功耗设备Ï×用风冷模块þ设2交Þ模式ÿÎ次侧打包×­•液冷ý案一次侧和Î次侧交Þ内ûV_×­••Î次侧打包柜1Manifold1CDU1Î次侧û路1监ç以及集成交Þ服ó统一o准ÿ

一次侧供水流ß，温度，压力，水­为数oo心统一指o2ÿ冷塔，一次侧û路由总集成ý和设«院完成Ā，责任界÷清p2液冷ý案w益•2U架服ó~，单柜21kW，ÿ力密度óW2.5倍，为风冷柜2.5倍低PUE，整体PUE低ó1.25Ā•29ODCC-2023-01008冷板液冷服ó~设«白皮书ÿ五Ā曙光

IDC领域液冷Þ用案例曙光数创冷板液冷解决ý案û力某IDC数oo心项þ项þÍ模项þ技o优势•某

IDC数oo心项þ，