T-CIE 232-2024 液气换热型水冷板式间接液冷数据中心设计规范

T/CIE232—2024前言 引言 12规范性引用文件 1 14分级 35基础设施 3 4IT/CIE232—2024本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国电子学会提出。本文件由中国电子学会绿色数据中心与绿色制造标准化技术委员会归口。本文件起草单位：浪潮电子信息产业股份有限公司、上海柯垓冷却技术有限公司、北京中认检测技术服务有限公司、中城建(北京)建筑设计有限公司、北京中科仙络智算科技股份有限公司、中国建筑标准设计研究院有限公司、山东大学、深圳市英维克科技股份有限公司、中国计量科学研究院、华章数据技术有限公司、中国电信股份有限公司研究院、中国移动通信集团设计院有限公司、中移(苏州)软件技术有限公司、山东云海国创云计算装备产业创新中心有限公司、北京秦淮数据有限公司、科华数据股份有限公司、北京中科合盈数据科技有限公司、深圳易信科技股份有限公司、中电科普天科技股份有限公司、搏力谋自控设备(上海)有限公司、工业和信息化部电子第五研究所计量检测中心、易事特集白本通、刘和军、何建涛，韩建芳、潘敏杰、景建平、伍盛达、余伟雄、黎柏伟、张玲、马小路。T/CIE232—2024随着5G、云计算、物联网、人工智能等技术的不断发展，对于海量数据处理的需求快速提升，带并可以进行热量回收及综合利用，从而得到了广泛的关注并发展出多种液冷数据中心解决方案。液气换热型水冷板式间接液冷解决方案近两年市场不断发展，项目不断落地，方案已相对成熟并已有大量成功实践案例。为协助数据中心用户和设计单位更进一步理解该解决方案，进而实际应用该解决方案建设高能效数据中心，中国电子学会特组织相关单位在相关实践经验基础上编制了本标准。液气换热型水冷板式间接液冷数据中心在设计时，除应符合本文件的规定外，还应符合国家现行有关标准的规定，以及数据中心用户的具体技术要求。以下单位和人员参与了本标准的研究制定工作，特此鸣谢(排名不分先后):西安交通大学、西安市数据中心节能与低碳技术重点实验室、南京佳力图机房环境技术股份有限公司、北京国信天元质量测评认证有限公司。1液气换热型水冷板式间接液冷数据中心设计规范仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本GB50016建筑设计防火规范GB50052供配电系统设计规范GB50057建筑物防雷设计规范GB50174数据中心设计规范GB50348安全防范工程技术标准GB50367混凝土结构加固设计规范GB50370气体灭火系统设计规范GB50689通信局(站)防雷与接地工程设计规范GB55036消防设施通用规范JGJ145混凝土结构后锚固技术T/CECS487数据中心制冷与空调设计标准2液冷liquidcooling液冷系统循环中实现热量交换的流体。液气换热型水冷板式液冷技术coldplateliquidcoolingsystembymodularair-liquidcooling下列缩略语适用于本文件。AHU:空气处理机组(AirHandlingUnit)CDU:冷量分配单元(CoolantDistributionUnit)3PDU:电源分配模块(PowerDistributionUnit)SPD:浪涌保护器(SurgeProtectionDevice)4分级数据中心应划分为A、B、C三级。液气换热型水冷板式液冷数据中心设计应根据使用性质、数据丢失或网络中断在经济或社会上造成的损失或影响程度，按照GB50174的规定，确定数据中心所属级别。各级技术要求除应符合GB50174的规定外，还应符合本文件附录B的规定。5基础设施5.1.1液气换热型水冷板式液冷数据中心建筑及选址要求应符合GB50174的有关规定。5.1.2建筑平面和空间布局应具备灵活性，主体结构宜与机柜布置相匹配，提高数据中心的液冷设备机柜安装效率。5.1.3主机房净高不宜小于4.0m,并应满足消防管道、活动地板、工艺生产的要求，以及液气换热型水冷板式液冷数据中心系统机柜安装的空间要求。5.1.4主机房不应布置在潮湿或同一空间内用水区域垂直投影下方，不应与振动和电磁干扰源为邻；辅助区不宜布置在潮湿或同一空间内用水区域垂直投影下方。5.1.5数据中心外走道和数据中心门应考虑设备搬运方便，同一层地面标高不同的区域，应采用斜坡或部分斜坡过渡。数据中心内通道的宽度及门的尺寸应满足最大设备和材料的搬运要求。5.1.6数据中心室内装修，应选用气密性好、不起尘、易清洁、符合环保要求、在温度和湿度变化作用下变形小、具备表面静电耗散性能的材料，不应使用强吸湿性材料及未经表面改性处理的高分子绝缘材料作为面层。室内装修设计选用材料的燃烧性能应符合GB50222的有关规定。5.1.7辅助区域应设有冷却工质临时放存用空间。5.1.8各类管线应根据布放方式采取相应的固定、支撑和保温措施。5.1.9应做好地面防水、排水等土建工艺处理。施工时不应对地面防水、排水等工艺造成损伤。5.2.1新建数据中心的楼面等效均布活荷载标准值应符合GB50174及表1的规定，并按照YD5003取值。为灵活满足各类更高承重要求的液冷设备和电力电池设备需求，新建数据中心荷载可在上表基础上适当增加。表1荷载取值载荷类别载荷指标kN/m²备注主机房活荷载标准值组合值系数Vc=0.98～12频遇值系数Vf=0.9准永久值系数Vq=0.8应根据机柜的摆放密度确定荷载值主机房吊挂荷载不应小于1.2不间断电源系统室活荷载标准值宜为8～10电池室活荷载标准值蓄电池组4层摆放时，不应小于16总控中心活荷载标准值不应小于64T/CIE232—20245.2.2改建的数据中心应根据荷载要求进行承重评估，当承重不符合设备安装要求时，应优先通过调整设备分布、增加散力架、减少设备重量等方式以符合结构安全要求。如必须加固，不应选取框架柱加固方案，不宜选取框架梁加固方案。5.2.3如条件允许可以将适合的外立面及屋面改造成自然冷却单元平台。5.2.4经评估确需进行抗震加固的改建类数据中心，应按照GB50367、JGJ116和JGJ145的规定进行加固。楼板可采用钢梁架空加固法或粘贴纤维复合材料加固法，次梁及框架梁可采用粘贴钢板加固法。在用数据中心内不应采用粘贴碳纤维的加固方案。5.3.1数据中心消防系统设计，应符合GB50016、GB55036、GB50370、GB50174和GB51251的规定。5.3.2A级数据中心的主机房宜设置洁净气体灭火系统，也可设置高压细水雾灭火系统。B级和C级数据中心的主机房宜设置洁净气体灭火系统，也可设置高压细水雾灭火系统或预作用自动喷水灭火系统。5.3.3数据中心应设置火灾自动报警系统，并应符合GB50116及GB55036的有关规定。5.3.4采用液气换热型水冷板式技术的数据中心主机房及其它使用或贮藏冷却液的区域，对消防系统方案的选择应符合冷却液化学品安全说明书的规定。5.3.5数据中心的耐火等级不应低于GB50174所规定的二级。5.3.6当数据中心位于其它建筑物内时，在数据中心与建筑内其它功能用房之间应采用耐火极限不低于2.0h的防火隔墙和1.5h的楼板隔开，防火隔墙上开门应采用甲级防火门。5.3.7数据中心主机房的顶棚、壁板(包括夹芯材料)和隔断应为不燃烧体，且不应采用有机复合材料。地面及其他装修应采用不低于B1级的装修材料。5.3.8数据中心内，建筑灭火器的设置应符合GB50140的有关规定。5.3.9凡设置气体灭火系统的数据中心主机房，应配置专用空气呼吸器或氧气呼吸器，并设置灾后通风系统，换气次数不小于5次每小时。6液气换热型水冷板式液冷系统6.1服务器服务器宜选用低流阻冷板式液冷服务器，要求如下：a)服务器应依据CPU、GPU等发热器件的结构和散热要求进行设计，并给出液气换热条件下供液温度和流量的需求；b)服务器冷板材质应与冷却工质长期兼容；c)服务器液体进出口位置及配管方向，宜设置于服务器后窗；d)服务器冷板入口处冷却工质流速不宜高于1.5m/s;e)服务器冷板通过软管与系统连接，应考虑断开和连接的可靠性；f)服务器机柜内管道布置应美观性和维护性，尽可能垂直或水平走管，不交叉和缠绕，不影响服务器及部件维护；g)服务器的连接软管热稳定性应满足液冷系统最高水温条件下需求。5T/CIE232—20246.2机架式风液CDU当采用机架式液气换热型水冷板式液冷系统方案时(机架式液气换热型水冷板式液冷系统原理见附录C,同时附录D提供了机架式液气换热型水冷板式液冷数据中心建设的应用案例),机架式风液CDUa)机房中的CDU设置应符合附录B的要求；b)应采用紧凑结构设计，减少机柜内空间占用；c)应采用水泵冗余设计，采用调速水泵；d)应提供足够的流量，流量应符合适配的服务器要求；e)应提供足够的扬程，扬程满足克服系统阻力需求；系统阻力应包含冷却工质供回歧管、连接软管、冷板和液体快速接头的流阻；f)宜采用换热性能高的风液换热器；g)应具备北向接口，可读取内容包括但不限于水泵转速，风扇转速，CDU的进风温度和出风温度，供液温度，回液温度，供液压力，回液压力和过滤器压差等；h)应具备告警功能，当系统监控参数超过设定阈值时发出告警；i)控制器应配置触摸屏，以便运维人员在现场查询和操作；j)液冷系统最高点应设置自动或手动排气装置，用于排除系统中的气体；6.3机柜式风液CDU当采用机柜式液气换热型水冷板式液冷系统方案时(机柜式液气换热型水冷板式液冷系统原理见附录C,要求如下：b)入列宽度和高度应与液冷机柜匹配；c)若采用背门式应安装在机柜后门位置，背门式厚度不应大于200mm,通过连接框与机柜连接；d)机柜式风液CDU的冷却能力应依据液冷服务器冷却条件和机房环境工况进行匹配；e)机柜式风液CDU的工作环境条件应根据机房条件和服务器供液需求评估；f)循环泵应采用变频离心泵，并采用N+1设计；g)风机宜采用离心风机，并采用N+1设计，宜采用具备实现热插拔维护的独立风机箱；h)额定冷量工作状态下声压级噪音应不大于65dB(A);i)背门式CDU采用机柜PDU取电时，谐波不应对服务器造成影响，功耗不宜大于750W;j)应具备北向接口，可读取水泵转速，风扇转速，背门进风温度和出风温度，背板泵组的供液温度、回液温度、供液压力、回液压力，循环流量等运行信息；k)应具备告警功能，当系统监控参数超过设定阈值时发出告警；l)控制器应配置触摸屏，以便运维人员在现场查询和操作。m)机柜式风液CDU内部应设置膨胀罐，并给出支持的液体膨胀量。6.4冷却工质供回歧管及连接管路冷却工质供回歧管及连接管路要求如下：a)冷却工质供回歧管及连接管路不应影响服务器维护；b)应合理规划流体回路，减少不必要的弯折以减少流动阻力；c)冷却工质供回歧管、液体快速接头和安装板材质应与冷却工质长期兼容；d)应与服务器和其他设备不干涉；e)冷却工质供回歧管的分水口数量应符合服务器冷板接口需求；6T/CIE232—2024f)冷却工质供回歧管支路的接口应采用匹配的液体快速接头；g)背门与冷却工质供回歧管连接应采用软管，服务器与冷却工质供回歧管连接宜采用软管；h)设备出厂前应对冷却工质供回歧管及连接管路系统做密封性测试；i)冷却工质供回歧管及连接管路应满足服务器最大负载运行条件下流液振动、冲击工况长期运j)对于A级机房，连接管路应采用环网或双路方式。6.5冷却工质冷却工质要求如下：a)冷却工质应与接触的部件兼容；b)冷却工质应具备良好的热力学性能；c)冷却工质应无闪点或应慎重选择高闪点；d)采用水基冷却工质时，应选择具备以长期兼容性和抑菌能力的冷却工质；e)冷却工质的使用和管理应遵循职业安全标准及卫生健康标准；f)同一机房应采用同一种冷却工质；g)冷却工质存放和回收：1)数据中心辅助区应设置区域用于存放工质存储容器、补液工装，用于工质存储和补液；2)数据中心辅助区应设置区域用于存放冷却工质的回收工装、存储容器，用于冷却工质的临时存放和回收处理；3)不同工质共用同一辅助区，应分区放置，并设置醒目标识，防止混用；4)液体工质应根据国家规范及法规进行使用和管理，废弃的冷却液应予以妥善回收处理，不应直接排放到雨水系统、污水系统或室外；h)补液和排液：1)宜采用系统独立补液、排液方式，各系统独立设置补液泵和排液口；2)宜具备自动补液功能，依据循环需求，自动补充冷却工质；3)设备宜设置储液装置，有效容量不宜小于系统总容量的20%。6.6漏液辅助系统漏液辅助系统要求如下：a)应对液气换热型水冷板式液冷系统的系统漏液进行监测；b)宜位于液冷机柜底部，监测位置应覆盖所有管路接头连接位置和管路本体；c)宜具备告警功能，并可传递至机房动环监控系统；d)宜根据漏液位置，设置不同级别干预控制设备；e)宜具备泄漏故障隔离和泄漏防扩散等功能。7机柜系统机柜系统要求如下：a)应满足设备接地要求，采用接地端子或角规实现内部设备接地；b)机柜前后门、顶板、侧板均应可靠的等电位接地，机柜主体应有两条不同长短的接地线通过汇流排接地；c)机柜出线缆进出机柜应根据防护要求设置橡胶护口或毛刷；d)应具备通风散热、抗振动、抗冲击、耐腐蚀能力；7e)应依据机房条件，评估电磁隔离、噪声隔离、防尘、防水和防辐射性能需求；f)机柜静载承重，动载承重应符合服务器、液气换热型水冷板式系统其他设备的要求；g)采用背板式液气换热器，机柜框体应能够符合支撑背门的结构轻度，通道空间应符合背门开合h)机柜尺寸应满足CDU安装要求，支持通用L型导轨安装；i)柜体结构强度安装服务器和液气换热型水冷板式系统后应符合YD5059中有关抗震的规定；j)机柜应配置PDU,PDU应具备液气设备的取电接口；k)机柜可通过集中供电系统将交流电转化为直流电，为机柜内用电设备提供电力，集中供电系统应包含电源框、电源模块和供电母排等组件；m)服务器布置应给背门通风留下空间，并预留通风道至背门。8通风散热系统8.1负荷计算通风散热系统计算冷负荷应包括电子信息设备、空调、电池充电、液气换热型水冷板式液冷系统及其他负荷运行时产生的热量。8.2环境条件通风散热系统设计对机房环境的参数应符合GB50174的规定，同时应符合表2的规定。表2通风散热系统环境要求环境要求参数值备注冷通道或机柜进风区域的温度18℃~27℃不应结露，机房内可设置独立的除湿系统冷通道或机柜进风区域的相对湿度和露点温度露点温度宜为5.5℃~15℃,同时相对湿度不宜大于60%主机房环境温度和相对湿度(停机时)5℃~45℃,8%～80%,同时露点温度不宜大于27℃主机房和辅助区温度变化率使用磁带驱动时，应小于5℃/h,使用磁盘驱动时，应小于20℃/h开机时：辅助区温度相对湿度18℃~28℃停机时：辅助区温度相对湿度5℃~35℃20%～80%电力电池室环境温度20℃~30℃通风散热系统宜依据部署地环境和部署地的气象环境，充分使用自然冷却或选择能效高的制冷形式，如AHU、列间空调等，宜采用封闭通道技术。8a)冷源具备经济性和环保性，制冷量符合数据中心机房环境温湿度要求，冷源的制冷能力应具有10%以上的余量；b)风冷型、冷冻(却)水型行间空调均应按附录B进行冗余配置，以封闭通道为单元进行相应配c)当采用集中式冷冻水空调系统时，须考虑避免单点故障。冷水机组、水泵、冷却塔、自然冷却用板式换热器(如有)均应按GB50174进行冗余配置；d)空调水管道系统的供回水主管宜采用环网设计；e)当采用冷却塔冷却时，需设置冷却塔补水箱(池),其容量宜按照不低于12小时配置；f)对于A级数据中心，风冷系统的控制系统、末端冷冻水泵和空调末端风机应由不间断电源系g)数据中心内冷冻水等液体管路宜采用地板下走管方式，并做好相应防水(液)、漏水(液)和排水(液)措施，同时应具备相应告警功能；h)数据中心加湿宜采用湿膜加湿方式，以降低加湿能耗；i)主机房应维持正压，新风量应按照作业人员、正压所需风量的最大值选取。99供配电系统9.1基本要求供配电系统基本要求如下：a)数据中心用电负荷等级及供电要求应根据数据中心的等级，按照GB50052和GB50174的要b)电子信息设备供电方式应根据用电等级，选择交流不间断电源系统或高压直流供电系统，应根9.2高压直流系统供电a)在市电可靠，且符合电子信息设备运行和维护要求的情况下，可采用“一路市电直供+一路高压直流”的供电方式，提高供电效率；b)高压直流系统的整流模块配置应根据系统最大输出电流采用N+X冗余配置。其中N个为主用，N≤10时，1个备用；N>10时，每10个备用1个；c)高压直流系统应采用悬浮方式供电，要求如下：1)系统交流输入应与直流输出电气隔离；2)系统输出应与地、机架、外壳电气隔离；4)系统应有明显标识标明该系统输出不能接地；5)系统应具备绝缘监测功能。9.3交流不间断系统供电a)A级数据中心的UPS供电系统宜采用2N双母线供电模式，B级数据中心宜采用N+1并联冗9b)UPS系统容量应按最大负荷功率确定；远期负荷增加不大时，宜按远期配置；系统的冗余配置c)采用单相供电设备，应在UPS供电系统负载端尽量保持三相平衡，中性线电流不应大于相线电流的50%。9.4液气换热型水冷板式液冷系统供电液气换热型水冷板式液冷系统供电要求如下：a)液气换热型水冷板式液冷系统的设备用电负荷等级应等同服务器等级；b)液气换热型水冷板式液冷系统的用电与电子信息设备用电宜采用同一供电回路；c)液气换热型水冷板式液冷系统应支持双路供电。9.5防雷接地a)数据中心防雷与接地措施应符合GB50689、GB50057和GB50174的相关规定；b)数据中心所在建筑物应采用联合接地的方式；建筑物基础、各类设备、防静电装置的接地系统应连接在一起形成环形接地体，并将环形接地体与建筑物基础内的钢筋焊接连通；c)数据中心应采用外部防雷装置、内部等电位连接和雷电电磁脉冲防护等综合防雷系统；d)各等电位连接网络均应与共用接地系统有可靠连接，宜将各个等电位连接系统用接地线引至e)液气换热系统各处应分别做好等电位联接；f)数据中心内配电设备不带电部分均应接地，不应作接零保护；g)露天设备，如屋面的自然冷却单元，应采取避雷措施，设备外壳应与屋面避雷带或接地预留端子就近连通，室外避雷引下线应直接接到机房楼宇地网；h)数据中心雷电过电压保护设计，应合理设置各防雷区的SPD,其保护水平应小于该防雷区内被保护设备的耐压水平。9.6线缆系统9.6.1走线架a)数据中心布线宜采用上走线方式；b)数据中心布线应采用走线架，其中供电线缆应选择开放式线架，消防缆线应采用封闭式桥架和c)交流电缆、直流电缆、信号线缆不宜交叉混走，各走线架用途应有清晰标识；d)走线架及各类金属构件应采用严格接地措施，各段走线架之间应采用接地跨接线连接；e)走线架位置应与管路错开布局。9.6.2电缆布放a)不同电压等级的电缆不宜布放在同一走线架，若线缆根数少，需要布放在同一走线架内时，应b)主机房布线系统中铜缆与电力电缆或配电母线槽之间的最小间距，应根据机柜容量和线缆保护的方式确定，并应符合表3的规定；T/CIE232—2024表3走线架间距机柜容量铜缆与电力电缆的敷设关系铜缆与配电母线槽的敷设关系最小间距mm铜缆与电力电缆平行敷设—有一方在金属线槽或钢管中敷设，或使用屏蔽铜缆铜缆与配电母线槽平行敷设双方各自在金属线槽或铜管中敷设，或使用屏蔽铜缆铜缆在金属线槽或钢管中敷设，或使用屏蔽铜缆铜缆与电力电缆平行敷设——有一方在金属线槽或钢管中敷设，或使用屏蔽铜缆铜缆与配电母线槽平行敷设双方各自在金属线槽或钢管中敷设，或使用屏蔽铜缆铜缆在金属线槽或钢管中敷设，或使用屏蔽铜缆c)交流电缆与直流电缆在数据中心内宜做物理隔离；交流电缆和直流电缆无法避免同架长距离并行敷设时应采取屏蔽措施；d)机柜模块上宜集成走线通道，以便于缆线的管理、布设和存储；数据线和电源线宜布设在机柜上方，宜靠近在机柜背面，以便于维护和管理，应避免电源线和数据线阻碍气流通道。10智能化系统智能化系统要求如下：a)数据中心应设置总控中心、环境和设备监控系统、安全防范系统、火灾自动报警系统、数据中心基础设施管理系统等智能化系统，各系统的设计应根据数据中心的等级，按照GB50314、b)智能化各系统宜集中设置在总控中心内，供电电源应安全、可靠，应采用独立不间断电源系统c)智能化系统宜采用统一系统平台，支持各种传输网络和多级管理；系统采用的操作系统、数据库管理系统、网络通信协议等宜采用通用的系统；d)液气换热系统关键设备应具备北向接口，宜支持SNMP、Modbus等通信协议；e)智能化系统应具备可视化功能，建模管理方式宜与实际数据中心一一对应；系统应具备读取基础设施和电子信息设