绿色数据中心冷却方式研究报告

目 录一、绿色数据中心发展概述 1（一）绿色数据中心概念及其评价标准 1（二）信息技术发展带动数据中心建设提速 3（三）行业政策引导绿色可持续发展 5二、数据中心节能与散热 14（一）数据中心计算密度提升带来散热挑战 14（二）数据中心能耗水平分析 16（三）散热和能耗问题驱动冷却技术进步 17三、绿色冷却技术研究 20（一）冷却技术分类 21（二）冷板式液冷技术 24（三）相变浸没式液冷技术 37（四）单相浸没式液冷技术 46（五）间接蒸发冷却技术 51（六）制冷剂自然冷却技术 59（七）全新风直接冷却技术 71（八）自然水冷源（海水、湖水、江河水）直接冷却技术 74（九）冷却塔技术 81（十）干冷器技术 86四、绿色低碳技术 92（一）AI能源管控技术 92（二）余热利用 93（三）绿电应用 101五、绿色冷却技术未来展望 105（一）跨季节冰蓄冷数据中心冷却技术 105（二）远岸海上风力发电数据中心平台 106（三）两相冷板式液冷技术 109（四）高热流密度芯片级冷却技术 （五）探索散热与再发电结合 参考文献 一、绿色数据中心发展概述（一）绿色数据中心概念及其评价标准中心是指在数据中心的设计、建设、运营和维护过程中，采用了一和安全可靠的特点。绿色数据中心的实现主要包含以下六个方面：气候适应型、高效IT设备、可持续建筑、绿色能源、高效冷却方IT的制冷解决方案如下：充分利用自然冷源，减少机械制冷的应用；采用精密空调、经济器以及通道封闭技术，提升冷却效率；采用液冷等相关的创新制冷技术；IT容量，提升设备效率；采用节水的冷却方式，以节约水资源利用。绿色数据中心是未来必然发展趋势。自2017年以来，工信部等6部门组织开展了四批国家绿色数据中心推荐评价工作，前后认定共计196家国家绿色数据中心。国家绿色数据中心的评定，不仅为数据中心行业绿色发展确定了标杆，也为实现“2030年前碳达峰”“2060年前碳中和”的国家“双碳”战略起到了强大的助推作用。相继制定了一系列绿色数据中心评价指标相关的国家标准、行业规范，以此来引导数据中心市场健康有序地发展。通过表5可以看PUE家强制性标准《GB40879-2021数据中心能效限定值及能效等级》PUE绿色数据中心的评价工作尚缺乏国家权威标准，国家标准《绿色数据中心评价规范》目前正在制定中。表1现行标准标准类型标准名称国家标准GB40879-2021《数据中心能效限定值及能效等级》GB/T《数据中心资源利用第234用率》GB/TXXXXX《绿色数据中心评价规范》（制定中）行业标准YD/T2442-2013《互联网数据中心资源占用、能效及排放技术要求和评测方法》YD/T2543-2013《电信互联网数据中心（IDC）的能耗测评方法》YD/T3983-2021《数据中心液冷服务器系统能源使用效率技术要求和测试方法》YD/T4023-2022（PUE）测试规范》地方标准DB11/T1139-2019《数据中心能源效率限额》（北京）1∕T32《数据中心能效监测与评价技术导则（京）DB11/T1282-2015《数据中心节能设计规范》（北京）DB11/T（北京）DB31/T1216-2020《数据中心节能评价方法》（上海）DB31/T1217-2020《数据中心节能运行管理规范》（上海）DB31/T1302-2021《数据中心能耗在线监测技术规范》（上海）DB31/（）B31/T1309-2021《数据中心节能改造技术规范》（上海）团体标准T/ASC05-2019《绿色数据中心评价标准》T/DZJN93—2022《数据中心碳排放评价规范》T/BIE001-2017《数据中心用水技术导则》T/CIE049A-2020《绿色数据中心评估准则》T/ZGTXXH006-2021《绿色数据中心评估指标及评估方法》（二）信息技术发展带动数据中心建设提速随着5G、云计算、人工智能等新一代信息技术的快速发展，信息技术与实体经济加速融合，数据资源存储、计算和应用需求大幅提升。作为海量数据和算力的载体，近几年数据中心产业呈现出爆发式增长态势。2006Google首席执行官埃里克·施密特（EricSchmidt）在搜索引擎（SESSanJose首次提出“云计算”Computing）的概念，推动互联网技术和IT服务演进出新的模式。云计算是继互联网时代之后信息技术的又一次飞跃。云计算通过计算机网络（多指因特网形成的计算能力极强的系统，可存储、集应用需求大幅提升，数据中心基础设施建设进入扩张期。《“十四五”信息通信行业发展规划》中提出到20255G265G用户普及率达56%。中国信通院公布数据显示截至202355G284.4个。中国通信标准化协会的数据显示，目前主要运营商的5G主设备空载功耗约2.2-2.3kW3.7-3.9kW。作为国内5G5G耗电数据，结果都是4G3倍左右。实现相同面积的覆5G4G35G4G35G4G6-125G速率的成倍提升、5G业务的不断发展，5G基站的能耗问题也给运营商带来压力。生成式AI表现出来的智慧能力，给未来的场景应用乃至社会生产方式的变革都带来了巨大的想象空间。虽然目前生成式AI的技术应用仍处于初级阶段，但用于训练的大模型的训练参数规模增长速度已超过摩尔定律，海量数据增长的背后离不开底层算力基础设施的支撑。未来新一代人工智能技术必将深度赋能千行百业，同时为硬件服务器、算力基础设施尤其是高密度数据中心的增长带来新机遇，数据中心市场需求潜力巨大。据中国信通院发布的《数据中心白皮书（2022）》统计结30（见图，且大型以上数据中心机架规模增长更为迅速。预计到2030体在用机架规模达到13002.5kW30000MW。据CDCC的调研结果显示，国内全行业数据中8kW202111202225%，高功率机柜占比提升明显。未来，随着人工智能模型训练推理等应用增加，多样化算力协同成为常态，单IT6-8kW/rack12-15kW/rack，先进计算、智算中心30kW图12017—2022年我国数据中心总体在用机架规模[1]（三）行业政策引导绿色可持续发展近年来，国家出台了一系列文件支持数字经济发展壮大，同时鼓励引导绿色、可持续数据中心建设。2021年3月，我国在“十催生新产业新业态新模式，壮大经济发展新引擎。20222贵州、甘肃、宁夏等8地启动建设国家算力枢纽节点，并规划了10个国家数据中心集群，标志着我国“东数西算”工程正式全面启动。“东数西算”工程是从国家战略、技术发展、能源政策等多方面出发，在“新基建”的大背景下，统筹布局建设全国一体化算力网络国家枢纽节点，助力我国全面推进算力基础设施高质量规划建设。伴随着数字经济的蓬勃发展，数据中心所带来的巨大能耗和碳排放问题越发引起社会关注。政府层面从现代化、数字化、绿色化方面对新型基础设施建设提出了方针指引，同时从碳达峰、碳中和的战略出发对信息通信业绿色低碳水平提出了更高要求。目前，数据中心产业绿色低碳可持续发展已成为社会共识，粗放、低能效的传统数据中心正在向集约、高技术、高能效的新型数据中心变革。工业和信息化部在《新型数据中心发展三年行动计划（2021—2023年）》（以下简称《行动计划》）中提出了“新型数据中心”的概念，指出“新型数据中心是以支撑经济社会数字转型、智能升级、融合创新为导向，以5G、工业互联网、云计算、人工智能等应用靠能力、提供高效算力服务、赋能千行百业应用的新型基础设施，2023PUE1.3IT设备、液冷等高效制冷系统、高压直流等高效供配以数据中心、5G基站为代表的新型基础设施绿色高质量发展，发挥其“一业带百业”作用，助力实现碳达峰碳中和目标，2021月，国家发改委等四部门联合发布《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方2025年全国新建大型、超大型数据中心平均电能利用效率降到1.3以下，国家枢纽节点进一步降到1.25以下，绿色低碳等级达到4A级以上”的发展目标。政府和地方连续出台详细的绿色节能发展要求，涵盖数据中心PUE、上架率、WUE、可再生能源使用率等指标，有效引导了新建、改扩建和“老旧”改造等数据中心绿色节能建设工作。表2 PUE指标相关政策地区发布单位政策PUE要求国工业和信新型数据中到2023年底，新建大型及以上数据中心PUE降家息化部行动计划（2021—2023年）低到1.3以下，严寒和寒冷地区力争降低到1.25以下国家财政部、生态环境部、工业和信息化部（试行）》3年6.425年起数据中心电能比不高于1.3上海上海市经济和信息化委员会《上海市数据中心建设导则》PUE1.3据中心不应高于1.5；运行第一年PUE综合不高于1.4，第二年不高于1.3上海市经济和信息化委员会、上海市发展和改革委员会《关于推进本市数据中心健康有序发展的实施意见》集聚区新建大型数据中心综合PUE降至1.25左右。北京北京市发展和改革委员会《关于印发进一步加强数据中心项目节能审查若干规定的通知》新建、扩建数据中心，年能源消费量小于1万吨标准煤（电力按等价值计算，下同）的项目PUE值不应高于1.3；年能源消费量大于等于1万吨标准煤且小于2万吨标准煤的项目，PUE值不应高于1.25；年能源消费量大于等于2万吨标准煤且小于3万吨标准煤的项目，PUE值不应高于1.2；年能源消费量大于等于3万吨标准煤的项目，PUE值不应高于1.15。深圳深圳市人民政府办《关于加快推进新型基对超大型数据中心提出集中布局建设要求，未提及PUE指标值，对中小型数据中心提出分布布局公厅础设施建设的实施意见（2020—2025年）》要求，并规定PUE值小于1.25贵州省贵州省人民政府办公厅《关于加快推进“东数西算”工程建设全国一体化算力网络国家（贵州）枢纽节点的实施意见》贵安数据中心集群新建大型以上数据中心PUE低于1.2内蒙古自治区内蒙古和林格尔新区管理委员会《关于内蒙古和林格尔新区推进数据中心项目绿色化建设的意见》100001.4，第三年度及以后年度1.25表3上架率指标相关政策地区发布单位政策上架率要求国家工业和信息化部《新型数据中心发展三年行动计划（2021—2023年）》到2023年底，全国数据中心平均利用率力争提升到60%以上上海上海市经济和信息《上海市数据中心建设上架率半年内不应低于50%（仅针对自用的数据中心），一年内不应低于70%，第二年及以后不化委员会导则》低于ack80%北京北京市发展和改革委员会《关于印发进一步加强数据中心项目节能审查若干规定的通知》项目获得节能审查意见后，两年内上架率（实际上架的机柜总功率/节能报告中的机柜设计总功率）未达到80%的，建设单位应向原节能审查机关提出变更申请深圳--未提及贵州省贵州省人民政府办公厅《关于加快推进“东数西算”工程建设全国一体化算力网络国家（贵州）枢纽节点的实施意见》贵安集群数据中心到2025年平均上架率不低于65%内蒙古自治区内蒙古和林格尔新区管理委员会《关于内蒙古和林格尔新区推进数据中心项目绿色化建设的意见》内蒙古和林格尔集群IT设备上架率三年内达到70%表4 WUE指标相关政策地区发布单位政策WUE要求国家工业和信息化部等七部门（2022—2025年）加大先进节能节水技术应用。鼓励自建余热、冷却水回收设施，加快应用先进适用的节水技术和装备，提高水资源利用效率。国家财政部、生态环境部、工业和信息化部《绿色数据中心政府采购需求标准（试行）》数据中心水资源全年消耗量与信息设备全年耗电量的比值不高于2.5L/kWh。上海上海市经济和信息化委员会《上海市数据中心建设导则》本市建设数据中心，投入运行后，关键指标应符合以下要求：WUE：第一年不高于1.6，第二年不高于1.4北京北京市发展和改革委员会北京市经济和信息化局《北京市低效数据中心综合治理工作方案的通知》力争到2025年基本实现本市存量数据中心能效碳效水效水平全面达到本市地方标准北京市地方标准《用水定额第11部分：数据中心》（征集意见稿）表3-1规定了数据中心用水定额。表3-1数据中心用水定额单位为升每千瓦时内蒙古自治区内蒙古和林格尔新区管理委员会《关于内蒙古和林格尔新区推进数据中心项目绿色化建设的意见》对于规模超过10000个标准机柜的以自用为主的数据中心项目，设计水资源利用效率（WUE值）不高于1.6。类型类型单位IT设备耗电量取水量先进值a通用值b数据中心1.42.2a先进值用于新建（改建、扩建）项目的水资源论证、取水许可审批和节水评价。b通用值用于现有数据中心的日常用水管理和节水考核。表5可再生能源使用率指标相关政策地区发布单位政策可再生能源使用率国家国家发改委等四部门贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案到2025年，数据中心和5G基本形成绿色集约的一体化运行格局。数据中心运行电能利用效率和可再生能源利用率明显提升国家工业和信息化部等六部门工业能效提升行动计划加强绿色设计、运维和能源计量审查。引导数据中心扩大绿色能源利用比例国家财政部、生态环境部、工业和信息化部《绿色数据中心政府采购需（行）》数据中心使用的可再生能源使用比例应逐年增加。表4-1 数据中心可再生能源使用率北京北京市发展和改革委员会关于印发进一步加强数据中心项目节能审查若干规定的通知项目节能报告中应当包括可再生能源利用方案。新建及改扩建数据中心应当逐步提高可再生能源20212030有可再生能源占比）。建设单位可以通过自建分布式可再生能源设施提高可再生能源利用水平。建筑物屋顶可以安装光伏组件，具备条件的项目可以在外墙安装光伏组件。自建设施不能满足的用电需求，可以通过绿年份年份20232025202720302032可再生能源最低使用率（%）5305075100色电力交易或认购可再生能源绿色电力证书、购买节能量等方式提高可再生能源利用比例。提升绿色能源利用水平。推动数据中心充分利用上海上海市通信管理局新型数据—2024年）市场化交易，支撑可再生能源交易创新，支持数据中心多元化消纳方式。二、数据中心节能与散热（一）数据中心计算密度提升带来散热挑战在过去，算力性能提升主要通过半导体工艺增加晶体管密度实10100010CPU200W，最新发布的CPUGPUA100/A800推出的新一代H100/H800单卡功率接近700W，热流密度高达87.5W/cm2。近三十年来，信息量的迅猛增长对IT设备的性能提出越来越高的要求，随着IT技术的快速发展，电子器件及服务器的功率密度不断升高，根据ASHRAE统计及预测，不同用途数据中心的标准机架功率密度还会进一步上升。以电信/通讯为主要用途的服务器，单机架5kW/rack10kW/rack～15kW/rack图2标准机架功率密度统计及预测[2]IT[3]。1012410℃，平均电子元器件的寿命CPUGPUCPU55-65℃，25CPU（二）数据中心能耗水平分析2220亿W30%20254000亿kWh5.8%。根据UptimeInstitute2023（PUE平，2023年稳定在1.58。自2014年以来年平均PUE值维持在1.55-1.65范围内，即IT设备自身能耗占比约为61%—65%，以制冷为主的其他能耗占比约为35%—39%。AI9PUE1.2ITIT（三）散热和能耗问题驱动冷却技术进步数据中心冷却系统能耗占比仅次于IT空气冷却技术演进路径IT数据存储和简单计算阶段。数据中心最早出现在2060年代，采用的是以主机为核心的计算方式，一台大型主机就是数据中心，如IBM360系列计算机，其主要业务是数据的集中存储和管理。机柜功率密度约为1～2kW/rack，主要依靠空调系统和机柜内部风扇即可满足散热需求。数据处理及业务应用阶段。2070年代以后，随着计算需求的不断增加、计算机价格的下降以及广域网和局域网的普算任务。机柜功率密度约为1～5kW/rack，主要依靠机房空调系统和机柜内部风扇进行散热，冷却效率较早期有所提升。数据运营服务阶段。2090年代，互联网的迅速发展使网络应用多样化，客户端／服务器的计算模式得到广泛应用。数据中心具备了核心计算和核心业务运营支撑功能。机柜功率密度为5～10kW/rack，主要依靠机房空调系统、机柜内部风扇，并采用冷热空气管理、后门热交换器等冷却方式，冷却效率显著提升。21速发展使数据中心进入了新的发展阶段。机柜功率密度不断抬升，10kW/rack～15kW/rack机柜成为主流，空调制冷系统结合自然冷却技术的制冷方式成为降低数据中心能耗的有效手段；同时，液冷技术既能解决高热流密度芯片散热问题，又可实现全年全地域自然冷却，大幅降低制冷能耗，作为新兴技术迅速占据市场。液冷技术兴起路线气冷却成为解决散热难题的最优解。1964年，IBM推出了世界首款冷冻水冷却计算机为安装部署更为简单，液冷技术并未被重视。21世纪初，随着芯片功对外发布基于49年l年，美国绿色革命冷却技术公司GRC首创为了容纳浸没TPU3.0pod因其如工信部规定新建大型、超大型数据中心PUE1.32015年推出国内首款标准化量产的冷板液冷服务器，同模使用的第一个公开案例。2017FusionServer板级液冷方案，同年浪潮发布了以冷板液冷服务器为核心的解决方案；2018年阿里在其自建的张北数据中心部署了浸没式液冷系统；2019年中随着国内主流服务器厂商纷纷加快推出自己的液冷服务器和液冷系三、绿色冷却技术研究在不同的数据中心项目上如何选择合适的冷却方案也成了人们高度（一）冷却技术分类数据中心的排热是将电子设备产生的热量转移到室外环境的过IT设备为主的发热源的热量由流动的冷却介质（如空气、液（如图3所示）。随着能耗成本的不断攀升和全球不同国家对数据中心PUE图3数据中心冷却技术分类服务器侧绿色节能技术分类见图1000～3500倍，意味着冷却液体可以吸收大量热量而10～40倍，同等图4空气冷却及液体冷却工作原理（如图5所示）。图5液冷技术分类（自然冷却技术分类然冷却和水侧自然冷却。这两类自然冷却方式又可分为若干不同类型，如表6所示。表6数据中心自然冷却方式[4]分类方式空气侧直接空气冷却全新风直接冷却直接蒸发冷却间接空气冷却热管间接蒸发冷却带自然冷却的风冷冷水机组风道换热系统水侧直接水冷却海水湖水、江河水直接冷却冷却塔水直接冷却间接水冷却冷却塔+板式换热器干冷器闭式冷却塔海水+板式换热器LNG冷能（二）冷板式液冷技术技术原理（6图6冷板式液冷技术原理图冷板式液冷基础设施系统工作原理图如图7所示，服务器内主（元（又称“CDU”），与冷量分配单元一侧次常温冷却水进行换热，CDU图7冷板式液冷基础设施系统工作原理图关键技术与设备机柜和服务器形态（manifold）为进一步提升生产安装工作效率，减少安装过程中因部件匹配度冷板设计要求冷板基板应选择导热性强、不易腐蚀的金属或合金材料，一般采用铜或铝合金材质。冷板设计在满足发热元器件散热要求的前提下，还要尽可能减少内部流阻；还应考虑芯片的承重水平，以及芯片对冷板扣合力的承受度。嵌入/（/、）（）图8冷板冷却液冷板式液冷二次侧冷却液的选择应满足与所有直接接触的材料互相兼容，并具备长期可靠性、导热性、防腐蚀性、抑菌性等功能。20%～30%/冷板式液冷二次侧水基冷却液水质要求如表7所示。表7水基冷却液水质标准水质标准项目单位二次侧水质要求/推荐pH（25℃）/8.0~8.7要求电导率μs/cm（25℃）<2000要求浊度NTU<10要求菌落总数（微生物）cfu/ml<1000推荐硫酸根mg/L<10推荐氯离子mg/L<30推荐总硬度mg/L,asO3<20推荐铜离子mg/L<1.0推荐铁离子mg/L<1.0推荐铝离子mg/L<1.0推荐缓蚀剂mg/L必须要求杀菌剂mg/L必须要求冷量分配单元（CDU）（coolantdistributionunit，简称“CDU”），热，并对液冷IT（——缓冲装置用于稳定系统压力，降低补液泵的启停频率；——泄压装置用于防止系统超压，保护系统设备。冷板式液冷CDU9所示。在CDUCDUCDU图9冷板式液冷CDU工作原理示意图CDU功能如下：提供循环动力：为室内系统的冷却液提供循环动力，保证自动监控运行状态：综合分析系统运行状态，自动监控、负责热交换：CDU其他：解决方案冷板式液冷数据中心冷却方式采用液冷为主、风冷为辅的混合冷却模式。服务器内的主要散热元器件CPU、GPU、内存等产生的热量通过与冷板内的液体进行热交换并带出服务器，这一部分的热量占服务器总热量的50%—80%，剩余少部分的热量采用传统的空气冷却技术，通过空气与服务器进行热交换。的水质，采用开式冷却塔时还应在CDU和开式冷却塔之间增加一次板式换热。冷板式液冷系统二次侧支持35℃以下供液温度，一次侧支持15℃～33℃进水温度，自然环境完全满足液冷系统一次侧散热需求，无需冷水机组等高能耗制冷设备，冷板式液冷数据中心PUE可低至1.2以下，相比传统风冷方式节能20%以上。冷板式液冷解决方案可引用液冷占比LPE这一概念，来衡量数据YD/T3980-20213-1LPE=PL/P0 3-1式中：LPE:liquidperformanceefficiency缩写，液冷性能效率，简称液冷占比；PL技术特点冷板液冷方案一般具备以下特点：1000～3500吸收大量热量而不会显著升高温度；液体的对流换热系数是空气的热量从设备中快速地带走，散热效率得到大幅提升。冷板式液冷技术散热效率更高，可满足芯片热流密度50W/cm2～60kWCLF0.120%总体低可将风冷服务器改造为冷板液冷服务器，相比其他液冷技术更具改造优势。将冷板替代原服务器散热风扇部件，简单改装即可适用。服务器与机柜的连接采用快速接头，服务器上下架可实现冷却系统在线插拔，不影响其他服务器正常运行。另外，保留了原有服务器的形态及维护方式，不影响用户使用习惯。CDU设备具有进出液温度、流量等智能监控功能，及漏液故障告警和定位功能，液冷系统可靠性得到保障。适用范围冷板式液冷技术解决方案适用范围如下：适用于全年全地域环境条件：冷板式液冷系统利用液体作为传热介质带走服务器热量，利用室外侧常温冷却水即可完成热交适用于中高热流密度芯片散热：冷板与服务器高发热元器10-15kN/m2）存在的问题根据赛迪顾问《20232020年—202290%20102015年中科曙光完成首个国内首个冷板式液冷服务器大规模商业应用项运维要求冷板式液冷系统运维要求如下：运维人员需定期对液冷系统进行巡检。日常巡检主要检查基础上增加以下环节：——检查CDU电控系统散热风扇运行是否正常；——检查CDU后部管路连接处是否有泄漏；——检查电动调节阀手自动控制功能；——校验压差旁通阀和安全阀功能；——循环泵手自动控制和轮切检查，如异常需及时维护；——对CDU本体进行除尘去污。需对二次侧在运行的冷却介质进行定期质量监测，若出现超标或污垢腐蚀等情况时，需要依据相关规定进行补液、更换冷却介质等。在冷却介质的充排液处理时，应该参照维护手册进行并遵守相关规程，最大限度地降低容器或管路的对外裸露面积；3%—5（三）相变浸没式液冷技术技术原理相变浸没式液冷技术原理是指通过发热元器件与冷却液体直接接触进行散热，即将服务器的主板、CPU、内存等发热元器件完全浸见图10）。图10相变浸没式液冷技术原理图经CDM图11相变浸没式液冷技术基础设施系统工作原理图关键技术与设备机柜和服务器形态中科曙光推出的相变浸没式液冷服务器系统以计算机柜和冷量12（见图12）。在项目图12“一拖二”液冷计算单元冷却液碳氟化合物冷却液具有以下特点：——具有良好的化学稳定性和良好的热稳定性；——具备良好的绝缘性和电气特性；——具有良好的材料兼容性；——介电常数低，可保证高频信号在冷媒中的可靠传输；——安全性高，具有良好的热稳定性，ODP值为零，大气寿命冷量分配模块（CDM）模块（coolantdistributionmoduleIT设备提供冷量分配和智能管理的模块。相变浸没式液冷CDM由冷凝器、循（）相变浸没式液冷CDM工作原理示意图如图13所示。在CDM的二次侧循环中，CDM提供低温液态冷却液至分集液器，再通过分集液器平CDM换热器中升温后的图13相变浸没式液冷CDM工作原理示意图CDM功能如下：提供循环动力：为室内系统的冷却液提供循环动力，保证自动监控运行状态：综合分析系统运行状态，自动监控、负责热交换：CDU其他：提供冷却液净化、储液等功能；支持刀片运维下架解决方案340kW168kW。相变浸没式液冷系统二次侧支持38℃～40℃以下供液温度，一次侧支持15～35℃供水温度。一次侧可选择开式冷却塔或闭式冷却塔、干冷器，为保证进入冷量分配模块（CDM）的水质，采用开式冷却塔时还应在CDMPUE1.130%技术特点相变浸没式液冷散热效率极高，可满足芯片热流密度高达100W/cm2～150W/cm2。满足计算节点紧凑化部署，单机柜功率高达168kW，缩短了节点间的通信距离，突破了大系统高速网络通信延时无需配置任何风扇，噪音低至45dB，实现“静音机房”效果。0.0430%以上。总体TCO相变浸没式液冷服务器系统具有监控刀片服务器刀壳内的气体压力、液体温度、液体液位等功能，与CDM设备联动控制CDM供液温度、压力等参数，并具备漏液故障告警和定位功能，服务器系统可靠性得到保障。适用范围相变浸没式液冷技术解决方案适用范围如下：适用于全年全地域环境条件：相变浸没式液冷系统利用液适用于超高热流密度芯片散热：计算节点全部发热元器件的散热需求，解决方案低至1.1以下，尤其适用于高密度存在的问题2018密度计算场景的大型、超大型数据中心。随着生成式AI成本高冷却液：用于相变浸没式液冷的进口低沸点碳氟化合物冷却液成本较高，是相变浸没式液冷解决方案整体成本偏高的主要原因之一。目前国内相关厂家通过大量投入实现了国产自主可控产品，完成各项参数的长周期测试，产品参数与进口碳氟化合物冷却液一致，甚至个别参数（如温室效应值GWP）优于进口产品，见表8。在国内厂家、表8国内外主流碳氟化合物冷却液产品参数对比型号参数SFM-5016NFC-72Novec7100沸点℃（常压）505661密度kg/m3161816801510比热J/kg·K122011001183潜热kJ/kg9088112运动粘度cSt0.370.380.38介电常数1kHz臭氧消耗潜值ODP000温室效应值GWP207400297产业链成熟度不足相变浸没式液冷系统架构及产品标准化程度不足的问题同冷板式液冷技术，详见本白皮书冷板式液冷技术部分相关内容。运维要求相变浸没式液冷系统运维要求与冷板式系统要求基本相同，详见刀片式服务器需要下架维护时，应按照流程要求正确使用冷却液泄漏时，对大量溢出或泄露的冷却液，用泵抽回到（四）单相浸没式液冷技术基本原理单相浸没式液冷是以液体作为传热介质，将发热电子元件直接浸单相浸没系统原理图如图14所示，单相浸没液冷是将服务器放浸没在腔体的冷却介质中，服务器运行时发热器件会产生大量的热被收集后送入CDU图14单相浸没冷却原理示意图关键技术和设备（CDU）CDU常见为柜式结构，内设有循环泵、过滤器和换热器等。CDU的特点包括：14个——内置断路器，可防止电气过载；——设有主用泵和备用泵，因此可实现冗余运行；——主用泵和备用泵采用电气隔离设计，可独立运行；——支持2N冗余。备用泵水系统可以承担主泵的全部负荷；——双泵系统共用同一换热器，可实现主备泵无缝切换；——进出口采用软管宝塔接头，方便快捷。/回液管采用特殊设计，确保Coolant单相浸没式液冷用冷却液特点如下：——兼容标准服务器的所有器件；——绝缘性好；——对人体及环境无害；——单相换热无挥发；——安全可靠，闪点237℃，凝点-60℃；——性能稳定，不吸水。解决方案系统主要由CDU、若干TankCDUTankTankCDUCDU1个、24个15系统系统系统图15系统示意图技术特点单相浸没式液冷具有以下特点：——没有空调、加湿的控制，没有压缩机，无需冷冻水机组；——无需架空地板；——服务器无需风扇，减载10%～20%；——接受不同形式水源；——运行环境要求低；——冷却液不挥发，并兼容标准服务器所有硬件；适用范围单相浸没式液冷适用范围广，基本不受地域的限制。存在的问题目前，单相浸没式液冷存在的主要问题是冷却液的成本较高，但随着应用规模的扩大，冷却液的成本有望逐步下降。运维要求滤芯更换应每6～12个月更换冷却液的滤芯。换热器锌阳极检查锌阳极625%，70%。CDU漏液维护——所有密封垫；——所有管道配件；——所有软管夹；——泵头到泵电动机的连接。（3）Tank定期巡检滤网维护要求：——应定期检查所有滤网是否存在阻塞和颗粒积累。——需要时卸下清洗并重新安装任何积聚或被杂物堵塞的冷却剂滤网。——滤网如果损坏需及时更换。液位检查要求：——冷却液泵运行时，检查机架是否存在气泡。这是不平衡、冷却液不足或出现泄漏的迹象。——检查况，如果防溢板中存在过量冷却剂，则需要使用通用清洗技术进——检查系统Tank内的液位是否足够。液面应在回液滤网固定螺栓顶部以上25mm处。（五）间接蒸发冷却技术基本原理间接蒸发冷却技术基本原理是通过水蒸发吸热降低空气温度来冷制冷剂侧间接蒸发冷却技术和水侧间接蒸发冷却技术。图16间接蒸发冷却原理示意图关键技术和设备-间接蒸发冷却空-空换热机组为风侧间接蒸发冷却技术应用的一种形式，在空-空换热器位置设置喷淋装置，同时需要设置补冷盘管，可以送出满足要求的风量。3100％，干工况模式 湿工况模式 混合工况模式图17风侧间接蒸发冷却技术应用方式带有间接蒸发冷却功能的智能热管全变频氟泵空调为制冷剂侧间变频压缩机模式 混合制冷模式 全自然冷模式 间接蒸发模式图18制冷剂侧间接蒸发冷却技术应用方式间接蒸发冷却冷水机组为水侧间接蒸发冷却技术应用的一种形图19水侧间接蒸发冷却技术应用方式解决方案- 侧面安装 b)顶层安装图20安装示意图智能热管空调是一套由高效风冷变频压缩机+变频室外机+氟泵+AI自我优化技术降图21图22空调水系统架构图技术特点间接蒸发冷却机组的技术特点主要有：具有较高的全年能效比。水汽化潜热大，蒸发冷却效果比需要耗水。间接蒸发冷却技术需要消耗水资源，一般是采适用范围-8kW/智能热管氟泵空调是在风冷直膨式系统的室外冷凝器上增加间接9表9部分城市智能热管全变频氟泵机组pPUE与AEER[5]空调负载率100%空调负载率75%空调负载率50%北京pPUE0.1470.1070.085AEER6.809.3511.76天津pPUE8AEER6.679.0912.50上海pPUE0AEER5.888.3310.00广州pPUE3AEER5.006.257.69重庆pPUE0AEER5.267.1410.00深圳pPUE4AEER4.765.887.14哈尔滨pPUE0.110.080.06AEER9.0912.5016.67长春pPUE0.120.080.06AEER8.3312.5016.67石家庄pPUE9AEER6.679.0911.11南京pPUE9AEER5.888.3311.11杭州pPUE0AEER5.887.6910.00合肥pPUE9AEER5.888.3311.11济南pPUE9AEER6.258.3311.11成都pPUE9AEER5.888.3311.11武汉pPUE0AEER5.567.6910.00南宁pPUE3AEER5.006.257.69海口pPUE0.1930.1640.138AEER5.186.097.25贵阳pPUE0.1610.120.096AEER6.218.3310.42怀来pPUE0.140.1060.083AEER7.149.4312.05乌兰察布pPUE0.1040.0840.063AEER9.6111.9015.87中卫pPUE0.1330.1010.078AEER7.529.9012.82河源pPUE0.1870.1570.131AEER5.356.377.63清远pPUE0.1840.1550.129AEER5.436.457.75廊坊pPUE0.1490.1140.090AEER6.718.7711.11张家口pPUE0.1140.0840.063AEER8.7711.9015.87表格数据来源：ODCC《数据中心智能热管全变频氟泵技术白皮书》，参数基于室内回3520℃工况条件下计算得出间接蒸发冷却冷水机组适用于水资源充沛区域，通常作为水冷冷水系统的冷却塔使用，也可以在全年气候适宜区域直接提供冷水。存在的问题间接蒸发冷却机组存在的问题主要有：-对水质的要求特别严格，水处理技术的应用特别关键。换组同时应有水流量、水压、水电导率、水pH运维要求运维方面的要求主要有以下几点：定期检查设备各部件是否运行正常，如有异常，进行相应定期检查程序控制是否运行正常，如有异常，进行相应故定期检查水系统水质，集水盘定期清洗排污，喷嘴是否脏堵。对制冷剂侧间接蒸发冷却机组，室外冷凝器定期清洗换热（如）对制冷剂侧间接蒸发冷却机组，室外冷凝器喷淋水系统定空调风系统要根据过滤网的脏堵情况检查更换，在使用期间过滤网必须每月检查一次并按要求更换。更换过滤网之前关闭电（六）制冷剂自然冷却技术技术原理氟泵技术氟泵技术是在原直膨式空调系统中增加制冷剂泵及配套，制冷剂（、（ a）单元式 b）多联式图23氟泵制冷循环示意图根据室外环境温度，氟泵空调一般具备以下三种运行模式：过渡季节制冷模式，泵循环提供的冷量无法满足机房换热量的需求，此时需启动压缩机进行冷量补充。压缩机制冷模式，无法利用室外自然冷源，机组运行在完全压缩机工作模式下。热管技术热管是一种具有极高导热性能的传热元件，通过在全封闭真空管空调系统中冷媒管路及内部的冷媒组合类似热管，能够不通过压）。技术分类、适用范围及存在的问题制冷剂自然冷却技术可以有多种划分方式，具体见下表所示。表10制冷剂自然冷却技术分类序号类别二级适用范围存在的问题分体式氟泵空调就是通常说的氟泵DX空氟泵技术单元式氟泵空（一）分体式氟泵空调单台制冷量改造大、中小数据中心场景，可以适应不同分体氟泵空调技术比冷凝器占地面积较小。机柜密度机房，可根据机房分期灵活部署。可以配置冷凝器水喷淋来实现更好的节能效果，在北方冬季氟泵可发挥明显节能作热回收。整体式氟泵空调100~400kW，整体式结构可以支持热回收。整体式氟泵空调一般室外面积或者屋面面管散热，阻力较大。多联式氟泵空（多）涡旋压缩机相变多联系统涡旋压缩机相变多联系统采用涡旋压缩机，可以实现热回收。分体氟泵空调技术比较成熟，维护简单，投资成本较低。新型室外冷凝器占地面积较小。单台压缩机故障的影响面较小。磁悬浮相变多联系统台室外机拖多个室内机，室内机有房间空形式。单台压缩机制冷量100~1000kW，磁悬浮压缩机属于离用风冷冷凝器占地面器间接蒸发冷却方式凝器间接蒸发冷却。增加热回收模块或水氟换热器可以实现热回收。缩机故障影响面较大。气悬浮相变多联系统台室外机拖多个室内机，室内机有房间空150~300kW，适器可以实现热回收。气悬浮压缩机属于离用风冷冷凝器占地面器间接蒸发冷却方式压缩机故障影响面较大。热管技术运行模式气动热管氟泵空调具备的功能，需要压缩机运行需要较大动力，能耗较大重力热管氟泵空调具备的功能，冷凝段与蒸发段需有高度差冷媒重力驱动，无需能耗液动热管氟泵空调具备的功能，需要氟泵运行需要一般动力，能耗较小氟泵空调系统关键技术设备分体式氟泵空调整体式氟泵机组除了分体氟泵空调以外，近几年又兴起了整体式氟泵机组方案，针对大型数据中心场景的制冷解决方案。整体式氟泵空调机组是通过氟泵多联机系统ECECEEV气悬浮、磁悬浮压缩机系统属于无油系统，因运行压力较小，铜重力热管空调室外侧用水冷冷却的水冷重力热管空调是采用水冷换热器进行水氟热交换，应用于热管背板。动力热管空调技术特点分体式氟泵空调技术特点分体式氟泵空调最为常见，氟泵空调的制冷系统可以在室外环境温度达到设定值时自动调节接入氟泵运行模式，并停止压缩机运行，通过氟泵的动力带动整个制冷循环。氟泵的运行功率非常小，所以可以实现很大的节能效果。技术特点如下：全变频设计，节能效果显著压缩机、室内风机、室外风机、电子膨胀阀、氟泵等关键器件采用全变频设计，可根据机柜热负载自动调节，实现10%—110%冷量输出。三种运行模式、自动调节，适用各种工况环境当提高机房内回风温度，或者制冷设备处于部分负荷的情况下，氟泵循环工作时长增加，可以更多地利用自然冷。同时氟泵技术结合采用间接蒸发冷却技术及重力热管技术，可以高压喷雾的形式，一部分通过等焓的过程降低冷凝器周边的空气温整体式氟泵机组技术特点整体式氟泵空调机组通过低功率氟泵充分利用大气自然冷源实现数据机房制冷的一体化设备，通常大型数据中心采用单机组冷量100ｋW～400ｋW100ｋW～200ｋW。整体式氟泵空调机组具备如下特点：集成压缩机、氟泵制冷双循环全变频设计10%—110整体式设计（5h）。模块化设计氟泵多联系统技术特点50kＷ～400k涡旋压缩机氟泵多联空调的技术特点如下：新一代变频涡旋压缩机可靠与节能大幅提升新一代变频涡旋压缩机采用CoreSenseTM优化变频技术：该变频压缩机技术可安全运行在1000-7200RPM的宽频率范围内，并能够提高部分负荷和除湿工况能效。永磁同步电机：永磁同步电机具有较高的运转效率和功率因数，3%～12%；而且在体积和最高运作转速与异步电动机一样的条件下输出功率也高出10%～模块化多联式设计1组可投入运行或加载补冷，系统安全性更高。30%～40%。双循环三模式设计2PID高适应性和高可靠性气悬浮或磁悬浮相变系统技术特点如下：1）气悬浮或磁悬浮无油离心压缩机技术应用无油润滑磁悬浮技术可消除油系统维护、可消除摩擦损耗。98%。变频技术可实现无级调速，启动电流低至2A、极高的部分负荷性能。620%系统控制高度集成化，方便运维管理多末端自由配置运维要求运维要求如下：（2）室外冷凝器定期清洗换热器翅片，每年至少清洗两次，当处理。地面或设备框架振动而晃动，否则应采用紧固物件对制冷管道进行加固。（七）全新风直接冷却技术全新风直接冷却基本原理新风直接自然冷却系统主要由室内机组，含新风阀、回风阀及防（24）。图24新风直接自然冷却系统工作原理示意图24℃时，机组在压缩机模式运行，机组运行方式为：压缩机运行+室内侧风循环。室内回风阀完全打开，排风18℃～24℃范围内时，机组在混合运行，机+18℃时，机组运行新风自然冷却模式，全新风直接冷却技术特点全新风直接冷却产品设备25），大部分以客户实际机房定外低温低湿空气给机房降温，节能60%以上，低压头风机矩阵采用EC图25不同产品形式全新风直接冷却应用领域新风自然冷却系统应该在数据中心建设之前就考虑该方案，并围应用规模方面，新风自然冷却系统适用于中国大部分区域，且适图26新风自然冷却数据中心示意图（八）自然水冷源（海水、湖水、江河水）直接冷却技术基本原理自然水冷源是一种利用自然水体（如海水、湖水、江河水）作为关键技术和设备解决方案图27提供了一种湖水作为自然水冷源的解决方案，该解决方案））。这样的循环系统降低机械制冷设备的投入和电力消耗，使得直接水侧自然冷却系统成为一种相对节能、环保的数据中心冷却解决方案。图27自然水冷源直接冷却系统技术特点相对于传统的机械制冷系统来说，能够显著减少对电力的依赖，直接水侧自然冷却系统通常不依赖于复杂的机械设备，因此在设数据中心的稳定性和可用性。冷却系统通常在运行成本上更为经济。尤其是在气温相对较低的地冷却水是通过热交换过程循环使用的，而不是直接消耗。与传统的冷却系统相比，直接水侧自然冷却系统通常可以实现较低的水耗。适用范围在规划新建数据中心时，可以在设计阶段考虑直接水侧自然冷却系统，以更好地利用周围环境的冷却能力。存在的问题水质和水源稳定性。直接水侧自然冷却系统对水质和水源环境影响。数据中心排放的热水可能对周围的水生态系统冬季问题。在极寒的冬季，自然水源可能会结冰，导致冷微生物和生物污染。冷却水中的微生物和生物污染可能会安全性。在设计中需要考虑水源的安全性，以防止外部因运维要求水质监测和处理。定期对冷却水的水质进行监测，以检测处理措施，如添加防腐剂、抗菌剂等。管道系统检查。定期检查冷却水的管道系统，确保没有泄自动化控制系统。使用自动化控制系统来调整冷却系统的备用设备和应急计划。部署备用设备，如备用水泵或备用。培训人员技能。确保运维人员具有必要的培训和技能，能记录和报告。记录系统的性能数据，包括温度、水质、维综合考虑这些要求，可以帮助确保直接水侧自然冷却系统的稳定、高效运行，并最大程度地减少可能的故障风险。（九）冷却塔技术基本原理P’vPaPvPa图28关键技术和设备数据中心常用的是机械通风闭式塔、开式塔，其中机械通风开式塔有常规开式冷却塔及间接蒸发冷却塔。从而很好地保护主设备的高效运行，提高了设备的使用寿命。这个有一个前提条件就是需要无限的换热时间和无限大的闭式冷却图29闭式冷却塔示意图3℃～5℃。图30开式冷却塔示意图（）图31间接蒸发冷却塔示意图解决方案图32空调冷却水系统示意图图33空调冷冻水系统示意图技术特点冷却塔作为一种重要的冷却设备，具有以下几个主要特点：（冷却塔的设计可以根据具体的应用需求进行定制。尺寸、形状、材料和附件等方面可以根据项目要求进行调整。这使得冷却塔能够满足不同场景和要求的冷却需求。适用范围存在的问题冬季温度较低的地区会出现冻结危险，需采取防冻措施。运维要求1（）（十）干冷器技术基本原理（DRY（图34干冷器基本原理示意图关键技术和设备CFD换热盘管设计承压能力不小于1.6MPa，具备优秀耐压能力。换热器采用防腐涂层铝翅片，保证换热性能，最大程度地减缓换热器的腐蚀问题。高效轴流风机，采用EC风机，实现无级调速。其可靠性高，使用寿命长，EC风机比普通风机节能超过30%。通过显示屏可实时查看风机转速运行状态，可实时读取故障信息，有利于状态查看和状态定位。////（）采用DC电机离心式雾化器，微雾蒸发技术，水雾化效率更高，更加节水。雾化器进水通道尺寸大于机械喷嘴水流通道尺寸，不容易被堵塞。解决方案图35干冷器取代冷却塔FreeCooling自由冷却36在夏季提供压缩机运行所需要的冷却水；在冬季提供自由冷却所需要的冷冻水。图36干冷器用于自然冷源系统示意图三种运行模式的原理图如下： a）机械制冷模式 b）混合制冷模式 c）自然冷源制冷模式图37三种运行模式原理图技术特点采用雾化离心技术，无需单独配置增压水泵，水雾为平行水雾，雾化颗粒更小，换热效果更好。结构简单，故障率低，减少了维护和维修的工作量和成本。可实现365天×24小时不间断运行；采用高效EC风机，实现无级调节，启动无电流冲击；强大的智能控制系统，采用PID调节技术，同时具备完备的告警保护和专家级的自诊断功能。适用范围干冷器用于空调的水冷系统和自由冷却系统时，适用于各存在的问题相对于冷却塔而言，干冷器的占地面积较大。同等换热能换热器采用铜管铝翅片形式，换热器表面容易覆盖污垢、0℃时，需要添加防冻液运维要求设备不需要特殊检修。然而，常规检查和保养可以保证设定期检查设备各部件是否运行正常，如有异常，进行相应定期检查电气系统，建议每半年对电气系统进行一个维护定期水质检测，水质检测是水处理的重要环节之一，水质1四、绿色低碳技术（一）AI能源管控技术当前数据中心的制冷系统大多采用制冷设备自带的基本控制方“设备的基本控制方式，AI采用的智能采集器除采集大量温度数据之外，还可以采集制冷设备、供配电设备、IT信息设备的能耗数据供数据中心的AI智慧节能控制系统，通常具备AI典型的AI能源管控系统架构示意图如下：图38典型AI能源管控系统架构示意图从上图可见，业务区、电力区和室外区的设备、温湿度传感器通过采集器、交换机接入AIAIAI智慧节能探索，采用强化学习和回归预测，使机房空调系统（二）余热利用2℃1.52020922752030年前达到峰值，努力争取在2060年前实现碳中和。45%表11余热回收利用相关政策序号政策/标准文件内容1《公共建筑节能设计标（GB50189—2015）有可利用的废热或工业余热的区域，热源宜采用废热或工业余热2《数据中心设计规范》（GB50174—2017）数据中心空调系统设计时，应分别计算自然冷却和余热回收的经济效益，并应采用经济效益最大的节能设计方案3住房城乡建设部《绿色数据中心建筑评价技术细则》数据中心辅助区和周边区域有供暖或生活热水需求时，宜设计能量综合利用方案，回收主机房空调系统的排热作为热源，宜采用热泵机组回收排热。4心建设的指导意见》鼓励在自有场所建设自然冷源、自有系统余热回收利用或可再生能源发电等清洁能源利用系统工业和信息化部《关于加5强“十三五”信息通信业节能减排工作的指导意分布式供能等先进技术和产品的应用见》6国家发展改革委《全国一推动数据中心采用高密度集成高效电子信息体化大数据中心协同创新体系算力枢纽实施方案》设备、新型机房精密空调、液冷、机柜模块化、余热回收利用等节能技术模式余热回收利用技术方案冷冻水型机房空调系统的余热利用图39）。余热回收利用主要发生图39机房冷冻水侧余热回收供暖原理AHU

图片来源：网络AHUPUE。3826～28℃，此处热AHUAHUa）AHU空调系统机房回风余热回收原理b）AHU空调系统机房回风余热回收能流图图40AHU空调系统机房回风余热回收图片来源：网络经结合AHU38℃，出蒸发器26～2810℃以上，而翅片风阻最高仅增40PaAHU泵在此工况下的运行COP6