中型数据中心机房的规划与设计共10

1、中型数据中心机房的规划与设计2009-04-30 10:08:43艾默生网络能源XX公司朱利伟信息化与数字化成为各个企业、行业提高速度、提高效率，获得效益的 关键手段，而全球信息化与数字化的愈来愈成熟，为我们追求效益提供了 方法、手段、标准。（1）数字化：企业的业务、流程、经营、管理等等，相关活动全 部进行数字化（ 2）无纸化：过去基于传真、电话的定单模式不能适应数字化的 要求，企业或组织的各种活动通过计算机网络自动进行，办公方式转为无 纸化办公。（3）集中化：分散的信息化不能形成规模效应，信息孤岛不能带 来速度和效率提高。 当前信息化的趋势是集中管理、 集中存储、 集中传输、 集中交换，带来

2、信息化的集中效应，这种集中效应表现在数据中心的兴起 （如图 1 所示）。图 1 信息集中化的趋势，需要数据中心承载1 数据中心的物理模型 数据中心的作用与目的是完成信息的集中管理、集中存储、集中 传输、集中交换，从而实现信息集中效益。在数据中心中，存在两个层面的平台：网络平台和动力平台（如图 2 所示）。图2 数据中心（DC物理模型的定义2 数据中心的级别与分类：根据美国 TIA 942 标准与 Uptime Institute 的定义，将数据中心 的可用性等级分为四级（如表 1 所示）：表1我国新制定的电子信息机房设计规范 GB 50174-2019，将电子 信息机房定义为A、B、C三类，其

3、中A类要求最高（如表2所示）。表2按机房的规模，可以分为超大型数据中心、大型数据中心、中型 数据中心和小型数据中心等。超大型数据中心，通常面积大于2000m2服务器机柜数量大于 1000 个；大型数据中心，通常介于8002000m2服务器机柜数量2001000 个；中型数据中心，面积为 200800m2机柜数量为50200个；小型数据中心，面积为 30200m2机柜数量为1050个； 无专门场所的服务器 / 交换机机柜应用等。以上规模划分是实际工作中的大致划分方法，并没有严格的划分 标准与参照指标体系。划分的目的也仅仅是便于数据中心的规划、设计与 建设等。本文专门针对中型数据中心机房，探讨相关

4、规划、设计与建设的 标准、方法和实践。3.1 机房选址我国电子信息机房设计规范 GB50174-2019 对机房选址提出了 要求，综合美国数据中心标准 TIA 942-2019 ，对数据中心选址可以参考以 上标准。实际工作中，对于中型数据中心机房的选址，用户通常选择与办 公大楼等设施在一起，便于管理与维护。对于办公大楼来说，需要重点考 虑以下内容：（ 1）大楼的电力是否足够给数据中心使用。办公大楼在设计与建 设的时候，主要面向人员办公需要，属于轻载荷的供电设计。而数据中心 的设备供电量要求巨大，这样的重载荷设施放入办公大楼，常常会引起供 电系统容量严重不足。无论是供电、亦或是制冷，都是对原有办

5、公大楼用 电容量的巨大挑战。（ 2）是否有足够的空间，放置机房空调的室外机系统。办公大楼 寸土寸金，面积利用率很高。而数据中心的机房需要恒温恒湿的机房专用 系统，365天X 24小时的不间断运行。机房专用空调如果采用直接制冷制 式（DX，需要足够多的空间安装空调室外机。如果采用冷冻水系统，需 要专门的365天X 24小时运行的冷冻机组，而不能与大楼的中央空调系统 混用。（3）机房层高是否足够？办公大楼的层高为民用建筑设计，层高 通常为2.83.2m。而数据中心需要安装静电地板，顶部吊顶。最佳层高（无障碍物）应该大于 3.2m。（4）是否有足够容量的载货电梯？通常的办公大楼载货电梯尺寸小、载荷低

6、。而数据中心需要的 UPS电源、机房空调等设备，都是大尺寸 超重型设备。如果电梯不能运输，势必导致运输成本剧烈增加。（ 5）在办公大楼设置数据中心，因为租金高昂、场地有限、供电 不足，将严重限制数据中心的规模和安全级别。3.2 规划与设计中型数据中心机房的规划与设计，其需求源头来自于用户对服务 器、软件系统的规划与需求。规划分为部分，包括容量规划（密度规划）、 供电系统规划、制冷系统规划、网络规划等。容量规划：容量是指中型数据中心机房的初期、终期的服务器等IT 设备数量、或者面积。容量规划可以基于两个方面考虑，（1）数据中心机房的机柜数量X平均每机柜服务器数量。在采用 普通地板送风制冷方式下，

7、每个机柜的热密度为35kw/rack，超过这个热密度就必须采用高热密度的制冷解决方案（如图 3所示）。图 3 传统开放式机柜 +地板下送风制冷（ 2）机房的电力供应。当机房的供电系统（市电+发电机）容量确定之后，可以计算出服务器的总功率。比如发电机最大容量为 500kva， 那么根据机房的能效 PUE值（按2.0考虑），得出机房最大承载服务器容 量为250kva （如图4所示）。PUE 能量使用效率的定义:Power Usage Effectiveness。图4 PUE指标曲线3.3 供电系统的规划与设计当中型数据中心机房的最大容量确定后，用户可以根据预算、机 房重要程度，结合电子计算机机房设

8、计规范 GB50174-2019 和美国 TIA 942-2019 的标准，确定供电系统与制冷系统。对于供电系统，包括从市电、发电机到配电、UPS输出配电、服务器电源管理系统（列头柜）、机柜 PDU等一系列环节（如图5所示）。图 5 数据中心供电系统示意图上述标准列出了 N N+1、2N、2（N+1）等冗余方式。 在中型数据中心机房的市电、发电机等系统，用户可以根据实际情况选择N+1或者2N系统。而UPS供电系统，建议用户采用2N或者2（N+1） 方式，确保供电可靠性（如图 6、 7 所示）。图 6 2N 式供电系统图72 （ N+1）式供电系统用户选择UPS时，建议采用高频式UPS因为采用高

9、频IGBT整流+无隔离变压器式设计，输入功率因数高、输入电流谐波小、功率密度高等特点。同时因为UPS占地面积小重量小，搬运方便。UPS的电池容量建议根据市电与发电机系统配置，通常为30分钟左右。 一般不建议超过 2 小时的电池配置， 重量大、 成本高， 投资不经济。在UPS之后，需安装服务器电源管理系统 SPM（又叫列头柜），为 服务器机柜提供配电与保护。为提供服务器电源的配电可靠性，建议每一 个配电回路都采用监控与管理系统， 监控每一路回路的电流、 电压、功率、 功率因数、谐波、电量等参数，实现配电的安全管理和成本的细致化管理（如图 8 所示）。3.4 制冷系统规划与设计制冷系统是机房另外一

10、个关键的基础设施。在中型数据中心机房， 制冷系统设计包括：地板下送风系统、服务器机柜、机房专用空调等。按照机房节能设计实践和标准，通常采用地板下送风、机柜布置 按冷热通道方式，是制冷效率比较高的设计方式（如图 9 所示）。图9 地板下送风+冷热通道设计 机房的服务器机柜也是制冷的关键之一。在很多运行的机房中， 不少用户对机柜不重视，通常采购一些廉价服务器机柜。而这样的机柜必 然带来通风面积小、服务器发热等问题。 TIA 942 标准规定机柜的通风面 积比通孔率大于 50%。而当服务器的热密度达到 4kw 左右是，建议用户采 用通孔率大于 70%的服务器机柜， 确保服务器等 IT 设备通风量、风

11、速正常。此外，为了冷热通道隔离，建议使用挡板，将服务器机柜上空闲 的 U 空间挡住，减少冷空气与热空气的无效热交换。进一步的节能设计包括完全封闭的冷通道，实现冷空气与热空气 的完全隔离。当然这样封闭式冷通道（或热通道设计），必须符合消防防 火等规范（如图 10 所示）。考虑到投资成本、运营成本、维护成本等，建议采用风冷式机房专用空调（DX式）。而水冷或者冷冻水式机房专用空调不适合于在中型机 房中使用与推广（如 11 所示）。图11 风冷式机房专用空调（DX式）风冷式机房专用空调，按照上述标准，采用N+1 （2或3）即可实现制冷系统较高的可靠性。在空调的供电上采取分组供电方式，避免单一 供电回路

12、导致的单点故障。3.5 监控系统的规划与设计中型数据中心机房的安全与运营监控管理是用户关注的核心内容 之一。而这些数据中心机房通常采用无人值守工作模式，机房的安全与运 营监控是无人值守的重要手段和工具。它包括：机房视频监控系统。视频监控实现机房365天X 24小时监控下运行，任何故意或无意的破坏都将记录在案。机房设备与环境的监控系统。根据标准，必须实时监控机房的温 度、湿度、水浸、 供电系统工作参数与状态、 空调系统工作参数与状态等， 并在故障下主动提示用户采取措施，及时修复故障，确保机房安全稳定运 行（如图 12 所示）。图 12 数据中心的机房监控系统特别需要说明的是，中型数据中心机房通常

13、不会配置电源专业人 员，日常的管理与维护工作通常外包给专业类公司， IT 用户仅仅督导与监 控系统的运营维护工作。而在众多设备与环境中，电池的监控是比较容易忽视的环节。但 是电池恰恰又是系统最后的安全保障，所以对电池的监控建议采用单体电 压、单体内阻监控系统，实时在线监控电池的电压与阻抗变化，及时找出 弱化电池与系统短木板。TIA 942 和 GB50174-2019 也建议在最重要一级机房，实现对电池组中每一个电池单体电压、单体阻抗的监控。确保系统中所有环节都处于 监控之下， 实现系统的安全可靠运行。 电池单体电压与内阻监控系统图 （如 图 13 所示）。图 13 电池单体电压、内阻监控示意

14、图4 中型数据中心机房的建设与概念误区4.1 关于机房的负载计算与热密度IT 用户在规划或者设计机房时，普遍遇到的问题就是服务器负载 计算问题。购买的服务器，根据厂家给出的功耗累计，往往会得出一个很 大的累计功率。可是如果按照这样的累计功率配置供电系统、空调系统， 将会出现巨大的投资浪费。如何才能得出比较可靠的负载功率呢？建议 IT 用户对服务器厂家 的功耗参数刨根寻底，一定要厂家给出所需配置下实际功率需求。比如IBM某型号服务器2019年功耗为（如表3所示）：表 3：表 3 中，单机最大功耗与配置密切相关，而这个数据远远小于铭 牌功率，当配置确定后，采用服务器的实际运行功率计算，才能避免供电

15、 系统、空调系统的巨大浪费。4.2 为了创新而使用水系统空调系统很多 IT 用户喜欢创新，在机房建设上根据部分厂商推荐，盲目采 用水系统的空调。实际上水系统机房空调在中型数据中心机房并不能节 能。首先，中型机房的热负荷是有限的，而小容量的冷冻机组的能效比，并不比风冷式空调高。如果采用大楼的冷冻机组，必然又出现在冬天大马拉小车的问题，效率低下。只有当机房规模宏大，采用水系统机房空 调才是节能的。其次，水系统机房空调容易导致系统的单点故障、单点瓶颈。按 照标准，采用水系统时，强烈建议按照 2N 系统配置，而这样的配置在中 型机房无疑是投资巨大、毫无积极性可言。第三，水系统的安装、维护成本很高。尤其

16、是维护成本居高不下。 因为水系统需用定期的换水维护，这样数据中心可能长时间停机问题。国 内第一批使用水系统的大型银行数据中心，在建设新的数据中心时，纷纷 弃用水系统，而改用风冷式机房空调系统。5 中型数据中心机房的建设实例大部分的证券公司机房是典型的中型数据中心机房。随着 IT 技术 的迅速发展，我国证券行业的交易与查询网络化、集中化，已处于世界前 列。某全国性券商因为办公室搬迁，需要在办公大楼内新建一个约400m2的数据中心(如图14所示)。因为该券商的业务高速发展，对未来的负荷需求很大。但是机房 位于中心区域的办公大楼上，大楼为数据中心提供的电力有限，仅为 500KVA( 1000A)，并且是三路电力合计，这为设计提出了很高的要求。在规划阶段，用户希望使用水系统空调，并安装高密度制冷解决 方案。对于水系统，规划时候反复与用户交流，在400 平方左右的机房安装水系统空调并不能带来太多效率提升，反而造成后续维护成本巨大。经 过用户对部分水系统使用反馈调查，最终取消了水系统的计划，改用风冷 系统式机房