中型数据中心机房的规划与设计.doc

中型数据中心机房的规划与设计（一） 2009-04-30 10:08:43标签：数据中心 机房 中型 规划 设计 推送到技术圈 版权声明：原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。/691409/154346艾默生网络能源有限公司 朱利伟 信息化与数字化成为各个企业、行业提高速度、提高效率，获得效益的关键手段，而全球信息化与数字化的愈来愈成熟，为我们追求效益提供了方法、手段、标准。 （1）数字化：企业的业务、流程、经营、管理等等，相关活动全部进行数字化 （2）无纸化：过去基于传真、电话的定单模式不能适应数字化的要求，企业或组织的各种活动通过计算机网络自动进行，办公方式转为无纸化办公。 （3）集中化：分散的信息化不能形成规模效应，信息孤岛不能带来速度和效率提高。当前信息化的趋势是集中管理、集中存储、集中传输、集中交换，带来信息化的集中效应，这种集中效应表现在数据中心的兴起（如图1所示）。图1 信息集中化的趋势，需要数据中心承载1 数据中心的物理模型 数据中心的作用与目的是完成信息的集中管理、集中存储、集中传输、集中交换，从而实现信息集中效益。 在数据中心中，存在两个层面的平台：网络平台和动力平台（如图2所示）。图2 数据中心（DC）物理模型的定义2 数据中心的级别与分类： 根据美国TIA 942标准与Uptime Institute的定义，将数据中心的可用性等级分为四级（如表1所示）： 表1 我国新制定的电子信息机房设计规范GB 50174-2008，将电子信息机房定义为A、B、C三类，其中A类要求最高（如表2所示）。 表2 按机房的规模，可以分为超大型数据中心、大型数据中心、中型数据中心和小型数据中心等。 超大型数据中心，通常面积大于2000m2，服务器机柜数量大于1000个； 大型数据中心，通常介于8002000m2，服务器机柜数量2001000个； 中型数据中心，面积为200800m2，机柜数量为50200个； 小型数据中心，面积为30200m2，机柜数量为1050个； 无专门场所的服务器/交换机机柜应用等。 以上规模划分是实际工作中的大致划分方法，并没有严格的划分标准与参照指标体系。划分的目的也仅仅是便于数据中心的规划、设计与建设等。 本文专门针对中型数据中心机房，探讨相关规划、设计与建设的标准、方法和实践。3.1 机房选址 我国电子信息机房设计规范GB 50174-2008对机房选址提出了要求，综合美国数据中心标准TIA 942-2005，对数据中心选址可以参考以上标准。 实际工作中，对于中型数据中心机房的选址，用户通常选择与办公大楼等设施在一起，便于管理与维护。对于办公大楼来说，需要重点考虑以下内容： （1）大楼的电力是否足够给数据中心使用。办公大楼在设计与建设的时候，主要面向人员办公需要，属于轻载荷的供电设计。而数据中心的设备供电量要求巨大，这样的重载荷设施放入办公大楼，常常会引起供电系统容量严重不足。无论是供电、亦或是制冷，都是对原有办公大楼用电容量的巨大挑战。 （2）是否有足够的空间，放置机房空调的室外机系统。办公大楼寸土寸金，面积利用率很高。而数据中心的机房需要恒温恒湿的机房专用系统，365天24小时的不间断运行。机房专用空调如果采用直接制冷制式（DX），需要足够多的空间安装空调室外机。如果采用冷冻水系统，需要专门的365天24小时运行的冷冻机组，而不能与大楼的中央空调系统混用。 （3）机房层高是否足够？办公大楼的层高为民用建筑设计，层高通常为2.83.2m。而数据中心需要安装静电地板，顶部吊顶。最佳层高（无障碍物）应该大于3.2m。 （4）是否有足够容量的载货电梯？通常的办公大楼载货电梯尺寸小、载荷低。而数据中心需要的UPS电源、机房空调等设备，都是大尺寸超重型设备。如果电梯不能运输，势必导致运输成本剧烈增加。 （5）在办公大楼设置数据中心，因为租金高昂、场地有限、供电不足，将严重限制数据中心的规模和安全级别。3.2 规划与设计 中型数据中心机房的规划与设计，其需求源头来自于用户对服务器、软件系统的规划与需求。规划分为部分，包括容量规划（密度规划）、供电系统规划、制冷系统规划、网络规划等。 容量规划：容量是指中型数据中心机房的初期、终期的服务器等IT设备数量、或者面积。容量规划可以基于两个方面考虑， （1）数据中心机房的机柜数量平均每机柜服务器数量。在采用普通地板送风制冷方式下，每个机柜的热密度为35kw/rack，超过这个热密度就必须采用高热密度的制冷解决方案（如图3所示）。图3 传统开放式机柜+地板下送风制冷 （2）机房的电力供应。当机房的供电系统（市电+发电机）容量确定之后，可以计算出服务器的总功率。比如发电机最大容量为500kva，那么根据机房的能效PUE值（按2.0考虑），得出机房最大承载服务器容量为250kva（如图4所示）。 PUE能量使用效率的定义: Power Usage Effectiveness。 图4 PUE指标曲线3.3 供电系统的规划与设计 当中型数据中心机房的最大容量确定后，用户可以根据预算、机房重要程度，结合电子计算机机房设计规范GB 50174-2008和美国TIA 942-2005的标准，确定供电系统与制冷系统。 对于供电系统，包括从市电、发电机到配电、UPS、输出配电、服务器电源管理系统（列头柜）、机柜PDU等一系列环节（如图5所示）。图5 数据中心供电系统示意图 上述标准列出了N、N+1、2N、2（N+1）等冗余方式。 在中型数据中心机房的市电、发电机等系统，用户可以根据实际情况选择N+1或者2N系统。而UPS供电系统，建议用户采用2N或者2（N+1）方式，确保供电可靠性（如图6、7所示）。图6 2N式供电系统图7 2（N+1）式供电系统 用户选择UPS时，建议采用高频式UPS，因为采用高频IGBT整流+无隔离变压器式设计，输入功率因数高、输入电流谐波小、功率密度高等特点。同时因为UPS占地面积小重量小，搬运方便。 UPS的电池容量建议根据市电与发电机系统配置，通常为30分钟左右。一般不建议超过2小时的电池配置，重量大、成本高，投资不经济。 在UPS之后，需安装服务器电源管理系统SPM（又叫列头柜），为服务器机柜提供配电与保护。为提供服务器电源的配电可靠性，建议每一个配电回路都采用监控与管理系统，监控每一路回路的电流、电压、功率、功率因数、谐波、电量等参数，实现配电的安全管理和成本的细致化管理（如图8所示）。3.4 制冷系统规划与设计 制冷系统是机房另外一个关键的基础设施。在中型数据中心机房，制冷系统设计包括：地板下送风系统、服务器机柜、机房专用空调等。 按照机房节能设计实践和标准，通常采用地板下送风、机柜布置按冷热通道方式，是制冷效率比较高的设计方式（如图9所示）。图9 地板下送风+冷热通道设计 机房的服务器机柜也是制冷的关键之一。在很多运行的机房中，不少用户对机柜不重视，通常采购一些廉价服务器机柜。而这样的机柜必然带来通风面积小、服务器发热等问题。TIA 942标准规定机柜的通风面积比通孔率大于50%。而当服务器的热密度达到4kw左右是，建议用户采用通孔率大于70%的服务器机柜，确保服务器等IT设备通风量、风速正常。 此外，为了冷热通道隔离，建议使用挡板，将服务器机柜上空闲的U空间挡住，减少冷空气与热空气的无效热交换。 进一步的节能设计包括完全封闭的冷通道，实现冷空气与热空气的完全隔离。当然这样封闭式冷通道（或热通道设计），必须符合消防防火等规范（如图10所示）。 考虑到投资成本、运营成本、维护成本等，建议采用风冷式机房专用空调（DX式）。而水冷或者冷冻水式机房专用空调不适合于在中型机房中使用与推广（如11所示）。图11 风冷式机房专用空调（DX式） 风冷式机房专用空调，按照上述标准，采用N+1（2或3）即可实现制冷系统较高的可靠性。在空调的供电上采取分组供电方式，避免单一供电回路导致的单点故障。3.5 监控系统的规划与设计 中型数据中心机房的安全与运营监控管理是用户关注的核心内容之一。而这些数据中心机房通常采用无人值守工作模式，机房的安全与运营监控是无人值守的重要手段和工具。它包括： 机房视频监控系统。视频监控实现机房365天24小时监控下运行，任何故意或无意的破坏都将记录在案。 机房设备与环境的监控系统。根据标准，必须实时监控机房的温度、湿度、水浸、供电系统工作参数与状态、空调系统工作参数与状态等，并在故障下主动提示用户采取措施，及时修复故障，确保机房安全稳定运行（如图12所示）。图12 数据中心的机房监控系统 特别需要说明的是，中型数据中心机房通常不会配置电源专业人员，日常的管理与维护工作通常外包给专业类公司，IT用户仅仅督导与监控系统的运营维护工作。 而在众多设备与环境中，电池的监控是比较容易忽视的环节。但是电池恰恰又是系统最后的安全保障，所以对电池的监控建议采用单体电压、单体内阻监控系统，实时在线监控电池的电压与阻抗变化，及时找出弱化电池与系统短木板。 TIA 942和GB 50174-2008也建议在最重要一级机房，实现对电池组中每一个电池单体电压、单体阻抗的监控。确保系统中所有环节都处于监控之下，实现系统的安全可靠运行。电池单体电压与内阻监控系统图（如图13所示）。图13 电池单体电压、内阻监控示意图4 中型数据中心机房的建设与概念误区4.1 关于机房的负载计算与热密度 IT用户在规划或者设计机房时，普遍遇到的问题就是服务器负载计算问题。购买的服务器，根据厂家给出的功耗累计，往往会得出一个很大的累计功率。可是如果按照这样的累计功率配置供电系统、空调系统，将会出现巨大的投资浪费。 如何才能得出比较可靠的负载功率呢？建议IT用户对服务器厂家的功耗参数刨根寻底，一定要厂家给出所需配置下实际功率需求。 比如IBM某型号服务器2008年功耗为（如表3所示）：表3： 表3中，单机最大功耗与配置密切相关，而这个数据远远小于铭牌功率，当配置确定后，采用服务器的实际运行功率计算，才能避免供电系统、空调系统的巨大浪费。4.2 为了创新而使用水系统空调系统 很多IT用户喜欢创新，在机房建设上根据部分厂商推荐，盲目采用水系统的空调。实际上水系统机房空调在中型数据中心机房并不能节能。 首先，中型机房的热负荷是有限的，而小容量的冷冻机组的能效比，并不比风冷式空调高。如果采用大楼的冷冻机组，必然又出现在冬天大马拉小车的问题，效率低下。只有当机房规模宏大，采用水系统机房空调才是节能的。 其次，水系统机房空调容易导致系统的单点故障、单点瓶颈。按照标准，采用水系统时，强烈建议按照2N系统配置，而这样的配置在中型机房无疑是投资巨大、毫无积极性可言。 第三，水系统的安装、维护成本很高。尤其是维护成本居高不下。因为水系统需用定期的换水维护，这样数据中心可能长时间停机问题。国内第一批使用水系统的大型银行数据中心，在建设新的数据中心时，纷纷弃用水系统，而改用风冷式机房空调系统。5 中型数据中心机房的建设实例 大部分的证券公司机房是典型的中型数据中心机房。随着IT技术的迅速发展，我国证券行业的交易与查询网络化、集中化，已处于世界前列。 某全国性券商因为办公室搬迁，需要在办公大楼内新建一个约400m2的数据中心（如图14所示）。 因为该券商的业务高速发展，对未来的负荷需求很大。但是机房位于中心区域的办公大楼上，大楼为数据中心提供的电力有限，仅为500KVA（1000A），并且是三路电力合计，这为设计提出了很高的要求。 在规划阶段，用户希望使用水系统空调，并安装高密度制冷解决方案。对于水系统，规划时候反复与用户交流，在400平方左右的机房安装水系统空调并不能带来太多效率提升，反而造成后续维护成本巨大。经过用户对部分水系统使用反馈调查，最终取消了水系统的计划，改用风冷系统式机房专用空调。 此外，用户对负载反复确认，最后选择按PUE=1.6、负荷300kw设计数据中心终期容量，系统设计图（如图15所示）。图15 某证券公司全国数据中心供电系统图国家标准：电子计算机机房设计规范第一章 总则 第1.0.1条 为了使电子计算机机房设计确保电子计算机系统稳定可靠运行及保障机房工作人员有良好的工作环境，做到技术先进、经济合理、安全适用、确保质量，制定本规范。 第1.0.2条 本规范适用于陆地上新建、改建和扩建的主机房建筑面积大于或等于140平方m的电子计算机机房的设计。本规范不适用于工业控制用计算机机房和微型计算机机房。 第1.0.3条 电子计算机机房设计除应执行本规范外，尚应符合现行国家有关标准规范的规定。 第二章 机房位置及设备布置 第一节 电子计算机机房位置选择 第2.1.1条 电子计算机机房在多层建筑或高层建筑物内宜设于第二、三层。 第2.1.2条 电子计算机机房位置选择应符合下列要求： 一、水源充足、电子比较稳定可靠，交通通讯方便，自然环境清洁； 二、远离产生粉尘、油烟、有害气体以及生产或贮存具有腐蚀性、易燃、易爆物品的工厂、仓库、堆场等； 三、远离强振源和强噪声源； 四、避开强电磁场干扰。 第2.1.3条 当无法避开强电磁场干扰或为保障计算机系统信息安全，可采取有效的电磁屏蔽措施。 第二节 电子计算机机房组成 第2.2.1条 电子计算机机房组成应按计算机运行特点及设备具体要求确定，一般宜由主机房、基本工作间、第一类辅助房间、第二类辅助房间、第三类辅助房间等组成。 第2.2.2条 电子计算机机房的使用面积应根据计算机设备的外形尺寸布置确定。在计算机设备外形尺寸不完全掌握的情况下，电子计算机机房的使用面积应符合下列规定： 一、主机房面积可按下列方法确定： 1.当计算机系统设备已选型时，可按下式计算： A=KS （2.2.2-1） 式中A-计算机主机房使用面积（m2）； K-系数，取值为57； S-计算机系统及辅助设备的投影面积（m2）。 2.当计算机系统的设备尚未选型时，可按下式计算： A=KN （2.2.2-1） 式中K-单台设备占用面积，可取4.55.5（m2v/台）； N-计算机主机房内所有设备的总台数。 二、基本工作间和第一类辅助房间面积的总和，宜等于或大于主机房面积的1.5倍。 三、上机准备室、外来用户工作室、硬件及软件人员办公室等可按每人3.5m24m2计算。 第三节 设备布置 第2.3.1条 计算机设备宜采用分区布置，一般可分为主机区、存贮器区、数据输入区、数据输出区、通信区和监控制调度区等。具体划分可根据系统配置及管理而定。 第2.3.2条 需要经常监视或操作的设备布置应便利操作。 第2.3.3条 产生尘埃及废物的设备应远离对尘埃敏感的设备，并宜集中布置在靠近机房的回风口处。 第2.3.4条 主机房内通道与设备间的距离应符合下列规定： 一、两相对机柜正面之间的距离不应小于1.5m； 二、机柜侧面（或不用面）距墙不应小于0.5m，当需要维修测试时，则距墙不应小于1.2m； 三、走道净宽不应小于1.2m。 第三章 环境条件 第一节 温、湿度及空气含尘浓度 第3.1.1条 主机房、基本工作间内的温、湿度必须满足计算机设备的要求。 第3.1.2条 电子计算机机房内温、湿度应满足下列要求： 一、开机时电子计算机机房内的温、湿度，应符合表3.1.2-1的规定。 表3.1.2-1 开机时电子计算机机房的温、湿度 级 别 项 目 A 级 B 级 夏 季 冬 季 全 年 温 度 23 2 202 18-28 相对湿度 45%-65% 40%-70% 温度变化率 5h 并不得结露 10/h 并不得结露 二、停机时电子计算机机房内的温、湿度，应符合表3.1.2-2的规定 表3.1.2-2 停机时电子计算机机房的温、湿度 项 目 A 级 B 级 温 度 5-35 5-35 相对湿度 40%-70% 20%-80% 温度变化率 5/h并不得结露 10/h并不得结露 第3.1.3条 开机时主机房的温、湿度应执行A级，基本工作间可根据设备要求按A、B两级执行，其它辅助房间应按工艺要求确定。 第3.1.4条 记录介质库的温、湿度应符合下列要求： 一、常用记录介质库的温、湿度应与主机房相同； 二、其它记录介质库的要求应按表3.1.4采用。 表3.1.4 记录介质库的温、湿度 品 种 卡片 纸带 磁 带 磁 盘 长期保存已记录的 未记录的 已记录的 未记录的 温 度 5-40 18-28 0-40 18-28 0-40 相对湿度 30%-70% 40%-70% 20%-80% 20%-80% 磁场强度 3,200A/m 4,000A/m 3,200A/m 4,000A/m 第3.1.5条 主机房内的空气含尘浓度，在表态条件下测试，每升空气中大于或等于0.5m的尘粒数，应少于18,000粒。 第二节 噪声、电磁干扰、振动及静电 第3.2.1条 主机房内的噪声，在计算机系统停机条件下，在主操作员位置测量应小于68dB（A）。 第3.2.2条 主机房内无线电干扰场强，在频率为0.151,000MHz时，不应大于126dB。 第3.2.3条 主机房内磁场干扰环境场强不应大于800A/m。 第3.2.4条 在计算机系统停机条件下主机房地板表面垂直及水平向的振动加速度值，不应大于500mm/s2。 第3.2.5条 主机房地面及工作台面的静电泄漏电阻，应符合现行国家标准计算机机房用活动地板技术条件的规定。 第3.2.6条 主机房内绝缘体的静电电位不应大于1kV。 第四节 室内装饰 第4.4.1条 主机房室内装饰应选用气密性好、不起尘、易清洁，并在温、湿度变化作用下变形小的材料，并应符合下列要求： 一、墙壁和顶棚表面应平整，减少积灰面，并应避免眩光。如为抹灰时应符合高级抹灰的要求。 二、应铺设活动地板。活动地板应符合现行国家标准计算机机房用活动地板技术条件的要求。敷设高度应按实际需要确定，宜为200350mm。 三、活动地板下的地面和四壁装饰，可采用水泥砂浆抹灰。地面材料应平整、耐磨。当活动地板下的空间为静压箱时，四壁及地面均应选用不起尘、不易积灰、易于清洁的饰面材料。 四、吊顶宜选用不起尘的吸声材料，如吊顶以上及作为敷设管线用时，其四壁应抹灰，楼板底面应清理干净；当吊顶以上空间为静压箱时，则顶部和四壁均应抹灰，并刷不易脱落的涂料，其管道的饰面，亦应选用不起尘的材料。 第4.4.2条 基本工作间、第一类辅助房间的室装饰应选用不起尘、易清洁的材料。墙壁和顶棚表面应平整，减少积灰面。装饰材料可根据需要采取防静电措施。地面材料应平整、耐磨、易除尘。 第4.4.3条 主机房和基本工作间的内门、观察窗、管线穿墙等的接缝处，均应采取密封措施。 第4.4.4第 电子计算机机房室内色调应淡雅柔和。 第4.4.5条 当主机房和基本工作间设有外窗时，宜采用双层金属密闭窗，并避免阳光的直射。当采用铝合金窗时，可采用单层密闭窗，但玻璃应为中空玻璃。 第4.4.6条 当主机房内设有用水设备时，应采取有效的防止给排水漫溢和渗漏的措施。 第五节 噪声及振动控制 第4.5.1条 主机房应远离噪声源。当不能避免时，应采取消声和隔声措施。 第4.5.2条 主机房内不宜设置高噪声的空调设备。当必须设置时，应采取有效的隔声措施。 第4.5.3条 当第二类辅助房间内有强烈振动的设备时，设备及其通往主机房的管道，应采取隔振措施。 第五章 空气调节 第一节 一般规定 第5.1.1 主机房和基本工作间，均应设置空气调节系统。 第5.1.2条 当主机房和其它房间的空调参数不同时，宜分别设置空调系统。 第二节 热湿负荷计算 第5.2.1条 计算机和其它设备的散热量应按产品的技术数据进行计算。 第5.2.2条 电子计算机机房空调的热湿负荷应包括下列内容： 一、计算机和其它设备的散热； 二、建筑围护结构的传热； 三、太阳辐射热； 四、人体散热、散湿； 五、照明装置散热； 六、新风负荷。 第三节 气流组织 第5.3.1条 主机房和基本工作间空调系统的气流组织，应根据设备对空调的要求、设备本身的冷却方式、设备布置密度、设备发热量以及房间温湿度、室内风速、防尘、消声等要求，并结合建筑条件综合考虑。 第5.3.2条 气流组织形式应按计算机系统的要求确定，当未提出明确要求时，可按表 表5.3.2 气流组织、风口及送风温差 气流组织 下送上回 上送上回（或侧回） 侧送侧回 送风口 1.带可调多叶阀的格栅风口2.条形风口（带有条形风口的活动地板） 3.孔板 1.散流器2.带扩散板风口3.孔板4.百叶风口5.格栅风口 1.百叶风口2.格栅风口 回风口 1.格栅风口2.百叶风口3.网板风口4.其它风口 送风温差 4-6送风温度应高于室内空气露点温度 4-6 6-8 5.3.2选用。对设备布置密度大、设备发热量大的主机房宜采用活动地板下送上回方式。 第5.3.3条 采用活动地板下送风时，出口风速不应大于3m/s，送风气流不应直对工作人员。 第四节 系统设计 第5.4.1条 电子计算机机房要求空调的房间宜集中布置；室内温、湿度要求相近的房间，宜相邻布置。 第5.4.2条 主机房不宜设采暖散热器。如设散热器必须采取严格的防漏措施。 第5.4.3条 电子计算机机房的风管及其它管道的保温和消声材料及其粘结剂，应选用非燃烧材料或难燃烧材料。冷表面需作隔气保温处理。采用活动地板下送风方式时，楼板应采取保温措施。 第5.4.4条 风管不宜穿过防火墙和变形缝。如必须穿过时，应在穿过防火墙处设防火阈；穿过变形缝处，应在两侧设防火阀。防火阈应既可手动又能自控。穿过防火墙、变形缝的风管两侧各2m范围内的风管保温材料，必须采用非燃烧材料。 数据机房参观记小学的时候在语文课上，学到了盲人摸象的故事。这个故事不但有趣，给人启迪。故事里，6位盲人分别摸到了大象的一部分，分别宣称大象是一堵墙，一支矛，一条蛇，一棵树，一个扇子和一根绳子。他们争论不休，却永远无法达成一致的意见。所以在现实生活中也一样，我们每个人可能接触都是事物的一个片面，只有全面的了解后，才能更加准确的做出判断和分析。 基于“眼见为实”的原则，工作组特组织了“数据中心布线系统的设计与施工技术” 专项技术课题的主要编写人员，参观了北京北二环某大厦的数据机房。因此小马儿也终于有机会可以不用再“纸上谈兵”，能真正零距离接触工程了。 由于机房内光线昏暗，小马儿的照片几乎全部都拍虚了。因此首先希望大家能多多原谅。 由于该数据机房是属于企业自用，所以该机房的建设感觉一切是一个宗旨：实用。首先是数据机房建在了3层，一共是两个机房，每个机房大约有500多平米的面积。由于其中一个已经投