艾默生-新一代绿色数据中心容量规划

1、新一代绿色数据中心容量规划艾默生网络能源有限公司 曹播【摘键要】：解析新一代数据中心供需模型和成长模型，提炼其容量规划的关键支点，并阐述新一代数据中心容量规划的主要原则和实施细则。 【关键词】：新一代数据中心容量规划制约模型，需求成长模型，可用性，成本，PUE，机架功率密度，供电，制冷，空间限制。一新一代数据中心容量规划制约模型   如何规划数据中心的容量一直是困扰数据中心管理者和从业者的一个重大问题。当数据中心的建设意向提出之后，数据中心的建设容量到底是多大？到底该按照那些因素去规划数据中心的容量？立项的数据中心到底该按照那种方式去建设？如何使将要建设的数据中心能够面临以

2、后10年的业务成长？如何使数据中心保持可靠性，经济性和节能环保的有机统一等等不一而足。   目前通行的做法是：首先根据业务的发展定出在数据中心生命周期内业务发展的路线图，然后就可根据该路线图就核定出对各阶段业务支持的IT设备，继而也就可以定出各阶段支持系统的容量也规模。在获取各系统在各阶段的容量与规模之后，就可以进行细化设计了。   问题主要集中在如下二个方面： 1. 数据中心业主往往没有办法对业务的发展做出清晰的预测。   无论是电信，金融行业还是政府，企业级数据中心，其业务的发展呈现出快速却又不规则的发展模式。增长率在一段时间会非

3、常高，但在一段时间之内又有可能停滞，基本上很难直接呈现出一种相对稳态的发展趋势。这当然是和如今的经济形势密切相关的。近年来全球经济形势的大起大落必然会在各行业体现出来，而这种业务的大起大落各数据中心的规划者造成了相当大的困扰。 2. 边界限制因素越来越多。   数据中心规模越来越大，对数据中心从选址，区域划分，土建，承重，装饰装修，供电，制冷，强电，弱电，综合布线，照明，防雷接地，消防，监控与门禁等各个不同的维度提出了新的建设要求。        但总的来说，数据中心最重要的三个制约条件是: 供

4、电，制冷，占地面积（空间制约）。 图1：数据中心容量三维限制模型       这三个关键的因素对于数据中心容量规划的影响既相对独立，又相互渗透，互为表里。 1）供电        以前呈现出“海量”供应的供电容量等目前是数据中心容量规划的重要边际制约。笔者在近几年建设实践中遇到的以供电容量确定数据中心容量的案例不在少数        GB/T 17467-1998 中规定了一次

5、侧交流额定电压3.640.5kV、单个变压器最大容量是1600kVA、工作频率不大于50Hz的公众能接近的户外预装式变电站的使用条件、额定参数、一般结构要求和试验方法。该变电站是通过电缆连接的，可以从它的内部或外部进行操作。        1600KVA到底可以为多大规模的数据中心提供用电呢？        可以用中国电信2005741号IDC规范作为一个大致参考，在该规范中，其界定的高负荷机房单机柜最大功率4.0KVA柜（事实上，从2008年以后的设计实

6、践来看，单个服务器机柜4KVA已经是相对保守的设计）。        即使安全系数取0.8（主要考虑变压器安全工作范围，UPS的输入谐波导致的变压器容量降额等），最大也只能为320台机柜提供用电。但如果是要建立一个可靠性等级为TIA-942所界定的Tir-4的系统，则还需要1台1600KVA的变压器作为在线备份。        此外，变压器的输出除了需要为数据中心的供电以外，还需要为制冷，照明和其他设施提供用电，其中主要是制冷。以耗电1600KVA的系统为

7、例，其有功功率为1280KW,但是这部分，若以艾默生的空调系统来核定，大致也需要耗电600KW。若加上环境热负荷和供电及其他的考虑，另外一台1600KVA的变压器也还是需要的。        总结一下：对于一个320个机柜的系统（单机柜用电功率为4.0KVA），至少需要3台1600KVA的变压器。这仅仅是针对一个中型的数据中心。        大型数据中心对于市电的需求与规划不单超出“380V/400V海量用电”的阶段，也超出了对“10KV海量用电”的阶段

8、。目前对于大型的金融或电信数据中心，市电的规划往往会直接从35KV做起。        以上海地区为例： 供电电压(KV 用户受电设备总容量(KVA10250630035630040000110及以上 40000及以上        因此，对于数据中心在市电需求与规划上有如下建议：  1. 核定用电需求，一般采用10KV供电电压。 2. 当数据中心中、终期规划用电负荷较大时，宜在建设初期选择35KV及以上供电电压，以免供电容量不足成为数据中心发展

9、的制约瓶颈。 3. 采用35KV及以上供电电压时，可视数据中心建筑形式决定变电方式。单幢建筑宜采用35/0.4KV直降方式。园区式多幢建筑宜采用35/10KV、10/0.4KV二级降压方式。4.极高可靠性要求机房应从两个独立的电网变电所的专用输出回路上分别引入一路市电电源，以专线方式沿不同的敷设路由引接至数据中心。每一路市电电源的供电容量应能满足全部负荷或全部一、二级负荷的需求，包括机房设备、机房空调、机房照明、蓄电池充电及建筑设备等。两路市电电源的供电容量应为全冗余，正常时应并列运行。 5.高可靠性要求机房宜从两个独立的电网变电所，也可从一个电网变电所的两段独立的供电母线上分别引入一路市电电

10、源，以专线方式引接至数据中心。 每一路市电电源的供电容量应能满足全部一、二级负荷的需求，包括机房设备、机房空调、机房照明、蓄电池充电及建筑设备中的一、二级负荷。两路市电电源的供电容量应为全冗余，正常时应并列运行。6.一般可靠性要求机房宜引入两路市电电源，条件受限制时也可引入一路市电电源。引入两市电电源时，宜为冗余关系，也可作为供电容量扩展关系。 2）制冷        数据中心各设备的散热特性十分复杂，如下图2.图2：数据中心各设备热密度发展趋势图上图至少揭示了两个重要的问题： 1数据中心各类型的设备具有不同的发热密度，这就

11、意味着针对不同的设备应该有不同的制冷解决方案。 2. 数据中心各类型的设备本身的发热密度在不同的阶段有着不同的热密度（一般是越来越热）。 因此，制冷对于数据中心的限制主要体现在以下几个方面： 1.  设计的制冷系统能够满足不同设备在不同阶段的制冷要求。从而能够使得数据中心初期规划的电资源和空间资源能够得到充分的合理的使用。 图3：机柜空间利用增长示意图       需要针对不同的功率密度（热密度）做出不同的制冷方案规划。 图4：不同功率密度对应不同机房制冷方案2.  数据中心

12、制冷系统的建设是一个系统工程，除了机房空调主机之外，还会和建筑结构产生广泛且深刻的联系。 机房楼层的净空高会直接影响送风方式的选择。能否采用静电地板，静电的高度是否直接占用太多高度以至于上走线槽道的布置或者照明期间的分布？当然，采用风道上送风也有同样的担心。数据中心净空高必须考虑如下因素：静电地板高度（或者上送风风道高度），机柜高度，两层上走线槽道高度，照明高度，天花上回风高度等等。实际经验表明，新一代数据中心机房净空高一般大于等于4.5m为宜。 室内机，室外机的距离会直接影响冷却方式的选择。一般来讲，当室外机高于室内机时，建议垂直最大距离为25米；当室外机低于室内机时，建议垂直最大距离为5米

13、。建议管道总长不超过60米，超过上述限制，就不再推荐采用风冷的机组。 房间的建筑形状也直接关系到机房的气流组织。机房空调的送风距离一般是15米，如果超过这个距离，就建议采用对吹的方式。因此，对数据中心房间作区域分割时，一般会建议一个子机房的距离不超过30米。 3.数据中心对能量的需求最终体现在对于电能的需求上。空调系统是数据中心机房的能耗的第二大户。由它所产生的功耗约占数据中心机房所需的总功耗的37%左右。其中25%左右的功耗来源于空调的制冷系统所产生的功耗，12%左右的功耗来源于空调的送风和回风系统所产生的功耗。因此，合理的设计制冷系统能够确保在满足数据中心制冷需求的基础上尽量减少对于电能的

14、需求。 3）占地面积        数据中心所使用的占地是一个不可再生的资源，始终是困扰IT经理人的一个重要的问题。在当前流行的主流IT技术（刀片服务器，虚拟化等）的背后都有“减少占地面积”的原因。 数据中心的面积始终是数据中心建设者，管理者最为关注的因素之一。 数据中心对于选址有着严苛的要求，取得合适的地点建设合适规模的数据中心需要付出越来越昂贵的代价。        数据中心空间的制约主要体现在两个方面：初始的建筑面积制约和运行后扩容空间的制约。 图5

15、：新一代数据中心所面临的挑战排序，IDC       国内目前新一代数据中心在500平米以上的机房可以达到35%，而且这趋势依然在增强之中。 图6：中国下一代数据中心样本规模分布，CCID 二新一代数据中心需求成长模型        上部分内容力图从宏观的角度图形显示数据中心容量和三个关键的制约条件之间定性的关系，描述的是总量的关系。至于单个制约条件的供需成长关系，可见下图： 图7：单个制约条件(面积，供电和空调供需成长关系 详细解读如下： 1）IT设备针

16、对系统需求的成长速度步幅最小，频度最高：这和IT设备本身的物理特性密切相关，当有新业务需求时，在机柜中增加IT设备即可，基本上对供电，制冷以及占地面积的冲击不会太大，因此会呈现相对平滑的特性。 2）在数据中心规划时，会根据业务成长的状况对面积进行分区，同时也会为每一期所使用的面积预留合适的裕量。因此，面积的成长首先是一种小步幅成长的关系，突破临界点（分期界限）之后，会有新的大面积空间投入使用。 3）机房空调的成长速度也相对平滑，在前期的基础设施（比如水管，送回风设施等）准备预留妥当的情况之下，面对机房的热负荷不断提高的情况之下，可通过阶段步进增加终端的制冷单元即可实现。 4）供电系统的成长就会

17、显得相对缓慢，呈现的步幅频率低，步幅大。为什么供电设备没有采取类似于IT设备和机房空调一样的随着业务成长而频繁步进的模型呢？为什么供电系统没有采用小容量，多模块的建设方式呢？        主要是交流供电系统的模块化和可靠性存在着复杂的关系,核心是随着供电模块数的提高，系统的可靠性呈现出下降的趋势。因此，新一代数据中心的供电系统在进行建设时，必须在可扩容性（通过模块化来支持）和可靠性之间取得一定的平衡。        目前主流的建设方式主要是采取2(N+1

18、,N3的方式，随着业务成长N会逐渐增大。如果当前系统N达到3之后，就会考虑新建系统。因此，体现在供电的供需成长关系上，就会有频率低，步幅大的特点。 图8：并联系统可靠性比较 三新一代数据中心容量规划关键支点        新一代数据中心容量规划的支点多种多样，见仁见智。通行的做法不一而足，但基本上可从以下四个支点加以解析： 1）可用性支点        面对承载不同业务类型的数据中心，其可用性的要求必然不同。数据中心可用度等级的划分基本上可以参照TIA-9

19、42及UPTIME对其的定义如下啊： 图9：数据中心可靠性等级的分类        同时，如前文所叙述，数据中心是由IT平台和Facility两个平台构成。 图10：数据中心IT和Facility两个平台的划分        数据中心总的可用性是由IT和Facility 两个平台所决定的。        IT网络的可用性IT可用性×Facility可用性   

20、;     因此，数据中心从业者在考虑整个数据中心可用性时，需要将IT和Facility综合考虑。 2）成本支点        成本始终是最受关注的维度之一。但是数据中心的成本不但是由建设成本（CAPEX）构成，同时也有运营成本（OPEX）以及机会成本（OPPCOST）。而且，在数据中心整个生命周期之内，仅仅是电费的支出就会超出初始建设所有设备成本的总和。因此，针对数据中心这样的OPEX大大超过CAPEX的实体，如何将成本与技术及产品方案完美结合起来，做到TCO最低，始终是一

21、个很大的挑战。 图11：数据中心成本构成 3）绿色节能支点        目前对数据中心绿色节能业界有着相对成熟的计量对标，即PUE和DCiE.PUE: Power Usage Effectiveness（能量使用效率）PUE=        基本上，这两个指标被用来评价数据中心的能效利用率，即每瓦IT设备能耗需要消耗多少总输入能耗。但是如果我们换一个角度，如果我们能够预先知道数据中心总能耗（初始设计时基本上这个指标往往被用来表征数据中心最大供电能力），而

22、PUE 这个值业界也有相对合理和流行的工程值（目前为1.6-2之间），那我们就能大致估算出IT设备能耗，从而也就能够算出数据中心机架的功率密度。从而可以预估关键子系统的建设模式。        举个例子，比如某场地在初始给定如下：        基础背景：        1.总面积15000平米  2.机柜1200个  3.总供电2万KW  

23、60;    建设愿景：        1.Tier IV& GB50174 Class A 2.10年IT设备发展 3.分期分批，模块化        开始客户不太清楚某些关键系统（供电，制冷）的建设方式。        假定PUE取2.0，即：        PUE=

24、TOTAL POWER/IT POWER=2万KW/IT POWER=2       则IT POWER=1万KW,而机柜1200个        因此，单个机柜功率密度为IT POWER=1万KW/机柜个数1200个=8KW       知道了IT POWER，就可以大致核定出供电系统容量；知道了单个机柜功率密度，就可以核定供电系统终端配电设计，也同时可以厘清制冷系统设计的最为关键的容

25、量指标。        总而言之，特别是在系统初始评估时，PUE指标不单可以作为数据中心节能与否的计量对标，也可以作为数据中心容量评估的一个有效支点。 4）功率密度支点        上述三个维度基本上是从宏观的层面去规划数据中心的容量，具体到可操作的层面，到底该如何规划新一代数据中心的容量？到底如何去规划关键子系统的建设呢？ 业界关于数据中心容量的可操作性规划基本上在有三种思路： 第一，以业务为支点。业界一线供应商基本上推出针对不同规模客户群的指导性的解

26、决方案。以电信行业供电系统建设为例，比如对于省级机房，地市级机房等均有不同的方案模板。 第一，以面积为支点。不同面积的机房有不同的解决方案。比如100平方的机房该如何建设，1000平方的机房该如何建设等等在各专业厂家的宣传文案就更多了。        但上述两种思路往往对数据中心的建设往往过于空泛，以面积支点为例，100平方的机房笔者在建设实践中有遇到只需要承载100KW的能量，也有需要承载1250KW能量的案例。而同样是100平方的机房，两个案例建设的方法，思路，成本等等完全不一样。    &

27、#160;   因此，业界慢慢的找到的一种思路，即同时考虑业务和面积的做法。即确定功率密度为数据中心容量规划的可操作性支点，基本上可以理解为：功率密度=业务（体现为服务器功耗）/面积。 但是，功率密度有多种表征方式，如下表： 密度定义 单位 说明 IT设备的功耗除以所有设备机柜的占地面积 w/m2 或 w/ft2此方法只包含机架的投影占地面积，没有包含廊道和其他辅助设施占地面积等，是IT设备室的一部分，同时也不包括辅助工作间等的面积。该该方法主要表征终端IT设备功耗与其投影面积的关系。因此功率密度值会大大高于其他方法的数值结果。 IT设备的功耗除以数据中心的总占地

28、面积 w/m2 或 w/ft2数据中心的总占地面积包括IT设备室+辅助工作间等。 该该方法主要表征IT设备功耗和数据中心总占地面积的关系。此方法对与规划空间利用有着很大的意义。 数据中心总能耗除以数据中心总面积 w/m2 或 w/ft2数据中心的总能耗包括IT设备能耗和供电，制冷和照明等所有功耗。该该方法主要表征数据中心总能耗和数据中心总占地面积的关系。此方法通常用于设备和公共设施规划。 IT设备的功耗除以IT 设备室面积 w/m2 或 w/ft2这是文献中最为常见的定义，也是以往确定供电和制冷分布有效的方法。数据中心相关从业者往往依据此定义规划，建设和管理数据中心。 机架的功率密度 W/机架

29、 直接定义到每个机架，为数据中心从业者精确的规划，建设和管理提供了更好的方法。        在具体的实践中，目前机架的功率密度使用也最为广泛。 四数据中心容量规划的实施原则 通用性        系统的设计和实施符合国内国际和行业设计标准。 可用性        系统的设计和实施能够满足国内国际标准及业主所要求的可用性指标，确保设备和各子系统具有良好的电磁兼容性和电气隔离性能，不影响其

30、他设备和系统正常工作； 稳定性        系统设计成熟，产品应用广泛。不单纯追求系统的先进性，而力求做到方案和产品的无缝连接，数据中心的稳定运行应当始终处于优先考虑等级。 安全性        系统设计，实施运营符合高等级的抗扰度国际标准，工作安全可靠。要对结构设计、设备选型、日常维护等各个方面进行高可靠性的设计和建设，避免出现单点故障。在关键设备采用硬件备份、冗余等可靠性技术的基础上，采用相关的软件技术提供较强的管理机制、控制手段和事故监控与安全保密

31、等技术措施提高安全可靠性。 可维护性        对系统采取模块化的设计，产品的冗余设计作为重点要求指标。对硬件，软件供应商的实施和售后能力进行详细的要求，准备相关应急预案。 扩充性        数据中心机房应具有良好的灵活性与可扩展性，能够根据今后业务不断深入发展的需要，扩大设备容量和提高用户数量和质量的功能。具备支持多种网络传输、多种物理接口的能力，提供技术升级、设备更新的灵活性。不仅能支持现有的系统，还应在空间(机柜布局、系统电网容量、网络设备端

32、口等方面留有充分的扩展余地，便于系统进一步开发以及适应未来系统更新换代。 在系统设计和实施中中充分考虑用户后期的扩容，预留合理的扩容接口，尽量确保后期的系统扩容时不会影响当前业务的正常运营。此外，在系统的后期扩容时不应降低以前系统的可用性也是需要重点关注的。 可管理性设计        系统所采用的主设备诸如IT设备，动力设备，环境设备均采用智能化设计，以便集成监控。可以实现先进的集中管理监控，实时监控、监测整个电脑机房的运行状况，实时灯光、语音报警，实时事件记录，这样可以迅速确定故障，提高的运行性能、可靠性，简化机房管理人

33、员的维护工作，从而为其数据中心机房安全、可靠的运行提供最有力的保障。 经济性       以较高的性能价格比采购机房系统设施，使资金的产出投入比达到最大值。能以较低的成本、较少的人员投入来维持系统运转，提供高效能与高效益。尽可能保留并延长已有系统的投资，充分利用以往在资金与技术方面的投入。在确保业务合理的可用性基础之上，合理降低CAPEX和OPEX.节能、环保、减排的原则        数据中心设计及建设要采用切实有效的措施或技术来充分体现节能、环保、减排

34、的要求，建设绿色的数据中心。主要原则要求如下：        首先，必须选择低能耗、低运维成本的产品，如：UPS和空调尽可能采用高效能、低能耗产品，并且充分考虑产品的维保成本。        其次，必须有正确的设计方案，设计不能太过于超前、容量不宜过大，应采用模块化设计，充分利用可扩展性，逐年分步扩充，以免盲目投入、容量过大。 五数据中心容量规划参照标准 1）GB50174-2008电子信息系统机房设计规范 2）TIA, TIA-942, April 20

35、053）YD/T 1095一2000信息技术设备用不间断电源通用技术条件； 4）GB7450-87电子设备雷击保护导则； 5）CECS72：97 建筑与建筑群综合布线系统工程设计规范； 6）CECS89：97建筑与建筑群综合布线系统工程施工及验收规范； 7）GB2887-89计算机场地技术条件； 8）电子计算机机房施工及验收规范（SJ/T30003-93） 9）供配电系统设计规范（GB50052-95）； 10）低压配电设计规范（GB50054-95）； 11）电气装置安装工程接地装置施工及验收规范（GB50169-92） 12）电子计算机场地通用规范（GB/T2887-2000） 13）工业与民用供电系统设计规范(GBJ528214）低压配电装置及线路设计规范(GBJ548315）电气装置安装工程及验收规范(GBJ2328316）安全防范工程程序与要求(GA/T759417）安全防范系统通用图形符号GA/T74-9418）风险等级和防护级别的