大道至简-图解大型互联网数据中心典型模型-李典林

大道至简，图解大型互联网数据中心典型模型原创

2016-04-08

腾讯数据中心ensoli数据中心本质上是数学和逻辑的组合，分析模块化数据中心的颗粒度可以归纳演绎出其典型模型，本文介绍一些大型互联网数据中心的典型案例，正是为了做此方面的分析。大型互联网公司数据中心建筑布局图一是谷歌数据中心的典型布局，从空中俯视看到的浩大体量和氤氲升腾的水汽，让人立马联想到现代化的超级信息处理工厂，或在海上全力巡航的超级信息航母。谷歌的数据中心建筑结构极其精简，主体机房为宽而矮的单层仓储式厂房建筑结构，船体的中后两舱为两个长宽形主体机房模块，船头为机房配套的功能区域(如安保办公、拆包卸货、备品备件间等)；船体左侧为模块化变配电及柴发区域，船体右侧是模块化制冷及散热储水区域，水电分区，左右两翼像巡洋舰和护卫舰等保障航空母舰的稳定平安运行。

图一

谷歌数据中心俯视图图二为其主平面布局图。北侧为水，南侧为电，中间为机房模块，约2万平米的中间主机房区可以支持约8到10万台服务器，左右两侧为网络间以及办公支持区。白地板区域分为南北共四个大机房房间，每个房间可以支持约2万到2.5万台服务器，每个机房模块内约30纵列，每列约25到30个IT机柜，每个大房间可以部署约750到900个机柜，约1万KVA的电力，整个建筑约4万KVA总用电。图二

谷歌数据中心平图布局图图三是facebook在瑞典的模块化数据中心效果图，该建筑也是仓储式大厂房结构，左右两栋数据中心大楼内共建设了1#-4#四个大房间的数据中心模块，两栋建筑之间有一个专用制冷机房，在建筑的两侧也部署了室外集装箱柴发。此外，在数据中心建筑隔壁，还设有一个用于办公的其它功能的建筑。

图三

facebook模块化机房俯视图图四类似这个数据中心的平面布局（冷机和配电位置稍有改变，但主体框架模块没变），同样左右两侧共四个大机房模块，A/B区南北各两个，大房间的南北两侧为AHU模块，同样和冷热通道一一对应；两个建筑大房间之间为电力模块，以及制冷模块，同样是模块化的设计。每个AHU对应各自的一个通道，约60个机柜，平均每个IT机柜功率约为8-10KW，因此每个AHU的制冷量约为500-600KW。中间北侧为电力模块房间，四个房间共6套IT电力模块，以及1套备份模块、1套冷机等负载配单模块；中间南侧为制冷泵房，共9个制冷模块，按8用1备计算，每个房间均摊约2个制冷模块。

每个大机房房间同样可支持约2万到2.5万台规模服务器，每个房间内部署了约4*13*15个机柜，共约780个机柜，并支持扩展到900个，同样约1万KVA的电力，整个建筑约4万KVA总用电，共支持约8到10万台的服务器。图四

facebook数据中心平面布局图图五是facebook另外一个长条形数据中心的俯视图，该建筑从左到右共有四个大机房模块，每个机房模块有独立的4台室外型集装箱柴发，屋顶是其自然冷空调系统，紧贴数据中心建筑的上侧有办公用房。

图五

facebook数据中心布局二这种长条形布局下，机房内部如图六Open

datacenter的数据中心机房模型，每个大机房模块共12*6*11=792个机柜，整个数据中心建筑共有12到14台柴发，两个蓄冷罐，支撑四个大机房模块运用。

图六

Open

datacenter的模型布局图七是Switch公司的super

nap

7数据中心俯视图，类似的，整个数据中心建筑由四个大机房模块构成，每个机房模块约10MVA的供电容量，由6台（5+1）2000KW的柴发做掉电备份，9套1200KVA的UPS，三角形DR方式2N供电。同样的，每个大机房模块有44个R18的微模块构成，总计约792个IT机柜，平均单功率约为9KW；9个（8+1）AHU空调模块，每个AHU模块标称具有1000KW的散热实力。

图七

Switch公司的supernap

7数据中心布局从谷歌、facebook和super

nap等数据中心的典型模型上看，大型互联网数据中心大多是模块化设计，基本整个园区规划有两到三栋大型数据中心建筑，总共用电80到120MVA，由132KV变电站供电。每栋数据中心建筑用电量则高达40MVA，数据中心建筑内有4个大机房模块，每个机房模块约2-2.5万台服务器，典型的单模块机柜数量为750-1000个机柜，每栋数据中心建筑约有8-10万台的服务器，总机柜数量为3000到4000个机柜。大型互联网数据中心基本多为仓储式单层建筑结构，建筑内的典型四个大机房模块有长条型并排布局，也有南北向田字型布局，模块化的电力和空调模块就近摆放。大型互联网公司数据中心的电气为什么大型互联网数据中心都有相像的特征，这背后有何逻辑呢？

其实数据中心的一些边界条件基本限制了数据中心的典型模型，比如一条中压外线（美国为13.2KV，欧洲中国约为10KV）的电力容量约为10MVA-12MVA，典型的变压器容量约为1600KVA、2000KVA、2500KVA、3000KVA、3150KVA等有限档位，母排和断路器容典型量约1600A、2000A、3200A、4000A、50000A、6300A等有限档位，还有冷机的冷量、UPS的容量等都是类似的有限档位，因此数据中心规划设计须要兼顾到这些产业链，并满意马路运输条件，以及操作人员可以忍受的连续工作最高温度等，依据不同系统的合适颗粒度，选择最佳性价比的典型模型。

通常电力是数据中心内较为珍贵的资源，所以数据中心设计通常会把一条外线的容量尽量用满，即一个机房模块通常会用满10到12MVA的外电容量，图八是个典型的互联网公司数据中心供电架构图，单路市电供电，高压柴发备份。

图八

典型互联网数据中心供电架构图我们可以依据一条13.2KV外线约12MVA的容量来推算该机房模块的模型，配置了4台2500KW左右的高压柴发，4台3000KVA的变压器，额外有1台2500KW的柴发和3000KVA的变压器作为四个房间的冗余备份，刚好用满电力容量，因此数据中心大机房模块内通常也规划有4个小房间的模块。

前面是针对互联网数据中心内单路市电+柴发的供电架构，假如对于部分双路10KV外电的高牢靠2N供电架构，事实上也是类似处理方法，将10MVA的外电，分摊到4个IT房间，每个房间约2个2000KVA的变压器，剩余一对2000KVA的变压器给到制冷房间用于冷机制冷等。当然也可以按三个IT房间来规划，这种布局下每个房间配置2个2500KVA的变压器，剩余一对2500KVA的变压器给到冷机和其他动力设备。

图九

典型数据中心2N供电高牢靠设计的模型在建筑布局上，同样采纳模块化的布局，如图十的典型数据中心建筑内有左右两个大机房模块，每个大机房模块内的一对10KV外线带有四个IT房间，每个房间由一对2000KVA的变压器来担当，每个房间按IT机柜功率来部署，大约有200到250个的IT机柜（由IT机柜平均功率确定）。同样配套的模块化电力和空调就近摆放，按需建设实现变成长边投资，为将来的技术升级供应条件。

图十

典型数据中心2N供电高牢靠设计的布局综上，典型的互联网数据中心机房模块内，也同样因为电力容量限制，以及设备颗粒度的不连续性，加上产业链生态等会有最佳模型。典型的模块化数据中心由2个高压模块（或者单N的1条外线）、8到10个低压变配电模块（或者单N的4到5个低压模块）、3到4个IT房间（每个机房模块配置2500KVA或者2000KVA的变压器）的典型模型。每个模块化数据中心约750到1000个IT机柜，每个IT房间约200到250个IT机柜。动力设备方面基本多为3到4台800到1100冷吨的冷机，以及4到6台1800KW到2500KW的柴发等。大型互联网公司数据中心空调模块相对而言，大型互联网数据中心的制冷系统的标准化较差，这主要由不同地区的制冷方式差异导致。比如热带地区采纳的集中式冷机制冷，和凉快地区分散式AHU模块制冷就会有很大的差异。但从前面分析的数据中心模型上看，大型互联网数据中心的空调系统也呈模块化方式在建设。如图十一所示的谷歌数据中心，综前所述，一栋40MVA的数据中心建筑，由四个大机房模块构成，每个机房模块约10MVA的用电。整个数据中心建筑左侧有15套空调系统，因此每个机房模块分摊到3套空调系统，剩余3套空调给四个机房模块做冗余备份，以及其他办公和环境负荷等，每套空调系统约有1000到1200冷吨。

图十一

谷歌数据中心的模块化空调系统而如图十二的Super

nap数据中心则采纳了模块化AHU散热方式，每个10MVA的大机房模块配置了9个AHU模块，每个AHU模块的散热实力达到了1000KW，8用1备，该AHU支持六种不同的冷却方式，并在AHU内部加装了小飞轮UPS，保障AHU模块供冷的持续性，也是特别经典的模块化空调设计实现。

图十二

SuperNAP数据中心的模块化空调系统前面简洁介绍了两个大型互联网公司模块化空调系统的应用案例。地区不同，制冷方式不同，