数据中心整体解决方案

数据中心整体解决方案数据中心整体解决方案1背景和概念第一章目录Contents数据中心机房设计第二章数据中心基础网络设计第三章数据中心解决方案第四章数据中心案例第五章背景和概念第一章目录Contents数据中心机房设计第二章数2背景概念1背景概念13什么是数据中心4数据中心（集成）是一种环境技术，数据中心同时是一种综合性产业，它包括温度、湿度、防尘、有害气体、电磁干扰、屏蔽、防静电、防漏水、隔热、保温、防火、美学、光学、噪声、振动等方面综合的考虑设计。它涉及到多种专业：空调、配电、照明、自动检测与控制技术、抗干扰技术、综合布线技术、净化、消防、建筑、装潢等。提供完整的数据中心解决方案物理概念工程意义实施角度建筑装修电力供应空调新风消防灭火弱电控制前期规划设计中期设计施工后期调试开通今后维护服务设备供应商工程承包商服务提供商什么是数据中心4数据中心（集成）是一种环境技术，数据中心同时传统数据中心现状——难以适应发展需求5效率低能耗高业务弱传统数据中心20%IT平均资源利用率数据来源：TheGreenGrid2.5传统数据中心PUE3KW已经远不能满足需求50%非IT设备支出占比持续增加90天

平均业务上线周期传统数据中心现状——难以适应发展需求5效率低能耗高业务弱传统数据中心发展趋势6消除异构化系统之间障碍快速动态部署资源和服务云计算平台对资源的独立，兼容各类应用平台计算，存储，网络资源的智能化统一管理面向业务的资源的定制化部署虚拟化技术与绿色科技结合，降低能耗先进、高效、智能的系统散热方案智能化的环境控制和能效管理系统虚拟化提高资源利用率，简化管理维度，节省维护成本支持异构资源兼容，实现业务的平滑升级基于云计算的基础架构虚拟化智能绿色低成本数据中心发展趋势6消除异构化系统之间障碍云计算平台对资源的独数据中心发展趋势——云数据中心7私有云(企业云)演进混合云与公有云联合互操作性爆炸式发展App1App2App3PrivateIaaSPrivatePaaS虚拟私有云混合云PaaSSaaSIaaS私有云自助服务策略资源管理扣款能力规划App2App3PrivateIaaSPrivatePaaSApp1Silo’dGrid物理的专用的静态的混杂的虚拟的共享服务动态的标准化的应用App1App2App3App1App2App3PrivateIaaSPrivatePaaS合并标准化公有云PaaSSaaSIaaS公有云的演进ASPISPMSPISVCSP/

Telcos数据来源:

IDC,

2010云计算技术风起云涌势不可挡数据中心发展趋势——云数据中心7私有云(企业云)演进混合云与云计算服务类型8资源管理应用系统，如客户关系管理系统CRM文档编辑处理，如GoogleDoc地图服务，如GoogleMap应用程序定制使用，如Saleforce应用软件超市

云主机云存储云容灾备份虚拟防火墙弹性计算平台SaaS软件即服务IaaS架构即服务应用程序开发/运行平台，如GoogleAppEngine在线数据库服务，如亚马逊在线简单数据库服务（AmazonSDB)云操作系统，如WindowAzurePaaS平台即服务云计算服务类型8资源管理应用系统，如客户关系管理系统CRM云业务发展对企业云基础平台提出更高要求9云数据中心平台企业云业务专业服务定制业务基础业务专业服务云数据中心业务传统数据中心业务云数据中心业务迅速孵化传统与云数据中心业务并存衍生更多的专业服务效率能耗可用性设备业务量催生高计算、存储密度成本与环保推动能耗持续提升设备可用性转换为业务可用性机房设备模块化IT设备从大型机/小型机扩展为X86更低PUE的满足需求的各级别数据中心云业务发展对企业云基础平台提出更高要求9云数据中心平台企业云云数据中心解决方案构成——数据中心组成元素10灾备存储计算网络网络是数据(&容灾)中心访问必备模块计算是业务数据中心必备模块，容灾中心可选存储是数据中心必备模块，但是在多中心结构下，可选择DC载体灾备是数据中心可选模块云数据中心解决方案构成——数据中心组成元素10灾备存储计算网大型企业云数据中心特征11绿色数据中心卓越运营构建合作生态链绿色节能：高效环保，降低成本，履行社会责任无规模，不成云：规模化运营、技术支撑与完善的服务体系兼容、开放：异构兼容，多厂家API兼容，可与第三方合作弹性扩展/收缩业务业务体系云平台硬件基础设施大型企业云数据中心特征11绿色数据中心卓越运营构建合作生态链数据中心机房设计2数据中心机房设计212国际规范数据中心设计指标依据13※《电子信息系统机房设计规范》GB50174-2008※《电子信息系统机房施工及验收规范》GB50462-2008※《电子计算机场地通用规范》GB/T2887-2000※《计算站场地安全要求》GB9361-88※《防静电活动地板通用规范》SJT10796-2001※《建筑用安全玻璃防火玻璃》

GB15763.1-2001※《建筑内部装修设计防火规范》GB50222-95(2001年修订版)※《低压配电设计规范》GB50054-95※《供配电系统设计规范》GB50052-95※《建筑照明设计标准》GB50034-2004※《建筑物防雷设计规范》GB50057-94（2000年版）※《综合布线系统工程设计规范》GB50311-2007※《视频安防监控系统技术要求》GAT367-2001※《安全防范工程技术规范》GB50348-2004※《出入口控制系统工程设计规范》GB50396-2007※《气体灭火系统设计规范》GB50370-2005※《采暖通风与空气调节设计规范》GB50019-2003※《室内空气质量标准》GB/T18883-2002国际规范数据中心设计指标依据13※《电子信息系统机房设计规范数据中心机房等级划分14TierI

基本TierII

冗余单元TierIII

可并行维护TierIV

容错可用性99.671%99.749%99.982%99.995%每年IT服务

中断时间28.8小时22.0小时1.6小时0.4小时建筑类型租用租用自建自建线路冗余NN+11主＋1备双主面积功率(w/ft)20~3040~50100+150+多运营商线路否否是是主干线缆冗余否否是是水平配线冗余否否否可选供电线路1路1路1主＋1备2路热备UPS冗余NN+1冗余N+1冗余2N冗余……注：数据中心的定级取决于整个系统中最低等级的部件数据中心机房等级划分14TierI

基本TierII

冗数据中心能耗评估指标——PUE15PUE（PowerUsageEffectiveness）是一个衡量数据中心全年耗能情况的指标。数据中心每年总能耗每年IT设备能耗=机械设备能耗+电气设备能耗每年IT设备能耗PUE=机械设备能耗：制冷系统（冷水机组，水泵，冷却塔，CRAC空调压缩机）

风能能耗（CRAC/CRAH送风风机）

通风系统（风机盘管，空调箱）

加湿系统，加热系统（空调箱，精密空调）

电气设备能耗：IT设备—PUE计算公式中的坟墓UPS损耗

发电机能耗

灯光能耗

注：数据中心能耗评估指标——PUE15PUE（PowerUs机房高度要求16根据国家标准《电子信息系统机房设计规范》GB50174-2008要求数据中心机房的净高不得低于2.6M~3M，这个净高指的是活动地板和吊顶板之间的高度。顶板到吊顶板之间，一般要留出至少0.2M的高度空间。活动地板和地面之间的空间为了保证通风和布线，一般高度要不低于0.4M。机柜一般在1.8M~2.2M左右机柜顶部到吊顶板之间会有0.4M的高度，方便机柜上面布线。0.4M0.4M1.8M0.2M机房高度要求16根据国家标准《电子信息系统机房设计规范》GB数据中心基础设施建设17精确送风机柜

IT设备机柜油机&ATSUPS直流电源柜交流电源柜静态转换开关电池及电池架电源线缆走线架光纤配线架线缆&光纤标识走线支架火灾探测系统烟感探测系统灭火系统平面布局门&窗墙&天花板架空地板照明等瞬间浪涌电压抑制装置接地保护系统机柜系统内部装修供电系统防雷/接地消防系统综合布线制冷系统集成管理门禁CCTV动环监控集成管理精密空调舒适性空调通风系统交付设计维保机房物理基础设施机房服务需求分析业务模型预测方案架构机房选址可行性验证项目估价风险分析输出：机房咨询报告

整体布局供配电设计冷却系统设计智能管控设计机柜系统设计综合布线设计消防系统设计防雷接地设计输出：整体规划图子系统要求子系统施工图供配电实施冷却系统实施智能管控实施机柜系统实施综合布线实施消防系统实施防雷接地实施输出：相关部件安装单击调测联合调测完成验收7*24问题受理技术咨询一般故障处理重大故障处理备件维修机房健康检查油机保养项目管理咨询数据中心基础设施建设17精确送风机柜油机&ATS走线架机房装修系统18吊顶计算机机房吊顶板：表面应平整，不得起尘、变色和腐蚀；其边缘应整齐、无翘曲，封边处理后不得脱胶；填充顶棚的保温、隔音材料应平整、干燥，并做包缝处理；按设计及安装位置严格放线；安装位置准确：定准吊顶上的灯具、各种风口、火灾探测器底座及灭火喷嘴等位置，并与龙骨和吊顶紧密配合安装。地面工程整个机房区的地面在铺设地板之前，需作防尘、防潮处理，活动地板下的建筑面应平整、光滑并做保温防尘处理，机房内防静电地板需做等电位体，机房装修系统18吊顶地面工程机房装修系统19隔断工程无框玻璃隔断，应采用槽钢、全钢结构框架。石膏板、吸音板等隔断墙的沿地、沿顶及沿墙龙骨建筑围护结构内表面之间应衬垫弹性密封材料后固定。竖龙骨准确定位并校正垂直后与沿地、沿顶龙骨可靠固定。全钢防火大玻璃隔断，钢管架刷防火漆，玻璃厚度不小于12mm，无气泡。门窗工程铝合金门框、窗框、隔断墙的规格型号应符合设计要求，安装应牢固、平整，其间隙用非腐蚀性材料密封。当设计无明确规定时隔断墙沿墙立柱固定点间距不宜大于800mm机房装修系统19隔断工程门窗工程机房配电系统20数据中心由市电、UPS、柴油发电机协同供电机房配电系统20数据中心由市电、UPS、柴油发电机协同供电机房供配电——电气系统21供配电系统：应为380V/200V、50HZ，计算机供电质量达到A级。供配电方式：为双路供电系统加UPS电源及柴油发电机设备，并对空调系统和其他用电设备单独供电，以避免了空调系统启停对重要用电设备的干扰。供电系统的负荷包括如下：服务器功率：单台服务器功率╳服务器台数=总功率UPS总功率：一般采用n+1备份方案，亦即并联UPS台数多加壹台，以防止某一台机组出现故障。目前UPS效率均在90%以上，故按照服务器总功率可以计算出UPS的总KVA数。恒温恒湿精密空调负荷：工作区面积╳200~250kcal/hr/m2=总的空调所需制冷量办公区空调、照明等负荷其它用负荷由上可以计算出一个数据中心机房所需的用电负荷总功率。机房供配电——电气系统21供配电系统：应为380V/200V机房供配电——电源22UPS—一类电源一是应急使用，防止突然断电而影响设备正常工作，给用电设备造成损害；二是消除市电上的电涌、瞬间高电压、瞬间低电压、电力线噪声和频率偏移等“电源污染”，改善电源质量，为用电设备提供高质量的电源。市电供电电源—二类电源由电源互投柜分别送至空调、照明配电箱和插座配电箱，再分路送至灯具及墙面插座。电缆用阻燃电缆，照明支路用塑铜线，穿金属线槽及钢管敷设。柴油发电机组—三类电源由电源互投柜分别送至空调、照明配电箱和插座配电箱，再分路送至灯具及墙面插座。电缆用阻燃电缆，照明支路用塑铜线，穿金属线槽及钢管敷设。机房供配电——电源22UPS—一类电源市电供电电源—二类电源机柜系统23机柜分类:服务器机柜、网络机柜、控制台机柜等尺寸：机柜高一般在1.8m~2.2m左右结构：封闭式，半封闭式，敞开式机柜机柜摆放原则摆放方式：面对面，背对背，形成冷热通道间距：背部间距最小需要间隔0.6m，推荐间隔1米前部间隔最小为1米推荐间隔1.2m与吊顶间距：至少0.4m1m1.2m热通道冷通道冷通道热通道机柜系统23机柜分类:服务器机柜、网络机柜、控制台机柜等机功率:考虑到供电及散热，单机柜功率3～5KW，规划时建议不超过4KW。根据服务器的功率(PC服务器正常功耗300~500W)计算出机柜的数量，推荐每个机柜放置8～10台PC服务器。经验值:对中型数据中心而言，每机柜每平米经验值为附：机房面积与机柜数据参考机柜系统区域中心机房数据中心整体每机柜每平米3m2~4m25m2~6m2公司主机房面积（m2）机柜每机柜平米中石化CNPC勘探院(new)30009003.3中石化大厦四层总部机房22003256.8GoogleDalles1858090902.0CiscoRichardson314411512.7OracleAustin761822803.3北京电信兆维机房1400040003.5功率:考虑到供电及散热，单机柜功率3～5KW，规划时建议不24数据中心制冷系统——空调通风（精密空调）25可靠性低高

?精密空调(N+1)分体空调中央空调机房重要区域公共区域恒温恒湿环境机房辅助环境舒适环境机房室内环境参数夏季：温度23±2℃，相对湿度50%冬季：温度20±2℃，相对湿度50%数据中心制冷系统——空调通风（精密空调）25可靠性低高?数据中心制冷系统——机房散热风道设计26空气流动组件冷风道/热风道电缆布置天花板导管辅助数据中心制冷系统——机房散热风道设计26空气流动组件冷风道/防雷接地系统271.等电位接地的处理

接地是避雷技术最重要的环节，而且小型机以上的计算机系统对接地要求也很高，其接地地阻通常要求小于1欧姆以下。但对于避雷技术来说，地阻小于4欧姆即可。应将避雷接地、电器安全接地、交流地、直流接地统一为一个接地装置，避免不同的地之间产生反击。2.电源部分防雷设计

根据雷电流大、防雷器存在残压及设备耐冲击水平低的特性，应遵循多级保护，层层泻能的原则，选择安装避雷器，进行电源线路的过压保护。

3.信号系统的防雷设计

机房的数据通信线路有以太网双绞线、DDN专线、光纤线路以及电话线备份线路，必须对进出机房的的所有通信线路进行防雷处理，才能保护机房的安全。防雷接地系统271.等电位接地的处理

接地是避雷技术最重数据中心的走线方式1——下走线28地板下走线

数据线，电源线和冷风管道从数据中心架空的地板下安装；应用场景

大部分数据中心优点

冷气从地板送入机架，热气从数据中心顶部抽走，有利于热循环；

数据线、电源线安装在地板下，避免直接接触，更加安全；同时地板布线便于维修；

结论：顶部布线：小型数据中心（小于100平米），并且高度有限，建议采用顶部布线；地板布线：大小数据中心建议采用地板布线更加利于散热，并便于维修。数据中心的走线方式1——下走线28地板下走线结论：地板下装电缆比架在空中的电缆便宜，也更好安装，也更美观；大多数直接放在地板上的主机系统/大服务器，都是设计成地板走线的；电缆应该被放在电缆槽中铺设，最好采用“电缆筐”而不是电缆槽，因为电缆槽容易影响空气流动；光缆和铜缆要分开铺设；电源电缆和双绞线电缆要分卡铺设；电源电缆部署在冷通道下，通信电缆部署在热通道下；如果没有预先的规划，地下电缆槽可能阻塞空气的流动；上图是高度0.91M(36英寸)的高架地板下的景象数据中心机房的高架地板地板下装电缆比架在空中的电缆便宜，也更好安装，也更美观；上图29数据中心的走线方式2——上走线30应用场景

应用于中小型数据中心优点

投资低于地板走线方式，占用地板空间少，利于小型数据中心；缺点

冷却系统设计复杂；

电源插座可靠性降低，存在因为插座重力作用导致脱落的可能；建议采用交叉插座进行固定。机柜上走线

数据线，电源线和从数据中心的吊顶安装；冷风管道也在吊顶安置；机柜高度一般为2m，空气流动所需机柜顶面至天花板的距离一般为500-700mm，所以机房净高不小于2.6m.数据中心的走线方式2——上走线30应用场景机柜上走线数据中心的走线方式3——架空走线31架空走线

弱电、强电、光纤分层架空走线，避免干扰。

火灾隐患容易及时发现应用场景

大型数据中心缺点

机房层高要求

扩展难度大，维护困难数据中心的走线方式3——架空走线31架空走线项目下走线架空走线上走线初期安装工序地板下固定和敷设电源线和数据线两个走线槽，布线。在机柜正下方的地板上打孔，方便线缆进入机柜。在天花水泥板上打孔固定吊线架，布线。放线到每个机柜。在每个机柜顶部安装数据线和电源线槽，放线到每个机柜。两排机柜之间架走线桥架。工程量大中小扩容工序在配电柜内增加开关。揭开地板，揭开走线槽盖板，重新从配电柜放线过来，在机柜正下方固定电源插座。恢复地板。在配电柜内增加开关。延机柜上方吊线架放线进入机柜。在配电柜内增加开关。延机柜顶部线槽放线进入机柜。扩容对制冷的影响揭开高架地板，造成气流布局破坏，影响机柜散热。无影响无影响扩容最难难简单火灾如果在地板下的电缆发热、变软、冒烟、起火，这个过程不容易被及时发现，容易从小事故变成大灾难。在吊线架上的电缆冒烟起火还是比较容易发现的。由于天花有吊顶，色彩反差大，如果有冒烟起火会被及时发现，人工、摄像、监控系统多重监控。水灾容易受水灾影响，进而带来人身和设备安全。基本不会受影响基本不会受影响虫鼠危害比较容易受危害，不能及时发现。有可能受危害，但能及时发现咬掉的线缆残渣。有可能受危害，但能及时发现咬掉的线缆残渣。对下送风制冷的影响地板下的走线槽会阻碍冷空气流动，从地板下进入机柜时要在地板上开口，造成冷热空气混合，冷空气逃逸。无影响无影响对机房装修的要求要求有高架地板，地板高度最好为大于600mm。（根据中国的环境最好是高于300mm）要求天花水泥板与吊线架结构紧密，要求天花梁下到机柜顶部的高度大于600mm要求天花梁下到机柜顶部的高度大于400mm维护能力维护比较麻烦，需要掀开地板和走线槽寻找。要爬的较高维护最简单，只需要一个小梯子。√走线方式的优势对比项目下走线架空走线上走线初期安装工序地板下固定和敷设电源线和32机柜用电系统布线方式33确定电源需求

通过计算数据中心的机架数量，每机架需要的电源功率，并作出适当预留（20%），来确定整个数据中心需要的电源功率；配电方式方式A：直接将电源模块与服务器机架相连；方式B：将电源通过电源分配单元与服务器机架相连；方式A方式B机柜用电系统布线方式33确定电源需求方式A方式B消防系统——消防报警及灭火系统341、设计依据《高层建筑防火设计规范》GBJ45-82《火灾自动报警系统设计规范》GBJ116-882、消防自动报警及控制系统的组成消防控制中心包括智能火灾报警控制主机，用于集中报警及控制。消防控制中心外围报警及控制包括光电感烟探测器、感温探测器、组合控制器和气瓶等。上述设备位于各楼层现场和端子箱内。消防系统——消防报警及灭火系统341、设计依据消防系统——消防报警及灭火系统

有管网七氟丙烷自动灭火系统为全淹没灭火系统，分为单元独立系统和组合分配系统。有管网灭火系统需设单独储瓶间，气体喷放需通过放在保护区内的管网系统进行。消防系统——消防报警及灭火系统有管网七氟丙烷35视频监控——保安监控系统36视频监控系统对建筑物内外的主要出数据中心各区域入口、通道、电梯厅、电梯轿厢、中心机房及其他重要部位进行视频监视，实时地显示和记录被控现场或被控目标的详细情况，以便保安人员及时采取措施。

视频监控——保安监控系统36视频监控系统对建筑物内外的主要出视频监控——动力环境监控系统37监控中心被监控对象按功能分为动力和环境两大类，动力类包括高配电、低压配电、UPS、油机、电源、电池组、空调等，环境类包括、烟感、温度、湿度等。视频监控——动力环境监控系统37监控中心被监控对象按功能分为门禁系统38

门禁管理系统的主要目的是保证重要区域设备和资料的安全。系统实现对来访者的身份确认和通道控制。卡片采用感应式卡片、指纹、瞳孔等技术。

卡出入系统具有权限设置的功能，即每张卡可进出的时间、可进出哪道门，可为不同的卡片持有者不同的权限。

每次有效的进入都有存档或统计。电锁应采用安全可靠的产品，有电闭锁或无电闭锁根据用户要求可调。紧急情况下或电锁出现故障的情况下应有应急钥匙可将门打开。门禁系统最好采用计算机控制系统。全套系统最好有备用电源。

门禁系统38门禁管理系统的主要目的是保证重要区数据中心解决方案3数据中心解决方案339数据中心设计原则40一般进行双节点冗余性设计过度的冗余不便于运行维护适当的冗余性结构化网络的对称性对称性有助于拓扑直观有助于协议设计分析网络业务的适度分隔有利于网络的策略部署减少对关键业务的影响缩小故障范围模块化数据中心以应用群为单位整合成模块部件根据数据中心不同业务区域性质设计安全模块要素安全模块可集中部署数据中心访问控制策略标准化对数据中心模块设计规范化相同架构要求的业务区采用同样的基础网络组件扩展数据中心区域可直接进行模块复制数据中心设计原则40一般进行双节点冗余性设计适当的冗余性结构数据中心基础网络架构41数据中心基础网络架构41数据中心基础网络架构42数据中心基础网络架构42数据中心安全架构43内容监管、SOX法案、SAS70、PCI/HIPAA等门禁、机房监控系统、云监控 多因素接入认证、集中用户管理和认证、集中日志审计、镜像签名和完整性保护虚拟机隔离、虚拟防火墙，恶意VM预防防火墙、IDS/IPS、Anti-DDOS、僵尸网络/蠕虫检测、网络平面隔离、传输安全（SSL、VPN）、系统完整性保护、OS/DB/Web加固、安全补丁、病毒防护等数据隔离、数据访问控制、剩余信息保护、快照加密、用户数据加密存储、存储位置要求。数据虚拟化管理安全网络安全基础设备虚拟化管理安全网络安全基础设备物理安全物理安全其他：法律法规的遵循数据中心安全架构43内容监管、SOX数据中心结构化安全&优化模型44安全管理入侵防护防火墙“拒绝服务”(DOS)反病毒InternetInternetVPN/campus端点准入数据中心应用优化L2交换机：BPDUGuard、端口隔离、五元组绑定、802.1X等实现二层安全保护L2.5MPLS：网络隔离L3路由器/防火墙/AFC/SSL：访问控制和隔离、加密L4NTA“网络水表”流量异常分析L5～7

IPS应用层威胁识别和抵御：蠕虫、间谍软件、P2P、病毒、攻击等IP存储：数据安全（异地容灾，数据备份）安全管理用户管理(iMC)数据中心结构化安全&优化模型44安全入侵防火墙“拒绝反病毒数据中心案例4数据中心案例445为什么建设数据中心46为了完成企业信息化建设，将以数据中心建设为核心，并将其作为企业的知识中心及通用的业务平台；数据中心采取“数据集中、应用分布”的方式，可以有效地提高信息资源的利用率

企业知识的集中沉淀与优化应用，将成为企业扩张经营的必备条件，数据中心在此方面扮演极为重要的角色许多大企业正在建设或已经建设了各自的数据中心，企业关键应用系统和关键硬件设施均统一集中在数据中心，支持企业的核心业务运作。山东海益宝数据中心建设为什么建设数据中心46为了完成企业信息化建设，将以数据中心建数据中心布局分区47

房间编号功能分区备

注面积机房区I-01中心机房一放置网络机柜、服务器机柜335I-08中心机房二放置网络机柜、服务器机柜78辅助区I-02运营接入机房放置运营商使用机柜20支持区P-03配电间放置配电柜78P-04UPS电池间放置UPS设备，蓄电池设备P-05UPS配电间放置UPS设备，配电柜F-06钢瓶间放置气体灭火钢瓶36其他C-07走廊用于人员及设备进出入73数据中心主要由机房区、辅助区、支