数据中心运行的几个坑

数据中心建设的几个坑单位：中国移动北京公司日期：2014年7月目录2我什么也不管，只要安全？1我什么都不懂，可什么都敢答应？5方法介绍4DCIM的几个建议3IDC机房界面IDC机房标准前言90年代，有位老师做了实验，当水温60度的时候，青蛙就从水中跳出来了。所以大家都这么说，但实际上可能不是这么回事。IDC又何尝不是一个温水煮青蛙的故事。成本（万元/年）民营电信北京移动带宽购买费468-409网络（按5年折旧）11025142271电费36021771355房租240-224人工成本300301288运维成本

1080663总成本147860725210成本收入率74%84%84%总机架数200900560每机架网络投资2.892.794.06每机架电费（万元.年）1.82.422.42每机架房租1.2-0.40每机架人工运维1.51.531.70每机架收入10811.09每机架平均成本7.396.759.30每机架毛利2.611.251.78净利率20%12%12%2009年数据，当时只有560个销售机架，目前已经有了6000多，5年成长了10倍以上我什么都不懂，可什么都敢答应-小坑IDC到底挣钱不挣钱？是每个领导都要问的问题，所以需要大量的成本核算工作。我什么都不懂，可什么都敢答应-小坑IDC机房是作为产品销售的，在一个充分竞争的市场，销售人员为了完成销售指标，以满足客户需求为宗旨，答应了客户各种合理或者不合理的要求。比如：1、机房温度24度。冷热通道的机房怎么解决？2、72小时柴油后备。上哪放那么大的油库？安全合规吗？3、全双路供电，双总线，还能提供直流供电。配电结构一下复杂了？4、高密机柜要求水冷空调具有不间断制冷能力。水泵配UPS，配得起吗？再说就这么几个高密，值吗？5、外电不中断。柴油发电机应急演练怎么办？6、3路外电，一路都不能少。当初谁告诉他的呀？。。。。接待室、会议室、库房、停车位、电力施工。。。最核心的问题：还没当过乙方，还不会当乙方。态度生硬客户跑了，一味从了的话，后台支撑不了。我什么都不懂，可什么都敢答应我什么都不懂，可什么都敢答应我什么都不懂，可什么都敢答应我什么都不懂，可什么都敢答应-小坑我什么都不懂，可什么都敢答应-小坑能耗密度[kw/架]我什么都不懂，可什么都敢答应-大坑Capex：capitionexpense一般只资金、固定资产的投入。对数据中心来说，可以简单理解为拿地、建楼、购买机房内一切基础设施及IT设备的一次性投资Opex：opreatingexpense既运营成本，可以理解为每年为了维持数据中心运营的费用性支出，如电费、柴油、人力、维保等等，当然还有折旧。IDC机房的建设基本上是拿地、地勘、报建、咨询、建设设计、机房设计、it设计等等。但是这事正好干反了，因为IDC我们还不知道用户是谁，他的主要功率密度，什么IT设备，所以，方案的灵活性要求很高，但是。。。。。。我什么也不管，只要安全？运维部门的KPI全年无重大故障，不影响业务能耗降低计划部门考核要求：投资完成比建设部门考核要求：是否按时交资“考核什么，就得到什么”考核的是安全，收支两条线，挣多少钱和维护的无关，有关的只有安全建设成本和维护无关我什么也不管，只要安全？每台机柜占纯机房面积约为2.5m2，TierIII标准纯机房面积和总建筑面积比例约为1:3，比如3000台IT机柜的机房面积约为7500m2，总建筑面积约为22500m2，如IT机房灭火方式为气体灭火（根据气体灭火设计规格要求每个防护区最大容积不宜大于3600m3）IT机房模块约为15个，每个IT模块约为为500+120m2（精密空调面积）；总建筑面积约为22500m2包括7500m2的IT模块机房，高压配电室、电力控制室、柴油发电机房、雨淋阀组间、冷冻站、消防控制室、电信介入间、气体钢瓶间、变电所及UPS室、电池间、网络核心间等。目前移动公司的水平，10个平米出一个机柜。民营的可以做到5平米一个机柜。我什么也不管，只要安全？计算PUE，需要在如图2所示的数据中心的供配电系统示意图中，测量数据中心总耗电及IT设备耗电，具体测量点如下：1)数据中心总耗电在正常情况下，数据中心的电能由市电提供，测量点应取市电输入变压器之前，即图2中的M1点。当市电故障情况下，柴油发电机产生的电力（图2中的M2点）作为数据中心总耗电的测量点。如果是多用途机房楼，数据中心总耗电计算中，需减去在M4点测量的办公等其它耗电。2)IT设备耗电严格来说，IT设备耗电应该在各IT设备输入电源处测量耗电量并进行加总，但由于IT设备数量较多，这一方法将大大增加测量工作量和成本。因此，在实际操作中，可在各路UPS输出或者列头柜配电输入处进行测量后，将测量值加总作为IT设备耗电。每一路供电的IT设备测量点即图2中的M3点。计量的颗粒度较粗。我什么也不管，只要安全？能耗指标的数值受各种因素的影响，会随季节、节假日和每天忙闲时段的改变发生变化，因此为全面、准确了解数据中心的能效，应采用固定测量仪表，对数据中心能耗进行持续、长期的测量和记录。若数据中心未安装固定测量设备，可采用钳形功率计等设备测量数据中心及IT设备等的短时用电量。测量的周期和频率如下：(a)每次测量不小于一小时；(b)每天测量不少于2次，在业务忙时和闲时进行测量；(c)每月不少于3天，可在5日、15日、25日进行测量。数据中心应根据连续或多次短时累计的数据中心总耗电、IT设备耗电等测量值（单位为KWh）来计算PUE等能效指标。如无特殊说明，数据中心的PUE、pPUE、CLF、PLF和RER等能效指标，是指采用固定测量仪表，在指定测量点测量并记录至少一年的数据。数据中心如果选择公布季度、月份、周、天或小时发布能效数据，应对其能效周期加以说明。其中季度可按照春季（3月～5月）、夏季（6月～8月）、秋季（9月～11月）、冬季（12月～2月）划分。能耗计量的周期没有固化。我什么也不管，只要安全？机柜密度：3KW/Rack，功率密度：1.26KW/m2–1.65KW/m2，PUE＝1.6-1.8平面布局：面对面，背靠背；冷通道1200mm，热通道为1200mm

封闭冷通道，通过热通道自然回风；气流组织:风冷DX型空调与主设备机柜放置在同一房间内，若单独隔开，则需要额外15％－25％的空间（冷冻水或水冷却型需要单独隔开）；采用下送风，上回风设计；送风距离小于15－20m时可以采用单排送风，送风距离大于15－20m时，要采用双排送风设计地板高度:500-600mm，机柜上方高度1000mm左右，走线方式：强电、弱电线槽均采用机柜上走线方式；机柜内气流：前进后出，服务器、交换机等设备间做盲板隔离，防止热风回流；冷通道送风温度：18度-24度（在允许情况下尽可能提高送风温度），送风湿度：24摄氏度时,相对湿度为35%-60%；18摄氏度时，相对湿度为45%-80%之间；机房专用空调类型：冷冻水型、乙二醇干冷器水冷型、DX直接蒸发风冷型；均可以使用自然冷却技术，节能效果比较好的是冷冻水系统配板换自然冷却技术，和乙二醇干冷器水冷型双盘管自然冷却技术；供电设计：双总线供电设计或矩阵式多总线供电设计（3路或4路交错供电）按照UptimeInstitute（正常运行时间研究所）的标准分为4类

TIER1: 简单的非冗余建筑构件

IT的简单非冗余分配网络TIER2: 冗余建筑构件

IT的简单非冗余分配网络TIER3: 冗余建筑构件

多分配网络

(任何时候每台服务器都只有一个分配网络)TIER4: 冗余建筑构件

多分配网络

(每台服务器同时有多个分配网络)IDC机房标准IDC机房标准DCIM真的管用吗？××UMG现场采集结构图

各级智能

配电柜

UPS

CRAH

水浸

烟感

门磁

红外

采集器

PDU

电池组

油机

开关电源

电池监测仪

各级非智

能配电柜

智能电量仪非智能

设备

变送器

环境传感器

服务器

网络、

存储

设备

KVM

IQ

串口转接头

SP端口

IT基础设施

智能动力基础设施

非智能动力基础设施

ModbusIPSNMPBACnetVelocity

BACnet

Rs485

Rs485

IO

IPMI

SSHTelnet

ModbusIPSNMP

UMG通用管理网关

数字温湿度

数字漏水

检测仪

电源分配单元PDU测定连接设备的能耗部分也可以测量温度和湿度通过分析->找出节能点潜力->更高的服务器负荷开/关不用的设备(通过IP或者SNMP)DCIM的几个建议购买：1、贵；2、水土不服；3、怎么升级；4、如何完善。DCIM的几个建议自建：1、构架；2、人员；3、操作VDI3922中规定的能源审计方法学能源审计//定义测量1.能源审计的方案建立联系报价和签约了解现状展示和评价现状数据材料充分吗？合理利用能源的措施开发总体方案实施和成果监控汇报和咨询报告评估和措施筛选确定审计的范围2.组织和规划能源审计//能源审计的流程范围窄宽精度粗细目的阐述建议能源审计的划分2.组织和规划能源审计//能源审计的流程范围检查模型分析模型针对系统的

能源审计

初步审计逐点审计预备性能源审计针对性能源审计综合性能源审计精确度初步能源审计能源消费结构不复杂的情况下大部分实际情况和措施事先都已经明了

准备性能源审计（初步审计）对于大型企业或者建筑物经常以项目组的形式进行逐条能源审计（选择性审计）未明确定义的审计领域或者工艺审计师可以自由选择考查范围针对性能源审计（目标性审计）由用户规定考察的范围某些范围可以排除在外综合性能源审计（全面审计）最精确的一种审计（涉及到所有相关领域）开发所有可能的措施针对特定系统的能源审计选出任务领域（比如压缩空气、电力驱动等）2.组织和规划能源审计//能源审计的流程能源审计的节点能源审计//能源审计的流程2.组织和规划管理系统能源审计措施实施其他设施培训能源消耗记录能源管理环境管理自觉意识形成的管理有关员工自觉意识的形成无成本措施低成本措施高成本措施框架条件环境活动质量和安全标准典型的能源审计流程第一步：

启动活动收集相关的一般性信息第二步：

现场考察获得相关领域的概况第三步：

收集和分析现有文件分析和移交现有的相关资料第四步：

数据收集和测量收集并测量相关设备的数据第五步：

对相关领域进行约谈收集和澄清相关领域的必要的信息第六步：

对能源供应进行分析分析现有的测量系统/能源结算单评估2.组织和规划能源审计//能源审计的流程典型的能源审计流程第七步：

措施开发节能措施的提出、规划、可行性研究以及评估第八步：

经济性分析对措施的经济行进行分析第九步：

编写审计报告编写一份审计报告，包括措施以及经济性分析第十步：

展示能源审计结果向企业展示和汇报审计结果并融合企业的意见报告确定措施2.组织和规划能源审计//能源审计的流程审计报告确定措施的清单罗列所有措施，包括能源、经济和生态评价等企业的基本数据能源价格能耗、生产数据、参照标准能量流、能量平衡相关的能源用户确定的措施现状描述展示优化措施能源评价经济性评价生态评价所有措施的清单措施建议根据规定的标准对措施进行排序对实施措施组合的建议2.组织和规划能源审计//能源审计的流程确定审计的目标和范围确定观察界限选择所包括的设备和能源方面，以及考察的详细程度确定审计目标选择考察的领域（全面审计/专项审计）审计的范围提出为达到审计目的所必需的时间和人力成本审计标准提出测量审计时应遵循的标准，详细程度确定框架条件定义公开的边界条件（如能源价格）定义影响的程度（比如生产目标，停产等）能源审计//能源审计的流程2.组织和规划确定审计的目标全面审计考察所有和能源有关的领域（通用技术和工艺技术），比如建筑物能源证明企业的能源审计二氧化碳审计专项审计考察一个企业内部的单个领域（通用技术或者工艺技术），比如压缩空气审计电力驱动热量图能源审计//能源审计的流程通用技术：用途不仅仅局限在一个行业/部门的技术工艺技术：在各自行业内应用的不同的生产工艺2.组织和规划全面审计专项审计压缩空气电力驱动照明热能生产资源规划/结构和流程组织规划确定为实现目标所需的资金和物资

实现各个工作步骤各需要几天时间？需要哪些物资（软件/硬件）？人员规划是否需要些外部专家？（比如进行测量和模拟等）根据专业能力和个人能力选择审计团队；审计师的中立性规划组织构成各项活动的责任规划规划日程组织需要进行的工作步骤的规划能源审计//能源审计的流程2.组织和规划能源审计//能源审计的流程典型的能源审计项目规划2.组织和规划日期和时间准备编写必要的问卷分发问卷准备用户数据对获得的数据进行评估考察工厂项目启动会议收集数据、进行测量对收集的数据进行评估确定节能措施项目思路的中期汇报制定措施，编写报告对收集的数据进行详细分析建立能量平衡和材料流建立能量流和对标制定节能措施计算节能量和经济性分析文献资料编写中期报告提交中期报告客户对中期报告进行评价提出意见编写最终报告提交最终报告准备汇报资料进行最终结果汇报结束考察典型的能源审计规划能源审计//能源审计的流程活动建筑物工厂天数天数数据收集13数据评估13节能项目分析25编写报告12编写汇报材料0.81.3汇报0.20.22.组织和规划典型的根据领域/活动进行安排的物资、人员和职责规划能源审计//能源审计的流程领域/活动物资人员/职责分工能源中心烟气分析专家A工艺A热敏照相机专家A,B工艺B---专家C压缩空气电流卡钳专家B污水处理设备---专家C编写报告电脑专家A,B,C准备汇报材料电脑专家A,B,C汇报电脑/投影仪专家A,B,C2.组织和规划根据审计目标制定详细的审计内容规划需要哪些程序？工作步骤、模拟、测量编写问卷提前收集相关领域的数据编写审计的检查清单审计过程的检查清单能源审计//能源审计的流程检查清单现有哪些与能源相关的设备在运行？现场采用了哪些与能源相关的工艺？现场与能源相关的设备是如何相互连接的？利用哪些参数确定单体设备的能耗？有否主体设备/工艺的能量平衡？2.组织和规划典型的建筑物检查清单何时建造？有多少层？总供热面积是多少？存在哪些图纸以及是否可供使用？外墙部分是如何构建的？尺寸多大？安装有哪种门窗，有多少？是否有相邻建筑？建筑物内是否有不同的温度区间？热水和室内供暖是如何提供的？热水和室内供暖是如何分配的？热水和室内供暖的主导温度是多少？供热管网的分配管道是否保温绝热？建筑物内的自然/机械换气（通风）率是多少？…..能源审计//能源审计的流程2.组织和规划能源审计//能源审计的流程典型的工业企业检查清单企业何时建成？企业生产何种产品？年产量多大？企业在什么时间生产？企业厂生产采用了哪些工艺步骤？是否有计划年度停产？有否特殊的安全技术设备？企业有多少职工？企业使用何种能源载体？每年各种能源载体的消耗量是多少？每种能源载体的价格是多少？各种能源载体的主要用户是哪些？是否有主要耗能用户的资料？企业自己是否按照不同的部门、机器和驱动器等分类进行能耗测