数据中心运行的几个坑

1、数据中心建设的几个坑单位：中国移动北京公司日期：2014年7月2目录我什么也不管，只要安全？我什么都不懂，可什么都敢答应？方法介绍DCIM的几个建议IDC机房界面IDC机房标准3前言90年代，有位老师做了实验，当水温60度的时候，青蛙就从水中跳出来了。所以大家都这么说，但实际上可能不是这么回事。IDC又何尝不是一个温水煮青蛙的故事。成本（万元/年）民营民营电信电信北京移动北京移动带宽购买费468-409 网络（按5年折旧）11025142271 电费36021771355 房租240-224 人工成本300301288 运维成本1080663 总成本147860725210 成本收入率74%8

2、4%84%总机架数200900560每机架网络投资2.892.794.06 每机架电费（万元.年）1.82.422.42 每机架房租1.2-0.40 每机架人工运维1.51.531.70 每机架收入10811.09 每机架平均成本7.396.759.30 每机架毛利2.611.251.78 净利率20%12%12%2009年数据，当时只有560个销售机架，目前已经有了6000多，5年成长了10倍以上4我什么都不懂，可什么都敢答应-小坑IDC到底挣钱不挣钱？是每个领导都要问的问题，所以需要大量的成本核算工作。5我什么都不懂，可什么都敢答应-小坑IDC机房是作为产品销售的，在一个充分竞争的市场，销

3、售人员为了完成销售指标，以满足客户需求为宗旨，答应了客户各种合理或者不合理的要求。比如：1、机房温度24度。冷热通道的机房怎么解决？2、72小时柴油后备。上哪放那么大的油库？安全合规吗？3、全双路供电，双总线，还能提供直流供电。配电结构一下复杂了？4、高密机柜要求水冷空调具有不间断制冷能力。水泵配UPS，配得起吗？再说就这么几个高密，值吗？5、外电不中断。柴油发电机应急演练怎么办？6、3路外电，一路都不能少。当初谁告诉他的呀？。接待室、会议室、库房、停车位、电力施工。最核心的问题：还没当过乙方，还不会当乙方。态度生硬客户跑了，一味从了的话，后台支撑不了。6我什么都不懂，可什么都敢答应7我什么都

4、不懂，可什么都敢答应8我什么都不懂，可什么都敢答应9我什么都不懂，可什么都敢答应-小坑10我什么都不懂，可什么都敢答应-小坑能耗能耗密度密度kw/架架11我什么都不懂，可什么都敢答应-大坑CAPEX：CAPITION EXPENSE 一般只资金、固定资产的投入。对数据中心来说，可以简单理解为拿地、建楼、购买机房内一切基础设施及IT设备的一次性投资OPEX：OPREATING EXPENSE 既运营成本，可以理解为每年为了维持数据中心运营的费用性支出，如电费、柴油、人力、维保等等，当然还有折旧。IDC机房的建设基本上是拿地、地勘、报建、咨询、建设设计、机房设计、IT设计等等。但是这事正好干反了，

5、因为IDC我们还不知道用户是谁，他的主要功率密度，什么IT设备，所以，方案的灵活性要求很高，但是。12我什么也不管，只要安全？运维部门的KPI全年无重大故障，不影响业务能耗降低计划部门考核要求：投资完成比建设部门考核要求：是否按时交资“考核什么，就得到什么”考核的是安全，收支两条线，挣多少钱和维护的无关，有关的只有安全建设成本和维护无关13我什么也不管，只要安全？每台机柜占纯机房面积约为2.5M2，TIERIII标准纯机房面积和总建筑面积比例约为1:3，比如3000台IT机柜的机房面积约为7500M2，总建筑面积约为22500M2，如IT机房灭火方式为气体灭火（根据气体灭火设计规格要求每个防护

6、区最大容积不宜大于3600M3）IT机房模块约为15个，每个IT模块约为为500+120M2（精密空调面积）；总建筑面积约为22500M2包括7500M2的IT模块机房，高压配电室、电力控制室、柴油发电机房、雨淋阀组间、冷冻站、消防控制室、电信介入间、气体钢瓶间、变电所及UPS室、电池间、网络核心间等。目前移动公司的水平，10个平米出一个机柜。民营的可以做到5平米一个机柜。14我什么也不管，只要安全？计算PUE，需要在如图2所示的数据中心的供配电系统示意图中，测量数据中心总耗电及IT设备耗电，具体测量点如下：1)数据中心总耗电在正常情况下，数据中心的电能由市电提供，测量点应取市电输入变压器之前

7、，即图2中的M1点。当市电故障情况下，柴油发电机产生的电力（图2中的M2点）作为数据中心总耗电的测量点。如果是多用途机房楼，数据中心总耗电计算中，需减去在M4点测量的办公等其它耗电。2)IT设备耗电严格来说，IT设备耗电应该在各IT设备输入电源处测量耗电量并进行加总，但由于IT设备数量较多，这一方法将大大增加测量工作量和成本。因此，在实际操作中，可在各路UPS输出或者列头柜配电输入处进行测量后，将测量值加总作为IT设备耗电。每一路供电的IT设备测量点即图2中的M3点。15我什么也不管，只要安全？能耗指标的数值受各种因素的影响，会随季节、节假日和每天忙闲时段的改变发生变化，因此为全面、准确了解数

8、据中心的能效，应采用固定测量仪表，对数据中心能耗进行持续、长期的测量和记录。若数据中心未安装固定测量设备，可采用钳形功率计等设备测量数据中心及IT设备等的短时用电量。测量的周期和频率如下：(A) 每次测量不小于一小时；(B)每天测量不少于2次，在业务忙时和闲时进行测量；(C)每月不少于3天，可在5日、15日、25日进行测量。数据中心应根据连续或多次短时累计的数据中心总耗电、IT设备耗电等测量值（单位为KWH）来计算PUE等能效指标。如无特殊说明，数据中心的PUE、PPUE、CLF、PLF和RER等能效指标，是指采用固定测量仪表，在指定测量点测量并记录至少一年的数据。数据中心如果选择公布季度、月

9、份、周、天或小时发布能效数据，应对其能效周期加以说明。其中季度可按照春季（3月5月）、夏季（6月8月）、秋季（9月11月）、冬季（12月2月）划分。16我什么也不管，只要安全？n机柜密度：3KW/RACK ，功率密度：1.26KW/M2 1.65KW/M2， PUE1.6-1.8n平面布局：面对面，背靠背；冷通道1200MM，热通道为1200MM 封闭冷通道，通过热通道自然回风；n气流组织: 风冷DX型空调与主设备机柜放置在同一房间内，若单独隔开，则需要额外1525的空间（冷冻水或水冷却型需要单独隔开）；采用下送风，上回风设计；送风距离小于1520M时可以采用单排送风，送风距离大于1520M时

10、，要采用双排送风设计n地板高度: 500-600MM，机柜上方高度1000MM左右，n走线方式：强电、弱电线槽均采用机柜上走线方式；n机柜内气流：前进后出，服务器、交换机等设备间做盲板隔离，防止热风回流；n冷通道送风温度：18度-24度（在允许情况下尽可能提高送风温度），n送风湿度：24摄氏度时,相对湿度为35%-60%；18摄氏度时，相对湿度为45%-80%之间；n机房专用空调类型：冷冻水型、乙二醇干冷器水冷型、DX直接蒸发风冷型；均可以使用自然冷却技术，节能效果比较好的是冷冻水系统配板换自然冷却技术，和乙二醇干冷器水冷型双盘管自然冷却技术；n供电设计：双总线供电设计或矩阵式多总线供电设计（

11、3路或4路交错供电）17按照UPTIME INSTITUTE（正常运行时间研究所）的标准分为4类 TIER 1:简单的非冗余建筑构件 IT的简单非冗余分配网络TIER 2: 冗余建筑构件IT的简单非冗余分配网络TIER 3:冗余建筑构件多分配网络(任何时候每台服务器都只有一个分配网络)TIER 4:冗余建筑构件多分配网络(每台服务器同时有多个分配网络)IDC机房标准18IDC机房标准19DCIM真的管用吗？UMG现场采集结构图现场采集结构图 各级各级智能智能 配电配电柜柜 UPSUPS CRAHCRAH 水浸 烟感 门磁 红外 采集器采集器 PDUPDU 电池组电池组 油机油机 开关开关电源电

12、源 电池电池监测监测仪仪 各级非各级非智智 能配电能配电柜柜 智能智能电量电量仪仪 非智能非智能 设备设备 变变送送器器 环境传感器环境传感器 服务器服务器 网络、网络、 存储存储 设备设备 KVM IQ 串口转接头 SP端口 ITIT基础设施基础设施 智能动力基础设施智能动力基础设施 非智能动力基础设施非智能动力基础设施 Modbus IPModbus IP SNMP SNMP BACnet BACnet Velocity Velocity BACnetBACnet Rs485Rs485 Rs485Rs485 IOIO IPMIIPMI SSHSSHTelnetTelnet Modbus I

13、PModbus IP SNMP SNMP UMGUMG通用管理网关通用管理网关 数字温湿度 数字漏水 检测仪 20电源分配单元PDU测定连接设备的能耗部分也可以测量温度和湿度通过分析 - 找出节能点潜力 - 更高的服务器负荷开/关 不用的设备 (通过 IP 或者 SNMP)DCIM的几个建议211、贵；2、水土不服；3、怎么升级；4、如何完善。DCIM的几个建议1、构架；2、人员；3、操作VDI3922中规定的能源审计方法学能源审计能源审计/ 定义测测量量1. 1. 能源审计的方案能源审计的方案建立建立联联系系报报价和价和签约签约了解了解现现状状展示和展示和评评价价现现状状数据材料充分数据材料

14、充分吗吗？合理利用能源合理利用能源的措施的措施开开发总发总体方案体方案 实实施和施和 成果成果监监控控 汇报汇报和和 咨咨询报询报告告 评评估和估和 措施措施筛选筛选 确定审计的范围2. 2. 组织和组织和规规划划能源能源审计审计/能源审计的流程范围窄宽 精度粗细目的阐述建议 能源审计的划分2. 2. 组织和组织和规划规划能源审计能源审计/能源审计的流程范围 检查模型检查模型 分析模型分析模型 针对系统的 能源审计 初步初步审计审计 逐点逐点审计审计预备预备性能源性能源审计审计 针对针对性能源性能源审计审计综综合性能源合性能源审计审计精确度 初步能源审计能源消费结构不复杂的情况下大部分实际情况

15、和措施事先都已经明了 准备性能源审计（初步审计）准备性能源审计（初步审计） 对于大型企业或者建筑物经常以项目组的形式进行逐条能源审计逐条能源审计（选择性审计）（选择性审计）未明确定义的审计领域或者工艺审计师可以自由选择考查范围针对性能源审计（目标性审计）针对性能源审计（目标性审计）由用户规定考察的范围某些范围可以排除在外综合性能源审计（全面审计）综合性能源审计（全面审计）最精确的一种审计（涉及到所有相关领域） 开发所有可能的措施针对特定系统的能源审计针对特定系统的能源审计选出任务领域（比如压缩空气、电力驱动等）2. 2. 组织和组织和规划规划能源审计能源审计/能源审计的流程 能源审计的节点能源

16、审计能源审计/能源审计的流程2. 2. 组织和组织和规划规划管理系统管理系统能源审计能源审计 措施实施措施实施其他设施其他设施 培训培训能源消耗记录能源消耗记录能源管理能源管理环境管理环境管理自觉自觉意识意识形成的管理形成的管理有关员工自觉有关员工自觉意识意识的形的形成成无成本措施无成本措施低成本措施低成本措施高成本措施高成本措施框架条件框架条件环境活动环境活动质量和安全标准质量和安全标准典型的能源审计流程第一步 ：启动活动收集相关的一般性信息第二步 ：现场考察获得相关领域的概况第三步 ：收集和分析现有文件分析和移交现有的相关资料第四步 ：数据收集和测量收集并测量相关设备的数据第五步 ：对相关

17、领域进行约谈收集和澄清相关领域的必要的信息第六步 ：对能源供应进行分析 分析现有的测量系统/能源结算单评估评估2. 2. 组织和组织和规划规划能源审计能源审计/能源审计的流程典型的能源审计流程第七步 ：措施开发节能措施的提出、规划、可行性研究以及评估第八步 ：经济性分析对措施的经济行进行分析第九步 ：编写审计报告编写一份审计报告，包括措施以及经济性分析第十步 ：展示能源审计结果向企业展示和汇报审计结果并融合企业的意见报告报告确定措施确定措施2. 2. 组织和组织和规划规划能源审计能源审计/能源审计的流程审计报告审计报告确定措施确定措施的的清单清单罗列所有措施，包括能源、经济和生态评价等企业的企

18、业的基本数据基本数据能源价格能耗、生产数据、参照标准能量流、能量平衡相关的能源用户确定的措施确定的措施现状描述展示优化措施能源评价经济性评价生态评价所有措施的清单措施建议措施建议根据规定的标准对措施进行排序对实施措施组合的建议2. 2. 组织和组织和规划规划能源审计能源审计/能源审计的流程确定审计的目标和范围确定观察确定观察界限界限选择所包括的设备和能源方面，以及考察的详细程度确定审计目标确定审计目标选择考察的领域（全面审计/专项审计）审计的范围审计的范围提出为达到审计目的所必需的时间和人力成本审计标准审计标准提出测量审计时应遵循的标准，详细程度确定确定框架框架条件条件定义公开的边界条件（如能

19、源价格）定义影响的程度（比如生产目标，停产等）能源审计能源审计/能源审计的流程2. 2. 组织和组织和规划规划确定审计的目标 全面审计全面审计 考察所有和能源有关的领域（通用技术和工艺技术），比如建筑物能源证明企业的能源审计二氧化碳审计 专项审计专项审计 考察一个企业内部的单个领域（通用技术或者工艺技术），比如压缩空气审计电力驱动热量图能源审计能源审计/能源审计的流程通用通用技技术术： ：用途不仅仅局限在一个行业/部门的技术工工艺艺技技术术： ：在各自行业内应用的不同的生产工艺2. 2. 组织和组织和规划规划全面审计专项审计压缩空气 电力驱动 照明 热能生产资源规划/结构和流程组织规划确定为实

20、现目标所需的资金和确定为实现目标所需的资金和物资物资 实现各个工作步骤各需要几天时间？需要哪些物资（软件/硬件）？人员人员规划规划是否需要些外部专家？（比如进行测量和模拟等）根据专业能力和个人能力选择审计团队；审计师的中立性规划规划组织构成组织构成各项活动的责任规划规划日程组织规划日程组织需要进行的工作步骤的规划能源审计能源审计/能源审计的流程2. 2. 组织和组织和规划规划能源审计能源审计/能源审计的流程典型的能源审计项目规划2. 2. 组织和组织和规划规划日期和日期和时间时间准备准备 编写必要的问卷 分发问卷 准备用户数据 对获得的数据进行评估考考察工厂察工厂 项目启动会议 收集数据、进行

21、测量 对收集的数据进行评估 确定节能措施 项目思路的中期汇报制定措施，编写报告制定措施，编写报告 对收集的数据进行详细分析 建立能量平衡和材料流 建立能量流和对标 制定节能措施 计算节能量和经济性分析文献资料文献资料 编写中期报告 提交中期报告 客户对中期报告进行评价提出意见 编写最终报告 提交最终报告 准备汇报资料 进行最终结果汇报 结束考察典型的能源审计规划能源审计能源审计/能源审计的流程活动建筑物工厂天数天数数据收集13数据评估13节能项目分析25编写报告12编写汇报材料0.81.3汇报0.20.22. 2. 组织和组织和规划规划典型的根据领域 /活动进行安排的物资、人员和职责规划能源审

22、计能源审计/能源审计的流程领域/活动物资人员/职责分工能源中心烟气分析专家A工艺A热敏照相机 专家A,B工艺B-专家C压缩空气电流卡钳专家B污水处理设备-专家C编写报告电脑专家A,B,C准备汇报材料电脑专家A,B,C汇报电脑/投影仪专家A,B,C2. 2. 组织和组织和规划规划根据审计目标制定详细的审计内容规划需要哪些程序？工作步骤、模拟、测量编写问卷提前收集相关领域的数据编写审计的检查清单审计过程的检查清单能源审计能源审计/能源审计的流程检查检查清清单单现有哪些与能源相关的设备在运行？现场采用了哪些与能源相关的工艺？现场与能源相关的设备是如何相互连接的？利用哪些参数确定单体设备的能耗？有否主

23、体设备/工艺的能量平衡？2. 2. 组织和组织和规划规划典型的建筑物检查清单何时建造？有多少层？总供热面积是多少？存在哪些图纸以及是否可供使用？外墙部分是如何构建的？尺寸多大？安装有哪种门窗，有多少？是否有相邻建筑？建筑物内是否有不同的温度区间？热水和室内供暖是如何提供的？热水和室内供暖是如何分配的？热水和室内供暖的主导温度是多少？供热管网的分配管道是否保温绝热？建筑物内的自然/机械换气（通风）率是多少？.能源审计能源审计/能源审计的流程2. 2. 组织和组织和规划规划能源审计能源审计/能源审计的流程典型的工业企业检查清单企业何时建成？企业生产何种产品？年产量多大？企业在什么时间生产？企业厂生产采用了哪些工艺步骤？是否有计划年度停产？有否特殊的安全技术设备？企业有多少职工？企业使用何种能源载体？每年各种能源载体的消耗量是多少？每种能源载体的价格是多少？各种能源载体的主要用户是哪些？是否有主要耗能用户的资料？企业自己是否按照不同的部门、 机器和驱动器等分类进行能耗测量？.2. 2. 组织和组织和规划规划3. 3. 审计的进行审计的进行介绍性会谈（项目启动会）审计成功的基础审计的成功主要取决于现场的从业人员，因为他们拥有数据和经验介绍参加人员，确定负责范围联系人