一套完整的微模块数据中心解决方案

一套完整的微模块数据中心解决方案微模块数据中心根据高效节能、优化管理的基则设计而成，包含了制冷模块、供配电模块以及网络、布线、监控、消防等模块。微模块有向外供电接口、制冷接口、网络接口以及通过顶置弱电与强电槽预留综合布线接口。采用列间空调进行制冷，实现了100%的高显热比，有效降低数据中心的整体加湿与除湿能耗，列间空调使气流循环路径最短，在有效冷却的前提下提高数据中心热密度，实现了数据中心的节能制冷。微模块数据中心心系统由高性能机柜系统、配电列头柜系统、热交换机散热系统、消防冷通道系统、综合走线系统及综合监控管理系统组合而成。采用独特的冷热循环通道设计，整个机房内部的冷、热气流交换都在内部封闭空间内完成，与机房外部不联通；其中通道走廊内为冷通道区，机柜后部（200mm空间）为热通道区，通过交换机的冷热循环交换实现对设备的制冷和散热，使得整个制冷系统更高效、节能、环保。微模块数据中心的综合管理系统集融了包括动力监控、环境监控、安保监控、远程监控、多媒体报警5大监控管理功能，使得整个数据中心机房内所有的物理环境、微环境因素得到了实时的监控管理，机房管理者能在第一时间掌握数据中心机房的运行数据情况。另外，整个微模块数据中心还配备智能电源管理系统（列头柜）、消防联动顶板系统、自动移门系统、综合走线系统，让整个数据中心配套设施更完善，各项实际应用功能更齐全，为网络设备的安装使用和维护提供了完整可靠的机房综合解决方案。

微模块数据中心示意图1.

设计要求指标要求机房建设功能分区主机房，辅助间（消防间、配电间，监控室，UPS室等），装修材料保温、隔热、防火、防静电、防尘、吸音、防潮、防鼠虫活动地板35mm以上厚的防静电地板，离地净高400mm-450mm承重≥500kg/M²，局部承重应满足承载设备特殊要求（放置空调设备和供电设备的地板承重≥1000kg/M²）给排水（防水）任何无关给排水管道不得穿过机房；位于用水设备下层的计算机机房应在吊顶上设防水层，并设漏水传感器及排水措施环境条件空调机房精密空调（恒温恒湿机房专用空调）温湿度夏季温度23±2℃，冬季20±2℃，相对湿度在45%～65%之间，不得凝露洁净度在静态条件下测试，每升空气中大于或等于0.5μm的尘粒数，每立方厘米应少于18,000粒电气技术供配电系统双路供电，机房专用，供电电源质量应符合GB50174-2008

A级不间断供电系统（UPS）负荷功率小于单机UPS额定功率的65%，并实现双母线不间断电源供电、保证生产设备工作1小时以上延时配电柜全部设备双路供电：二路UPS供电为机房设备提供可靠保障。原器件、配件采用符合国家标准、质量合格的配电柜及元器件，过流过压保护，消防报警控制系统与空调系统、配电柜联动配置。布线地板下电源线应根据负载大小采用铜芯屏蔽导线并按标准铺设、焊接，满足负荷要求；布线系统要满足国家综合布线标准要求。插座采用机房专用插座，市电、UPS电源插座分开，两者应有明显区别标志并满足负荷使用要求。三相不平衡度三相不平衡度应小于20%照明核心区、生产区平均照度不应低于400lx，辅助区等其他区间平均照度不低于300lx，备用照明的照度不低于40lx，并为正常照明的一部分。直流接地直流接地电阻应按计算机系统具体要求确定交流保护地电阻小于4Ω交流接地交流接地电阻小于4Ω防雷系统电源进线按国家标准GB50343－2004采取防雷措施防雷接地电阻小于4Ω安全接地电阻小于4Ω综合接地交流工作接地、安全保护接地、直流工作接地和防雷接地等四种接地共用一组接地装置时，其接地电阻按其中最小值确定，电阻小于1Ω。机房动力环境监控配电、UPS、精密空调、温湿度、漏水传感器监测等防鼠虫害密封、线缆套管,并使用灭鼠虫设备药剂2.

设计原则计算机机房是各类信息的中枢，机房建设工程必须保证计算机系统设备能够达到长期、安全、可靠运行，同时还为机房工作人员提供一个美观、舒适的工作环境。为使机房工程的设计能够满足上述要求，对如下几点进行着重考虑：方案完善性设计方案的完善性机房工程一旦竣工，不宜再进行阶段性翻新、改造。装修美观性机房的装修效果：要达到舒适宜人，简洁明亮。安全可靠性机房设计强调以安全可靠为准绳：有完善的不间断供电系统、可靠的配电方案、功能齐全的设备环境、有效的防雷防过压及接地保护措施。

适用性和方便性信息技术日新月异，技术淘汰更新速度快，面对这些，我们追求的是适用为上。综合楼的设计和网络的部署必须方便用户使用，一个其他方面再好的综合楼和网络，如果使用不便，就不可能得到直接用户的认可。统一性和可扩展性新建的中心数据中心机房和网络，不光是为了满足目前的紧迫需求，还要面向未来5年乃至更长时间发展的需要。因此，设计要体现高度的可扩展性，以便日后根据需要逐步扩充，工程的可扩展性：机房设计应具有较高的科技含量和超前意识，应考虑到今后设备所需的空间布局、空调及电力容量，能够满足今后业务发展的需要。建设统一的中心数据中心机房和网络环境，搭建统一网络基础设施，在保证各部门的应用和安全域独立的前提下，实现资源的高度共享。使贵台各部门的数据能实现动态交换和共享，从而使各部门之间的应用系统构成一个有机的整体，信息资源开发和利用落到实处。先进性和稳定性采用先进成熟的技术和设备，尽可能采用先进的技术、设备和材料，以适应高速的数据与需要，使整个系统在一段时期内保证技术的先进性，并具有良好的发展潜力，以适应未来业务的发展和技术升级的需要。机房设备和供配电器件的可靠性：全部采用符合国家标准的机房产品或其它国内优质标准的产品，技术性能和安装工艺均应符合国家标准，以确保系统运行稳定。灵活性与可扩展性必须具有良好的灵活性与可扩展性，能够根据业务不断深入发展的需要，扩大设备容量和提高用户数量和质量的功能。人性化强调以人为本，注重对工作人员的身心保护。在机房设计中,特别注重人、机工作场地的绝对分离等,专门划分出大型、高尖端、现代化设备的工作场地,以满足这些设备所需的特殊工作条件和工作环境要求，并做出相应的安全保护措施。标准化整体设计要基于国际标准和国家颁布的有关标准，包括各种建筑标准，电力电气保障标准以及计算机局域网、广域网标准，坚持统一规范的原则，从而为未来的业务发展，设备增容奠定基础。经济性通过分阶段投资，随市场变化扩充基础设施容量，规避投资风险，减少因不确定性而产生的投资浪费，保证企业的优化投资和不断发展。以较高的性能价格比构建机房，使资金的产出投入比达到最大值。能以较低的成本、较少的人员投入来维持系统运转，提供高效能与高效益。可管理性由于智能化机房系统具有一定复杂性，随着业务的不断发展，管理的任务必定会日益繁重。所以在设计中，必须建立一套全面、完善的管理和监控系统。所选用的设备具有智能化、可管理的功能，同时选用先进和管理监控系统设备及软件，实现先进的集中管理监控，实时监控、监测整个系统的运行状况，实时灯光、语音报警，实时事件记录，这样可以迅速确定故障，简化管理人员的维护工作，从而为系统的安全、可靠运行提供最有力的保障。1.1

微模块数据中心构成分解微模块数据中心图解双列解决方案：单列解决方案：1.2微模块数据中心机柜系统之机柜系统机柜为19英寸标准高强度机柜，机柜容量42U。冷轧钢板，钢板厚度1.2mm以上，表面喷塑；防锈、防水、防腐蚀。采用在机柜后部200mm的位置形成一个热通道区结构，并且对热通道区进行专门的封闭处理，后门为全封闭钢板门，所有门缝采用密封胶条进行填充封闭，侧门采用多道弯边工艺进行封闭处理，将热气流进行有效的集中管控，确保热通道内的热风不往机房外空间溜走，其中模块化机柜的侧门采用左右两块侧门拼装结构，机柜后部的200mm侧门通常为打开状态，机柜并列拼装后，形成一个封闭式的热气流通道，将机柜前部服务器、CPU等设备散发的热气集中管理在热通道区中，侧边并列安装蒸发式制冷系统，通过蒸发式列间制冷系统侧边的气流吸收设备（开有高密度的风流吸收孔），将热气流进行统一回收利用。图1冷热风循环交换示意图要实现数据中心机房的冷热通道分离，保证冷热气流循环交换，除了在整体数据中心实现封闭的前提下，最为关键是要处理好对单台模块化机柜的气流封闭、导向结构处理；机柜除19寸设备安装位外，两侧、顶底部都进行了独特的封闭挡风设计（兼顾理线功能），保证所有的冷风都只能从服务器设备流通经过（吹服务器散热），通过有效的控制冷热风的流向，从而大大提升了气流的利用率。1.3

微模块数据中心机柜系统之供配电系统精密配电柜是一款针对数据中心机房综合采集所有供电情况的配电柜。为终端能源监测系统提供高精度测量数据，通过显示单元实时反映电能质量数据。并通过网络上传至管理系统。以达到对整个配电系统的实时监控和运行状态的有效管理。帮助用户优化网络数据中心，加强能耗管理，提高服务器机架运行效率，实现全方位绿色IDC提供可靠保障。作为机柜排级列头柜配电，对数据中心内机柜电源进行分配和管理,并可以对每个机柜的用电情况进行精确的监测。1.4微模块数据中心机柜系统之热交换机散热系统1.

数据中心机房总热负荷的计算方法l

主机房总热负荷计算方法依据数据中心机房内热量的来源，对于数据中机房总热负荷，采用的计算公式如下：Qt=Q1+Q2其中——Qt为主机房总热负荷(kW)——Q1室内设备负荷(考虑到设备的使用率，Q1=设备总功率×0.8)——Q2建筑环境热负荷(=0.12～0.18kW/m2×机房面积，其中北方地区取0.12kW/m2，南方地区取0.18kW/m2)l

UPS和电池室、动力机房热负荷计算方法采用估算法计算UPS和电池室或动力机房的热负荷，计算公式如下：Q=0.35×S其中——Q为UPS和电池室或动力机房总热负荷(kW)——S为UPS和电池室或动力机房的面积——单位面积热负荷取0.35kW/m2l

UPS电源机房热负荷计算方法UPS热负荷及配电系统热负荷计算公式如下：Qups=0.04W1+0.06W2其中——Qups为带电池UPS的热负荷(kW)——W1为电源系统额定功率值(UPS额定容量)——W2为IT设备总负载功率Qp=0.02(W1+W2)其中——Qp为配电系统的热负荷(kW)2.

精密空调方案选型l

主机房热负荷计算（1）室内设备热负荷基于UPS额定功率计算UPS额定功率KVA使用系数设备负荷Q1

kW备注600.848中心机房基于机柜设计功率计算机柜功率kW数量使用系数设备负荷Q1kW备注3100.824中心机房（2）建筑环境热负荷建筑面积m2热负荷系数kW/m2建筑环境热负荷Q2kW备注690.1812.42中心机房（3）主机房总热负荷基于UPS额定功率计算设备负荷Q1

kW建筑环境热负荷Q2

kW总热负荷Qt

kW备注4812.4260.42中心机房基于机柜设计功率计算设备负荷Q1

kW建筑环境热负荷Q2

kW总热负荷Qt

kW备注2412.4236.42中心机房3.

数据中心机房机型选型分析建议下图HP公司为机柜内设备负荷划分为3个等级：

机柜负荷小于8KW（国内为5kw）为小密度，常规房间级空调制冷方式就能满足需求；机柜负荷在15KW-5KW，为中小密度，需采用行级空调或房间级空调精确送风方式，并进行冷热通道密封的制冷方式才能满足需求；当机柜负荷大于15KW时，高热密度，必须采用行级加冷热通道密封精确送风方式；微模块数据中心采用高效直接蒸发式列间制冷系统，形成一套完整的针对本机房情况量身定做的方案；配置了高效直流变频EC压缩机、EC风机，电子膨胀阀、室外机配置高效变频猫头鹰式风机，以及先进的EVO控制系统支持，不仅减少了机房中空调摆放的占地，同时也提高了交换机的利用率，因此，采用高效直接蒸发式列间制冷系统会达到节能、节地的双重效果。列间制冷系统高可靠性、灵活性，动态制冷，具备适应快速更新变化的机房负荷，可实现多套机组群组运行，且可实现共同联控，最多群控32台机组进行统一管理。行级制冷：高性能行级空调，风冷形式/冷冻水形式可选，前送风后回风，水平送风距离仅2-6m，不受限于风道及开孔地板，送风效率大大提升，完美匹配高密+封闭冷热通道场景，大幅降低PUE，解决局部热点问题；例如已经机柜的数量为22台，单机柜功率3KW，考虑到使用了行级精密空调进行制冷，本方案制冷方式损耗很少，不用按照传统算法进行计算，可安如下方法进行计算：总制冷量Q=设备负荷+冗余负荷（设备负荷的10-20%）=22KW×3×1.1=72.6KW因为本方案机房按照国家B类机房标准进行设计，所有在考虑制冷设备时需要进行N+X冗余配置，即需要制冷设备有容错冗余，本次方案我们采用4台行级精密空调，单台空调制冷量25.5KW，100%显热比。3+1冗余配置，3台空调的制冷量为76.5KW，能够满足机房制冷的需求，另外一台空调作为冗余配置，4台空调进行制冷轮值，提供精密空调的使用寿命。制冷方式的选择常规精密空调的制冷方式有风冷、水冷、冷冻水冷、乙二醇冷等四种，在数据机房中，主要运用的是风冷和冷冻水冷两种精密空调机组。现针对风冷和冷冻水冷机组的特点进行相关对比，以便提供最优的解决方案。风冷、冷冻水冷空调的原理特点对比：名称风冷机组水冷机组备注设备造价低较高建造工程量无需专业工程设计，工程量小，工期短需专业设计，工程量主要集中于管路建设，工期偏长安全可靠性机房内进水仅为加湿水管，对机房影响小循环冷媒为水，管路出现泄漏会严重威胁机房安全能耗适中较风冷节能安装要求室外机相对于室内机的垂直高度在-5~20m以内，管程60m内为宜，增加需配延迟组件。无特别硬性要求，适应现场环境能力强后期维护仅室内机与室外机维护，工作量小室内机、冷却塔、水冷主机，管路、水泵都需要定期巡检维护，更换循环水，过滤器等，工程量大，成本高环境要求-40℃～＋45℃-35℃～＋45℃综合考虑，冷冻水机组的建造成本和后期运维成本较风冷机组更高，考虑到节能性，大型数据中心可以考虑使用冷冻水机组，同时因为在机房内引入了水源，降低了机房安全可靠性，不推荐使用。本方案中我们推荐采用风冷型精密空调机组，成本低，维护简单，安全可靠。密闭冷通道行级水平送风：根据机房现场环境及客户需求，本方案中我们采用机组前送风、后回风的气流组织形式，配合机柜密闭冷通道使用。杜绝冷热空气混合，提高机柜级的制冷效率，比常规的送风方式更高效节能。精密空调技术规格单位020025040总冷量kW2325.540.4风量m³/h492050508080压缩机数量pcs111风机数量pcs633电压V380~415V380~415V380~415V频率Hz505050相数P333满载电流A17.223.238.8机组重量kg185200356机组宽度mm300400600机组深度mm110011001100机组高度mm2000200020001.5微模块数据中心机柜系统之冷通道系统冷通道密闭组件主要包括顶部封板和通道移门，根据现场环境提供单排密闭组件和双排密闭组件。每块通道顶板和机柜宽度相同，固定在两侧机柜。材质使用阻燃有机玻璃+密封条+金属边框，阻燃有机玻璃厚度为4mm；颜色为全透明，金属边框黑色亚光细砂纹；不影响照明，无需通道内再加照明。数据中心为更好的解决机房消防隐患，我们设计了与消防系统联合动作的通道顶板。220V市电经过电源适配器转换后变压为12V直流给磁力锁供电，磁力锁在通电状态下保持翻转板和外框的闭合，从而使通道达到密闭的效果；当消防系统发出消防告警信号时,断路器接受信号并断开开关，此时磁力锁电源消失，顶板在重力作用下绕着转轴翻转，可在0.5秒范围内瞬速开启，开启面积不小于顶部隔板总面积的30％,以实现消防气体喷放的要求通道打开，消防气体进入,达到灭火的目的。顶部隔板开启后不妨碍数据中心内的其他设备部件的正常运行及冷通道内人员通行。数据中心通道两端入口处用移门封闭，材质使用钢化玻璃镶金属边框，钢化玻璃厚度不小于5mm；可看清通道内情况，门为双层，安装把手，开门方式为铰链+双开门+智能锁具，在通道内外均可开启；

全铝合金材质导轨,对开门结构设计,马达驱动方式特点：*

静音自动门驱动装置设计独特巧妙，突破传统自动门的传动方式，结构紧凑、性能可靠。消除噪音污染，保障数据中心内环境的安全和舒适。*防夹安全功能专项人性化防夹功能设计，能遇阻返回，安全性能大位提高，避免出现安全事故隐患。*停电自动开启功能设断电自动开启功能，对出现危急情况时尤为重要。*多款式门禁选择可选择密码锁、指纹、刷卡、感应、遥控器、手动门禁方式。*人性化动作调整可根据实际需求对移动门的开/关门速度、缓冲距离、缓冲速度、开放时

间等动作参数进行调整。1.6微模块数据中心机柜系统之综合布线系统数据中心在机柜顶部设计有横纵双向多功能走线槽，同时支持强弱电分离的布线方式，为各户提供更方便简捷的布线方案。如图所示，走线槽在机柜顶板横向安装，可进行前后任意位置的调节使用，当多组机柜并柜时，走线槽也相应组成走线槽组，实现跨柜间的相互布线。数据中心布线包括核心计算机房内布线和计算机房外布线和支持空间（计算机房外）。如下图所示：总配线区(MDA)：安置路由器、主干线缆、LAN/SAN交换机、PBX程控交换机、配线架；水平配线区(HDA)：安置LAN/SAN/KVM交换机、配线架；区域配线区(ZDA)：安置HAD与EDA的中间续接区域过线盒/整合点；（本方案不考虑建设）设备配线区(EDA)：安置机架/机柜/设备、出线盒。另外计算机房/主机房与接入室(ER)直接相关，接入室安置网络运营上的接入设备。主配线区被认为是数据中心的核心，一般设置在计算机房的中心或者比较靠近核心的位置，这样能够尽量减少到各水平配线区之间的距离。在设计之初，主配线区就需要留有足够的空间，一般建议至少保留50%以上的空间做为将来升级的空间。避免将来升级的时候遇到空间不足的困扰。推荐光/铜的配线架分放在不同的机柜内。数据中心的主干系统包括主配线区（MDA）到水平配线区（HDA），多个MDA之间的骨干布线系统。主干系统建议采用单/多模光缆和铜缆双绞线布线的组合配置，以相互备份。主干光缆：支持当前主流的10G以太网，并考虑面向未来的40G/100G应用，采用激光优化OM3/OM4多模光缆或OS2低水峰单模光缆。采用LC或高密度MTP/MPO接口。主干铜缆：作为连接核心交换网络和汇聚交换网络及接入交换网络的主干系统，建议采用6A屏蔽系统支持网络传输。为了完成从MDA到HDA的光缆主干快速部署，推荐采用预端接光系统，尽可能的减少对空间的占用。数据中心综合布线6A屏蔽系统主要由6A类4对屏蔽电缆、6A类屏蔽跳线和6A类屏蔽配线架组成。应用于万兆及以上的传输需求，其性能指标超出了ANSI/TIA568-C.2的500MHz要求，同时提供显著的余量空间。配合SHIP的高性能6A类连接硬件，为用户提供更优化的传输性能支持，大大减小了近端串扰（NEXT）和远端串扰（ANEXT）的损耗，同时满足数据中心数据传输要求。护套材料采用阻燃(CMR)或低烟无卤（LSZH），确保应用安全。全新的和扩展的高性能MPO即高密度预端接光系统解决方案，由高品质光缆和元器件组成，保证了对重要数据中心链路具有前瞻性的支持，包括10Gb/s，未来的40Gb/s以及100Gb/s的应用。该解决方案只需简单地拉动和插拔操作即可完成安装，比传统现场端接光纤的连接方式，速度大大提高了。预端接系统由MPO预端接光缆、MPO预端接模块、MPO预端接光纤配线架等组成。预端接光缆以12芯为一个增量单位，采用50/125μm万兆(OM3)多模光纤或OS2低水峰单模光纤，插头端面B型结构，同时提供MPO-MPO或MPO-LC/SC多种接口方式，根据客户需求，提供不同芯数、不同长度、不同端面结构和不同接口方式的各类预端接光缆，实现高性能、高密度的光纤系统连接。MPO预端接模块具有截面小，重量轻，容易安装等特点，在每个模块的后部带有便捷的12芯光纤MPO连接头，在前部可提供多达12或24芯LC/SC连接头。每个设备机柜内安装一个24口配线架和一条12芯预端接光缆、1个12口光配，每个机柜内信息点汇聚到所在通道的网络列头机柜。综合布线铜缆系统需采用6A类屏蔽系统，光纤系统采用万兆多模光缆，光纤链路采用预端接技术。所需产品详见配置清单1.7微模块数据中心机柜系统之综合监控管理系统监控管理系统集机房动力、环境安防以及服务器系统资源、网络资源等集中监控系统的管理服务平台，是专为现代计算机、网络通信机房及无人值守变电站而设计的多功能远程集中监控系统，主要监控对象包括：供配电、照明、开关、电源防雷器、UPS、发电机、精密空调、新风机、漏水、温度、湿度、有害气体；消防控制器、烟雾探测器、温感探测器、门禁、视频、防盗报警、主机等设备。4.

动力监控系统1）.配电监测通过远程RS485通讯接口与PDM（电源管理系统)有效兼容，可将采集到的参数传送到机房监控系统，机房管理人员能实时监测设备运行状态。可监测主支路的电压、电流、频率、总功、有功功率、无功功率、功率因数、负载百分比、电量(可根据客户需要按月计量)、历史趋势图等参数。将这些主、分回路的各种参数集中显示在液晶显示屏上。便于系统故障的维护处理。对于市电各种异常情况，如市电停电、供电频率不稳定、单相负载量过高等，系统立刻弹出相应的报警窗口，同时并第一时间发出多媒体语音、电话语音拨号、手机短信、声光等对外报警等方式告知机房管理人员。2）.

UPS监测实时监测UPS的输入输出电压、电流、频率、功率，蓄电池组容量、电压、温度等参数，整流器、逆变器、电池、旁路、负载等部件的工作状态与参数。可对监测到的各项参数设定上下限阀值，一旦市电发生超限报警，在相应的位置发生报警的参数会变红色显示，同时产生报警事件进行记录存储并有相应的处理提示，并第一时间发出多媒体语音、电话语音拨号、手机短信、E-Mail、声光等对外报警。5.

环境监控系统1).温湿度监测通过在机房重要部位安装带液晶显示的温湿度传感器对环境温湿度实现监测，既可在温湿度传感器表面实时看到当前的温度和湿度数值，亦可通过温湿度传感器的RS485智能接口与协议转换器设备采用TCP/IP方式将信号接入监控服务器的串口，由监控平台软件进行温湿度的实时监测。系统可对温度和湿度参数设定越限阀值（设定上下限、），一旦温湿度发生越限报警，且发生报警的参数会变红色并闪烁显示，同时产生报警事件进行记录存储并有相应的处理提示，并第一时间发出多媒体语音、电话语音拨号、手机短信、E-Mail、声光等对外报警。2).漏水监测由于机房内有列间制冷设备的