QM-北控数据中心建设方案

1、机房建设方案 启迷科技PAGE PAGE 20数据中心建设方案需求提出：北京控股集团有限公司方案制作：北京启迷科技有限公司制作时间：2014年7月10日第一部分方案设计说明一、项目工程范围：地面、隔断、吊顶等机房环境装修工程电气工程（机房供配电、UPS）通风工程（空调系统）机房监控报警系统机房防雷接地保护系统服务器、存储及网络设备的综合部署与搭建综合布线及联合调试二、项目概况随着计算机网络系统技术和设备的更新换代，安装计算机及网络系统设备的场地技术，即数据中心工程也在不断地推陈出新。所采用的新材料、设备、工艺和技术，其目的是为了更好地保证数据中心的温度、湿度、洁净度、照度、防静电、防干扰、防震

2、动、防雷电、及时监控等，能充分满足环境内设备的安全可靠地运行，延长系统使用寿命的要求，同时又要给系统管理员创造一个安全、舒适的工作环境。因此，在设计上要求充分考虑环境布局、功能划分、整体效果、装饰风格和设备及系统部署，体现现代数据中心的特点和风貌。北京控股集团有限公司成立于2005年1月18日，是北京市委、市政府加快首都国有资本战略调整、做大做强少数关键企业，对京泰（实业）集团有限公司、北京控股有限公司和北京市燃气集团有限责任公司进行联合重组而成立的国有独资公司，是北京市最大的国有企业之一，也是市委、市政府和市国资委规划的首都基础设施和公用事业投融资平台。成立以来，北控集团实现利润总额始终名列

3、北京市属国有企业首位，并入选“中国最大500家企业集团”、“中国企业500强”。北控集团的主要业务为城市基础设施和公用事业的投资、运营和管理。公司旗下的红筹股公司北京控股有限公司是北京市最大的海外上市企业（HK0392），拥有北京燃气集团、首都机场高速路、北京第九水厂和燕京啤酒等众多优质企业。其中，北京燃气集团是全国最大的城市燃气运营企业，供气量占全北京市年用气量的96%以上；首都机场高速路被称为国门第一路，是目前连接首都国际机场与北京市中心的主要道路；北京第九水厂是目前北京市最大的地表水厂，其一期工程的自来水供应规模约占北京市的五分之一。 在今后的发展中，北控集团将按照“能源合一、服务合一”

4、的经营模式，打造以燃气为核心，以公用事业为主业，气、热、水、路多个强势业务板块彼此协同、相互支撑的业务格局，从而将自身打造成北京市综合性城市公用事业建设运营服务商，为首都社会经济发展作出应有的贡献。数据中心装修总面积约为200平方米。网络接入为40MB光纤专线。集团企业邮局需要满足300500用户办公应用。其他需求可参照现有北控大厦17层机房。本方案编制的目的是为北京控股集团有限公司数据中心建设，提供较为完整的纲领性技术文件，一旦项目开展，我公司将在此基础上进行深化，用以指导工程施工与管理，确保优质、高效、安全、文明地完成该工程的建设任务。三、设计依据 国家标准电子计算机机房设计规范(GB50

5、174-93) 国家标准计算站场地技术要求(GB2887-89) 国家标准电子计算机机房施工及验收规范(SJ/T30003-93) 国家标准计算机机房活动地板的技术要求(GB6650-86) 国家标准计算站场地安全技术(GB9361-88) 国家标准电气装置安装工程接地装置施工及验收规范(GB50169-92) 中华人民共和国公共安全行业标准GA/T75-94安全防范工程程序与要求 中华人民共和国计算机信息系统安全保护条例第二部分机房环境装修设计一、隔断工程隔断采用不锈钢边框&12mm厚钢化玻璃。钢化玻璃隔断近年正逐渐引入到网络机房装修中。它具有隔音、隔热、耐压等特点，透视效果极佳，并增添机房

6、的简练与豪华感。整个机房四周的墙边、墙角均做防水处理。玻璃与吊顶、地板交接处安装亚光不锈钢踢脚板线。机房及办工区内隔断采用不锈钢大框玻璃隔断，隔断与天花、地板交接处装不锈钢角线。二、地面工程机房地板采用架空地板，为使水泥砂浆地面达到不起尘、不产尘、保证空调送风系统的空气洁净度，地面需要先涮防尘漆做防尘处理。活动地板的种类较多，根据板基材料可分为：铝合金、全钢、中密度刨花板。它们的表面都是粘贴抗静电贴面。我们为本机房选用全钢防静电活动地板，可与地面装饰效果相协调。地板安装高度为0.3M。地板与墙体交界处用不锈钢踢脚板封边。机房大门入口处做踏步铺塑胶地板。三、门窗工程整个机房区及办公区的不锈钢无框

7、玻璃隔断上的门均为不锈钢无框玻璃自由门。四、天花吊顶工程根据网络机房的具体建筑结构情况，整个机房为了确保机房的保温和消防需要；全部采用微孔铝制天花板进行铺设，该天花板美观、耐用，防火、防潮，同时与机房屏蔽网一起组成一个完整的屏蔽系统，具抗静电、抗干扰的作用。为保持机房环境廉洁度和保持机房温度均衡，建议采用铝泊制保温棉作天花、墙面、地面保温使机房具有防潮、防尘、保温的性能。五、墙面装饰工程墙面处理是指采用在主机房建筑物的墙面、柱面上进行防尘、防潮、防水、保温处理，同时使房屋内部平整、光滑，清洁美观，改善采用光条件，增强保温、隔热、隔音、防尘等性能从而改善环境条件。主机房墙面、地面及梁面上刷防霉、

8、防潮漆，涂防水油膏，进行防尘处理、确保洁净度高、不产生粉尘、耐久性高、不产生龟裂、眩光，同时起到防水、防潮、防霉的效果。机房应采用优质铝塑板，在选择墙面板材料时，要求能满足屏蔽系统和等电位系统的需求。优质铝塑板生产流程采用目前最新技术及工艺，外观光亮，且性能价格比优，因此优质铝塑板无疑是最佳的方案。在现代科技及工业的高速发展，材料领域的广泛应用中，优质铝塑板饰面光学效果，洁净程度、安全性，施工质量、施工条件均为最佳，优质铝塑板还能满足屏蔽系统的需求。施工时，我们主要有以下四个步骤进行：平整墙面，使用水泥沙浆找平，为下一步提供良好的工作面；采用2mm厚的轻钢龙骨，把它固定到墙面上，成为未来装饰墙

9、面的骨架，同时预留屏蔽接地的引出线，（分布在不同位置的六处地方，形成多点连接）；选取9mm的优质埃特板，固定到龙骨上；选取3mm的银白色的铝塑板沾在埃特板上，接封处采用银白色玻璃胶封边。第三部分配电系统设计一、主要考虑因素及设计方案系统能够正常工作，不仅需要有良好的主设备、性能卓越的UPS电源和安全舒适的工作环境，还需要有一个设计合理、可靠性高的供配电系统。我们为该项目考虑与设计的内容如下：机房内用电设备供电电源均为三相五线制及单相三线制，采用双回路供电。用电设备作接地保护，并入土建大楼配电系统。机房用电设备、配电线路装置过流过载两段保护，同时配电系统各级之间有选择性地配合，配电以放射式向用电

10、设备供电。机房配电系统所用电线阻燃聚氯乙烯绝缘导线，敷设喷塑桥架、镀锌铁管及金属软管。机房的设备供电和空调照明供电分为两个独立回路，其中设备供电由UPS提供并按设备总用电量的1.3倍进行预留，而空调照明用电由市电提供并按空调设备的要求供配。机房内照明装置宜采用机房专用无眩光灯盘，照明亮度大于300LUX，事故照明亮度应大于60LUX。机房内的配电系统考虑了与应急照明系统的自动切换。该机房电源进线正常时由市电供电,市电故障时由UPS供电，进线直接引入机房专用配电柜总输入开关。机房设计了一个市电配电箱，对机房的市电进行配电，配电箱为机房专用标准配电箱，配备低压开关。柜内配有市电备用回路，安装防雷保

11、护器。机房设计了UPS配电箱，对机房的UPS电进行配电，配电箱为机房专用标准配电箱，配备低压开关。箱内配有UPS电源备用回路，安装防雷保护器。机房所有插座均采用普通电源插座和弹起式铜插座，普通电源插座安装在墙壁上，弹起式电源插座安装在防静电地板上，美观大方。二、配电设备及材料选型机房配电工程所需的配电柜、灯具、单相插座、跷板开关、多联万用插座板、导线、电缆等均采用国产或进口的电气优质产品，经实践证明产品质量可靠。三、配电系统设计空调照明部分：该部分采用机房专用配电箱来完成，它接到总配电室送过来的市电电源，通过总电源开关，输出到分支回路中。UPS电源部分：该部分采用机房专用配电箱来完成，它接到U

12、PS送过来的单路电源，通过100A总电源开关，输出到分支回路中。四、UPS不间断电源设计具体描述UPS的技术性能指标有四大类：1)对电网的适应能力；2)满足负载要求的UPS常规输出指标；3)UPS的输出能力和可靠性；4)智能管理和通信功能。a选择大功率UPS兼顾考虑UPS的输入功率因数和输入电流谐波（电力公害问题）。b要考虑UPS的输出能力。c要考虑效率与可靠性我们在本项目所采用的UPS不间断电源需要满足机房所有用电设备的额定需求。第四部分空调工程设计主机房、备用电源区域及监控室，采用地板下送风，天花下自然回风。设置2台制冷量不小于130KW的下送风精密空调，采用一主一备冗余方式，可满足温湿度

13、的要求。空调加湿水由同楼层（或下一楼层）供水管引入。冷凝排水通过专用排水管排到下一楼层。加湿水管进入机房前，在可操作的位置加装开关阀门及电磁阀。在加湿水、冷凝排水的管道须避计算机放置区域，在机房内经过时，在机房内围绕计算机设备和配电设施放置区域，设置围水堰，防止水漏入机房区间。空调位置区设置防倒灌地漏。排气系统的选择依照机房功能分区的设立，我们设置各分区的排气系统。它可以使机房工作人员有一个好的空气环境条件，排气系统采用吊顶天花内安裝，不占用机房空间。我们为机房设计吸顶式排气扇，设备间和工作间各装2个，定时开启，排除房间内的污浊空气。第五部分机房监控系统根据数据中心的安全及日常管理需要，我们考

14、虑采用与大楼闭路监控主机为主的安防系统，并主要针对数据中心的主机房、UPS配电室、监控室、通道4个区域共安装8-10个监控摄像头，用于视频监控，使得数据中心周边及机房核心区域不留死角，充分保障数据中心安全。第六部分机房防雷接地方案一、前言网络机房内集中了大量微电子设备，而这些设备内部结构高度集成化（VLSI 芯片），从而造成设备耐过电压、耐过电流的水平下降，对雷电（包括感应雷及操作过电压）浪涌的承受能力下降。感应雷侵入用电设备及计算机网络系统的途径主要有四个方面：交流电源380V、220V电源线引入；信号传输通道引入；地电位反击以及空间雷闪电磁脉冲(LEMP)等。为了确保机房设备及电脑网络系统

15、稳定可靠运行，以及保证机房工作人员有安全的工作环境，根据我国及国际有关规范规定，提出本防雷接地方案。二、设计依据1.建筑物防雷设计规范GB50057-942.电子计算机房设计规范GB50174-933.通信局(站)接地设计暂行技术规定YDJ26-894.计算机场站安全要求GB9361-885.计算站场地技术要求GB28876.电信专用房屋设计规范YD5003-941.民用建筑电气设计规范JGJ/T16-928.CCITT蓝皮书K.11建议过电压和过电流防护的原则9.CCITT通信线路和通信设备的防雷手册10.Inter Standard Iec 1312-1national Protectio

16、n Against LEMP11. International Standard IEC 1643-1 Surge Protection Devices 三、接地处理 利用建筑物基础地作防雷地及电源地。现代建筑基础使用大面积钢筋绑扎，柱子主钢筋及四周墙体钢筋直通到达屋顶女儿墙防雷带。其接地电阻值一般都能满足GB5005794的要求，即4。机房一般有四种接地形式，即：计算机专用直流逻辑地、交流工作地、安全保护地、防雷保护地。本次设计考虑采用原接地极，并采用联合接地方式；接地电阻应小于欧姆。直流工作地在大楼计算机机房内的布局，是作数字电路等电位地网（或逻辑接地接地网）。该网用铜排在活动地板下，依据

17、计算机设备布局，纵横组成网格，配有专用接地端子，用编织软铜线以最短的长度与计算机设备相连。计算机直流地需用接地干线引下至接地端子。四、供电系统根据有关规范，本方案设计该机房供配电防雷方案如下：一级防雷：配电柜电源进线处接大容通量的电源防雷器。变压器的机壳、低压侧的交流零线以及与变压器相连的电力电缆的金属外护层应就近接地。二级防雷：UPS配电箱引出的三根相线及零线接防雷器，箱内交流零线不作重复接地。机房内所布放的交流供电线路中的中性线（零线），应采取绝缘导线。交流配电箱上的中性线（零线）汇集排应与机架的正常不带电金属部分绝缘。三级防雷：使用专用的避雷电源插座。机房内所有交直流用电及配电设备均应采

18、取接地保护。交流保护接地线应从接地汇集线上专引，严禁采用中性线作为交流保护接地线。五、使用防雷器注意事项防雷保护器必须通过接地端以尽可能短的路径接地。主机房内所有设备采有单点接地法，即所有地线全部接到直流接地汇集排上，再由汇集排与直流地网相连。设备安装时，应与大楼的外墙及柱子保持一定的安全距离。信号防雷器连接必须与数据进线方向一致。不同类型的数据传输线应选用不同类型的保护器。 六、方案设计 根据网络机房的实际情况，我们为甲方设计了一套独立接地系统和防雷系统：防雷系统我们设计安装2个电源避雷器，分别安装在市电配电箱和UPS电源配电箱中，防止感应雷对电源系统的攻击，（对于直击雷，大楼避雷针系统进行

19、防护）；接地系统中，我们在机房内部防静电地板下边利用紫铜做一个等电位带，为机房设备提供接地点，同时在大楼外侧，我们利用镀锌角钢和镀锌扁铁建立独立的接地网系统，两者之间采用35平方毫米的铜导线连接，使之成为一体。第七部分服务器、存储及网络设备的综合部署与搭建本数据中心需要满足内、外网的大量用户与数据交互，涉及到互联网、财务系统、办公网络的综合业务处理，根据需求，拓扑结构如下图：其中核心交换机互相热备、可切换。财务服务器做集群。存储做阵列、并可互相热备可切换。WEB服务器前后端分离，与OA服务器和邮件服务器均为一用一备，并通过虚拟化环境进行管理与维护。楼层间网络交换与下属公司、外联网络做网段划分。

20、同时考虑到设备的采购成本、维护成本及使用成本和质量与稳定性，我们提供了两套可选设备的选购范围，主要区别为优秀的国有自主品牌以及市场选用较多的国际化品牌，详见“第九部分 服务器、存储、网络设备采购方案”网络安全网络安全部署思路本次信息建设虽然仅包括数据中心、内网楼层以及广域网中心部分的改造和建设，但也必须从全局和架构的高度进行统一的设计。建议采用目前国际最新的“信息保障技术框架（IATF）”安全体系结构，其明确提出需要考虑3个主要的因素：人、操作和技术。本技术方案着重讨论技术因素，人和操作则需要在非技术领域（比如安全规章制度）方面进行解决。技术因素方面IATF提出了一个通用的框架，将信息系统的信

21、息保障技术层面分为了四个技术框架域：网络和基础设施：网络和基础设施的防护飞地边界：解决边界保护问题局域计算环境：主机的计算环境的保护支撑性基础设施：安全的信息环境所需要的支撑平台并提出纵深防御的IA原则，即人、技术、操作相结合的多样性、多层叠的保护原则。如下图所示：主要的一些安全技术和应用在框架中的位置如下图所示：我们在本次网络建设改造中需要考虑的安全问题就是上图中的“网络和基础设施保护”、“边界保护”两个方面，而“计算机环境（主机）”、“支撑平台”则是在系统主机建设和业务应用建设中需要重点考虑的安全问题。设备级安全防蠕虫病毒的等DOS攻击数据中心虽然没有直接连接Internet，但内部专网中

22、很多计算机并无法保证在整个使用周期内不会接触互联网和各种移动存储介质，仍然会较多的面临大量网络蠕虫病毒的威胁，比如Red Code，SQL Slammer等等，由于它们经常变换特征，防火墙也不能完全对其进行过滤，它们一般发作的机理如下：利用Microdsoft OS或应用的缓冲区溢出的漏洞获得此主机的控制权获得此主机的控制权后，安装病毒软件，病毒软件随机生成大量的IP地址，并向这些IP地址发送大量的IP包。有此安全漏洞的MS OS会受到感染，也随机生成大量IP地址，并向这些IP地址发送大量的IP包。导致阻塞网络带宽，CPU利用率升高等直接对网络设备发出错包，让网络设备CPU占用率升高直至引发协

23、议错误甚至宕机防VLAN的脆弱性配置在数据中心的不同安全域进行防火墙访问控制隔离时，存在多个VLAN，虽然广泛采用端口捆绑、vPC等技术使正常工作中拓扑简化甚至完全避免环路，但由于网络VLAN多且关系复杂，无法在工程上完全杜绝诸如网络故障切换、误操作造成的临时环路，因此有必要运行生成树协议作为二层网络中增加稳定性的措施。但是，当前有许多软件都具有STP 功能，恶意用户在它的PC上安装STP软件与一个Switch相连，引起STP重新计算，它有可能成为STP Root, 因此所有流量都会流向恶意软件主机, 恶意用户可做包分析。局域网交换机应具有Root guard（根桥监控）功能，可以有效防止其它

24、Switch成为STP Root。本项目我们在所有允许二层生成树协议的设备上，特别是接入层中都将启动Root Guard特性，另外Nexus5000/2000还支持BPDU filters, Bridge Assurance等生成树特性以保证生成树的安全和稳定。还有一些恶意用户编制特定的STP软件向各个Vlan加入，会引起大量的STP的重新计算，引起网络抖动，CPU占用升高。本期所有接入层交换机的所有端口都将设置BPDU Guard功能，一旦从某端口接收到恶意用户发来的STP BPDU,则禁止此端口。大量使用了三层交换机，在发送数据前其工作方式同路由器一样先查找ARP，找到目的端的MAC地址，

25、再把信息发往目的。很多病毒可以向三层交换机发一个冒充的ARP,将目的端的IP地址和恶意用户主机的MAC对应，因此发往目的端的包就会发往恶意用户，以此实现包窃听。在Host上配置静态ARP是一种防止方式，但是有管理负担加重，维护困难，并当通信双方经常更换时，几乎不能及时更新。本期所使用的所有三层交换机都支持动态ARP Inspection功能，可动态识别DHCP，记忆MAC地址和IP地址的正确对应关系，有效防止ARP的欺骗。实际配置中，主要配置对Server和网络设备实施的ARP欺骗，也可静态人为设定，由于数量不多，管理也较简单。防止DHCP相关攻击楼层网段会采用DHCP Server服务器提供

26、用户端地址，但是却面临着几种与DHCP服务相关的攻击方式，它们是：DHCP Server 冒用：当某一个恶意用户再同一网段内也放一个DHCP 服务器时，PC很容易得到这个DHCP server的分配的IP地址而导致不能上网。恶意客户端发起大量DHCP请求的DDos 攻击：恶意客户端发起大量DHCP请求的DDos 攻击，则会使DHCP Server性能耗尽、CPU利用率升高。恶意客户端伪造大量的MAC地址恶意耗尽IP地址池应采用如下技术应对以上常见攻击：防DHCP Server 冒用：此次新采购的用户端接入交换机应当支持DHCP Snooping VACL, 只允许指定DHCP Server的服

27、务通过，其它的DHCP Server的服务不能通过Switch。防止恶意客户端发起大量DHCP请求的DDos 攻击：此次新采购的用户端接入交换机应当支持对DHCP请求作流量限速，防止恶意客户端发起大量DHCP请求的DDos 攻击，防止DHCP Server的CPU利用率升高。恶意客户端伪造大量的MAC地址恶意耗尽IP地址池：此次新采购的用户端接入交换机应当支持DHCP option 82 字段插入，可以截断客户端DHCP的请求，插入交换机的标识、接口的标识等发送给DHCP Server；另外DHCP服务软件应支持针对此标识来的请求进行限量的IP地址分配，或者其它附加的安全分配策略和条件。网络级

28、安全网络级安全是网络基础设施在提供连通性服务的基础上所增值的安全服务，在网络平台上直接实现这些安全功能比采用独立的物理主机实现具有更为强的灵活性、更好的性能和更方便的管理。本项目我司主要提供访问控制和隔离（防火墙技术）。安全区域划分数据中心安全域的划分需要建立在对数据中心应用业务的分析基础之上，因而与前述的虚拟服务区的划分原则一致。实际上按SODC的虚拟化设计原则，每一个虚拟服务区应当对应唯一的虚拟防火墙，也即对应唯一的一个安全域。具体原则如下：同一业务一定要在一个安全域内有必要进行安全审计和访问控制的区域必须使用安全域划分需要进行虚拟机迁移的虚拟主机要在一个安全域中划分不宜过细，安全等级一致

29、的业务可以在安全域上进行归并，建议一期不超过5个安全域一般可以划分为：OA区，应用服务区，数据库区，开发测试区等。防火墙部署策略不同安全域之间的访问控制策略由于虚拟化设计而只需考虑各个安全域内出方向策略和入方向策略即可。建议初始策略依据如下原则设定，然后根据业务需求不断调整：出方向上不进行策略限制，全部打开入方向上按“最小授权原则”打开必要的服务允许发自内部地址的双方向的ICMP，但对ICMP进行应用检查（Inspect）允许发自内部地址的Trace Route，便于网络诊断关闭双方向的TCP Seq Randomization，在数据中心内的防火墙可以去除该功能以提高转发效率减少或者不进行N

30、AT，保证数据中心内的地址透明性，便于ACE提供服务关闭nat-control（此为默认），关闭xlate记录，以保证并发连接数对每个虚拟防火墙的资源进行最大限定：总连接数，策略数，吞吐量，基于每个虚拟防火墙设定最大未完成连接数（Embryonic Connection），将来升级到定义每客户端的最大未完成连接数智能主动防御传统的不停的打补丁和进行特征码升级的被动防御手段已经无法适应安全防御的要求，必须由网络主动的智能的感知网络中的行为和事件，在发生严重后果之前及时通知安全网络管理人员，甚至直接联动相关的安全设备，进行提早措施，才能有效减缓危害。要实现这种智能的主动防御系统，需要网络中进行如下

31、部署：对桌面用户的接入进行感知和相应措施对桌面用户的行为进行分析和感知对全网安全事件、流量和拓扑进行智能的分析、关联和感知对各种信息进行综合分析然后进行准确的报告第八部分机房设备材料清单序号分项分部工程项目单位数量品牌一、机房装修工程墙面及隔断装修工程1机房隔断天地支架制作2机房钢化玻璃隔断制作3机房亚光不绣钢板地脚线、天角线4墙面9mm厚中密度板底板5墙面轻钢龙骨6机房铝塑板墙面7墙面防尘、防潮处理工程地面工程1地面防尘、防潮漆2地台保温处理3无边防静电活动地板（600*600毫米）4抗静电地板安装辅板5办公区地面整理工程6缓冲区塑胶地板天花及照明工程1微孔铝扣板天花23*40W高级无眩光灯

32、盘（含灯管）3消防疏散指示灯440W日光灯应急器门窗工程1防火防盗门2钢化玻璃单门3玻璃门用高级拉手4门禁系统二、机房布线及配电工程1市电配电箱2100A/3P空气开关363A/3P空气开关416A/1P空气开关5100A/3P空气开关663A/3P空气开关716A/1P空气开关8电源插座（弹起式铜插座）9电源插座1010平方毫米电源线116平方毫米电源线124平方毫米电源线132.5平方毫米电源线14喷塑金属保护线槽300*150*1.215其他辅助材料（线鼻、线耳等）三、机房设备1精密空调2吸顶式排气扇3电池箱及连线4机房监控系统（8-10监控摄像头）5标准机柜四、机房防雷接地工程1电源避雷器2防雷插座DNS-3 D3地网保护器4避雷器安装箱5避雷器保护开关6电话语音避雷子7铜导线8紫铜排等电位带9直流接地地极10辅助材料第九部分服务器、存储、网络设备采购清单方案一：名称品牌型号数量单价（元）合计（元）服务器OA服务器IBM 2台HR服务器IBM 2台档案存储服务器HP1台档案应用服务器HP1台WEB系统服务器IBM 2台邮件系统服务器IBM 2台财务服务器IBM 7台企业邮局