集团云数据中心网络部署设计

1、集团云数据中心网络部署设计21网络整体架构网络物理部署目录集团现网分为信息内网和信息外网，信息内网与信息外网之间物理隔离，通过网闸进数据摆渡。目前网络运行基本正常，但随着IT环境的日益复杂，规模日益增长，网络系统局部存在问题仍有待改善。信息内网承载全院用户访问自建业务系统和国网统推业务系统的内网流量；信息外网承载全院用户访问Inerent及对公网用户提供服务的流量；信息内网和信息外网的网络拓扑都采用星型，全网都采用静态路由实现互通。设备、链路、服务器接入有较多的单点，缺少冗余，可用性不高；网络架构层次不清晰，数据中心和办公网未有效隔离，数据中心没有进行功能区域划分；二层广播域跨越双中心，出现广

2、播风暴会导致整网不可用；数据中心没有进行功能区域划分，缺少统一的安全策略；安全防护手段比较单一，缺乏安全纵深；网络设备配置存在安全薄弱环节，业务流量的监控和分析手段不足；大数据相关业务的网络都为千兆，存在带宽瓶颈；带外管理网不完备，运维管理效率不高；网络基础服务没有统一的管理（DHCP、DNS、NTP等）需要注意的是 关键节点的设备和链路（A中心核心、南京院区、武汉院区） 采用冗余部署，具备一定的可用性；在网络出口部署防火墙对集团信息内网进行整体安全防护，专门的DMZ区对外提供服务，并部署WAF进行WEB安全防护；值得肯定的是安全性性能可用性信息内网的网络核心为A中心的两台S7506E，通过中

3、电飞华的链路连接各个院区（武汉院区例外），A中心院区内网用户的网关在核心交换机上，其他各院区的用户网关均在本地的汇聚交换机上，通过出口的一组Juniper防火墙实现安全防护，访问国网公司信息内网的业务系统。可用性安全性可管理信息外网的网络核心为A中心的两台S7506E，通过中电飞华的链路连接各个院区（武汉院区例外），A中心院区内网用户的网关在核心交换机上，其他各院区的用户网关均在本地的汇聚交换机上，有线用户和无线用户的Internet出口分离，部署了部分安全设备实现安全防护。设备、链路、服务器接入有较多的单点，缺少冗余，可用性不高；网络架构层次不清晰，数据中心和办公网未有效隔离，数据中心没有进

4、行功能区域划分；二层广播域跨越双中心，出现广播风暴会导致整网不可用；数据中心没有进行功能区域划分，缺少统一的安全策略；安全防护手段比较单一，缺乏安全纵深；网络设备配置存在安全薄弱环节，业务流量的监控和分析手段不足；带外管理网不完备，运维管理效率不高；网络基础服务没有统一的管理（DHCP、DNS、NTP等）。需要注意的是 关键节点的设备和链路（A中心核心、南京院区、武汉院区） 采用冗余部署，有线侧Intenet出口双链路，通过LB进行负 载均衡，具备一定的可用性；有线用户网络出口部署了防火墙和IDS设备，对集团信息外网进行整体安全防护，通过专门的DMZ区对外提供服务，无线用户侧部署了上网行为管理

5、和防火墙；值得肯定的是安全性可用性可用性安全性可管理高可用性安全性可管理性灵活性可扩展性性能网络结构的高可用性，物理资源的冗余部署，逻辑关系的松耦合设计，不会因为任何一个网络模块发生故障而影响全局网络的畅通。网络安全区域合理规划，安全策略精细化部署，符合信息系统安全等级保护基本要求，全网的安全策略进行统一的管理，能够满足未来业务发展对安全的需求。网络的带宽、时延、抖动等性能指标满足业务系统的要求；采用业务功能模块化和网络拓扑层次化的设计方法，使得网络架构在功能、容量、覆盖能力等各方面具有易扩展能力，使其能够动态响应业务发展变化，快速满足业务和应用不断变化对网络基础架构的要求，配合业务的快速发展

6、或变革。采用新技术和新特性时，网络架构不需要调整或调整较小，满足业务与应用系统灵活多变的部署需求。网络简单、健壮，易于管理和维护，满足行业监管要求及日常运维的需求，并提供及时发现和排除网络故障的能力。集团的网络规划参考业界通用的高可用性、安全性、可扩展性、性能、灵活性和可管理性六个设计原则。核心网架构前端网络后端网络前后端网络分离接入汇聚核心网络松耦合DCDCDCWNWNWNWNBRBRBR标准化部署连接方式标准化协议部署标准化物理部署标准化模块化分区网络分层设计集团的网络采用松耦合设计，信息内网、外网和科研网均基于核心网架构，标准化设计和部署，数据中心内部前后端网络分离，模块化分区和分层设计

7、，使集团的网络在业务可用性及连续性、快速响应、网络标准化、网络风险控制以及业务价值回报五个方面达到同业成熟期的能力。集团网络分为信息内网、信息外网和科研网，信息内网承载全院用户访问自建业务系统和国网统推业务系统的内网流量；信息外网承载全院用户访问Inerent及对公网用户提供服务的流量；科研网承载各院所实验室的科研流量。三张网络物理上相互独立，互访需要经过隔离装置进行数据摆渡。目录21网络整体架构物理部署2.12.2机房物理部署POD设计A中心数据中心（科研楼三楼）机房综合布线遵循TIA-942 Tier IV标准的星形连接架构。A中心数据中心（科研楼三楼）网络机房机柜布放：网络机房最左侧四列

8、机柜放置信息内网的网络设备和MDA区的线缆，最右侧两列机柜放置信息外网的网络设备和MDA区的线缆，最右侧的第三列机柜放置科研网的网络设备和MDA区的线缆，其余机柜作为服务器机柜。A中心数据中心（科研楼三楼）服务器机房机柜布放：每列机柜部署一个配线柜和一个强电柜，配线柜布放网络机房的MDA区到本列机柜的光纤，经ODF配线架/MPO模块盒采用尾纤跳线到各机柜架顶的ODF配线架/MPO模块盒上。数据中心内部综合布线考虑后续能够平滑升级到支持100G带宽，推荐采用MPO预端接方式进行综合布线。主流光模块封装类型主流接口类型光纤数量传输距离10G-SRSFP/SPF+、XFP、X2LC2芯（1发1收）3

9、00米（OM3）550米（OM4）40G-SR4BIDI QSPFLC2芯（1发1收）100米（OM3）150米（OM4）QSFP+、CFP、CXP12芯MPO8芯（4发4收）100G-SR10CXP、CFP2、CFP424芯MPO20芯（10发10收）100米（OM3）150米（OM4）100G-SR4QSFP2812芯MPO8芯（4发4收）100米（OM4）2 * 12芯MPO主干2*12 to 24芯MPO跳线2*12 to 24芯MPO跳线MPO扇出跳线10G40G100GMDA区到HDA区的主干布线不变，通过尾纤跳线实现带宽平滑升级。21453网络整体架构物理部署信息内网网络规划信息

10、外网网络规划科研网网络规划2.12.2机房物理部署POD设计目录“模块化的云计算数据中心”5种颗粒度的说明（由大到小）ZoneZone 表示数据中心所在城市SiteSite 表示数据中心的具体位置 ModuleModule 表示数据中心的大楼CellCell 表示数据中心内的一个单元，包括存储、计算、网络PodPOD 表示一组部署IT设备的机柜RackRack 机柜（服务器、网络、存储）“模块化的云计算数据中心”是一种用标准、可重复构建的单元来建设云计算数据中心基础设施的方法其中CELL 与 POD 是结构化布线及网络设计的关注重点云计算数据中心通常会采用结构化、模块化、标准化的设计方法，实现

11、IT基础设施（计算、网络、存储）的灵活扩展，减少对在网运行业务的影响，简化部署，便于实现自动化运维。POD（服务提供点）是提供服务的一组组件，一个POD可以包括一组或多组机柜。在云计算数据中心中通常会采用POD预构件方式实现物理资源的组件化和模块化。POD可以分为服务器POD（如X86服务器、刀片服务器等）、存储POD等类型。X86服务器 POD刀片POD存储POD存储网交换机2U高度X86服务器POD：根据集团服务器机房（低密）每机柜电源功率和TOR交换机端口利用率，2U高度的X86服务器POD由三组机柜构成，后续按POD进行业务扩展。业务网交换机带外管理网交换机管理网交换机部署要点: 物理

12、部署每三组机柜作为一个POD，按POD进行业务扩展；每组机柜部署12台2U服务器，每个POD最多部署36台2U服务器；每个POD至少部署5台交换机，2台业务网交换机，2台管理网交换机，1台带外管理交换机，若POD内使用分布式存储，则需要增加2台存储网交换机。交换机端口利用率（均按单台设备计算）网络类型交换机端口数端口利用率业务网交换机48口（12*3+1）/48=77%存储网交换机48口（12*3+1）/48=77%管理网交换机48口（12*3+1）/48=77%带外管理交换机48口（12*3+4）/48=83%4U高度X86服务器POD：根据集团服务器机房（低密）每机柜电源功率、TOR交换机

13、端口利用率，和每列机柜的部放情况，4U高度的X86服务器POD由五组机柜构成，后续按POD进行业务扩展。部署要点: 物理部署每五组机柜作为一个POD，按POD进行业务扩展；每组机柜部署6台4U服务器，每个POD最多部署30台4U服务器；每个POD至少部署5台交换机，2台业务网交换机，2台管理网交换机，1台带外管理交换机，若POD内使用分布式存储，则需要增加2台存储网交换机。交换机端口利用率（均按单台设备计算）网络类型交换机端口数端口利用率业务网交换机48口（6*5+1）/48=65%存储网交换机48口（6*5+1）/48=65%管理网交换机48口（6*5+1）/48=65%带外管理交换机48口（6*5+4）/48=71%存储网交换机管理网交换机带外管理网交换机业务网交换机刀片POD：根据集团服务器机房（高密）每机柜电源功率和TOR交换机端口利用率，POD由二组机柜组成，后续按POD进行业务扩展。部署