银行数据中心技术架构

1、银行数据中心技术架构1 银行整体网络架构概要2 数据中心整体规划3 数据中心网络详细设计 目录 园区各分行全行各数据中心、业务处理中心、园区网及分行，采用BGP和核心网互联，利用BGP特性控制流量路径，形成逻辑简单、结构健壮、控制手段灵活、收敛快速的广域网络架构各个机构内部采用OSPF作为内部路由协议，提供结构简洁、管理简单、收敛快速的内部路由域核心网内部路由：OSPF农本数据中心内部路由：OSPFBGPBGPBGPCGB大厦业务处理中心数据中心内部路由：OSPF异地灾备中心内部路由：OSPFBGPBGPBGPBGP一 银行整体网络架构概要核心网架构在支持分枝机构（分行、业务处理中心等）的快速

2、接入、横向流量、接入的标准化及提高广域网可靠性及扩展性方面均有提高核心网中心农本中心异地灾备园区网海外业务中心一级分行网点网点ATM一级分行网点网点ATM核心网架构网点（支行）到两个数据中心的流量路径网点（支行）之间的流量路径数据中心之间的流量路径二 银行整体网络架构概要1 银行整体网络架构概要2 数据中心整体规划3 数据中心网络详细设计 目录 数据中心网络分区建议保留的网络分区核心业务（P1）内联业务（P3）外联业务（P3） 互联网业务（P2）核心交换（P1）由原有分区分拆或者演变而来的分区广域网分区、灾备接入分区核心网接入区（P2）外联业务分区外联接入区（P2） （包括分行3G接入、前置服

3、务器区）办公业务分区公用及办公服务器（P3）网管运维服务器（包括带外网管、ECC监控）（P6）一 数据中心整体规划-网络架构新增的网络分区大机业务（P1）NAS/IP备份网络（P3）准生产环境（P3）互联网访问代理区海外业务托管合作根据目前数据中心的IP地址总体容量，每个分区分配一个B类地址服务器和网络接入设备，每个VLAN采用一个C类地址网络设备互联地址：点到点：21.XX.255.0/30 非点到点： 21.XX.255.0/24核心交换区（包括核心网接入区）采用B类地址，各分区上联接口采用核心分区IP地址空间设备Loopback的地址分配数据中心核心交换区、各分区汇聚设备采用核心交换区的

4、专用地址空间分配loopback地址各个分区网络设备（汇聚除外）采用本分区地址段的专用地址空间连续分配二 数据中心整体规划-IP地址规划部分分区，根据业务系统冗余架构的区别，可能沿用/混用10.2.0.0 地址段内/外联业务区外联接入区公用及办公服务器区互联网业务分区DB段分区互访NAT当前农本中心，部分分区互访采用了地址转换（NAT），在计划不再采用NAT，但在搬迁时，为保持服务器地址不变，仍需保留NAT分区间东西向的数据流特点：各分区的应用系统跨区互访量大，关系复杂各分区所处信任等级和风险等级不同，跨级访问量多分区间的访问控制设计：访问控制集中在各分区的汇聚层的防火墙做入方向控制通过IDS

5、做进出双向数据流监控DC核心分区只做高速转发，不进行安全控制具体分区的控制见 各分区的互访关系矩阵表数据中心核心分区数据中心数据中心分区1汇聚层接入层数据中心分区N汇聚层接入层FEX防火墙IDS防火墙IDS分区间互访流量三 数据中心整体规划-安全架构数据中心东西向流量安全分区内业务安全等级：各分区（特别是内联和外联分区）内部包含不同的安全等级的业务系统（第一到第四级业务系统，对应等保四级到一级，以及非等保系统）分区内的访问控制设计：各级业务系统分别置于不同安全等级的VRF不同VRF之间通信通过汇聚层的防火墙实现安全控制VRF之间的流量由IDS监控重要系统单列VLAN，与其它同等级系统之间靠VL

6、AN隔离安全要求特殊的系统（如电营外呼、稽核系统），置于单独VRF数据中心核心分区三级VRF其它VRF服务器汇聚层汇聚交换机防火墙防火墙四级VRF服务器服务器数据中心分区数据中心三 数据中心整体规划-安全架构数据中心分区内流量安全1 银行整体网络架构概要2 数据中心整体规划3 数据中心网络详细设计核心交换分区设计大机分区设计核心业务分区设计内/外联分区设计 互联网业务分区NAS/IP备份网络设计准生产分区外联接入网络设计核心网接入分区（含WAAS)网络运维分区设计同城互联（DCI）分区设计 目录 基本功能连接各个业务分区，实现高速的三层交换基本网络架构两台Nexus7010高性能核心交换机，配

7、置高密度线速万兆端口，以满足多个分区的万兆接入冗余的引擎、交换背板及电源，以进一步提高核心的可靠性主要网络连接核心和业务分区汇聚交换机：两条L3万兆连接至不同核心交换机核心交换机之间：四条链路组成L3 Port Channel连接路由协议部署部署OSPF路由协议和各业务分区运行在Area0启用BFD、IP FRR等快速收敛技术三 数据中心网络设计-核心交换区网络设计整体路由部署核心交换机和汇聚交换机之间采用OSPF动态路由协议快收敛技术所有链路部署BFD，实现链路故障快速检测选择性部署IP FRR技术，实现当链路故障时，路由快速重新选择，减少中断时间各个分区的路由分发，分发时需要进行链路优先选

8、择，便于实现流量路径对称大机分区/核心业务分区进行OSPF静态OSPF之间的分发，核心网接入区进行OSPFBGP之间的分发其它采用静态路由的分区，进行OSPF静态之间的路由重分发内联区网银区外联前置区大机网络分区外联接入区核心网接入OSPF动态路由BGP动态路由启用BFD、OSPF快收敛 路由重分发OSPF路由协议域路由重分发路由重分发路由重分发路由重分发三 数据中心网络设计-核心交换分区设计路由重分发基本功能连接大机服务器及附属设备，承载信用卡业务计划配置5套Sysplex，即生产、开发、UAT、准生产、培训，组成Sysplex的各个LPAR网络资源独立基本网络架构设立冗余的汇聚交换机，但不

9、配置专门的接入交换机该区域服务器数量不多，行业惯例，没有配置专门的接入交换机主要网络连接汇聚交换机和核心交换机：每台汇聚两条L3 万兆连接的不同核心交换机汇聚交换机之间：四条万兆（L3&L2）连接配置专门防火墙对该区域业务系统进行保护开发测试服务器分区准生产分区大机业务区核心网络分区L 3L 3L3 & L2图例L3 连接L2 连接准生产SysPlexLPARLPAR生产SysPlexLPARLPAR开发、UAT、培训等SysPlexLPARLPAR大机带库三 数据中心网络设计-大机分区设计采用VRF技术将汇聚设备分为上联VRF和下联VRF上联VRF和核心交换机之间采用OSPF协议建议采用新建

10、VRF作为上联VRF只把上联接口、互联口及loopback接口置于OSPF AREA 0，接口OSPF网络类型设置为 Point-to-Point启用BFD for OSPF重分发本分区的汇总路由及各种DVIP/ SVIP路由到核心网络分区采用route-map方式分发路由到OSPF，并设置不同的路由优先级，保证路径的一致性下联VRF、防火墙及上联VRF之间配置静态路由协议下联VRF和生产SysPlex之间OSPF路由协议，采用Totally Stub Area其他每个Sysplex和其他区域汇聚交换机OSPF路由协议，采用Totally Stub Area其他非大机设备和下联VRF之间采用缺

11、省路由方式开发测试服务器分区准生产分区大机业务区核心网络分区L 3L 3L3 & L2L 3准生产SysPlexLPARLPAR生产SysPlexLPARLPAR开发、UAT、培训等SysPlexLPARLPARL3 & L2上联VRF下联VRF上联VRF下联VRFOSPF TSA Area 1OSPFOSPF静态路由Area 0三 数据中心网络设计-大机分区设计基本功能连接AS 400服务器、及附属设备基本网络架构设立冗余的汇聚交换机，但不配置专门接入交换机该区域服务器数量不多行业惯例，没有配置专门的接入交换机主要网络连接汇聚交换机和核心交换机：每台汇聚两条L3万兆至不同核心交换机汇聚交换机

12、之间：四条万兆连接（L3&L2）部署专门的防火墙设备对该区域业务进行保护AS400接入每台AS 400有多组网卡连接到汇聚交换机每组网卡可有不同的IP地址代表不同的业务系统，以供客户访问（可能是三个IP地址）其他设备，譬如海博通、加密机等采用同样的连接方式端口及带宽：MIMIX流量采用万兆光口（每台AS400配置了12个）其余采用千兆光口（每台AS400配置了12个）带外管理口为电口，连接到带外网图例L3 连接L2 连接AS400业务区核心网络分区L 3L 3L3 & L2其他设备（加密机）海博通设备AS400MIMIX流量MIMIX流量三 数据中心网络设计-核心业务分区网络设计本分区需要同时

13、发布分区汇总路由、及AS400 VIP的IP网段，便于进行AS400的切换操作采用VRF技术将汇聚设备分为上联VRF和下联VRF上联VRF和核心交换机之间采用OSPF协议（来自整体路由规划）建议采用新建VRF作为上联VRF只把上联接口、互联口及loopback接口置于OSPF AREA 0，接口OSPF网络类型设置为 Point-to-Point启用BFD for OSPF重分发本分区的汇总路由及VIP路由到核心网络分区采用route-map方式分发路由到OSPF，并设置不同的路由优先级，保证路径的一致性下联VRF、防火墙及上联VRF之间采用静态路由协议AS 400、其它设备和下联VRF之间采

14、用缺省路由方式防火墙部署建议采用2-4条链路分别连接两台汇聚设备，并设置为“冗余链路组”链路模式建议采用物理防火墙，并工作在路由模式两台防火墙的冗余模式为Active/StandbyAS400业务区核心网络分区Out SideL 3L 3L3 & L2InsideOut SideInside下联VRF下联VRF上联VRF上联VRFL3 & L2其他设备海博通设备AS 400OSPF静态路由图例L3 连接L2 连接三 数据中心网络设计-核心业务分区网络设计MIMIX流量设计MIMIX的主要功能重要数据的复制保护灾难备份和恢复MIMIX的部署本地两台AS400形成MIMIX关系AS400与农本AS

15、400形成MIMIX关系AS400与异地AS400形成MIMIX关系MIMIX网络连接架构专用万兆网卡连接MIMIX专用的万兆接口连接到汇聚交换机的上联VRF本地MIMIX流量不经过防火墙同城MIMIX流量不经过防火墙异地MIMIX流量不经过防火墙MIMIX流量不需要经过防火墙MIMIX流量MIMIX专用万兆口AS400业务区核心网络分区Out SideL 3L 3L3 & L2InsideOut SideInside下联VRF下联VRF上联VRF上联VRFL3 & L2图例L3 连接L2 连接AS 400MIMIX流量三 数据中心网络设计-核心业务分区网络设计内联、外联分区网络架构，采用典型

16、的Nexus752架构，提供高可用、大带宽的网络分区基本功能用来连接内联、外联分区的开放平台的服务器（包括虚拟化平台的服务器）基本网络架构采用三层网络结构，分区汇聚交换机（置于MDA）、及接入交换机（置于各个机房模块的集中布线区）、FEX延伸器（置于列头柜）主要网络连接带宽（详见 Table 4.4.1）汇聚交换机和生产核心交换机：全连接的万兆（L3），不建议配置Port Channel，增加了配置复杂度及成本接入交换机和汇聚交换之间：每个接入交换机分别2条万兆连接到汇聚（共4条万兆），并设置 double-side vPCFEX和接入交换机：千兆FEX分别1条万兆连接到接入交换机（共2条万兆

17、），万兆FEX分别2条万兆连接到接入交换机（共4条万兆）；设置Enhanced vPC两台N7k之间、两台N5K之间采用4条万兆互联，并设置为port channl，作为vpc-peer link建议采用带外管理口实现vpc keepalive连接，同时具备带外管理功能防火墙采用2-4条万兆接口，采用LACP的PC分别连接到两台汇聚图例L3 连接L2 连接主用管理口备用管理口内联、外联分区网络IPSN7K-2(汇聚)N7K-1(汇聚)N5K-2(接入)N5K-1(接入)FEX-1FEX-2ServersN7K*2(生产核心)主生产网负载均衡FWFW带外管理网三 数据中心网络设计-内/外联网络分

18、区设计上联VRF 下联VRF 互联Vlan A 直连链路互联Vlan B RedistributeRedistributeStaticRouteStaticRouteStaticRouteStaticRoute接入交换机 分区防火墙分区采用OSPF协议和核心互联，分区内部采用静态路由；分区对外发送本分区的汇总路由；同时对于DCI互联网段，需要对外分发网段的详细路由，并进行分发控制，以符合路由对称策略OSPF到核心汇聚设备对外路由：与核心路由域协议相同，采用OSPF 协议，同时配置BFD除了对外分发分区汇总路由以外，还需要在以高优先级分发DCI互联网段的详细路由；在农本分发低优先级路由虚拟汇聚设

19、备（VRF）和防火墙之间路由：静态路由，这是基于简单易用，同时内部互联口很少有“假活”的情况下，作出的选择分区内部路由：直连路由到直连服务器FW inside Vlan FW outsideside Vlan 负载均衡负载均衡三 数据中心网络设计-内/外联网络分区设计采用汇聚层通用安全架构，将汇聚设备分为上联VRF和下联VRF（可以采用缺省VRF）上联VRF和核心交换机之间采用OSPF协议（来自整体路由规划），分发静态路由到OSPF建议采用新建VRF作为上联VRF只把上联接口、互联口及loopback接口置于OSPF AREA 0，接口OSPF网络类型设置为 Point-to-Point采用r

20、oute-map方式分发静态路由到OSPF，并设置不同的路由优先级启用BFD for OSPF下联VRF、防火墙及上联VRF之间采用静态路由协议，不启用OSPF建议采用default VRF，或者全局VRF作为下联VRF防火墙部署模式建议采用2-4条万兆分别连接两台汇聚设备，并设置为动态LACP协议的Port Channel链路模式建议采用物理防火墙，并工作在路由模式两台防火墙的冗余模式为Active/Standby三 数据中心网络设计-内/外联网络分区设计基本功能互联网业务系统相关DMZ区域和服务器基本网络架构专用冗余的互联网业务核心交换机，采用Nexus752架构采用vPC技术，可使链路、

21、板卡、设备故障快速收敛，减少流量中断的时间及范围关键位置双设备，设备双/多电源、双引擎采用VDC技术，将一台Nexux7010虚拟成多台使用，管理（VDC1），互联网业务核心交换机（VDC2），互联网业务汇聚交换机（VDC3）主要网络连接两台N7k核心VDC2之间、两台N7k汇聚VDC3之间、两台N5K之间分别采用4条万兆互联，并设置为port-channel，作为vpc-peer link外部防火墙到互联网业务核心交换机(VDC2)：4条千/万兆连接，并启用LACP Port-ChannelDMZ防火墙到互联网业务核心交换机(VDC2)：4条万兆连接，并启用LACP Port-Channel

22、内部防火墙到互联网业务核心交换机(VDC3)：2条万兆连接，并启用LACP Port-Channel内部防火墙到互联网业务汇聚交换机(VDC2 ：2条万兆连接，并启用LACP Port-Channel三 数据中心网络设计-互联网业务分区网络设计路由协议互联网业务业务区域整体采用静态路由技术DMZ防火墙逻辑部署方式互联网业务核心交换机设置多个VRF实例分别对应外联VRF、外部WEB、内部Web 、互联网APP、互联网DB区域DMZ防火墙/内部防火墙采用主备方式、路由模式ASA5585实体及虚墙模式选择：建议选用实体墙网络流量路径外部用户-外部WEB：外部防火墙（CP）- DMZ 防火墙（ASA）

23、-WEB防火墙内部用户-内部WEB：内部防火墙外部WEB-网银APP-网银DB：DMZ防火墙内部WEB-网银APP-网银DB：DMZ防火墙三 数据中心网络设计-互联网业务分区网络设计两地三中心下的网银架构规划同城网银外层区L2打通为便于互联网链路在同城两种心之间的平滑分享，在网银模块的最外层进行二层连通异地共享互联网出口的意义不大，故异地网银外层不建议L2打通处于隔离及安全的原因，建议采用OTV技术同城及异地DB区L2打通由于三地网银共用一套DB，且当前DB的AA/AS部署架构均需要L2互通DB的L2打通可以提高访问DB性能、简化网络防火墙及路由的配置在三地L2打通的情况下，建议采用OTV技术

24、异地网银DB的考虑按照容灾的要求，异地DC和主DC一般相距要在1000公里以上，所以异地网银DB不会和主中心DB形成同一个DB cluster异地可以不建立DB，直接访问主中心DB，或者建立准同步DB；这需要网银的应用组进行决策三 数据中心网络设计-互联网业务分区网络设计分区基本功能连接NAS、备份服务器及服务器的NAS/备份网卡，提供大带宽、高可用、扁平网络基本网络架构采用三层网络结构，设立冗余汇聚交换机（置于MDA）、及接入交换机（置于各个机房模块的集中布线区）、FEX延伸器（置于列头柜）主要网络连接带宽（详见 Table 4.7.1）NAS汇聚交换机和生产核心交换机：全连接的万兆（L3）

25、，不建议配置Port Channel，增加配置复杂度NAS接入交换机和NAS汇聚交换之间：每个接入交换机分别4条万兆连接到汇聚（共4条万兆），并设置double-side vPCFEX和接入交换机：千兆FEX分别1条万兆连接到接入交换机（共2条万兆），万兆FEX分别2条万兆连接到接入交换机（共4条万兆）；设置Enhanced vPC两台N7k之间、两台N5K之间采用4条万兆互联，并设置为port channl，作为vpc-peer link建议采用带外管理口实现vpc keepalive连接，同时具备带外管理功能防火墙采用2-4条万兆接口，采用LACP的PC分别连接到两台汇聚图例L3 连接L2

26、 连接主用管理口备用管理口中心NAS/IP备份网DataDomainNASN7K-2(汇聚)N7K-1(汇聚)N5K-2(接入)N5K-1(接入)NASFEX-1FEX-2ServersN7K*2(生产核心)主生产网DWDM带外管理网三 数据中心网络设计-NAS/IP备份分区网络设计采用汇聚层通用安全架构，将汇聚设备分为上联VRF和下联VRF（缺省VRF）上联VRF和核心交换机之间采用OSPF协议（来自整体路由规划），分发静态路由到OSPF建议采用新建VRF作为上联VRF只把上联接口、互联口及loopback接口置于OSPF AREA 0，接口OSPF网络类型设置为 Point-to-Poin

27、t采用route-map方式分发静态路由到OSPF，并设置不同的路由优先级，避免非对称路由启用BFD for OSPF下联VRF、防火墙及上联VRF之间采用静态路由协议，不启用OSPF可以建立多个VRF，每个VRF对应不同的安全等级；VRF的内部不同VLAN之间的路由在汇聚交换机进行，不同VRF之间的路由通过防火墙进行控制防火墙部署模式建议采用2-4条万兆分别连接两台汇聚设备，并设置为动态LACP协议的Port Channel链路模式建议采用物理防火墙，并工作在路由模式两台防火墙的冗余模式为Active/Standby三 数据中心网络设计-NAS/IP备份分区网络设计上联VRF 下联（缺省）V

28、RF 互联Vlan A 直连链路互联Vlan B RedistributeRedistributeStaticRouteStaticRouteStaticRouteStaticRoute接入交换机 分区防火墙由于每个分区的IP地址网段都基本固定，并且变化较少，服务层及汇聚之间采用静态路由OSPF到核心汇聚设备对外路由：与核心路由域协议相同，采用OSPF 协议，同时配置BFD对外分发分区汇总路由虚拟汇聚设备和防火墙之间路由：静态路由，这是基于简单易用，同时内部互联口很少有“假活”的情况作出选择分区内部路由：直连路由到直连服务器FW inside Vlan FW outsideside Vlan

29、三 数据中心网络设计-NAS/IP备份分区网络设计中心DataDomainNASN7K-2(汇聚)N7K-1(汇聚)N5K-4(接入)N5K-3(接入)NASFEX-1FEX-2Servers农本DataDomainNASN7K-1(汇聚)N5K-2(接入)N5K-1(接入)NASFEX-1FEX-2ServersN7K-2(汇聚)N7K*2(生产核心)主生产网生产核心农本主生产网为保证在vPC故障情况下网络的可用性、及和其它非vPC的设备互联的必要性，在vPC的环境下，依然需要仔细设计部署Spanning Tree协议BRNEBPDUguardRootguardEdge or portfas

30、t port type：用来连接主机的端口-Normal port type：可以用来连接主机、交换机等UDLD （建议采用normal模式）Network port：交换机之间“点对点”的互联链路BPDU FilterFBENNNN-R-REFEFEFEFSTP domain1STP domain2三 数据中心网络设计-NAS/IP备份分区网络设计NAS/备份网Promiscuous port：连接NAS、Data Domain服务器Isolated（trunk） port：连接服务器的备份网口Community Port：需要内部互通、及和NAS、Data Domain通讯业务服务器有独立

31、的NAS、IP备份网卡，可以建立不同的PVLAN承载不同的业务：例如NAS PVLAN：NAS连接到Promiscuous port服务器备份口连接到Isolated portIP备份PVLAN：备份服务器 连接到Promiscuous port服务器备份口连接到Isolated port业务服务器共用NAS、IP备份网卡，建议采用同一个PVLAN承载；例如IP备份及NAS PVLAN：NAS连接到Promiscuous port备份服务器连接到Promiscuous port服务器备份口连接到 Isolated port业务服务器共用NAS、IP备份网卡,也可以采用不同PVLAN承载不同业务

32、；例如NAS PVLAN：NAS连接到Promiscuous port服务器备份口连接到Isolated trunk portIP备份PVLAN：备份服务器 连接到Promiscuous port服务器备份口连接到 Isolated trunk port三 数据中心网络设计-NAS/IP备份分区网络设计基本功能负责外联专线、3G备份及外联前置通讯服务器的接入基本网络架构设立冗余的汇聚交换机（放置于MDA），配置专门接入交换机（放置于列头柜）该区域服务器数量不多主要网络连接汇聚交换机和核心交换机：每个汇聚两条L3万兆至核心交换机接入交换机和汇聚交换及：万兆互联（L2）汇聚交换机之间：四条万兆连接

33、（L3&L2）外联路由器采用全连接千兆链路（L3)部署专门的防火墙设备对该区域业务进行保护防火墙采用冗余千兆链路主生产网核心网络分区L 3外联广域网外联接入VRF外联前置服务器VRF外联路由器第三方路由器前置/通讯服务器外联接入区L3 & L2外联汇聚交换机防火墙防火墙3G网络3G备份VRF3G路由器及VPN设备三 数据中心网络设计-外联接入网络设计外联通讯/前置服务器接入采用双连接到接入交换机接入带宽：千兆外联路由器采用L3链路双连接到分区汇聚交换机部署独立的3G备份路由器及VPN设备三 数据中心网络设计-外联接入网络设计采用汇聚层通用安全架构，将汇聚设备分为上联VRF和下联VRF上联VRF

34、和核心交换机之间采用OSPF协议，分发静态路由到OSPF建议采用新建VRF作为上联VRF只把上联接口、互联口及loopback接口置于OSPF AREA 0，接口OSPF网络类型设置为 Point-to-Point采用route-map方式分发静态路由到OSPF，并设置不同的路由优先级启用BFD for OSPF外联前置服务器VRF、防火墙及上联VRF之间采用静态路由协议，不启用OSPF建议采用default VRF，或者全局VRF作为下联VRF核心网络分区外联广域网外联接入VRF外联前置服务器VRF外联路由器前置/通讯服务器外联接入区OSPFOSPF3G网络3G备份VRF3G路由器及VPN设

35、备L3 & L2InsideOut SideOut SideInside各个下联VRF上联VRF上联VRF静态路由各个下联VRFOSPF三 数据中心网络设计-外联接入网络设计基本网络架构两台ASR1006高性能路由器，每台ASR1006采用双电源、双引擎及双交换矩阵两台ASR1006提供故障冗余及负载分担功能Full-mesh的连接提供高可用主要网络连接核心网接入路由器和数据中心核心交换机：全连接的万兆（L3）核心网接入路由器和核心网：全连接的万兆（L3）两台核心网接入路由器之间：万兆互联基本功能连接农本数据中心到核心网，并部署指定的流量策略生产主用办公主用三 数据中心网络设计-核心网接入区网

36、络设计路由策略部署采用OSPF和核心交换区互联上联接口和核心交换机之间采用OSPF协议，分发BGP路由到OSPF只把上联接口、互联口及loopback接口置于OSPF AREA 0，接口OSPF网络类型设置为 Point-to-Point启用BFD for OSPF采用BGP和核心网互联核心网接入路由器和核心网农本节点运行EBGP两台核心网接入路由器之间运行IBGP并进行BGP向OSPF的路由分发根据核心网生产办公流量分流原则进行BGP路由策略部署三 数据中心网络设计-核心网接入区网络设计数据中心流量出方向：由于互联链路较多，而且是机房内部链路，这些链路损坏的可能较小；同时为使流量来回路径对称

37、，采用local-preference设置；放弃PIC设置优先选用直连链路，再选择交叉链路分发BGP路由到OSPF，并进行分发过滤分发时，不同的路由器（D1、D2）分别赋予生产/办公路由不同ospf metric，将流量引导到不同的上联路由器数据中心流量入方向：通过“网段+接口”的静态路由命令添加汇总网段的静态路由；发布数据中心的汇总网段到核心网采用track跟踪端口静态路由的可用状况，防止路由黑洞发生在发出BGP路由时，生产/办公路由设置不同community，便于其它设备识别生产及办公网段返回DC的流量控制：两条同颜色链路采用相同的AS prepend策略，控制流量返回路径，生产/办公添加

38、不同长度的AS path进一步采用MED区分两条同颜色链路，使直连优先，交叉次之三 数据中心网络设计-核心网接入区网络设计基本功能网络运维相关服务器、办公及公用服务器、及带外网管网、监控网（ECC）基本网络架构设立冗余的汇聚交换机，按照服务器数量及机房的物理部署情况，配置少量专门接入交换机主要网络连接汇聚交换机和核心交换机：每个汇聚两条L3万兆至核心交换机汇聚交换机之间：四条万兆连接（L3&L2）部署专门的防火墙设备对该区域业务进行保护网络运维服务器、办公及公用服务器的接入采用双连接到汇聚交换机接入带宽：千兆、万兆带外网管网（OOB）接入Console交换机或者KVM等服务器，也可以直接连接设

39、备的带外管理以太口监控网（ECC）的接入连接监控室的监控终端、操作终端等网络运维分区核心网络分区L 3L 3L 3带外网管网监控网ECC网络运维服务器办公及公用服务器三 数据中心网络设计-运维及办公服务器分区N7K-2(汇聚)N7K-1(汇聚)N5K-2(接入)N5K-1(接入)FEX-1FEX-2FWFW采用VRF技术将汇聚设备分为上联VRF和多个下联VRF上联VRF和核心交换机之间采用OSPF协议下联VRF、防火墙及上联VRF之间配置静态路由协议带外网管网、监控网、办公服务器、运维服务器可以分别位于不同的VRF，进行安全隔离控制办公服务器、运维服务器区可以根据机房空间及布线情况，决定是否采

40、用接入交换机及交换机数量下联VRF和办公服务器、网络运维管理服务器之间Default GW方式监控网（ECC）和下联VRF之间OSPF，主要集中在生产中心，还有少量终端在异地数据中心，总体规模较少带外网管网和下联VRF之间OSPF，分布在 “两地三中心”，且采用专门的线路连接，自成专网，规模也较少防火墙部署模式路由模式，冗余模式为Active/Standby网络运维分区核心网络分区L 3L 3L3 & L2Inside带外网管网监控网ECCL3 & L2Out SideOut SideInside多个下联VRF多个下联VRF上联VRF上联VRF网络运维服务器OSPFOSPF静态路由办公及公用服

41、务器三 数据中心网络设计-运维及办公服务器分区“两地三中心”环境下的带外网管网（OOB）架构基本功能带外网管网接入基本网络架构生产、同城、异地灾备中心各设立独立带外网管网独立、冗余的带外网管核心交换机+接入交换机带外网管网核心交换机L3 全连接到网络运维区汇聚交换机Console交换机、KVM交换机及其它带网管访问控制及审计设备连接到网络设备和服务器设备建议采用专门2-10M的广域网线路连接“两地三中心”的带外网管网带外网管网带外网管核心层带外网管接入层Console 交换机KVM交换机异地中心带外网管网带外网管核心层Console 交换机KVM交换机同城中心带外网管网带外网管核心层带外网管接入层Console 交换机KVM交换机中心网络运维分区L3 & L2InsideOut SideInsideOut Side带外网管专用广域网2-10M专线2-10