2022年数据中心解决方案

1、数据中心解决方案2022/8/13Page 2Contents总体网络概述数据中心业务实现高可靠性安全保护数据中心网络概览Page 3互联网 防火墙汇聚交换机核心路由器IDS/IPS备份数据中心服务器群网络运维中心SAN交换机磁盘阵列DWDM负载均衡器IDC 业务区企业应用区 电信业务区 NMSKVM SW管理网络 接入层交换机业务网络 备份和存储网络 数据中心网络模块SAN存储备份服务器MPLS 骨干网 三网分离的数据中心网络业务网络、管理网络和备份网络流量分离，服务器通过不同的网卡分别接入不同的网络，通过数据中心骨干网络进行互联分离的网络可以保证数据中心网络的高性能及高安全性，同时方便管理

2、Page 4业务网络 NAS/备份网络SAN存储网络网管网络HBA带内网管带外网管网管网络业务网络备份存储网络DC骨干网数据中心管理网络管理网络全部采用单链路实现服务器支持带内管理（网卡）和带外管理（KVM网络）运维中心可以通过KVM直接管理数据中心里的服务器，也可以通过KVM操作网管系统，通过带内网管间接管理数据中心里的服务器Page 5IDC 业务区企业应用区 电信业务区 网管系统防病毒服务器KVM认证中心KVM交换机汇聚数据交换机网络运维中心Internet KVM交换机数据中心存储备份网络存储支持SAN和NAS存储，满足不同的业务需要（数据库和文件级）备份时，服务器使用一个网卡连接备份

3、网络，使用NAS存储时，可复用此网卡备份网络一般通过GE/10GE/DWDM光纤网络连接二级数据中心进行异地数据备份，当然也可以直接进行本地备份Page 6SAN交换机磁盘阵列备份服务器磁带库磁盘阵列备份数据中心DWDMZone 1Zone 2 Zone 3 存储网络NAS/备份网络数据中心业务网络典型组网模式网络架构采用业界成熟的三层架构：接入、汇聚、核心防火墙和负载均衡器采用外挂汇聚层交换机的方式进行部署，网络层次简单，高靠性Page 7AggregationAccessCoreInternet MPLS backbone T bit路由交换平台10G接口连接外网:9300/NE40EFW

4、、负载均衡器IPS/IDS在此部署， 保证网络安全，提高网络效率:5300/9300G bit数据接入，大容量考虑引入堆叠及上行端口聚合：5300系列弹性的网络架构接入层和汇聚层可以根据需要进行扩展大型网络采用分区设计，共享一个核心层；整个网络分步建设、方面数据中心扩容及管理交换机堆叠、链路聚合技术使网络扩容更加方便Page 8Internet MPLS backbone Aggregation Module 1Aggregation Module 2Aggregation Module nScalingScalingServer Farm Access Layer交换与路由层次划分汇聚层交换

5、机二层和三层网络的分界点，上面为三层路由，下面为二层交换使用负载均衡的服务器，网关在负载均衡器，不使用负载均衡的服务器，网关在防火墙Page 9Internet MPLS backbone L3路由L2交换服务器的分区设计服务器群根据业务的不同分为不同的业务区域，逻辑进行业务隔离保障安全，防止跨区的越权访问和入侵、病毒感染根据业务重要性的不同进行分区，可以提供不同的网络服务水平，提供QOS保障多个业务区可共享一个汇聚层模块，也可能一个业务区应用多个汇聚层模块Page 10Internet MPLS backbone 防火墙聚合交换机核心路由器IDS/IPSIDC业务区 企业应用业务区 电信业务

6、区 网络模块服务器群接入交换机接入交换机负载均衡器接入交换机不同类型服务器的接入位置中低端机架服务器，数量众多，通过接入层交换机接入；高端服务器/大型机，数量较少且重要性高，直接接在汇聚层交换机上，保证带宽；没有内置交换机的刀片服务器，通过接入层交换机接入；内置交换机的刀片服务器，直接接在汇聚层交换机上，减少交换网络的层级，提升网络性能；Page 11Internet MPLS backbone 没有内置交换机的刀片服务器内置交换机的刀片服务器中低端机架服务器高端服务器/大型机服务器的三层架构基于Web的应用程序一般采用Web、application、database 三层架构，各层之间通过防

7、火墙进行安全隔离；处于性能考虑，web-app-db之间可以采取ACL实现三种不同类型的服务器网络连接采用不同的VLAN来识别三个VLAN的流量都经过负载均衡和防火墙，所以负载均衡和防火墙可以为三个层次所共用三个层次也可以直接用物理网络进行划分，服务器之间部署交换机，同时附带防火墙和均衡器，网络层次过多，成本高，不推荐使用Page 12WEB VLANAPP VLANDB VLANWEBAPPDB数据中心核心 Internet 数据流WEBAPPDB物理防火墙ACL实现ACL实现Page 13Contents总体网络概述数据中心业务实现高可靠性安全保护统一的数据业务承载在同一组网模型下满足3种

8、不同用户对防火墙和负载均衡器的需要Page 14逻辑图物理连接图L3 linkTrunkTrunkTrunk汇聚交换机心跳线心跳线心跳线（1）不需要（3）只需要FW（2）需要FW和LB接入交换机黄线：Trunk链路黑线：L3链路（1）不需要（3）只需要FW（2）需要FW和LB防火墙和负载均衡部署防火墙对内隔离不同的VLAN，提供三个VLAN接口（子接口），分别对应WEB、APP和DB,对外隔离不同的分区，通常有一个或多个接口（子接口），对应所属的分区VPN，如IDC分区的IDC VPN 或Internet负载均衡对内对外都只有3接口（或子接口），分别对应WEB、APP、DB三个VLAN负载均衡

9、根据需要进行部署，单台服务器时 或者 APP与DB之间可能APP本身就进行了均衡操作，此时数据流不需要通过物理负载均衡器Page 15WEBAPP对应各VLAN的接口对应各VLAN的接口DBWEBAPPDB对应各VLAN的接口对应各VPN Instance的接口VPN 1Internet 虚拟化设备业务流流程逻辑设计Internet Web，经过物理防火墙和负载均衡器9 7 6 2Web App，ACL作安全，经过负载均衡器1 8 3App DB，ACL作安全，不经过负载均衡4 5Page 16汇聚交换机接入交换机心跳线心跳线Web serverDatabase serverApplicati

10、on server互连Trunk9逻辑连接图黄线：Trunk链路1112业务流流程物理设计Page 17物理连接图Web serverDatabase serverApplication server黄线：Trunk链路互连Trunk1211686汇聚交换机接入交换机Internet Web，经过物理防火墙和负载均衡器9 7 6 6 6 2Web App，ACL作安全，经过负载均衡器1 8 8 3App DB，ACL作安全，不经过负载均衡4 5MPLS VPN 实现区域隔离和多站点互访不同站点的同一分区间可以可以实现安全的互连互通，与在同一局域网无差别。这样可以连通位于不同城市的机房，消除信息

11、孤岛。同一类型的业务可以分布式部署在不同的站点，增加业务部署的灵活性不同的分区间通过MPLS VPN实现路由的隔离，比只采用防火墙做隔离大大增加了安全性Page 18Internet / MPLS backbone IDC VPNData Center AData Center BIDC VPNEnterprise VPNTelecom VPNManagement VPNEnterprise VPNTelecom VPNManagement VPN同一站点和不同站点间的跨区域访问同一站点及不同站点的不同分区间的相互访问必须绕行Internet（物理上绕行核心路器）和经过防火墙的安全过滤将来自其

12、它区域访问当作来自Internet的访问，由防火墙过滤，确保安全Page 19Internet / MPLS backbone IDC VPNData Center AEnterprise VPNTelecom VPNManagement VPNInternet / MPLS backbone IDC VPNData Center AData Center BIDC VPNEnterprise VPNTelecom VPNManagement VPNEnterprise VPNTelecom VPNManagement VPN数据中心虚拟化实现分区的服务器属于不同的MPLS VPN，汇聚层的防

13、火墙、负载均衡器通过虚拟化分别对应不同的MPLS VPN，实现同一设备为多个分区所共享虚拟化实现资源合理分配，加强了可靠性，在某一分区遭受攻击，资源紧张的情况下，其它分区仍可以正常工作Page 20MPLS BackboneAggregation Module 1Blue VRFRed VRFGreen VRFPEPEDC CoreInternetAggregation Module n交换机虚拟化multi-VRF（MCE）汇聚交换机通过部署multiVRF，把路由表分成多个逻辑路由，实现不同分区的三层业务隔离转发引擎通过VPN ID索引不同的路由表，根据目的IP转发到上行口配合防火墙和负载

14、均衡的虚拟化实现汇聚层不同业务分区的业务隔离Page 21分区2分区3分区1MPLS COREVRF1VRF2VRF3MPLS VPN起始点QOS设计总体上分6个优先级。管理流量最高标记为5（EF）其他按照业务重要程度和与客户签订的SLA来确定优先级等级自有业务标记4（AF4）、3（AF3）大客户金牌2 （AF2） 、银牌1 （AF1） 其他为0（BE）Page 22增值业务自有业务大客户其他接入设备端口根据所接业务标记Internet / MPLS backbone 入口根据源和目的IP标记Page 23Contents总体网络概述数据中心业务实现高可靠性安全保护接入层可靠性设计接入交换机到

15、汇聚采用三角型的组网汇聚层的防火墙、负载均衡器等设备可以为多个接入层交换机对所共用冗余链路，倒换时间短VLAN可以跨接入交换机，灵活性高，方便部署可靠性： STP/RSTP/MSTPSmart Link/Monitor LinkLoopback detection服务器多网卡接入Page 24AggregationLayer 3Layer 2三角环路.1Q TrunkVlan 2Vlan 3Vlan 2MSTPSmart linkSmart linkLoopback detectionLoopback detectionSTP二层可靠性保护VLAN trunk实现接入交换机之间的二层互通MST

16、P破环防止转发风暴，同时应用多生成树实例，实现负载均衡秒级的故障恢复BPDU保护，防止边缘端口恶意攻击导致重新计算生成树环路保护， 防止由于网络拥塞导致BPDU没有及时传送引起端口状态切换产生环路根桥保护，保护根桥的指定端口免受虚假BPDU攻击导致状态切换TC（topology change）保护，防止频繁的TC_BPDU报文导致ARP和MAC反复删除，引起CPU过载Page 25802.1Q TrunkSTP root primaryActiveActiveDC Core STP root-protectionSTP loop-protectionSTP BPDU-protectionSma

17、rt link双归可靠性保护Page 26接入交换机双链路上行到汇聚交换机，实现双归保护50ms的链路切换，双归应用场景可取代MSTP实现高可靠链路保护独有的monitor link特性，可检测到汇聚交换机上行链路的端口状态（port3故障）多Smart link实例实现业务的负载均衡Port1Port2Port3Port 4Port 5Smart link group: port1, 2Monitor link group : port3, 4, 5Layer 3Layer 2DLDP 和 环路检测二层网络交换机各端口之间部署DLDP（device link detection protoc

18、ol），用于检测单向链路是否存在在部署STP的情况下，推荐部署，用于确保生成树正确，不发生环路端口环路检测（Loopback detection），部署在接入交换机与服务器相连端口，防止用户组网或配置出现错误Page 27DC Core Loopback dectionDLDPNIC Teaming 实现服务器多网卡捆绑服务器双链路上行，实现双归保护网络驱动程序将多个网卡捆绑成一个网卡一个网卡失效，另一个接管它的MAC地址服务器使用同一个IP进行访问Page 28ActiveStandbyActiveDisableIP=192.168.1.1MAC=00e0.fc00.1111IP=192.1

19、68.1.1MAC=00e0.fc00.1111NormalFailure汇聚层可靠性VRRP汇聚交换机之间配置多个VRRP组实现备份和负载分担负载均衡设备和防火墙之间分别建立VRRP组实现备份上述VRRP组的心跳通过汇聚交换机之间的Trunk链路进行交互BFD实现加快VRRP组心跳检测，实现50ms快速倒换Page 29DC Core VRRP1VRRP1VRRP2VRRP3VRRP3VRRP4VRID2 masterVRID4 backupVRID2 backupVRID4 masterVRRP条件下的故障切换二层双归保护可以是MSTP或者Smart link防火墙故障处理同负载均衡器防火墙和负载均衡器同汇聚交换机之间的保护通过链路聚合完成Page 30（A）（C）（B）（D）链路聚合聚合分为两种：静态聚合，动态聚合（LACP）提供更高的带宽，同时进行负载分担链路备份，提高可靠性Page 31FE/GELACPWhen bandwidth is not enough?When link fault?DC Core 核心层网络拓扑对于中小型网络，推荐双核心备份对于大型或可靠性要