Cloud Fabric数据中心基础网络方案设计-基于CSS

1、HUAWEI TECHNOLOGIES CO., LTDSecurity Level: CloudCloud FabricFabric数据中心基础网络方案设计数据中心基础网络方案设计 基于基于CSS+SVFCSS+SVF实现（实现（V100R003V100R003）企业网络产品线解决方案设计团队企业网络产品线解决方案设计团队前言概述 本文是Cloud Fabric数据中心基础网络方案设计的一个分支基于CSS+SVF实现，提供了数据中心网络架构和基础网络的端到端设计，用于指导一线进行数据中心项目的HLD设计。 本文从传统数据中心对网络需求出发，以传统数据中心分层、分区的设计原则，着眼于数据中心各

2、个分区的网络设计。网络架构以CSS+SVF技术为基础，阐述了内网核心区、接入区设计，数据中心安全，互联灾备，运维设计等各方面内容。 本文中涉及的各技术方案细节可参考专项设计指南如： “Cloud Fabric数据中心网络方案-安全设计”， “Cloud Fabric数据中心网络方案-双活设计”，“Cloud Fabric数据中心网络方案-灾备设计”，“Cloud Fabric数据中心网络方案-虚机接入设计”，“Cloud Fabric数据中心网络方案-业务存储网融合设计”，“Cloud Fabric数据中心网络方案-运维管理设计”等。版本信息 本文所有方案及相关技术都基于CE系列交换机V100

3、R003版本。目录目录l数据中心网络设计方法数据中心网络设计方法p数据中心网络设计总体流程p数据中心网络需求调研指南l数据中心总体架构设计l数据中心内部互联设计（核心层设计）l数据中心服务器接入设计（接入层设计）HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 4数据中心业务目标数据中心网络解决方案路线图数据中心网络解决方案路线图数据中心网络主体方案交换网络POD设计L2/L3设计接入网络数据中心网络总体架构数据中心网络专项方案物理架构布线 TOR/EOR节能布局数据中心灾备数据中心安全数据中心互联数据中心接入DC标准行业标准应用架构管理体系IT

4、架构技术趋势机房基础设施服务器网络外联网互联网内网存储网络管理网络应用支撑系统分区逻辑架构分层架构WAN架构安全架构灾备架构业务模型APPsLBFWNASIP/FC SANOAMAAA路由DNSIP规划可靠性本胶片涉及范围统一管理运维目录目录l数据中心网络设计方法l数据中心数据中心总体总体架构设计架构设计p总体架构设计总体架构设计p数据中心分区划分l数据中心内部互联设计（核心层设计）l数据中心服务器接入设计（接入层设计）HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 6企业数据中心网络解决方案全景图企业数据中心网络解决方案全景图出差员工分支机构

5、合作伙伴外联业务区灾备数据中心业务区2业务区1主数据中心WANISP1ISP2互联网业务区数据中心互联区园区Internet内网安全方案设计安全方案设计内网架构设计互联核心设计业务分区设计接入分区分类设计服务器融合接入设计虚拟感知解决方案设计互联方案设计MPLS VPN互联设计VPLS二层互联设计IP+光协同方案EVN互联设计灾备方案设计灾备方案设计增值业务方案设计负载均衡及应用加速统一管理方案设计管理方案设计虚拟化管理方案VM VMVSwitchHUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 7中小型数据中心中小型数据中心- -整体分区架构设

6、计整体分区架构设计InternetExtranet专线/骨干网内网接入区数据及安全管理系统管理运营维护区存储区互联核心汇聚业务层接入层接入层OA办公业务区业务测试区生产业务区网络管理专线/骨干网数据中心互联区研发业务区汇聚业务层接入层支撑业务区汇聚业务层接入层OA业务区汇聚业务层接入层业务测试区汇聚业务层接入层核心防火墙核心防火墙LB核心业务区汇聚业务层接入层LBDMZ区外联网接入区外联区DMZ区互联网接入区外联区整体逻辑架构设计l模块化p业务安全隔离l层次化p网络具备横向弹性，易扩展p支持低时延、无阻塞业务部署p支持胖树结构组网l虚拟化p虚拟机接入感知与自动化策略部署pVS+CSS二维网络虚

7、拟化能力l融合网络p支持FCoE技术，融合存储与业务网络HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 8数据中心网络架构设计数据中心网络架构设计- -典型三层典型三层l层次化架构p可靠性高：汇聚区设备独立，冗余设计，避免单点故障。p易于扩展：易于模块化设计，汇聚区间相对独立，易于业务扩展，故障隔离和故障定位。p方便管理：便于部署路由，安全控制策略。l核心层：是交换核心，采用冗余性设计保证高可靠性，支持无阻塞数据交换。p高可扩展性，大容量。p推荐：CE12800、S9700。l汇聚层：汇聚来自接入层的流量，作为服务器网关，部署策略，实现分区内服

8、务器分组间的互通，实现出区域的业务流量转发。路由汇聚及路由负载均衡，快速收敛。p网络增值业务，如：安全控制、应用优化、负载分担，SSL卸载等智能功能。p推荐：CE12800、S9700、 S7700、USG安全网关、业务增值板卡。l接入层：服务器、主机、存储设施接入，网络智能服务初始分类，如QOS、ACL。接入部署模式分为TOR、EOR/MOR。p推荐：CE6800、CE5800、S5700、S9700、S7700。l接入设备：各种业务服务器和接入设备，如DNS、APPS、DB等服务器，形态有大型机、机架式服务器、刀片服务器。汇聚层核心层接入层服务器存储TOREOR/MOR典型数据中心内网架构

9、HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 9数据中心网络架构设计数据中心网络架构设计- -二层架构二层架构l层次化架构p可靠性高：汇聚区设备独立，采用冗余设计，避免单点故障。p易于扩展：易于模块化设计，汇聚区间相对独立，易于业务扩展、故障隔离和故障定位。p方便管理：便于部署路由、安全控制策略。l核心层：交换核心，采用冗余性设计保证高可靠性。支持无阻塞数据交换，同时汇聚接入层流量，作为服务器网关，部署策略。p高可扩展性，大容量。p网络增值业务，如：安全控制、应用优化、负载分担、SSL卸载等智能功能。p推荐：CE12800、S9700、S77

10、00、USG安全网关、业务增值板卡。l接入层：服务器、主机、存储设施接入，网络智能服务初始分类，如QOS、ACL。接入部署模式分为TOR、EOR/MOR，EOR/MOR下可作为网关。p推荐：CE6800、CE5800、S5700、S9700、S7700。l接入设备：各种业务服务器和接入设备，如DNS、APPS、DB等服务器，形态有大型机、机架式服务器、刀片服务器。核心层接入层服务器存储TOREOR/MOR典型数据中心内网架构l数据中心网络设计方法l数据中心数据中心总体总体架构设计架构设计p总体架构设计p数据中心分区划分数据中心分区划分l数据中心内部互联设计（核心层设计）l数据中心服务器接入设计

11、（接入层设计）目录目录HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 11分区分区分区定义根据企业自身特点，依据业务系统的相关性、安全性、管理、规模等因素，对数据中心的服务器进行分区。分区组成每个分区具备业务服务器、汇聚交换机，以及防火墙、负载均衡器等业务设备。分区上行连接数据中心交换核心。如下是两种分区的示例，一个分区可由多个POD组成，采用TOR或者EOR的布局方式。分区与业务关系生产、办公、财务、ERP等业务，根据业务安全等级、业务关联度要求部署至不同分区。Internet用户、合作伙伴、园区等不同接入用户，根据接入手段或者用户信任等级进

12、行接入分区划分。POD 1POD 2POD n业务分区1 TORRackRackRackPOD 1POD 2POD n业务分区2 EOR/MORRackRackRackEOR/MORHUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 12数据中心网络分区原则数据中心网络分区原则安全性原则按照安全等级不同，划分为不同分区。例如，为互联网用户，合作伙伴服务的服务器单独分区。信息敏感服务器单独分区。高可用布局原则业务关联度高的服务器部署在同一个区域。业务关联度低的服务器拆分成多个区域。容量适度原则根据运维管理经验，控制单个区域内的服务数量，例如，500台

13、以内。未来服务器数量增加、区域间流量增长后可考虑进一步拆分。独立运维管理原则 业务流量、安全控制、组网协议方面有特殊要求的服务器单独分区。HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 13业务分区划分方式业务分区划分方式l业务分区设计要点p分区设计优先考虑综合布线及基础设施运维因素。p可以按照服务器类型、业务应用层次、业务应用类型等方式划分，每种分区方式各有优缺点和适应范围。p一个企业的数据中心，往往同时存在多种分区方式。根据业务的实际需要，多种模式混合使用。p不同服务器物理部署差异很大，因此为了方便运维，服务器类型往往优先考虑，并结合其他分

14、区方式进行分区设计。交换核心PC ServerApp1Web1Web2Web3DB3App3大型机App2DB1DB2交换核心WebWeb1Web2Web3DBDB2DB3AppApp1App3App2Web4Web5Web6DB1交换核心财务Web1Web2办公生产App1DB1Web3Web4App2DB2Web5Web6App3DB3按服务器类型分区按应用层次分区按应用类型分区小型机DB4DB5DB6HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 14企业数据中心典型分区企业数据中心典型分区典型企业数据中心分区l业务分区p根据业务隔离与互

15、访需求、业务类型和规模划分分区。p业务分区间采用防火墙进行隔离。p业务分区内子分区，采用逻辑隔离各个业务层次。l接入分区根据接入用户类型进行划分。每种用户接入可能包含多种接入手段。如果投资、接入资源不允许，可结合接入资源进行整合。如，数据中心互联区在没有条件建设传输网络的情况下，与内网接入区共享一张MPLS骨干网络的不同VPN。运营维护区网络管理同城/异地灾备中心数据中心互联区系统管理测试区业务区业务分区NIntranet接入区业务分区1业务分区2业务测试区Internet接入区DMZExtranet接入区DMZ接入区Internet园区/分支机构合作伙伴外部用户移动办公MANDWDMWAN数

16、据管理安全管理Extranet业务测试区业务分区N存储区交换核心HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 15政府行业数据中心典型业务政府行业数据中心典型业务l通常分为外网、外联网、内网三张网。l内网为保密网，需要与其他网络完全隔离或强隔离。外网、外联网可逻辑隔离或弱隔离。l外网承载面向公众查询、公告、个人业务，通常为B/S/S多层架构。其数据库可能存在与外联网的同步。l外联网承载面向公司用户、政府关联部门等外部用户的各类主管业务服务信息系统、公务员管理系统、部门间联动系统等。通常为C/S/S或B/S/S架构。l内网承载政府办公业务、政务

17、考核业务等，通常为严格保密业务，往往与其他部分分开建设。外网业务内网业务外联网业务外网公众查询后台数据库主管业务数据管理后台数据库各类信息管理系统后端应用服务器主管业务信息管理系统后端应用服务器Internet门户/政府服务网站前端Web各类服务信息系统/部门间联动系统/公务员管理前端Web专线/外联网Internet公众/个人用户公司用户/业务服务单位电子政务外网政务关联部门后台数据库后端应用服务器政务办公系统/考核系统前端Web电子政务内网/保密专线体系内政务用户外网/互联网业务网/专网/外联网内网/办公网/保密网逻辑隔离强隔离/完全隔离数据同步目录目录l数据中心网络设计方法l数据中心架构

18、设计l数据中心内部互联设计（核心层设计）数据中心内部互联设计（核心层设计）p互联核心设计互联核心设计p路由协议设计p网关设计p数据中心流量模型l数据中心服务器接入设计（接入层设计）HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 17交换核心层设计交换核心层设计设计目标 p核心层网络是数据中心的互联核心。p连接数据中心内部各个功能分区，如互联接入区，业务分区，内网接入区等。设计要求p高性能快速转发；高密度10GE/40GE连接。p高可靠性/可用性，支持不间断转发。p可扩展性高，满足数据中心业务服务器、数据及存储扩展。p收敛比尽可能小，可满足无阻塞

19、交换。p支持虚拟化技术，满足组网与隔离的灵活部署。部署方案p核心由两台高性能交换机组成。p对于更高可靠性可使用4台交换机组成双平面。p可选择部署CSS集群，简化管理与路由设计。p根据分区隔离、流量隔离需求，设计CSS集群多虚一，以及VS一虚多。p中小型数据中心，可选择与汇聚层合并，并部署VS一虚多。管理 汇聚层核心层接入层接入设备HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 18互联核心多虚一方案互联核心多虚一方案-CSS-CSS集群虚拟化集群虚拟化l客户价值p简化运维管理,降低OPEX：配置同步，减少网络节点p构造高可靠无环网络：无单点故障

20、，无环网络l部署方案p采用业务口集群方案n支持2台组成CSS集群。（CE12800未来可支持4台）p集群带宽高nCE12800最高达640Gbps。（未来可达1600Gbps）p转发及管理通道n通用的业务接口(10GE/40GE/未来支持100GE)连接。n管理通道可采用带内或带外方式部署，管理平面承载华为私有堆叠协议，以及管理，配置，协议上送CPU等流量。pDAD检测链路(Dual-Active Detect)n带外部署DAD检测链路，集群心跳在堆叠管理通道中断后，关闭低优先级设备业务端口，避免出现双主。p支持长距离CSS灵活部署(二层跨机房、楼宇场景)p支持本地优先转发，优化流量模型汇聚层

21、核心层接入层接入设备CSSL3L2转发及管理通道DAD检测链路Eth-TrunkHUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 19互联核心一虚多方案互联核心一虚多方案- -什么是什么是VSVSlVS的定义pVirtual System，交换机虚拟化中的“一虚多”，把一台物理交换机虚拟成多台逻辑交换机。逻辑交换机之间软、硬件隔离，互不影响。lVS的特征p交换机一虚多：一台物理交换机对外表现为多台逻辑交换机。pVS间相互隔离：VS独占分配给自己的系统资源，独立运行网络业务。VS间相互隔离、互不影响。与VRF等隔离方案相比转发层、控制层、管理层、系

22、统资源全部隔离。pVS间资源可以端口组VS或端口VS为单位进行灵活分配。VS 1VS 2VS 3备注：当前CE12800支持VS功能，后续的描述不做特别说明，所指的产品就是CE12800交换机HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 20互联核心一虚多方案互联核心一虚多方案-VS-VS虚拟化虚拟化园区和DC核心合一汇聚和核心合一多区域/多租户分割办公DMZ生产n交换机物理复用，节省设备成本n按需灵活分配资源，提高设备利用率n网络业务划分与隔离，提高网络安全性及可靠性n各个VS故障隔离n物理设备共用，降低功耗n减少占用的物理空间n降低维护的

23、网络物理节点EdgeVS3VS2数据中心园区核心汇聚降低Capex降低Opex安全可靠HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 21实现横向多网核心融合实现横向多网核心融合l用户需求用户需求p客户需要部署2张相互独立的网络，分别运行不同的业务(例如DC、园区；或生产、办公网)；或为大颗粒多租户(Large Tenant）提供高品质网络资源。p对于交换核心网络设备，投资较大，性能规格较高。解决再部署多张物理隔离网络，投资浪费严重，回报率低的问题。l方案部署方案部署p两台核心交换机部署VS一虚多，2张网络在核心层共用物理交换机、独享不同的VS

24、，实现网络隔离。VS配置为端口组模式，每个VS的性能与物理设备一致。l方案价值方案价值p在满足业务需求的前提下，充分利用设备能力，提高投入产出比，减少网络投资。p提供优于VRF等的可靠的网络隔离手段。数据中心网络园区网络数据中心网络园区网络VS2VS1VS2VS1部署VSL3路由L2交换L3路由L2交换HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 22实现实现IPIP存储与业务网络融合存储与业务网络融合l用户需求p业务网、IP存储网，传统组网下前后端网络需要独立部署和隔离以保证互联带宽。p解决投资投入大，回报率低的问题。l方案部署p两台核心交

25、换机部署VS一虚多，2张网络在核心层、汇聚层共用物理交换机、独享不同的VS，实现网络规格、带宽隔离。pVS配置为端口组模式，每个VS的性能与物理设备一致。l方案价值p在满足业务需求的前提下，充分利用设备能力。网络资源调度灵活，提高投入产出比，减少网络投资。p带宽独享，控制、转发平面严格隔离。业务网IP存储网部署VSL3路由L2交换L3路由L2交换业务网IP存储网VS2VS1VS2VS1VS1VS1VS2VS2HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 23VSVS一虚多与一虚多与CSSCSS结合结合- -实现纵向核心汇聚融合实现纵向核心汇聚

26、融合l用户需求p网络按照传统的分层结构，部署核心、汇聚、接入三层网络；汇聚层作为分区出口。pDC网络规模较小，但用户要求较强的分区隔离，保持分区结构与业务结构。l方案部署p把网络的核心层和汇聚层部署在VS系统上，物理上共用同一台交换机。VS配置为端口组模式，每个VS的性能和物理设备一致。p适用于分区数量少于7个的场景。l方案价值p减少网络投资，保证分区隔离，简化网络运维。p网络拓扑部署灵活，适应场景较多。核心层汇聚层接入层部署VS核心层汇聚层接入层L3路由L2交换L3路由L2交换研发业务区办公业务区VS3VS3VS1VS1VS2VS2目录目录l数据中心网络设计方法l数据中心架构设计l数据中心内

27、部互联设计（核心层设计）数据中心内部互联设计（核心层设计）p互联核心设计p路由协议设计路由协议设计p网关设计p数据中心流量模型l数据中心服务器接入设计（接入层设计）l数据中心外部接入设计l虚拟感知解决方案HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 25路由设计原则路由设计原则l三层路由主要互联各个分区，分南北、东西两个方向。l数据中心路由设计与园区的区别p分区复杂：业务分区复杂，IP网段多，服务器虚拟化后更甚。p流量模型复杂：南北、东西互访因业务系统而异，互访、隔离关系复杂。p分区流量大：接入密度高，出入分区流量大，需要考虑负载均衡和链路利

28、用率。l总体设计原则p层次化：规划骨干与非骨干区域，减少全网路由通告。p结构化：不同业务、异地数据中心，规划不同的Area、AS等。形成结构化的域，配合IP地址规划，易于路由聚合。p互访控制：不同AS、Area等之间，通过ASBR、ABR等，进行路由发布控制及互访控制。HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 26三层接入方案三层接入方案IGPIGP设计设计l网络部署p网关部署在接入层，采用三层接入方案。p适用于EoR接入或两层结构接入的全路由场景。l路由设计 p核心交换机和园区核心(或者出口路由器)和防火墙组成骨干区域（Area 0）。

29、p每个分区的汇聚交换机和核心交换机，防火墙部署为不同的OSPF区域（Area ID 1,2N）。pArea 1,2N 使用NSSA区域，限制LSA在区域间的传播。p若分区数量少及网络设备节点数较少，建议只配置Area 0。p建议出口路由器引入默认路由，不建议引入外部路由造成内网路由条目过大造成设备压力。l业务部署pLB设备部署在接入层.p业务网关部署在接入交换机或者LB设备.p防火墙部署在汇聚层，使用路由模式.核心交换机业务区1业务区2业务区nNSSAArea1NSSAArea2NSSAAreaNArea0出口(接入分区)接入交换机汇聚交换机HUAWEI TECHNOLOGIES CO., L

30、TD.华为保密信息，未经授权禁止扩散Page 27三层可靠性技术设备级冗余路由收敛设计故障检测与感知物理链路冗余物理冗余检测手段协议冗余单点可靠性链路可靠性核心可靠性设计层次图例交换核心交换核心可靠性可靠性设计概述设计概述l三层可靠性设计层次包括p物理冗余设计：设备级冗余(关键部件及CSS)、物理链路冗余(双归及Trunk)p路由收敛设计：OSPF路径设计、ECMP/UCMP设计p三层可靠技术部署：IP FRR，NSF/GR，NSRp故障检测与感知设计：BFD设计l合理的物理冗余设计能够有效提升单点或链路的可靠性，如：设备关键部件冗余、双归属链路冗余、多链路捆绑冗余。l层次越高的地方对可靠性要

31、求越高，核心层对可靠性要求最高；拓扑越简单可靠性越容易保证，同时易于维护。l需要取决于业务可靠性需要、组网及设备能力，综合运用可靠性技术进行设计。出口(接入分区)数据中心核心层汇聚层业务分区B业务分区AHUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 28链路可靠性设计链路可靠性设计l物理链路冗余p汇聚层-核心层间：三角形组网，双归连接。p核心层-防火墙-出口路由器间：推荐口字形组网，多链路Trunk。l路由收敛设计p主备场景(1)：OSPF协议LSA通告拓扑变化，路由收敛计算至其他较低优先级或多跳路由条目。流量模型变化较大，常用于于口字形组网、

32、链路资源充裕或带宽需求较少的链路。p负载分担场景(2)：OSPF协议LSA通告拓扑变化，故障下一跳路由条目删除，流量从正常的其他链路转发。流量模型变化较小，常用于三角形组网，链路资源较少或带宽需求较大的链路。l三层可靠性技术部署p主备场景(1)：核心交换机及上游设备（出口路由器、防火墙或园区核心）间部署IP FRR，指定下一跳为备用链路，并部署BFD for IP FRR，通过联动端口状态，加速IP FRR感知、切换。p负载分担场景(2)：部署BFD for OSPF，加速OSPF感知链路变化，并通告、收敛，将故障链路流量引流至其他正常链路。出口(接入分区)数据中心核心层汇聚层汇聚层注1:园区

33、核心交换机未表示，根据和园区网及园区出口的关系不同可选部署。注2:根据前面的讨论，核心交换机可以不部署CSS。以三层路由手段保证可靠性。(1)(1)负载分担负载分担场景场景主备场景主备场景BFD for IP FRRBFD for OSPFIP FRRECMP(2)(2)目录目录l数据中心网络设计方法l数据中心架构设计l数据中心内部互联设计（核心层设计）数据中心内部互联设计（核心层设计）p互联核心设计p路由协议设计p网关设计网关设计p数据中心流量模型l数据中心服务器接入设计（接入层设计）l数据中心外部接入设计l虚拟感知解决方案HUAWEI TECHNOLOGIES CO., LTD.华为保密信

34、息，未经授权禁止扩散Page 30网关网关设计方案设计方案- -二三层接入对比二三层接入对比L2L3L3L2L2L3L3L3二层接入三层接入二三层分界点(网关)汇聚层设备接入层设备网关特点每分区共用每分区多个网关广播域范围跨接入层设备不跨接入层设备优点比较服务器业务易于互通增值业务易于部署于汇聚层IP网段数量较少，易于管理广播域小上行链路利用率高拓扑灵活，扩展性强汇聚层核心层接入层接入设备HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 31二层接入设计二层接入设计- -推荐推荐l方案 p汇聚设备作为二三层网络的分界点，作为服务器业务网关。p汇聚

35、、核心设备采用三层路由互联，通过IP FRR做快速路由收敛。p接入设备仅仅为用户提供二层接入功能，根据服务器分组的具体情况划分VLAN。p接入层到汇聚层通过设备堆叠、集群，采用链路汇聚保证设备间可靠性.通过MSTP防止错误配置或连线引起的网络环路。p典型场景情况下推荐本方案。l优点p服务器业务易于互通。p增值业务易于部署于汇聚层，数量相对较少，成本较低。pIP网段占用数量较少，易于管理。l缺点p二层网络内的故障定位难度较大。p二层广播域范围相对较大，增加了流量管理的复杂度。 汇聚层核心层接入层接入设备L2交换L3路由HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授

36、权禁止扩散Page 32网关网关VRRPVRRP设计设计l应用场景p二层采用xSTP组网时，网关可选用VRRP。pxSTP提高二层链路可靠性，VRRP提高网关单点可靠性。l配置方案p配置多个出口网关，网关运行VRRP协议，并向下提供虚拟IP及MAC地址。p通过下行或互联二层网络交换VRRP报文信息p主用网关同时监控上行接口，上行链路故障或设备故障时可自动切换。华为支持BFD for VRRP，加速VRRP切换时间，切换时间控制在50毫秒以内。监控上行端口汇聚层核心层接入层接入设备VRRP:VIP VMACxSTPEth-TrunkHUAWEI TECHNOLOGIES CO., LTD.华为保

37、密信息，未经授权禁止扩散Page 33VRRPVRRP负载分担设计负载分担设计l应用场景及部署p需要多个网关同时分担数据流而相互备份时，则需要采用VRRP负载分担方式。p建立两个或更多的备份组，应用不同的VLAN，形成负载分担。p与MSTP实例的根桥配置相配合，使链路与VRRP主备一致。l方案特点p每个备份组都包括一个Master设备和若干Backup设备。p各备份组的Master设备可以不同。p同一台汇聚设备可以加入多个备份组，在不同备份组中有不同的优先级。监控上行端口汇聚层核心层接入层接入设备VRRP1:VIP1 VMAC2VLAN1020MSTPEth-TrunkVRRP2:VIP2 V

38、MAC2VLAN21-30VLAN1020VLAN2130HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 34VRRPVRRP快速切换设计快速切换设计l应用场景及部署pVRRP主要用于防止网关单点故障，BFD可将检测到的对端节点故障通知接口板，加快主备倒换速度。n加快对端单点故障检测速度n防止出现双VRRP主n不建议用于下行链路的检测与联动切换pBFD对Backup和Master之间的实际地址通信情况进行检测，如果通信不正常，Backup就认为Master已经不可用，升级成Master。pBFD检测报文通过两VRRP节点间Trunk链路到达对端

39、。VRRP通过监视BFD会话状态实现主备快速切换，切换时间控制在50毫秒以内。BFD for BFD for VRRP VRRP 汇聚层接入层接入设备MSTPEth-TrunkVLAN1020VLAN2130目录目录l数据中心网络设计方法l数据中心架构设计l数据中心内部互联设计（核心层设计）数据中心内部互联设计（核心层设计）p互联核心设计p路由协议设计p网关设计p数据中心流量模型数据中心流量模型l数据中心服务器接入设计（接入层设计）l数据中心外部接入设计l虚拟感知解决方案HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 36数据中心业务分区收敛比

40、设计数据中心业务分区收敛比设计l通过收敛比设计满足业务的容量需求l接入层收敛比设计p由服务器性能及业务类型确定一般数据流量p考虑网卡数量，接入方式(负载均衡 or 主备)p考虑接入设备形态，确定上下行连接比例l汇聚层收敛比设计p考虑二三层网络结构影响p考虑南北向流量需求p三层负载均衡 or 主备，会影响收敛比p考虑板卡的配置方案，确定上下行连接比例p综合考虑分区内汇聚、接入两层的总收敛比l收敛比：1.2:1至12:1l常见业务接入层收敛比汇聚层核心层接入层接入设备业务分区1业务分区2服务器类型典型收敛比Web服务器12:1APP服务器6:1DB4:1分布式计算/大规模虚拟化4:1甚至更低(根据

41、流量需求)10GE或40GE10GE或40GEGE或10GE10GE或40GEGE或10GEl数据中心网络设计方法l数据中心架构设计l数据中心内部互联设计（核心层设计）l数据中心服务器接入设计数据中心服务器接入设计（接入层设计）（接入层设计）p二层拓扑设计二层拓扑设计p二层可靠性设计p服务器接入设计l数据中心外部接入设计l虚拟感知解决方案目录目录HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 38二层设计总体思路原则二层设计总体思路原则l分区设计p通过将较大的二层网络，划分为多个业务分区，每个业务分区汇聚层作为网关及业务分区出口，控制二层域范围

42、。当出现可能的二层环路等二层网络故障时，故障影响范围限制在分区内，不会影响其他重要业务。l收敛比p根据用户业务流量模型确定，业务垂直流量(Client to Server)越大，收敛比应当越低。跨分区流量越大，收敛比应当越低。可通过计算服务器每端口平均流量，确定收敛比。p收敛比越低，带宽越大，部署成本越高。传统多层业务收敛比4:112:1。lVLAN部署pVLAN根据业务隔离需求进行部署，通常在业务分区内，通过VLAN划分子分区。VLAN部署需要考虑二层适应性，考虑多网卡NIC Teaming接入，必须位于同一VLAN问题。l可靠性设计p二层广播域内，需要仔细考虑当前拓扑下可能产生二层环路、链

43、路、设备故障场景，并部署相应破环、无环、冗余、可靠性技术。因此，规划合理的二层网络拓扑，采用分层、分区的网络结构设计思想，是提高可靠性的基础。HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 39二层网络设计选择二层网络设计选择l三角形拓扑接入层采用双上行连接，形成主备链路或负载分担链路。l口字形拓扑接入层采用单上行连接，接入同层互联形成备用链路。lLFR(Loop-Free Reliable)无环以太网拓扑通过iStack、CSS等虚拟化技术虚拟化为一台设备，链路负载均衡。同时上行链路配置LACP链路聚合。汇聚层汇聚层( (网关网关) )三角形

44、拓扑口字形拓扑无环以太网拓扑接入层接入层HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 40链路聚合部署方案链路聚合部署方案l接入-汇聚，汇聚-核心间链路，由于设备通常采用堆叠或集群，因此在收敛比允许的情况下，链路可以采用每台设备单归上行，减少上行链路数。多NIC网卡支持NIC Teaming LACP模式，则可以在接入交换机下行部署静态LACP链路聚合。p只有已经堆叠的情况下，本端才能部署跨设备的链路聚合，即堆叠组成员端口可以跨设备。l支持手工负载分担模式，静态LACP模式两种方式部署Eth-Trunk。p手工负载分担模式：Eth-Trunk

45、的创建、成员接口的加入都需要手工配置完成，没有LACP协议报文的参与。适用于对端不支持LACP的场景，不能实现冗余。p静态LACP模式：利用LACP协议进行聚合参数协商、确定活动、非活动接口。静态LACP需手工创建Eth-Trunk并配置成员接口，由LACP协议协商确定活动接口和非活动接口。p不推荐采用动态LACP模式，动态LACP由LACP自动创建Trunk、加入成员端口，不易于管理控制。pS系列及CE系列交换机，不支持动态LACP模式。（注：有些客户习惯把静态LACP方式叫做动态链路聚合，这种是相对于手工负载分担方式而言的，因此请注意分辨。）接入层汇聚层业务层配置静态LACP及逐流负载分担

46、HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 41堆叠部署建议堆叠部署建议l部署冗余堆叠链路：建议部署至少两条堆叠线缆，保证堆叠链路可靠性。l堆叠带宽的设计：堆叠带宽仅是建议值，具体设计需要根据同一组接入交换机内跨交换机流量模型而定。这与业务以及服务器接入、接入交换机部署方式强相关。例如：如果服务器接入采用双归负载均衡接入，接入交换机间可采用较小堆叠带宽。l盒式堆叠台数：需要根据接入层收敛比、布线情况而定。在堆叠线缆布线长度允许的情况下，业务流量较低，收敛比较高时，可考虑更多台接入交换机进行堆叠，以减少上行链路数。lEoR千兆及万兆接入，通常

47、为2层结构，没有汇聚层。因为框式设备比较灵活，具体接入、上行、集群部署需要根据项目分区服务器规模、业务流量进行考虑。每组接入每组接入每组上行每组上行接入层收敛比接入层收敛比参考型号参考型号堆叠部署堆叠部署ToR千兆接入96*GE4*10GE2.4:12*S5700-52C2*S5710-52C2*CE5800堆叠卡堆叠2*10GE业务口堆叠/台2*10GE业务口堆叠/台96*GE2*10GE4.8:12*S5700-52C2*S5710-52C2*CE5800堆叠卡堆叠2*10GE业务口堆叠/台2*10GE业务口堆叠/台96*GE8*10GE1.2:1（无收敛）2*S5710-52C2*CE5

48、8002*10GE业务口堆叠/台2*40GE业务口堆叠/台96*GE2*40GE1.2:1（无收敛）2*CE58002*10GE业务口堆叠/台ToR万兆接入96*10GE4*40GE6:12*CE68002*40GE业务口堆叠/台96*10GE2*40GE12:12*CE68002*40GE业务口堆叠/台HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 42CE6850CE5810引擎接口板SVF （Super Virtual Fabric）技术：l 交换机虚拟化的一种形式：多台交换机虚拟成1台，作为一种端口扩展技术，在纵向维度上支持对系统进行异

49、构扩展l 网络层次上的纵向堆叠：可以简单理解为“汇聚交换机和接入交换机做堆叠”SVF系统组成：l 系统中包括2类设备：父交换机和子交换机 父交换机：是堆叠系统的核心，负责整个堆叠系统的控制和转发子交换机：作为父交换机的线卡，控制平面上移到父交换机，本地只负责转发，相当于把父交换机的端口拉远简化二层接入设计简化二层接入设计SVFSVF虚拟化后的系统逻辑上相当于一台设备父交换机子交换机HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 43SVFSVF方案优势方案优势Server接入交换机配线架Server配线架优势简化布线；劣势TOR交换机数量多，管

50、理的节点多；优势无TOR设备，管理节点少；劣势布线复杂；布线成本高，接入能力有限；管理优势：l SVF逻辑上为一台交换机，虽有“接入+汇聚”之型，实则仅需管理一台设备(使用一个软件版本和配置文件)；布线优势：l 形式上表现为TOR布线方案，提升接入能力，简化和降低了了布线成本；成本优势：l 低成本CE5810代替高成本TOR交换机，比传统TOR方案投入大大减少；CE5810支持低成本的光模块，有效降低网络部署成本；SVF方案集TOR+EOR优势与一身TOREOR汇聚交换机汇聚交换机HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 44SVFSVF

51、集中管理分布转发集中管理分布转发父交换机子交换机管理：pSVF整个系统逻辑上为一台交换机，所有管理集中在父交换机上，子交换机不需要连接管理口；p整个系统对外只有一个管理平台，在父交换机上，用户通过父交换机的管理网口登陆管理平台p两台父交换机堆叠，用户可以从任意一台父交换机管理网口登陆管理平台对整个系统进行配置操控p整个系统只有一个配置文件，子交换机没有配置文件，子交换机以线卡的形式体现在管理平台中转发：p两个子交换机间的流量经由父交换机转发，父交换机支持本地优先转发（子交换机双归情况下）；p同一个子交换机下挂的设备间的流量支持在子交换机上优先转发；优势：p分布式转发，无转发瓶颈，时延小SVFH

52、UAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 45SVFSVF典型组网典型组网父交换机子交换机SVF系统SVF系统方案p接入层采用SVF组网，构成物理三层核心+汇接+接入但逻辑上二层组网方案；p每个汇接区的SVF系统组成包括：父交换机：两台交换机堆叠，子交换机：子交换机上行多链路连接父交换机，上行，千兆接入CE5810，万兆接入CE6810每SVF系统可提供最大1152端口接入；p服务器接入：服务器接入支持双归，支持跨设备的LAG，支持服务器网卡双活和主备模式；优势p方案高性价比，兼具EOR和TOR方案的优势p简化管理p具备高密接入能力p双父交

53、换机堆叠，接入向上双归，可靠性高双活接入l数据中心网络设计方法l数据中心架构设计l数据中心内部互联设计（核心层设计）l数据中心服务器接入设计数据中心服务器接入设计（接入层设计）（接入层设计）p二层拓扑设计p二层可靠性设计二层可靠性设计p服务器接入设计l数据中心外部接入设计l虚拟感知解决方案目录目录HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 47接入交换机故障切换接入交换机故障切换lLFR方案下接入交换机切换过程p接入交换机2升为堆叠主交换机，带动相应服务器网卡LACP链路切换，上行流量从交换机2转发。p汇聚交换机下行端口shutdown。p

54、对于M:N链路备份，LACP协议从备份链路中选择优先级最高的链路接替活动链路中的故障链路。对于链路负载分担，则保持其他链路为活动状态。p优先级最高的备份链路转为活动状态并转发数据，完成接入及上行链路切换。p回程流量（向南流量），通过在核心交换机配置本地优先转发，保持流量始终在汇聚交换机1转发。(2)负载分担链路2正常流量链路故障后流量负载分担链路1（故障链路）原流量刀片服务器交换模块接入交换机机架式服务器刀片服务器汇聚交换机1L3路由L2交换HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 48接入层上行链路故障切换接入层上行链路故障切换lLFR

55、方案下上行链路故障切换过程pLACP协议感知端口down。对于M:N链路备份，协议从备份链路中选择优先级最高的链路接替活动链路中的故障链路。对于链路负载分担，则保持链路为活动状态。p优先级最高的备份链路转为活动状态并转发数据，完成切换。p不建议以缩短通告发送间隔的方式，部署DLDP用于单通检测，多链路下大量的DLDP报文会增加链路及设备负担。如果需要检测单通链路，建议部署以太网OAM EFM或DLDP通告默认间隔（5s）（DLDP要求两侧皆为华为设备）。p对于光纤，端口状态转为down（100ms）。对于电缆，端口状态转为down(1s)。L3L2刀片服务器交换机模块接入交换机机架式服务器刀片

56、服务器汇聚交换机1链路故障后流量负载分担链路1（故障链路）原流量(3)HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 49汇聚交换机主控故障切换汇聚交换机主控故障切换lLFR方案下汇聚交换机主控故障切换过程p汇聚交换机集群，主用主控板故障。p集群重新计算堆叠拓扑，备用主控板升为主用主控板。p链路1、2LACPDU发送超时或感知端口down，关闭故障链路。p对于M:N链路备份，LACP协议从备份链路中选择优先级最高的链路接替活动链路中的故障链路。对于链路负载分担，则保持链路为活动状态。p优先级最高的备份链路转为活动状态并转发数据，完成接入及上行链

57、路切换。p口字型组网下，接入交换机需要具备本地流量优先转发特性，减少堆叠线缆带宽压力，优化流量模型。L3L2刀片服务器交换机模块接入交换机机架式服务器刀片服务器链路1汇聚交换机1链路故障后流量负载分担链路1（故障链路）原流量链路2汇聚交换机2(4)(4)HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 50汇聚交换机整机故障切换汇聚交换机整机故障切换lLFR方案下汇聚交换机整机故障切换过程p集群主用设备整机故障，集群拓扑重新计算，交换机2升为集群主交换机。p接入交换机检测到端口down，或链路1、2LACPDU发送超时，关闭故障链路。p对于M:N

58、链路备份，LACP协议从备份链路中选择优先级最高的链路接替活动链路中的故障链路。对于链路负载分担，则保持链路为活动状态。p优先级最高的备份链路转为活动状态并转发数据，完成接入及上行链路切换。p核心交换机CSS集群，设备间需要部署直连的双主检测链路，防止汇聚交换机重启后形成双主。L3L2刀片服务器交换机模块接入交换机机架式服务器刀片服务器链路1汇聚交换机1链路故障后流量负载分担链路1（故障链路）原流量链路2汇聚交换机2(4)(4)HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 51OAMOAM链路检测方案链路检测方案-EFM-EFMl在网关以下，

59、由于采用二层以太，光纤单通、链路、设备故障及链路质量等情况难以快速检测及感知。因此可在接入层与汇聚层之间链路，部署以太网OAM EFM进行链路质量检测、链路故障检测与联动。p链路检测：通过OAM通告、本端感知，检测链路的单通、交叉连接等链路故障，并可与对方联动。p故障联动：对于链路故障、设备/单板重启，可以向对方通告故障，使对方感知、端口联动。本端也可以进行端口联动，关闭故障端口。可以触发协议的感知与切换，减少业务中断时间。p链路质量监控：可监控端口误帧、误包率，网络质量变差时，可以及时关闭联动端口（down）。lCE系列交换机V1R1不支持OAM功能。S57/67系列交换机支持OAM，其中G

60、E光口支持通过OAM单纤通告链路故障，10GE/40GE不支持单纤通告链路故障。优点：加速故障感知与切换，防止链路单通与故障。可进行链路质量监控，并关闭质量较差端口。慢协议机制，带宽占用较少。比DLDP速度较快，而且具备通告机制。缺点：需要两端设备支持OAM EFM特性。L3路由L2交换分区1（高密）VLAN100接入层汇聚层业务层负载均衡主备冗余OAM EFM检测故障联动链路质量监控HUAWEI TECHNOLOGIES CO., LTD.华为保密信息，未经授权禁止扩散Page 52OAMOAM链路故障检测与联动设计链路故障检测与联动设计l部署方案p接入层上行、汇聚层下行，使能OAM EFM