多径二层网的FabricPath简介

多路径二层网的FabricPath简介,陈刚cgang,议程,二层网络现状和面临的挑战高扩展高可用的二层解决方案FabricPath的技术细节FabricPath的部署案例FabricPath的监控与排错,SpanningTree的不足,11条物理链路,5条逻辑链路,路径选择的非最优两个网桥之间只能有单一的可达路径最短路径只是从根桥的角度去判断的带宽闲置不用为了二层逻辑拓扑不存在环路，冗余链路被Blocking链路速度越快，浪费的带宽越多控制平面缺乏安全根桥是按照switch-ID选举出来的,可能因为操作不当造成故障链路故障的收敛缓慢并且不可靠即使使用RSTP，也会出现数秒的服务中断,网络设计中的困扰使用L2还是L3？,Access,Core,Layer3Network,L3,L2,简单(不需要进行地址规划和配置，不需要控制平面)用于unicast,broadcast,andmulticast的控制简单应用开发简单,网段分开提供了故障隔离控制平面支持多路径和多拓扑，扩展性好支持快速收敛的HA数据平面支持额外的环路避免机制l(e.g.TTL,RPFcheck,etc.),Cisco具有足够的L2和L3技术来满足客户的需求,L3互联的数据中心在提供以下服务方面存在不足：VMWare应用（FaultTolerantVM、HAVM、ClusterVM）HA与Cluster应用（MSMSCS、OracleRAC、HPTruCluster、IBMHACMP）物理服务器平滑搬迁数据中心容量不足时的扩展,二层与三层网络的不同世界,如何改进二层网络？,地址的编码机制:扁平层次化需要额外的Header信息来允许L2的“路由”而不是“桥接”提供类似TTL的环路避免技术地址的学习:数据平面控制平面不再需要每一台交换机学习所有的MAC地址来避免flooding控制平面:Distance-VectorLink-State提高扩展性,减少收敛时间,允许多路径,最终的解决方案应该同时考虑控制平面与数据平面!,前人的努力之一-VL2，来自MS，SIGCOMM2009,使用高冗余的多路径三层网络构建VirtualLayer2网络使用TCP（Layer4！）来管理拥塞,前人的努力之二-PMAC，HierarchicalPseudoMAC,使用FabricManager来改写目的MAC地址成PMAC不需要额外的Header,内置支持Multicast,前人的努力之三-Server-centricSourceRouting,使用传统的交换机平滑的性能下降，适合集装箱式的模块化数据中心,Cisco的解决之道-FabricPath,“FabricPath为灵活的二层桥接网络带来的三层路由的好处”,配置简单即插即用（Plug&Play）管理灵活,多路径(ECMP)快速收敛高扩展性,交换,路由,STPDomain,FabricPath,STPDomain1,STPDomain2,FabricPath在数据平面的操作-通过封装来建立层次化的地址机制,FabricPath的包头部由入口交换机产生入口和出口交换机地址用于决定“Routing”L2Fabric中不需要学习ClientMAC,A,C,S11,S42,S11,S42,S11S42,FabricPathRouting,L2Bridging,AC,AC,AC,EgressSwitch,IngressSwitch,FabricPath在控制平面的操作-使用Plug-N-PlayL2IS-IS来管理转发拓扑,自动为所有的FabricPathenabledswitches分配地址(不需要用户配置)计算最短路径支持任意一对FabricPath交换机之间的等价路径,L1,L2,S1,S2,S3,S4,S11,S12,S42,L2Fabric,L3,L4,FabricPathRoutingTable,FabricPath的环路避免-使用TTL和RPFCheck来减少loop的影响,STPDomain,Block冗余路径来防止环路一旦STP失败，以太帧会一直LoopFlooding可能引起全网异常,Root,TTL=3,TTL=2,TTL=1,TTL=0,TTL是FabricPath头部的一部分每一跳减去1当TTL=0时，数据帧被丢弃基于“树”信息为组播进行RPF检查,Root,MS2,FabricPath的技术细节-FabricPath的数据帧封装,CiscoFabricPathFrame,(Classical)EthernetFrame,OuterDA(48)*,OuterSA(48)*,FPTAG(32*),CRC(New),使用16字节的头部来建立层次化的地址空间，从而实现增强的特性,SwitchID:用于识别L2Fabric每一台设备的唯一号码PortID:用于提供L2Fabric边界的MAC-to-Interface关联信息TreeID:帮助识别每个分布层“Tree”的唯一号码TTL:每一跳递减，以防故障造成的数据帧无限Loop,*Lengthsforallfieldsareshownin“bits”,FabricPath的“路由”计算-Layer2IS-IS,只需要很少的了解，缺省不需要用户的配置maintainPnPnatureofLayer2基于ISO/IEC10589可扩展的协议设计，允许Layer2信息通过IS-IS交换Single-levelIS-ISwithsupportforP2Plinks为转发流量计算转发信息支持ECMP的Link-state协议，提高故障检测，网络恢复，高可用,L2Fabric,FabricPath的技术细节-FabricPath的“路由表”,包括L2Fabric中用于转发L2单播流量的信息,已知的单播地址OneIngressSwitchOneEgressSwitch根据destinationSwitch-ID选择转发路径L2Fabric中的每一台交换机根据从L2IS-IS接收到的信息计算本地交换表交换表包括Switch-ID,OutputInterfaces等基本信息对于指定的Switch-ID，最多可达16个Next-hopInterfaces(i.e.L2ECMP),S100,S200,FabricPath的技术细节-边界交换机的MAC学习,500MACs,500MACs,500MACs,500MACs,250MACs,250MACs,250MACs,250MACs,每一台交换机学习所有的MACs大型的L2domain网络和大量的虚拟化给MAC表的扩展性带来挑战,STPDomain,LocalMAC:只有从CE端口接受到数据才学习Source-MACRemoteMAC:只有当Destination-MAC已经作为Local时，从FabricPathPorts接收数据时才学习Source-MAC,S11,优化资源利用只学习需要的MAC地址,HostA与C通讯的过程（一）-FabricPath对广播的转发,L1,L2,L3,L4,A,B,C,L8,L5,L6,L7,L9,L10,L11,L12,S1,S2,S3,S4,S11,S12,S42,L2Fabric,AFF,HostA与HostC第一次通讯.向C发送ARP请求,S11把A加入MAC表，因为是来自CE端口的源地址学习由于目的MAC是AllF,S11向所有的CE端口Flood该数据包,同时,S11选择Tree1,在FabricPathheader中记录并floodsthisframe到所有属于”tree1”的FabricPathports(L1L4),S1继续基于本地的”tree1”信息floodthisframe(L5,L9),S12与S42移除FabricPathheader并且向所有CE端口floodtheframe,AFF,AFF,1/1,3/1,NoLearningonRemoteMACsinceDMACisunknown,Decap,Decap,Encap,HostA与C通讯的过程（二）-FabricPath对未知单播的转发,L1,L2,L3,L4,A,B,C,L8,L5,L6,L7,L9,L10,L11,L12,S1,S2,S3,S4,S11,S12,S42,L2Fabric,AC,HostC向HostA送回ARPReply,S42从CE端口根据源地址学习原理将C加入MACTable由于Aisunknown,S42向所有CE端口floodsthisframe,同时,S42根据选择的Tree1,在FabricPathheader中记录并且向所有的FabricPathports(L9)floodsthisframe,S1继续顺着”tree1”floodsthisframe(L1,L5),S11继续顺着”tree1”floodsthisframe(L2L4).同理，移除FabricPathHeader,S11发现目标地址A已经是本地学习的，于是将C作为RemoteMAC加入表格并且与S42相关联.,MISS,Encap,Decap,AC,CA,1/1,3/1,Decap,HIT!,HostA与C通讯的过程（三）-FabricPath对已知单播的转发,L1,L2,L3,L4,A,B,C,L8,L5,L6,L7,L9,L10,L11,L12,S1,S2,S3,S4,S11,S12,S42,AC,HostA在解决ARP之后向HostC发送数据流,S11发现C已经作为remote学习了,并且和S42关联.对到C所有后续进行封装，在FabricPathheader中将S42作为目的地址,S4的“路由表”显示L12asnexthopforS42,S42发现自己是FabricPathheader的目的地，并且C是本地已知的.于是,将A作为remote加入表格,并且与S11关联.,Decap,Encap,AC,HIT!,S11的“路由表”显示到S42有多条路径.执行ECMPhash算法，选择L4作为next-hop,1/1,3/1,L2Fabric,HIT!,FabricPath的配置,不需要L2IS-IS配置新的feature-set关键词会自动将FabricPath需要的多个Service同时打开(e.g.L2IS-IS,LLDP,etc.)非常简单的操作只需要3条命令让FabricPath跑起来,L2Fabric,N7K(config)#feature-setfabricpathN7K(config)#vlan10-19N7K(config-vlan)#modefabricpathN7K(config)#interfaceport-channel1N7K(config-if)#switchportmodefabricpath,FabricPath与TRILL的关系-FP=PreStandardTRILL？FP=EnhancedTRILL？,TRILL帧格式,FabricPath帧格式,16ECMP,TTL,RPF,ConversationbasedMAClearning,CEInter-OP,Multi-Topo,E-TRILL与802.1AHTRILL进入SP市场还有哪些障碍？,E-TRILL帧格式,802.1ah帧格式,Eth=.1ah,I-SID,CMACDA,PCP/R,I-SID,OuterMACDA,OuterMACDA,OuterMACSA,OuterMACSA,Eth=0 x88a8,BVLAN,CMACDA,CMACSA,CMACSA,Eth=802.1Q,CVLAN,Payload.,Payload,Eth=PR-TAG,SID,CMACDA,PCP/TTL,SID,OuterMACDA,OuterMACDA,OuterMACSA,OuterMACSA,Eth=0 x88a8,OuterVLAN,CMACDA,CMACSA,CMACSA,Eth=802.1Q,CVLAN,Payload.,Payload,另外的L2扩展技术-OTV的MAC路由,OTV,OTV,OTV,OTV,MAC1MAC3,MAC1MAC3,MAC1MAC3,WestSite,MAC1,MAC3,EastSite,二层查找目的MAC.MAC3通过IPB可达.边界设备封装以太网帧.骨干传输网将数据包分发到siteEast.,siteEast的边界设备接收并解开数据包.查看原始帧的Layer2信息.MAC3是本地MAC.该以太网帧被发送到目的地.,3,6,IPA,IPB,当vPC遇上FabricPath-FabricPath下的增强版vPC,对于位于L2FabricEdge的所有交换机为了给dual-homed的CE设备提供active/activeL2paths,仍然需要vPC然而,MACTable只允许MAC和SwitchID的1-to-1mapping,对L2Frabric的其余部分而言，每个vPCdomain代表了一个uniqueVirtualSwitchVirtualSwitch的SwitchID在FabricPath封装中作为源地址,L2Fabric,S1,S2,A,B,S3,vPC,FabricPath使用案例-高性能计算,32Chassis,16Chassis,16-wayECMP,8,19210GEports51210GEFabricPathportspersystem,25610GEFabricPathPorts,160TbpsSystemBandwidth,OpenI/OSlotsforconnectivity,SpineSwitch,EdgeSwitch,16-portEtherchannel,FabricPath,HPC的需求HPCClusters需要高密度的计算节点尽可能小的over-subscriptionservertoserver延时很低,FabricPath给HPC带来的好处FabricPath适合建设高密度的fat-treenetwork通过FabricPathECMP&port-channels达成Fullynon-blocking通过减少交换机的HOP跳数来降低servertoserver的延迟,FabricPath使用案例-为2048台万兆服务器扩展带宽,带宽性能提升16X需要管理的设备从74减少到12台设备网络可用性增加2X+简化IT操作,传统基于SpanningTree的网络,基于FabricPath的网络,FullyNon-Blocking,2,048Servers,8AccessSwitches,NetworkFabric,64AccessSwitches2,048Servers,BlockedLinks,Oversubscription16:1,8:1,2:1,4Pods,FabricPath的排错-提高Layer2的可视化,利用为三层技术设计的相同工具RoutingtableLink-statedatabaseDistributiontreesECMPpathselectionPongL2Ping+TracerouteProvideinfoonalldevicesonag