堆叠技术白皮书

堆叠技术白皮书摘要堆叠技术，是非机箱式交换机所提供的技术，使得交换机可以通过堆叠模块或堆叠线缆，以一定的连接方式堆叠。堆叠交换机通过统一的带外通道(串口)或者管理IP，进行配置和管理。锐捷交换机支持的堆叠数量为2-8台，在通过堆叠设备增加端口数量的同时，不增加配置的复杂度。本文将介绍现在流行的堆叠技术，如菊花链式堆叠、星形堆叠等；通过对堆叠协议的简单介绍，让读者了解堆叠的建立过程；之后，将介绍锐捷不同系列交换机的堆叠使用的技术；最后，介绍各种锐捷交换机系列产品在堆叠时注意的使用限制，以及堆叠的相关配置和信息查看。本技术白皮书仅针对S20系列、S21系列、S23系列、S26系列、S32系列、S3750系列和S5750系列交换机的堆叠技术介绍，不包含S29系列和S3760系列产品，S29系列和S3760系列产品请查阅其他相关文档。关键词堆叠堆叠技术堆叠协议目录摘要1关键词11概述21.1堆叠技术的提出21.2业界流行的堆叠连接方式3菊花链式堆叠3星形堆叠51.3堆叠系统的术语概述6堆叠主机和堆叠从机6混合堆叠71.4产品支持72技术介绍72.1堆叠协议的运作7本机堆叠数据库的初始化8堆叠拓扑发现9堆叠拓扑的分析11堆叠完成的系统初始化113锐捷堆叠技术特点113.1各款支持堆叠的交换机的参数比拟113.2锐捷交换机的不同堆叠方式13虚拟堆叠13千兆堆叠13增强型堆叠133.3交换机堆叠时的功能限制13虚拟堆叠的限制13千兆堆叠的限制14增强型堆叠的限制14堆叠共同的限制143.4易用的堆叠管理153.5其他考前须知19S3750系列交换机的特殊配置19S21和S26交换机堆叠线缆的特殊连接20设备优先级的配置21堆叠设备别名的配置21堆叠参数的保存22堆叠起机时间22环形堆叠和线形堆叠的区别22堆叠设备参加移除造成的影响234结束语23概述堆叠技术的提出对于盒式交换机，由于其本钱较低，经常用在网络的会聚层和接入层。但是由于网络的规模不断提高，此时盒式交换机的缺点就暴露出来，端口数量的相对固定，不像机箱式的交换机，在端口出现缺乏的时候，能简单的通过增加线卡的方式添加端口容量，也就是说，盒式交换机的端口数量相对固定，如24个10/100/1000M端口和48个10/100/1000M端口的交换机，如图1，就是锐捷的一款盒式交换机产品S3250-24(上方)和S3250-48(下方)：图SEQ图\*ARABIC1锐捷S3250系列产品对于图1所示的S3250系列产品，S3250-24产品有24个百兆口，S3250-48产品有48个百兆口，通过堆叠，将1台S3250-24和1台S3250-48混合堆叠，这样堆叠系统中就有了24+48=72个百兆口了。再举个例子，如果8台S3250-48堆叠，那么端口就可以扩展为48*8=384个百兆口了。在扩展了端口后，不需要对每台交换机进行分别管理，而只需要将串口接在主机上，或者通过配置管理IP进行telnet管理，在统一的界面下，即可以对整个堆叠系统中的所有端口进行统一的配置，同时，整个堆叠系统将共享同一个MAC地址表和路由表，也就是说，整个堆叠系统共享二层和三层的转发策略。业界流行的堆叠连接方式菊花链式堆叠菊花链式堆叠是交换机级联连接方式的一种扩展，其连接方式示意如下：交换机A堆叠口交换机B交换机C交换机D交换机A堆叠口交换机B交换机C交换机D图SEQ图\*ARABIC2菊花链式堆叠连接示意图如图2所示，菊花链式堆叠就是使用堆叠线缆将要堆叠的交换机通过彼此相连的方式连接起来，交换机D到交换机A的连接的链路作为多余链路被裁剪，在实际运作过程中，是不参与交换的。环形堆叠和线形堆叠的区别如图2所示，蓝色标注的堆叠线为冗余链路，此时交换机堆叠处于环形堆叠状态；而如果不接那条蓝色冗余链路，那么此时交换机处于线性堆叠状态，如图3所示：图图SEQ图\*ARABIC3环形堆叠相对与线形堆叠的好处在于，环形堆叠的冗余链路将会在其他正常链路的某一条出故障时，承当故障链路的工作，从而能保证系统的高稳定性。单工堆叠和双工堆叠菊花链式堆叠可分为单工堆叠和双工堆叠(也可以称为半双工堆叠和全双工堆叠)，二者区别在于，堆叠口支持双工的，仅需要1条堆叠线缆将两个堆叠端口互联的(同时包括TX和RX方向)，为双工堆叠，如图2和图3所示；而单工堆叠，堆叠口是以堆叠模块上两个端口(实际上是千兆端口的输出和输入方向)为一组的，包括了TX和RX两个方向，需要使用2条堆叠线缆进行堆叠口的连接，同时，需要交叉连接。交换机A堆叠模块交换机B交换机C交换机A堆叠模块交换机B交换机C交换机DTX口RX口图SEQ图\*ARABIC4半双工堆叠如图4所示，一组堆叠口含有一个TX端口和一个RX端口，连接时，需要将本交换机的TX端口连接到另一台交换机的RX端口，直到连成环状，这样的堆叠方式只要有一条堆叠链路出问题，就会导致整个堆叠系统出现问题，故单工堆叠不支持线形堆叠。星形堆叠星形堆叠是另一种较少应用的堆叠技术，通过将多台交换机连接到同一个交换中心上(称为CORE/MATRIX)，所有的堆叠主机都通过高速的堆叠接口，上联到统一的堆叠中心。交换机A交换机A堆叠口交换机B交换机C交换机D堆叠中心图SEQ图\*ARABIC5星形堆叠如图5，星形堆叠的连接，使用堆叠中心将4台交换机连接到一起，由堆叠中心保证交换的带宽。其中，堆叠中心和交换机A是可以集成在一起的，同时扮演交换机和堆叠中心的角色。从菊花链式堆叠和星形堆叠的示意图比拟可以发现，星形堆叠的优势在于一台交换机到另一台交换机之间的转发路径要比菊花链式堆叠短，不会出现跨多台交换机的情况。但是，星形堆叠的本钱较高，需要专用的堆叠中心支持，也与机箱式交换机的角色重复。堆叠系统的术语概述堆叠主机和堆叠从机堆叠系统需要确立一台设备作为堆叠的主机，堆叠主机的串口可以提供用户访问进行管理，同时，在堆叠的主机上进行管理ip的配置，使得可以通过telnet/web/snmp各种方式对交换机堆叠系统进行统一的管理。堆叠从机是堆叠系统中除堆叠主机外的交换机，无法使用从机的串口对堆叠从机进行管理，堆叠从机的串口仅供技术人员在定位故障时使用的调试界面。混合堆叠一般来说，只有相同系列交换机才能堆叠成功，也就是说，不同系列的交换机是无法堆叠成功的。相同系列不同型号的交换机之间可以堆叠成功，即可以混合堆叠。以S3250系列的交换机来说，S3250-48和S3250-24是两个型号交换机，端口数目不同，但是可以混合堆叠成功。产品支持目前锐捷的交换机中，支持堆叠的系列包括S20系列、S21系列、S23系列、S26系列、S32系列、S3750系列和S5750系列，支持的版本有RGNOS1.69/1.7以及RGNOS10.1(4)及以后版本。目前锐捷的交换机均只支持菊花链式堆叠。技术介绍本章介绍菊花链式堆叠下，堆叠协议的运作方式。在交换机通过堆叠线缆连接好上电后，通过堆叠发现、设备检测和拓扑分析，完成堆叠的过程，从而建立起堆叠系统，确立主从机地位，通过配置分发使得系统得以最终运行起来。堆叠协议的运作堆叠系统中的交换机，运行着一个堆叠的协议，随着堆叠进程的不断运行，堆叠状态机从一个状态跃迁到另一个状态，状态跃迁如图6所示：图SEQ图\*ARABIC6这里的状态包括：Blocked：堆叠检测状态机挂起，此时设备可能刚刚上电、工作在单机模式下、完成堆叠检测的过程；Ready：开始进行堆叠检测；Discovery：正在搜集堆叠成员信息；Topo:主机进行堆叠拓扑的配置。从堆叠系统中的交换机上电，到整个系统堆叠完毕，需要经历以下根本过程：本机堆叠数据库的初始化堆叠拓扑发现堆叠拓扑分析堆叠完成的系统初始化下面的章节中，就将分别介绍根本过程。本机堆叠数据库的初始化对于堆叠系统的中的某台交换机，在堆叠系统开始运作之前，需要初始化本地和堆叠相关的数据库，用于在堆叠协议运行时，拓扑检测用到的与堆叠系统中其他交换机交换的堆叠信息。堆叠数据库记录了一台交换用于堆叠的相关信息，包括的根本信息如下：本机的序列号本机的MAC地址配置的堆叠优先级，未配置默认为1堆叠口数量堆叠口的端口编号本机的版本信息，包括BOOT版本、CTRL版本和主程序版本，还有硬件版本在堆叠拓扑检测的过程中，本机的堆叠数据库信息会打包到报文中，并发送到堆叠系统中的每台交换机上，到堆叠检测结束，每台交换机上都有所有交换机的堆叠数据库信息。堆叠拓扑发现在本机堆叠数据库初始化完毕后，堆叠任务就会开始拓扑发现(或者成为拓扑检测)。堆叠发现分为3个阶段：Probe：使用probe报文，用于决定堆叠口的连接，搜集对端的堆叠口信息；Routing：使用routing报文，将本地搜集到的堆叠口信息传播到所有邻居；Config：使用config报文，用于各交换机间同步堆叠检测的结束状态。Probe阶段为了支持单工/双工两种模式的堆叠，Probe报文可分别用于记录堆叠口的发送/接收(TX/RX)方向的连接信息。本设备发出的probe报文记录着本机的堆叠口信息，当其他设备接收到probe报文后，将本机的堆叠口信息增加到该报文中，并转发到本地所有的堆叠口，最终这个probe报文回到发送者时就已经搜集到其他设备上的堆叠口信息，这些信息被更新到堆叠数据库中。Routing阶段Routing报文用于邻接成员之间交换堆叠信息(也就是本交换机堆叠口直连的对端交换机)，Routing报文只发送到邻居节点，报文中包含当前所有的堆叠信息，包括经过的每个节点的堆叠数据库信息，通过这样的方式,堆叠的信息迅速在系统中传播。Config阶段当本地堆叠口的接收/发送方向的信息都已搜集到后，本地交换机的堆叠状态标记为本地完成，表示本地设备已经完成堆叠发现工作。当堆叠数据库里的所有其他设备的堆叠状态都标记为本地完成，那么本地交换机的堆叠状态就标记为全部完成，标识拓扑中的所有交换机设备都完成了堆叠发现工作。随后在每个设备的堆叠数据库根底上开始进行主从选举。主从选举的决定因素有：用户配置的优先级交换机的MAC地址其中用户优先级从1到10逐渐升高，MAC地址较小的优先，总的来说，选择配置的用户优先级越大、MAC地址越小的，那么会被选举为主机。举几个两台堆叠的例子来具体说明，3-8台堆叠的情况可以通过两两比拟的方式得到：配置的优先级不同，MAC地址小的配置优先级高：堆叠设备1，MAC地址为00d0f8000001，配置的优先级为10

堆叠设备2，MAC地址为00d0f8000002，配置的优先级为9

那么堆叠设备1将会被竞选为主机。配置的优先级不同，MAC地址小的配置优先级低：堆叠设备1，MAC地址为00d0f8000001，配置的优先级为9

堆叠设备2，MAC地址为00d0f8000002，配置的优先级为10

那么堆叠设备2将会被竞选为主机。配置的优先级相同：堆叠设备1，MAC地址为00d0f8000001，配置的优先级为10

堆叠设备2，MAC地址为00d0f8000002，配置的优先级为10

那么堆叠设备1将会被竞选为主机。某个设备被选举为主机后，开始向系统中的其他成员发出Config报文，，当所有的成员都发送回应后，系统完成堆叠发现的过程，如果在一定的时间间隔内没有回应，那么认为堆叠检测失败，给出错误提示。堆叠拓扑的分析完成堆叠拓扑的发现过程后，堆叠的主机与从机之间的堆叠数据库已经完成同步，主机的选举也已完成，堆叠系统进入拓扑分析过程。拓扑分析的目的是：允许堆叠系统的端口之间能够互相通讯；防止堆叠系统形成环路，也就是在环形堆叠的环境中，要切除冗余的那条堆叠链路；保证两个堆叠口之间的通路为最短路径。堆叠完成的系统初始化由于在堆叠协议运行的过程中，要防止数据报文影响堆叠，在堆叠协议运作开始前，要将所有的交换端口都设置为shutdown状态，在堆叠拓扑分析完成后，系统将恢复正常交换口的交换，即设置为noshutdown状态。锐捷堆叠技术特点在锐捷的盒式交换机中，使用以上堆叠协议的交换机包括S20系列、S21系列、S23系列、S26系列、S32系列、S3750系列和S5750系列，对于S29系列、S3760系列和S5760系列不在本文的介绍范围内。各款支持堆叠的交换机的参数比拟比拟项S21系列S20系列S23系列S26系列S32系列S3750系列S5750系列涵盖的产品S2126G、S2150GS2026G、S2052GS2328G、S2352GS2628G、S2652GS3250-24、S3250P-24、S3250-48S3750-48、S3750-24、S3750E-24S5750-24SFP/12GT、S5750-24GT/12SFP、S5750-48GT/4SFP、S5750S-24GT/12SFP、S5750S-48GT/4SFP、S5750P-24GT/12SFP堆叠模块M2131M2026-STACK(S2026G)、M3250-STACK(S2052G)M3250-STACKM2600-STACKM3250-STACK无M5700_STACK_IB4X堆叠双工模式半双工全双工全双工全双工全双工全双工全双工建立堆叠所消耗的端口数(n为堆叠台数)n2n(S2052G，S2026G环形)、2n-2(S2026G线形)2n2n2n2n(环形)、2n-2(线形)2n(环形)、2n-2(线形)堆叠口带宽1Gbps1Gbps1Gbps2.5Gbps1Gbps1Gbps12Gbps堆叠方式简称千兆堆叠虚拟堆叠虚拟堆叠增强型堆叠千兆堆叠千兆堆叠增强型堆叠环形堆叠支持支持支持支持支持支持支持线形堆叠不支持支持支持支持支持支持支持支持最大堆叠的交换机数量8888888混堆支持不支持支持支持支持支持S5750S-24GT/12SFP、S5750S-48GT/4SFP互相可以混堆，但不支持与其他型号堆叠表SEQ表\*ARABIC1锐捷交换机的不同堆叠方式虚拟堆叠交换机硬件不支持堆叠，而通过软件的方式完成的堆叠，功能较弱，不支持局部功能的跨堆叠生效；千兆堆叠交换机硬件支持的一种堆叠方式，主要利用千兆口进行堆叠，故称为千兆堆叠；增强型堆叠交换机硬件支持的另一种堆叠方式，其一般有专门的堆叠口，而不是使用普通的千兆口，且堆叠报文的处理上，比千兆堆叠节省CPU资源。同时，一般增强性堆叠提供的带宽都比拟大，有S26系列支持的2.5Gbps和S5750系列支持的12Gbps。交换机堆叠时的功能限制虚拟堆叠的限制堆叠情况下，S20，S23系列的交换机不支持跨设备的AggregatePort功能；S20，S23系列产品的保护口功能不支持跨设备，即堆叠情况下如果保护口分布在不同的堆叠成员设备上，那么不同设备上保护口之间还是可以通信，同一设备上的保护口之间不能通信；在堆叠情况下，S20系列，S23系列产品一个PrivateVLAN的成员VLAN及其端口不能跨设备；锐捷S23系列的交换机在堆叠的情况下创立64个instance会造成内存缺乏的情况。建议在S23堆叠的情况下控制创立的instance个数，1个instance大约要消耗1-2MB的内存。特别是在配置了4094个VLAN情况下，内存消耗尤为严重，1个VLAN创立需要消耗4KB内存，4K个VLAN就要消耗16MB内存。建议在256个VLAN的情况下，instance数目控制在25个以内，4094个VLAN的情况下，instance数目控制在10个以内；而实际情况需要看具体环境配置剩余的内存来估计得到(1个instance消耗1-2MB，1个VLAN消耗4KB)；S20系列，S23系列的交换机不支持跨设备镜像，即在堆叠情况下，如果镜像源端口和镜像目的口在不同的堆叠成员设备上，镜像将不生效。千兆堆叠的限制对于s3750/s3250堆叠，配置完静态arp后，交换机必须在学习到该静态arp对应的mac后才能进行正常的三层路由；S32，S3750系列产品在堆叠情况下不支持RSPAN功能；S32，S3750系列产品在堆叠情况下不支持QinQ功能。增强型堆叠的限制具体可以见下文描述的共同限制局部。堆叠共同的限制跨堆叠的流控不生效，配置流控时需要注意是否有跨堆叠；堆叠系统下各成员设备的地址表是不同步的。举例说明如下：假设设备A和设备B堆叠，设备A为主机；往设备A发送播送报文，那么设备A的收帧端口会学习到该地址--mac1，地址表中记录设备A的收帧端口学习到地址mac1；由于报文会通过堆叠口播送到设备B，因此设备B上的堆叠口实际上也会学习到该地址，但不会记录到地址表中。删除设备A收帧端口学习到的地址，那么地址表中的mac1被删除，但是设备B的堆叠口依然学习到了该地址，这就造成了主从机硬件地址表不一致。此时往设备A的其它端口发送目的mac为mac1的报文，那么该报文将不会在设备B上播送，因为该地址已经被设备B的堆叠口学习到了，该地址老化之后，报文播送到设备B的端口上。关于地址学习相关的详细情况，请查阅配置指南的“MAC地址配置〞一节；在堆叠模式下，假设将QOS映射表修改成非缺省值，那么跨堆叠从堆叠口进入的报文还是会按照缺省的队列映射关系进行调度。如修改了Cos值到队列的映射表，报文会根据该映射表进入不同队列，但跨堆叠后，从堆叠口进入时，又会按照缺省队列映射关系进行调度，这样可能会造成跨堆叠QOS功能不正常。具体配置和缺省关系可以见QOS的配置指南。易用的堆叠管理堆叠完成后，通过一些查看命令，可以很直观的了解到堆叠系统的运行情况。在特权模式下，可以使用以下命令获得堆叠信息。Ruijie#showversiondevicesDeviceSlotsDescription13RG-S5750-24GT/12SFP23RG-S5750-48GT/4SFP33RG-S5750-24GT/12SFP43RG-S5750-24GT/12SFP53RG-S5750-24GT/12SFP63RG-S5750-24GT/12SFP73RG-S5750-24GT/12SFP83RG-S5750-48GT/4SFP通过该命令，可以看到设备的编号，插槽数，以及设备的具体类型。Ruijie#showversionslotsDevice102424M5750-24GT/12SFP_Static_Module1111M5700_STACK_IB4X1201204848M5750-48GT/4SFP_Static_Module2111 M5700_STACK_IB4X2211 M5700_STACK_IB4X302424M5750-24GT/12SFP_Static_Module3111 M5700_STACK_IB4X3211 M5700_STACK_IB4X402424M5750-24GT/12SFP_Static_Module4111 M5700_STACK_IB4X4211 M5700_STACK_IB4X502424M5750-24GT/12SFP_Static_Module5111 M5700_STACK_IB4X5211 M5700_STACK_IB4X602424M5750-24GT/12SFP_Static_Module6111 M5700_STACK_IB4X6201702424M5750-24GT/12SFP_Static_Module7111 M5700_STACK_IB4X7211 M5700_STACK_IB4X804848M5750-48GT/4SFP_Static_Module8111 M5700_STACK_IB4X8211 M5700_STACK_IB4X通过该命令，可以看到每台设备插槽的具体情况，包括模块、端口数量的信息。Ruijie#showversionSystemdescription:Red-Giant10GRoutingSwitch(RG-S5750-24GT/12SFP)ByRuijieNetworkSystemstarttime:2007-4-2317:39:11Systemhardwareversion:1.0Systemsoftwareversion:RGNOS(2),Release(12889)Deviceinformation:Device-1Hardwareversion:1.0Softwareversion:RGNOS(2),Release(12889)Device-2Hardwareversion:1.0Softwareversion:RGNOS(2),Release(12889)Device-3Hardwareversion:1.0Softwareversion:RGNOS(2),Release(12889)Device-4Hardwareversion:1.0Softwareversion:RGNOS(2),Release(12889)Device-5Hardwareversion:1.0Softwareversion:RGNOS(2),Release(12889)Device-6Hardwareversion:1.0Softwareversion:RGNOS(2),Release(12889)Device-7Hardwareversion:1.0Softwareversion:RGNOS(2),Release(12889)Device-8Hardwareversion:1.0Softwareversion:RGNOS(2),Release(12889)通过该命令，可以看到每台设备的软件版本号(包括BOOT、CTRL和主程序)，还有硬件版本号及序列号。Ruijie#showmemberMemberMacAddressPrioritySoftwareVersionHardwareVersionDescription100d0.f810.33231RGNOS(2),Release(12889)1.0SWITCH200d0.f822.33aa1RGNOS(2),Release(12889)1.0SWITCH300d0.f822.33ae1RGNOS(2),Release(12889)1.0SWITCH400d0.f822.33b01RGNOS(2),Release(12889)1.0SWITCH500d0.f822.33b21RGNOS(2),Release(12889)1.0SWITCH600d0.f824.23b41RGNOS(2),Release(12889)1.0SWITCH700d0.f833.44b41RGNOS(2),Release(12889)1.0SWITCH800d0.f855.33ae1RGNOS(2),Release(12889)1.0SWITCH通过该命令，可以看到每台设备配置的堆叠优先级、MAC地址和设备描述，同时也包括硬件版本号和软件版本号。其他考前须知S3750系列交换机的特殊配置由于S3750系列交换机是使用以太网口堆叠，不使用堆叠模块，同时使用正常的网络线缆，故要对堆叠口进行配置。对于S3750交换机而言，需要将指定端口配置为堆叠口后才可以通过该端口进行堆叠。对于S3750-24交换机，其GigabitEthernet0/27，GigabitEthernet0/28可以被配置为堆叠口；对于S3750-48交换机，其GigabitEthernet0/51，GigabitEthernet0/52可以被配置为堆叠口。配置实例:使能交换机的GigabitEthernet0/28口的堆叠功能Ruijie(config)#intGigabitEthernet0/28Ruijie(config-if)#stackonS21和S26交换机堆叠线缆的特殊连接需要特别注意的是，S21和S26的堆叠线在连接时，必须是交叉连接，具体如图7所示：图SEQ图\*ARABIC7图SEQ图\*ARABIC7即上一台设备的堆叠口1必须连接下一台设备的堆叠口2。图7中的蓝色所指的堆叠线，对于S21是必要的，对于S26来说，去除那条线就从环形堆叠变成线形堆叠。如果以下的方式连接就会导致S21/S26无法正常堆叠：图图SEQ图\*ARABIC8但是对于其他产品来说，图8的堆叠方式是可以堆叠的。设备优先级的配置Ruijie(config)#device-priority[member]prioritymember:取值1-MAX,配置的成员设备.priority:取值1-10,指定设备的优先级默认情况下配置的成员设备为1配置实例:指定成员设备2的优先级为8Ruijie(config)#device-priority28配置完成后，需要执行write命令保存，在堆叠复位后重新建立堆叠系统时新的优先级才能生效。堆叠设备别名