机架交换机设备相关介绍

1、机架式交换机设备交流主持人：王洁2015/07/13 分布式系统简介 设备管理 机架内设备注册 VSF设备注册内容介绍分布式的软件体系结构，管理模块和接口模块各自管理维护不同的内容，提高了整个系统的稳定性；某一个接口模块的异常不会影响到整个系统的运行；控制通道和数据通道从硬件上就天然的隔离，保证了系统各种协议和管理的可靠运行；系统的板间通信机制提供高效的、确认的、可靠的通讯方式，对于大流量的通讯提供缓冲机制，确保系统的高可靠性；分布式系统软件特点DCRS-7604硬件系统结构示意图CPUCPUCPUCPU交换矩阵交换矩阵交换矩阵交换矩阵交换芯片交换芯片交换芯片交换芯片Eth口Eth口Eth口E

2、th口Eth口Eth口Eth口Eth口switchswitch交换芯片交换芯片绿色表示控制通道（板间通信及带外管理）蓝色表示数据通道（数据转发通道）管理通道设备管理的实现要依据一个独立于业务流的管理通道，专用于板间通讯使用。管理通道采用100M以太网技术。每个线卡分别有一个100M以太网连接到两个主控上。这样能够方便的实现两个主控对线卡的管理。例如DCRS-9816交换机，其主控上管理网络由两部分组成，一个多端口的交换机，一个单口以太网端口。线卡由两个独立的单口以太网端口组成。主控通过交换机端口和线卡之间相连，主控的第17个交换机端口和另外一个主控的单口以太网相连。这样，当主控有下发任务的时候

3、，通过交换机向所有的交换线卡和备用主控同时进行下发，不用分别下发，提高了效率。设备管理术语术语 描述活动主控卡或AM（Active Master）板卡工作模式为Master且处于活动状态的主控卡，一个机架式交换机每一时刻只能有一个AM。备用主控卡或SM（Standby Master）板卡工作模式为Master且处于备份状态的主控卡，机架式交换机中的备份主控卡。线卡或Slave除（活动和备用）主控卡以外的，工作模式为Slave的板卡。板卡（工作）状态板卡状态或板卡工作状态包括INITIALIZING、REGISTERING、REGISTED、READY、RUNNING等状态，板卡工作模式板卡工作

4、模式包括Master和Slave两种模式。但在show slot命令中将Master细分为Active Master和Standby Master。物理槽位/槽号板卡所在插槽的物理槽位，值类型为整数。主要用于程序内部槽位之间消息的收发。物理槽号与逻辑槽号可能不一致，例如DCRS-9816中逻辑槽位M1对应的物理槽号为17，逻辑槽位M2对应的物理槽号为18。逻辑槽位/槽号板卡所在插槽的逻辑槽位，值类型为串。用户看到的是逻辑槽位，与槽位相关的命令中出现的都是逻辑槽位。物理槽号与逻辑槽号可能不一致，例如DCRS-9816中逻辑槽位M1对应的物理槽号为17，逻辑槽位M2对应的物理槽号为18。在机架式交

5、换机的整个软件系统中，采用分布式的软件架构，由主控卡和业务线卡组成，它们之间通过背板相联系。其中，主控卡负责对整机的状态协调，业务表项的控制功能，是整机的核心；而业务线卡负责数据流量的转发。而设备管理模块主要用于整机的硬件和软件状态维护，处于整个软件系统的低层。设备管理模块的实现依据一套状态机，用来表示板卡处于AM，SM，Slave等各种状态。根据不同的事件和定时器触发，进行相应的处理以及状态转换。设备管理简介主备选举：机器上电，两个管理模块互发协商报文选出活动管理模块，原则是槽号小的模块优先；单板注册：各个接口模块和备用管理模块都要向活动管理模块注册，报告卡信息、版本信息和卡状态；版本同步：

6、活动管理模块将比较各个接口模块和备用管理模块的版本号，如果一致则继续运行；如果不一致，则以活动管理模块上的版本为基准进行版本同步，同步完毕后接口模块和备用管理模块将复位重新进行单板注册；端口同步：活动管理模块将端口信息同步到各个接口模块和备用管理模块；配置恢复：活动管理模块将配置信息和各种表恢复到各个接口模块和备用管理模块；系统运行：所有配置下发完毕后，系统开始运行；心跳监控：系统运行阶段，活动管理模块和备用管理模块之间、活动管理模块和接口模块之间都有软件心跳报文进行监控，如果发现某模块连续丢失心跳，则采取相关恢复措施。设备管理简单流程Active Master维护自身状态主板初始化时，设置本

7、板状态为NONECARD_INITIALIZING主板初始化状态1介绍在系统启动时，两块主控板（只有一块主控板的情况也相同）各自进行一些系统初始化操作。2输入：无3处理：读取产品类型，板类型，序列号，软硬件版本，bootrom版本，初始化子板信息数组，初始化热插拔模块，初始化load server，初始化load client，设置自身为standby master，检测每个插槽是否插入了子板。4输出：进入CARD_REGISTERING状态。5异常处理：无CARD_REGISTERING主板注册状态1介绍初始化完成，进入CARD_REGISTERING状态。2输入：初始化完成，状态机设置为C

8、ARD_REGISTERING。3处理：4输出：5异常处理：无1收到了对方的注册报文后，查看报文携带的板卡类型，发现是主控板，比较优先级（即槽位号），如果优先级低，不进行处理。如果优先级高，发送注册响应报文。2收到了对方的注册报文后，查看报文携带的板卡类型，发现是接口板，板卡自动成为active master。3发送注册报文后，收到了对方的应答，说明对方是主控板且优先级高，板卡自动成为standby master4一直没有收到其他主控板的注册报文或注册响应报文，这种情况一般是控制通道出现问题（因为此时一定检测到另一主控板插槽插有板卡，如果是接口板或低优先级的主控板会发送注册报文，如果是高优先级

9、的主控板会发送注册响应。），主备选举超时，板卡自动升级为Active Master。既然控制通道出现问题，两个主控收不到彼此的状态通过报文和响应报文，因此两个主控都会因为超时而成为Active Master，因此在REGISTING状态超时时，进行判断，如果当前自己优先级低（一般比较槽位号），则进行重启，否则设置自己为AM。1如果成为active master进入CARD_DISCOVERING状态。2如果成为standby master进入CARD_REGISTERED状态。CARD_DISCOVERING-主板检测其他子板是否进入可同步ready状态1介绍active master确定当前

10、主控身份后，进入CARD_DISCOVERING状态。2输入：确定active master地位后，状态机设置为CARD_DISCOVERING。3处理：4输出：进入CARD_READY状态。5异常处理：无进入此状态，active master通知其他所有板卡，自身的活动主板状态（其他板卡收到通知报文后，会纪录该板为active master，以后的状态报文只发给active master），在此状态active master检测已经插入的板卡状态是否为CARD_READY（通过其他板卡传上的状态通告报文得知），如果所有插入的板卡都已进入READY状态，可以进行批量的配置恢复，active m

11、aster自身进入CARD_READY状态；否则，一段时间（30s）状态超时后，active master也进入READY状态。此过程目的主要是等待其他板卡都进入配置恢复状态，然后进行批量恢复，提高效率，否则，以后插上的板卡只能作为热插处理，效率较低。CARD_READY主板准备进行配置恢复状态1介绍active master进行其他板卡检测后，进入CARD_READY状态。2输入：检测其他板卡完成或超时，进入CARD_READY状态。3处理：4输出：配置恢复完成，进入CARD_RUNNING状态。5异常处理：无进入此状态，active master向所有板卡发送状态通告报文，进入此状态后，a

12、ctive master通知热插模块，处理本板的配置恢复。然后初始化其他配置（如：telnet管理，consol，创建缺省接口，创建主控板端口等）。以上操作完成，进入CARD_RUNNING状态。CARD_RUNNING主板通告自身的活动状态1介绍active master进入CARD_RUNNING状态后，要同其他板卡进行配置恢复（通过热插模块），并不断向所有板卡发送状态通告，通知其他主板当前仍处于活动状态。2输入：本版的配置恢复完成，状态机设置为CARD_RUNNING。3处理：4输出：无5异常处理：无进入RUNNING状态后，active master通知热插模块，处理其他子板的配置恢复

13、。然后发送状态通知报文给其他子板，以通知其他子板自己仍处于活动状态，如果，备份主板一定时间内（30s）没有收到active master的活动通告，则自身升级为active master，整机复位。重启后，宕机主板不会被重新竞选为active master，因为他发出的注册报文会收到另一块已成为active master主板的注册响应。AM维护其他板卡状态状态描述CARD_NONE主控板初始化状态后，设置其它板卡的状态为None。CARD_INSERTED_NO_POWERAM检测到有板卡插入且还未上电，设置其状态为Inserted_No_Power。该状态仅在AM上产生。CARD_INSER

14、TEDAM检测到有板卡插入且已经上电，设置其状态为Inserted。CARD_REGISTERING注册状态，AM收到其它板卡的注册报文后设置其状态为注册状态。CARD_REGISTEREDAM收到了接口板的状态通告报文后并发送应答报文后，将接口板状态置于Registered状态。CARD_SOFTWARE_UPGRADING接口板进入Registered状态后，比较版本是否匹配，如不匹配进入Software_Updating状态，主板收到了接口板的Software_Updating状态通告报文。CARD_READY接口板版本比较处理完成后进入Ready状态，发送Ready状态通告报文通知AM

15、，然后进行本卡上其它模块初始化。CARD_WAITCONFIG接口板模块初始化完毕，进入此状态等待配置恢复。发送Wait_Config状态通告报文通知AM。CARD_INSERT_PROCESSAM收到热插板卡的Ready状态通告报文，将此板卡状态设置为此状态，进行板卡热插处理。CARD_RUNNING接口板配置恢复完成，进入RUNNING状态，向AM定期发送Running状态通告报文。CARD_REMOVING接口板按下Swap键后，产生一个Swap中断，接口板会通过管理通道上报AM，AM修改该接口板状态为Removing状态。CARD_REMOVEDAM在进行完板卡热拔处理之后，设置该板为

16、Removed状态，并通告接口板可以拔出。CARD_EMPTY板卡从槽位拔出，由中断报告给AM，AM将此板卡状态设置为Empty状态。CARD_ERRORAM认为此板卡出现问题。Standby Master状态CARD_REGISTERED主板注册完成状态1介绍在注册阶段成为standby master的主控板，进入CARD_REGISTERED状态。此状态只会在成为standby master的主板上产生。2输入：standby master注册完成，状态机设置为CARD_REGISTERED。3处理：4输出：5异常处理：无进入此状态后，向主控板发送状态通告，然后同active master

17、发送过来的注册响应报文中包含的软件版本进行比较，如果软件版本不相同，进入CARD_SOFTWARE_UPGRADING状态，并从active master下载主机软件（此时只以active master的软件为准，不论本板的版本是否高于active master的版本）。如果软件版本相同，进入CARD_READY状态。1同active master软件版本同步，进入CARD_READY状态。2同active master软件版本不同步，进入CARD_SOFTWARE_UPGRADING状态, 提示用户进行软件版本升级，如果升级则通过LOAD进行软件版本下载；如果不升级则进入CARD_ERROR

18、状态。CARD_SOFTWARE_UPGRADING软件版本同步状态1介绍standby master同active master进行软件版本比较时，如果软件不匹配，下载新的软件版本，此时进入CARD_SOFTWARE_UPDATEING状态。注意：不同项目默认备份主控版本同步活动主控的情况不同。可以通过命令设置是否更新软件版本。2输入：比较软件版本不同步，状态机设置为CARD_SOFTWARE_UPGRADING。3处理：4输出：软件版本同步完成，重新复位本版。5异常处理：无进入此状态后，向active master发送状态通告，提示用户需要进行软件版本升级，通过load client 向a

19、ctive master下载相应的主机软件，下载完成， active master发生下载完成消息给线卡，线卡收到此消息则重启线卡， master修改该板的状态为CARD_REBOOTING。 主备选举接口板接口板的注册过程和主备选举中，成为standby master的主板处理流程基本相似状态机超时对于主板的CARD_REGISTERING超时，自动升级为active master。对于接口板的CARD_REGISTERING超时，依然继续发送注册报文，状态不变。对于主板的CARD_DISCOVERING超时，主板进入CARD_READY状态。主控板检测到接口板CARD_DISCOVERIN

20、G，CARD_REGISTERED、CARD_READY、CARD_RUNNING状态超时，则进行板卡热拔操作，复位板卡。Standby Master检测到Active Master CARD_RUNNING状态超时则进行主备切换，进行整机复位。状态超时时间CARD_NONE无CARD_INSERTED无超时CARD_INITIALIZING无超时CARD_REGISTERING40秒CARD_REGISTERED30秒CARD_SOFTWARE_UPGRADING3秒CARD_REBOOTING无超时CARD_DISCOVERING30秒CARD_READY30秒CARD_WAITCONFI

21、GDCRS-7600中无超时，DCRS-9800中设为30秒CARD_INSERT_PROCESSDCRS-7600中无超时，DCRS-9800中设为30秒CARD_RUNNING30秒CARD_REMOVING无超时CARD_REMOVED无超时CARD_EMPTY无超时CARD_ERROR无超时设备管理报文在整个设备管理模块中，一种非常重要的报文是设备管理报文（ETH_P_DEVSM）。例如，主控卡使用该报文进行主备选举，并对各个非主控卡的注册报文进行响应；线卡把注册消息封装成“注册报文”，发送给active master。需要说明的是，所有的设备管理的报文都是通过管理通道发送和接收的。报

22、文头每一个设备管理报文头部，主要包括：版本号，SRC槽号，DST槽号，以及报文类型，报文头部格式如下：注册报文/注册响应报文结构主要用于主备选举，以及线卡向AM板卡注册本卡。状态通告报文结构所有的报文定期通告自己状态的报文，或者在出现特定的状态转换的时候的状态通告，可采用“广播”和“单播”两种方式发送。AM会把所有在位的板卡的状态通告给所有其它板卡，而slave只会把本卡的状态通告给AM。命令执行报文主要用于主控在响应一些事件之后，向线卡发送指令，执行一些操作，例如同步完版本，reboot线卡，热插处理完成修改线卡状态，主备切换等。心跳时钟软件设备管理的心跳时钟中断间隔时间为每秒1次：在板卡进

23、入registering状态之后，每一次心跳的到来都要发送状态通告：封装状态通告消息，并发送出去。主控卡registering超时，那么成为AM，并且进入discovering状态，发送状态通告AM 处于discovering状态，如果超时，那么进入ready状态；如果状态没有超时但是discovering完成，那么进入ready；否则只是发送状态通告。AM处于running状态，并且检测到了其他板卡的状态超时，那么同时热插拔模块做热拔处理，并修改本地保存的对应板卡状态为removing状态，记录日志。当主控成为SM之后，每一次心跳消息的到来，都会检测主控的状态，如果出现状态超时，那么进行主备

24、切换。其他相关任务tLoad：当SM/Slave板卡发现本卡的软件版本与AM的软件不一致的时候，向tload Client发送同步版本消息。tload Client在成功接收完版本，并成功的写入flash之后，需要线卡通知active master upgrade版本完成，等待主控的reboot指令消息热插拔：接收到线卡或者新的主控板卡的插入中断之后，修改其状态为inserted状态，并进行注册，注册完成，并进入ready状态之后，通知hotswap进行热插处理，接收到hotswap的处理完成消息之后，进入running状态。接收到线卡或者新的主控板卡的拔出中断之后，修改其状态为removin

25、g状态，通知hotswap进行热拔处理，然后把主控维护的该线卡/SM状态修改为empty，主控接收到hotswap发送过来的热拔处理完成消息，表示处理完成：如果是由于主控检测到线卡状态超时而产生的热拔处理完成，那么修改状态为removed，然后复位该线卡。如果是由于主控响应线卡的热拔中断而产生的热拔处理完成，那么状态保持empty主控接收到hotswap发送过来的热插处理完成消息，表示处理完成，向线卡发送hotdown命令消息，通知其可以进入running状态。Debug信息堆叠设备管理(VSF Devsm)堆叠的设备管理主要包括盒式机堆叠以及机架间堆叠的设备管理。对盒式机来说，需要运行一个与

26、原来机架设备类似的设备管理，而机架间的堆叠则除了机架间的设备管理外，还需要运行一个机架内的设备管理，机架内的设备主要是提供板卡在位信息以及板卡类型等信息。 堆叠模式下的devsm是扩展目前已存在的devsm任务，根据交换机运行在stack或单机模式，进行devsm的初始化。堆叠间的设备管理使用于盒式机堆叠、机架式堆叠、以及单机模式，如果运行模式为机架间的堆叠模式，则需要一个intra-chassis-devsm(机架内设备管理)任务提供支持。机架间堆叠时，机架内的设备管理负责本机架内的主备选举，板卡类型信息获取，线卡的保活，并将线卡的状态改变通过通知到堆叠协议，堆叠协议重新运行后通知堆叠设备管

27、理线卡的热插拔；而堆叠间的设备管理负责版本同步，成员设备保活、配置恢复、热插拔处理以及主备倒换时HA支持。堆叠设备管理角色及任务设备stackdevsmintraChassisDevsmVSF AM(机架间堆叠时)VSF SM（机架间堆叠时）Chassis SM（机架间堆叠时）Chassis slave（机架间堆叠时）机架间堆叠时，只有chassis am运行堆叠协议，分别充当vsf am以及vsf sm。chassis sm&chassis slave不运行堆叠协议，但运行堆叠设备管理(devsm)以及机架内设备管理(intraChassisDevsm)。堆叠设备管理 版本同步vsf sla

28、ve&vsf sm与vsf am不进行版本同步堆叠中设备管理默认不在vsf slave & vsf sm与vsf am之间进行版本同步，vsf am在注册响应报文中设置线卡版本号为通用版本号。Vsf am收到注册报文后，vsf am设置注册响应报文中版本号为通用版本号，发送注册响应报文。vsf slave&vsf sm与vsf am注册响应报文中版本号一致，进入ready状态。vsf am配置强制版本同步命令vsf am配置强制同步命令，vsf am在注册响应报文中设置线卡版本号为img package中对应板卡类型的版本号，vsf sm&slave收到注册响应报文后，进行版本同步。vsf a

29、m从img package中取出对应vsf sm&vsf slave版本号，发送注册响应报文。vsf sm&vsf slave收到注册响应报文，进行版本比较，相同进入ready状态，否则设置状态为upgrading,调用tload模块进行版本同步。vsf设备管理主备选举：优先级为配置好的优先级，默认为1，范围是132对于Chassis交换机堆叠而言，VSF AM对应Master设备的chassis AM,VSF SM对应Standby Master设备的 chassis AM，如果没有Standby Master设备，则VSF SM对应Master设备的 chassis SM。报文格式与机架内

30、的设备管理一样，区别在于，报文类型Intra devsm 为： 0 xdc03Devsm为： 0 xdc02状态机与机架内的状态机一致，整体视为一个能力更大的新机架。Vsf 主备倒换vsf am watchdog检测到任务异常，进行主备切换VSF AM被拔出，进行主备切换VSF AM执行命令force switchover，进行主备倒换Vsf am所在机架内存在chassis sm的处理：停止堆叠间的批量备份以及实时备份机架内的设备管理通过running心跳报文超时检测到chassis am异常，进行机架内的主备倒换，chassis sm成为新的chassis am重启机架内旧的chassis am，启动后成为机架内的新的chassis smchassis am从startup.cfg中读取信息，运行stack协议堆叠协议通知vsf sm进行主备切换，vsf sm成为新的vsf am发送消息到所有线卡，告知新的vsf am与vsf sm。主备切换以后