虚拟交换技术白皮书-系统架构设计一

版权所有2012迈普通信技术股份有限公司，保留所有权利。版权所有2010迈普通信技术股份有限公司，保留所有权利。虚拟交换技术白皮书系统架构设计一目录TOC\o"2-9"\h\z\t"标题1,1"1 概述 迈普（四川）通信技术有限公司虚拟交换技术白皮书摘要：虚拟交换技术是将多台交换机设备虚拟成一台交换设备来使用，从而增强设备可靠性、简化网络结构、提供网络稳定性。本技术白皮书将介绍迈普虚拟交换技术的技术背景、技术架构、技术特点和典型应用。关键词：虚拟交换技术、堆叠技术、虚拟交换机、虚拟交换链路、跨设备链路聚合、高可靠性、网络稳定性缩略语缩略语英文全称中文解释VSTVirtualSwitchingTechnologies虚拟交换技术StackStackTechnologies堆叠技术VSVirtualSwitch虚拟交换机VDVirtualDevice虚拟设备VSLVirtualSwitchingLink虚拟交换链路LAGLinkAggregation链路聚合STPSpanningTreeProtocol生成树协议RSTPRapidSpanningTreeProtocol快速生成树协议MSTPMultipleSpanningTreeProtocol多生成树协议VRRPVirtualRouterRedundancyProtocol虚拟路由器冗余协议LMPLinkManagementProtocol链路管理协议TDPTopoDiscoveryProtocol拓扑发现协议RRPRoleResolutionProtocol角色选择协议MADMulti-ActiveDetection多激活检测LACPLinkAggregationControlProtocol链路聚合控制协议BFDBidirectionalForwardingDetection双向转发检测

概述产生背景长期以来，交换机在组网应用中多采用层次化的网络结构，网络一般分为核心层、汇聚层和接入层。为了增强网络的可靠性，通常在核心层部署两台核心交换机，然后所有的汇聚层交换机都通过两条链路分别“双归”到两台核心交换机，如图1所示。图1-1传统网络组网结构当这种网络结构采用二层技术实现，由于冗余链路的存在，导致网络出现环路问题，不得不配置STP/RSTP/MSTP协议来消除环路。而实际应用中往往由于设备故障或链路中断等原因，可能导致STP/RSTP/MSTP拓扑振荡，而STP/RSTP/MSTP的收敛时间又比较长，从而影响网络的正常运行。同时，生成树协议为了消除环路，需要把一些链路阻塞，没有利用这些链路的带宽，造成带宽资源浪费。而在三层组网中，为了实现冗余备份，通常采用VRRP协议，状态为master的交换机发生故障，处于backup状态的交换机至少要等3秒钟才会切换成master。故障恢复时间一般在秒级。同时，也存在网络拓扑复杂，管理困难等问题。随着网络稳定性和设备可靠性要求的不断提高，我司针对高端交换机提出了一种将两台或多台物理交换机组合成一台虚拟交换机的技术，即虚拟交换技术（VirtualSwitchingTechnology，简称为VST），如图2所示，图1-2应用虚拟交换技术（VST）的网络结构核心层的两台交换机之间通过VSL链路连接，并通过虚拟化技术形成一个虚拟交换，汇聚层交换机通过上联链路分别连接到核心层的物理交换机上，并分别在汇聚交换机和核心交换机上实现链路聚合，最终把左侧的网络结构简化为右侧的网络结构。需要指出的是，为了描述方便，虽然本技术白皮书主要是针对核心层应用来描述和举例的，事实上，VST技术作为一种通用的技术架构，可以应用到网络的汇聚层和接入层。技术特点虚拟交换技术相对传统二层生成树和三层VRRP技术，具有下列优势：带宽成倍增加并充分利用。虚拟交换技术不需要把一些链路阻塞，从而有效利用这些链路的带宽，不会造成带宽资源浪费，相对传统的技术方案，带宽成倍增加。另外，通过跨设备和跨板卡的聚合链路既可以提供冗余链路，又可以实现动态负载均衡，充分利用所有带宽。简化网络拓扑。通过VST技术形成虚拟交换机(VS)在网络中相当于一台交换机，并通过聚合链路和周边设备相连，由于不存在二层环路，所以没必要配置STP/RSTP/MSTP协议。各种控制层协议运行在一台虚拟交换机上，减少了设备间大量协议报文的交互，缩短了路由收敛时间。故障恢复时间缩短到毫秒级。虚拟交换机和周边设备通过聚合链路连接，如果其中一条成员链路出现故障，切换到另一条成员链路的时间是50到200毫秒。既提供了冗余链路，又可以实现负载均衡，充分利用所有带宽。简化管理。两台或多台交换机组成虚拟交换机以后，管理员可以对多台交换机统一管理，而不需要连接到多台交换机分别进行配置和管理。系统架构概述虚拟交换技术(VST)是基于分布式内部交换网络（Fabric）技术，把两台或多台物理设备通过特殊的虚拟交换链路（VSL）连接起来，运行特殊的软件让这些多台设备虚拟为一台逻辑设备来工作的技术。虚拟交换技术(VST)是一个开放的、可扩展的系统，主要包括硬件和软件两大部分。它的系统架构如图：图2-1虚拟交换技术逻辑框架从功能逻辑的角度来看，这里面包含两个层面的内容：（1）数据平面：数据平面包含用户可见的数据平面，即用户可见的用户端口，以及用户不可见的内部互联网络，即Fabric。各用户端口之间的业务数据是通过内部互联网络来转发的。虚拟交换通过连接各成员设备的内部互联网络来实现的，即虚拟交换技术的本质是分布式内部互联网络，这是实现跨设备链路聚合、跨设备端口镜像、跨设备L2&L3ECMP转发的硬件基础。（2）控制和管理平面：从物理的角度来说，虚拟交换技术所涉及的每一个成员设备都是一个可以独立工作/运行的物理设备。在虚拟交换的实现中，为了统一的管理和控制，控制平面软件实质上被分为两个部分：一个为硬件相关的部分，即保证成员设备能正常工作的设备驱动程序、机箱管理等基本功能，而另一部分是硬件无关的部分，即控制平面中的控制协议以及面用户进行设备管理的管理平面。在虚拟设备形成的过程中，将通过角色选举出整个虚拟设备的主控设备。从控制平面软件的角度来看，只有主控设备的控制面的上述两个部分是完全激活的，而其他成员设备只有硬件相关的部分处于激活（工作）状态，成员设备与硬件无关的控制协议和管理部分将处于Standby状态。在虚拟设备形成以后，所有成员设备将接受主控设备控制面的统一控制和管理，从而达到虚拟为一台设备的效果。VST硬件VST硬件主要包括：交换机硬件平台：即机架式高端交换机平台；用于设备互联的VSL链路和与之对应的物理端口：对于机架式高端交换机，VSL链路通常由线卡上的万兆端口来提供。VST软件VST软件是在VST硬件基础之上实现设备虚拟化的的控制协议软件，它主要包括三个部分：VST协议：VST协议主要负责虚拟逻辑设备的建立和维护，主要包括VSL链路管理和链路状态监测、对端发现、拓扑收集、角色选举、成员设备软硬件版本检查、多激活检测和恢复等功能。虚拟设备层：在VST协议基础上，实现对VST成员设备的板卡等各种资源进行管理和抽象，并对这些成员资源进行虚拟映射，从而模拟出一个虚拟的交换设备。最终，对于运行在此系统上的各种应用和业务特性软件来说，通过虚拟设备层的抽象和屏蔽，它并不关心设备物理上的差异，即不管是真实的物理设备还是虚拟出来的VST设备，它都不需要做任何的修改。支撑业务：基于虚拟设备层，上层的管理和控制协议软件将可以运行在VST设备中，这些服务主要包括：设备管理，包括SNMP、CLI和配置文件等配置管理内容；HA服务：HA同步和倒换服务等；业务模块：根据交换机硬件支持的业务特性，提供各种业务模块，通常包括：重要的跨机箱链路聚合和端口镜像特性；可选的二层交换功能和协议模块；可选的三层路由转发功能和协议模块；可选的MPLS交换功能和协议模块；可选的增值业务模块，如IPFIX、FW等。基本概念虚拟交换域虚拟交换域（VSTDomain）是虚拟设备的一个属性，用来区分不同的虚拟设备。具有相同VSTDomain的交换机才能组成虚拟设备。VSTDomainID的取值范围是1到255，缺省值是100。成员编号虚拟设备的每一个成员设备（物理交换机）都需要一个VST成员编号(VSTMemberID）来识别。在每一个VSTDomain中每个成员设备的编号必须是唯一的，如果建立VSTDomain时出现两个成员设备的编号相同，则不能形成VST虚拟设备。成员设备编号的取值范围根据设备类型不同而有所不同。VST成员编号常用于VST中的系统资源编号，比如，VST在物理单机模式，端口编号采用二维格式（如tengigabitEthernet1/1），而在VST工作模式中，端口编号采用三维格式（如tengigabitEthernet1/1/1虚拟交换链路虚拟交换链路（VSL，VirtualSwitchingLink）是两台成员交换机之间的逻辑链路。虚拟交换链路（VSL）是由一个或者多个物理链路通过汇聚组成的逻辑链路。VSL物理端口VSL物理端口是指成员设备可以用于VSL逻辑连接的物理端口。对于高端交换机，VSL物理端口可以交换机上的任意10GbE接口(光口或者电口)。一个普通的物理端口需要分配到VSL链路之后才能成为VSL物理端口，一个VSL链路可以包含多个VSL物理端口。设备角色在一个虚拟交换域中，每台成员设备可能被赋予不同的VST角色。各成员设备按照在VSTDomain中承担的任务和作用不同，通常分为两种角色：主控设备（Master）：负责管理整个VST的管理和控制；备份设备（Slave）：负责本地设备基本硬件管理，并接受主控设备的管理和控制。成员设备VST角色的确定是在VST形成过程中通过选举产生的，一个VST中只能同时存在一台主控设备（Master），其他成员设备都是备份设备（Slave）。当主控设备故障时，系统会自动选举一台备份设备成为新的主控设备。成员优先级VST成员优先级也是VST成员设备的一个属性，主要用于角色选举过程中确定成员设备的角色。优先级越高（数值越大），当选为Master的可能性越大。取值范围是1到255，缺省优先级是100。工作模式支持VST技术的交换机具有两种运行模式：单机（Standalone）运行模式：设备作为一台普通的分布式设备单机运行，不能与别的设备形成VST虚拟设备。VST（VirtualSwitch）运行模式：可以和其它设备连接形成一个VST，也可以单台设备运行。缺省情况下，所有设备都工作在单机运行模式。只有通过明确的用户配置，交换机才从单机运行模式切换到VST模式。VST分裂一个VST形成后，由于VSL链路故障，导致VST中两相邻成员设备物理上不连通，一个VST变成两个VST，这个过程称为VST分裂（split）。图2-2VST分裂示意图VST合并两个VST各自已经稳定运行，通过物理连接和必要的配置，形成一个大的VST，这个过程称为VST合并（merge）。图2-3VST合并示意图VST的形成VSL物理连接VSL连接是一个专用的汇聚链路，用于相邻成员设备之间的互联。两台或者多台成员设备要形成一台虚拟设备，首先需要将成员设备的VSL端口进行物理连接。一个VSL逻辑端口可以跟一个VSL物理端口绑定，也可以跟多个VSL物理端口绑定以提高VSL链路的带宽及可靠性。图2-4VSL链接示意图VST的典型连接拓扑有两类：链形连接拓扑：如图2-5，主要适用于成员设备物理位置分散的组网，但当链形连接中出现链路故障时，会引起VST分裂。图2-5链形连接拓扑示意图环形连接拓扑：如图2-6，相比于链形连接拓扑更为可靠。因为环形连接中一条链路出现故障时，会变成链形连接，VST的业务不会受到影响。图2-6环形连接拓扑示意图配置基本参数VST域中两台成员交换机的连接如下图2-7所示。图2-7配置连接拓扑示意图配置交换机A：配置交换机A的域编号为20，成员编号为1，成员优先级为120，配置一条vsl-channel，vsl-channel编号为1，将端口3/0及3/0加入该vsl-channel。将交换机A的成员优先级别配置较高，其目的在于让其选举成为主控设备。Switch-A(config)#switchvirtualdomain20Switch-A(config)#switchvirtualmember1Switch-A(config-vst-member-1)#priority120Switch-A(config-vst-member-1)#exitSwitch-A(config)#vsl-channel1Switch-A(config-vsl-channel-1)#exitSwitch-A(config)#port3/0Switch-A(config-port-3/0)#vsl-channel1modeonSwitch-A(config)#port3/1Switch-A(config-port-3/1)#vsl-channel1modeon配置完成后，在交换机A上查看配置信息如下：Switch-A#showswitchvirtualconfigModeDomainIdMemberIdPrioritymacModeMacAddrSTANDLONE201120VIRTUAL0001.7a6a执行“showswitchvsl-channel”命令查看VSL配置信息。在单机模式下，VSL状态未通过链路管理协议的检查，因此状态为LINKDOWN。Switch-A#showswitchvsl-channelSwitchVirtualMember:1vslIdBalanceModeControlPortLinkStateOppositeMemberId1SRCMAC0LINKDOWN0执行“showswitchvsl-channel1detail”命令查看VSL成员配置信息。Switch-A#showswitchvsl-channel1detailvsl-channelid:1vsl-channelbalance-mode:SRCMACvsl-channelcontrol-port:0vsl-channellink-state:LINKDOWNvsl-channelopposite-member:0PortIdRunStateLogicLinkStateSpeedOppositePortId3/0PENDINGLINKDOWN1000003/1PENDINGLINKDOWN100000配置交换机B：配置交换机B的域编号为20，成员编号为2，成员优先级为100，配置一条vsl-channel，vsl-channel编号为2，将端口3/0加入该vsl-channel。Switch-B(config)#switchvirtualdomain20Switch-B(config)#switchvirtualmember2Switch-B(config-vst-member-2)#priority100Switch-B(config-vst-member-2)#exitSwitch-B(config)#vsl-channel2Switch-B(config-vsl-channel-1)#exitSwitch-B(config)#port3/0Switch-B(config-port-3/0)#vsl-channel2modeonSwitch-B(config)#port3/1Switch-B(config-port-3/1)#vsl-channel2modeon配置完成后，在交换机B上查看配置信息如下：Switch-B#showswitchvirtualconfigModeDomainIdMemberIdPrioritymacModeMacAddrSTANDLONE201100VIRTUAL0001.7a6a执行“showswitchvsl-channel”命令查看VSL配置信息。在单机模式下，VSL状态未通过链路管理协议的检查，因此状态为LINKDOWN。Switch-B#showswitchvsl-channelSwitchVirtualMember:2vslIdBalanceModeControlPortLinkStateOppositeMemberId2SRCMAC0LINKDOWN0执行“showswitchvsl-channel2detail”命令查看VSL成员配置信息。Switch-B#showswitchvsl-channel2detailvsl-channel:2vsl-channelbalance-mode:SRCMACvsl-channelcontrol-port:0vsl-channellink-state:LINKDOWNvsl-channelopposite-member:0PortIdRunStateLogicLinkStateSpeedOppositePortId3/0PENDINGLINKDOWN1000003/1PENDINGLINKDOWN100000模式切换将交换机从单机模式切换到VST模式，在配置模式下执行以下命令：Switch-A#switchmodevirtualThiscommandwillconvertallinterfacenamestonamingconvention"interface-typeswitch-number/slot/port",copythestartupconfigurationtothebackupfilenamed“startup-backup”andreloadthesystem.Doyouwanttoproceed?[yes/no]:yesConvertinginterfacenamesBuildingconfiguration...[OK]Copyingthestartupconfigurationtobackupfilenamed“starup-backup”…[OK]Saverunningconfiguration…[OK]Resetsystem!这段提示信息的含义是，如果执行该命令后，会有四步操作：第一步：将所有端口的名称由二维转换为三维，以inteface-typememberId/slot/port方式组织。第二步：将当前运行的startup文件备份到“startup-backup”。第三步：保存当前配置第四步：重启设备。同样操作，将交换机A和B从单机模式切换到VST模式。VST初始化交换机A和交换机B重启后，工作模式已经从单机模式切换为VST模式。系统在启动过程中，将执行以下操作：检测物理链路是否双向导通。因此建议在单机模式下先将VSL物理端口连接好，并仔细检查物理链路是否正常工作。收集VST域内所有物理设备的拓扑信息，包括设备的域ID、成员编号、机箱类型、机箱工作模式及板卡的软件版本等信息，根据这些信息判定物理设备是否具有堆叠能力。注意：以下情况完全满足才表示设备具有堆叠能力：交换机A和交换机B的域ID相同。交换机A和交换机B的成员ID不同且不超过它们的最大堆叠能力交换机A和交换机B的机箱工作模式必须相同。交换机A和交换机B的板卡软件版本必须相同。角色选举，在拓扑信息收集完成后，开始进行角色选举，拓扑内只能唯一的选举出一台设备作为VST的主控设备（Master），其余设备均为受控设备（Slave）。VSL链路管理VSL链路的链路状态在VST应用中起着极其重要的作用，VST链路状态影响着VST的拓扑结构，甚至引起VST分裂和合并。因此需要在任何相邻成员设备之间使用VSL链路管理协议（LMP）来对VSL链路进行实时状态监测。链路管理协议运行在每条VSL链路的每一物理成员链路上，VSL链路两端的成员设备分别针对每条VSL链路的每一物理成员链路独立发送和接收协议报文，从而可以确定每条物理成员链路的状态变化，继而得出VSL逻辑链路的状态变化。值得注意的是：由于每一个VSL链路状态的变化，都可能导致VST拓扑变化，甚至引起VST分裂和合并的频繁发生。为了防止这种情况下的发生，LMP协议提供了灵活的报文发送时间间隔和接收时间间隔以及相应事件报告控制。如：Vslplmpintervalintervalmin_rxmin-intervalmultiplierfactorintervalmilliseconds，配置最小发送间隔，单位是毫秒，缺省为500，参考范围为300～5000ms，min_rxmilliseconds，配置最小接收间隔，单位是毫秒，缺省为500，参考范围为300～10000ms，multiplierinterval-multiplier，配置接收检测超时的倍数，缺省为12，参考范围为3～50。这条命令实际上提供了一个VSL链路down延迟上报机制来解决这个问题。它的工作原理是：（1）如果VSL链路状态从up变为down，端口不会立即向系统报告链路状态变化。经过配置的延迟时间间隔后，如果VSL链路仍然处于down状态，端口才向系统报告链路状态的变化，系统再作出相应的处理；(2)如果VSL链路状态从down变为up，链路管理协议会立即向系统报告，从而避免因端口链路层状态在短时间内频繁改变，导致VST分裂/合并的频繁发生。拓扑发现VST域的可能存在不同的拓扑结构，拓扑发现是通过拓扑发现协议（TDP）来实现的。TDP是通过每个成员设备和直接邻居成员设备交互拓扑发现协议报文来发现整个VST的拓扑结构。TDP报文会携带拓扑信息，包括成员设备Domain、成员设备编号、成员设备优先级、成员设备的桥MAC等内容和最为重要的VSL连接关系。VST每个成员设备都在本地记录自己已知的拓扑信息，同时通过TDP报文周期性发送自己已知的拓扑信息。拓扑发现的基本过程是：（1）在拓扑发现之初，每个成员设备在自己的拓扑信息库中只有自身的拓扑信息；（2）当VSL端口链路状态变为UP后，成员设备会将已知的拓扑信息周期性的发送出去；（3）每个成员设备收到邻居的拓扑信息后，会根据邻居发来的拓扑信息更新本地记录的拓扑信息；（4）经过一段时间的收集，所有成员设备都会收集到完整的拓扑信息。从邻居成员设备收到的拓扑信息和自己保存的拓扑信息完全相同，这种状态称为拓扑收敛。角色选举一旦拓扑发现完成，则每个成员设备都拥有所在域的完整拓扑信息，系统将会进入角色选举阶段。基于这些信息，每台成员设备基于角色选举规则选举主控设备。每个VST系统有且只有一个主控设备。角色选举规则如下：（1）当前主控设备优于其它成员设备；（2）当成员设备是高端分布式设备时，本地主控MPU优于本地备用MPU，原主控设备的备用MPU优于其他成员设备的主控MPU；（3）成员优先级大的优先；（4）系统运行时间长的优先；（5）成员编号小的优先。按规则次序判断，直到找到唯一的最优结果，才停止选举。此最优结果即为VST的主控设备，对应的MPU为主控MPU，其它设备则均为备份设备。角色选举结束，每个成员设备都知道自己在VST中的角色和选举结果，一旦主控设备确认了自己的主控身份，主控设备将对每个成员设备的各种板卡硬件和软件信息进行严格的硬件和软件兼容性检查，如果某一个成员设备出现硬件兼容性问题，系统将不允许该成员设备加入VST域，并提示用户出现硬件兼容性问题。如果出现软件版本不一致或不兼容，主控设备将提示用户系统将进入软件升级，如果用户确认升级，则主控设备将对成员设备进行软件升级。这里需要注意的是，对某一成员而言，一旦主控设备发现某一成员设备出现硬件兼容性问题或软件版本问题，该成员设备将被主控系统从VST中隔离出来。被隔离的成员设备将在解决硬件问题或软件升级后重新启动，并重新以新成员设备加入的方式加VST。由于VST系统支持有多台设备的堆叠，VST拓扑存在两种拓扑结构：链形连接和环形连接。所以，在硬件和软件兼容性检查通过后，主控设备将根据收集的拓扑信息和硬件配置信息来确定VST的工作拓扑。一旦工作拓扑决定，主控设备和成员设备之间一个完整的主从关系才真正形成，上层协议和应用才能正常工作。在VST形成后正常工作中，实时掌握主控设备和备份设备之间的主从关系是重要的。为了确定这一关