Broadcom以太网交换芯片转发流程

-.z.Broad以太网交换芯片培训(broad56504/56300)1、交换芯片架构交换芯片由GE/*E接口（MAC/PHY）模块、CPU接口模块、输入输出匹配/修改模块、MMU模块、L2转发模块、L3转发模块、安全模块、流分类模块等模块组成，其结构如图1所示：图1交换芯片的组成56504包含24个GE端口，4个10G端口，10G端口既可以用于堆叠，也可以用于上联/级联。56504交换芯片与CPU的接口称为CMIC接口。交换芯片与CPU通过PCI总线连接。其他类型交换芯片与CPU的接口可以是：SPI+MII、I2C+MII、系统总线+MII、SMI+MII等。交换芯片的包处理流程如图2所示：图2交换芯片的包处理流程简图包由端口进入交换芯片之后，首先进行字段匹配，为流分类做准备；然后经过一个安全引擎进行包过滤；符合安全的包进行L2交换或者L3路由，并经过流分类处理器对匹配的包做相关动作（比如丢弃、限速、修改VLAN等）；对于可以转发的包根据802.1P或DSCP放到不同队列的buffer中，调度器根据优先级或者WRR等算法进行队列调度，在端口发出该包之前执行流分类修改动作，最终从相应端口发送出去。2、L2转发流程2.1L2转发原理对于交换芯片来说，L2转发是一个最基本的功能。L2功能主要包括ingress过滤、MAC学习和老化、根据MAC+VLAN转发、广播与洪泛、生成树控制等基本功能。L2转发的具体流程如图3所示：从端口进入交换芯片的包首先检查TAG，对于tagged包，判断是否是802.1p的包，（802.1p的包vid为0），对于untagged的包和802.1p的包，根据系统配置加上tag（这些配置包括：基于MAC的vlan、基于子网的vlan、基于协议的vlan和基于端口的vlan）。经过这一步以后，到交换芯片部的包都变成802.1Q的tagged包了（vid为1－4094，4095保留），如果设置了ingress过滤，就会检查本端口是否在该vid对应的VLAN中，对于本端口不在该vid对应的VLAN中的包就丢弃。对于没有设置ingress过滤，或者设置ingress过滤但本端口在该vid对应的VLAN中的包进行STP端口状态检查，对于BPDU以外的包，只有端口处于forwarding状态，才允许包进入。然后进行原MAC地址检查，以原MAC＋VID的哈希为索引查找L2TABLE，如果没有找到，就把这个表项（原MAC＋VID）以及对应的端口写到L2TABLE中，这个过程称为MAC地址学习。当然地址学习的方法有很多种，可以是硬件学习，也可以是软件学习，可以根据PORT表中的CMI字段的配置来进行。图3L2转发流程下一步进行目的MAC地址检查：目的MAC地址为广播地址（0*ffffffff）的包，在vlan广播出去；目的MAC地址为组播地址的包，进行组播流程的处理；对于单播包，查找L2TABLE，如果没有找到，就在vlan进行洪泛；如果找到，检查表项中的L3bit是否设置，如果设置了L3bit，就进行L3流程的转发；否则就转发到L2TABLE表项中的端口去，在egress方向，也有egress过滤设置（默认是使能的），如果egress端口不在vlan中也是不能转发的。至此，L2转发流程完成了。与地址学习相反的过程是地址老化。地址老化的机制是：ASIC部有个定时器，称为agetimer，命令行可以对这个寄存器进行设置，每次查找L2TABLE时（包括原地址查找和目的地址查找，可以配置），如果命中，就会设置hit标志。当老化时间到后，ASIC把hit标志清除，当下一个老化时间到后，ASIC把hit为0的地址设置为无效，这就是为什么实际地址老化的时间为1～2倍agingTime的原因。2.2L2转发相关的表项2.2.1port表图4port表Port表是一个非常重要的表，有很多与端口相关的控制都在这里设置。每个端口对应一个表项，按端口号进行索引。下面介绍一下重要的设置：1)PVID：设置PORT_VID2)缺省优先级：设置PORT_PRI3)流分类使能：设置FILTER_ENABLE4)VLAN转换使能：设置VT_ENABLE和VT_MISS_DROP5)Ingress过滤使能：设置EN_IFILTER6)信任COS还是信任DSCP：对于IPV4：TRUST_DSCP_V4=0:信任COS；TRUST_DSCP_V4=1:信任DSCP，对于IPV6：同样设置TRUST_DSCP_V6。7)Ingress方向mirror使能：设置MIRROR8)MAC地址学习方式：设置CML9)IP组播是否使用VLAN信息：设置IPMC_DO_VLAN10)L3转发使能：设置V4L3_ENABLE和V6L3_ENABLE11)是否丢弃BPDU：设置DROP_BPDU12)控制是否转发带tag和不带tag的包：设置PORT_DIS_TAG和PORT_DIS_UNTAG13)Pause帧控制：设置PASS_CONTROL_FRAMES14)基于子网的VLAN使能：设置SUBNET_BASED_VID_ENABLE15)基于MAC的VLAN使能：设置MAC_BASED_VID_ENABLE16)设置堆叠口：HIGIG_PACKET17)设置NNI口：NNI_PORT18)修改优先级使能：MAP_TAG_PACKET_PRIORITY19)堆叠口modid设置：MY_MODID20)Outtpid设置：OUTER_TPID21)基于MAC和基于子网的VLAN优先级设置：VLAN_PRECEDENCE22)是否允许单臂桥功能：PORT_BRIDGE23)IP组播位图设置：IGNORE_IPMC_L2_BITMAP和IGNORE_IPMC_L3_BITMAPegressport表图5egressport表EGR_PORT是一组寄存器，每个端口一个，用于EGRESS方向的控制，有几个重要设置介绍如下：1)设置egress端口类型：PORT_TYPE＝0，UNI端口；PORT_TYPE＝1，NNI端口2)设置egress过滤：EN_EFILTER＝12.2.3L图6L2地址表

56504的L2地址表大小为16K，5630*的L2地址表大小为8K，地址表使用MAC+VID的hash值作为索引查表。实际上56504的L2地址表hash值为4K，每个hash值对应4条地址，这样最多可以保存4条hash冲突的地址。地址表中每个表项都保存了MAC_ADDR和VLAN_ID。MAC学习的时候使用原MAC+VID的hash查表，把表中的MAC+VID与包中的MAC+VID进行比较，如果完全相等，表示找到了。然后看端口（TGID_PORT）是否相等，如果不相等表示地址发生了迁移，对于动态学习的地址需要更新port；如果相等表示命中，更新hit标志。其他几个重要的功能介绍如下：1)设置静态地址：STATIC_BIT＝12)设置L3转发标志：L3＝13)设置本地址的包都转发到CPU去：CPU=14)设置本地址匹配的包丢弃：SRC_DISCARD=1、DST_DISCARD=15)设置本地址匹配的包对*些端口阻塞：MAC_BLOCK_INDE*6)设置本地址匹配的包镜像：MIRROR＝17)设置组播索引：L2MC_PTR8)地址有效标志：VALID＝1VLAN表Vlan表分为ingress和egress两个部分，分别对应入口控制和出口控制。图7ingressvlan表

IngressVlan表中主要包含了端口列表，用于ingressfilter功能。PFM是用于控制组播洪泛的开关。PFM＝0，组播在vlan洪泛；PFM＝1，注册的组播按组播表转发，未注册的组播在vlan洪泛；PFM＝2，注册的组播按组播表转发，未注册的组播丢弃。STG用于标识本vlan所属的生成树组。图8egressvlan表Egressvlan表中除了PFM和STG外，还包含了出口方向的端口位图，以及哪些端口以untag的方式发送本vlan的包。3、L3转发流程图9L3转发流程如果查目的MAC地址表的时候发现L3bit置位了，就进入到L3转发流程。与L2交L3交换可以实现跨VLAN转发，而且它的转发依据不是根据目的MAC地址，而是根据目的IP。L3转发的流程是：首先对L3头部进行校验，校验和错的包直接丢弃；然后进行原IP地址查找，如果主机路由表中没有找到，会上报给CPU，CPU会进行相应的处理，并更新接口表；下一步进行目的IP地址查找，如果主机路由表中没有找到，就会在子网路由表中进行查找，在子网路由表中进行最长子网匹配的查找算法，如果在子网路由表中还没有找到，也送给CPU进行处理，如果在主机路由表或子网路由表中找到了，就会得到下一跳的指针。如果ECMP使能的话，会得到ECMP的指针和ECMP的个数，从而根据hash算法得到一个下一跳指针。下一条表项中包含了下一跳的MAC地址和接口表的索引。在包转发出去的时候，用下一跳的MAC地址替换掉包的目的MAC地址。用接口表中的MAC地址和VLAN替换掉包的原MAC地址和VLAN。与L3有关的几个重要的表：图10L3单播主机路由表图11L3子网路由表图12ECMP表图13EGRESS下一跳表图14接口表图15INGRESS下一跳表4、

L2组播转发流程在L2转发流程中，查找目的MAC＋VID的时候，如果表项的目的MAC是一个组播地址，该表项有一个组播指针指向组播表，组播表中有一个端口位图，表示哪些端口属于该组播组。组播组中的端口位图与VLAN中的端口位图相与的结果是实际转发的端口位图。静态配置的或协议动态添加的组播地址通过SSP写到MAC地址表中，组播成员通过SSP写到组播表中。L2组播表的结构如下：图16L2组播表5、

L3组播转发流程

L3组播支持有源树和共享树。所谓有源树是指根据源IP地址和组地址来确定一个组播组，而共享树是指仅根据组地址来确定一个组播组。芯片也支持反向路径检查（ReversePathForwardingcheck），所谓反向路径检查是指通过检查源IP地址确定源端口，从而不要向源端口转发的技术。

L3组播的转发流程是，先查L2表，对于组播地址而且是L3bit置位的，查L3表。L3表给出IPMC_INDE*。根据这个索引查L3_IPMC表，L3_IPMC表给出L2_BITMAP和L3_BITMAP。对于L2_BITMAP，按照L2组播流程转发；对于L3_BITMAP，根据IPMC_INDE*和BITMAP得到IPMC_GROUP的VLAN_INDE*，最后根据VLAN_INDE*查找IPMC_VLAN表，IPMC_VLAN表包含了VLAN的位图，芯片在进行L3组播的时候，对VLAN的位图中的每个成员进行组播复制。图17L3组播表图18L3组播复制L3单播和组播的转发流程综合起来，如下图所示：图19L3单播和组播的转发流程IPMC转发相关的表的结构如下：图20L3TABLEL3TABLE表项大小8K（5650*）/2K（5630*）。图21IPMCTABLEIPMCTABLE表项大小1K。图22IPMC_GROUPTABLEIPMC_GROUPTABLE表项大小1K。图23IPMC_VLANTABLEIPMC_VLANTABLE表项大小2K。6、流分类处理流程在5650*/5630*中，流分类是通过CFP实现的，CFP是ContentAwareFilterProcessor的缩写。所谓ContentAware就是对packet的容进行智能匹配的技术。5650*/5630*中的流分类分为5个阶段，流程如图：图24CFP流程这5个部分分别是智能协议识别选择器、CAM查找引擎、策略引擎、meter和统计引擎、动作裁决引擎。在ingress端口，智能协议识别选择器对进来的包的前128bit按照协议字段进行选择和标记，CAM查找引擎按照用户给的key匹配协议选择器的容，如果找到了，就执行策略引擎的动作，并可以实验meter和统计引擎进行限速、标记颜色和统计。5650*有16个CAM查找引擎，5630*有8个CAM查找引擎，它们可以