CloudEngine 12800 FCoE和DCB技术白皮书

1、CloudEngine 12800 系列交换机FCoE 和 DCB 技术白皮书CloudEngine 12800 系列交换机FCoE 和 DCB 技术白皮书 目 录 目 录 HYPERLINK l _bookmark0 FCoE 简介1 HYPERLINK l _bookmark2 FCoE 原理描述4 HYPERLINK l _bookmark3 FCoE 的基本概念5 HYPERLINK l _bookmark20 FCoE 的封装8 HYPERLINK l _bookmark23 FIP 协议9 HYPERLINK l _bookmark26 FCF12 HYPERLINK l _boo

2、kmark28 NPV13 HYPERLINK l _bookmark30 FSB14 HYPERLINK l _bookmark33 Zone15 HYPERLINK l _bookmark36 应用场景18 HYPERLINK l _bookmark37 FCF 场景19 HYPERLINK l _bookmark39 FCF+NPV 组网19 HYPERLINK l _bookmark41 FCF+FSB 组网20 HYPERLINK l _bookmark43 配置任务概览22 HYPERLINK l _bookmark45 配置注意事项23 HYPERLINK l _bookmark

3、46 兼容性列表26 HYPERLINK l _bookmark47 缺省配置46 HYPERLINK l _bookmark49 配置 FCF.47 HYPERLINK l _bookmark50 创建 FCoE 接口和 FCF 实例50 HYPERLINK l _bookmark51 配置 Zone51 HYPERLINK l _bookmark52 （可选）配置 FCF 参数52 HYPERLINK l _bookmark53 （可选）配置 FIP Keepalive 报文的发送间隔52 HYPERLINK l _bookmark54 检查配置结果53 HYPERLINK l _book

4、mark55 配置 FSB54 HYPERLINK l _bookmark56 配置 FSB 实例56 HYPERLINK l _bookmark57 配置接口角色56 HYPERLINK l _bookmark59 （可选）配置 FIP 协议报文的交互超时时间58 HYPERLINK l _bookmark60 （可选）配置 FCoE 链路同步功能58 HYPERLINK l _bookmark62 检查配置结果59 HYPERLINK l _bookmark63 维护 FCoE60 HYPERLINK l _bookmark64 查看 FIP 报文的统计信息61 HYPERLINK l _

5、bookmark64 清除 FIP 报文的统计信息61 HYPERLINK l _bookmark66 查看 FC 和 FIP 报文的统计信息61 HYPERLINK l _bookmark67 清除 FC 和 FIP 报文的统计信息62 HYPERLINK l _bookmark68 监控 FCoE 的运行状态62 HYPERLINK l _bookmark69 配置举例63 HYPERLINK l _bookmark70 配置 FCF 示例（FCoE 接口）64 HYPERLINK l _bookmark72 配置 FCF+FSB 示例（FCoE 接口）68 HYPERLINK l _bo

6、okmark74 DCB 简介74 HYPERLINK l _bookmark75 DCB 原理描述75 HYPERLINK l _bookmark76 13.1 PFC.76 HYPERLINK l _bookmark80 ETS78 HYPERLINK l _bookmark84 DCBX80 HYPERLINK l _bookmark88 14 应用84 HYPERLINK l _bookmark90 配置任务概览85 HYPERLINK l _bookmark91 配置注意事项86 HYPERLINK l _bookmark92 缺省配置87 HYPERLINK l _bookmark

7、94 配置 PFC 功能88 HYPERLINK l _bookmark95 配置 ETS 功能90 HYPERLINK l _bookmark96 配置 ETS 模板91 HYPERLINK l _bookmark97 应用 ETS 模板92 HYPERLINK l _bookmark98 检查配置结果92 HYPERLINK l _bookmark99 配置 DCBX 功能93 HYPERLINK l _bookmark100 维护 DCB95 HYPERLINK l _bookmark101 监控 DCB 的运行状态96 HYPERLINK l _bookmark102 清除 DCB 的

8、统计信息96 HYPERLINK l _bookmark103 配置举例97 HYPERLINK l _bookmark104 配置 DCB 示例98CloudEngine 12800 系列交换机FCoE 和 DCB 技术白皮书 1 FCoE 简介1FCoE 简介介绍 FCoE 的定义和作用。 数据中心融合网络的发展趋势如 HYPERLINK l _bookmark1 图 1-1 所示，传统数据中心组网中，以太网 LAN（Local Area Network）用于服务器与服务器、客户端与服务器之间通信，存储区域网络 SAN（Storage Area Network）用于 服务器与存储设备之间通

9、信，两者的部署和维护相互独立。 随着数据中心的飞速发展和服务器数量的激增，LAN 和 SAN 的独立部署存在如下问题： 网络复杂：LAN 和 SAN 的相互独立导致业务部署的灵活性差，网络扩展困难， 网 络的维护和管理成本高。能效比低：服务器上至少配置 46 块网卡，包括用于接入 LAN 的网络接口卡 NIC（Network Interface Card）和用于接入 SAN 的主机总线适配器 HBA（Host BusAdapter）。服务器的多类型的网卡使得整个数据中心的电力消耗和冷却成本增 加。图 1-1 数据中心网络融合前后对比ConvergedCoreAccessServerLANCor

10、eAccessSANFCAccessArrayBeforeAfterFCoE Traffic and Ethernet TrafficEthernet TrafficFC TrafficFCoE Traffic数据中心网络融合后，存储网络 SAN 和以太网 LAN 通过网络融合技术可共享同一个单 一的、集成的网络基础设施，解决了不同类型网络共存所带来的问题，实现了网络基 础设施整合、精简的目标。 本文所采用的网络融合技术是指以太网光纤通道 FCoE（Fibre Channel over Ethernet）。 定义FCoE 是由美国国家标准委员会 ANSI（American National S

11、tandards Institute）下属的 T11（Technical Committee 11）委员会定义的一种融合网络技术，是以光纤通道 FC（Fibre Channel）存储协议为核心的 I/O 整合方案。 目的对比 SAN 和 LAN 网络模型可知，当网络融合后： FC 流量无法正常转发。现有以太网无法达到 FC 网络中无丢包转发的需求。为解决上述问题，以太网光纤通道 FCoE 和数据中心桥接 DCB（Data Center Bridging） 应运而生。其中： FCoE 实现了以太网帧承载 FC 帧，从而使得 LAN 和 SAN 能够共享网络资源，实现网 络融合。DCB 实现了在数

12、据中心网络中构建一个无丢包以太网，使得传统以太网实现FC SAN 网络中的拥塞控制，为 FCoE 融合业务提供了传输质量保证。受益FCoE 可以为数据中心带来如下受益： 更低的总体拥有成本 TCO（Total Cost of Ownership）：LAN 和 SAN 网络通过FCoE 技术共享网络资源，整合并更有效的利用以前分散的资源，减少对于 SAN 网络基 础设施的投资，简化了网络复杂度，降低网络的管理和维护成本；服务器采用融 合网络适配器 CNA（Converged Network Adapter），减少数据中心的电力和冷却成 本。强大的投资保护：FCoE 可以和数据中心现有的以太网及

13、FC 基础设施无缝互通， 保 护客户在现有 FC SAN 上的投资（如 FC 设备、工具成本和管理成本）。增强的业务灵活性：FCoE 使得所有的服务器共享存储资源，满足虚拟机迁移的需 求，这样也提高了系统的灵活性和可用性。CloudEngine 12800 系列交换机FCoE 和 DCB 技术白皮书 2 FCoE 原理描述2FCoE 原理描述关于本章介绍 FCoE 实现原理。 HYPERLINK l _bookmark3 FCoE 的基本概念 HYPERLINK l _bookmark20 FCoE 的封装 HYPERLINK l _bookmark23 FIP 协议 HYPERLINK l

14、_bookmark26 FCF HYPERLINK l _bookmark28 NPV HYPERLINK l _bookmark30 FSB HYPERLINK l _bookmark33 ZoneFCoE 的基本概念如 HYPERLINK l _bookmark4 图 2-1 所示的 FCoE 组网中，FCoE 中存在如下基本概念： HYPERLINK l _bookmark5 ENode、 HYPERLINK l _bookmark7 FCF、 HYPERLINK l _bookmark8 FIP 协议、 HYPERLINK l _bookmark9 NPV、 HYPERLINK l _

15、bookmark10 FSB、 HYPERLINK l _bookmark11 Fabric、 HYPERLINK l _bookmark12 FCoE 虚链路（FCoE Virtual Link）、 HYPERLINK l _bookmark13 端口角色、 HYPERLINK l _bookmark14 FCoE HYPERLINK l _bookmark14 VLAN、 HYPERLINK l _bookmark15 Zone、 HYPERLINK l _bookmark16 WWN、 HYPERLINK l _bookmark17 FC_ID、 HYPERLINK l _bookmar

16、k18 Domain ID 和 HYPERLINK l _bookmark19 FC-MAP。 LANFCFFiber Channel SwitchVF_PortVNP_PortFabricANPVFCFVF_PortFabricBFSBVN_Port CNAVN_PortENode ENodeCNACNACNA图 2-1 FCoE 组网FCoE Traffic and Ethernet TrafficEthernet Traffic FCoE TrafficFC TrafficFCoE Virtual LinkENodeENode 是指服务器上同时支持以太协议栈和 FC 协议栈的 CNA。如

17、 HYPERLINK l _bookmark6 图 2-2 所示， 传统 的服务器中，存在两块网卡：用于接入 LAN 的 NIC 和用于接入 SAN 的HBA。而 ENode 中的 CNA 替代了 NIC 和 HBA 的功能，在完成以太数据转发的同时也完成 FCoE 报文的上层处理和 FCoE 封装/解封装。图 2-2 传统服务器和 FCoE 服务器的区别HBANICFCDriverETHDriverOSSANFCFCFServerOSETHDriverFCDriverCNAEthernetTraditionalFCoESANFiber Channel SwitchLANSwitchFCEth

18、ernetServerFCFFCoE 数据转发器 FCF（FCoE Forwarder）是指同时支持 FCoE 协议栈和 FC 协议栈的 双协议栈交换机。FCF 能够转发 FCoE 报文，主要用于连接传统 SAN 网络和 LAN 网 络。FIP 协议FCoE 初始化协议 FIP(FCoE Initialization Protocol)主要用于 FCoE 网络中 FC 终 端发 现、Fabric 登录和 FCoE 虚链路建立的二层协议。通过 FIP 协议，ENode 可登录到 Fabric，实现和目标 FC 设备通信。FIP 协议同时也维护 FCoE 虚链路。FIP 协议的详细内容请参见 HY

19、PERLINK l _bookmark23 FIP 协议。NPVNPV（NPort Virtualization）交换机位于 Fabric 网络边缘，处于节点设备与 FCF 之间，将节点设备的流量转发到 FCF 交换机。FSBFSB（FIP Snooping Bridge）是指运行 FIP Snooping 功能的交换机，交换机本身不支持 FC 协议栈。交换机利用 FIP Snooping 功能侦听 FIP 协议，控制 FCoE 虚链路的建 立，预防恶意攻击。Fabric Fabric 指网络节点通过一台或多台交换机互联的网络拓扑结构。FCoE 虚链路（FCoE Virtual Link） F

20、CoE 虚链路是指连接 FCoE 链路终端设备（如 ENode 和 FCF）之间点到点的逻辑链路。因为 FCF 和 ENode 之间可能通过无丢包以太网连接起来，此时 FCF 和ENode 之间的点到点关系将被破坏，由此引入 FCoE 虚链路。端口角色图 2-3 端口角色VN_PortVF_PortVNP_PortVF_PortServerNPVFCF在传统 FC 网络中，FC 设备之间通过 FC 端口进行交互。其中 FC 端口分为N_Port 和 F_Port。 N_Port（Node Port）：是指 FC 主机（如服务器或存储设备）和 FC 交换机之间 的链路上 FC 主机侧的端口。F_

21、Port（Fabric Port）：是指 FC 主机和 FC 交换机之间的链路上 FC 交换机侧的 端口，主要是为 FC 主机提供 Fabric 接入服务。NP_Port(N_Port Proxy)：是指 NPV 交换机和 FCF 交换机之间的链路上 NPV交换 机侧的端口。FCoE 保留 FC 协议中的端口角色的概念，即在 ENode 和 FCF 之间的 FCoE 虚链路上， ENode 侧的端口为 VN_Port，FCF 侧的端口为 VF_Port。在 NPV 和 FCF 直连的链路 上，NPV 侧的端口为 VNP_Port，FCF 侧的端口为 VF_Port。 FCoE VLANFC-B

22、B-5 协议规定，FCoE 的报文需要在特定的 VLAN 中进行转发。在 FC 协议栈中，FC 设备支持多个 VSAN（类似以太网中的 VLAN），运行在不同的 VSAN 中的 FC 流量经过 FCoE 封装时需要用不同的 FCoE VLAN 来区分。这样做的好处是简化 了处理，FCoE 报文不携带 VSAN 的信息，仅携带 FCoE VLAN 的信息即可， 通过 FCoE VLAN 区分不同的 VSAN。虚链路仅存在于同一个 FCoE VLAN 中。FCoE VLAN 仅承载 FCoE 流量，而不承载任何以太网流量（如 IP 流量）。Zone创建 Zone，并在 Zone 内根据不同的目的添

23、加不同的 N_Port 成员，使不同 Zone 内 的 N_Port 成员之间相互隔离，以达到访问控制的目的。Zone set 是 Zone 的集合，Zone 是 Zone member 的集合。Zone member 是 Zone 的成员， 每个成员都是一个 N_Port，称为 N_Port 成员。WWN全球名字 WWN（World Wide Name），用来标识 Fabric 网络和 SAN 网络中的实体， 其中 WWNN（World Wide Node Name）用来标识节点设备，WWPN（World WidePort Name）用来标识设备端口。SAN 网络中每个实体的 WWN 在设备

24、出厂前就已分配好了。FC_ID FC_ID 又称为 FC 地址，在 SAN 网络中，FC 协议通过 FC 地址访问网络中各个实体。一个 FC 地址可以唯一标识一台节点设备上的一个 N_Port。Domain_ID Domain_ID 又称为域 ID，在 SAN 网络中，一个域 ID 可以唯一标识一台 FC 交换机，在报文传输时，FC 交换机之间的路由和转发使用的都是域 ID。FC-MAPFCoE 帧在转发过程中使用的是本地唯一 MAC 地址（即仅在本地以太子网内是唯一 的），本地唯一 MAC 地址由 FCF 分配给 ENode 或者 FCF 响应使用 ENode 自身指定的 本地唯一 MAC

25、地址。FCF 分配给 ENode 本地唯一 MAC 地址的方式称为 FPMA（Fabric Provided MAC Address）。FPMA 实际上是将 FC_ID 加上一个 24 比特FCoE MAC 地址前缀 FC-MAP（FCoE MAC Address Prefix）的过程。 FCoE 的封装FCoE 通过将 FC 帧封在普通以太帧中，从而实现 FC 流量在以太网中传输的功能。从FC 协议的角度看，FCoE 仅仅是将 FC 流量承载在另一种链路上传输；从以太网协议的角度 看，FCoE 仅仅是以太帧承载不同的上层协议。 FCoE 的协议栈如 HYPERLINK l _bookmark

26、21 图 2-4 所示，在传统的 FC 协议中，FC 协议栈共分为 5 层： FC-0 定义承载介质类型FC-1 定义帧编解码方式FC-2 定义分帧协议和流控机制FC-3 定义通用服务FC-4 定义上层协议到 FC 的映射FC-4FC-3FC-2FC-1FC-0FC-4FC-3FC-2FCoE MappingMACPhysical图 2-4 从 FC 到 FCoE 的映射关系 IEEE 802.3Ethernet如 HYPERLINK l _bookmark21 图 2-4 所示，在 FCoE 协议栈中，FC-0 和 FC-1 被映射成为 IEEE 802.3 Ethernet 协议的 Phy

27、sical 和 MAC，并添加了 FCoE Mapping 作为上层 FC 协议栈与底层 Ethernet 协议栈之间 的适配层。 报文封装FCoE 协议将一个完整的 FC 帧封装在以太帧中，封装形式如 HYPERLINK l _bookmark22 图 2-5 所示。 Ethernet HeaderFCSFCoEHeaderEOFFCHeaderCRCFiber Channel Payload图 2-5 FCoE 的报文封装其中： Ethernet Header 中指定了报文的源、目的 MAC 地址、以太帧类型和 FCoE VLAN。以太帧类型字段取值为 FCoE_TYPE(8906h)。F

28、CoE Header 指定了 FCoE 帧的版本号和控制信息。FC Header 和传统 FC 帧相同，即指定了 FC 帧的源、目的地址等信息。FIP 协议基本原理FCoE 初始化协议 FIP（FCoE Initialization Protocol）是 FCoE 的控制协议，用于成对FCoE设备（如 ENode 和 FCF）之间 FCoE 虚链路的建立和维护。虚链路建立阶段： FIP 发现 FCoE VLAN 和对端的 FCoE 虚接口。FIP 执行 FCoE 虚链路的初始化功能，如：FLOGI（Fabric Login）和 FDISC（Fabric Discovery）。当虚链路建立完成后

29、，FIP 协议还要履行 FCoE 虚链路的维护功能： 周期性检测 FCoE 虚链路两端的 FCoE 虚接口是否可达。FCoE 虚链路的拆除 FLOGO（Fabric Logout）。虚链路的建立ENode 和 FCF 之间的 FCoE 虚链路的建立过程如 HYPERLINK l _bookmark24 图 2-6 所示，其中用于建立虚链路的是 FIP 帧，当虚链路建立后传输的是 FCoE 帧。FIP 帧和 FCoE 帧的以太帧类型（Type 字段）和 封装形式不同，因为 FCoE 是在传统的 FC 帧的基础上进行封装，而 FIP 在传统 FC 协议中 没有对应的定义。FIP 协议中，所有的协议

30、报文均由 ENode 端发起， 而 FCF 也会主动发 出未被请求的 FIP 通告报文，将在 FIP FCF Discovery 说明。 图 2-6 FCoE 虚链路的建立过程VLANDiscoveryVLANDiscoveryFCFDiscoveryFCFDiscoveryFIP: FCoEInitialization ProtocolFLOGI and FDISCFLOGI and FDISCAcceptENodeFCF虚链路的建立主要分为三个阶段，分别是 FIP VLAN Discovery、FIP FCF Discovery 以及 FIP FLOGI 和 FDISC。其中 FIP FL

31、OGI 和 FIP FDISC 的处理流程与传统 FC 协议中的 FLOGI 和 FDISC 类似。 FIP VLAN DiscoveryFIP VLAN Discovery 阶段主要功能是寻找用于承载 FCoE 帧的 FCoE VLAN，使ENode 发现所有潜在的 FCoE VLAN，但是此时 ENode 并不能对 FCF 进行选择。FIP VLAN Discovery 的具体流程如下：ENode 首先发送 FIP VLAN Discovery 的请求报文 FIP VLAN Request。其中报文 的目的 MAC 地址是一个组播地址，这个地址又被称为 ALL-FCF-MAC（01-10-

32、18-01-00-02），所有的 FCF 都会侦听这个组播地址的报文。所有的 FCF 都能通过普通 VLAN 向 ENode 反馈一个或者多个 FCoE VLAN， 这些 FCoE VLAN 可被用于 ENode 的登录。FC-BB-5 协议规定，FIP VLAN Discovery 是可选的。FCoE VLAN 既可通过管理员手工配置，也可以通过 FIP VLAN Discovery 动态发现。 FIP FCF DiscoveryFIP FCF Discovery 主要用于 ENode 发现可以登录的 FCF。FIP FCF Discovery 的具体流程如下：FCF 周期性的在 FCoE

33、VLAN 中发送 Discovery Advertisement 报文。报文的目的 MAC 地址为组播地址 ALL-ENode-MAC（01-10-18-01-00-01），以便所有 ENode 都能侦听到。报文携带的信息包括 FCF 的 MAC 地址、虚链路参数（包 括 FIP 超时时间、FCF 优先级等）。ENode 从接收到的 Discovery Advertisement 报文中获取到可供登录的 FCF信 息，从中选择优先级最高的 FCF 后向其发送单播的 DiscoverySolicitation 报 文。FCF 接收到 Discovery Solicitation 报文后，回应单播

34、 Discovery Advertisement报 文，允许 ENode 登录。除了接收周期性的 Discovery Advertisement 报文，新入网的 ENode 通常不需要等待 所有的 FCF 发送 Discovery Advertisement 报文，协议规定 ENode 可向所有的FCF 发送 Discovery Solicitation 报文，报文的目的地址是 ALL-FCF-MAC，FCF 收到请求报文 之后响应一个单播 Discovery Advertisement 报文给 ENode。ENode 从接收到的 Discovery Advertisement 报文中选择优先

35、级较高的 FCF 与其建立虚链路。 FIP FLOGI 和 FDISC当 ENode 选择一个 FCF 登录后，就会通过 FIP FLOGI 或 FIP FDISC 报文与该 FCF 的 VF_Port 建立虚链路，以便通过该虚链路传送 FCoE 帧。 FIP FLOGI 报文 和 FIP FDISC 报文都是单播报文，分别替代 FC 协议中的 FLOGI 和 FDISC 报文， 均用来为 ENode 分配 MAC 地址，以便其登录到 Fabric。FIP FLOGI 和 FIP FDISC 的处理过程类似，两者唯一区别是：FIP FLOGI 指ENode 首 次登录 Fabric 时建立虚链

36、路的过程；而 FIP FDISC 指，当 ENode 上存在多个 VM 时， 为每个 VM 建立虚链路的过程。下面以 FIP FLOGI 为例来进行介绍。FIP FLOGI 的具体流程如下：ENode 向 FCF 发送请求报文 FIP FLOGI Request。FCF 响应 ENode 请求，并为 ENode 分配本地唯一 MAC 地址 FPMA（Fabric Provided MAC Address）或者 FCF 响应使用 ENode 自身指定本地唯一 MAC 地址 SPMA（Server Provided MAC Address）。FCoE 中的 MAC 地址 FCoE 帧和 FIP 帧

37、在转发过程中所使用的 MAC 地址是不同的，FIP 帧在进行封装时用的是 CNA 在生产过程中指定的全球唯一 MAC 地址（又称 ENode MAC 地址），而 FCoE 帧则 使用的是本地唯一 MAC 地址（即仅在本地以太子网内是唯一的），本地唯一MAC 地址 由 FCF 分配给 ENode 或者 FCF 响应使用 ENode 自身指定的本地唯一 MAC地址，分配过程 参见 FIP FLOGI 和 FDISC。 本地唯一 MAC 地址的分配方式为 FPMA（Fabric Provided MAC Address）。 如 HYPERLINK l _bookmark25 图 2-7 所示，FPM

38、A 实际上是将 FC_ID 加上一个 24 比特 FCoE MAC 地址前缀 FC- MAP（FCoE MAC Address Prefix）的过程。在协议 FC-BB-5 中为减轻 FCoE 的调度负担定义 了 256 个 FC-MAP。在大多数情况下，使用缺省的 FC-MAP（0E-FC-00）即可满足用户 需求。但当不同的 Fabric 或不同 VSAN 映射到同一个以太网 VLAN 中时，FC_ID 可能会 重叠，此时可采用不同的 FC-MAP 来解决上述问题。 说明建议用户将一个 FC Fabric 映射到同一个以太网 VLAN 中。如果必须将多个 FC Fabric 运行在同一个

39、以太网中，用户必须将其映射到不同的 VLAN 中。 图 2-7 FPMA 的地址结构24Bits24BitsFC-ID 7.1.1FC-ID 7.1.1FC-MAPs(0E-FC-00 to 0E-FC-FF)FC-MAPs(0E-FC-00 to 0E-FC-FF)MACAddress虚链路的维护FCF虚链路的监控 在传统 FC 网络中，如果物理链路发生故障，则 FC 协议可以马上感知到。但是在 FCoE 协 议中，由于采用了以太封装，FC 协议无法感知链路层的故障，为此 FIP 提供了一种简单 的 Keepalive 机制。 虚链路的监控机制如下： ENode 周期的向 FCF 发送 EN

40、ode FIP Keepalive 通告报文。如果 FCF 在 2.5 倍周期时间 内没有收到已登录的 ENode 发送的 ENode FIP Keepalive 通告报文，则 FCF 认为该虚 链路发生故障并断开该虚链路。FCF 周期的以 ALL-ENode-MAC 为目的地址向所有的 ENode 发送组播 DiscoveryAdvertisement 报文。如果 ENode 在 2.5 倍周期时间内没有收到 FCF 发送的组播Discovery Advertisement 报文，则 ENode 认为该虚链路发生故障并断开该虚链路。虚链路的拆除 如果 FCF 没有收到 ENode 发送的 E

41、Node FIP Keepalive 通告报文，则向相应的 ENode 发送 FIP Clear Virtual Link 报文用于链路拆除。如果当 ENode 退出登录时，ENode 也可通过向 FCF 发送 Fabric Logout 请求来删除虚链路。 FCF 交换机同时支持 FCoE 协议栈和 FC 协议栈，使用以太帧封装 FC 报文的方式，实现了 用 FCoE 虚链路替代物理的 FC 链路，主要用于连接传统 SAN 网络和 LAN 网络。 LANSANSwitchFCFVF_PortVN_Port图 2-8 FCF 组网ServerNPV如 HYPERLINK l _bookmark

42、27 图 2-8 所示，FCoE 虚链路连接 ENode 的 VN 接口到 FCF 交换机的 VF 接口。每台FCF 交换 机都会被分配一个域 ID，而每个 SAN 网络最多支持 239 个域 ID，因此也就限制了一个 SAN 网络中最多只能有 239 台交换机。 在 SAN 网络中，对于直接连接节点设备的边缘交换机的需求量很大，NPV 交换机可以 使边缘交换机突破一个 SAN 网络中 239 台最大交换机数目的限制。 说明CE12800 不支持 NPV 功能。 SANFCFVF_PortVNP_PortNPVVF_PortVN_PortVN_PortServerServer图 2-9 NPV

43、 组网FSB如 HYPERLINK l _bookmark29 图 2-9 所示，NPV 交换机位于 Fabric 网络边缘，在节点设备与 FCF 交换机之间。NPV 交 换机通过 VF 接口和节点设备的 VN 接口相连，通过 VNP 接口和 FCF 交换机的 VF 接口相 连。最终，节点设备通过 NPV 交换机接入到 Fabric 网络中，NPV 交换机将所有节点设备 的流量转发到核心交换机。 对于节点设备来说，NPV 交换机相当于一台 FCF 交换机，接口呈现为 VF 模式；对于 FCF 交换机来说，NPV 交换机相当于一台节点设备，接口呈现为 VN 模式。 ENode 和 FCF 之间的

44、连接模式分为两种：直连模式和远端连接模式。FIP Snooping 主要用来解决远端连接模式中引入的安全性问题。 直连模式如 HYPERLINK l _bookmark31 图 2-10 所示，当 ENode 直连 FCF 时，虚链路和虚链路映射的物理链路均为点到点。在 这种场景下，虽然在物理链路上转发的报文都会经过 FCoE 封装，但物理链路的两端都 支持 FC 协议栈，FCoE 帧的转发和传统 FC 帧转发流程基本一致。 图 2-10 直连模式FCFFCFCNACNACNACNAENodeFCoE Traffic and Ethernet Traffic在直连模式下，FCoE 帧的处理过程

45、除数据链路层的数据封装外均遵循 FC 协议。由此可知，在直连模式下 FCoE 的安全性不会比传统 FC 协议增加任何风险。 直连模式的优势在于：当采用 FCoE 技术后，SAN 管理员依旧可以采用原先的软件管理网络。 远端连接模式虽然直连模式是最佳的组网模式，但是 FCF 价格相对昂贵，在数据中心中服务器的数量 庞大的前提下，所有的服务器和 FCF 直连是不现实的。如 HYPERLINK l _bookmark32 图 2-11 所示，一种典型组网模 型是在 FCF 和 ENode 之间增加接入交换机，即远端连接模式。此时，接入交换机作为 FCoE 交换机，不具备完全的 FCF 功能，如交换机

46、作为 FSB（FIP SnoopingBridge）。在 远端连接模式下，ENode 和 FCF 之间可能经过一台或多台 FCoE 交换机。 FCFFCoEFCFFCoESwitchSwitchCNACNACNACNACNACNACNACNA图 2-11 远端连接模式ENodeFCoE Traffic and Ethernet TrafficFIP SnoopingZone在 FC 网络中，FC 交换机是被当成可信任的设备，其他 FC 设备（如 ENode）必须先由 FCF 交换机分配指定地址，并登录到 FC 交换机后才能接入 FC 网络。同时，FC 链路是点 到点的，FC 交换机能够完全控制

47、 FC 设备接收/发送的流量，因此 FC 交换机能确保 FC 设 备使用指定地址进行报文交互并保护设备不受恶意攻击。 而在 FCoE 下，特别是远端连接模式下，ENode 和 FCF 之间增加了 FCoE 交换机，因为 FCoE 交换机不支持 FC 协议，FCoE 帧在 FCoE 交换机上的转发基于以太网协议， 转发的 目的地址不一定是 FCF，ENode 和 FCF 之间点到点的关系被破坏了。 为了达到和 FC 一样的强壮性，就需要在 FCoE 交换机上强制所有来自 ENode 的 FCoE 流量 发往 FCF。FIP Snooping 功能就是让交换机通过侦听的 FIP 协议报文获取相应的

48、虚链路信 息，控制 FCoE 虚链路的建立，预防恶意攻击。 当 FCoE 交换机运行 FIP Snooping 功能时被称为 FSB（FIP Snooping Bridge）。 在 FCoE 网络中，用户可以通过 Zone 来控制节点设备之间的访问，从而提升网络安全性。 Zone一个 Zone 包含多个 Zone 成员，节点设备可同时加入不同的 Zone。同一个 Zone 的成员节 点设备可以互相访问，不同 Zone 的成员节点设备无法互相访问。 Zone 成员可以用以下方式定义： Zone alias：Zone 别名。Zone alias 加入 Zone 后，Zone alias 中的成员也

49、被加入该 Zone 。FC_ID：FC 地址，在 FC 网络中，各节点设备通过 FC 地址来相互访问。FCoE 接口：FCoE 网络中，节点设备之间通过 FCoE 接口进行交互。WWNN：全球节点名称。WWNN 是一个 64 位的地址，用来在 FC 网络中标识节点 设备。WWPN：全球端口名称。WWPN 是一个 64 位的地址，用来在 FC 网络中标识节点设 备上的端口。图 2-12 Zone 组网示意图ArrayAArrayBZone2Zone1SwitchServerAServerBServerC如 HYPERLINK l _bookmark34 图 2-12 所示，通过将节点设备加入不同

50、 Zone，用户可以控制节点设备之间的访问。 例如，ArrayB 只能和 ServerB 和 ServerC 互访而不能和 ServerA 互访。 Zone set一个 Zone set 包含多个 Zone，Zone 可同时加入不同的 Zone set。Zone set 被激活后，其成 员 Zone 才能生效，且同一时间一个实例中只能有一个 Zone set 被激活。 Zone aliasZone alias 应用于 Zone 的配置过程中可以起到简化配置的目的。当多个 Zone 需要加入多 个 Zone 成员节点时，可以先将 Zone 成员节点加入 Zone alias，然后将 Zone a

51、lias 作为成员 加入 Zone，避免将每个 Zone 成员节点加入 Zone。 图 2-13 Zone alias 示意图MemberA MemberB MemberC MemberDMemberC MemberD MemberE MemberF MemberGZone aliasAZoneAZoneB如 HYPERLINK l _bookmark35 图 2-13 所示，如果 MemberC 和 MemberD 都需要加入 ZoneA 和 ZoneB，为了简化配置， 可以先将 MemberC 和 MemberD 加入 Zone aliasA，然后将 Zone aliasA 加入ZoneA

52、 和 ZoneB 即可。 CloudEngine 12800 系列交换机FCoE 和 DCB 技术白皮书 3 应用场景应用场景关于本章介绍 FCoE 的应用场景。 HYPERLINK l _bookmark37 FCF 场景 HYPERLINK l _bookmark39 FCF+NPV 组网 HYPERLINK l _bookmark41 FCF+FSB 组网 FCF 场景在数据中心融合网络场景中，采用 FCoE 技术实现网络融合，如 HYPERLINK l _bookmark38 图 3-1 所示，FCFA 作为 接入交换机，需要转发 LAN 流量、SAN 流量和 IPC（Inter-Pr

53、ocess Communication） 流 量。组网中，为保证 ServerA 到 Array 之间的链路可靠性部署了两条独立的链路ServerA-FCFA-Array 和 ServerA-FCFB-Array。 图 3-1 FCF 的典型组网CoreAccessLANFCFAArrayFCFBServerAServerBIPC LAN SANFCoE PortFCF+NPV 组网在数据中心融合网络场景中，采用 FCoE 技术实现网络融合，同时为降低用户投资成本，通常在服务器和 FCF 的之间部署接入交换机。而当对于直接连接节点设备的边缘交 换机的需求量很大，为了使边缘交换机可以突破一个 S

54、AN 网络中 239 台最大交换机数目 的限制，接入层可以采用 NPV 作为边缘设备。如 HYPERLINK l _bookmark40 图 3-2 所示，NPVA 作为接入交换机， 需要转发 LAN 流量、SAN 流量和 IPC（Inter-Process Communication）流量。FCFA 作为 汇聚交换机，需要转发 SAN 流量。组网中，为保证 ServerA 到 Array 之间的链路可靠性部 署了两条独立的链路 ServerA-NPVA-FCFA-Array 和 ServerA-NPVB- FCFB-Array。当前， CE 系列交换机只支持单跳 FCF。 图 3-2 FCF

55、+NPV 的典型组网ArrayCoreLANFCFAFCFBAccessNPVANPVBServerAServerBIPC LAN SANFCoE PortFCF+FSB 组网在数据中心融合网络场景中，采用 FCoE 技术实现网络融合，同时为降低用户投资成本，通常在服务器和 FCF 的之间部署接入交换机。如 HYPERLINK l _bookmark42 图 3-3 所示，FSBA 作为接入交换机，需要转发 LAN 流量、SAN 流量和 IPC（Inter-Process Communication）流量，FCFA 作为核心交换机，需要转发 SAN 流量。为了保证 SAN 流量的正确转发，在

56、FSBA 上配置 FIP Snooping。组网中，为保证 ServerA 到 Array 之间的链路可靠性部署了两条独立的链 路 ServerA-FSBA-FCFA-Array 和 ServerA-FSBB-FCFB-Array。当前，CE 系列交换机只支 持单跳 FCF。 FCF+FSB 场景推荐使用双平面组网。在单平面组网中，设备 FCoE 功能对接某些网卡会 存在链路恢复时间长的问题。 图 3-3 FCF+FSB 的典型组网ArrayCoreLANFCFAFCFBAccessFSBAFSBBServerAServerBIPC LAN SANFCoE PortCloudEngine 12

57、800 系列交换机FCoE 和 DCB 技术白皮书 4 配置任务概览配置任务概览设备支持两种 FCoE 模式：FCF 模式和 FSB 模式。用户可以根据不同的需要，配置相应的 FCoE 模式。 FCoE 的配置任务如 HYPERLINK l _bookmark44 表 4-1 所示。 表 4-1 FCoE 配置任务概览场景描述对应任务配置 FCFFCF 交换机同时支持FCoE 协议栈和 FC 协议栈，利用 以太帧封装 FC 报文的方 式，实现了用FCoE 虚链路 替代物理的FC 链路，主要 用于连接传统 SAN 网络和 LAN 网 HYPERLINK l _bookmark49 配置 FCF配

58、置 FSBENode 和 FCF 之间的连接模 式分为两种：直连模式和 远端连接模式。FSB 主要 用来解决远端连接模式中 引入的安全性问题。 HYPERLINK l _bookmark55 配置 FSBCloudEngine 12800 系列交换机FCoE 和 DCB 技术白皮书 5 配置注意事项配置注意事项介绍部署 FCoE 的注意事项。 涉及网元License 支持一个 FCoE 网络可能涉及以下网元： 服务器：需要从存储设备获取大容量存储环境。FCoE 交换机：承载 FCoE 网络中的流量转发。FC 交换机：承载 SAN 网络中的流量转发。存储设备：为服务器提供外部存储环境，提供大容量

59、的存储。设备的 FCF 功能使用 License 控制，缺省情况下，新购买的设备的 FCF 功能未打开。 如果需要使用设备的 FCF 功能，请联系设备经销商申请并购买 License。FCF 提供了 2 种规格的 License，CE-LIC-FCF-ALL 可在所有端口上配置 FCF 功能， 而 CE-LIC-FCF-PORT 可在相同或不同单板上共计 48 个端口上配置 FCF 功能，可在 设备上加载多个 CE-LIC-FCF-PORT，以满足用户扩容的需要。FSB 是交换机的基本特性，无需获得 License 许可即可应用此功能。用户可以在多台设备上分别加载 License 后再组建堆叠

60、，这样堆叠之后激活的特性 是多台设备激活特性的合集。建议先配置堆叠再根据实际需求申请所需端口数量的 License，如果先加载 CE- LIC- FCF-PORT 再配置堆叠，则可配置 FCF 功能的端口数目为堆叠系统中单台设备上可 配置 FCF 功能端口数目的最大值。如果仅有一台设备加载 License，另外一台设备未加载 License，则该 License 也对整 个堆叠系统生效。如果堆叠分裂，单台设备自身的 License 生效，设备已激活但是 自身 License 未打开的业务可继续运行。例如 Switch1 的 License 支持特性 A，Switch2 的 License 支持