思科新一代数据中心级交换机中文配置向导nexus7000

Nexus Configuration Simple Guide目录Nexu7000 缺省端口配置 .2CMP 连接管理处理器配置 3带外管理 VRF.4划分 Nexus 7010 VDC.5基于 EthernetChannel 的 vPC 7割裂的 vPC：HSRP 和 STP .12vPC 的细部配置 .12Nexus 的 SPAN .14VDC 的 MGMT 接口 .14DOWN 的 VLAN 端口 .14Nexus 的路由 .15Nexus 上的 NLB16标识一个部件 16Nexus7000 基本配置汇总 .17Cisco NX-OS/IOS Configuration Fundamentals Comparison .17Cisco NX-OS/IOS Interface Comparison25Cisco NX-OS/IOS Port-Channel Comparison31Cisco NX-OS/IOS HSRP Comparison35Cisco NX-OS/IOS STP Comparison .40Cisco NX-OS/IOS SPAN Comparison 45Cisco NX-OS/IOS OSPF Comparison 49Cisco NX-OS/IOS Layer-3 Virtualization Comparison55vPC Role and Priority 61vPC Domain ID 62vPC Peer Link 62Configuration for single 10 GigE Card .63CFSoE 64vPC Peer Keepalive or FT Link .64vPC Ports.65Orphan Ports with non-vPC VLANs .66HSRP66HSRP Configuration and Best Practices for vPC 66Advertising the Subnet .67L3 Link Between vPC Peers .68Cisco NX-OS/IOS TACACS+, RADIUS, and AAA Comparison68Nexus5000 的配置同步 .74初始化 Nexus 2000 Fabric Module 75Nexu7000 缺省端口配置缺省时所有端口是关闭的no system default switchport shutdowncopy running-config startup-config vdc-all 存配置dir bootflash:dir bootflash:/sup-standby/dir bootflash:/sup-remoteshow roleshow inventory 显示系统详细目录，或称为存货清单，可以看到各组件产品编号以及序列号show hardware 显示系统硬件详细信息show sprom backplane 1 显示交换机序列号show environment power 显示电源信息power redundancy-mode ps-redundant 如果没有双电网供电则使用此模式power redundancy-mode insrc-redundant 如果有双电网供电则使用此模式show module 检验各模块状态attach module slot_number dir bootflash dir slot0:查看 ACTIVE 引擎的 FLASH 空间如果查看备份引擎的 FLASH 空间呢？首先 attach module command to attach to the module number, and then use the dir bootflash: or dir slot0:out-of-service module slot Shutting Down a Supervisor or I/O Module out-of-service xbar slot Shutting Down a Fabric Module show environment show environment temperatureshow environment fanbanner motd #Welcome to the switch# clock timezoneclock setreload 重启交换机reload module numberswitchto VDC 切换至某 VDC 管理界面switchbackpoweroff module slot_numberno poweroff module slot_numberpoweroff xbar slot_numberCMP 连接管理处理器配置CMP 配置：You should also configure three IP addressesone for each cmp-mgmt interface and one that is shared between the active and standby supervisor mgmt 0 interfaces.attach cmp 进入 CMP命令输入后自动存盘，不需要 copy run start通过 NX-OS CLI 来配置 CMP1. configure terminal 2. interface cmp-mgmt module slot 通过 module 槽号分别为 5/6 来实现主备引擎上的 CMP 配置3. ip address ipv4-address/length 4. ip default-gateway ipv4-address 5. show running-config cmp 通过 CMP CLI 来配置 CMP1. attach cmp 2. configure terminal 3. ip default-gateway ipv4-address 4. interface cmp-mgmt 5. ip address ipv4-address/length 6. show running-config 在 CMP 上可执行的动作：show cp statereload cpattach cp monitor cpping or traceroute 5reload system To reload the complete system, including the CMPs带外管理 VRFManagement VRF and Basic ConnectivityThe management interface is, by default, part of the management VRF. The managementinterface “mgmt0” is the only interface allowed to be part of this VRF.The philosophy beyond Management VRF is to provide total isolation for the management trafficfrom the rest of the traffic flowing through the box by confining the former to its own forwardingtable.In this step we will:- Verify that only the mgmt0 interface is part of the management VRF- Verify that no other interface can be part of the management VRF- Verify that the default gateway is reachable only using the management VRF如果想 Ping 带外网管的网关等地址必须在 Ping 命令后面加上 vrf managementping vrf management划分 Nexus 7010 VDCVDC 是 Nexus7000 系列的特色功能。通过将物理机箱划分为多个逻辑交换机，核心交换机区域将可以获得多台物理隔离的高性能交换机。VDC 具有完全隔离的路由表，VRF 和接口，因此可以获得真实交换机属性的配置。VDC 的资源是占用全局机箱的，因此在必要的时候，需要通过调整 VDC 资源配置来进行 VDC 功能和性能的调整。所有进入 VDC 的接口和资源都不能被其他 VDC 或者缺省 VDC使用。VDC 配置/en/US/docs/switches/datacenter/sw/5_x/nx-os/virtual_device_context/quick/guide/Cisco_Nexus_7000_Series_NX-OS_Virtual_Device_Context_Quick_Start_Release_5.x_chapter1.htmlvdc MyVDC 创建 VDCallocate interface ethernet 2/11-1 分配接口switchto vdc MyVDC Switch to the new VDC and enter the VDC admin user account password 切换至一个 VDCswitchbacksetup 根据安装向导配置 VDCshow vdc membership show vdc current-vdcWhen interfaces in different VDCs share the same port ASIC, reloading the VDC (with the reload vdc command) or provisioning interfaces to the VDC (with the allocate interface command) might cause short traffic disruptions (of 1 to 2 seconds) for these interfaces. If such behavior is undesirable, make sure to allocate all interfaces on the same port ASIC to the same VDC.To see how the interfaces are mapping to the port ASIC, use this command:slot slot_number show hardware internal dev-port-map 这个命令没有帮助，需盲打copy running-config startup-config vdc-allVDC 资源清单：vdc vdc2_1 id 2allocate interface Ethernet1/13-24allocate interface Ethernet2/1-3boot-order 1limit-resource vlan minimum 16 maximum 4094limit-resource monitor-session minimum 0 maximum 2limit-resource monitor-session-erspan-dst minimum 0 maximum 23limit-resource vrf minimum 2 maximum 1000limit-resource port-channel minimum 0 maximum 768limit-resource u4route-mem minimum 8 maximum 8limit-resource u6route-mem minimum 4 maximum 4limit-resource m4route-mem minimum 8 maximum 8limit-resource m6route-mem minimum 2 maximum 2通过命令可以查看当前 VDC 的数量和状态。系统机箱本身默认为 VDC1，最多可以建立 3 个另外的 VDC。登录到系统默认的 VDC1 下，可以通过 switchto vdc 命令在不同的 VDC之间跳转，并可以通过重启 VDC1 来重启其他所有的 VDC。switch# switchto vdc vdc2_1Last login: Thu Nov 25 16:40:19 UTC 2010 on ttyS0Last login: Thu Nov 25 17:06:47 on ttyS0Cisco Nexus Operating System (NX-OS) SoftwareTAC support: /tacCopyright (c) 2002-2010, Cisco Systems, Inc. All rights reserved.The copyrights to certain works contained in this software areowned by other third parties and used and distributed underlicense. Certain components of this software are licensed underthe GNU General Public License (GPL) version 2.0 or the GNULesser General Public License (LGPL) Version 2.1. A copy of eachsuch license is available at/licenses/gpl-2.0.php and/licenses/lgpl-2.1.phpswitch-vdc2_1# 位于其他 VDC 当中，无法通过 switchto vdc 的方式进行 VDC 的跳转。系统保存配置和reload 都有针对单独 VDC 的配置。不同 VDC 的名称，除了在 vpc 命令中直接指定，还可以进入到 VDC 配置界面后，直接用 hostname 命令进行更改。基于 EthernetChannel 的 vPCvPC 是 Cisco NX-OS 由于解决 STP Block 端口而使用的技术。通过将两台设备虚拟成一台设备，使得系统可以使用两套冗余链路转发数据。vPC 完全基于 EthernetChannel 技术，所有成员组都必须在 EthernetChannel 当中，除了 peer-link keepalive。vPC 仅仅能作用在二层 Trunk 结构下，完全不兼容任何 L3 环境。vPC使用连接设备的 peer-link 必须使用 10G 以太网接口，而 peer-link keepalive 必须是路由接口。配置手册推荐使用单独的 VRF 来隔离，以便于减小地址管理压力。首先，配置 L3 端口，保证双方可以 ping 通：vrf context vpcinterface Ethernet1/25vrf member vpcip address /24no shutdownvPC 结构当中，应当尽可能保证所有 peer-link 链路的可靠性，不可靠的 keepalive 链路将会导致一些 vPC Domain 重新收敛。具体情况请见后面描述。其次，进行完 L3 配置后，配置 vPC Domain。一台设备属于且只能属于一个 vPC Domain，一个 vPC Domain 有且只能拥有两个成员。Domain 的配置当中，需要指定 vPC 对端设备的 IP 地址，如果这个设备的地址不在 default VRF 当中的时候，需要指定源地址：vpc domain 1000peer-keepalive destination source vrf vpc完成这一步配置，将可以保证 vPC 组可以通过 peer-link keepalive 来检测和通告对端状态。再次，配置 peer-link。Peer-link 是 vPC 转发机箱间流量的链路，因此链路只能使用10G 以太网，配置手册推荐使用至少 2 条 10G 以太网电缆进行捆绑：interface Ethernet2/5switchportswitchport mode trunkchannel-group 56no shutdowninterface Ethernet2/6switchportswitchport mode trunkchannel-group 56no shutdowninterface port-channel56switchportswitchport mode trunkspanning-tree port type network /自动生成的配置vpc peer-link最后，将一段设备连接到两侧设备链路推入各自的 EthernetChannel 的组，并且将参加配置的 EthernetChannel 加入 vPC 组，保证对应的 EthernetChannel 在相同的转发 vPC 当中，便完成该配置：interface Ethernet1/17fex associate 100 /这条命令是 nexus5000 上的配置，N7K 不需要switchport mode fex-fabric /这条命令是 nexus5000 上的配置， N7K 不需要channel-group 17interface Ethernet1/18fex associate 101switchport mode fex-fabricchannel-group 18interface port-channel17switchport mode fex-fabricvpc 17fex associate 100interface port-channel18switchport mode fex-fabricvpc 18fex associate 101CAUTION在配置当中，vpc 的数字和 port-channel 的数字必须相同，并且这两个数字必须和Domain 的数字不同。否则，将会导致 vpc 无法启动的问题。vPC 配置的两端都必须是相容的 Trunk 配置，例如 LACP 或者 no protocol。LACP System priority 的一致，有利于 vPC 状态下 LARP 的收敛，手册推荐配置为 vPC 成员设备拥有相同的值。配置需要再全局和 vPC 配置模式下使用。如果在配置中发现如下现象，则应当首先检查 vPC 中，成员 EthernetChannel 配置是否正常：RTS35_7010_VDC1_1-RTS35_7010_VDC3_1# show port-chann summFlags: D - Down P - Up in port-channel (members)I - Individual H - Hot-standby (LACP only)s - Suspended r - Module-removedS - Switched R - RoutedU - Up (port-channel)M - Not in use. Min-links not met-Group Port- Type Protocol Member PortsChannel-7 Po7(SU) Eth LACP Eth2/7(P) Eth2/8(P) 200 Po200(SU) Eth LACP Eth2/5(P) Eth2/6(s) RTS35_7010_VDC1_1-RTS35_7010_VDC3_1#注记：对于不同的设备和不同的拓扑形态，vPC 的具体配置也会有所不同。1 对于简单的 downstream 设备如图所示：对于简单的 downstream 设备，两台 Nexus 设备使用标准的 vPC 配置方法。两台设备之间配置 peer-link 和 peer-link keepalive 链路，在完成 vPC 配置之后，将于downstream 连接的接口划入一个 EthernetChannel，即便是该 EthernetChannel 也无妨，然偶将这个 EthernetChannel 接口划入到对应的 vpc 中，完成虚拟转发。2对于 Nexus 推荐的域环境如图所示：在 Nexus5k 和 Nexus7k 当中，使用 fullmesh 的结构来连接。通过 vPC 技术，中间这四条链路可以保持全活的状态，结合 vPC 形成的虚拟拓扑，实际上相当于单台Nexus5k 和 Nexus7k 之间连接了一条 40G 的链路， 从而极大的提高了转发能力。在这种配置实例当中，Nexus5k 和 Nexus7k 需要单独配置自己的 vPC Domain，在各自的 vPC Domain 正常建立后，将交叉的线路绑定成 EthernetChannel，绑定协议不限于 LACP 或者 no protocol。下面的配置仅列出了左侧 5k 和 7k 的相关配置。5k configuration /E1/5-6 作为与 7K 互联的端口interface Ethernet1/15switchport mode trunkchannel-group 56interface Ethernet1/16switchport mode trunkchannel-group 56interface port-channel56switchport mode trunkvpc 56speed 100007k configuration /E2/4、8 作为与 7K 互联的端口interface Ethernet2/4switchportswitchport mode trunkchannel-group 48no shutdowninterface Ethernet2/8switchportswitchport mode trunkchannel-group 48no shutdowninterface port-channel48switchportswitchport mode trunkvpc 48通过将同一台设备的两条链路捆绑成 EthernetChannel，并将其放入相同的 vPC 转发组，来完成双向的配置。CAUTION配置当中，并需保持 vPC 两侧配置的同步，即，两侧的 VLAN，接口，VDC 配置应当一致，若配置不一致，则会导致 vPC 工作不正常。所有的 EthernetChannel 必须工作在 Trunk 模式下，需要用 Switchport mode trunk方式和做显式的指派，否则会导致 vPC 工作不正常。割裂的 vPC：HSRP 和 STPvPC 处于割裂状态时，vPC Domain 成员的状态取决于当前的系统角色（system role） 。当 vPC Peer-link Keepalive 链路中断时，所有的数据转发都不会受到影响；当 vPC Peer-link链路中断时，处于 Secondary 角色的设备，所有处于 vPC 成员组的 EthernetChannel 都会被置为 Down 状态，使得该设备从 vPC 管理域中离线，从而停止数据转发，直到链路被修复。当 vPC Domain 成员都处在正常工作状态时，对于 vPC Peer-link 和 vPC Peer-link Keepalive 的中断都不会终止系统的数据转发，只是 vPC 收敛可能会导致丢失 12 个数据包。但是处于下列情况，会导致 vPC Domain 出现数据转发问题：保证 vPC Domain 正常工作，将两台设备中间的链路全部中断，然后在两侧都配置 reload restore 命令情况下， 重启两侧 vPC Domain 成员，在经过 240s 后，两侧设备都会处于双活状态，从而导致数据转发环路。从得到的消息看，应该是 STP 导致的二层环路所致。使用vPC 配置命令：peer-switch 也许可以解决这个问题。该问题必须经由严格的操作时序才可重现。vPC 上的 HSRP 进行了特殊的修正，HSRP 的 Active 负责相应 ARP 请求，但是 standby 角色也可以转发带有目的地为 HSRP 组虚拟 MAC 地址的数据包，这样就实现了 HSRP 的 Load-Balance。和 HSRP 一样， GLBP 也是 vPC 所支持的热备份网关协议，但是 GLBP 通过 AVG 相应不同的ARP 请求，并回应给不同 AVF 的 MAC 地址的方式来进行负载均衡。但是 HSRP 在 vPC 环境中，收敛速度比 GLBP 更快。在 vPC 当中，所有 HSRP、GLPB 或者 VRRP 的，处于 Active 角色设备，都必须配置在 vPC的 Primary 设备上；同样的，STP 配置中，关于 VLAN 的根桥，也必须和 Primary 设备保持一致。HSRP 在两侧应当拥有相同的 HSRP 组号，并且同一组号在单一 VDC 上不能重复。基于 vPC的 HSRP 不能使用 USE-BIA 参数。vPC 的细部配置role priorityvPC 在没有 role priority 配置的情况下，由桥 MAC 来决定谁是 primary 设备，MAC 绝对值较小的会当选，如果配置了 role priority 的，则该项配置值相对较小的会当选。但是要 shut peer-link 一次，才能完成更改。System-priority这是 vPC 当中对于 LACP 的配置。如果该值不配置，则不影响，但是如果配置了，则 vPC Domain 中设备的 system-priority 值必须相同，如果不匹配，vPC 启动可能会遇到麻烦。Reload restore该命令用于帮助 Nexus 启动后，找不到 vPC 对端时仍能激活 vPC 的功能。缺省情况，如果 vPC 成员设备启动后无法找到对端，会导致所有 vPC 功能端口出于 down状态，不能转发数据。配置了这个命令后，该单独启动的设备会在最少 240s 后，将 vPC 成员端口转变为 up 状态，并且开始转发数据。CAUTION在 vPC 成员设备间所有电缆，包括 peer-link 和 peer-link keepalive 电缆中断的情况下，并且两侧 vPC 全部配置 reload restore，将会在两端设备重新启动完成后，存在 vPC 双活，Nexus将会与上层转发设备之间形成数据环路。该情况仅出现在 Nexus 推荐的域环境中，并且要严格遵循步骤，才能出现。Peer-switchPeer-switch 命令用于将 vPC Domain 成员设备虚拟成一个 STP 的根，从而实现生成树结构的优化，减少 Primary 设备失败后的 STP 重算时间。vPC 配置成功后的清单：Nexus5010down# show vpc Legend:(*) - local vPC is down, forwarding via vPC peer-linkvPC domain id : 500 Peer status : peer adjacency formed ok vPC keep-alive status : peer is alive Configuration consistency status: success Type-2 consistency status : success vPC role : secondary Number of vPCs configured : 99 Peer Gateway : DisabledDual-active excluded VLANs : -vPC Peer-link status-id Port Status Active vlans - - - -1 Po56 up 1,100-105 vPC status-id Port Status Consistency Reason Active vlans- - - - - -17 Po17 up success success - 18 Po18 up success success - 200 Po200 up success success 1,100-105 101376 Eth100/1/1 down* failed Consistency Check Not - Performed 101377 Eth100/1/2 down* failed Consistency Check Not - Performed Nexus 的 SPANNexus 支持 SPAN，ESPAN 和 ERSPAN。SPAN 方式被称为本地 SPAN，用于本地交换机接口作为源和目的；ESPAN 用于将 SPAN 流量的目的设定为某个 VLAN，并通过 Trunk 实现远程的 SPAN；ERSPAN 用于将 SPAN 流量封装在 GRE 中，通过路由方式进行远端的 SPAN。Nexus7000 最大可以存在 48 个 Session，但是只能有两个在工作； Fex 端口只能做 SPAN 的源，不能做 span 的目的；EthernetChannel 成员不能当 span 的源，nexus5K 上连接 fex 接口不能当 span 的源；Nexus5K 仅支持 SPAN，而 Nexus7K 则支持所有的 SPAN 类型。VDC 的 MGMT 接口MGMT 接口在所有 VDC 当中共享。在非 VDC1 中，show interface status 不显示，但是使用命令 interface mgmt 0 仍然可以将地址进行配置。所有 VDC 的 MGMT 接口地址应当在同一个子网内。DOWN 的 VLAN 端口在基于 vPC 的配置中，如果 vPC Domain 成员交换机关于 VLAN 配置不一致，就会导致VLAN 接口总是处于 DOWN 的状态，而无法被激活。Nexus7K 中，VLAN 的配置和 Interface VLAN 的配置是相分离的，仅有 Interface VLAN 而没有VLAN，是会导致 VLAN 接口在两侧的配置不同，从而导致 L3VLAN 接口处于 DOWN 的状态。缺省情况下，L3VLAN 接口被 shutdown，需要使用 no 命令激活。可以尝试使用 VTP 来避免配置上的错误。RTS36_7010_VDC1_2-RTS36_7010_VDC3_2(config)# show inter status -Port Name Status Vlan Duplex Speed Type-mgmt0 - connected routed full 1000 - Eth1/25 - disabled trunk full auto 10/100/1000Eth1/26 - disabled trunk full auto 10/100/1000Eth1/27 - disabled trunk full auto 10/100/1000Eth1/28 - disabled trunk full auto 10/100/1000Eth1/29 - disabled trunk full auto 10/100/1000Eth1/30 - disabled routed full auto 10/100/1000Eth1/31 - disabled routed full auto 10/100/1000Eth1/32 - disabled routed full auto 10/100/1000Eth1/33 - disabled routed full auto 10/100/1000Eth1/34 - disabled routed full auto 10/100/1000Eth1/35 - disabled routed full auto 10/100/1000Eth1/36 VPC keepalive connected routed full 1000 10/100/1000Eth2/4 connect to RTS36_7 connected routed full 10G 10GBASE-SR Eth2/5 - connected trunk full 10G 10GBASE-SR Eth2/6 - connected trunk full 10G 10GBASE-SR Eth2/7 connect to RTS35_7 connected trunk full 10G 10GBASE-SR Eth2/8 connect to RTS35_7 connected trunk full 10G 10GBASE-SR Po7 connect to RTS35_7 connected trunk full 10G - Po200 - connected trunk full 10G - Lo0 - connected routed auto auto - Vlan1 - connected routed auto auto -Vlan11 - connected routed auto auto -Vlan12 - connected routed auto auto -Vlan15 - connected routed auto auto -Vlan16 - connected routed auto auto -Vlan188 - connected routed auto auto -Nexus 的路由Nexus 的 OSPF在 Nexus 当中， OSPF 的带宽计算参考值已经从原来的 100Mbps 更改为 40Gbps，并设定为默认值。RTS35_7010_VDC1_1-RTS35_7010_VDC3_1(config-router)# auto-cost reference-bandwidth ?Rate in Mbps (bandwidth) (Default)*Default value is 40000Rate in Gbps (bandwidth)*Default value is 40Nexus 的 OSPF 已经不允许在 OSPF 进程下进行网络的宣告，所有对于 OSPF 的网络宣告都要在接口下进行。RTS35_7010_VDC1_1-RTS35_7010_VDC3_1# show run int vlan 11!Command: show running-config interface Vlan11!Time: Wed Dec 1 07:11:42 2010version 5.1(1)interface Vlan11no shutdownip address 53/24ip router ospf 100 area ip ospf passive-interfacehsrp 11 preempt priority 200timers 1 3ip 54Nexus 上的 NLB基于 Windows Server 系列操作系统的 NLB，实验确认可以被支持。标识一个部件Nexus 常常由很多部件构成，例如 Fabric Module，或者 xBAR 等等，使用下面的命令可以激活面板上的 Identification 灯，从而标识出需要更换或者处理的模块。locator-led chassis | fan f-number | module slot | powersupply ps-number | xbar x-numberno locator-ledchassis | fan f-number | module slot | powersupply ps-number | xbar x-number这个命令模板是基于 Nexus7k 的，在 Nexus5k 上有些参数不能用，但是有 fex 参数用来标识 Fabric Module 光纤的类型对于使用 SFP 的 Nexus5010 而言，需要考虑跨机房连接时的光纤类型。系统提示的信息如下：RTS39_5010# show int e1/17 transceiver Ethernet1/17transceiver is presenttype is 10Gbase-SRname is CISCO-AVAGO part number is SFBR-7702SDZ revision is G2.3serial number is AGA143164B3 nominal bitrate is 10300 MBit/secLink length supported for 50/125um fiber is 80 mLink length supported for 50/125um fiber is 300 mLink length supported for 62.5/125um fiber is 20 mcisco id is -cisco extended id number is 4Nexus7000 基本配置汇总Cisco NX-OS/IOS Configuration Fundamentals ComparisonObjective This tech note outlines the main differences for the configuration fundamentals between the Cisco NX-OS software and the Cisco IOS Software. Sample configurations are included for Cisco NX-OS and Cisco IOS Software to illustrate some the differences after the first system startup. Please refer to the NX-OS documentation on C for a complete list of supported features. Cisco NX-OS Overview The Cisco NX-OS is a data center class operating system designed for maximum scalability and application availability. The CLI interface for the NX-OS is very similar to Cisco IOS, so if you understand the Cisco IOS you can easily adapt to the Cisco NX-OS. However, a few key differences should be understood prior to working with the Cisco NX-OS. Important Cisco NX-OS and Cisco IOS Software Differences In Cisco NX-OS: When you first log into the NX-OS, you go directly into EXEC mode. Role Based Access Control (RBAC) determin