VASCloud资源池IBM小型机虚拟化组网方案V10(20140108)

1、HUAWEI TECHNOLOGIES CO., LTDHuawei Confidential Security Level: IBMIBM小型机虚拟化组网小型机虚拟化组网HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential IBM小型机虚拟化n基本概念nIBM小型机虚拟化技术n小型机虚拟化网络n存储虚拟化n小型机组网设计HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 基本概念分区IBM虚拟化术语，一个分区就属于一个虚拟机。LPAR一种分区类型，一个LPAR就是一个虚拟机。特点：独享整颗物理CPU、内

2、存、I/O资源。微分区（Micro-Partitioning） 一种分区类型，一个微分区就是一个虚拟机。特点：多个微分区共享物理CPU、内存、I/O资源。虚拟I/O服务器(Virtual I/O Server)也称为VIOS，是一种分区类型。特点：提供 I/O 虚拟化和网络资源虚拟化。VLAN虚拟局域网。共享以太网适配器(Shared Ethernet Adapter)也称为SEA，将主机的物理网卡和虚拟网卡桥接。虚拟网卡(Virtual Ethernet Adapter)分区（虚拟机）中的虚拟网卡。PVID分区（虚拟机）的虚拟网卡(Virtual Ethernet Adapter)的VLAN

3、 ID。Virtual Ethernet entX(vir)VIOS上的虚拟网卡，通过指定Virtual Ethernet entX(vir)上允许那些VLAN通过而确定分区(虚拟机)和VIOS的连接关系。NIC物理网卡。HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 基本概念Virtual Ethernet Switch虚拟交换机。Power ServerIBM Power系列小型机的统称。Virtual SCSI存储使用的虚拟SCSI网卡。Control Channel双VIOS下，主备SEA之间心跳探测通道。Network Interfa

4、ce Backup通常简称NIB，一种增加可靠性的技术。Shared Ethernet Adapter Failover通常简称SEA Failover，一种增加可靠性的技术。PowerHAIBM服务器的双机技术，增加服务器的可靠性。Live Partition MobilityIBM在线迁移的技术，使分区(虚拟机)可以在不同的服务器上迁移。NPIVN_Port ID Virtualization，将存储的一个物理光纤卡虚拟成多个光纤卡。Physical fibre channel dapter物理FC网口Client virtual fibre channel 虚拟FC网口HUAWEI TE

5、CHNOLOGIES CO., LTD.Huawei Confidential 基本概念WWPNWord wide port name存储网络中对存储端口的唯一标识。HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential IBM小型机虚拟化n基本概念nIBM小型机虚拟化技术n小型机虚拟化网络n存储虚拟化n小型机资源池组网设计HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 虚拟化简介-分区IBM小型机虚拟化有两种技术，一种是LPAR，一种是Micro-partitions。pLPAR是将CPU整颗独享、内

6、存等资源，Lpar可以独享I/O插槽。pMicro-partitions将物理的一颗CPU划分成多份，每个微分区（虚拟机）至少是0.1颗CPU，以0.01的粒度增加，可以根据业务需要，指定每个微分区（虚拟机）的最大CPU需求和最小CPU需求，服务器会根据需要自动调整CPU。pMicro-partitions 中每个分区可以设置最小CPU粒度，最大允许获得的CPU粒度以及期望的CPU粒度。p期望(desired) 值是指当有足够的可用资源时，分配给分区的资源;但如果没有足够的资源来满足期望(desired)值，会分配低一些的值；p如果没有足够的资源来满足最小值(min), 分区将不能激活；p最大

7、值(maximum) 是指对动态分区进行调整时的最大上限；HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential IBM小型机虚拟化n基本概念nIBM小型机虚拟化技术n小型机虚拟化网络n存储虚拟化n小型机组网设计HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 分区的几种网络设置HypervisorAPPOS分区Virtual Ethernet SwitchDirect PCISwitchSwitchVirtual Ethernet AdapterShared Ethernet AdapterLink A

8、ggregation AdapterVirtual I/O ServerNICAccessTrunk/Access分区和外部互联有两种方式：n分区通过VIOS和外部网络设备互联。n分区通过直接的PCI插槽（网口）做对应关系，通过PCI插槽上的网口和外部网络设备互联。注意：n采用微分区(Micro-partitions)可以采用VIOS和外部网络进行连接，也可以通过独享插槽上的接口和外部网络连接。n采用LPar方式进行虚拟化时，既可以使用独立的I/O插槽，也可以通过Virtual I/O Server和外部互通。n当存在2个Virtual I/O Server时，需要将物理网口和Virtual

9、I/O Server 做对应关系，一个物理接口只能在一个Virtual I/O Server 上。nVirtual I/O Server和分区（虚拟机）的虚拟网卡(Virtual Ethernet Adapter)的关联关系是通过在Virtual EthernetentX(vir)上允许那些VLAN通过来确定。Virtual EthernetentX(vir)802.1ADHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 虚拟化简介-VIOSHypervisorMicro-partitionsAPPOS分区1APPOS分区2APPOS分区3Vir

10、tual Ethernet SwitchVirtual I/O ServerSwitchSwitchVirtual Ethernet AdapterShared Ethernet AdapterNICVirtual I/O ServerVirtual EthernetentX(vir)Virtual I/O Server是特殊的一个分区，该分区有如下特点：n物理接口和逻辑接口并存。nVIOS包含有数据网络（Virtual Ethernet）和存储网络（Virtual SCSI）。nVirtual Ethernet中，支持VLAN的划分。n一个VIOS可以包含多个SEA，每个SEA最多支持18个

11、VLAN。n部署建议：p建议使用独享处理器p若使用微分区，使用比原来规划的更多的处理器授权数量。 HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 可靠性技术分类（两种的适用场景）pNetwork Interface Backup(NIB)p每个分区上都需要进行NIB设置。p每个分区都需要通过ping的方式探测到外部网络是否正常。p服务器内部分区之间的所有流量都需要外部交换机进行转发。p在虚拟层上不支持VLAN。p只支持AIX系统。pShared Ethernet Adapter Failoverp所有的网络配置都在VIOS上完成。pSEA之间的

12、心跳采用ping方式进行探测。pSEA工作模式只能是主备模式，不能实现负载均衡。p虚拟层支持划分VLAN。p支持AIX、Linux系统。POWER ServerVIOS 1EnetPCIVIOS 2EnetPCIPrimaryClientBackupVirtEnetSEASEAPOWER ServerAIX ClientNIBVIOS 1EnetPCIVIOS 2EnetPCIVirtEnetVirtEnetSEASEAHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 可靠性-Shared Ethernet Adapter FailovernSE

13、A failover(Shared Ethernet Adapter failover)是指两个VISO作为主备，当一个VIOS故障时，所有的VIOC的流量可以通过备用的VIOS到达目的地。n在服务器部署两个VIOS。这两个VIOS通过设置在VIOS上的对虚拟以太网卡设置的优先级来判断哪个VIOS的SEA是primary，哪个是standby。nSEA之间通过虚拟以太网卡连接成一个Control channel，两个VIOS通过Control channel来发送和接收心跳信息，从而帮助两个VIOS了解对方的状态，判断由哪个VIOS提供网络IO服务，以及是否进行failover的动作。Hype

14、rvisorVirtual I/O ServerAPPOS分区1APPOS分区2APPOS分区3Virtual Ethernet SwitchVirtual I/O ServerSwitchprimaryStandbySwitchShared Ethernet AdapterControl ChannelVirtual EthernetentX(vir)Micro-partitionsHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 可靠性-Shared Ethernet Adapter Failovern当采用SEA Failover技术同时有

15、多个网口连接到外部交换机（TOR），VIOS的端口可以采用端口聚合技术，增加端口带宽。n外部交换机的两个端口做聚合，使用LACP协议。HypervisorVirtual I/O ServerAPPOS分区1APPOS分区2APPOS分区3Virtual Ethernet SwitchVirtual I/O ServerSwitchprimaryStandbySwitchShared Ethernet AdapterControl ChannelLink Aggregation AdapterEth-Trunk802.3ad（LACP）Virtual EthernetentX(vir)Micro

16、-partitionsHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential SEA Failover VLAN规划n分区（虚拟机）通过设置PVID来确定分区（虚拟机）所在VLAN,并且确定那个VIOS上的虚拟网口进行数据转发。n一个VIOS上可以有多个虚拟接口Virtual Ethernet entX(vir)。n一台物理服务器默认情况下有一个虚拟交换机，可以创建多个虚拟交换机。nSEAn主备SEA需要单独的IP地址。n主备SEA之间需要单独的VLAN来承载SEA的心跳探测。n主备SEA的心跳探测在物理服务器内部完成，不需要经过外部网络设备转发流量。

17、HypervisorAPPOS分区1APPOS分区2APPOS分区3Virtual Ethernet SwitchVirtual I/O ServerSwitchSwitchPVID100Shared Ethernet AdapterNICVirtual I/O ServerVID200PVID110PVID210Trunk，permit vlan 100、110、200、210permit vlan 100、110Virtual EthernetentX(vir)Micro-partitionspermit vlan 200、210HUAWEI TECHNOLOGIES CO., LTD.H

18、uawei Confidential SEA探测配置举例HypervisorAPPOS分区1APPOS分区2APPOS分区3Virtual Ethernet SwitchVirtual I/O Server2SwitchSwitchVirtual I/O Server1Micro-partitionsVLAN 100VLAN 200n创建两个 VIOS 并安装。 n为每个 VIOS 创建 2 个虚拟以太适配器：nent1 设置 VLAN ID=1，即为虚拟交换机 PVID=1，VLAN 1 用于 LPAR 和外网的通信；开启“Access external network”功能；设置 VIOS

19、1 的 ent2 的“trunk priority”为 1，设置 VIOS2 的 ent2 的“trunk priority”为 2。nent1 vir接口设置PVID为1，允许VLAN100、VLAN200通过。n为每个 VIOS 创建 SEA(将物理接口和虚拟接口桥接)：n $mkvdev -sea ent0 -vadapter ent1 -default ent1 defaulted 1 -attr ha_mode=auto ctl_chan=ent3 netaddr=9.3.4.1n其中，ha_mode 设置 Failover 模式，ctl_chan 设置用于控制通道的虚拟以太网适配器

20、 ent3，netaddr 设置周期性 ping 检测的目的外网 IP 地址。n使用 cfgassist 通过 SMIT 或者 mktcpip 命令创建 SEA 本地接口 en4 并为其设置公网 IP n创建 LPar1、LPar2，设置 PVID 为 1,VLAN ID为100，LPar3设置PVID 1,VLAN ID为200。n物理交换机上设置接口模式为Trunk，允许VLAN100、VLAN200通过，PVID为1。ent1 virent2 vir (SEA)ent0(PHY)SEA的IP地址HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidentia

21、l VIOS VLAN设置n在创建VIOS时，系统在默认情况下会有一个vSwitch。nVIOS上两个VIOS的优先级不能一致，优先级越低的为主设备。n在VIOS上的虚拟Ethernet上设置PVID，并且在允许那些VLAN通过来确认服务器连接到VIOS上。PVIDVID，允许那些VLAN通过此接口转发VIOS优先级添加允许那些VLAN通过此接口转发HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 可靠性- PowerHA（原HACMP）概述nPowerHA的作用是高可靠集群软件，配置冗余，消除单点故障，保证整个系统连续可用性和安全可靠性。Pow

22、erHA是利用网络来侦测主机及网卡的状况，搭配 AIX 所提供的硬盘镜像等功能，在主机、网卡、硬盘控制卡、硬盘或网络发生故障时，自动切换到另一套备用元件上重新工作 ; 若是主机故障还切换至备份机上继续应用系统的运行。n作为双机系统的两台服务器需要同时运行 HACMP 软件，两台服务器的备份方式有二种 : n一台服务器运行应用，另外一台服务器做为备份两台服务器除正常运行本机的应用外，同时又作为对方的备份主机 ; n两台主机系统在整个运行过程中，通过 “ 心跳线 ” 相互监测对方的运行情况 ( 包括系统的软硬件运行、网络通讯和应用运行情况等 ); 一旦发现对方主机的运行不正常 ( 出故障 ) 时，

23、故障机上的应用就会立即停止运行，本机 ( 故障机的备份机 ) 就会立即在自己的机器上启动故障机上的应用，把故障机的应用及其资源 ( 包括用到的 IP 地址和磁盘空间等 ) 接管过来，使故障机上的应用在本机继续运行 ; Power System ALPar 1 LPar 2PowerHA-node1VIOS 1Power System BLPar 1 LPar 2PowerHA-node2EthernetClusterVIOS 2VIOS 1VIOS 2Shared StorageHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential PowerHA的切

24、换At system bootWith HACMP runningAfter adapter failure192.168.0.110.1.1.1nana1.1.1.11.1.1.1na1.1.1.21.1.1.2192.168.0.2192.168.0.210.1.1.150192.168.0.110.1.1.15010.1.1.110.1.1.15010.1.1.16010.1.1.160192.168.0.210.1.1.160192.168.0.210.1.1.1601.1.1.210.1.1.1Afterfailurehost 1.1.1.11.1.1.2 管理IP（Initiall

25、y configured addresses (Boot IP)）-管理用IP地址。 本机IP（Persistent IP addresses） - 给应用分配的本地IP地址。 对外提供服务IP（Service IP addresses） - 给应用分配的虚拟IP地址。Power System APowerHA-node1VIOS 1VIOS 2SlaveMasterPower System BPowerHA-node2VIOS 1VIOS 2SlaveMasterClusterHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential PowerHA的几

26、种方式HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 双机1+1详细部署Master Ethernet AdapterSlave Ethernet AdapterFC Adapter FC Adapter VIOS StandbyVIOS PrimaryFC Channeln双机部署方式建议将双机部署在不同的Server上。n如左图：n在Server A和ServerB上部署两个VIOS，两个VIOS为主备（Primary/Standby）关系。nServer 上可以根据业务需要，规划多个平面，每个平面有独立的VIOS，每个平面都有2个VIOS

27、。nCluster 1中，Primary在Server A上，Standby在Server B上。nCluster 2中，Primary在Server B上，Standby在Server A上。n所有的都为共享存储。Server A分区 1Primary Cluster 1 VIOS 1EthernetVIOS 2Shared Storage分区 2Standby Cluster 2 Server B分区 1Standby Cluster 1 VIOS 1VIOS 2分区 2Primary Cluster 2 Ethernet PrimaryEthernet StandbyHUAWEI TEC

28、HNOLOGIES CO., LTD.Huawei Confidential 双机1+1详细部署分区 1PrimaryCluster 1分区 2PrimaryCluster 2分区 1StandbyCluster 1分区 2StandbyCluster 2Server BServer AEthernetMaster Ethernet AdapterSlave Ethernet AdapterFC Adapter FC Adapter VIOS StandbyVIOS PrimaryShared StorageEthernet PrimaryEthernet StandbyFC Channeln

29、双机部署方式建议将双机部署在不同的Server上。n如左图：n在Server A和ServerB上部署两个VIOS，两个VIOS为主备（Primary/Standby）关系。nServer 上可以根据业务需要，规划多个平面，每个平面有独立的VIOS，每个平面都有2个VIOS。nCluster 1中，Primary在Server A上，Standby在Server B上。nCluster 2中，Primary在Server B上，Standby在Server A上。n所有的都为共享存储。HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 可靠性- L

30、ive Partition Mobility(分区迁移)n动态分区迁移是一个可靠的系统重新配置的过程，它可用于提高整个系统的可用的。实时分区迁移增加了整体可用性，但它不是一个高可用性的解决方案，它不能解决因为设备故障导致的非计划停机。它要求源系统和目标系统的运营和分区是不是一个不可用的状态。操作系统和应用程序的状态检测，无法由系统来完成，应用的检测需要用户完成。n使用LPM的要求n要求Power6硬件：n源和目标服务器分别至少有一个VIOS分区启用了MSP ( Mover service partition )属性nHMC - version 7 n目标机器要有足够的 CPU和内存资源nSys

31、tem firmware requires 01Ex320_61 or latern操作系统的要求: n AIX V5.3, AIX 6.1nRed Hat Enterprise Linux 5nSLES Linux Enterprise 10Power System ADatabaseVIOSAPPWeb APPPower System BVIOSWeb APPPower System CDatabaseVIOSWeb APPHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential IBM小型机虚拟化n基本概念nIBM小型机虚拟化技术n小型机虚拟化网络

32、n存储虚拟化n小型机组网设计HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 存储网络-vSCSIHypervisorAPPOS分区Virtual I/O ServerVirtual I/O ServerStrorage NetworkPhysical fibre channel dapter Physical storagep在双VIOS上时，在分区(Partition)上创建两个虚拟vSCSI网卡。p在VIOS上创建虚拟vSCSI网卡。p在分区(Patition)创建虚拟网卡(vSCSI)时，指定到VIOS上关联的虚拟网卡(vSCSI)。p共

33、享存储资源的 vSCSI 模式来说，异构存储是由 VIOS 统一汇集成一个单一块存储池，然后再以通用 SCSI LUN 的形式分配给客户端的 LPAR 中。Client vSCSIVIOS vSCSIHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential vSCSI配置HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 存储网络- NPIVHypervisorAPPOS分区1Client virtual fibre channel adapterVirtual I/O ServerVirtual I/O S

34、erverServer virtual fibre channel adapterStrorage NetworkPhysical fibre channel dapter Physical storageAPPOS分区2APPOS分区3p在双VIOS上时，在分区(虚拟机)上创建两个虚拟vFC(virtual fibre channel adapter)网卡。p给分区(虚拟机)上虚拟 FC 适配器(Client virtual fibre channel adapter)分配WWPN，每个虚拟FC网卡都分配一个WWPN。p在VIOS上创建虚拟vFC网卡。p将分区(虚拟机)创建虚拟网卡(vFC)

35、映射到VIOS上关联的虚拟网卡(vFC)，例如将 LPAR vfchost0 适配器映射到 vio1 上的物理 FC 适配器 fcs0，命令：$ vfcmap vadpater vfchost0 fcp fcs0。p使用冗余配置的虚拟光纤通道适配器可以避免发生物理适配器故障及虚拟 I/O 服务器故障,使用客户分区上的多路径 I/O（MPIO）和镜像来实现虚拟光纤通道冗余HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential NPIV要求pVIOS V2.1 (PowerVM Express, Standard, and Enterprise)pPowe

36、r 6平台以上pLPAR OS support: AIX(5.3 and 6.1), Linux(SUSE Enterprise 11,or later) p只支持 520, 550, 560, 570, 595 ,目前也支持bladep支持8Gb PCIe HBA卡(#5735) (这块HBA自适应8G, 4G, 2G, 不支持更低的带宽), 只支持对switch的连接方式p惟一识别的WWPN产生(成对分配, 一个在本机使用，另一个在分区迁移后使用)p每一个虚拟FC HBA都有一个惟一的，永久的识别码p支持分区动态迁移。 pVIOS可以同时支持NPIV和虚拟SCSIp每个支持NPIV的物理H

37、BA最多支持64个虚拟端口。p支持HMC和IVM管理的服务器p支持NPIV的SAN交换机n只有直接连接在该HBA上的交换机需要支持NPIV，其他交换不需要支持。HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential NPIV配置Virtual I/O ServerLPAR HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential IBM小型机虚拟化n基本概念nIBM小型机虚拟化技术n小型机虚拟化网络n存储虚拟化n小型机组网设计HUAWEI TECHNOLOGIES CO., LTD.Huawei Confiden

38、tial 三平面组网（1）场景说明n小型机上有3个分区（虚拟机），三个分区（虚拟机）都在同一个安全区域中对外提供服务，三个平面分别为：n业务平面：对外提供服务，和终端用户通信。n控制平面：三个分区之间业务通信。n管理平面：业务管理。n分区（虚拟机）上有三个虚拟网卡（entX vir），分别对应于业务平面、控制平面、管理平面。n平面与VLAN的对应关系：n业务平面Vlan 200。n控制平面Vlan 300。n管理平面Vlan400。n每个平面的网关都在外部防火墙上。nSEA之间的心跳HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 三平面组网（1

39、）VLAN 200 业务平面VLAN 300 控制平面ent2 virentX vir (SEA)ent0 vir设计方案p采用双VIOS的方案设计，VIOS为主备模式。p每个平面采用独立entX vir和独立的SEA。其中业务平面的虚拟网卡为ent2 vir，允许VLAN200通过。控制平面的虚拟网卡为ent1 vir，允许VLAN 300通过。管理平面的虚拟网卡ent3 vir，允许VLAN 400通过，业务平面的SEA心跳规划vlan 101，控制平面的SEA心跳vlan规划vlan102。管理平面的虚拟网卡为ent0 vir，允许VLAN 300通过心跳规划vlan 103。p每个平面

40、使用独立的物理网卡，业务平面使用ent2(PHY)和外部互通，控制平面使用ent1(PHY)和外部互通，管理平面使用ent0(PHY)和外部互通。p外部交换机和小型机互联时，接口业务平面接口使用Trunk模式，允许vlan200通过。控制平面接口使用trunk模式，允许vlan300通过。管理平面接口使用trunk模式，允许vlan400通过。HypervisorAPPOS分区1Virtual I/O ServerVirtual I/O ServerAPPOS分区2APPOS分区3SwitchSwitchVirtual Ethernet Switchent1 virVLAN 400 管理平面F

41、irewallFirewallHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 三平面组网（2）场景说明n小型机上有3个分区（虚拟机），其中分区1（虚拟机1）和分区3（虚拟机3）在DMZ区域，对外提供服务，包含业务、控制和管理3个平面，分区2（虚拟机2）在Trust区域中，包含控制和管理2个平面，每个平面的作用为：n业务平面：对外提供服务，和终端用户通信。n控制平面：三个分区之间业务通信。n管理平面：业务管理。n分区1和3（虚拟机1和3）上有三个虚拟网卡（entX vir），分别对应于业务、控制和管理平面，分区2（虚拟机2）上有2个虚拟网卡（en

42、tX vir）， 分别对应控制和管理平面。n平面与VLAN的对应关系：n业务平面分区1和分区3Vlan 200。n控制平面分区1和分区3Vlan 300，分区2Vlan 310。n管理平面分区1和分区3Vlan400，分区2Vlan 410。n每个平面的网关都在外部防火墙上。n每个平面的网关都在外部防火墙上。nSEA之间的心跳HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 三平面组网(2)ent2 vir业务平面虚拟网卡entX vir (SEA)n设计方案n采用双VIOS的方案设计，VIOS为主备模式。n每个平面采用独立entX vir和独立

43、的SEA。其中业务平面的虚拟网卡为ent2 vir，允许VLAN200通过，业务平面的SEA心跳规划vlan 101 。控制平面的虚拟网卡为ent1 vir，允许vlan300和vlan310通过。，控制平面的SEA心跳vlan规划vlan102。管理平面的虚拟网卡为ent0 vir，允许vlan400和vlan410通过心跳规划vlan 103。n每个平面使用独立的物理网卡，业务平面使用ent2(PHY)和外部互通，控制平面使用ent1(PHY)和外部互通，管理平面使用ent0(PHY)和外部互通。n外部交换机和小型机互联时，接口业务平面接口使用Trunk模式，允许vlan200通过。控制平面接口使用trunk模式，允许v