H3C新网络系列产品VSR维护指导

1、H3C新网络系列产品VSR维护指导技术创新，变革未来目录第一章VSR虚拟路由器基本使用方法第二章VSR虚拟路由器基础维护命令第三章VSR虚拟路由器典型问题处理2 VSR虚拟路由器产品简介VSR(Virtual Services Router)虚拟路由器是专业的网络软 件产品，基于Comware V7平台，运行在标准服务器的虚拟机 或BareMetal上，提供和物理路由器相同的功能和体验：ServerHypervisorVMVMVMvSwitchISO, OVA, and IPE formatsVMware vSphere, Linux KVM, H3C CAS, Citrix XenServe

2、r*, Microsoft Hyper-V*Standard X86 serverMinimal Resource Requirement for VM: 1 vCPU, 1GB RAM, 8GB Disk, 2 vNICsLicense based on:The number of Virtual CPU (1, 4, 8, 1664*)Time (1-year, 3-years, permanent)Throughput*E1000, VMXNET3, VirtIO, SR-IOV*虚拟机：作为虚机单元，共享物理机硬 件资源，由Hypervisor层协调物理资源， 虚拟化资源。 BareM

3、etal：独占物理资源，不存在虚 拟化层面。3 VSR虚拟路由器产品简介VSR实现框架：4 VSR虚拟路由器产品简介VSR软硬件适配环境：iMCiMC PLAT 7.2 (E0403L01) iMC BIMS 7.2 (E0402L01) iMC EAD 7.2 (E0402) iMC EIA 7.2 (E0402)iMC IVM 7.2 (E0402H01) iMC MVM 7.2 (E0402) iMC NTA 7.2 (E0401P01) iMC QoSM 7.2(E0403H01) iMC RAM 7.2 (E0402)iMC SHM 7.2 (E0402L01) iMC UBA 7.

4、2 (E0401P01)iNodeiNode PC 7.1 (E0307)5 VSR虚拟路由器登录管理H3C VSR虚拟路由器可支持多种方式进行管理：配置管理方式： Telnet/SSH NetconfiMC组件虚 机 管 理 工 具 ： vCenter,VNC,CAS NFVM6 VSR虚拟路由器登录管理H3C VSR虚拟路由器支持IMC网管：【注意】VSR识别的端口顺序可能与虚拟机的虚拟网卡顺序不一致，二者通过MAC地址关联。7 VSR虚拟路由器License管理8H3C VSR虚拟路由器License分为基础License和特性License：基础License:NFV产品单机侧Lice

5、nse方式分三级：产品形态，核数（AP数），时间产品形态：VSR，vFW，vLB，vAC，vBRAS。核数（AP数）：1vCPU，4vCPU，8vCPU，1CPU（物理机） 时间：1年，3年，永久特性License：VSR1000 Feature License(Comware V7, Enhanced Control Plane, 4vCPU)Control Plane ApplicationsAssign more CPUresource to the control plane applications.VSR1000 Feature License(Comware V7,Data Ce

6、nter Interconnect, 4vCPU)DC, DCIEVIVSR1000 Feature License(Comware V7,BRAS, 4vCPU)vPOP, 园区IPoE Server, VSR1000 Feature License(Comware V7,Advanced VPN, 4vCPU)vCPE, VPCgatewayADVPN, GDVPN VSR虚拟路由器版本管理H3C VSR虚拟路由器版本升级方式：通过命令行升级：1、在VSR 命令下，使用FTP 或TFTP 下载新的VSR IPE 版本。2、设置新的启动文件为该VSR IPE 版本。3、 保存配置，重新启动系

7、统完成升级。通过过ISO升级VSR ：1、初始升级步骤和通过ISO安装VSR相同。2、在进入安装界面后，注意选择菜单 Upgrade Install，将VSR运行的版本升级到 ISO光盘中的版本。3、安装完成后，注意先断开CD连接，然后重启系统。9 VSR虚拟路由器版本管理H3C VSR虚拟路由器版本可以通过ISO恢复：1、进入VMware/KVM/CAS安装页面：2、选择菜单 Recovery Install，将VSR运行的版本恢复到ISO光盘中的版本。3、安装完成后，注意先断开CD连接，然后重启系统。10目录第一章VSR虚拟路由器基本使用方法第二章VSR虚拟路由器基础维护命令第三章VSR虚

8、拟路由器典型问题处理11VSR虚拟路由器基本状态维护命令12当VSR运行异常时，可先行使用display diagnostic-information命令收集诊断信息。也可以手动收集以下信息，同时导出设备的logfile文件：命令行收集信息display cpu显示当前CPU利用率display process显示进程的状态信息display process cpu显示所有进程的CPU使用率信息display process memory显示所有进程的代码段、数据段及堆栈等内存信息display process log显示所有进程的CPU使用率信息display kernel deadloop

9、 20 verbose显示内核线程死循环信息display kernel exception 10 verbose显示内核线程的异常信息display kernel reboot 20 verbose显示内核重启信息display clock显示系统当前的时间display device verbose显示设备信息display current-configuration显示设备当前生效的配置display saved-configuration查看下次启动配置文件的内容命令行收集信息display interface显示指定接口当前的运行状态和相关信息display logbuffer显示日

10、志缓冲区的状态和日志缓冲区记录的日志信息display memory显示内存使用情况display placement location all显示具体位置上正在运行的进程信息display boot-loader显示本次启动和下次启动所采用的启动软件包的名称display debugging显示系统中已经打开的调试开关display install active显示当前系统中处于激活状态的软件包的相关信息display install committed显示设备下次启动时使用的主用软件包的相关信息display license显示License的详细信息display license fea

11、ture显示特性的License摘要信息display startup显示用于本次及下次启动的配置文件的名称display users显示当前正在使用的用户线以及用户的相关信息display system internal kernel memory pool显示内核态正在使用的内存池的统计信息view /proc/ipfw/ipstat查看快转相关信息13 VSR虚拟路由器基本状态维护命令VSR虚拟路由器母机状态维护命令查看磁盘空间：常用的查看磁盘空间的命令有df和du命令，df可以查看一级文 件夹大小，使用比例，档案系统及其挂入点，但不能查看文件。du可以查看文 件及文件夹的大小。通常可以

12、通过df查看那个一级目录过大，然后用du查看文 件夹或文件的大小。-h 参数表示使用Human-readable输出，也就是在档案系统大小使用GB,MB等易读格式14du命令查询文件或文件夹的磁盘使用空间，使用sort对文件进行大小排序VSR虚拟路由器母机状态维护命令查看进程占用的CPU和内存：查看系统占用的内存可以通过top命令或者linux 系统进程的status文件查看。通常，使用os的内存查看方式比jvm虚机提供的 内存查看更为准确。top是实时显示的，默认 3s刷新一次，可用于查看 实时CPU和内存占用率top u 查看指定用户的进程信息15VIRT进程占用的虚拟内存RES进程占用的

13、物理内存SHR进程使用的共享内存%CPU进程占用CPU的使用率%MEM进程使用的物理内存和总内存的百分比top显示信息说明VSR虚拟路由器母机状态维护命令proc文件查看：Linux的proc文件系统是存储当前内核运行状态的一系列特殊文件，通过/proc/pid/status文件，可以更详细的查看进程信息。Pid任务IDVmPeak进程在运行过程中占用虚拟内存的峰值VmSize进程正在占用的虚拟内存大小VmHWM进程分配到物理内存的峰值VmRSS进程正在使用的物理内存的大小16通常使用VmRSS 来判断进程占用 内存的大小。目录第一章VSR虚拟路由器基本使用方法第二章VSR虚拟路由器基础维护命

14、令第三章VSR虚拟路由器典型问题处理17VSR虚拟路由器典型协议问题18典型协议问题之一：问题现象：VSR1000作为IPSEC VPN网关，与山石设备对接时，初始时山石发起协商，协商成功，重协商时VSR发起协商失败。分析过程:从debug过程我们可以看到：debugging ike all前两条协商报文就可以看到有类似下面的提示信息：*Jan 16 16:14:49:679 2016 H3C IKE/7/ERROR: Failed to find matched proposal in profile profile2.%Jan 16 16:14:49:679 2016 H3C IKE/6/

15、IKE_P1_SA_ESTABLISH_FAIL: Failedto establish phase 1 SA for the reason of malformed payload.原因：山石设备的ike proposal 默认指定的dh算法组为g2，VSR设备默认是g0，但VSR有兼容处理，山石设备无兼容处理。这样结果是山石发起的协商能协商成功，VSR发起协商时因dh组配置不一致失败。VSR虚拟路由器典型协议问题19典型协议问题之一：解决方法：修改出错配置，然后 reset ipsec sa/reset ike sa，重新触发协商。注意两条指令的执行顺序要保证，先执行 reset ipse

16、c sa，再执行 reset ike sa.问题总结：友商设备与VSR的默认配置及兼容处理不一致，会导致协商主动方发生变化时协商失败。通常是ike 安全提议（proposal） 中一些默认配置项不一致导致VSR虚拟路由器典型协议问题20典型协议问题之二：问题现象：VSR1000作为IPSEC VPN网关，IPsec业务流量不通，sa 正常，无重协商。分析过程:由组网及链路问题导致报文不通，用dis ipsec statistics 命令查看，会发现Received/sent packets只有单向流量在增长解决方法：这种问题需要排查具体组网，如只有Received 报文没有sent 报文，说明

17、问题在VSR设备的后方；反之，问题出现在VSR设备的前方。VSR虚拟路由器典型协议问题21典型协议问题之三：问题现象：VSR1000作为IPSEC VPN网关，与juniper对接，ACL配置多条rule，只有一条rule能协商成功，其他的rule触发的协商包发出之后没有回复。分析过程:Juniper设备上，IPsec隧道的建立是基于接口方式的：基于接口的方式是将IPsec安全策略应用到接口上，这样设备就可以对通过该接口 收发的报文依据已应用的安全策略进行IPsec保护；目前，基于接口的IPsec实现方 式下仅支持基于ACL建立IPsec隧道。基于ACL方式下，是通过定义ACL来指定对 等体见

18、需要保护的流的范围。支持以下三种数据流的保护方式、标准方式：一条隧道只保护一条数据流，这个是系统缺省的方式。故缺省状态下，每条permit流会生成一对出和入两个方向的隧道（即出入两个IPsec SA）；、聚合方式：只有一条隧道保护ACL中定义的所有数据流。这个方式存在的意义是为了和老版本设备互通；VSR虚拟路由器典型协议问题22典型协议问题之三：1.3、主机方式：一条隧道只保护一对主机之间的数据流，这种方式太消耗资源， 不推荐使用；VSR IPSEC的实现模式是标准模式，多条permit即多条rule预期协商成多对IPSEC SA隧道。而对端设备可能对应的是聚合方式，默认多条流只协商一个IPS

19、EC SA隧 道。解决方法：修改我们的配置为聚合模式，具体配置方法为：# 配置IPsec安全策略引用IPv4高级ACL 3002，并设置数据流保护方式为聚合方式。 system-view Sysname acl advanced 3002Sysname-acl-ipv4-adv-3002 rule 0 permit ip source 55destination 55VSR虚拟路由器典型协议问题23典型协议问题之三：Sysname-acl-ipv4-adv-3002 rule 1 permit ip source 55destination 55Sysname ipsec policy pol

20、icy2 1 isakmpSysname-ipsec-policy-isakmp-policy2-1 security acl 3002 aggregation问题总结：新上ipsec业务对接异常，多是对接时，由配置不对等导致的协商失败。如果配置 检查不出来，就要考虑到对端厂商与VSR兼容性和实现的差别了。VSR虚拟路由器典型转发问题24典型转发问题之一：问题现象：业务流量不稳定，有丢包现象。具体现象如下：dis clock07:28:40 UTC Wed 11/25/2015dis int GE1/2/0 | in FIFO queuing:Output queue - FIFO queui

21、ng: Size/Length/Discards 0/75/481116dis clock07:28:47 UTC Wed 11/25/2015dis int GE1/2/0 | in FIFO queuing:Output queue - FIFO queuing: Size/Length/Discards 0/75/481127分析过程:从debug过程我们可以看到：1、云平台中，VSR1000设备以虚机的形态运行于客户提供的母机环境(KVM)中， 使用的接口类型为virtIO接口，VSR虚拟路由器典型转发问题25典型转发问题之一：该接口类型在母机上体现有一个对应vhost进程，该进程是协

22、助加速虚机(即 VSR1000)与母机之间进行报文交互的，即母机上的报文上送VSR或者VSR的报文 发前往母机都会经过vhost的处理，所以在vhost对整个环境的性能起着关键性作用2、VSR上output queuing对应的FIFO queuing机制为：qos调用驱动发送接口发送报文，驱动发送报文接口获取底层资源并发送，如果发 送失败则返回失败，如底层资源不足时会返回失败；qos调用驱动发送接口发送报 文如果返回失败，报文进入FIFO队列，如果队列满了，则会出现discards。在虚机环境中，上述“底层资源”表现为母机为虚机提供的出口队列缓存，VSR发 送的报文其实是写入出口队列缓存的，

23、由母机(vhost)负责读走缓存中的数据， VSR先获取出口队列缓存空间，如果获取成功则写入，如果获取失败则返回失败， 并 在 内 存 中 记 录 失 败 次 数 ， 获 取 底 层 资 源 的 接 口 有 ： virtqueue_get_buf,virtqueue_add_buf，移植开源实现内容。确认是否为底层资源不足导致队列丢包方法：步骤1：给VSR1000设备安装devkit工具包(具体安装方法请参考ISSU指导手 册:install active .)VSR虚拟路由器典型转发问题26典型转发问题之一：步骤2：进入probe视图，使用如下命令即可查看到因为底层资源不足导致报文发送 失败

24、进FIFO队列的次数：H3C-probedis driver g1/2/0 message | in TxLater/获取资源返回不正常时该计数就会增加（此处增加，FIFO不一定增加，因为FIFO有缓冲）uiTxLaterCnt: 6098655H3C-probedis driver g1/2/0 message | in TxLateruiTxLaterCnt: 6099682H3C-probedis driver g1/2/0 message | in TxLater uiTxLaterCnt: 6100150注意：使用完后请及时卸载devkit包，避免引入问题 现场环境中定位到此处确实计

25、数在不断增加解决方法：求助母机提供部门，分析vhost性能不足问题，将vhost进程绑定cpu以提高其性能。有时是出现突发高峰值流量导致偶尔丢包，可以配置增加FIFO队列大小缓解：H3C-GigabitEthernet1/2/0qos fifo queue-length 1024VSR虚拟路由器典型转发问题典型转发问题之二：问题现象：VSR子接口是用来终结VLAN，多个子接口可终结多个VLAN。在VMware上已经给 虚拟交换机端口组分配了VLAN ID=4095，表示所有VLANID的报文都会送到VSR， 但是，实际上VSR只收到一个VLAN ID的报文。问题原因:VMWARE平台上的虚拟交

26、换机或者虚拟端口组没有启动混杂模式。解决办法:在VMWARE虚拟交换机的虚拟端口组启动混杂模式接口和多个子接口端口组打开混杂模式27VSR虚拟路由器典型转发问题典型转发问题之三：问题现象：在vmware平台上，VSR网口设置的MTU超过1500，发送超过1500的大包，发送失败。问题原因:vmware虚拟交换机的MTU默认配置是1500，没有做同步修改。 解决办法:修改虚拟交换机的MTU配置。28VSR虚拟路由器典型控制器问题29典型控制器问题之一：问题现象：NFVM上提示VSR Unavailable告警分析过程:问题原因：VSR Unavailable告警表明，对应VSR与NFVM之间的保

27、活报文超时， NFVM判断 该VSR掉线不可管理，然后上报告警；可能原因：对应VSR的管理口Down、中间 网络出现拥塞或风暴、VSR运行设备出现异常。VSR不可用告警仅仅局限在控制层面，对于VPNGW系统而言，IPSec业务不受影响。解决方法：VSR具有自动注册的机制，一旦对应VSR的管理口UP，或链路通信恢复正常，则该 VSR会自动向NFVM进行注册，并再次上线；除非对应VSR主机出现运行异常，可 登录Host主机，恢复VSR重新运行。系统稳定后，可以登录VPNGW，搜集下设备运行日志：VSR虚拟路由器典型控制器问题30典型控制器问题之一：1、进入系统的flash:/logfile目录，保

28、存最新的logfile文件并导出：cd flash:/logfile/logfile saveThe contents in the log file buffer have been saved to the file flash:/logfile/logfile12.log.2、系统稳定后，观测对应VSR的CPU、内存、管理口及中间网络状况，防止再次超时掉线。VSR虚拟路由器典型控制器问题典型控制器问题之二：问题现象：NFVM上报认证失败trap。网管平台获取不到现网运行vsr节点的相关状态、统计信息等，不能正常监控。问题原因：网管平台使用的团体名与vsr配置的团体名不一致，导致snmp访

29、问失败；比如：vsr缺省使用public团体名，网管平台使用tcnw，这样就会导致访问时认证失败：snmp-agent community read public acl 200031VSR虚拟路由器典型控制器问题32典型控制器问题之二：解决方法：新部署的vsr可以通过NFVM自动下发snmp配置，并使用客户指定的tcnw团体名；现网已运行设备须手工修改。VSR虚拟路由器典型控制器问题33典型控制器问题之三：问题现象：VSR主备分裂，产生双主。NFVM能够精准识别主备倒换和堆叠分裂行为，分裂操 作不牵涉到VPC侧路由的刷新；业务流量仍会走到原来的主设备，IPSec VPN通道 正常存在，因此业

30、务不会受到影响。问题原因：VPN网关主VSR设备CPU繁忙、建立堆叠通道的中间网络出现拥塞或风暴、堆叠使 用的管理口或Host主机的物理网卡down，都可能都会导致堆叠设备间的保活报文 收发不及时，出现心跳超时；最终导致堆叠出现分裂。解决方法：VSR堆叠支持自动Merge的功能，堆叠分裂发生后，一旦链路恢复、或心跳报文收 发正常，原主会自动检测到对被分离出去的堆叠成员，该成员设备会自动重启再次 加入，系统仍保持主备堆叠状态。系统稳定后，可以登录VPNGW，搜集下设备运行日志：1、进入系统的flash:/logfile目录，保存最新的logfile文件并导出：VSR虚拟路由器典型控制器问题34典

31、型控制器问题之三：1、进入系统的flash:/logfile目录，保存最新的logfile文件并导出：cd flash:/logfile/logfile saveThe contents in the log file buffer have been saved to the file flash:/logfile/logfile12.log.2、系统稳定后，观测主设备上的CPU、内存、堆叠接口及中间网络状况，防止再次发生分裂。VSR虚拟路由器典型控制器问题35典型控制器问题之四：问题现象：VSR主备切换VPNGW采用VSR堆叠方式，主备倒换后都会通知NFVM状态变化，由NFVM调用 VPC

32、接口刷新路由，将业务流量引到新的VSR主设备。对于冗余口方案，冗余口状 态会自动响应主备倒换事件，冗余口状态对外没有变化，IPSec VPN通道不受影响， 用户业务平滑过渡；对于非冗余口方案，原有IPSec通道会自动删除，同时由业务流量触发IPSec SA重协商、并新建VPN通道，这个过程会有2-3s的中断。问题原因：VSR主设备由于业务运行异常、内存耗尽、操作失误虚机被Destroy、主机掉电， 可能导致VPNGW产生主备倒换行为。解决方法：一般而言，主备倒换业务有自动恢复机制，不须要人工干预。系统稳定后，可以登 录VPNGW，搜集下重启设备的原因及异常栈记录。VSR虚拟路由器典型控制器问题36典型控制器问题之四：具体命令：1、display version，查看原主设备的重启原因；2、进入probe视图，查看原主设备的