NFV Orchestrator网络平台维护手册

1、H3C NFV Orchestrator网络平台维护手册 0102NFV Orchestrator日常维护介绍NFV Orchestrator常见问题处理22目录NFV Orchestrator日常维护要求23NFV Orchestrator日常维护检查要求（每周/天检查项）包括但不限于以下内容：服务器CPU利用率情况服务器内存利用率情况服务器磁盘空间使用情况处理系统日志中新增的“提示”、“告警”、“错误”、“严重”和“致命” 的日志检查集群状况检查物理网络状态检查虚拟网络状态运维监控系统介绍通过运维监控系统可以查看NFV Orchestrator的运维信息，如下图所示:24运维监控系统介绍运

2、维概览：通过图示的方式展现了当前NFV Orchestrator的概要信息。通过运维概览可以直观地了解当前NFV Orchestrator的运行状态以及日志统计信息。运维概览还提 供了解各部分详细信息的入口。如下图：25运维监控系统介绍系统信息：用于查看NFV Orchestrator的集群配置信息。26运维监控系统介绍如果成员状态为down，在“备注”栏会给出提示信息，提示信息说明了成员“down”的原因， 提示信息及说明如下：27常用信息收集诊断信息收集：单击系统/系统管理/诊断信息菜单项，进入诊断信息页面，单击右上角的 按钮，弹出“诊断信息导出”对话框。在弹出的对话框中选择需要导出诊断信

3、息的NFV Orchestrator，单击按钮，将导出的诊断日志信息保存到本地。28常用信息收集操作日志：记录用户进行的系统操作、配置更改等事件，例如集群配置等。系统日志：用于通知用户NFV Orchestrator运行的内部事件。 收集方法：单击按钮，将日志信息标记为已读状态。单击按钮，将日志信息标记为未读状态。单击按钮，可以将当前日志导出到本地。单击按钮，在弹出的对话框中单击按钮完成删除当前所有日志信息的操作。在操作单击“日期/时间（起）”和“日期/时间（止）”日历框，可以按照时间段筛选操作日志。在搜索框输入字符串（区分大小写），可以查询业务名称、主题、内容任一字段信息中包含该字符串的系统

4、日志。日志说明请参照“日志手册”，其中包括NFVO操作日志和系统日志的说明29异常日志信息举例1010集群成员退出集群日志内容MEMBER_LEAVE，ID $1，IP $2 from team $3 team IP $4.参数解释$1：成员NFVO ID$2：成员NFVO IP地址$3：集群名称$4：集群IP地址（可能为空）日志等级提示举例MEMBER_LEAVE, ID 467cd899-062b-4b61-b191-db398d00e41f, IP8 from team team1111 team IP .日志说明集群成员退出集群处理建议请排查集群成员是否异常退出。如果是，请检查网络是否

5、连通或成员NFVO是否正常运行。常用信息收集NFVO后台日志收集：登录NFV Orchestrator所在操作系统命令行界面，导出后台日志，路径：/opt/sdn/virgo/serviceability/logs/vBRAS/log.log文件。收集Openstack后台日志：收集Openstack日志可使用Remote Export OpsLogs.jar小工具获取：在小 工具UI界面输入对应节点的IP地址、用户名、密码，设置好本地下载路径，点 击“Export Logs”按钮。1011系统日志监控用户可以通过监控NFVO系统日志实现实时感知系统状态。 NFVO提供两种系统日志监控手段：S

6、yslog方式进入“系统”“系统管理” “配置管理”，在“系统日志”的配置栏配置syslog server的IP地址和端口号。用户可以进一步在syslog server上进行日志分析，critical日志进行短信预警等。1012系统日志监控1013RESTful API方式通过NFVO提供的RESTful API向NFVO注册需要监听的日志主题名。当完成注册后，当有用户注册的日志类型生成时，REST Server上将会接收到NFVO上报的JSON格式 的系统日志。支持注册的系统日志主题举例如下：subject相关告警team集群状态信息，例如集群分裂、无法建立等controller_role_

7、changeNFVO team角色变化事件（leader角色和member角色变化）system系统事件：线程或进程异常停止进行；死锁情况发生；与数据库连接异常等sessionnetconf session建立连接/断开连接01NFV Orchestrator日常维护介绍NFV Orchestrator常见问题处理目录021014NFV Orchestrator常见问题类型1015NFV Orchestrator安装授权类问题NFV Orchestrator集群类问题NFV Orchestrator诊断信息及NETCONF问题vBRASSO功能问题安装时依赖检查故障问题现象：安装NFV Orc

8、hestrator时，提示“Please install JRE-headless java-1.8.0- openjdk-amd64 or java-1.7.0-openjdk-amd64 before you install the controller.”处理思路：故障的原因可能为未正确安装NFV Orchestrator依赖的OpenJDK软件包。处理步骤：1、检查离线依赖包安装版本使用是否正确1016安装时依赖检查故障10172、参考H3C NFV Orchestrator安装指导-CentOS重新安装依赖包 3、检查依赖包安装是否正确安装依赖包的过程中会自动执行关闭防火墙的命令。通

9、过systemctl status firewalld.service命令检查防火墙是否关闭。通过virsh version命令验证Libvirt软件包是否安装成功。通过/usr/lib/jvm/java-1.8.0/bin/java -version命令验证OpenJDK 1.8.0软件包是 否安装成功。通过lsb_release -help命令验证Redhat-lsb-core软件包是否安装成功。通过unzip -v命令验证Unzip软件包是否安装成功。重启后无法获取远端License信息问题现象：NFV Orchestrator重启后，与License Server成功建立连接，并且在L

10、icense Server上显示License已安装，NFV Orchestrator获取不到远端License的授权信息。处理思路：NFV Orchestrator或集群重启后，与License Server的连接中断，而License Server上会等待老化时间结束后再回收授权数据。在老化时间结束前，即使与License Server成功建立连接也不会获取到授权信息。处理步骤：1、检查NFV Orchestrator是否重启过2、License Server上强制下线客户端1018重启后无法获取远端License信息3、NFV Orchestrator上重连License Server1

11、019NFV Orchestrator常见问题类型1020NFV Orchestrator安装授权类问题NFV Orchestrator集群类问题NFV Orchestrator诊断信息及NETCONF问题vBRASSO功能问题创建集群或Region时失败报错问题现象：创建集群时，失败报错。创建Region时，提示配置失败。 处理流程：开始表示上一步结果正常 表示上一步结果出现问题拨打热线400-810-0504寻求帮助提示网卡配置不正确检查网卡状态是 否正常重启网卡服务是否选择了正确 网卡重新选择网卡检查集群token是否一致修改集群token提示集群成员token 不一致提示不能在Memb

12、er上 创建集群 查看系统报错信 息设置当前NFVO角色为 leader，继续创建1021创建集群或Region时失败报错1022处理步骤：1、查看系统具体的报错信息“网卡配置不正确，集群创建失败”、 “集群创建失败，集群成员集群Token不一致”、 “不能在当前角色为Member的集群成员NFV Orchestrator上创建集群”2、提示“网卡配置不正确，集群创建失败处理步骤”检查服务器或者虚拟机网卡是否正常，如果网卡已禁用，通过命令行启动网卡；如果 是硬件故障，请更换网卡，然后重新创建集群。如果是网卡输入错误，从“增加NFV Orchestrator”页的NFV Orchestrator

13、列表中删 除网卡错误的NFV Orchestrator，重新添加NFV Orchestrator并通过下拉框方式选择正 确网卡，然后重新创建集群。如果通过下拉框方式无法显示远端Leader NFV Orchestrator的网卡列表，检查网络是 否连通，如果网络连通正常，则进一步检查各Leader NFV Orchestrator的集群Token是 否一致。创建集群或Region时失败报错1023(4) 如果各Leader 集群Token不一致，需修改集群Token后重新创建集群。3、提示“集群创建失败，集群成员集群Token不一致”该问题是各LeaderNFV Orchestrator的集群

14、Token不一致造成的。解决方法如下： (1)查看集群中各Leader NFV Orchestrator的集群Token。修改Leader NFV Orchestrator的集群Token，使得各Leader NFV Orchestrator的集 群Token一致。待集群Token修改完毕后，重新创建集群。4、提示“不能在当前角色为Member的集群成员NFV Orchestrator上创建集群”将当前NFV Orchestrator设置为Leader角色，或者登录到角色为Leader的NFV Orchestrator上创建集群。NFV Orchestrator无法成功加入集群问题现象：向集群

15、中动态添加集群成员时，成员NFV Orchestrator无法成功加入。处理流程：开始表示上一步结果正常 表示上一步结果出现问题 检查NFVO成员与 Leader之间 HTTPS连接排查成员与 Leader底层连通 性拨打热线400-810-0504寻求帮助检查NFVO地址名 称配置修改NFVO地址名 称配置查看集群成员数量重新规划集群成员数量检查集群token是否一致修改集群token配置1024NFV Orchestrator无法成功加入集群处理步骤：1、检查成员NFV Orchestrator和当前Leader之间HTTPS连接是否正常 2、检查成员NFV Orchestrator配置是

16、否存在错误如果是成员NFV Orchestrator的IP地址、名称重复等错误，请根据提示修改相应配置信息。1025NFV Orchestrator无法成功加入集群10263、查看集群成员数量否已经达到规格上限4、检查待加入集群的NFV Orchestrator和当前Leader 的集群Token是否一致如果不一致，请修改待加入集群的NFV Orchestrator的集群Token，具体方法如下： 方法一：登录NFV Orchestrator的GUI界面后，单击系统/系统配置菜单项，然后单击“单机配置”链接进入单机配置页面，如果当前集群Token未创建，则在集群Token输入框中输入集群Tok

17、en后单击按钮；如果当前集群Token已创建，则单击按 钮删除当前集群Token，然后在输入框中输入新的集群Token，再单击按钮。方法二：将需要修改集群Token的NFV Orchestrator卸载后重装，在安装过程提示输入集群Token时，输入新的集群Token。集群主备成员数据不同步问题现象：登录集群主Leader成员和Member成员查看NFVO相关信息，显示不一致。 处理流程：开始表示上一步结果正常 表示上一步结果出现问题登录Leader查看成员备注信息是 否正常解决成员备注信 息异常问题拨打热线400-810-0504寻求帮助重启Member成员 的NFVO应用查看数据是否已 重

18、启Leader的 同步NFVO应用查看数据是否已 同步1027集群主备成员数据不同步处理步骤：1、检查成员NFV Orchestrator状态是否正常如下图，红色圈出的为备注信息1028集群主备成员数据不同步10292、解决成员NFV Orchestrator备注信息异常问题备注信息处理方法如下：连接超时：Down状态的NFV Orchestrator发生了宕机或者网络中断，请查看对应成 员所在的服务器状态及排除网络故障。NFV Orchestrator IP不可达：Down状态的NFV Orchestrator可能发生宕机、网络 中断、未安装NFV Orchestrator软件或安装完NFV

19、 Orchestrator软件后未完成启动。 网络中断需要检查成员NFV Orchestrator所在服务器或虚拟机是否存在NFV Orchestrator对应的IP地址，如果不存在或者被禁用，则正确配置NFV Orchestrator IP地址后重启NFV Orchestrator 。集群token认证失败：重新升级NFV Orchestrator ，且更新Token配置。集群主备成员数据不同步3、重启NFV Orchestrator应用进入“系统/系统管理/应用管理”，重启H3C NFV Orchestrator应用：1030NFV Orchestrator常见问题类型1031NFV Or

20、chestrator安装授权类问题NFV Orchestrator集群类问题NFV Orchestrator诊断信息及NETCONF问题vBRASSO功能问题虚机的运行数据无法显示问题现象：在虚机摘要信息页面，虚机设备的部分信息显示为“-”。 处理流程：开始表示上一步结果正常 表示上一步结果出现问题拨打热线400-810-0504寻求帮助检查虚机和NFVO 连通性 排查底层连通性确认虚机和NFVO NETCONF配置是 否一致 修改NETCONF配置检查虚机的NETCONF连接是 否到达上限清理多余的 NETCONF会话1032虚机的运行数据无法显示1033处理步骤：1、确认虚机与NFV Or

21、chestrator通信是否正常2、确认虚机与NFV Orchestrator NETCONF连接配置是否一致确认虚机设备和NFV Orchestrator的NETCONF相关配置是否一致。3、确认VNF设备和其它设备建立的NETCONF会话数是否已达上限VNF设备能够建立的NETCONF会话数有限，如果虚机设备和其它设备建立的NETCONF会 话已达上限，就无法再与NFV Orchestrator建立会话，此时需要删除虚机设备和其它设备 建立的NETCONF会话或调整网络设备的NETCONF会话上限。NFV Orchestrator常见问题类型1034NFV Orchestrator安装授权

22、类问题NFV Orchestrator集群类问题NFV Orchestrator诊断信息及NETCONF问题vBRASSO功能问题NFVO创建vBRAS失败问题现象：创建vBRAS时，NFV Orchestrator界面提示在“在主机上创建vBRAS失败” 或者创建出的vBRAS在NFV编排/vBRASSO页面上的服务实例一栏摘要页面虚拟机状态为 “ERROR”。1035处理流程：1036NFVO创建vBRAS失败处理步骤：1、检查创建vBRAS时是否有Flavour选项如果没有，可能原因为部署NFV Orchestrator时没有创建集群Token，需要手工创建。1037NFVO创建vBRA

23、S失败2、查看Openstack控制节点和计算节点主机的连接是否建立如果连接未建立，需要排查控制节点和计算节点的连通性。rootctrl1 # nova hypervisor-list+| ID | Hypervisor hostname | State | Status|+| 1| compute1| up| enabled |+1038NFVO创建vBRAS失败3、查看添加Host主机时是否提示“主机认证失败”如果提示失败，可能是舔加Host主机的用户名、密码、租户等参数填写错误。1039NFVO创建vBRAS失败4、检查NFV Orchestrator上主机状态是否正常如果主机状态为Ab

24、normal，可能原因为未正常安装 Openstack控制或计算节点，或主机 节点与NFV Orchestrator连通性不正常。rootctrl1 # systemctl | grep novaopenstack-nova-api.serviceloaded active running OpenStack Nova API Server openstack-nova-cert.serviceloaded active running OpenStack Nova Cert Serveropenstack-nova-conductor.serviceloaded active running

25、 OpenStack Nova Conductor Server openstack-nova-consoleauth.serviceloaded active running OpenStack Nova VNC console auth Serveropenstack-nova-novncproxy.serviceloaded active running OpenStack Nova NoVNC Proxy Server openstack-nova-scheduler.serviceloaded active running OpenStack Nova Scheduler Serve

26、rrootctrl1 # systemctl | grep neutron neutron-server.serviceloaded active running OpenStack Neutron Server1040NFVO创建vBRAS失败1041rootctrl1 # dateTue Jan 31 17:21:34 CST 2017rootcompute1 #date -s Tue Jan 31 17:21:34 CST 2017 Tue Jan 31 17:21:34 CST 20175、查看Openstack控制节点和计算节点主机的系统时间是否一致如果时间不一致，手动修改控制节点和

27、计算节点主机系统时间一致或配置NTP服务器。 查看系统时间修改系统时间同步硬件时间rootcompute1 # clock w rootcompute1 # clockTue 31 Jan 2017 05:21:34 PM CST-0.641119 secondsrootcompute1 # reboot4242NFVO创建vBRAS失败6、查看Openstack控制节点租户配额的实例数、CPU内核数、内存、Server groups剩 余的数量是否满足vBRAS创建使用的flavor大小| floating_ips| 50| fixed_ips| -1| metadata_items| 25

28、6| injected_files| 2| injected_file_content_bytes | 10240| injected_file_path_bytes| 255| key_pairs| 10| security_groups| 15| security_group_rules| 20| server_groups| 20| server_group_members| 10|+ + + + + + + + + rootctrl1 # nova quota-show+| Quota| Limit|+| instances| 25| cores| 250| ram| 204800 |

29、MariaDB nova select * from quota_usages;+ | id | project_id| resource| in_use | reserved| until_refresh|+ |1 | 26975ace82564da3b24f873754a9cb94 | instances|13 |0|NULL|2 | 26975ace82564da3b24f873754a9cb94 | ram|16384 |0|NULL|3 | 26975ace82564da3b24f873754a9cb94 | cores|22 |0|NULL|4 | 26975ace82564da3

30、b24f873754a9cb94 | security_groups |1 |0|NULL+ 4 rows in set (0.00 sec)NFVO创建vBRAS失败7、查看Openstack控制节点和计算节点的网络映射关系配置是否一致保证控制节点的物理网络在计算节点上有配置对应的物理网络和网卡的映射关系，如果不 一致，手动修改计算节点上物理网络和网卡的映射关系。| status| ACTIVE| subnets| tenant_id| 26975ace82564da3b24f873754a9cb94|rootctrl1 # neutron net-show network1+| Field

31、| Value|+| admin_state_up| True| id| 78c0a395-9e02-441a-8c33-9d6af1bdfb02 | mtu| 0| name| network1| provider:network_type| flat| provider:physical_network | provider1| provider:segmentation_id| router:external| True| shared| True|rootcompute1 # vi /etc/neutron/plugins/linuxbridge/linuxbridge_con phy

32、sical_interface_mappings= provider1:ens160,phy_ens192:ens192f.ini+4343NFVO创建vBRAS失败8、查看Openstack控制节点和计算节点的Neutron代理服务状态是否正常如果不正常，需要收集对应节点的Openstack相关日志。rootctrl1 # neutron agent-list+ + + + + + +| id| agent_type| host| alive | admin_state_up | binary|+ + + + + + +| bc312e03-63ec-4e55-a367-7419f327c5

33、54 | NIC Switch agent| ctrl1| :-)| True| neutron-sriov-nic-agent| dddc22f5-3da0-4d98-803d-a520c2d13806 | Linux bridge agent | compute1 | :-)| True| neutron-linuxbridge-agent |+ + + + + + +4344NFVO流量卸载失效问题现象：卸载点交换机上无法正常生成流量卸载流表，导致组播源送往用户机顶盒的业 务流量需要绕行到vBRAS转发处理。4345处理流程：4346NFVO流量卸载失效处理步骤：1、检查IPOE接入服务

34、类型是否为STB:如果服务类型不为STB，则需要登录NFV Orchestrator，创建服务类型为STB的vBRAS模板，并重新创建vBRAS。vBRAS1display domainDomain: iptvCurrent state: ActiveState configuration: Activeauthentication scheme:authorizationscheme:IPoE IPoE IPoEaccountingscheme:Default authentication scheme: Default authorizationscheme:Default account

35、ingscheme:None None None Local Local LocalAccounting start failure action: Online Accounting update failure action: Online Accounting quota out policy: Offline Service type: STBSession time: Exclude idle time4347NFVO流量卸载失效2、检查IPOE用户是否已经上线如果IPOE用户未上线，建议先行排查IPOE认证上线失败的原因。vBRAS1display ip subscriber sessionN-NdrsType: D-DhcpS-Sta