F5 常见故障处理办法

1、.f5 big-ip v10版本常见问题处理手册f5 networks2011-11-14目录精品.第1章初始化设置相关问题处理说明41.1.如何通过机器前面板lcd边上的按键设置big-ip的管理网口地址？41.2.为什么通过lcd边上的按键设置big-ip的管理网口地址失败？41.3.申请license时出现以下错误提示如何处理？51.4.big-ip系统如何进行配置备份和恢复？51.5.如何将big-ip的配置恢复到出厂设置？6第2章日常维护72.1.如何操作big-ip前面板上的lcd按键？72.2.如何解读led(设备关面板上的状态灯)显示的信息？82.3.如何与big-ip进行文件

2、传输？92.4.如何实时监视big-ip的连接状态？102.5.如何实时监视big-ip的流量情况？102.6.如何监控big-ip的性能指标？10第3章异常处理113.1.当处于主机的big-ip突然发生故障时，如何尽快恢复业务？113.2.如果修改配置以后，导致业务异常如何处理？113.3.故障诊断时，有时需要用到命令行，如何用命令行登陆big-ip？123.4.big-ip系统处于inoperational状态如何处理？13第4章web与命令行管理15精品.4.1.通过web界面修改配置时出现general database error错误，如何处理？154.2.ssh访问具有密码加密传

3、输的优点，请问从哪里获取ssh客户端？154.3.为什么无法用telnet登陆到big-ip的命令行？164.4.big-ip系统web管理员admin密码忘记了，如何恢复？164.5.big-ip系统root密码忘记了，如何恢复？164.6.默认的用户名和口令不安全，如何添加新用户或修改现有用户？164.7如何将big-ip监控到的服务器up/down信息发到外部syslog服务器上？174.8big-ipsyslog的事件类型有哪些？184.9如何设定big-ipsyslog的事件级别？204.10big-ipsyslog事件记录的格式是怎么样的？204.11网络设备通常有收集系统信息的宏

4、命令，f5有没有相应命令？214.12如何查询设备的序列号？234.13如何使用tcpdump进行troubleshooting？234.14对某一virtual server用tcpdump命令无法抓到包如何处理？254.15tcpdump出现“truncated-ip - 1215 bytes missing!”信息是不是说明网络上有丢包？264.16tcpdump 命令中的-i interface中的interface用vlan名称（如external或internal）与接口编号（1.1或2.1）有什么区别？264.17tcpdump 命令中出现“pcap_loop: error: i

5、nterface packet capture busy”错误信息？28第5章配置管理30精品.5.1.如何备份big-ip ltm的配置305.2.备份的配置文件中包含哪些内容315.3.恢复big-ip ltm的配置restoring configuration data31第6章技术支持相关问题356.1.寻求f5技术支持时，要提供哪些信息与资料？356.2.如何获得更多关于f5产品的技术支持资料、如何查找故障处理办法？356.3.如果big-ip系统损坏(非硬件故障)，如何重装系统？366.4.big-ip发生硬件故障以后的更换流程？366.5.如何进入单用户模式solution id

6、: sol4178 booting big-ip in single user mode376.6.如何重置root与web admin密码solution id: sol3350 changing account passwords for the command line and configuration utility38精品.第1章 初始化设置相关问题处理说明1.1. 如何通过机器前面板lcd边上的按键设置big-ip的管理网口地址？通过lcd按键修改管理网口ip地址的方法如下：1. 按红色x按键进入options选项；2. 在液晶面板上通过按键按以下顺序设置管理网口的网络地址：op

7、tions-system-ip address/netmask-commit1.2. 为什么通过lcd边上的按键设置big-ip的管理网口地址失败？如果通过lcd按键修改完ip地址以后，选择commit，地址无法成功改变(例如出现ip地址为全零的情况)，很有可能是管理口ip地址与系统内已经配置发生冲突。出现这种情况，关机重启以后，另选一个ip网段来设置管理网口地址。警告：在设置好网络管理口地址以后，通过网络登陆到big-ip上进行其它配置更改时，都要保证网络管理口的网络连接完好。否则有时会出现修改的配置无法被成功加载应用的情况，因为网络管理口为down的情况会妨碍配置文件的加载。精品.1.3.

8、 申请license时出现以下错误提示如何处理？错误提示为“this license has already been activated on a different unit. please contact technical support for assistance.”原因是是因为本机的registrationkey与另外一台已经被激活的设备的registration key有冲突。碰到这种情况，请联系f5的技术支持工程师协助处理。1.4. big-ip系统如何进行配置备份和恢复？可以通过以下web界面进行配置的备份与修改：进入systemarchives，点击create：精品.配

9、置备份好后，点击设配置文件并下载到外部电脑上：也可以在cli使用“b config save .ucs”保存配置，使用“config install .ucs”恢复配置。如果不指定路径，默认保存在目录“/var/local/ucs”中。1.5. 如何将big-ip的配置恢复到出厂设置？如果是需要一个完全干净的系统，建议通过重装系统来恢复到出厂设置。如果没办法重装系统，但需要将配置清空以重新进行配置，方法如下：从管理网口用命令行登陆big-ip，然后执行以下命令：b db all reset精品.b resetb saveb base resetb self allow default tcp

10、ssh tcp https udp efs tcp snmp proto ospf udp domain udp snmp tcp 4353 tcp domain udp 4353 b base save最后运行config设置管理口ip，然后用reboot重启。精品.第2章 日常维护2.1. 如何操作big-ip前面板上的lcd按键？通过操作lcd按键可以实现以下功能： 在某个屏幕停留 使用lcd菜单 开机 停机 关电 重启 在某个屏幕停留normally, the screens cycle on the lcd at a constant rate. however, push the

11、check button to toggle the lcd between hold and rotate modes. in hold mode, a single screen is displayed. the rotate mode changes the screen displayed on the lcd every 4 seconds. 使用lcd菜单pressing the x button puts the lcd panel in menu mode. the buttons left arrow, right arrow, up arrow, and down arr

12、ow are only functional when the lcd is in menu mode. 开机when you want to power on a unit that is shut down, press the check button to turn the power on. 停机we recommend you halt the unit before you power it down or reboot it using the lcd menu options.to halt the unit1. press the x button, then use th

13、e arrow keys to navigate to the system menu.2. press check. navigate to the halt menu.3. press the check button. press the check button again at the confirmation screen.4. wait 50 seconds before powering the machine off or rebooting it. 关电hold the x button for 4 seconds to power down the unit. we re

14、commend that you halt the system before you power down the system in this manner. rebooting the unit hold the check button for 4 seconds to reboot the unit. you should only use this option after you halt the unit. 清除告警事件press the check button to clear any alerts on the lcd screen. you must clear any

15、 alerts on the screen before you can use the lcd.2.2. 如何解读led(设备关面板上的状态灯)显示的信息？led功能说明如下：精品.正常状态下，led的显示情况：出现告警时的led状态：精品.2.3. 如何与big-ip进行文件传输？出于安全考虑，big-ip不允许用ftp登陆到big-ip上进行文件的上传与下载。为了与big-ip进行文件传输，可以用ssh secure shell client工具带的安全文件传输工具进行文件传输。secure filetransfer client精品.2.4. 如何实时监视big-ip的连接状态？请使用

16、“b conn”命令，显示示例如下：54:46704 any:any :8 icmp3:41622 any:any :8 icmp0:1354 3:ssh 3:ssh tcp:33880 :nbp any6:any udp3:36599 any:any :8 icmp54:35139 any:any :domain udp192.

17、168.1.254:35140 any:any :domain udp54:35141 any:any :domain udp54:35142 any:any :domain udp54:35143 any:any :domain udp2.5. 如何实时监视big-ip的流量情况？请使用命令“bigtop n delay 1”， 显示示例如下： | bits since | bits in prior | current | mar 2 2

18、1:17:57 | 1 seconds | timebig-ip active |-in-out-conn-|-in-out-conn-| 23:48:08 32.30g 50.35g 3.888m 432 432 0virtual ip:port |-in-out-conn-|-in-out-conn-|-nodes up-00:80 218984 1.499m 51 0 0 0 3node ip:port |-in-out-conn-|-in-out-conn-|-state-:53 30.57g 40.71g

19、 3.257m 0 0 0 up:80 99624 1.395m 6 0 0 0 up:80 131528 1.006m 29 0 0 0 up:80 12008 137184 1 0 0 0 up:53 0 0 0 0 0 0 node down其中bits in prior 1 second列出的in out是各virtual server及node上的流量情况。2.6. 如何监控big-ip的性能指标？通过web界面的overviewperfrormance进行监控。精品.第3章 异常处理3.1

20、. 当处于主机的big-ip突然发生故障时，如何尽快恢复业务？在确保双机配置一致的前提下(通过日常巡检来保证)，进行主备切换，看是否能恢复业务。主备切换的方法有：通过web管理界面进行切换：systemhigh availabilityredundancyforce standby。当主备发生切换完后，看备机能否顺利接管业务。3.2. 如果修改配置以后，导致业务异常如何处理？在修改配置之前，先作一次配置备份。如果配置修改以后，业务出现异常，恢复配置进行回滚。恢复配置的方法如下：在systemarchive中选中之前备份的配置文件，点击进去后点选restore即可。精品.3.3. 故障诊断时，有

21、时需要用到命令行，如何用命令行登陆big-ip？若有console线，通过19200-8-n-1方式登录，输入用户名/密码，默认为：root/default。注：console线是null modem线，（如在电脑城购买，注意连接头是是否标注有null modem字样）线序如下：db9f to db9f 1, 4- 6 2 - 3 3 - 2 5 - 5 精品.6 - 1,4 7 - 8 8 - 7 9 open open 9 如果没有console线，则用ssh命令登陆到big-ip管理网口的地址。(big-ip管理网口的地址可以在big-ip前面的液晶显示板上看到。) 可以使用putty或

22、secure shell client等ssh客户端连接big-ip的管理网口地址，进入命令行模式。察看液晶面板上的管理口ip地址，如45。若有液晶板上有相应的ip地址，那么请准备一个便携，配上相应网段的ip，通过ssh登录。若液晶板上无相应的ip地址，即为，则在液晶板上，按x键，进入system，依次设置ip address - netmask -gateway-commit，输入管理口地址，掩码，网关，最后commit，察看液晶面板上的管理地址是否生效。然后通过便携登录管理口。注：secure shell client 可以用以下链接下载：http:/w

23、/f5gz/tools/sshsecureshellclient-3.2.5.exe。 putty的下载链接如下：/f5gz/tools/putty.zip3.4. big-ip系统处于inoperational状态如何处理？big-ip刚开机时会处于inoperational状态，等进程启动完毕，配置文件加载完以后，big-ip会改换为active状态，或standby状态(双机中的另外一台处于主机的情况下)。精品.如果系统长时间处于inoperational状态，一般有两种可能，一种可能是license没有被激活，另外一台可能是

24、配置文件有问题无法被正常加载。确认ig-ip系统licnese是否处于有效激活状态有两种方法：一种是在web界面点击systemlicense，查看license信息是否有效。一种办法是在命令行执行b version命令。如果系统license有效的话，b version命令会给出下面类似的输出：在enabled features下面会列出license所许可的所有功能模块。如果license没有激活或已经到期，则enable features下而为空。如果为空，则需要先激活license。如果license正常，而系统还处理inoperational状态，可参看3.5的办法检查是否/conf

25、ig/bigip_base.conf有问题。精品.第4章 web与命令行管理4.1. 通过web界面修改配置时出现general database error错误，如何处理？如果条件允许，先将系统重启后再次修改配置，看问题是否依然存在。如果问题依然存在，或者不允许重启系统，则需要用ssh客户端以命令行方式登陆big-ip。注：建议从管理网口用命令行登陆。用ssh登陆命令行以后，看命令行提示符现示系统是否处于inoperational状态。如果是处于inoperational状态，则可能是license没有激活或已经到期。（license到期的现象只发生在采用了临时license的测试设备上）。

26、如果license已经处于有效激活状态，而系统处于inoperaitonal状态，则有可能是配置文件有错误，导致配置文件无法被顺利加载。如果命令行提示符提示系统处于active状态或standby状态，而通过web界面修改配置出现general database error，则有可能是负责web管理的进程出现异常，可能采用bigstart tomcat restart的方式看能否解决问题。4.2. ssh访问具有密码加密传输的优点，请问从哪里获取ssh客户端？常用的ssh客户端有：精品. secure shell client 下载链接/support/dow

27、nloads/secureshellwks/non-commercial.html或/f5gz/tools/sshsecureshellclient-3.2.5.exe。 putty下载链接/f5gz/tools/putty.zip ttssh .au/roca/ttssh.html ttssh是公司标准软件tera term的ssh扩展免费软件。 securecrt / 本软件功能强大，评估版为免费软件。4.3. 为什么无法用telnet登陆

28、到big-ip的命令行？出于安全考虑，big-ip不允许采用telnet的方法登陆到big-ip。please refer to the following sol for detail./home/bigip-next/solutions/toolsscript/sol3848.html4.4. big-ip系统web管理员admin密码忘记了，如何恢复？可以通过在命令行执行 passwd admin重新设置admin密码。方法请参考/home/solutions/sol3350.html -changing account

29、 passwords for the command line and configuration utility。4.5. big-ip系统root密码忘记了，如何恢复？如果root密码丢失，但还可以进入web管理界面，则可以在system-platform界面重新设置root密码。如果root密码丢失，且无法进入web管理界面，则需要进入到单用户模式，重新设置root密码。方法请参考solution id: sol4178 booting big-ip in single user mode精品.和solution id: sol3350 changing account password

30、s for the command line and configuration utility。4.6. 默认的用户名和口令不安全，如何添加新用户或修改现有用户？web管理员的密码与命令行登陆root帐户的密码可以通过web界面进行修改：登录bigip的web管理界面时需使用admin的用户名，登录bigip的命令行界面需要使用root的用户名，更改这个两个用户名的方法如下：点击左侧导航条的systemplatform，进入其属性页面：在右侧的页面中，可以在user administration中对这两个用户名的密码进行更改。更改完毕后点击update即可生效。“root”用户也可以通过cl

31、i“passwd”命令进行修改。精品.4.7 如何将big-ip监控到的服务器up/down信息发到外部syslog服务器上？要将所监控的服务器的状态信息通过syslog发送到外部的syslog服务器的方法如下：在命令行编辑/etc/syslog-ng/syslog-ng.conf文件，vi /etc/syslog-ng/syslog-ng.conf在文件末尾增加以下内容：filter notdebug level(warning.emerg) and match(member);destination loghost udp(68 port (514); ;log s

32、ource(local);filter(notdebug);destination(loghost);其中68是syslog服务器， 514为syslog服务器监听端口。level(warning.emerg) and match(member);定义的要发送到syslog服务器的信息，match(member)表示匹配pool member (.*?):(.*?) monitor status down 中的member那一行，这样可以将其它与服务器监控无关的信息过滤掉。编辑保存文件以后，运行/etc/init.d/syslog-ng restart，输出以下信息：s

33、topping syslog-ng: ok starting syslog-ng: ok精品.确认syslog运行正常即可。(注意：一定要确保syslog-ng.conf配置正确，使syslog能正常启动，否则会影响系统中其它依赖于syslog的进程)。4.8 big-ipsyslog的事件类型有哪些？big-ipsyslog的事件类型有以下几种： 系统事件（system events）system event messages are based on linux events, and are not specific tothe big-ip system。这一类的事件一般记录在/var

34、/log/messages中。 包过滤事件（packet filter events）packet filter messages are those that result from the implementation ofpacket filters and packet-filter rules. 这一类的事件一般记录在/var/log/pktfilter. 本地流量管理事件（local traffic events）local-traffic event messages pertain specifically to the local trafficmanagement syst

35、em. 这一类的事件一般记录在/var/log/ltm.some of the specific types of events that the big-ip system displays on thelocal traffic logging screen are: address resolution protocol (arp) packet and arp cache events bigdbtm database events (such as populating and persisting bigdbvariables) http protocol events http

36、compression events ip packet discard events due to exceptional circumstances or invalidparameters (such as a bad checksum) layer 4 events (events related to tcp, udp, and fast l4 processing) mcp/tmm configuration events monitor configuration events network events (layers 1 and 2) packet velocity asi

37、c (pva) configuration events iruletm events related to run-time irule processing ssl traffic processing events general tmm events such as tmm startup and shutdown精品.这些事件对应的级别如下： 审计事件（audit events）audit event messages are those that the big-ip system logs as a result of changes to the big-ip system c

38、onfiguration. logging audit events is optional. audit logging is an optional feature that logs messages whenever a big-ip system object, such as a virtual server or a load balancing pool, is configured; that is, created, modified, or deleted. there are three ways that objects can be configured: by u

39、ser action by system action by loading configuration datathe big-ip system logs the messages for these events in the file/var/log/ltm.精品.4.9 如何设定big-ipsyslog的事件级别？对于本地流量管理事件，你可以设置最小的记录级别。通过为不同的事件设定不同的日志级别，来控制哪些事件会被记录下来。你可以设定要syslog记录别一级别的事件，目前的事件分为以下级别： emergency alert critical error warning notice

40、informational debug举例来说，如果你将bigdb事件的最小日志级别设定为error，那big-ip只记录error以上级别的事件。如果将最小日志级别设成缺省的级别，则big-ip将会记录除debug信息以外的所有事件。4.10 big-ipsyslog事件记录的格式是怎么样的？big-ipsyslog的事件记录的格式的解释请参见下表：精品.例如：4.11 网络设备通常有收集系统信息的宏命令，f5有没有相应命令？与华为路由器“display base-information”、华为交换机“display diagnostic-information”、思科“show tech-

41、support”和netscreen防火墙“get tech-support”命令类似，big-ip系统也有对应信息收集工具叫f5 qkview diagnostic tool。在cli界面中执行精品.“qkview”，qkview工具执行完成后将输出信息保存在文件/var/tmp/-tech.out”中。在进行故障诊断和寻求高级技术支持，别忘了执行本命令。可以通过web界面执行qkview命令全面采集系统日志信息并下载下来。通过qkview工具可以采集big-ip上的配置信息及日志信息，以供离线的故障诊断。如果可以通过web界面进行管理，则可由systemsupport中运行qkview工具

42、，运行过程如下：qkview运行过程大概会持续3至5分钟，执行结果如下：精品.点击download下载qkview的输出文件 。注意修改下载文件的文件名以免双机的文件重名冲突。4.12 如何查询设备的序列号？负载均衡器的序列号可能从设备前面板右边的机架安装处获得，是在一个条形码标签下面以bip开头的一串字串。如果设备已经上架，不方便查看设备的序列号的话，也可以通过license文件，获取设备的序列号。license文件保存在/config/bigip.license文件中。在文件中搜寻以下信息（示例）：registration key : j3606-22210-05459-58153-831

43、3024licensed version : 10.2.1精品.platform id :z1004.13 如何使用tcpdump进行troubleshooting？当业务无法正常工作时，经常需要在big-ip上抓包进行分析定位是什么原因导致数据包没有被常转发。big-ip上提供了tcpdump抓包分析工具。tcpdump是unix系统常用的报文分析工具，tcpdump经常用于故障定位，如会话保持失效、snat通信问题等。本文讲述tcpdump命令的基本用法，更详细的使用说明请参见“man tcpdump”。命令语法： tcpdump -adeflnnopqrstvxx -c count -f

44、 file -i interface -m module -r file -s snaplen -t type -w file -e algo:secret expression 其中： -i报文捕获监听的接口，如果不指定，默认为系统最小编号的接口（不包括loop-back接口），一般对指定vlan名称进行监控，如-i external 是对external vlan进行监控；也可以对指定端口进行监控如 i 1.1。注意：当vlan 名称过长时，-i后面直接用vlan名称，tcpdump会出现错误提示，这时需要将vlan名改由vlan加vlan id代替。如有一vlan名称为bip_exter

45、nal，vlan id为2022，如要对bip_external vlan进行监听，需采用-i vlan2022的方式。 -nn不将ip地址或端口号转化为域名或协议名称注：与老版本的tcpdump命令不一样，在big-ip v10里面必须用两个nn才能使ip地址与端口不会被转化为域名或协议名称显示。 -r从文件中读取（该文件由-w选项创建） -s确定捕获报文大小 -w直接将捕获报文写入文件，而不是对其进行解析并通过屏幕显示（与-r选项对应）注：如果要将tcpdump所抓的包保存到文件，建议采用-s1600 w /var/tmp/filename的方式，-s1600可以保证抓取完整的数据包，而/

46、var/tmp使抓包文件保存在/var/tmp目录。精品. -x每个报文以十六进制方式显示 -x每个报文同时以文本和十六进制显示 expression匹配表达式的分组将进行解析。如果不指定表达式，系统对所有分组进行捕获分析。复杂表达式可以使用“and”与、“or”或以及“not”非操作进行组合。表达式有三种： type三种种类：host、net和port。比如：host 。如果不指定类型，默认为host。 dir有src、dst、 src or dst和src and dst四种方向。默认为src or dst，即双向。 proto常见协议有：ip、arp、tcp、udp、ic

47、mp等。如果不指定协议类型，默认为所有协议。 举例1：对external接口主机并且端口为1433的流量进行监控。端口不指定tcp和udp，默认为同时对tcp和udp进行报文捕获。本命令不解析ip地址/端口号为主机名/服务名称，同时显示报文十二进制和文本信息，报文最大为1500字节。f5-1:# tcpdump -i external -nn -x -s 1600 port 1433 and host tcpdump: listening on external 21:48:41.295546 .1201 10.75.9

48、.44.1433: . 302192826:302192827(1) ack 558871968 win 64360 (df) 0x0000 012c 0800 4500 0029 38cf 4000 7f06 c3b2 .,.e.)8. 0x0010 8bd4 6002 0a4b 092c 04b1 0599 1203 18ba .k.,. 0x0020 214f b5a0 5010 fb68 a926 0000 00 !o.p.h.&. 21:48:41.296015 4.1433 .1201: . ack 1 win 64636 (df) 0x0

49、000 012c 0800 4500 0028 cb2d 4000 7f06 3155 .,.e.(.-.1u 0x0010 0a4b 092c 8bd4 6002 0599 04b1 214f b5a0 .k.,.!o. 0x0020 1203 18bb 5010 fc7c a812 0000 0000 0000 .p.|. 0x0030 0000 . 21:48:50.701130 .1206 4.1433: . 304974934:304974935(1) ack 565108263 win 64882 (df) 0x0000 012c 0800

50、 4500 0029 38f7 4000 7f06 c38a .,.e.)8. 0x0010 8bd4 6002 0a4b 092c 04b6 0599 122d 8c56 .k.,.-.v 0x0020 21ae de27 5010 fd72 0a6b 0000 00 !.p.r.k. 21:48:50.702567 4.1433 .1206: . ack 1 win 65267 (df) 0x0000 012c 0800 4500 0028 d3a6 4000 7f06 28dc .,.e.(.(. 0x0010 0a4b 092c 8bd4 60

51、02 0599 04b6 21ae de27 .k.,.!. 0x0020 122d 8c57 5010 fef3 08ea 0000 0000 0000 .-.wp. 0x0030 0000 . 精品.举例2：对internal接口主机3和1之间端口8080的流量进行分组捕获。本命令不解析ip地址/端口号为主机名/服务名称，报文最大为1600字节，捕获信息以“/var/tmp/intdump”文件保存： tcpdump -s 1600 -i internal -w /var/tmp/intdump host 3 and

52、host 1 and port 8080如果查看该捕获文件，请用tcpdump r /var/tmp/intdump命令。也可以将捕获的文件下载下来用ethereal工具解包分析。4.14 对某一virtual server用tcpdump命令无法抓到包如何处理？可能是该virtual server的属性中选用了performance layer4类型，导致数据包由四层加层asic芯片处理而没有流经cpu引起，碰到这种情况，选取该virtual server将type由performance layer4临时改为standard再来用tcpdump命令抓包，抓包以后，改回到performance layer4。4.15 tcpdump出现“truncated-ip - 1215 bytes missing!”信息是不是说明网络上有丢包？在big-ip里面出现”truncated-ip xxxx bytes missing”信息，一般来说并不是网络上有丢包引起的，而是在执行tcpdump命令时没有加上 s0或-s1600参数时，而数据包大小超过tcpdump缺省的抓包大小