RS6000系统日常管理培训

1、R RS S/ / 6 60 00 00 0R RS S/ / 6 60 00 00 0 系系统统 系系统统日日常常管管理理与与日日常常管管理理与与故故障障的的处处理理故故障障的的处处理理RS/ 6000 A dm i n & PDRS/ 6000 A dm i n & PD内容提要内容提要系统健康检查常用操作故障的处理IBM 服务热线系统健康检查系统健康检查系统健康检查系统健康检查机房环境检查电源线的母头是否为左零右火电压值是否为240V零地电压是否小于1V温度（摄氏 ）10 40湿度（%）8% 80%查看硬件情况检查设备故障灯，一般为橙色并有 标志。 有没有异常声响，如硬盘

2、、风扇等。有没有破损的电缆等系统健康检查系统健康检查检查文件系统 查看有没有“满”的文件系统。文件系统满可导致系统不能正常工作，尤其是AIX的基本文件系统。如/ (根文件系统)满则会导致用户不能登录。# df -k (查看AIX的基本文件系统)Filesystem 1024-blocks Free %Used Iused %Iused Mounted on/dev/hd4 24576 1452 95%95% 2599 22% /dev/hd2 614400 28068 96% 22967 15% /usr/dev/hd9var 8192 4540 45% 649 32% /var/dev/hd

3、3 167936 157968 6% 89 1% /tmp/dev/hd1 16384 5332 68% 1402 35% /home系统健康检查系统健康检查除/usr文件系统，其他文件系统都不应太满，一般不超过80%。处理方法1：找出（删除）垃圾文件 # du -sk * |sort r n |head 查找出当前目录下占空间最大的子目录，逐层往下直到找出占空间最大的文件。（要区分哪些目录是文件系统的 mount point，哪些是文件系统的子目录）删除文件，释放空间。有时删除文件后空间并不马上释放，这是由于你删除的文件正被某个程序打开。只有当这个程序停止后空间才释放，有时甚至需要重起系统。

4、系统健康检查系统健康检查处理方法2：增加文件系统大小 # smitty chjfs 文件系统可以在任何时候加大，前提是卷组(VG)中有剩余空间。检查文件系统的完整性 # umount filesystem_name # fsck filesystem_name # fsck -y filesystem_name注意：文件系统必须先umount，再做检查和修复，否则可导致未知的后果。系统健康检查系统健康检查查看卷组信息 lsvg -l vg_name 有没有stale状态的逻辑卷。 用syncvg 命令修复。# smitty syncvgLV NAME TYPE LPs PPs PVs LV S

5、TATE MOUNT POINThd5 boot 1 2 2 closed/syncd N/Ahd6 paging 48 96 2 open/syncd N/Apaging00 paging 32 64 2 open/syncd N/Ahd8 jfslog 1 2 2 open/syncd N/Ahd4 jfs 1 2 2 open/syncd /hd2 jfs 32 64 2 open/syncd /usrhd9var jfs 5 10 2 open/syncd /varhd3 jfs 4 8 2 open/syncd /tmphd1 jfs 1 2 2 open/syncd /home系统

6、健康检查系统健康检查检查内存交换区(paging space)使用率 # lsps -s 使用率不要超过70%。 增加交换区，或增加内存。 观察内存大小的命令：lsattr El mem0 #lsps -sTotal Paging Space Percent Used 2048MB 15%#lsps aPage Space Physical Volume Volume Group Size %Used Active Auto Typehd6 hdisk0 rootvg 2048MB 15 yes yes lv系统健康检查系统健康检查网络检查 netstat -i 查看网卡状态 Ierrs/Ip

7、kts 和 Oerrs/Opkts是否1% ping host_name /IP Address 查看是否通和是否有丢包。 路由表 #netstat -rn 查看路由表是否正确，ping 各路由器是否通。 核 对 主 机 名 #hostname系统健康检查系统健康检查#ifconfig -aen0: flags=4e080863inet 172.40.10.31 netmask 0 xffff0000 broadcast 172.40.255.255lo0: flags=e08084binet 127.0.0.1 netmask 0 xff000000 broadcast 127.255.25

8、5.255inet6 :1/0#ifconfig 用法ifconfig en0 inet 11.0.0.1 upifconfig en0 ns 110:02.60.8c.2c.a4.98 up（还有很多）系统健康检查系统健康检查#lsattr El inet0#lsattr El inet0authm 65536 Authentication Methods Truehostname qtsms Host Name Truegateway Gateway Trueroute net,0,172.40.10.1,0,172.40.10.1 Route Truebootup_option no S

9、erial Optical Network Interface Truerout6 FDDI Network Interface Trueroute属性是否有相应的路由信息。格式为：net,0,172.16.23.81如果没有缺省路由,执行命令：#chdev l inet0 a route=0,172.16.23.81其中172.16.23.81为网关如果缺省路由不正确，则先删除路由,再增加缺省路由:#chdev l inet0 a delroute= net,0,133.16.23.81#chdev l inet0 a route=0,172.16.23.81系统健康检查系统健康检查检查du

10、mp设置#sysdumpdev l primary /dev/hd6secondary /dev/sysdumpnullcopy directory /var/adm/rasforced copy flag TRUEalways allow dump FALSEdump compression OFF 若不正确请用下列命令修改：#sysdumdev P p /dev/hd6 s /dev/sysdumpnull系统健康检查系统健康检查系统故障记录(errorlog) errdemon 进程在系统启动时自动运行 记录包括硬件、软件及其他操作信息 故障记录文件为/var/adm/ras/errlo

11、g，可备份下来或拷贝到别的机器上分析 errpt 命令的使用(普通用户权限也可使用)系统健康检查系统健康检查#errpt |more 列出简短出错信息ERROR_ID TIMESTAMP T C RESOURCE_NAME ERROR_DESCRIPTION192AC071 0723100300 T 0 errdemon Error logging turned off0E017ED1 0720131000 P H mem2 Memory failure9DBCFDEE 0701000000 T 0 errdemon Error logging turned on038F2580 062413

12、1000 U H scdisk0 UNDETERMINED ERRORAA8AB241 0405130900 T O OPERATOR OPERATOR NOTIFICATIONTIMESTAMP: MMDDHHMMYY (月日时分年）T（类型）: P 永久; T 临时; U 未知（永久性的错误应引起重视）C（分类）: H 硬件; S 软件; O 用户; U未知#errpt -d H 列出所有硬件出错信息#errpt -d S 列出所有软件出错信息#errpt -aj ERROR_ID 列出详细出错信息系统健康检查系统健康检查# errpt -aj 0502f666- ERROR_ID用大小写

13、均可LABEL: SCSI_ERR1ID: 0502F666Date/Time: Jun 19 22:29:51Sequence Number: 95Machine ID: 123456789012Node ID: host1Class: HType: PERMResource Name: scsi0Resource Class: adapterResource Type: hscsiLocation: 00-08VPD: 1 Start Installation Now with Default Settings 2 Change/Show Installation Settings and

14、 Install3 Start Maintenance Mode for System Recovery 88 Help ? 99 Previous Menu常用操作常用操作-系统备份系统备份#smitty lsmksysb ；检查系统备份带的内容。系统备份不是万能的。备份最好有两份。用户数据备份 文件系统可用 tar 命令，切记不要使用绝对路径。 数据库可用数据库的备份方式备。 逻辑卷(LV)可用dd 命令。 smitty savevg 用户卷组备份 只备份mount起的文件系统。 注意：不备份逻辑卷（裸设备） 。常用操作常用操作-系统备份系统备份磁带机卡带子时可尝试RESET磁带机。 按住

15、磁带机的弹出按钮1530秒, 直到磁带机液晶面板显示RESET。磁带RESET后磁带应能弹出。（此方法仅适用于8mm20GB磁带机） # diag -cd rmt0 # tctl -f /dev/rmt0 reset 如果上述方法均不奏效，则只有重起机器。常用操作常用操作-镜像镜像镜像(rootvg) lspv, lsvg l rootvg, lsvg rootvg, lsvg p rootvg, lslv m lv_name, lsvg M rootvg extendvg f rootvg hdisk1 chvg a y Q n rootvg mirrorvg S rootvg hdisk0

16、 hdisk1 bosboot a l /dev/hd5 d /dev/hdisk1 bootlist m normal hdisk0 hdisk1 syncvg v rootvg常用操作常用操作-镜像镜像拆镜像（rootvg） lsvg M rootvg ; 检查有效的pv, 确认hdisk1坏 unmirrorvg rootvg hdisk1 bosboot a d /dev/hdisk0 bootlist m normal hdisk0 cd0 mkboot c d /dev/hdisk1 sysdumpdev l ; 检查dump所在的lv(缺省hd6) sysdumpdev P p

17、/dev/hd6; reducevg rootvg hdisk1 rmdev dl hdisk1 shutdown -Fr常用操作常用操作-HACMP的操作的操作HACMP的操作启动：smitty clstart停止：smitty clstop 启动/停止过程可以查看/tmp/hacmp.out文件：#tail f /tmp/hacmp.out 检查检查Cluster是否运行正常是否运行正常 Cluster进程是否运行：#lssrc g cluster，至少两个进程，且为active。 IP地址是否获取：#netstat i，看boot IP是否变为service ip。 VG是否varyon

18、：#lsvg o 文件系统是否mount：#mount 应用进程是否启动：#ps ef | grep app_name常用操作常用操作-HACMP的操作的操作HACMP相关日志 /usr/adm/cluster.log； 以事件为单位的纪录 /tmp/hacmp.out； 详细记录 /usr/sbin/cluster/history/cluster.常用操作常用操作-dump设置设置dump的有关设置 估算系统dump的大小，在系统最繁忙时（内存使用最多）# sysdumpdev -e0453-041 Estimated dump size in bytes: 53477376 # lsps

19、-aPage Space Physical Volume Volume Group Size %Used Activepaging00 hdisk0 rootvg 480MB 1 yeshd6 hdisk1 rootvg 544MB 1 yes 当前的设置#sysdumpdev -lprimary /dev/hd6- dump的主设备secondary /dev/sysdumpnullcopy directory /var/adm/ras- dump拷贝的目录forced copy flag TRUEalways allow dump TRUE hd6应比估算值稍大。常用操作常用操作-dump

20、设置设置 /var/adm/ras 是默认的dump拷贝目录，比较估算值，保证/var文件系统有足够的剩余空间拷贝dump文件。否则机器重起时会提示用户插入磁带。 dump文件名为vmcore.# 建立一个新的dump设备#smitty lv例如：lv_name= dump_lv, type=sysdump#sysdumpdev P p /dev/dump_lv故障处理故障处理故障处理故障处理-故障的定义故障的定义弄清楚系统发生了什么问题 系统现在能做什么？不能做什么？ 故障什么时候发生的？ 有没有做平时不同的操作？ 故障有没有规律？定时还是不定时？发生的频率有多高？ 是一台机器出现故障还是多

21、台机器故障？故障现象是否相同？ 最近有没有做改动？如安装了新的硬件、软件，改变了系统的一些设置(如 HACMP配置)等 。故障处理故障处理-故障信息的收集故障信息的收集收集故障信息对于判断、诊断故障原因，修复系统非常重要。系统故障记录(errorlog) errdemon 进程在系统启动时自动运行 记录包括硬件、软件及其他操作信息 故障记录文件为/var/adm/ras/errlog，可备份下来或拷贝到别的机器上分析 errpt 命令的使用(普通用户权限也可使用)故障处理故障处理-故障信息的收集故障信息的收集控制面板上的LED 代码 8 位代码，通常系统故障灯会同时亮起。某些机型还会同时显示故

22、障设备位置代码。（注：S85正常启动过程中有合法的8位代码。） 4 位代码，通常是Exxx。 3 位代码，通常为0yyy，只看后3位。 8 位和4位代码可查看系统服务手册 (Service Guide)。 3 位代码可查看系统诊断手册(Diagnostic Information for Multiple Bus System)。故障处理故障处理-故障信息的收集故障信息的收集 控制面板上的LED 代码 查看Diagnostic Information for Multiple Bus Systems手册故障处理故障处理-故障信息的收集故障信息的收集控制面板上的LED 代码 （续） 闪动的 88

23、8, 系统崩溃，硬件或软件原因造成。按reset 键会显示更多内容。 888-102 一般为软件故障（888-102-207 例外） 系统会产生一个dump。 888-102-xxx-0C9 系统正在做dump, 请等待。 888-102-xxx-0C0 系统dump完成，可关电重启。 888-103 或 105 硬件故障，一般有 SRN 代码及位置代码。故障处理故障处理-故障信息的收集故障信息的收集SMS (System Management Service) 故障记录 如何进入SMS 菜单当主控台出现键盘图标后(LED 显示E1F1时)按F1键。字符终端按1键。（X80 机型则无论是字符主

24、控还是图形主空台，一律按键盘左上角的1键） 选择Utilities“,选择Error Log, 抄下8位故障代码 在SMS 中还可以更改系统启动顺序表#mail系统会向root用户发mail报告出错信息。通常系统出现故障后没有进行检查修复，系统会定时提醒root故障处理故障处理-故障信息的收集故障信息的收集其他用于收集系统信息的命令 lsdev -C 系统设备信息#lsdev -Cc diskhdisk0 Available 00-06-00-2,0 4.5 GB 16 Bit SCSI Disk Drivehdisk1 Available 00-06-00-1,0 4.5 GB 16 Bit

25、 SCSI Disk Drivehdisk2 Defined 00-06-00-4,0 16 Bit SCSI Disk Drive lspv 查看物理卷信息#lspvhdisk0 0007821160af3d76 rootvghdisk1 000782117f571294 rootvghdisk2 0000000045c45bde datavg lsvg 查看卷组信息故障处理故障处理-故障信息的收集故障信息的收集#lsvg datavgVOLUME GROUP: datavg VG IDENTIFIER: 0000000055e2458bVG STATE: active PP SIZE: 4

26、 megabyte(s)VG PERMISSION: read/write TOTAL PPs: 2169 (8676 megabytMAX LVs: 256 FREE PPs: 1 (4 megabytes)LVs: 3 USED PPs: 2168 (8672 megabytOPEN LVs: 2 QUORUM: 2TOTAL PVs: 1 VG DESCRIPTORS: 2STALE PVs: 0 STALE PPs: 0ACTIVE PVs: 1 AUTO ON: yesMAX PPs per PV: 2032 MAX PVs: 16#lsvg -l rootvgrootvg:LV N

27、AME TYPE LPs PPs PVs LV STATE MOUNT POINThd5 boot 1 1 1 closed/syncd N/A . lv00 jfs 51 102 1 closed/stale /ibmcxxlv01 jfs 1 1 1 open/syncd /cics_regionslv02 jfs 4 4 1 open/syncd /var/mqm 故障处理故障处理-故障信息的收集故障信息的收集l sl pp 查看文件组信息# lslpp -L |grep 23100020.devices.pci.23100020.rte 4.3.2.7 C IBM PCI 10/100

28、 Ethernet Adapt看某个文件组是否已安装，如以太网卡驱动。也用于查询补丁程序的版本。l sattr查看设备参数设置# lsattr -El ent2busio 0 x7fffc00 Bus I/O address Falsebusintr 9 Bus interrupt level Falseintr_priority 3 Interrupt priority Falsetx_que_size 512 TRANSMIT queue size Truerx_que_size 256 RECEIVE queue size Truerxbuf_pool_size 384 RECEIVE

29、buffer pool size Truemedia_speed 10_Half_Duplex Media Speed Trueuse_alt_addr no Enable ALTERNATE ETHERNET address Truealt_addr 0 x000000000000 ALTERNATE ETHERNET address Trueip_gap 96 Inter-Packet Gap True 故障处理故障处理-故障信息的收集故障信息的收集l scf g查看VPD 信息（Vi rtual Product D ata)# lscfg -vl ssa1 DEVICE LOCATION

30、 DESCRIPTION ssa1 30-68 IBM SSA Enhanced RAID Adapter (14104500) Part Number.097H0645 FRU Number.097H0645 - 备件号 Serial Number.C8217227 EC Level.0000F20825 Manufacturer.IBM053 ROS Level and ID.7201 - 微码版本 Loadable Microcode Level.04 Device Driver Level.00 Displayable Message.SSA-ADAPTER Device Specif

31、ic.(Z0).DRAM=032 Device Specific.(Z1).CACHE=0 Device Specific.(Z2).000000062955dab2 Device Specific.(YL).P2-I7 C32/C33 检测所有的硬盘、设备，更新ODM等 570: SCSI 硬盘 80C: SSA 硬盘 581: TCP/IP 子系统Stage 1Stage 2Stage 3故障处理故障处理-系统不能启动系统不能启动 系统停在Stage 1，可能为电源、系统板、CPU、内存等硬件故障。记录故障代码通知IBM工程师。 系统停在Stage 2，可能是启动顺序表(bootlist)

32、损坏或I/O子系统故障。可尝试进入SMS 菜单检查启动顺序表，并修改。 若在选择bootlist时没有硬盘设备可选或显示的硬盘信息不正确则可能是硬盘故障。 若根本没有SCSI设备可选则链路有问题。 系统停在Stage3，可能是硬盘数据损坏，系统设置文件出错，或I/O子系统故障。故障处理故障处理-系统停在系统停在551，555或或557发生在系统启动的第三阶段 (Stage 3)，可能是： 文件系统损坏 文件系统日志(jfslog)损坏 rootvg中有坏硬盘修复方法 用系统光盘或系统备份带启动（必须与硬盘中的操作系统版本一致） 启动后选择选项3Start Maintenance Mode fo

33、r System Recovery Access a Root Volume Group Access this volume group and start a shell before mounting the file systems故障处理故障处理-系统停在系统停在551，555或或557 格式化文件系统日志(jfslog)# /usr/sbin/logform /dev/hd8 检查修复文件系统# fsck -y /dev/hd1 （/home 文件系统）# fsck -y /dev/hd2（/usr 文件系统）# fsck -y /dev/hd3（/tmp 文件系统）# fsck

34、-y /dev/hd4（/ 文件系统）# fsck -y /dev/hd9var（/var 文件系统）. .用 exit 命令退出，文件系统会自动 mount 起来。 重建bootimage # lslv -m hd5 找出bootimage所在的硬盘，如hdisk0# bosboot -ad /dev/hdisk0# bootlist -m normal /dev/hdisk0 重建启动顺序表。故障处理故障处理-系统停在系统停在551，555或或557 重启动系统# shutdown -Fr如上述步骤不奏效 用系统备份带恢复系统。 如备份带不能恢复，用诊断光盘（Diagnostic CDRO

35、M）检查是否坏硬盘。 通知IBM工程师。故障处理故障处理-主控台不能登录主控台不能登录 字符终端有时会出现不能登录的情形，可先尝字符终端有时会出现不能登录的情形，可先尝试关掉终端，重开。如果不行则可能是试关掉终端，重开。如果不行则可能是getty进程进程运行不正常。运行不正常。远程 telnet 登录检查getty进程是否运行正常# ps -ef |grep consoleroot 29170 1 0 Jul 24 lft0 0:00 /usr/sbin/getty /dev/console如getty正常，查看主控台端口是否正确# lscons查看主控台设备/dev/tty0# lsdev

36、-C -l tty0查看端口是否可用，连线是否正确tty0 Available 01-S1-00-00 Asynchronous Terminal# lsattr -El tty0 看端口参数是否正确，如波特率故障处理故障处理-主控台不能登录主控台不能登录如getty没有运行在主控台上，检查/etc/inittab文件有否cons:0123456789:respawn:/etc/getty /dev/console更正后运行init Q 命令激活主控端口。如getty确实在运行，则可能是终端的硬件问题。故障处理故障处理-CDE图形界面挂死图形界面挂死CDE 运行时不要更改网络参数（如：主机名和

37、IP 地址）更改网卡设置，请先退出CDE图形环境，选择命令行方式登录，在字符界面下更改。如CDE 已经挂死 远程 telnet 登录 找出所有dt有关的进程用kill命令杀掉# ps -ef |grep dt . .# kill PID 检查当前主机名# hostname uname -atscf50故障处理故障处理-CDE图形界面挂死图形界面挂死 查看主机名是否对应有效的IP地址# netstat -i |grep tscf50 tr0* 1500 9.185.40 tscf50 506049 0 28247 0 0 更改主机名或IP地址，使主机名与当前有效的IP地址存在对应关系。# smi

38、tty tcpip 重新启动CDE界面# /etc/rc.dt HACMP环境下可把主机名alias到127.0.0.1上# cat /etc/hosts127.0.0.1 loopback localhost tscf50 # loopback (lo0) name/addressbvg故障处理故障处理-系统系统dump发生在系统崩溃时，AIX会做dump(系统内存的快照)。此时机器会显示闪动的888 102 xxx 0cx 代码：0c9系统dump 进行中。0c9状态可能会维持超过2分钟，不要关电和按reset, 等待dump做完。0c0dump 成功完成，这时可以断电重起。0c2 手动启

39、动dump 功能0c4dump 设备空间不足，只有部分信息保存下来0c5 不明原因导致dump 失败 mostly hdisk or sysplaner error故障处理故障处理-系统系统dump一般dump是由于软件出错引起(888-102-207 除外)，机器通常可以重启。重启时可能提示用户插入磁带拷贝dump文件，不要选择退出，这样会丢失重要的故障信息。故障处理故障处理-系统系统dumpdump打包# snap -a -o /dev/rmt# 或# snap -a -c 把/tmp/ibmsupt目录做成一个压缩文件 snap.tar.Z如果/tmp文件系统空间不够，可用-d dire

40、ctory 参数指定别的目录代替/tmp/ibmsupt#smitty dump故障处理故障处理-诊断程序诊断程序(Diag)的使用的使用运行故障诊断程序(Diagnostic)，对系统硬件进行检查和诊断。 当发现有硬件故障时应立即使用diag#diag 选高级诊断（Advance Diagnostic) 选问题诊断（Problem Determination) 或 选系统检查（System Verification)(选PD 会对系统错误记录进行分析) diag运行后会给出SRN 代码，故障设备名称及百分比，地址代码等。 对于PCI机型应在系统报错7天之内运行diag程序对出错记录里的sen

41、se数据进行分析。故障处理故障处理-诊断程序诊断程序(Diag)的使用的使用concurrent 模式 多用户模式下（系统正常运行时）运行硬盘上的诊断程序。如果可能尽量使用该模式(但不要在应用程序运行时使用）。 # diag运行该命令需要root权限Stand-alone 模式 用硬盘上的诊断程序，在机器启动时钥匙打到Service 位置（MCA机型）或按F6/6（PCI机型）。系统启动后自动运行诊断程序。Diagnostic CDROM 用诊断光盘启动，通常在硬盘无法启动时使用。故障处理故障处理-诊断程序诊断程序(Diag)的使用的使用FUNCTION SELECTION 801002Mov

42、e cursor to selection, then press Enter. Diagnostic Routines This selection will test the machine hardware. Wrap plugs and other advanced functions will not be used. Advanced Diagnostics Routines This selection will test the machine hardware. Wrap plugs and other advanced functions will be used. Tas

43、k Selection(Diagnostics, Advanced Diagnostics, Service Aids, etc.) This selection will list the tasks supported by these procedures. Once a task is selected, a resource menu may be presented showing all resources supported by the task. Resource Selection This selection will list the resources in the

44、 system that are supported by these procedures. Once a resource is selected, a task menu will be presented showing all tasks that can be run on the resource(s).F1=Help Esc+0=Exit F3=Previous Menu 故障处理故障处理-诊断程序诊断程序(Diag)的使用的使用选择诊断或高级诊断进入以下菜单：DIAGNOSTIC MODE SELECTION 801003Move cursor to selection, t

45、hen press Enter. System Verification This selection will test the system, but will not analyze the error log. Use this option to verify that the machine is functioning correctly after completing a repair or an upgrade. Problem Determination This selection tests the system and analyzes the error log

46、if one is available. Use this option when a problem is suspected on the machine.系统检查（System Verification)只检查设备的当前状态，并不分析故障记录问题诊断（Problem Determination）检测设备并分析故障记录，解读sense数据，给出SRN代码。PCI机型出现machine check checkstop 故障，必须在7天内运行故障诊断。故障处理故障处理-诊断程序诊断程序(Diag)的使用的使用定时的mail报错信息的处理 每天定时收到mail报错信息，而所指的硬件确实是好的。这

47、种情况经常发生在系统意外掉电后，或更换设备后没有运行诊断程序。 处理方法 #diag 选高级诊断(Advanced Diagnostics Routines) 选系统检查(System Verfication) 选mail里所指的设备，如果报电源、风扇故障，选择 sysplanar0 进行检查。 如果硬件确实没有问题，诊断程序会提示该设备曾 经有出错信息，问是否已更换或更正？选中该设备 按F7 确认。 退出诊断程序，如果还是继续收到mail，通知IBM故障处理故障处理-诊断程序诊断程序(Diag)的使用的使用ADVANCED DIAGNOSTIC SELECTION 801006From the list below, select any number of resources by movingthe cursor to the resource and pressing Enter. -用回车选中