LINUX系统观察方法

部系列培之

LINUX系察方

法

集股份有限公司

Copyright2011ByNeusoftGroup.AllrightsreservedNeusoft

第一部分概述

第二部分CPU

第三部分内存

第四部分程

第五部分磁

第六部分网

第七部分

Neusoft

概述

Neusoft

操作系的主要能

•与系的硬件行交互并其加以控制

•用程序提供运行境

7June.2009Neusoft

Confidential

操作系内核构

用户级

1羲

7June.2009Neusoft

Confidential

系控制的硬件

基本的硬件

•CPU

•内存

•磁

•网卡

7June.2009Neusoft

Confidential

用提供的系用

常用的系用：

•程控制（如fork,建一个程）

,文件系控制（如open,打文件）

•系控制（如time,取得系）

•内存管理（如mlock,内存面加）

•网管理（如gethostid,取主机号）

•Socket®®］（如send,通socket送消息）

•用管理（如getuid,取用号）

•程通信（如shmget,取共享内存）

7June.2009Neusoft

Confidential

系察工具

•性能控工具

系自：vmstat、mpstat、sar、iostat、top

第三方：nmonlinuxperfctat

•跟踪定位工具

系自：top、pstack、strace'Itrace、oprofile

第三方：systemtap、gdb

7June.2009Neusoft

Confidential

系察三步走

•第一步：全局控

什有候系的响会慢？

•G通常是硬件源利用率和致，通nmon,linuxperfstat等全局

~控工具可以察并得出°

"Q在做性能，使用全局控工具是系察的第一步°

7June.2009Neusoft

Confidential

系察三步走

•第二步：程

审?是占用了大量的CPU?是致磁I/O和？

’"G通常可能由某个或某些行大数据量操作的程致，通

7top,iotop等控工具可以察并得出°

"Q在做性能，使用控工具是性能控的第二步°

7June.2009Neusoft

Confidential

系察三步走

•第三步：定位函数

程中的哪些函数致了源占用？是系用是用本身？

一般来系用很少出，大都是用用未化使用系用致，用

strace,pstack,topsys等跟踪定位工具可以察清楚°

"Q在做性能，使用跟踪定位工具是性能控的第三步°

7June.2009Neusoft

Confidential

源消耗的常用

•利用率：用于量源的忙程度，通常由一段隔的平

均百分比来表示°

•和度：常是排等候源的工作的估量，可以量一段

的平均或某一特定点的°于不需要排的源，

和度可以由数合表示°

7June.2009Neusoft

Confidential

系察的基本域

•CPU

•程

•内存

•磁

7June.2009Neusoft

Confidential

CPU的物理形

CPU物理构可分内核、基板、填充物、封装以及接口五部

分，左下。右下是一个双核CPU的例，它有两个物理

内核。

§A

>X

0D

^

0>

1，

一

s■。

«，

咎

i，

2

:

s0

0

5

7

7June.2009Neusoft

Confidential

CPU的物理形

CPU的内核包括：运算器、寄存器和控制器。

•运算器

运算部件，可以行定点或专点的算运算操作、移位操作

以及操作，也可行地址的运算和°

•寄存器

寄存器部件，包括通用寄存器、用寄存器和控制寄存器°

•控制器

控制部件，主要指令，并且出完成每条指令所要行

的各个操作的控制信号°

7June.2009Neusoft

Confidential

CPU的工作原理

CPU的主要运作原理，是行存于存器里的一系列指令。可分

四个段：提取(Fetch)、解(Decode)、行(Execute)

和字向(Writeback)°

•提取

人人存器或高速冲存器中取出指令，放入指令寄存器°

•解

指令被排解有意的片断。根据CPU的指令集架构(ISA)定

籽数解指令°

­行一

接到各能行所需运算的CPU部件°

•写回

以一定格式将行段的果的写回。

7June.2009Neusoft

Confidential

CPU的性能指

CPU的性能指分两大：硬指和指°

•里的硬指是指CPU物理形的一些性能指，如主

外、倍、一存、二存等等，所以也可以是CPU

的物理指或静指°

­指是指CPU在操作系运行段，随着系运行状的

化而化的性能指，如用利用率、系利用率、空

率等等，所以也可以是CPU的系指或指。

7June.2009Neusoft

Confidential

CPU的性能指

硬指

基本的物理指包括：主、外、倍、存、接口型、

内存速度、指令集、封装技、核心型、核心数量、

制作工等等°

性能中通常我最注的几个硬指有:核心型，核

心数量，主，位数°

7June.2009Neusoft

Confidential

CPU的性能指

•核心型

了便于CPU、生、售的管理，CPU制造商会各CPU核

心出相的代号，$0Intel(r)Xeon(r)CPUE5420,因不同核心型

CPU的主、存、工等物理指可能都不同，故核心型在某程

度上决定了CPU的工作性能°

•核心数量

在一个物理理器上，可以有两个甚至更多的理器核心，如4核

CPU(即个理器上有4个理器核心)；

・主

CPU内核的率，如2.50GHz,主和的运算速度有一定系

，但没有一个公式能定量二者之的系，因CPU的运算跟其他

性能指有，但提高的主于提高CPU的运算速度确至重要的

O

•位数

CPU一次能同寄存和理的二制］位数，与寄存器的位数。指

令集的位数与CPU位数是向上兼容的系。

7June.2009Neusoft

Confidential

CPU的性能指

a/proc/cpuinfo

/proc/cpuinfo是取系CPU物理指的根源文件，它可以看

物理CPU的个数，每个CPU的物理核心数量，CPU的型号和主

等信息，如下：

[root(?LINUX-RH-PC-62~lttcat/proc/cpuinfo

processor：0

uendor_id：Genuinelntel

cpufamily：6

nodel：23

nodelname：Intel<R>Core<TM>2DuoCPUE?40002.80GHz

stepping：10

cpuMHz：1596.000

cachesize：3072KB

physicalid：0

siblings：2

coreid：0

cpucores：2

apicid：0

fpii:yes

£pu-exception:yes

cpuidlevel：13

wp：yes

flags：fpuvmedepsetscnsrpaeneecx8apicsepntrrpgencacnoupatpse36elflushdtsacpinnxfxsrssesse2ssht

nsyscallnxInconstant_tscpninonitords_cplesttr>2cxl6xtprlahf-ln

bogonips:5589.68

elflushsize：64

cache_alignnent：64

addresssizes：36bitsphysical-48bitsuirtual

powermanagement：

7June.2009Neusoft

Confidential

CPU的性能指

看物理CPU个数：cat/proc/cpuinfo|grepphysical|grepid

[rootPLINUX-RH-PC-62~]ttcat/proc/cpuinfo'grepphysicalIgrepid

physicalid：0

physicalid：0

看CPU的物理核心数量：cat/proc/cpuinfo|grep'cpucores1

[root(?LINUX-RH-PC-62北catzproc/cpuinfoIgrep,cpucores*

cpucores：2

cpucores：2

看CPU的型号和主：cat/proc/cpuinfo|grep'modelname'

[rootPLINUX-RH-PC-62catZproc/cpuinfoSgrep*modelname'

modelname：Intel<R>Core<TM>2DuoCPUE7400(?2.80GHz

modelname：Intel<R>Core<TM>2DuoCPUE7400P2.80GHz

看CPU的才旨令集位数：cat/proc/cpuinfo|grepflags|grep1Im

|wc-I

[root&LINUX-RH-PC-62cat/procZcpuinfo!grepFlagsigrep'Im'；v/c-1

2

7June.2009Neusoft

Confidential

CPU的性能指

后xen服后看物理CPU个数将不再准确，如下

[root(?BL460G7-76cat/proc/cpuinfo!grepphysical!grepid

physicalid：0

physicalid：1

physicalid：2

physicalid：3

physicalid：4

physicalid：5

physicalid：6

physicalid：7

physicalid：8________

采用1g程;技的CPU,processor会超物理CPU个数乘以4物理核心数

量，如下

[rootPBL460G7-76catZproc/cpuinfo；grepphysical!grepid

physicalid：1

physicalid：0

9

[POOt(?localhost々IMcatZproc/cpuinfoSgrepcpucores'

cpucores：4

[rootGlocalhostcat/proc/cpuinfo!grepprocessor!wc-I

16

7June.2009Neusoft

Confidential

CPU的性能指

于linux系而言，CPU的系指主要有八个：用

（user）、低先（nice）、系（sys）、空

（idle）、磁I/O等待（iowait）、质中断（irq）

、中断（softirq）、失（steal）°

CPU利用率=(user+nice+sys+iowait+irq+

softirq+steal)/位xlOO%

CPU利用率=(1-idle)/位xlOO%

7June.2009Neusoft

Confidential

CPU的性能指

•%usr

生在用（用程序）行的CPU百分比°

•3^）nice

生在用且先nice正的CPU百分比°

,%sys

生在系（核心）行的CPU百分比°

•%idle

于空状的CPU的百分比°

•%iowait

系中有磁I/O求CPU于等待的百分比°

•%irq

硬件起的中断信号引起的CPU花的百分比°

,%softirq

件起的中断信号引起的CPU花的百分比°

,%steal

管理程序另一个虚CPU提供服而等待的百分比

7June.2009Neusoft

Confidential

CPU的性能指

/proc/stat

/proc/stat是取CPU系指的根源文件，几乎所有于CPU

的察工具都是人人攸件取CPU的信息后再次算得出的°

stat文件中以CPU的每行的每个参数的定如下：

user：人人系后始累到当前刻，用的CPU；

nice:队系启始累到当前亥U,nice正的CPU；

sys:八人系启始累到当前刻，系的CPU；

idle:八人系启始累到当前刻，空的CPU；

iowait：八人系启始累到当前亥U,磁等待的CPU；

irq:八人系后步累到当前亥U,硬中断；

softirq:八人系一启始累到当前亥U,中跖;

steal:八人系启始累到当前亥U,管理虚CPU°

位：jiffies=0.01秒

CPU=user-Fsystem-Fnice-Hdle-Howait-i-irq45oftirq+steal

7June.2009Neusoft

Confidential

CPU的性能指

[root(?localhostcat/proc/stat

cpu10144158972266519463242521643832338483280

cpu0289411786165916062673200750

cpul5048531182059156790566812430

cpu2190547110935916465418881270

cpu3266319719459164160538511880

cpu4165429511459167020493118530

cpu572753996745914439414835133750

cpu6196452893676759065183463011114030

cpu?1?020682459165877499411830

cpu82306350665915730613779111120

cpu92242256545916563559711570

cpul01019451432551559133628492211550

cpull1076813413948591436461087511770

cpul23312050195916744737411240

cpu13238204939591558991628812?0

cpul422350153752159091105149561254123290

cpul550950318785912087725221057180920

intr62741631359184930030320001000400000000000000000000000000000000000000000^

00000000000000000000000000000000000000000000000000000003500000

00000000000000000020876400000000000000002722000000075900000000000000033475

844000000000000000000000000000000000000000000000000000000000000

ctxt83923060

btine1307959683

processes183874

procs_running1

procs_blocked1

7June.2009Neusoft

Confidential

CPU察工具

在介具体的察工具之前，首先要介一下proc文件系，因所

有的性能控工具取的性能指都是Mproc文件系取并算得出

z/O

proc文件系是一个文件系,它只存在内存当中，而不占用外存

空。它以文件系的方式系内核数据的操作提供接口。用和

用程序可以通proc得到系的信息，并可以改内核的某些参数’

由于系的信息，如程，是改的，所以用或用程序取proc

文件，proc文件系是人人系内核出所需信息并提交的°

proc文件系包含很多文件，其中/proc/cpuinfo和/proc/stat是

CPU信息的根源文件°

7June.2009Neusoft

Confidential

CPU察工具

ampstat

mpstat是MultiprocessorStatistics的写，是系控工具

在多CPUs系里，它不但能看所有CPU的平均状况信息，而且

能看特定CPU的信息。

irootPlocalhostJUnpstat1

Linux2.6.18-238.el5(localhost.localdonain>201•1年06月21日

37分223

14Nira

&t、F5CPUzuserzmcezsysXiowaitzsoftzstealXidleintr/s

3?分2345000

rs1.

、5all0.770.000.412.190.182544.34

分0.0096.45

3rs724^40

e^、1all0.690.313.120.1295.762569.00

3rs7分2530.000.00

40日

1J

07、rrsall0.315.4993.452396.00

3?分2650.620.000.120.00

40口

07.rrs1Iall5.992404.00

37分27-0.560.000.250.060.0093.13

rsm

07、r0.940.880.313164.00

3rs7分28:all0.004.250.0093.62

0+、F531.190.0692.393616.00

3?分29aall0.001.504.3?0.500.00

Br、rr5

二

3?分30all0.870.000.8?5.060.000.310.0092.883779.00

07rr5

^10.00

31rs7分31­«all0.620.000.562.870.000.3195.632342.00

6■，

‘F513all0.810.000.754.620.000.250.0093.573039.00

37分32

14

Brrrs30.001.124.250.000.250.003604.00

3?分334all1.0093.38

37344—all0.690.000.445.740.000.120.0093.013115.00

分4

3?354—all0.750.000.625.250.000.190.0093.192492.08

分4

4

4all0.690.000.445.680.000.190.0093.003116.00

—

7June.2009Neusoft

Confidential

CPU察工具

mpstat的-P可以指定打印具体的CPU的性能指，可

以打印隔和打印次数，所以mpstat是取CPU指并出走的

理想工具°

[rootPlocalhostJitnpstat-P81

Linux2.6.18-238.el5<localhost.localdonain>2011年06月21日

4-R252

&\t5CPUzuser>:niceNsysZiowaitZirqzsoftZstealZidleintr/s

4iS23

&*t80.000.000.000.000.000.000.00100.000.00

46^dc254

\580.000.000.000.000.000.000.00100.000.00

4DC25

B1I-5680.000.000.000.000.000.000.00100.000.00

4kon2

4.5780.000.000.000.000.000.000.00100.000.00

-R2

4BdY-2s880.000.000.000.000.000.000.00100.000.00

80.000.000.000.000.000.000.00100.000.00

4&^tC259

sD

4S30080.000.000.000.000.000.000.00100.000.00

.附3

4C30180.000.000.000.000.000.000.00100.000.00

.胪

D80.000.000.000.000.000.000.00100.000.00

4.3

4380.000.000.000.000.000.000.00100.000.00

B.+03

4380.000.000.000.000.000.000.00100.000.00

B4.-uO04

4130580.000.000.000.000.000.000.00100.000.00

B4'3<

430680.000.000.000.000.000.000.00100.000.00

430780.000.000.000.000.000.000.00100.000.00

430880.000.000.000.000.000.000.00100.000.00

430980.000.000.000.000.000.000.00100.000.00

431080.000.000.000.000.000.000.00100.000.00

80.000.000.000.000.000.000.00100.000.00

7June.2009Neusoft

Confidential

CPU察工具

Atop

top是Linux下常用的性能分析工具，能示系中各个程

的源占用状况，也可以全面的的示CPU源情况°

[root(?DL360-25Rtop

top-14：36：35up7days.20:28,1user.loadaverage：0.00.0.00.0.00

Tasks:199total.1running,,198sleeping，0stopped,.0zonbie

Cpu00.6zus>0.lzsy.0.0znir9?.6zidf,10.0zhi.0.0zsi.0.0zst

Cpul2.3NUS.1.0zsy.0.0zni>.91.4zid,5.2zwaf.0.0zhiM0.2zsir0.0zst

Cpu22.3NUS.0.3zsy,0.0zni«.92.3xid,5.0zwa«.0.0%hi.0.1zsi,0.0ZSt

Cpu31.6NIIS「0.？zsy,93.?zid.3.8xwa«.0.0zhi.0.lzsi-0.0ZSt

Cpu42.2ZUS,0.3zsy，88.6Nid,8.?zv/a^0.0zhi^0.1zsi„0.0ZSt

Cpu51.0ZUS>0.4zsy,0.0Zni-95.6zid,2.9Nwa,0.0Nhi.0.lzsi-0.0ZSt

Cpu61.3zus0.1zsy^96.4zid.2.2zsa,0.0zhi，0.1zsi„0.0ZSt

Cpu70.9zus,B.Tzsy,.0.0Nni.95.9zid„2.3zwa«.0.2zsir0.0ZSt

Mem：24682292ktotal,24505712kused,176580kfree,197848kbuffers

Sviap：51199112ktotal,56292kused-51142820kfree,23664412kcached

1PIDUSERPRUIRTRESSHRSzCPUzMEMTIME*COMMAND

1root15010348684576S0.00.00:01.69init

2rootRT-5000S0.00.00:00.10nigration/0

__1root3419000S0.00.00:00.00ksoftirqd/0

7June.2009Neusoft

Confidential

CPU察工具

asar

sar也是Linux下常用的性能分析工具，sar可以示CPU、

运行列、磁I/O、分（交E）、内存、CPU中断、网等性能

数据，其中根据程察CPU的使用情况是它的一个亮点°

iroot&localhostgrublitsar-x2811311000

Linux2.6.18-238.el5(localhost.localdonain>2011年06月21日

4uD46

PIDninfIt/snajfLt/szuserzsystemnsv/ap/s

4un47

281130.000.003.002.000.00

4uD48

281136.000.001.003.000.00

4MR49

450281130.000.002.002.000.00

dC70

451281130.000.002.006.000.00

un70

452281130.000.001.983.960.00

uD

453281130.000.002.004.000.00

uD

4B54281130.000.002.003.000.00

455281130.000.002.003.000.00

uD

456281130.000.003.003.000.00

uQ

281135.000.001.005.000.00

7June.2009Neusoft

Confidential

CPU察工具

＞其他察工具

系安装包中的工具有vmstat'iostat'uptime等，它也

可以人人不同的角度察CPU信息。

第三方件中，nmon是比好的一款，它集合了之前介工具

的一些点并可以自出走°

linuxperstat是基于perl的一款工具，它使用CPAN中的

Sys::Statistics::Linux模,其中CPU利用率的算也是通

7proc/stat得出的°

7June.2009Neusoft

Confidential

CPU察分析案例

A本案例是网品的性能。其中CMS的日志子系存在死循

下面来介并分析的全程°

»首先启linuxperfspt脚本控系全局性能，然后启CMS日志子系

cms-log-1.0.0,启后CPU利用率持定在12%〜13%之，

将日志系停掉后CPU利用率零。

7June.2009Neusoft

Confidential

[root@BL360-24peri]#,/linuxperfetat1

Utilisation

Time%CPU%Mem%Disk%Ne

2011-03-0109:59:319.530.000.04

2011-03-0109:59:329.530.000.04

2011-03-0109:59:339.530.000.01

2011-03-0109:59:349.530.000.00

2011-03-0109:59:359.530.000.01

2011-03-0109:59:369.530.000.02

2011-03-0109:59:379.530.000.11

2011-03-0109:59:389.530.000.01

2011-03-0109:59:399.530.000.01

2011-03-0109:59:409.530.000.08

2011-03-01