Solaris下的性能与调整

1、Solaris下的性能与调整ZT着手性能问题性能监测从暴露出来的问题开始知道你的系统在正常情况下会怎样寻找性能瓶颈一些常见问题和一些建议64位的运算与容量能带来什么空闲内存优先内存页面调度隐私的共享内存(ISM-Intimate Shared Memory)与共享内存有关的交换空间设置进程间通信(IPC)的参数当一个系统运行缓慢性能下降的时候，很难知道原因是什么。是内存泄漏，磁盘 子系统瓶颈，还是某个特定应用程序在可扩展性方面有限制？有一些途径可以发 现和了解引起性能问题的根源，并且有可能消除它。本文给出了从哪里入手的一些建议。文中介绍了如何着手性能方面的考虑以及如 何定位常见的性能瓶颈，还介

2、绍了与性能密切相关一些概念，比如私有的共享内 存(ISM-Intimate Shared Memory)与优先内存页面调度。文章重点是放在Sol aris 2.6, 7,和8操作环境下。着手性能问题性能，或许比计算机系统其它方面的行为更需要有通盘的考虑。为了识别来自一 个或多个组件的问题根源，必须要采取结构化的方法。实际的结果是，解决性能问题过程中最重要的一个部分是定义你正在试图解决的 问题。从实际应用的方面来讲，这意味着定义一个操作或者测试用例，从而可 以：知道系统当前有多快。知道系统需要快X倍；或者知道系统曾经在不同环境下快过X倍。设置基线是开始的第一步。性能分析是由简单明确地定义所需解决

3、的问题开始的 自上而下的一个过程。如果你想要一个系统运行得快一些，你仍然需要定义这个 系统的哪些属性是你想要改进的，以及哪些代价是你可以接受或者不可以接受 的。除非你能够明确地描述出问题症状/机会，想要识别出问题的根源只会是碰 运气。性能分析很象是侦探工作，我们通过证据和观察建立事实依据，非常小心不要陷 入预先想象的与事实不符的结论中一一只有在具备非常压倒性的证据时才确认 猜想。对所有假设都要怀疑。其他人声称的事实实际上只是个可能正确也可能不正确的 假设。如果这个假设是错误的，你可能会是在不正确的依据下工作，从而得出不 正确的结论。这里有一些警告。Solaris操作环境在大多数情形下对于工作负

4、荷的自我性能优 化都是很好的。发行版本越新，需要手工做的性能优化就越少。性能问题的根源 经常被发现是因为一个试图优化性能的行为引起的。首先需要注意应用程序，最 后才是操作环境。任何对系统配置的更改，比如象内存大小和磁盘布局这样的性能设置，都应该检 查其当前的正确性。同样，一个带参数的系统升级也有可能对新操作环境的性能 带来影响。性能监测从暴露出来的问题开始什么操作使你看到性能问题的症状？比如说，是特定类型的数据库查询，文件或网络操作比你期望的慢？在给出测试 用例方面你能把操作步骤做到多具体，例如一个SQL查询或者30行的C程序？最大程度利用你的知识尽可能准确地说明“什么地方出了什么问题”以定义

5、你的 问题。良好的问题说明的例子就像这样：一个SQL查询在VXFS上比在UFS上要花两倍的时间。SVR4消息队列操作在操作环境版本A上比在操作环境版本B上要多花百分之30 的时间。登录进系统A比登录进系统Y多花三倍的时间。一个问题说明不应该包括解决方法或者是可能的解决方法。在大部分的时候，对问题有一个清晰的说明就意味着完成了解决问题过程的一大 半了。在对你试图解决的问题进行说明的时候考虑到用户观点的因素也很重要， 这意味着要从应用程序的角度来看。这和人们的天性相反，人们总是通过实验试 图去证明或者证伪一个可能的原因，而不是依据观察得到的事实来评估一个原因 的可能性程度。不恰当的问题说明就象这样

6、：mpstat的wt列表明等待时间过多。用户任务花时间太长。一个系统和它的应用程序的功能正确性问题与性能问题之间的边界往往是一个 灰色地带。整个系统挂起与进程挂起的问题不在本文讨论范围之内。如果你怀疑 系统的功能不正确，而不是性能问题，那么给你的SUN解决方案中心打电话以找 到一个解决问题的方法。高性能系统的前提是它的功能首先要正确。作为你积极的维护计划的一部分，检查/var/adm/messages中有没有比如磁盘重 试之类的硬件问题或者有没有额外的消息产生也是很有价值的。察看系统的历史信息也非常有价值；如果你的系统曾经有过更好的性能，画一条 时间曲线详细记录何时第一次发现性能变差以及从什么

7、时候开始性能一直很 差。知道你的系统在正常情况下会怎样保存你的系统是如何正常运转的样例是一个好主意。你可以很容易地收集和保存 每月的性能数据，比如：*stat 类：vmstat, mpstat, iostat, vxstatsarps的输出以显示哪些进程在运行（在Solaris 8操作环境下是prstat）另外，有不少商业的和无支持的产品都可以用来做性能监测。一个免费的无支持 的可选产品是SE Toolkit（要获得其各种版本的信息，请看Sun Performance S E Toolkit page）。SE Toolkit报告磁盘活动、CPU利用情况、TCP和网络连接、 内存，以及其他更多信

8、息。在我们的经验里，它安装方便，不需要重启系统，并 且生成容易理解的图形显示。很多这类产品都存在一个共同的问题，就是对不同的硬件配置有不同的门限值。 例如，特定的门限值对于400-MHz的系统可能显得太过，会让这个系统慢得象是 在爬一样，但是对于一个900-MHz的系统却可能是可以接受的。寻找性能瓶颈一旦你已经定义了需要解决的性能问题，下一步骤就是缩小范围到瓶颈产生的地 方。这个阶段有必要问这样一些问题：应用程序能告诉我它看到哪些是瓶颈？拿Oracle作例子，一个Oracle数据库管 理员应该知道BSTAT/ESTATS是什么以及如何运行和理解它们。还是那句话，从 应用程序的角度来看问题，BS

9、TATS/ESTATS可以显示限制了 Oralce性能的瓶颈， 这可以作为进一步分析的指导。大部分的时间花在哪里，是内核还是用户进程？通过vmstat、mpstat、sar、ps、 prstat可以回答这个问题。具有相近类型的所有资源是否同样繁忙？这个问题的意义在于寻找资源的不平 等分布。比如，一个磁盘可能是瓶颈所在，或者一个CPU会比其他CPU更忙。对 CPU，看 mpstat。对磁盘，用 iostat。哪个或哪些进程在使用最多的资源？用这些命令可以看到使用CPU和内存最多 的进程：ps -eo pid,pcpu,args | sort +1nCPU百分比 ps -eo pid,vsz,ar

10、gs | sort +1nK字节的虚拟内存/usr/ucb/ps aux |more输出被排序，使用CPU和内存最多的进程排在上面。Solaris 8操作环境提供了 prstat，它给出CPU和内存使用情况的一个动态注解。 prstat -cvm的输出结果非常有用。我们现在来看看怎用使用一些常见的Solaris命令来开始性能分析。vmstat -使用 vmstat 命令vmstat命令是简单的。这里我们可以看到一个对于正在执行的应用程序，CPU 能力不足的例子。% vmstat 15procs memory page disk faults cpur b w swap free re mf p

11、i po fr de sr m0 ml m2 m3 in sy cs us sy id45 0 0 2887216 182104 3 707 449 6 455 0 80 2 6 1 0 1531 5797 983 61 3 0 958 0 0 2831312 46408 5 983 582 56 3211 0 492 0 0 0 0 1413 4797 1027 6 9 31 00 0 2830944 56064 2 649 656 3 806 0 121 0 0 0 0 1441 4627 989 69 3 1 00 0 2827704 48760 4 818 723 6 800 0 12

12、1 0 0 1 0 1606 4316 1160 66 34 00 0 2824712 47512 6 857 604 56 1736 0 261 0 0 1 0 1584 4939 1086 6 8 32 00 0 2813400 47056 7 856 673 33 2374 0 355 0 0 0 0 1676 5112 1114 7 0 30 0 60 1 0 2816712 49464 7 861 720 6 731 0 110 7 0 3 0 2329 6131 1067 64 36 0 58 0 0 2817552 48392 4 585 521 0 996 0 146 0 0

13、0 0 1357 6724 1059 729 0vmstat输出的第一行总是可以忽略。在procs下面标着r的一列是等待获得C PU的进程运行队列中的进程数。id列是CPU空闲时间。这台机器没有足够的C PU资源以满足进程运行的需要，这可以从它的大部分CPU时间花在用户空间里 看出来（看us”列）。这里有两种办法可供采用第一，增加更多的CPU，或者第二，对应用程序的 代码作性能分析看看是不是应用程序的某部分可以优化。对代码片断作优化可能 会需要非常大量的努力一一而且有时候收到的效果很少。在关系到时间的时候， 最好在考虑你可能的“投资回报”时现实一点。mpstat -使用 mpstat 命令mp

14、stat命令报告每个处理器的统计信息，表格中的每一行代表一个处理器的活 动情况。$ mpstat 5CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys wt i dl0 2003592 3350 2338 1355 43 184 2850 4578 9 6 1 841903044652832139135398140061709 6 1 8525035250729521531584331830750812 7 1 8126035751330220821554251810746012 7 0 81CPU minf mjf

15、 xcal intr ithr csw icsw migr smtx srw syscl usr sys wt i dl0 3 0 3879 3773 2754 1832 61 322 339 0 3424 12 7 0 812 0 555 544 264 3040 197 670 112 0 4828 15 6 0 7811 0 188 595 269 3141 219 738 121 0 5291 18 6 1 7565 0 185 585 279 2660 211 673 110 0 5420 22 9 0 69CPU minf mjf xcal intr ithr csw icsw m

16、igr smtx srw syscl usr sys wt idl 0 6 0 4028 3633 2620 1695 51 287 343 0 2857 12 8 0 807 0 150 545 265 3044 196 663 117 0 4374 14 4 0 8114 0 226 602 279 2823 225 707 103 0 4715 22 4 1 732 0 125 600 282 2810 230 699 118 0 4665 18 4 0 78mpstat可以确定每一个CPU都在花时间做什么：比如，分配给系统、用户、等 待、空闲时间、系统调用、锁竞争、中断、错误、交叉调用

17、。有关每一列的详细含义请看mpstat(1M)的手册页。iostat -使用 iostat 命令iostat命令报告磁盘的使用情况。表格中的每一行代表一个磁盘的活动信息。常用的选项有这些：选项说明N按cXtYdZ格式指定磁盘。X报告扩展统计信息。z这个选项在Solaris 8操作环境中是新的。它使得在采样间隔中没有磁盘活动的 那些行被省略掉，这样可以让输出简短一些并且突出那些有活动的磁盘。p和P报告分区前(per-partition)的I/O统计信息，当察看内存交换设备的时候有 用。E对于找出产生错误的磁盘有用。表1： iostat的选项iostat也可以透过NFS报告磁盘活动，不过可能产生比

18、较长的报告。truss -你的朋友truss(1M)工具执行制定的命令并且生成一个追踪记录，包括它执行的系统调用、 接收到的信号、导致的机器错误(traps/interruptions译者注)。truss也可以用来追踪一个正在退出的进程。这是一个非常有用的工具，可以定 位应用程序向内核请求了哪些变慢了或者是被过度使用的资源。如果你不了解truss，那么可以看看手册页并且试一试。-m选项对于显示例如页 面错误这样的错误非常有用。-c选项可以给出这样一个汇总信息：系统调用错误信号在每一类型系统调用上累计的时间失败的系统调用数目lockstat -资源竞争内核锁可以保护对数据结构的多重更新，并且控制

19、对诸如磁盘缓存、网络缓存、 各种内核缓存这些资源的访问。lockstat执行一个命令，报告在命令执行期间所有内核锁的活动情况，不论请 求锁的是哪个进程或设备。请看lockstat(1M)的手册页。-s 10选项报告在每一 个锁上进行竞争的内核线程栈。trapstat -运行时的陷阱统计trapstat是一个在运行着普通Solaris内核的UltraSPARC?处理器上提供运行时 陷阱(trap)统计信息的工具。对于I-TLB和D-TLB未命中，trapstat能够可 选地显示花在操作系统TLB未命中处理程序中的时间量。对于中断向量陷阱，t rapstat能够可选地显示中断设备。gprof -应

20、用程序性能分析对于C、C+和FORTRAN应用，试试用-xpg选项编译，并且在会产生性能问题的 典型负载下运行这个程序。对生成的tmon.out文件执行gprof。这可以显示出 该应用程序大部分的时间花在哪里。Fortetm TeamWare (以前的 Sun WorkShoptm TeamWare)有很多有用的工 具，比如用图形化的方式表示应用程序的时间都花在哪里的分析工具。要想了解 更进一步的信息，请看Forte TeamWare文档以及Rajat Garg与Ilya Sharapov 的Suntm BluePrints书籍，应用程序的优化技巧：高性能计算(Techniques f or

21、Optimizing Applications: High Performance Computing).proc 工具proc是一个利用/proc的特性来报告比如这样一些进程属性的实用工具：pstack -调用栈ptree -进程关系树pfiles -打开的文件描述符列表pldd -正在运行中的进程使用的动态链接库的列表更多信息请看proc(1)的手册页。3. 一些常见问题和一些建议64位的运算与容量能带来什么？从性能的角度看，可以运行64位应用程序的能力有两大好处。首先是更大规模 的问题能够利用更大的进程地址空间获得有效解决。其次是整数运算可以使用6 4位的寄存器和指令。整体来说，因为代码

22、中的指针和数据结构都更大了所以程序也稍微变大一些。反 过来，这意味着CPU的缓存也很有可能没有足够的缓存行，那些在32位环境下 就能够运行得很好的程序可能会稍微有一点慢。内核线程栈是16Kb而不是8所，不过产生的效果经常是可以忽略的。空闲内存检查一个Solaris系统以确定还有多少空闲内存一直以来都是个容易引起混淆 的地方。对于Solaris 8操作环境之前的版本，要想察看是否内存不够，是不依赖于fr ee列或者sr列的。在fr列中的值并不能指示内存缺乏。页面缓存一直保留 住页面以备再次需要用到它们。虚拟内存子系统只在需要的时候才收回内存。在 SunWorld 文章与 SUN 性能与调整 Ja

23、vatm与 Internet(Sun Performanc e and Tuning - Javatm and the Internet)中这个题目已经被写了很多了。 为了确定是否有内存不足的情况存在，同时检查第12列(sr，也就是扫描率) 和交换分区的磁盘I/O流量(用iostat -P)。如果大量的I/O活动由文件系统产 生并且需要运行页面扫描程序为I/O释放页面，sr列会有比较大的数值。只有在空闲链表缩短到一个门限值(lotsfree，以页面为单位)以下，pageout 扫描程序才运行。任何非活动的并且没有被锁在内存中的进程或文件页面都可能 被换出。freelist的大小看上去会缩短并保

24、持在那个数值(lotsfree)。当free list的数量下降到lotsfree门限以下的时候，页面守护进程将启动，扫描需要 从页面缓存以及已退出和空闲的进程中回收的内存。没有办法能够让空闲值增 长到这个门限以上很多，因为没有办法让页面扫描程序在这个门限之外回收内 存。让页面保留在页面缓存中比把它们不必要地放到空闲链表中更有效率。Solaris 8操作环境在segmap驱动程序内实现了一个更为有效的算法给I/O提 供所需的页面。vmstat中的fr列确实反映了空闲并且没有被页面缓存所使用 的内存。-p选项被加到vmstat中，用来给出更准确的页面调度行为细节。对于单独的进程，pmap命令报告

25、单独进程的内存空间布局情况（-x选项比较有 用）。优先内存页面调度优先内存页面调度是在Solaris 7操作环境引入的，并被向后移植到了 Solari s 2.6操作环境（内核补丁 105181-XX）和Solaris 2.5.1操作环境（内核补丁 103 640-XX） o这两个补丁的最近版本可以在SunSolve Onlinesm找到。优先内存页面调度提供了一种改进的页面调度算法，从而在文件系统被使用的时 候可以明显地改善系统的响应速度。优先内存页面调度引入了一个新增加的名 词，cachefree。页面调度参数现在有这些：minfree desfree lotsfree cachefree

26、缺省情况下这个新功能在Solaris 2.5.1, 2.6,和7操作环境下是关闭的，所 以在有明显频繁内存调度的系统上允许这个功能就很重要。当priority_paging 没有被允许的时候，cachefree被置为与lotsfree 一样。当它被允许的时候， 缺省情况下cachefree被设置为lotsfree的2倍。调整这个参数趋于使工作站系统上窗口间切换起来更快，这对于需要从文件系统 中把大文件读入内存的运行数据库的系统是很大的帮助。在通过文件系统执行大 量I/O操作的系统上，对于拥有大量数据集的计算密集型任务，百分之几百的速 度提高都曾经有过。Solaris 8操作环境采用了一种不同的

27、算法，消除了以前版本中页面扫描程序必 须扫描内存以供给segmap驱动程序来存放I/O的限制因素。segmap不再需要的 所有内存页面都被放到一个可以立即重用的链表中。不要在Solaris 8操作环境 中设置priority_paging。并且，Solaris 8操作环境应该不需要手工调整虚拟 内存参数，除了在大系统中把fastscan和maxpgio设置到高一些的值会有益。更多关于优先内存页面调度的信息，请参考下面这些：Sun性能、优先内存页面调度FAQ文档17946:在2.5.1+中针对优先内存页面调度的新的内核可调整项隐私的共享内存（ISM-Intimate Shared Memory）

28、ISM使得共享内存被锁在内存中，不能被换出（page out）。原本在一般情况下 仅为单独进程创建的内存管理数据结构在一次性创建后就被所有进程共享。在S olaris 2.6操作环境下，还存在进一步的优化，内核试图寻找可以作为大的内 存页面被用来映射共享内存的连续的4-Mbyte物理内存块。这大大降低了内存管 理单元的开销。（请看性能与调整Javatm与Internet（Performance and Tuning - Javatm and the Internet）的 333 页。）缺省情况下，类似Oracle、 Informix、Sybase这样的应用程序使用一个特殊的标志来表明它们希望使

29、用IS M。ISM是一个关于虚拟内存实现方面，使得内核与硬件资源的使用更为有效的很重 要的优化。并且，ISM提供了把频繁用到的共享内存页面锁在内存中的方法。在缺省情况下ISM是被允许的，不需要编辑/etc/system文件来打开这个特性。 在具有当前补丁级别的内核上，关闭ISM会导致系统性能降级并且可能会挂起。 而且在数据库的配置文件中，比如Oracle的init.ora文件中，不应该有use_i sm二false，因为这样会关闭ISM。与共享内存有关的交换空间设置想要理解与共享内存有关的交换空间配置，请看Adrian Cockcroft写的清除在 交换空间方面的混乱理解(Clearing U

30、p Swap Space Confusion)。在设置交换空间大小的时候有两个主要的考虑，就是要有足够的：内存，以避免在普通操作的时候就产生内存交换交换空间，能够放下一次崩溃记录(crash dump)进程间通信(IPC)的参数以下IPC参数值需要你的数据库系统管理员(DBA)确定。Sun解决方案中心不 能给出实际IPC参数设置应该是怎样的建议。这些值依赖于应用程序。在/etc/system的IPC参数设置中拼错字是非常可能的。这种错误会对应用程序 带来严重的性能影响。要检查拼写错误，遍历/var/adm/messages寻找这样形式 的消息：genunix: ID 492708 kern.n

31、otice sorry, variable seminfo_semopnis not defined in the semsys这说明其中有一个拼写错误。用Grep找sorry”。Solaris 8操作环境比以前的版本改进了 IPC参数的缺省值。对于Solaris 2.6操作环境之前的版本，共享内存需要更多的交换空间(也就是 “后援空间”)。用swap -l，将block数值除2就可以得到兆字节数。应该有至少两倍于已分配共享内存(shmmax)的交换空间。这里是shmmax的缺省值和最大值：缺省最大shmmax 1048576 (Meg) 4294967295 (4GB) 2.5.1, 2.6

32、, 32 位 solaris 7 2147483647 (2GB) 2.5 或更低 在Solaris 2.6操作环境下，shmmax和shmmin是无符号整型（32位）。在Solar is 7操作环境下，32位的shmmax和shmmin是无符号整型（32位）。在Solar is 7操作环境下，64位”的shmmax和shmmin是无符号长整型（64位）。在所有 情况下，shmmni和shmseg都是有符号整型（32位）。表2汇总了这些命令和它们 的类型。命令Solaris 2.632位Solaris 732位Solaris 7 64位shmmax无符号整型无符号整型无符号长整型shmmin无

33、符号整型无符号整型无符号长整型shmmni有符号整型有符号整型 shmseg有符号整型有符号整型表2:命令类型shmmax限值共享内存段的最大大小，这是shmget（2）所能请求的最大值。它所控 制的资源不是预先分配的，而是根据需要分配的。在Solaris 7和8环境下，64位突破了 4-Gbyte的限制。这个最大值是理论上 的。实际的设置需要根据象内存、数据库大小、系统配置这些系统资源来确定。 段的最大值本身(shmmax)是一个上限。附加资源源自 SunSolve Onlinesm关于 IPC 的文章关于IPC参数话题，Sun解决方案中心已经写了大量的文章。这些文章可以在S unSolve

34、 Onlinesm获得。(合同客户可以访问附加的相关出版物。)接下来是 部分文章列表。如果对/etc/system文件的修改似乎没有起作用，请看文档12824: sysdef - i不报告设置在/etc/system中的IPC参数。关于IPC参数的一般信息：文档6328:在2.X中所有关于共享内存参数的信息文档2270:理解信号灯、seminfo_信号灯信息文档12075:如何在你的系统中配置IPC信号灯和共享内存文档5288:如何通过adb确定IPC参数值文档2273:针对消息队列的内核调整参数文档7241:确定消息队列参数关于调试问题：文档12174:怎样检查系统使用了多少共享内存文档16985: 一个使用共享内存的进程已经终止，但是交换空间似乎没有被回 收SUN性能信息The Sun Performance page 提供了各种资源。SunWorld 在线专栏 1995-1999Cockcroft, Adrian 和 Richard Pettit, SUN 性能与调整Java