小机、数据库、存储选型应该注意的几个事项

1、存储 :存储 的几个主要指标是 IOPS 、带宽 与 响应时间。IOPS:指的是系统在单位时间内能处理的最大 IO 频度,一般是指单位时间内能完成的 随机小 IO 个数。带宽(throuput :有的时候也较吞吐量,指的是单位时间按内最大的 IO 流量。往往是采用大的 IO 块、大的带宽获得的最大流量。这几个指标即相互独立有相互关联。 一般来说, 当涉及更多的频繁读写时 (OLTP , 更多的考虑 IOPS 与 响应时间;而一些大量的顺序文件访问,例如数据仓库应用(OLAP ,流媒体,更多的考虑 带宽指标。响应时间:单 IO 的响应时间指的是一个 IO 请求从开始到结束的时间, 它往往 与 c

2、ache 大小 以及命中率有很大 关系 。决定 IOPS 的因素有如下几个:磁盘个数:首先看磁盘个数, 这个是决定 存储 IOPS 的最关键因素, 因为每个磁盘的最大 IOPS 个数是有限制的。目前的情况是:FC 硬盘(光通道硬盘速率 >SATA硬盘速率15K 转速 FC 硬盘 >10K转速硬盘举个例子:如果一个磁盘 阵列 有 120块 15K rpm的光纤硬盘,他能支撑的磁盘 IOPS 为 120×150=18000,基本达到硬件限制的理论值。cache 命中率:cache 如果命中,一个查询可能只需要 1-2ms就可以返回,而磁盘读取,就可 能需要5-10ms ;如果

3、读操作特别多,可能需要更高。 cache 读操作速度是磁盘读操作速 度的 5倍以上。一般情况下, cache 越大,命中率也越高,当然命中率也和应用,数据库设计 也有关。好的应用设计可以大大的提高 cache 命中率。因为读 cache 采用类似 LRU的算法设计, 对于比较典型的 OLTP 环境是比较合 适的,而在数据仓库应用 (OLAP或者类似文件流的系统中,因为读 cache 很不容易命中,所以作用不是很大。 阵列 的算法:阵列 算法有 cache算法、寻道算法、预读算法等,它们对 IOPS 与 cache 命中率 也有直接间接的影响,阵列 不一样,算法也不一样。cache 命中:如果数

4、据在内存中(磁盘 阵列 的内存,则可以直接从内存中获得,这个称为 cache 命中。关于 cache ,有几个要注意的地方:一般在生产系统中都要打开 cache mirror这个功能,如果一个节点失败,另一 个节点的 cache mirror镜像的存在能保证不丢失数据,把 cache 数据写回磁盘。cache 读和 cache 写:对于 raid 5 格式的磁盘 阵列 来说, cache尤其重要,数据可以先写到 cache 中,再由磁盘 阵列 写回到硬盘上去。否则,直接写到磁盘 阵列 的硬盘上,由于 raid 5还要读写额外的校验信息,比 raid 10 需要更多的 io 。关于 RAID:建

5、议对 OLTP 数据库,采用 RAID 10而不是 RAID5.原因前面也说了, 因为一个读写, 同样的情况下, RAID5 需要的 io比 RAID10 更 多 .存储 的第二个重要指标 带宽吞吐量主要取决于硬盘的个数、光纤通道的数量和带宽、 阵列 的构架。与 IOPS 一样,每个硬盘也有自己最大能支持的流量大小,硬盘类型 与 最大流量 的 关系 是15kRPM 光纤硬盘 >10KRPM光纤硬盘 >SATA光纤硬盘比如说,假设一个 阵列 有 120块, 15K rpm 的光纤硬盘,那么硬盘上最大可以支 撑的流量是120*13=1650MB/s除了硬盘,就要考虑光纤通道了,如数据仓

6、库环境(OLAP 中,如果 1块 2Gb 的光纤卡,所能支持的最大流量是 2Gb/8=250MB/s的实际流量。需要 4块才能达到 1GB/s的实际流量, 所以数据仓库可以考虑用 4Gb的光纤卡。最后, 阵列 的构架因每个 阵列 的不同而不同,它们也都存在内部带宽,(类似 PC 的总线,不过一般情况下,内部带宽都设计的很充足,不是瓶颈所在。存储 的第三个重要指标 响应时间除了 IOPS 与 吞吐量,另一个重要指标就是 单 IO 的响应时间,单 IO 的响应时 间 与 IOPS 的当前值、吞吐量大小以及cache 命中率都有很大的 关系 。经验值表示, 一个 IO 的响应时间在 20ms 以内,

7、 应用基本可以正常工作, 作为一 个核心的高可用 OLTP 环境,最佳的单 IO 响应时间建议在 10ms 以内。总结 存储 的选型:如果应用是一个大型的交易系统,也就是典型的 OLTP 环境,其中以事务 与 小的 查询语句多,基本是离散读 与离散写,首先考虑 IOPS 因素,并配置合适的硬盘个数和 Cache 大小。如果应用数数据仓库环境,或者是典型的 OLAP 环境,其中主要运行大型的 SQL 语句,需要大吞吐量,读写规则基本上是连续读和连续写,则需要考虑 存储 系统带宽 与 存储 大的光纤通道带宽 之和,并配置适当的硬盘个数,这 与 CACHE 大小 关系 不大。存储 的测试方法 与 测

8、试软件LOAD RUNNER:ORION :推荐使用 ORION ,可以用它来模拟 ORACLE 的运行,并获得极限压力情况下的压 力数据,包括 IOPS, 带宽 与 IO 响应时间。个人对目前 存储 主流的选型考虑:1. 成本预算问题。一般来说,级别越高,成本也越高,处于成本的考虑,采用中 低端 存储 成为大多数用户的选择。2. 响应速度 与 可靠性的问题, 中端 存储 就可能提供高速的响应速度, 在相同的磁 盘数量的情况下不会和高端存储 相差多远(高端 存储 扩展能力更强,但是可靠性方面确要差很多,所以, 如果可靠性要求非常高的系统,可以考虑用高端 存储 。3. 存储 的评估指标。 存储

9、的主要测评指标是 IOPS 、带宽、 与 响应时间。然后, 需要根据自己的业务类型,是偏重于IOPS 的 OLTP 环境,还是偏重于带宽的 OLAP 系统。如果有了这些信息,就可以 根据自己的需求,多选择几个合适于自己的 存储 产品,分别去做测试。测试是非常重要的, 存储 厂商一般都会配合完成这些测试,而且测试的时候, 最好不要依靠 存储 厂商的测试软件,要模拟自己的真正应用, 做最真实的模拟测试。 另外, 不同的 存储 厂商之间, 硬 件环境 与 测试指标要完全一样,这样才有对比。另外, 不要轻易相信厂商的数据 与 指标, 更不要相信他们广告式的宣传。 他们的 指标是在适合他们的环境下测试得

10、到的,如 IOPS, 可能全部是在 存储 cache 命中的基础上得到的,而对于用户业务环境, 这样的情况不可能发生。随着小型机的飞速发展, 很多大 /中型机器上的技术已经移植到小型机上, 所以, 大型机 与 小型机的区别已经不像以前那么明显,一般只是沿用以前的叫法。 在机器处理能力上, 高端的 PC SERVER 可能比低端的小型机更快, 高端的小型机, 也可能比部分大 /中型机更具有快速处理能力 与 优越的性价比。可靠性方面,小 型机具有接近大 /中型机的可靠性, PC Server在这里是无法比较的。小型机不仅具有高速的事物处理能力, 也具有高效的稳定性, 比较适合高可用的 OLTP 数

11、据库业务。在评测机器的具体处理能力,也就是性能指标方面,现在又 了很多种方法, 如 TPC-C 是一种行业标准测试项目, 旨在衡量联机事物处理 (OLTP 的系统性能 与 可伸缩性的。 这种基准测试项目将对包括查询、 更新及队列式小批 量事务在内的数据库功能进行测试。许多 IT 专业人员将 TPC-C 视为衡量“真 实”OLTP 系统性能的有效指示器。主流小型机对比:IBM 小型机系列:IBM 小型机系列现在基本是 I系列 与 P 系列,从 Power5开始, I 与 P 其实是统 一的硬件体系,只是OS 许可 (以及微码 不一样而已。 在 P 系列, 从 POWER3发展到现在的 Power

12、6,IBM 以强劲的 CPU 处理能力, 发展了众多的型号。 如完整的 Power5系列中, 有从 P505开始到 P595结束的一系列机器,在 P595中,最多可以支持到 2TB 的内存 与 64颗强劲的 64位 power5+的处理器内核(CORE. 最近推出的 POWER6, 可以到到 4.7GHZ 的主频 , 并支持更复杂的计算模式 , 例如十进制运算。另外 , 从 Power6与 AIX6开始支持更多的虚拟化功能 , 例如可以把工作负载从一个服务器转到另一 个服务器 , 而且不会使应用发生任何中断 .HP 小型机系列 :由于 HP 和 COMPAQ 合并了 , 所以 HP 服务器的产

13、品线显得有些复杂 , 即有 HP 本身的 服务器系列 , 也有 Compaq 服务器系列 . 另外 , 因为采用了 Inter 的安腾 CPU, 小型 机方面主要分为两个系列 , 一是采用 Inter Itanium2的 RX 系列 , 以及采用Pa-risc 的 Rp 系列 . 在 Rx 系列 , 有采用 Intel Itanium2的 RX1620到高性能的 Superdome 服务器 . 在 Rp 系列 , 也有从 Rp3410到 Superdome 的众多服务器 . 比如 Superdome 服务器 , 就有 2TB 的内存和 192个 IO 插槽 , 可以扩展到 64路 128颗处理

14、器内核 (Core,也就是最多可以采用 128颗 PA-8800/8900或者是 Itanium 2的 CPU ,是 HP 的高端小型机。SUN 小型机系列:SUN 的主机的市场占有率不如 IBM 与 HP 那样高，原来的主要型号有采用 UltraSparc 3 构架的 V 系列到采用 UtralSPARC 4(+的 E 系列,例如 Sun Fire V100 到 E20K 与 Sun Fire E25K 服务器,E20K 最多 36 个 UltralSparc 4+双线程 处理器，而 E25K 可达 72 个 UltralSparc 4 双线程处理器。 SUN 在最新产品中，开发了 6 款基

15、于 SPARC 架构、运行 Solaris 10 开源操作 系统的主机。其中 SPARC Enterprise T1000 与 SPARC Enterprise T2000 两款 服务器基于 UltralSPARC T1 处理器； 数据中心等级的 SPARC Enterprise M9000 与 SPARC Enterprise M8000，以 及中端款式的 SPARC Enterprise M5000Enterprise M4000 两类产品，均采用 SPARC 64-4 处理器。例如 M9000 最多可以达到 2TB 内存与 64 颗 CPU，128 个核 与 心（Core 注： 不同的厂

16、家，在处理器（processor，也叫 CPU）的概念上出现了差异，在 IBM 与 INTEL,AMD 的 CPU 中，一般一个核心（CORE对应一个处理器，就是通常叫的 CPU，而在 SUN CMT 技术的 CPU 中，一个硬件芯片，可能存在多个（CORE，但是 它们只叫一个处理器（CPU. 小型机的技术： 几大关键技术 1、多核技术与 CMT 技术 与 2、SMT 技术 3、虚拟化与分区技术 与 4、高 RAS 特性 1、多核技术 多核技术可以看成是一种 CPU 的集成技术，在一个 CPU 处理模块（芯片）上，也 就是以前的一个 CPU 空间大小上，可以集成一个或多个 Core。一般情况下

17、，因 为一个 Core 就具有一个单独处理能力与运行能力，也具有单独的 CACHE，所以， 与 在 IBMINTELAMD 等 CPU 生产厂家，都是把一个 Core 当成一个 CPU。 而在 SUN 那里，这个技术被称为 CMT 技术，虽然一个 CPU 处理模块（芯片）上集 成多个 Core，但是，却把每个 CPU 处理模块（芯片）才叫一个 CPU。这个技术解 决了，单位单个 CPU 主频上不去，但是单位面积内的 CPU 芯片大小不变，确具有 更强大处理能力的问题。（注意，ORACLE 的收费方式不是按物理的 CPU 来购买 ORACLE LICENSE，而是按实际的 Core 来收费） 2

18、、SMT 技术 如果说多核技术一般指 CPU 的高集成度，而并发多线程技术（SMT Symmetic Muti-Threading则是指 单一物理处理器同时分发来自多与一个硬件线程上下文的指令，在特定的 OS 与 与 特定的技术条件下，可以虚化为两个逻辑的 CPU。 如 IBM 的很一个物理的 POWER5 CPU，也就是一个 CORE，在 OS 层面（AIX 5.3 以 上），将显示为两颗逻辑的 CPU。 这种技术与硬件构架以及 OS 都是有关系 与 关系的， SMT 只有 POWER5 才支持，而且也 如 关系 要特定的 OS，如 AIX5.3 才支持。也就是说，POWER5 上跑 AIX

19、5.2，都是不支持 这样的技术的。 在这样的技术中，每个 POWER5 CPU 有两个硬件线程，SMT 旨在利用 POWER5 处理 器的超标量特性，以便同时执行多个指令。 它的基本理念是：没有一个单一应用可使像 POWER5 这样的超标量处理器达到完 全饱和的状态，因此，部署同时提供输入的多个应用效果更理想。 按照这样的设想，SMT 技术将在细小的 OLTP 应用中受益，例如高可用的 OLTP 数 据库环境。 而大型的计算业务，例如浮点密集型的工作（耗费单个 CPU 很长时间，对浮点单 元与内存带宽消耗比较大），是不适合使用 SMT 技术的。 与 当然，可以在 OS 级别决定是否打开 SMT

20、 技术，这主要取决于这个技术是否为我 们带来好处，单 AIX 5.3 默认就是打开 SMT 的。 3、虚拟化技术与分区技术 与 虚拟化是一个抽象层，他将物理硬件与操作系统分开，从而提供更高的 IT 资源 与 利用率和灵活性。分区技术是虚拟化技术的一个重要体现，目前常用的分区虚拟 化技术是-主机之下，硬件之上的虚拟化： 主机之下，硬件之上的虚拟化： 例如 HP 的电路板方式的硬分区，IBM 的静态与动态分区（LPAR.在同一个物理 与 主机上，可以把硬件 隔离成几个部分，每个部分运行不同的 OS 并且互相没有影响。更高级的主机内 部虚拟化，例如动态 逻辑分区，可以实现资源在不同的分区之间的动态迁移。 4、高 RAS 特性 小型机与普通的服务器，也就是常说的 PC-SERVER 是有很大差别的，最重要的一 与 点是小型机的 高 RAS（高可靠性、高可用性、高服务型）特性