QDataOracle数据库一体机在运营商测试报告V课件

1、QData Oracle数据库一体机在某运营商测试报告 V1.02012年10月致谢！参测方案：QDATAQData是什么？高性能数据库一体机产品，通过将Oracle数据库，PC Server，Flash技术整合在一起，提供高可用、高性能、可扩展的数据库服务，适用于OLTP和OLAP各种应用场景。高性能最低配置采用5台PC Server，性能上可达到14万以上的IOPS和4GB的吞吐能力高可用任何组件的切换，对数据库的影响都控制在15秒以内可扩展整个系统的处理能力和存储空间，都可以通过增加节点的方式在线线性扩展参测设备：Fusion-IO存储卡FUSION-IO IOMEMORY PLATFO

2、RMMLC: 365, 785, 1205, 3000 GBSLC:400, 600 GBMLC: 2,410 GBSLC:1,200 GB MLC: 5, 10 TBMLC: 320, 640 GBSLC:160, 320 GBMLC: 640, 1280 GBSLC:320, 640 GBMLC: 600 GBMLC: 420 GBOEM ProductsHP MezzCisco Mezz参测设备： InfiniBand网络Mellanox公司是宽高速互联网络的领导者，其InfiniBand交换机可为用户提供云计算和下一代数据中心最为全面的解决方案。Mellanox高速InfiniBand

3、交换机为云计算和大型数据中心提供高带宽速率、高扩展性、高性能、低延迟、低功耗解决方案，同时可以提供高性能，高密度，低成本，构架简单的数据中心解决方案。采用X86的惠普服务器配套Mellanox的产品可以按照客户需求搭建性价高的Oracle RAC集群系统。Oracle 11g 使用InfiniBand连接，充分发挥Oracle RDS特性，性能可以获得大幅度提升。参测设备：HP DL585G7HP ProLiant DL585 G7外形 4U 处理器 AMD 6200系列处理器 最大处理器核心数量 48高速缓存 16MB L3最小/最大内存容量1024GB内存类型G7-DDR3内存保护先进的E

4、CC OLS内存，先进的ECC硬盘类型SATA, SAS, SSD内部磁盘托架8个，2.5英寸最大内置磁盘存储容量8TB RAID支持 RAID 0, 1, 1+0, 5, 6I/O技术PCI-Express, PCI-X PCI-E 2.0, PCI-XI/O插槽类型最大11个插槽，PCI-E 2.0高可用性（热插拔、冗余电源或风扇）热插拔，N+1个冗余风扇最多4个1200W电源，实现94%的电源效率(Panda Heavy B)特性：最大64核体现最佳虚拟化性能最大11个PCI-E 2.0插槽10Gb网卡升级选件SSD和IO加速卡选件参测服务器配置：DL585G7 4*O6272 2.1G

5、Hz 16core 16M128GB 16*8GB2300G 10K SAS512MB FBWC RAID cache2*320G SLC IO加速卡双口QDR卡双口8Gb HBA参测设备：IBM System x3850 X5System x旗舰平台，提供领先的可扩展性能和容量通用的4插槽4U机架优化式可扩展的企业级服务器，作为灵活的平台能够给计算和内存密集型工作负载提供最大的利用率、可靠性和性能。系统规范4个下一代 Intel Xeon Nehalem EX CPU64 96个 DDR3 DIMM 6个开放 PCIe 插槽 (外加2个可选插槽)最多8个2.5” HDD或16个 1.8” S

6、SD标配RAID 0/1， 选配RAID 5/6 2个1千兆以太网 LOM2个10千兆以太网SFP+ 虚拟光纤架构（Virtual Fabric ） / FCoEE可扩展到8S、192个DIMM内部USB用于支持内嵌的系统管理程序IMM、uEFI 和 IBM Systems Director使用Intel 7500系列CPU本机64个线程和1TB容量，数据库和虚拟化性能分别是2插槽 x86 (Intel Xeon 5500系列)系统的3.3倍和3.6倍MAX5内存扩展技术，可以多支持50%的虚拟机，并且提供领先的数据库性能测试概要本测试旨在评估一种新Oracle数据库架构QDATA在某运营商业

7、务模型中的性能和HA表现，同时通过一套基于传统架构的Oracle数据库系统作为对比在性能测试中，我们主要通过2种方式进行：ORION测试工具在Oracle数据库中实际运行某具体业务的性能测试模型在HA容灾测试中，我们主要通过拔线、强行停止进程等方式，随后记录业务中断的时间从性能测试结果看，基于QDATA架构的Oracle数据库的IOPS最高可达12.98万，每秒SQL语句的执行数超过11万。在同等环境下，其IOPS和SQL执行数分别为传统架构的9.7倍和4.1倍HA测试显示，在测试中涉及的灾难情形中，QDATA均能在秒级时间内完成容灾切换整体架构（QDATA）整体架构（基于NetAPP统一存储

8、）硬件配置CPU型号CPU数量与核数内存FusionIO卡计算节点1AMD 61764CPU*6CORE*264G无计算节点2AMD 62764CPU*8CORE*2128G无存储节点1Intel E75404CPU*6CORE*2120GSLC/160G*2/1块存储节点2Intel E75404CPU*6CORE*2100GSLC/160G*2/1块每台存储节点插一块320G SLC FusionIO DUO卡，虚拟成2块160G磁盘fioa,fiob，另外存储节点本地也有SAS磁盘， 一并输出给计算节点计算节点通过Infiniband和QLink接口与存储节点相连，识别存储节点输出的Fu

9、sionIO卡及SAS磁盘软件和存储系统配置操作系统： Redhat Enterprise Linux Server 5.8Linux核心：2.6.18-308.el5数据库：Oracle Database 11.2.0.3 RAC+ASMOracle Grid 11.2.0.3 Clusterware存储资源配置：Fusion-IOLUNASM(DATA_DG)控制文件、数据文件、临时文件SASRAID0LUNASMOCR、VOTING、REDO日志Fusion-IO存储的条带化：QDATA: CONCAT或STRIPEORION测试ORION是Oracle公司提供的一款用于测试存储系统在O

10、racle数据库读写模型中的性能表现的测试工具。测试结果以IOPS和IO时延的形式提供。本测试中分“纯读”、“80%读+20%写”两种情形测试QDATA的性能表现。单节点加压在计算节点2上进行，双节点加压时则在2个计算节点中同时进行测试时采用的ORION指令如下：./orion -run advanced -testname read -num_disks 100 -write 0 -size_small 8 -size_large 8 -matrix row -num_large 0 -type rand ./orion -run advanced -testname readwrite -

11、num_disks 100 -write 20 -size_small 8 -size_large 8 -matrix row -num_large 0 -type rand IOPS VS. 并发度ORION测试的主要结论 - IOPS开始时，IOPS随着并发度的上升而上升，当压力达到一定程度时，其值不再呈现出明显的上升态势QDATA方案的最高IOPS为12.98万，在双机“80%读+20%写”的场景下测得，此时平均IO延时为7.71ms。单节点环境的最高IOPS为9.23万，在“80%读+20%写”情形下测得，此时平均IO延时为5.41ms在纯读和“80%读+20%写”的环境下，IOPS的

12、数值非常接近。在不少时段， “80%读+20%写”的IOPS性能甚至超过纯读IO延时 VS. 并发度ORION测试的几点结论 IO时延随着压力和并发度的上升，IO时延基本上呈线性增长，但最高时未超过8ms上图中，X轴上半段和下半段的单位长度所表示的并发度的变化量不相同在纯读和“80%读+20%写”的环境下，IO延时非常接近。在不少时段， “80%读+20%写”的IOPS性能甚至超过纯读在单机测试环境下，QDATA方案的最高平均IO时延为5.8ms。在双机测试环境下，QDATA方案最高平均IO时延为7.71ms基于某业务模型的Oracle测试该测试模拟某业务主库的二大主要业务模型：订购和票务订购

13、模型：随机的取一个手机号码，根据该号码查询（SELECT）订购关系，或者增加（INSERT）订购关系，其中INSERT的占比为17.2%票务模型：随机的取一个手机号码，根据该号码查询（SELECT/JOIN）订票情况，或者更新（UPDATE）订票状态，其中UPDATE语句的占比为4.76%订购模型和票务模型的总体比率约为30:11测试方法：在计算节点中运行上述测试模型，一段时间后取AWR报告进行分析和读数关注的主要性能指标包括：总物理IOPS、每秒SQL语句执行数等涉及的主要SQL语句订购模型select max(ChapterID), max(productId),max(sendmsisd

14、n) from us_subscribeinfo_XX where msisdn = :var1 and ticketid = :var2;insert into us_subscribeinfo_XX values();票务模型 select max(u.RECORDID) from us_markinfo u,con_auditticketinfo c where u.ticketid = c.ticketid and c.ticketstatus in () and u.msisdn = v_msisdn and u.marktype = 1 and c.tickettype in ()

15、 order by u.createtime desc;update us_markinfo set chapterid = chapterid+1 where recordid = v_RECORDID;涉及的主要数据表及其数据量订购关系表（共分为20张表）总记录数：1.11亿，数据量：247G票务表记录数： 9664万，数据量：124G评审表记录数：40.4万，数据量：368M对比架构（基于NETAPP统一存储）为了评估本测试项目的新数据库架构与现有数据库架构之间的性能差异，我们特别安排了一个基于NETAPP存储的对比架构（以下简称NETAPP架构），采用完全相同的测试模型进行对比测试对比

16、架构的硬件配置为：两节点Oracle RAC单节点CPU配置为：4路8Core2，内存为128G通过FC SAN连接NETAPP存储FC网络带宽为4GbpsOracle单实例性能测试结果单实例测试结果分析与说明从测试结果看，在Oracle单实例环境中，QDATA架构在性能上均领先于FC SAN/NETAPP的传统数据库架构单QDATA计算节点运行Oracle时的平均IOPS和SQL执行数分别可达到6.78万和5.63万，而性能最低的传统架构则只有0.7万和1.37万与传统架构相比，采用QDATA时，Oracle的在IOPS和SQL执行数方面的性能提升可分别达到9.7倍和4.1倍，性能提升相当明

17、显从平均读延时来看，传统架构的时延接近10ms，而QDATA仅为0.61msOracleQDATA的测试结果：单实例 VS. RACQDATA单实例QDATA RAC增长比例逻辑读1,024,243.1 1,660,104.8 62.08%IOPS67,830.9 76,588.6 12.91%SQL执行数56,329.1 110,624.3 96.39%平均读延迟/毫秒0.61 0.79 29.51%由此可见，在QDATA环境下，当ORACLE由单实例模式变为RAC模式后，其各项性能指标（除平均读延迟后）均大幅度提高，特别是SQL执行数，提升幅度高达96.39%，接近2倍RAC模式下的SQL

18、执行数超过11万平均读延迟虽然也相应提高，但总体上仍然相当低，不超过1msOracleQDATA的测试结果：GC（节点间通信）测试时2个计算节点之间采用Load Balance的业务分摊模式从AWR报告中显示的信息来看，本次测试中2个节点的GC流量均为32.2MB两个发生各类GC拥塞的比率均不超过1.5%从GC包的时延上来看，基本保持在0.10.2ms之间，即便在发生拥塞时，也能维持在3ms左右QDATA HA测试结果HA所有测试均在双RAC高并发压力下进行1)拔掉一个存储节点的HCA卡连线，RAC双节点IOhang 15秒2)kill -9 存储节点QLink进程，RAC双节点IOhang 4秒3)存储节点强行断电电，RAC双节点IOhang 15秒4)存储节点命令reboot，RAC双节点IOhang 4秒5)强行重启一个RAC节点，Cache Fusion导致系统ha