数据平台性能基准测试报告

1、数据平台性能基准测试报告Version2.1OLAP引擎2014用友集团所有。未经用友集团的书面许可，本发版说明任何整体或部分的内容不得被复制、复印、翻译或缩减以用于任何目的。本发版说明的内容在未经通知的情形下可能会发生改变，敬请留意。请注意：本发版说明的内容并不代表用友软件所做的承诺。目录TOC o 1-5 h z版权2 HYPERLINK l bookmark2 o Current Document 目录3 HYPERLINK l bookmark4 o Current Document 1基准环境4 HYPERLINK l bookmark6 o Current Document 硬件环

2、境4 HYPERLINK l bookmark8 o Current Document 拓扑结构4 HYPERLINK l bookmark10 o Current Document 软件环境5 HYPERLINK l bookmark12 o Current Document 2测试场景6 HYPERLINK l bookmark14 o Current Document 2.1测试数据6 HYPERLINK l bookmark16 o Current Document 2.2测试模型6环境参数7 HYPERLINK l bookmark22 o Current Document 基准指标

3、8 HYPERLINK l bookmark26 o Current Document 3数据94附录错误!未定义书签。基准环境硬件环境应用服务器（虚拟机）数据库服务器（虚拟机）IP20.10.80.1520.10.80.3操作系统MicrosoftWindows2003WhistlerServer32-bit(5.2)MicrosoftWindows2003WhistlerServer32-bit(5.2)CPUIntelQEMUVirtualCPUversion(cpu64-rhe16)(1995Mhz,8Socket,1CoresPerSocket)IntelQEMUVirtualCPU

4、version(cpu64-rhel6)(1995Mhz,8Socket,1CoresPerSocket)内存32G（其中JDK最大内存1G）32G硬盘带宽100G100G网络100Mbps100Mbps拓扑结构匡用股务器販据宰股务畚软件环境操作系统，数据库，中间件，jdk,uaprunner版本等依赖的软件环境名称值应用服务器操作系统MicrosoftWindows2003WhistlerServer32-bit(5.2)数据库服务器MicrosoftWindows2003WhistlerServer32-bit(5.2)JDK版本1.6UAPRUNNER版本2.1.0NMC版本6.5.0（

5、在UAPhome根目录下）环境地址:80登录用户dev1/ae1234design数据源信息aedesign/:1521/ORCLdw数据源信息pidw1g/.3:1521/aepidw测试场景2.1测试数据TPCH1G数据表名记录数复杂度情况LINEITEM6,001,215复杂CUSTOMER150,000中等SUPPLIER10,000中等PART200,000中等PARTSUPP800,000中等ORDERS1,500,000复杂REGION5简单NATION25简单BIDIMTIME213318,308简单2.2测试模型分析主题：itemsL.RETIWUCWfe=ffiimsjoi

6、n,囂IIJMKHjoinNATIONJuinRK門陲冋LIVPITEML_SH1PMODE物理袁iLIKELTEMkRECEirmsATE叩Tf：BlDENTIME211L_SH1M)ATEBIDINTUE21334kOOWITMTEBIDINTtHE2怡討UUlliliYSIlPI-llkRjoin71ONjuinREGION-PARJKEY欄JI初PAITL_SH1P1HSTRUCTNiiiLhtiroLJLIHESTATI的冠.祐LlKEITm替华则Y审ddnsued:瞻王出号sepo:瞻王出号每个测试用例执行100次，记录用例执行时间和对应的数据库执行时间。在单独执行和并发执行前，先

7、执行一次查询，保证函数定义等加载到内存中。并发执行方案：总用户数：18人用户上线策略：整体，每隔10秒上线1人用户执行策略：按时间（分钟/整体），执行60分钟晦号用涮辭称用户数总害肘间（m町1圾屋五切换启标2丄UU2场具八_也按倦度25,30033场冕梦亍谨初因或_直旬25,300J4捕貝_排帛25.000J5场屋匹寸原分讦_同出25,300J3均屋匹时序分析环比2工UU7场昙一_奁旬25,200J32j,30033埔貝二_钻取25.0002基准指标单人执行方案：用例执行时间的最大值、最小值、平均值。对应的数据库执行时间的最大值、最小值、平均值。并发执行方案：指标名称说明成功事务总数通过UAP

8、RUNNER失败事务总数通过UAPRUNNER每秒通过事务数通过UAPRUNNER，最小值、最大值、平均值事务平均响应时间通过UAPRUNNER，最小值、最大值、平均值资源利用率包括CPU利用率，内存利用率数据库连接次数最多的远程调用数据库连接数和执行SQL数可不对外发布,作为每一版的性能评定标准SQL数量最多的远程调用数据时间颈色2D10.0015_CPU20.1D.S0.15_MEM20JDBO3_CPU2010.303_MEM髓皿最大值孚均道3S.2250.1吧024.755.95.62115715.2514171195124B12J3单人环境测试数据：执行时间（S）数据库执行时间（s）

9、复杂度最小最大平均最小最大平均场景：查询轻0.972.511.650.7057.0171.775场景一：钻取中1.922.652.271.3147.51.82场景二：排序中9.8410.9610.4413.65718.59315.013场景四：时序分析（环比）中3.395.204.542.36110.55.781场景四：时序分析（冋比）中3.315.634.342.40612.6085.608场景五：切换指标中0.851.461.110.7324.8731.123场景八：切换维度中2.564.463.872.7057.4834.131场景七：结构化占比（父级占比）中0.941.621.230.

10、7828.9521.137场景八：多个透视区域查询重15.6417.6216.3124.31363.06346.767并发方案测试数据1）资源利用率2）每秒通过事务数sre剧世E却下旳伯嚼._于互眾2j:.0.1W尊痒W和购沖斡即：11QP4Q11J95DQII1P4Pm垮紳HQ401彳蕃肿11$4Kg忖鸵!W114：QQ1145：w时间3）事务平均响应时间革务平均盼应时间时崗S称1EM怔炀豊三非焦te应5610胡.旳66.13场曩四_时臨诂_同比.馆蛙673597.19貂.45畑八切盪维度止或151.60215222259疋罠匕BJtff.itL.L-.jL7B.7194.35BS.61对怎

11、，.一Qi:心!1畔庇_鬥r_.：168.02369.76331.762331453506殛72；|IWWI114140627206092D14-110310:47:522010.80.15:11B7rnmufida.ohpservicelOlspT55lSerMC9.S0riR6SwpDimensicinEie3ijHryuvttiCbSUE日IhHQ96214UDQ2BQ12502D14-1-1-021Q：4Q：Jl7lQQ1Z1QDD0na0D2BDAQ2fl/10.QQ-15:1lS4tnmulida.olapsarvicalOlapTa-=IG-njca.Sd：anQ_l=rapNg

12、aEura_aKa0uar7ilhCbjeDnialhriqQO314U99271DS252D14-11-0310:47:551D01AA1DD0D0DDDDaiN3201D9Q151176comullda.DlapservicelOlapTeslGe：e.seerie5S,ih,3pDirrierisiQn&jieQuerWiJBiCbsomelhti75414U992B209J72D14-11-0310:49:111DO1AA1DDODQODODO1hiB201D9Q151293camullda.DlapaeruiceIOl3pTe5lSeajice.Eerie3Orderft&Qijef

13、iVUI1hCbi创“酊讹E3514Ug353BB1BJ2D14-11-0311:4T：231DCi1AA-lODODOODODaiMJ20.1D.aCrl5：2593Dm.iJll6a.olBp.5$fviE.IOIaprealSeryc&.scenelQueEHEQuErAMthCtsnnneiririflG35HU93270D5T32014-11-0310:49:511Q01T11000Q00003IJK22D.1D.3D.15：11G7m.Jllcia.onap.5$fvie.lOlapreslSerMc&.scenE53wapHes5ureex&QuerWiCti吕urnmthFi射

14、5S?H1+9339722(132D14-i1-0311:31:5010O1AA1ODODOO0ODO1MCI2010:30.15:2009r.Qrnijfida.ohpx日RiwIOIe卩口呂旧吕皿匚日.宜日n酊Qi日rymQue刚thiteSUE日IhHQ5514140943047962D14-11-0311:39:43lOLiiwioooariijDjnooiMj2D.1D.3Q15:32B7t.nmuficia.DhpservicelOlspTBslSerycg.senBljOuEirjr.BHBUBrfVHlIhCtt&nrnelhri054-14U9922443432D14-11-

15、0311:11:39iaO1AA1DDODODDDnO1MJ201D9Q151311cnmuflda.DhpseruieelOlapTelG&fljice.serielueeKeOuerfWitf-iC-tisomelhhq5214U992B6D9S4.2D14-11-0310:39:311DO1AA1DDODOODODO1NY201D9Q151327：Qmul1d3.DlapseryitelOlapTesIGenjce.EieneSrillDthvraeQdenjWrttiCb:somelhinci齐6）数据库连接次数最多的远程调用Top1O数拙昨边搂贋数诫蚩的讥秤调川TcipIDD3|ca

16、liil|隹主时闯|I富户删址II才轶黑*I1业苦埶非1適冋時衣用曲轴1|1J1i98636B&L32014-11-031147：39110&131OUra0O003574E20.1080.153JI3rorriuftdaoiap够町cqIQIriitpsisi?伯炖忖曲eaieryVEiiCt5(1mPiling-2|14II98534D15G201J-11-O31L3B：5I1D0仃IWD呱ODOO3U陶20.10.80.152993Lorri.dfidAijlap.srvice.lGlapIestStfrvice.scefteS&wapMe-Asure.jriueMMlJiCk泗wmHi

17、nQ2|l4li49O4n72014-11-Q31L2：0r|lDCHZ1O0COn0D(3G74E2D.10.50.15.266ram.ufid$Lutsp.e&pflce.lClapIedSeiYice.sceneLParallelRaUfl.jriLerYWiUiChsometiiflfi24|14149535105502014-H-D311OQ：2ginm.iiaooaoDDoaDinv2D.1DSn.15：131Qramunaaoapseruic&IOiaplesSeMeeKefle2_DrlliDuwri_ejfiCxjewifriCb:somemriD:5|14l9ga91Bl9

18、72014-i1-Cr31Q5fi:11|1DOl.ilOODODODOaiHfiT2D.10fin.i5:1fl21camulidachpMnjicElCilapTEstSeMCEMEnE4-C7de-RatorHEOuerKii|rtiC-bisnmetiinq26|14UQ62145J520U41-D2114g：35|lDD1Z10000000021374E-：2fl.1uSQ.i6253acamulDda.DhpEanjicGLiCilapTiJEtSiSMCQEctsnulParallalRaliDQicuftd&oiapseglOlppTEStSE闭阳也的肘忖11川斤？110.肌閔

19、15呼/对11強Sflmetiingg|14195632506220-11-0311d5：211QE零1QD叩卯00?4日ZD.1OBD.15:3543rom.ufldoiap緒旳cm.lQl即stsm阳慎scmn阳心帕匚卽凶*网11AHietling-i:|l4li983672：3592014-11-0311.03:491DOI阳OODQODOOSOB1220.10.80.15:1419：0rri.ufidSLijlap.&?ce.lCildpTestSe(ice.8cefleCCtieRjlijeKeCnjerftiCtKsorTnetiiflQ2（基准测试配置文件的git地址，数据文件的

20、备份目录）a）备份文件：应用服务器和数据库服务器的虚拟机文件。design数据源的dump文件，dw数据库的数据通过tpch生成。导出的数据仓库元数据、语义模型、分析主题、透视表的定义(通过design的dump文件可获得)。数据文件备份目录：20280.19olap性能基准测试文件备份b)Tpch数据生成步骤：数据生成过程在官方网站()下载数据生成工具包tpch_2_17_0.zip配置/tpch_2_17_0/dbgen/下面的makefile文件，需要配置的位置如下CC=gcc、DATABASE=ORACLE、MACHINE=LINUX、WORKLOAD=TPCH，参数依照具体的运行环境

21、和需求而定在/tpch_2_17_0/dbgen/目录下使用make指令对数据生成程序进行编译(如果makefile有后缀.suite需要重命名成无后缀的文件名)，编译后会多出一些连接文件使用./dbgen-s1进行数据的生成，其中1代表生成1G的数据量，其中数据量的取值只能取1,10,100,300,1000,3000,10000,30000,100000其中的一个，执行成功后，在/tpch_2_17_0/dbgen/目录下会有8个表的对应的8个以tbl为后缀的文件建立库表结构(使用如下sql创建相关的8张表结构)CREATETABLENATION(N_NATIONKEYINTEGERNOT

22、NULL,N_NAMECHAR(25)NOTNULL,N_REGIONKEYINTEGERNOTNULL,N_COMMENTVARCHAR(152);CREATETABLEREGION(R_REGIONKEYINTEGERNOTNULL,R_NAMECHAR(25)NOTNULL,R_COMMENTVARCHAR(152);CREATETABLEPART(P_PARTKEYINTEGERNOTNULL,P_NAMEVARCHAR(55)NOTNULL,P_MFGRCHAR(25)NOTNULL,P_BRANDCHAR(10)NOTNULL,P_TYPEVARCHAR(25)NOTNULL,P_

23、SIZEINTEGERNOTNULL,P_CONTAINERCHAR(10)NOTNULL,P_RETAILPRICEDECIMAL(15,2)NOTNULL,P_COMMENTVARCHAR(23)NOTNULL);CREATETABLESUPPLIER(S_SUPPKEYINTEGERNOTNULL,S_NAMES_ADDRESSS_NATIONKEYS_PHONES_ACCTBALS_COMMENTCHAR(25)NOTNULL,VARCHAR(40)NOTNULL,INTEGERNOTNULL,CHAR(15)NOTNULL,DECIMAL(15,2)NOTNULL,VARCHAR(1

24、01)NOTNULL);CREATETABLEPARTSUPP(PS_PARTKEYINTEGERNOTNULL,PS_SUPPKEYINTEGERNOTNULL,PS_AVAILQTYINTEGERNOTNULL,PS_SUPPLYCOSTDECIMAL(15,2)NOTNULL,PS_COMMENTVARCHAR(199)NOTNULL);CREATETABLECUSTOMER(C_CUSTKEYINTEGERNOTNULL,C_NAMEC_ADDRESSC_NATIONKEYC_PHONEC_ACCTBALVARCHAR(25)NOTNULL,VARCHAR(40)NOTNULL,INT

25、EGERNOTNULL,CHAR(15)NOTNULL,DECIMAL(15,2)NOTNULL,C_MKTSEGMENTCHAR(10)NOTNULL,C_COMMENTVARCHAR(117)NOTNULL);CREATETABLEORDERS(O_ORDERKEYINTEGERNOTNULL,O_CUSTKEYO_ORDERSTATUSO_TOTALPRICEO_ORDERDATEO_ORDERPRIORITYO_CLERKO_SHIPPRIORITYO_COMMENTINTEGERNOTNULL,CHAR(1)NOTNULL,DECIMAL(15,2)NOTNULL,CHAR(10)N

26、OTNULL,CHAR(15)NOTNULL,CHAR(15)NOTNULL,INTEGERNOTNULL,VARCHAR(79)NOTNULL)CREATETABLELINEITEM(L_ORDERKEYINTEGERNOTNULL,L_PARTKEYINTEGERNOTNULL,L_SUPPKEYINTEGERNOTNULL,L_LINENUMBERINTEGERNOTNULL,L_QUANTITYDECIMAL(15,2)NOTNULL,L_EXTENDEDPRICEDECIMAL(15,2)NOTNULL,L_DISCOUNTDECIMAL(15,2)NOTNULL,L_TAXDECI

27、MAL(15,2)NOTNULL,L_RETURNFLAGCHAR(1)NOTNULL,L_LINESTATUSCHAR(1)NOTNULL,L_SHIPDATECHAR(10)NOTNULL,L_COMMITDATECHAR(10)NOTNULL,L_RECEIPTDATECHAR(10)NOTNULL,L_SHIPINSTRUCTCHAR(25)NOTNULL,L_SHIPMODECHAR(10)NOTNULL,L_COMMENTVARCHAR(44)NOTNULL);3.导入数据1)使用sqlldrname/passwordip:port/servicecontrol=/catalog1

28、/load_S行表的数据导入过程，其中需要控制文件对数据的导入进行控制，控制文件的样例如下loaddatainfile/catalog2/appendintotableCUSTOMERfieldsterminatedby|(C_CUSTKEY,C_NAME,C_ADDRESS,C_NATIONKEY,C_PHONE,C_ACCTBAL,C_MKTSEGMENT,C_COMMENT)建立主键、外键、索引1)建立主键ALTERTABLEPARTADDPRIMARYKEY(P_PARTKEY);ALTERTABLESUPPLIERADDPRIMARYKEY(S_SUPPKEY);ALTERTABLE

29、PARTSUPPADDPRIMARYKEY(PS_PARTKE,YPS_SUPPKEY);ALTERTABLECUSTOMERADDPRIMARYKEY(C_CUSTKEY);ALTERTABLEORDERSADDPRIMARYKEY(O_ORDERKEY);ALTERTABLELINEITEMADDPRIMARYKEY(L_ORDERKEY,L_LINENUMBER);ALTERTABLENATIONADDPRIMARYKEY(N_NATIONKEY);ALTERTABLEREGIONADDPRIMARYKEY(R_REGIONKEY);2)建立外键ALTERTABLESUPPLIERADD

30、CONSTRAINTFK_SUPPLIER_1FOREIGNKEY(S_NATIONKEY)REFERENCESNATION(N_NATIONKEY);ALTERTABLEPARTSUPPADDCONSTRAINTFK_PARTSUPP_1FOREIGNKEY(PS_PARTKEY)REFERENCESPART(P_PARTKEY);ALTERTABLEPARTSUPPADDCONSTRAINTFK_PARTSUPP_2FOREIGNKEY(PS_SUPPKEY)REFERENCESSUPPLIER(S_SUPPKEY);ALTERTABLECUSTOMERADDCONSTRAINTFK_CUST