OracleEXADATA技术架构与应用平台实施经验分享

理数据库云平台EXADATA技术架构与应用平台实施经验分享1234567Agenda1234567景及需求分析解决方案的选择发测试环境建设快捷部署，完美整合压力测试，极致性能从磁盘到数据库，集中管理平稳上线，成功交付CopyrightOracle.Allrightsreserved.2CONFIDENTIAL–ORACLEHIGHLYRESTRICTED3东风日产汽车有限公司是东风汽车公司与日本日产汽车公司于2003年6月9日成立的合资公司。总部设在武汉，工厂分布于湖北十堰、襄阳、广州花都、河南郑州-行业还在高速发展、对自身发展IT建设等有很高的要求大小应用上百个，软硬件平台复杂---IT日常运维工作量大、有整合的需求业务持续性系统维护过程中的可用性服务的SLA标准求业务持续性系统维护过程中的可用性服务的SLA标准求低成本、易管理降低系统建设、系统维护及管理成本统一管理，集中实时监控合和扩展要求整合，建立企业私有云满足未来3~5年的发展需求具有良好的扩展性1.简单、动态、灵活的架构2.资源的合理利用和分配3.数据的集中整合求满足核心交易系统的高性能要求更加及时和准确的报表和决策支持能力1.消除瓶颈，高效的业务数据访问2.资源共享和负载均衡3.更高的I/O吞吐量，更快的批处理能力数据集成的高效性1.冗余设计2.多层次数据保护机制3.灾备机制1.提高资源利用率3.简化管理，降低风险CONFIDENTIAL–ORACLEHIGHLYRESTRICTED4SAPCISAPCI云平台整合SPPEWM务器SAPCISAPCI云平台整合SPPEWM务器AppServerAppServer两个关键应用 1个数据库云平台一体化运营管理系一体化运营管理系统台启辰DMS应用服务器 3大优势：整合、高性能、易于管理CONFIDENTIAL–ORACLEHIGHLYRESTRICTED5CONFIDENTIAL–ORACLEHIGHLYRESTRICTED61234567Agenda1234567景及需求分析解决方案的选择发测试环境建设快捷部署，完美整合压力测试，极致性能从磁盘到数据库，集中管理平稳上线，成功交付解决方案的选择CXLinuxCONFIDENTIAL–ORACLEHIGHLYRESTRICTED7CONFIDENTIAL–ORACLEHIGHLYRESTRICTED8Exadata在2011年6月10日获得SAP认证CONFIDENTIAL–ORACLEHIGHLYRESTRICTED9最佳性能最佳可用性最佳整合-SAPDBs或SAPDBs+其它库最佳安全高度工程化，标准化SAPonExadata认证适用的SAP产品范围口口口可以跑在Exadata上面业方案如::•SAPERP(ECC)6.0•SAPBW7.x•SAPCRM2005/2007/7.x•SAPPLM6.0/7.0x•SAPSRM2005/2007/7.x•SAPSCM2005/2007/7.x•SAPOil&Gas2005/6.x•SAPBankingServices5.0/6.0/7.0/8.0CONFIDENTIAL–ORACLEHIGHLYRESTRICTED11解决方案确立项目实施 EM2C管理验证安装部署ASR及EMEM2C管理验证可行性研究东风在埃森哲、联友和甲骨文的协助调研下，确定了引入ExadataforSAP&DMS的必要性开发测试环境的安装验证了SAP在RAC方式下运行的可行性DMS数据库部署及应用部署支持，功能测试SAP数据库部署及应用部署支持，功能测试SAPBR*Tools安装部署及功能测试协助实施商埃森哲和联友进行上线前的压力测试和性能优化EM12c和ASR安装部署及管理验证CONFIDENTIAL–ORACLEHIGHLYRESTRICTED13东风有限花都数据库云项目推进历程文签署合约并开始采购Exadata合联友和埃森哲部署开发测试环境2011年12月底Exadata到货，并开始硬件安装2012年1月配合联友安装和部署ExadataDMS数据库2012年2月初配合埃森哲部署ExadataSAP数据库2012年3月协助实施商埃森哲和联友进行上线前压力测试和2012年3月底部署EM12c进行管理的测试CONFIDENTIAL–ORACLEHIGHLYRESTRICTED141234567Agenda1234567景及需求分析解决方案的选择发测试环境建设快捷部署，完美整合压力测试，极致性能从磁盘到数据库，集中管理平稳上线，成功交付SMD-CI/ASCS(4000SAPs)WMD-CI/ASCS(3000SAPs)XID-CI/ASCS(2000SAPs)LCD-1(1000SAPs)SMD-CI/ASCS(4000SAPs)WMD-CI/ASCS(3000SAPs)XID-CI/ASCS(2000SAPs)LCD-1(1000SAPs)LGxCGBMemSMDDBInstance1(5000SAPs)WMDDBInstance1(3750SAPs)XIDDBInstance1(1250SAPs)SMDDBInstance2(5000SAPs)SMDDBInstance1(5000SAPs)WMDDBInstance1(3750SAPs)XIDDBInstance1(1250SAPs)SMDSMD-DI/ERS(4000SAPs)WMD-DI/ERS(3000SAPs)XID-DI/ERS(2000SAPs)LCD-2(1000SAPs)CONFIDENTIAL–ORACLEHIGHLYRESTRICTED15SMQ-CI/ASCS(4000SAPs)WMQ-CI/ASCS(3000SAPs)XIQ-CI/ASCS(2000SAPs)LCQ-1(1000SAPs)SMQ-CI/ASCS(4000SAPs)WMQ-CI/ASCS(3000SAPs)XIQ-CI/ASCS(2000SAPs)LCQ-1(1000SAPs)LGxCGBMemSMQDBInstance1(5000SAPs)WMQDBInstance1(3750SAPs)XIQDBInstance1(1250SAPs)SMQDBInstance2(5000SAPs)SMQDBInstance1(5000SAPs)WMQDBInstance1(3750SAPs)XIQDBInstance1(1250SAPs)SMQSMQ-DI/ERS(4000SAPs)WMQ-DI/ERS(3000SAPs)XIQ-DI/ERS(2000SAPs)LCQ-2(1000SAPs)CONFIDENTIAL–ORACLEHIGHLYRESTRICTED16CONFIDENTIAL–ORACLEHIGHLYRESTRICTED17SAP开发/测试数据库部署方案开发测试数据库环境和Exadata保持一致，使用IntelXeonX86_64服务器,操作系统为OEL5.5,安装基于ASM的11.2RAC；开发测试数据库打上和Exadata一样版本的SAPBundlePatches； SAP虽然支持MultipleComponentsinOneDatabase(MCOD),但考虑到SAP不同模块对Oracle的版本和补丁要求可能不一样，EWM、SPP、PI各系统采用独立的INSTANCE；CONFIDENTIAL–ORACLEHIGHLYRESTRICTED181234567Agenda1234567景及需求分析解决方案的选择发测试环境建设快捷部署，完美整合压力测试，极致性能从磁盘到数据库，集中管理平稳上线，成功交付CONFIDENTIAL–ORACLEHIGHLYRESTRICTED19 a从头开始构建参考配置ExadataDatabaseExadataDatabaseMachine PDMSSAP和DMS两大系统整合 PDMSSAP和DMS两大系统整合EMSESVDiskGroupDiskGroupDiskGroupDiskGroupOracleAutomaticStorageManagementUPEXADATA不同的数据库，将数据存放在ASM上不同的表空间中，相互没有影响CONFIDENTIAL–ORACLEHIGHLYRESTRICTEDnnectionVTLInfinibandnnectionVTLInfinibandnnectionwitchesbAASMCONFIDENTIAL–ORACLEHIGHLYRESTRICTEDSAPBRTOOLS在Exadata安装和使用ightsreserved1234567Agenda1234567景及需求分析解决方案的选择发测试环境建设快捷部署，完美整合压力测试，极致性能从磁盘到数据库，集中管理平稳上线，成功交付SAP系统数据库压力测试压力测试是埃森哲根据以往经验，针对通常SAP压力最大的SPP模块进行测试，SPP模块主要是用来执行下图所示的计划任务。CONFIDENTIAL–ORACLEHIGHLYRESTRICTEDCONFIDENTIAL–ORACLEHIGHLYRESTRICTED25SAP压力测试结果TaskName况备注ZSPP9_FCST_FIRST_RUN_MONTHLY881.7倍于每月通过对历史数据的计算，压力稍大ZSPP3_EOQ_SFT_MONTHLY万条5倍存量，以便预测订单数量ZSPP1_DRP_DAILY00万.3倍PerformDRP(Daily,KITomponentandotherpartsZSPP5_SUPERSESSION相当用于计算可用的备件替代件ZSPP5_DRP_MONTHLY万万.9倍ZSPP014_NEW_PRODUCT_EOQ_S万条5倍计算库存计划ZSPP012_PHASE_IN45倍新备件导入预测CONFIDENTIAL–ORACLEHIGHLYRESTRICTED26东风和埃森哲对本次压力测试的高度评价了Exadata对混合负载(在线交易和批处理)卓越支持。JOB，在ZSPPFCSTFIRSTRUNMONTHLY每月通过对历史备件的需求预测)这个脚本在传统架构的系统环境中通常时，在Exadata上的运行时间只有80分钟，大大超出CONFIDENTIAL–ORACLEHIGHLYRESTRICTED27东风启辰DMS系统压力测试内容准备和匹配好100家门店对应的测试数据；使用5台测试机，每台分别模拟10个用户同时执行使用10台工作电脑，每台模拟5个用户执行3家专营店(广州万江、深圳东风南方华辰、威海鑫通)模拟3个用户场景设置：每个用户对7个功能分别执行5次测试项目平均响应时间(s)AP处理时间成功率东风启辰DMS系统压力测试结果从上面两个性能分析图中可以看出，一体机中的两个节点的CPU使用率都在5%以内，说明DMS系统在一体机上运行时没有瓶颈和压力的。在做DMS的压力测试的同时SAP系统也在这台一体机上运行，DMS的压力测试没有对SAP系统造成任何影响。CONFIDENTIAL–ORACLEHIGHLYRESTRICTED28CONFIDENTIAL–ORACLEHIGHLYRESTRICTED29大量的数据访问会出现瓶大量的数据访问会出现瓶颈 求传统架构的数据库系统量CPU存储量数据传输了瓶颈IO的瓶颈储 DBServer④“SmartFlashCache”：FlashCache随机I/O性能高达1MIOPS求性能提升的理由用数据SmartScanEHCCSmartFlashCache等是OracleExadata独有的关键性能突破技术送量小送量小到服务器负载低②数据筛选，排序价值的数据传送到数SmartScan智能扫描技术服务器的CPU负担，同时极大地降低②数据筛选，排序提取所有被访问的数据②数据筛选，排序提取所有被访问的数据(含Oracle)才以从送(SAN/NAS)CONFIDENTIAL–ORACLEHIGHLYRESTRICTED30OracleExadataOracleExadataU读取IO瓶算时也IO等待(包括Oracle)(SAN/NAS)©2010OracleCorporation31Exadata混合列压缩更高的容量，更低的成本-为提高速度进行了优化-扫描成比例增长-为减小空间进行了优化CONFIDENTIAL–ORACLEHIGHLYRESTRICTED32存 读取高性存 读取更快随机I/O的闪存技术，实现了大，实现了大存©2010OracleCorporation33高性•将热点数据透明地缓存在闪存卡上采用SSD实现透明的数据库2级缓存(SGA是1级)•比磁盘更快(100xfasterforreads)•比内存便宜($50pergigabyte)•大容量(hundredsofgigabytesperflashdisk)CIExpress•比基于LRU的算法更加聪明•知道何时跳过缓存对象，以避免污染或清除•允许明确指定缓存的对象•ALTERTABLEcalldetailSTORAGE(CELL_FLASH_CACHEKEEP)©2010OracleCorporation34CONFIDENTIAL–ORACLEHIGHLYRESTRICTED35✔✔40Gb/sHigh•✔✔✔40Gb/sHigh•✔响应入FlashFlashCacheUsagelashlash盘的cheCONFIDENTIAL–ORACLEHIGHLYRESTRICTED3640Gb/s数据库节点CPU负载大幅减少磁盘的次数减少间带宽增加，二传输的数据量减少，节省了带宽I/O低40Gb/s数据库节点CPU负载大幅减少磁盘的次数减少间带宽增加，二传输的数据量减少，节省了带宽I/O低通过整合的存储层的软件，减少不必要的数据读取，减少了服务器端的通过整合的存储层的软件，减少不必要的数据读取，减少了服务器端的负载CONFIDENTIAL–ORACLEHIGHLYRESTRICTED371234567Agenda1234567景及需求分析解决方案的选择发测试环境建设快捷部署，完美整合压力测试，极致性能从磁盘到数据库，集中管理平稳上线，成功交付整合ExadataI/O资源管理多个共享存储环境数据库之间和同一数据库内部口确保共享Exadata存储池的多个不配相对合理-数据库A:33%I/O资源-数据库B:67%I/O资源口确保在同一个数据库内部，不同配相对合理-数据库A:•报表:60%的I/O资源•ETL:40%的I/O资源-数据库B:•交互应用:30%的I/O资源•批处理:70%的I/O资源(Single-Instance)(RAC)CONFIDENTIAL–ORACLEHIGHLYRESTRICTED38CONFIDENTIAL–ORACLEHIGHLYRESTRICTED39InfrastructureDatabaseInfrastructureDatabase管理资料库Database易管理管理AgentEM12C对Exadata的集中和便捷的管理InfrastructureDatabaseInfrastructureDatabase管理资料库Database易管理管理AgentOracle运维部门为东风在花都数据库云服务器系统中部署了OracleEnterpriseManager12C用管管理Agent管管理服务器(OMS)ExadataStorageServer搭建GridControl统一监控平台，针对Exadata数据库服务器部署Agent，对默认数据库参数进行监控部署Exadata监控插件,对ExadataStorageServer,InfinibandNetwork,KVM,PDU,ILOM,CISCOSWITCH默认配置参数进行集中监控帮助客户配置默认邮件报警机制 RUdupportCenterOracleSupportServices•CPU•Diskcontrollers•Disks•FlashCards•Flashmodules• RUdupportCenterOracleSupport