OWER大数据解决方案介绍及案例分享

POWER大数据解决方案介绍及案例分享许栋IBMPower资深系统架构师AgendaPower，为大数据而设计Power大数据方案介绍应用场景和案例分享3现实世界中的数据量呈爆炸式增长46亿移动电话用户13亿RFID标签in2005

30亿RFID

标签by201020亿Internet用户by2011Twitter每天处理

7terabytes数据Facebook每天处理

10terabytes

世界气象数据中心220Terabytes

网页数据9Petabytes

其他数据资产市场数据量增长1,750%,

2003-064数据爆炸的时代，赢得数据才能赢得世界数据是新的自然资源基于数据的决策更加复杂更加重要数据的爆炸式增长超出系统能力大数据计算需要什么样的硬件平台？OLAPDWBigDataSQLNoSQLNewSQLRDBMSHadoopSpark批处理交互分析流计算更大容量更低成本更快的处理速度支持多样化的计算类型横向扩展的能力更大更多的磁盘更少机器更少空间和耗电更低的造价游戏Map-ReduceHPC图像渲染云存储工业仿真计算密集消重/归档风险分析IO密集流计算实时分析/交互分析更快的CPU更多的线程并行更大的内存容量和带宽更大的IO带宽Flash加速大数据处理技术的发展，对硬件提出了更高的要求…灵活的硬件配比支持从计算密集到IO密集多种计算类型灵活定制硬件创新，CPU、GPU和混合计算多种计算负载的混合调度6认知计算能力持续数据加载性能海量IO带宽低延迟极端Flash性能加速网格扩展存储私有云公有云TraditionalIT混合云为BigData而设计软件定义+云化开放和协作创新Power8基于云的实时、敏捷、高效和开放的架构才能满足新计算时代的需求Power8----迄今最快的CPUPower更强大的计算能力意味着更快的数据洞察查询报告预测分析认知计算大数据和分布式并行计算场景，仍然需要更强大的CPUPower8性能对比测试testmachineCPUMemory(GB)CoreNumberTPSPercoreperformance(TPS)PKDL380pE5-2650@2.2Ghz642*6=12corephysicalbox19001581Power8282-22APower8@3.93GHz16dedicated1coreLPAR7907905.0xSPECjEnterprise2010benchmark,1.76xcoretocoreadvantagethanSPARCT5OracleSiebelCRM8.1.1.xbenchmark,6.7xcoretocoreadvantagethanSPARCT51.76x6.7xPower8—业界最高的8并发超线程Power8更多的超线程意味着更高的并发性更多用户更多活动作业SMT8技术允许在同一个物理CPU核心上同时运行8个独立的指令或线程，比Power7的SMT4高了一倍，是Intel上的超线程技术的4倍可以按需在不同模式见动态转换：SMT1/SMT2/SMT4/SMT8Power8更大的内存，更宽的内存带宽，更快的内容读写意味着更适合内存计算场景和计算密集型场景更大的内存数据库更大的OLAP多维立方体更快的内存思想性分析更高效的实时数据分析Power8—超大内存带宽较POWER7内存带宽提升2.3倍，是x86的4倍每处理器支持1TB内存，高达192GB/sec内存带宽

单台Power8服务器最多可支持230.4GB/sec内存带宽史无前例的片上96MBL3cache创新内存缓存芯片，进一步提高内存读写速度Power8——更大的I/O带宽更快的I/O读取意味味着更适适合数据据密集型型场景更低的数数据读写写延迟更高的数数据读写写速度创新I/O协处理硬硬件，软软件功能能硬件加加速较POWER7,内存带宽宽提升2.3倍内置PCIeGen3支持直接处理理器集成成取代专属属GX/桥接低延时Gen3x16带宽(32GB/s)PCIeGen3x16x8x16x8Power8I/O带宽测试试Power灵活配比比方案，，支持更更多计算算类型SmallPODMediumPODLargePOD–ALargePOD–BDriveType2.5”10KRPM1.2TBSFFSAS2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSASNumberofDrives123660LFF+12SFF60LFF+24SFFAvailableStorage14.4TB43.2TB254.4TB268.8TBSmallPOD1P8S822Lw/InternalDrivesMediumPOD1P8S822Lw/EXP24SLargePOD––B2P8S822Lw/1DCS3700LargePOD––A1P8S822Lw/1DCS3700Power大数据最最佳实践践从计算密密集型到到数据密密集型都都有灵活活的配比比方案性能、容容量和成成本的最最佳平衡衡ComputeDenseStorageDensePower8无处不在在的RAS处理器指指令重试试备用处理理器恢复复可选择动动态固件件更新Chipkill内存ECC二级缓存存、三级级缓存带故障监监控功能能的服务务处理器器热插拔磁磁盘托架架热插拔并并发维护护PCIe插槽热插拔冗冗余电源源和散热热风扇动态处理理器重新新分配PCI插槽上的的扩展错错误处理理Power8远超x86的高可靠靠设计CustomHardwareApplicationPOWER8CAPPCoherenceBusPSLFPGAorASIC可自定义义的硬件件应用程程序加速速器特定的系系统软件件、中间间件或用用户应用用程序写入PSL提供的持持久接口口POWER8PCIeGen3TransportforencapsulatedmessagesProcessorServiceLayer(PSL)向应用程程序提供供成熟的的、稳定定的接口口降低CAPP的复杂性性和工作作负载虚拟寻址址加速器可可以与处处理器一一样直接接对内存存进行寻寻址与处理器器运行程程序一样样使用指指针消除操作作系统和和设备驱驱动程序序的额外外开销Power8创新CAPI接口，开开放定制制硬件加加速硬件管理理的缓存存一致性性使得加速速器能作作为正常常线程参参与“Locks”，降低IO通信模型型中的延延迟基于Power8CAPI加速接口口，为大大数据进进行硬件件创新AgendaPower，为大数数据而设设计Power大数据方方案介绍绍应用场景景和案例例分享企业级市市场的大大数据应应用机会会KeyIndustryOpportunityandTrendsTelecom,BankingandGovernmentcontributethelargestincrementalBigData&Analyticsmarketsizefrom2013to2017inGCGMorerationalthanlastyear,notonlyfocusingonHadoopplatformTelecom,Banking,Gov’’tsectorswillhavemoredemandsforadvancedBD&AsolutionsHelpcustomersbegintheirBigDataJourneyBigdataasservicesbegantoemergeinthemarket大数据的的主要应应用类型型实时性高高实时性低低简单查询询复杂分析析内存数据据库内存分析析NoSQL实时查询询流式计算算M-R批量分析析MPP数据仓库库多应用混混合大数数据平台台海量数据据存储海量数据据存储IBM基于Power的大数据据方案实时性高高实时性低低简单查询询复杂分析析内存数据据库内存分析析NoSQL实时查询询流式计算算M-R批量分析析MPP数据仓库库多应用混混合大数数据平台台Power+CAPI+Flash+NoSQLPower+StreamPower+DB2BLUPower+DB2DPFPower+GBasePower+HadoopPower+SequoiaDBPower+Symphony/GFSP+HadoopSpectrumStoragePower+GPFSTheMarket:Explosivegrowthofnewmobile,socialappsrequiringlighteningfastresponseathighvolumeEnabledbyin-memoryNoSQL,KeyValueStoreslikeRedisOrdered(key,value)pairsprovidetypeofin-memory,lighteningfastdistributedhashtablePlaysanimportantroleinmanylargewebsitesGitHub,Amazon,Facebook,Twitter&more…TheIssue:x86memorylimitedbymaxRAMScale-outx86serverslimitedmemorysizeResultsincostly,complexinfrastructureLoadBalancer500GBCacheNode500GBCacheNode500GBCacheNode500GBCacheNode1Ux86server(24)512GBmemoryThePOWER8+CAPIFlashasRAMAdvantage:NewFLASHasRAMforRedisin-memoryappsProvidesmeansforlargeFLASHexploitationLowercostmemory,greaterworkloaddensityDramaticallyreducecoststodeliverservicesCanbeofferedasacloud-basedserviceorasanon-premisesolutionforenterprises24:1serverconsolidation3Upto3xlowerTCA24UPowerS822L/S812LUbuntu14.10FlashSystem8402TBto40TBFlash4UTheSolution:POWER8+CAPIFLASHasRAM-Upto40TBin4U19Power8+CAPI+Flash，NoSQL内存数据据库方案案LoadBalancer500GBCacheNode10GbUplinkPOWER8ServerFlashArrayw/upto40TBDifferentiatedNoSQL(POWER8+CAPIFlash)NewmemorytierforPOWER8serverUpto40TBforNoSQLbasedapplicationsClustersolutioninaboxInfrastructureAttributes192threadsin2UServerdrawer40TBofmemorybasedFlashper2UDrawerSharedMemory&CachefordynamictuningEliminationofI/OandNetworkOverheadToday’sNoSQLinmemory(x86)InfrastructureRequirementsLargeDistributed(Scaleout)LargeMemorypernodeNetworkingBandwidthNeedsLoadBalancingPowerCAPI-attachedFlashmodelforNoSQLregainsinfrastructurecontrolandreignsinthecosttodeliverservices.Power8创新NoSQL方案与与现有有NoSQL方案比比较10GbUplinkBackupNodes500GBCacheNode500GBCacheNode500GBCacheNode512GBCacheNode24:1Reductionininfrastructure2.4xPricereduction12xLessEnergy12xLessrackspace40TBofextendedmemory4U大数据据JAVA计算算过程程使用用GPU加加速，，提升升5倍倍的性性能Power8+JAVA+GPU，大数数据硬硬件加加速方方案其他Power8CAPI开放硬硬件创创新方方案……提供无无限可可能GoogleDesignedinnovationserverbaseonPower8chipKey-Value-Store35xperformanceperwattimprovement高性能能网络络加速速卡减减少10x延迟10xreduceslinesofCcodeby40xcomparedtonon-CAPI250xFasterwithCAPIFPGA+POWER8coreforMonteCarloSimulationsTMSFlashmemorystorageCoherentlyattachedHighspeed&convergednetworkingAcceleratorSwitchboardNetworkvirtualizationFieldProgrammableGateArray(FPGA)Coherently(CAPI)attachedGPU加速速，高高性能能网卡卡加速速，Flash加速速，蒙蒙特卡卡罗分分析硬硬件加加速，，硬件件压缩缩，硬硬件加加解密密……….Power+Stream流计算算方案案23大数据据平台台实时时分析析平台台一个处处理流流数据据的低延迟迟平台毫秒级级，甚甚至微微妙级级端到到端的的延迟迟一个可高度度扩展展的，用用于实时分分析的高性能能平台通过横横向增增加硬硬件获获得近近线性性的处处理能能力扩扩展高达125个节点点扩展展一个灵活的的、动态的的平台Streams应用灵灵活部部署支持动动态部部署新新的分分析应应用MillionsofeventspersecondMicrosecondLatencyTraditional/Non-traditionaldatasourcesRealtimedecisionsPowerfulAnalyticsAlgoTradingTelcochurnpredictSmartGridCyberSecurityGovernment/LawenforcementICUMonitoringEnvironmentMonitoringPower+Stream流计算算方案案编译时时Operators自动融融合：：高效利利用CPU，调整整力度度更细细分布式式运行行快速的的数据据交换换允许自自动或或人工工调整整良好的的扩扩展性性流处理理语言言：可重用用的operators快速的的动态态应用用部署署连续的的“管管道””处理理灵活、、高性性能的的数据据传输输极低延延迟极高数数据速速率易扩展展内置adaptors用户可可使用用熟悉悉的C++和Java进行扩扩充使用为为您带带来竞竞争优优势的的数据据：几乎能能处理理任何何数据据类型型使用一一些传传统方方式无无法处处理或或处理理成本本太高高动态分分析：：运行时时程序序拓扑扑的变变动创建新新任务务动态数数据流流Power+DB2BLU内存分分析方方案实现10TB数数据据亚秒秒级查查询系统-32核，10TB的表，，含100个列，，10年的数数据查询：：2010年有多多少事事务SELECTCOUNT(*)fromMYTABLEwhereYEAR='2010’结果：：亚秒秒级10TB查询！！每个个CPU核心只只检查查相当当于8MB的数据据StandAloneDB2BLU:UltraFastAnalyticsPower:UltraFastInfrastructureSolutionAdvantageArchitecture：OpenSolutionismorepreferredinChinacustomersTechnology:DynamicIn-Memory,ActionableCompression,ParallelVectorProcessing,DataSkipping,etc.Performance：DB2BLUonPower7xbetterperformancethanSAPHANAPrice：DB2BLUonPower1/9costofSAPHANAOptimizedEachOtherDB2onPower=FastonFast,DB2+Power=Excellent+ExcellentSizing720(8c,128GB)2.5-5TB740(16c,256GB)5-10TB750(32c,512TB)10-20TB720(4c,64GB)<2.5TB38xAverageAccelerationofdatabasequeriesforreporting(vs.previousversion)Power+DB2BLU内存存分分析析方方案案客户查询速度提高某大型金融服务公司46.8倍某第三方软件供应商37.4倍某分析软件业务公司13.0倍某全球零售公司6.1倍某大型欧洲银行5.6倍分析查询速度平均提高10-25倍“Itwasamazingtoseethefasterquerytimescomparedtotheperformanceresultswithourrow-organizedtables.Theperformanceoffourofourqueriesimprovedbyover100-fold!Thebestoutcomewasaquerythatfinished137xfasterbyusingBLUAcceleration.”-KentCollins,DatabaseSolutionsArchitect,BNSFRailwayPower+DB2BLU内存存分分析析方方案案vs传统统基基于于磁磁盘盘的的数数据据分分析析关注点DB2BLUonPOWERSAPHANA硬件平台PowerX86性能7Xadvantage(OLAP)总体拥有成本computingresources:10Xadvantagememoryfootprint:10Xadvantagestoragefootprint:10XadvantageTCO:9Xadvantage数据容量单节点5-20TB最佳，无需全部导入内存最多56TB，需准确预估，超出可能导致严重性能问题架构已经验证的部署DB2数据库的成熟平台支持现有平台扩展及利旧大中华区只有少量实施案例全新系统架构备份与安全对存储没有特别要求，可以利用现有各种备份和存储灾备技术备份主要采用磁盘备份，目前还不支持大多数常用备份软件Power+DB2BLUvsSAPHANAPower+DB2DPFMPP数据据仓仓库库方方案案大数数据据时时代代，，MPP数据据库库仍仍然然是是不不可可或或缺缺的的重重要要部部分分MPP作为为结结构构化化数数据据和和汇汇总总数数据据的的实实时时查查询询、、交交互互分分析析和和报报表表展展现现的的重重要要载载体体DB2DPF作为为MPP的代代表表，，具具有有广广泛泛的的优优点点，，是是DW均衡衡架架构构的的最最佳佳实实现现，CPU0MemoryCPU1CPU2CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition3CPU0MemoryCPU1CPU2CPU3DB2Partition4DB2Partition5DB2Partition6DB2Partition7CPU0MemoryCPU1CPU2CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition99…..SMP+MPP架构构的的DB2DPFDW垂直直扩扩展展:扩展展操操作作系系统统资资源源数数量量以以及及内内部部的的每每个个DB2分区区节节点点的的资资源源数数量量水平平扩扩展展:扩展展操操作作系系统统数数量量以以及及DB2分区区节节点点的的数数量量Power+DB2DPF，可可灵灵活活选选择择硬硬件件平平台台，，达达到到性性能能、、扩扩展展性性和和价价格格的的最最佳佳平平衡衡高端方案中端方案低端方案主机高端Power中低端PowerPowerlinux数据库软件DB2DPFDB2DPFOracleRAC或单机版DB2DPF架构SMP+MPP小型SMP+MPP小型SMP+SharedDisk或小型SMPMPP扩展方式垂直扩展或水平扩展DB2一般垂直扩展升级为高端POWER方案，或可水平扩展Oracle可垂直升级为高端方案，很难水平扩展水平扩展存储中高端存储中低端存储中低端存储适用场景超大规模主DW、数据集市集中库中型数据集市、ODS小型数据集市数据量（非压缩）可超过1PB，全球生产案例可达3PB；国内案例：128节点800TB数十TB至数百TB数十TB至上百TB优缺点优势：支持超大规模结构化DW，很好的性能和扩展能力优势：对于适用数据量，性能好缺点：水平扩展需要数据重分布影响生产性能；Oracle很难水平扩展优势：对于适用数据量性价比好缺点：无垂直扩展，水平扩展需数据重分布Power+DB2DPFvs一体体机机序号测试场景测试目的ISASvsExadata1数据加载测试测试数据库数据加载效率占优2数据压缩测试测试数据库对数据压缩率占优3大数据表查询——selectcount(*)测试数据库对大表的查询效率。使用全表扫描。不占优4多表关联查询（5表、10表）测试数据库多表复杂关联的效率占优5多表关联查询（2表）测试数据库多表复杂关联的效率占优6宽表查询测试数据库对宽表的汇总查询效率占优7聚合函数测试数据库对于表的聚合函数汇总效率占优8数据的distinct去重测试数据库distinct去重的效率占优9复制一张表的某些字段和一部分数据CTAS类型操作的效率占优10存储过程用例测试生产系统常用业务组合的效率占优11并发的查询用例测试生产系统常用业务组合的效率占优12多任务查询用例测试生产系统常用业务组合的效率占优13多个巨量SQL并发测试测试生产系统常用业务组合的效率占优14卸载数据测试数据库自有的数据库导出工具数据导出性能占优15数据的insert操作测试数据库的insert操作效率。占优16数据的删除操作——删除部分数据测试数据库大表的删除速度占优17数据的rollback操作测试数据库大表的删除后rollback的效率占优18数据的删除操作——整表删除测试数据库大表的删除效率，truncatetable占优占优比例94%2012年年在在某某移移动动客客户户进进行行的的对对比比测测试试，，证证明明Power+DB2DPF具具有有超超越越一一体体机机性性能能的的能能力力，，且且性性价价比比更更高高，，客客户户可可灵灵活活设设计计硬硬件件架架构构。。DB2DPFvs其他他MPP数据据库库2013年年在在某某移移动动客客户户进进行行的的对对比比测测试试，，DB2DPF在在几几乎乎所所有有场场景景的的性性能能表表现现均均超超越越了了其其他他MPP产产品品。。8节点点+SSD盘8节点点+磁盘盘16节点点4地市市融融合合业业务务场场景景32Power海量非结结构化数数据分析析方案HDFSMap-Reduce/YarnGPFSSymphonyHBaseSpark物理层平台层工具层HiveStormBigSQLStreamPigBigSheetSewuoiaDBSPSSPowerlinux：企业级环环境的最最佳选择择，性能能与成本本最佳平平衡的新新一代硬硬件平台台标准linux,Redhat/Suse全面支持持更加成熟熟、可靠靠与更高高性能的的分布式式文件系系统领先的大大数据计计算调度度平台，，多租户户管理，，更智能能调度，，更高性性能、SLA管理，支支持更多多大数据据计算类类型成熟的流流计算和和实时分分析解决决方案企业级SQLonHadoop方案同样支持持商业分分析软件件完全支持持开源大大数据版版本Powerlinux是大数据据计算的的理想平平台多线程:POWER7+每处理器器核心有有4线程,而Intel的处理器器只有2线程高吞吐:POWER7+有非常大大的内存存和I/O带宽(沃森成功功的关键键)依赖Java应用:POWER7+提供了高高度优化化的JVM企业用户户的大数数据建设设方向是是：资源源共享的的大数据据中心34管理和运运维方面面的需求求共享资源源，提高高资源利利用率，，提高投投资收益益资源统一一调度，，为每个个应用弹弹性供给给资源统一一管理应用统一一管理用户统一一管理数据安全全统一管管理统一的企业大数据中心平台业支网运O域分析B域分析开发商A应用1开发商A应用2开发商B应用1开发商C应用2任务1任务1任务3任务4任务5任务6任务7任务8业务和开开发的需需求统一的基基础平台台层，统统一的数数据和应应用接口口，便于于应用开开发的标标准化和和开放化化独立的基基础平台台层，便便于灵活活引入各各种力量量进行应应用层的的开发创创新数据和应应用的共共享和重重用，提提高开发发效率，，推动应应用的迭迭代创新新其关键是是实现面面向多租租户的任任务调度度和资源源管理IBM面向多租租户的大大数据共共享平台台实现场场景IBM多租户大大数据平平台技术术实现框框架PlatformComputingSymphonyEGO(DCOS)(dynamicclusterresourcemanagementsupportingdiversetenants)HDFS/GPFS/GPFSFPO(reliable,distributedstorage––yourchoiceofdistributed,orfastparallelPOSIXfilesystems)ABB––applicationbackboneBigInsightsinstance,Streams,Hbase,Oozie,NativeSQLapps,MongoDB,CassandraPlatformSymphonyPlatformSymphonySOAM,PSMRIBMPlatformClusterManager(provisioningandmanagementofdistributedenvironments)HPA,BigData,AnalyticSPSS,Algo,RBigSQL,Pig,Hive,DataExplorer,..PlatformLSFPlatformLSFSerialBatchMPIParallelSessionorientedHPC&BatchanywhereR,SAS,MatLab,DataStageFlowManagementHypervisorPlatformResourceSchedulerExistingDataCenterProvisioningTechnologiesPuppetRPMTPMKick-start…PlatformPPMParallelSOADataAffinityParallelRecursionMapReducePlatformPPMBatchanywhereSAS,Integrationw/Autosys,CtrlMDAGPlatformSymphonyAdvancedServiceControllerYARNAPIPlatformAdvancedServiceControllerMRAMRStreamsDataExplCognosBigSQL(online)HBase(online)YARN(Hadoop2.xRM)MRBatchTezStormABBAppsIBMSymphony支持多种种高性能计算算，高性能分分析，大数据据和其它分布布式框架实际生产环境境验证的多租租户，共享资资源框架。支支持包括Hadoop在内的分布式式负载。Symphony能够支持多租租户，支持资资源的有效共共享资源在多应用用之间有效共共享、调配资源计划示例例37IBMSymphony提供面向多租租户的资源调调度多租户间基于于策略的资源源共享多应用间可配置的资源共享策略尊重资源拥有者–可独占支持资源分组，应用可使用多个资源组，每组配置共享策略基于时间的共享策略可配置资源借出、借入策略可配置抢占策略具有保证租户SLA机制，去除资源共享的业务障碍多种负载、计计算框架资源源共享：可同同时调度并执执行MapReduce分析框架、SPARK内存计算、Stream/Storm流式计算、Hbase/MPP/NoSQL数据库、SOA实时计算，R/SAS等传统BI分析及ETL应用等7种类型的负载载Symphony支持多维度精精确资源管理理和调度可以为每个租租户定义多维维度资源调度度因子，当前前最多支持4个(Cores,Memory,Swap,Tmp,磁盘个数等)通过负载在每每个倾斜维度度的充分利用用，提高增提提资源利用率率DominantResourceFairness(DRF)算法最大化资资源任务分配配Example:假设集群包含含8cores,40GBmemoryApp1为计算密集型型，每个任务务需要4cores,2.5GBApp2为内存密集型型，每个任务务需要1core,10GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GBWithoutMDS(可同时运行3个任务:1App1,2App2)WithMDS(可同时运行4个任务:1App1,3App2)1core5GB1core5GB1core5GB1core5GB1core5GB1core5GB1core5GB1core2.5GB2.5GBApp1,Task1App2,Task1App2,Task2App2,Task3LegendMulti-DimensionalResourceScheduling(MDS)IBM方案vs纯开源方案相对于基于纯纯开源Hadoop修改的方案，，IBMSymphony软件有以下特特点：三级粒度资源源管理和调度度能力，支持持资源分组。。多样化的资源源调度策略，，如支持优先先级、独占、、按比例共享、点对点点借还、抢占占、按时间预预留等。完善的用户/租户定义和管管理机制。端到端的资源源SLA保障机制。对于服务器CPU/Mem/IO资源的细粒度度精确管控能能力，多维度度调度资源，，提高整体使使用率。基于用户的数数据共享和安安全隔离机制制健全的图形化化监控管理用用户界面对开源版本Hadoop及各种新型数数据工具的开开放兼容能力力，支持一个个平台同时运运行多个Hadoop/YARN版本及实例。。对多种OS和硬件平台的的开放兼容和和异构支持能能力Symphony基于c/c++编写，经过多多年优化，比比纯开源Hadoop性能更好Symphony具有更高性能能，作业调度度使用更高效效的推送方式式，而非轮询询方式，相对对开源实现在在不同的场景景下有40%-66倍的性能提升升。具有完整的报报表功能，多多角度搜集、、分析分布式式文件系统、、并行执行框框架、资源、、作业数据，，分析平台利利用情况，发发现性能瓶颈颈。企业级技术支支持IBMSymphony在大数据方案案中的核心价价值灵活-多租户环境实实现资源共享享高效-更快速地得到到计算/分析结果强大-低延迟，高性性能，高可扩扩展经济-降低TCO（基础设施和和管理开销））成熟-经过大规模生生产验证的解解决方案开放-丰富的API和应用支持整合-集成管理工具具，支持多集集群和云环境境贴心-强大的本地开开发和技术支支持团队资源调度C工作负载管理CCCCCCCCCCCDDDDDDDDDDDDCCCCCCAAAAAAAAAAAAAAAABBBBBBBBBBBBBBBBBB各种商业软件B自开发应用C大数据分析MapReduce/内存计算D快速响应灵活扩展经济高效SpectrumStorage/Power+GPFS海量数据存储储中心方案统一的企业内内部存储云，，云化各种存存储介质，提提供统一的通通用存储服务务GPFSasunifieddataplaneontopofdifferentstoragesystemsProvidinganunifiedinterfaceforSDScontrolplane,with:Unifiednamespacefordistributedapplications(thenatureofGPFSasclusterfilesystem)MaturedenterprisestoragefeaturesindependenttothestoragesystemsNFSMapReduceConnectorOpenStackFlashDiskTapePOSIXClientworkstationsUsersandapplicationsComputeFarmGSSCIFSCinderSwiftGlanceManilaVMwareSRMVADPVAAIvSphereSinglenamespaceIBMSpectrumScaleShareNothing

ClusterSiteASiteBSiteCGPFS

AFMIBMInterCloudStoreUniversalCloudgatewayconnectsIBMpubliccloud,AmazonS3,AzureandotherstorageprovidersIC

StoreAgendaPower，为大数据而而设计Power大数据方案介介绍应用场景和案案例分享某运营商流计计算案例--Streams44网络质量实时时监测数据规模大，，大于10万/秒的信令实时洞察网络络质量指标实时分析CDR短频话单分析析短频话单分析析并按小区/号段统计切换频话单异常话单单通话单掉话率分析测试结果（CDR/秒）配置：2GHz*4核*2台服务器单节点：702083两节点：140000按小区或号段段纬度统计短短频话单：1、占用时长小小于15秒的通话，且且同一主叫和和被叫的两通通通话间隔小小于20秒重复小区切切换话单.2、剔除业务台台号码；3、按照小区维维度统计满足足条件1、2的话单数包含设备和业业务种类多，，涉及指标多多，数据量大大不断的增大大等挑战．需需要有一个实实时分析平台台解决实时分分析网络质量量问题，优化化网络设备提提高客户满意意度．某运营商数据据仓库案例：：Power+DB2DPF128节点的典型shared-nothingMPP数据仓库，数数据库可用容容量已超过500TB。45某运营商移动动流量经营和和大数据分析析平台硬件配置:IBMPower70*7R1Redhatv6.46Cores,128GBMemInternalDisk:2*300GB,4*1.2TBEXP24s:24*1.2TBSASdiskNetworkAdapter:2x1000Gbps,2x10000Gbps开源软件部分分清单:Hadoop

2.3.0-cdh5.0.0HBase0.98.Spark(Sparkstream)HDFS2.3.0-cdh5.0.0某省移动企业业级多租户大大数据平台30台7R1单台7R1配置：8core128GB54×SASHDD4×10GE+4×1GE面向多租户资资源SLA的统一平台应用之间，用