SAP大数据方案介绍

引领大数据潮流之SAP平台战略Agenda大数据实时分析挑战SAP让大数据成为现实SAP大数据解决方案SAP内存计算平台SAP解决方案场景及价值©2013©2013SAPAG.Allrightsreserved.2移动数据移动数据IMHO,IMHO,it’sgreat!8.6Zettabytes8.6社交网络40ZB20112015202全球数据量的复合增长率的企业正考虑大数据项目0©2013©2013SAPAG.Allrightsreserved.3传统传统IT架构不堪重负…迫使不断寻求新的技术例如Hadoop2012年全球数据总量2.8ZB85%来自于新数据类型2020年将有15倍增长2020年全球数据量达到40ZB未来新的数据源(Sentiment,Clickstream,Geo,Sensor)4发展趋势Youtube：每日视频浏览量达40亿次会会语义分析(CIRCA语义分析(CIRCA1980)预测分析(CIRCA1980)（CIRCA1980）(CIRCA1980)VelocityVelocity©2013©2013SAPAG.Allrightsreserved.6Volume©2013©2013SAPAG.Allrightsreserved.7 Variety传统数据仓库例如XML基于数据库的非结构化数据处理不是数据库+非结构化数据处理事件数据和流数据的处理股市报价数据电信信令数据©2013©2013SAPAG.Allrightsreserved.8 Velocity例如传统的ETL作业数据从生产由于处理的时间窗口过于狭窄 数据分析不仅是T+1的批处理实现实时数据分析！基于数据流的快速复杂规则响应/毫秒级别©2013©2013SAPAG.Allrightsreserved.9Value为用户提供前所未有的数据洞察能力为新系统提供前所未有的灵活性（或最优成本效益）viaviaSAP场景及应用可行的商务洞察分析能力批量批量-深度的用户行为和习惯分©2013©2013SAPAG.Allrightsreserved.10Agenda大数据实时分析挑战SAP让大数据成为现实SAP大数据解决方案SAP内存计算平台SAP解决方案场景及价值©2013©2013SAPAG.Allrightsreserved.11WhyWhySAPforbigdata?RealTime力SAP:实时,客观的结果AppsSAP为业务和IT带来的变革降低政府基金的浪费和管理风险<2分钟从9千万行数据中查找到100,000姓名I甄别出带有癌症DNA需要治疗的病人216x倍:3天20分钟通过模型分析提升医疗诊断的效率300M数据;2-10秒内完成分析预测客户购买意愿延长轮胎寿命，降低开销每年分析超过400亿案例洞察客户情况察客户的负面信号分析客户行为发现优质客户%%BankAustria提升市场分析的效率资产联系22,000传感器每年产生3.15B行数据更好的开辟新市场和新产品活动占用率从3%到5%降到支持远程现场的实时分析秒级分析15年的数据预测潜在的设备质量状况体育赛事分析SportsAnalytics电子商务E-Business提升释放实时数据为企业带来价值&用通过SAP针对行业,专注于业务的应用SAP的创新合作伙伴，是实时发挥大数据洞察Scientists全球专家团队，由大批博士级的科学家组成，在Scottsdale,Walldorf和Bucharest工作.他们已经成功帮助了100个客户，并且通过针对一些非常复杂的使用场景的深入研究，在需求分析等领域创造了行业领先的研究成果，在以下这些方面总结出了大量可复用的原理或分析模型数据洞察和风险评估数学模型，预测模型，模拟技术，优化算法使用到大量SAP相关的技术:HANA,SAPBusinessObjects,SAPPredictiveAnalysis,VisualizationFlexibledeliveryintegration+ee(xμ)2f)=/(2σ2)口口AlgorithmsAlgorithmsApplicationsSQLSQLAgenda大数据实时分析挑战SAP让大数据成为现实SAP大数据解决方案SAP内存计算平台SAP解决方案场景及价值©2013©2013SAPAG.Allrightsreserved.20SAPHANAplatform基于Intel或Hortonworks的Hadoop利用DataServices做数据整合和SAPEventStreamProcessor(ESP)做流数据处理高级分析&可视化工具(BO/Lumira)DataScience服务大数据行业解决方案SQLSQLAppServer|UIIntegrationServices|WebServerAdmAdmPredictiveAnalysisLibraries|BusinessFunctionLibraries|DataModels&StoredProceduresDataVirtualization|Replication|ETL/ELT|MobileSynch|StreamingDeployment:On-Premise|Hybrid|On-DemandSAPHANA:预测&主动发现提供强大的商务智能分析能力。我们有大量的对各业务深入理解搭建的模型，但是其中涉及大量复杂的算法和复杂计算，HANA强大的运算能力为这些复杂业务分析提供了良好的支持基于业务数据进行量化分析，敏捷的发现各种业务场景中可能出现的极值。搭建基于各业务场景的模型，为我们预测未来的整合，处理，挖掘业务数据价值。通过各种可视化的分析工具帮助业务人员清晰数据背后反映的真实故事SAPHANA:大数据的文本分析SentimentAnalysis文本数据不在受限于二进制的文档xls,rtf,msg)中解析处理非结构化文本支持加载二进制，特殊格式的非二进制文件（如XML）和其他文档到HANA中直接进行检索分析原生文本分析为原始非结构化文本提供读取结构提供专业的基于语言学的语意分析定位情况类型(情感,主题,诉求等.)支持31种语言的语意分析和基于数据字典的分词SAPIQ:企业级数据仓库的领导产品全球超过2200用户使用，安装超过4500系统两倍于第二位领导产品的使用企业量强大的数据动态压缩功能降低企业存储的需求，降低TCO唯一的列式数据库解决方案支持全文检索，库内运算和联邦分析高性能的分析服务器列式数据管理系统(列式存储数据—可以作为HANA的近线存储)优化算法，善于处理海量分析数据加速分析和报表速度比传统交易型数据库超出1000倍的分析速度处理结构化和非结构化数据高压缩比和低TCO良好的可扩展性和架构合客户端联邦:SAPIQ和Hadoop在客户端应用做数据整合HadoopHadoop数据加载到SAPIQ:通过SAPDataServices，从Hadoop(HDFS)解析，转换，加载数据到SAPIQ。SAPIQ即时整合Hadoop数据:利用SAPIQ的数据联邦技术，使用SQL即时从Hadoop按需获取和链接在Hadoop内的数据集HadoopMRjobs按需整合SAPIQ数据:在HadoopMapReduce(MR)jobs利用SAPIQ的数据联邦技术，用SQL按需调用整合SAPIQ的数据分析创新无边界SelfServiceforAnalysts为你理解数据提供最大的自由,分析创新无边界SelfServiceforAnalysts在5分钟内方便下载安装到你的机器洞察分析各数据源的数据针对你的业务场景便利整合，处理，挖掘数据通过可视化方式自由定制和分析数据，介绍数据背后的故事SAPHANA为你优化明细数据的处理，支持你提供实时信息TriggerBased,RealTimeDBConnection/ASEODBCSAPHANAEventStreamsODBCAnywhereTriggerBased,RealTimeDBConnection/ASEODBCSAPHANAEventStreamsODBCAnywhereODBCDataSynchronizationApplicationsODBC/JDBC/OData28SAPHANAsmartdataaccessDataVirtualization析通过实时时间分析功能帮助我们好像事件真正发生了一样做出正确的分析和操作。通过我们成功的复杂事件处理(CEP)平台,你可以开发和发布你需要的应用，帮助你做出快速的最优的决定。实时高速分析处理多个来源,大数据量，复杂事件的流数据在事件流中获取可能触发我们需要反应的信息，生产告警信息，提醒我们快速行动基于一个或一组事件满足的条件，触发自动反应使用高性能CEP引擎快速开发良好投资回报率的应用SAPOPI:OperationalProcess利用Big利用BigData(结构化和非结构化数据,SAP和Non-SAP,cloud和on-premise)实现端到端的流程可视化和整个运维过程的把控实现实时“实现实时“bigpicture”管理持续增长的交易数据控制和研究你的关键业务流程获取及时和可操作的信息控制运营风险通过SAPHANA实现首次在语意层进行预测分析自动为每个数据挖掘方法搭建复杂的预测分析模型在可视化界面通过点击等（无需写代码），InfiniteInsightScorer可以动态发布计分方程式端到端的社交媒体分析强大的可视化能力和图标功能通过最开放最标准的移动应用开发平台，帮助我们快速，低成本，先进的移动应用使用户能够在任何移动设备上都可以便利的使用直接的，具备良好数交MobileAccessMobileAccessSAPMobilePlatformSAPMobilePlatformAnalyticsExploration,Dashboards,Reports,Charting,VisualisationExtended(StorageCustomHANASolutionsOmniMarketingBusinessApplicationsSAPCustomerValueIntelligenceSAPAccountIntelligenceSAPAudienceDiscoveryandTargetingSAPDemandSignalManagementSAPSentimentIntelligenceSAPFraudManagementExtended(StorageCustomHANASolutionsOmniMarketingBusinessApplicationsSAPCustomerValueIntelligenceSAPAccountIntelligenceSAPAudienceDiscoveryandTargetingSAPDemandSignalManagementSAPSentimentIntelligenceSAPFraudManagementPlanningSocialTransactionsPredictiveAnalytics(PAL,R)XSEngine(Script,HTML5)StructuredUnstructured(Text,MachineData)MediaGraphSpatialVirtual(SDA)Stream(ESP)ETL(DataServices)ReplicationGovernance(IM)ConnectedAssetsSAPEERMSAPResponsiveManufacturingSAPPredictiveMaintenance<SAP<SAPEnterpriseData;Non-SAPEnterpriseData;MobileData;MachineData(Sensors,SCADA,Logs);ClickstreamData;SocialData;HistoricalData;ContextData3TH3Agenda大数据实时分析挑战SAP让大数据成为现实SAP大数据解决方案SAP内存计算平台SAP解决方案场景及价值35©201335©2013SAPAG.Allrightsreserved.其他应用其他应用SAPBusinessObjectsSAPBusinessObjectsSQLSQLBICS什么是SAPHANASQLSQLBICS预置的分析设备SAPHANASAPHANA软件-SAPIMCE包含数据建模、数据管理、安全管理及操作的工具擎数据复制服务器、ETL及SAP擎支持多种客户端应用预置内容包（抽取器及数据模型）功能对海量数据进行的高速实时分析基于历史以及实时数据，创建灵活的分析模型减少数据重复新一代应用的基础SAP第三方系统SAP商务套件NetWeaverSAP第三方系统SAP商务套件36©201336©2013SAPAG.Allrightsreserved. 去实现实时响应MPPMPP储可压缩数据和实现更MemoryColumn-Column-based库理(MassiveParallelProcessing)允许扩展基础架构37©201337©2013SAPAG.Allrightsreserved.果原始数据：10年历史数据亿条记录1PB原始数据入库后：49.2TB38©201338©2013SAPAG.Allrightsreserved.SAPHANASAPHANAAppliance与周边环境 SBOBI4servers(programforclient)39©201339©2013SAPAG.Allrightsreserved.架DBLink&InformaticaDBLink&InformaticaInformatica&DataServicesDataServices&Informatica40©201340©2013SAPAG.Allrightsreserved.架41©201341©2013SAPAG.Allrightsreserved.现件设计HANA的不同的数据展现方式n针对不同的用户群使用不同的数据展现方式nn不同的使用目的使用42©2013SAPAG.Allrightsreserved.析BO4.0各类分析报表BO4.0移动分析43©201343©2013SAPAG.Allrightsreserved.非结构化的文字索与分析构建在统一的，灵活的，健壮的数据平台基础之上的固有的文字搜索与分析能力，可针对结构化与非结构化内容并进固有的全文搜索集成的文字分析能力实体及语义的抽取图形化的建模与搜索模型专用于构建搜索应用的图形化工具箱益处:对SAPHANA中的非结构化内容进行梳理在统一的体系内整合OLAP和OLTP用例中的业务分析搜索以及文字搜索工作降低重复性的，延迟性的以及操作性的开销易于建模——已经构建于SAPHANA的建模工具之内44通过可复用的图形化构建模块，可以实现搜索型应用的快速开发44©2013SAP©2013SAPAG.Allrightsreserved.综合R统计功能应用的广泛度以及基于HANA的PAL功能的深度与能力，可以覆盖R与SAPHANA的集成可以在HANA内存计算数据库中使用R开源环境(>3,500个functions)通过高性能的并行连接器实现R的集成R脚本可以嵌入到SQL脚本以及SAPHANA的计算视图当中增强的PredictiveAlgorithmLibrary附加的固有预测算法Y数据库层面对结果的强有力和快速的处理Y更快速的实施X45Z45©2013SAP©2013SAPAG.Allrightsreserved. BI客户端XSn秒级处理实时决策XS建模建模n大规模数据运算其他数据库系统46©201346©2013SAPAG.Allrightsreserved.SAPIQ是专门针对分析型应用场景设计的关系型数据库•第一个列存储数据库•针对分析型应用场景（不适合事务型应用）•相同条件下，可以达到传统数据库10-100倍的性能，具有很高的高性价比，高压缩比•一个开放的产品•无需语句级的调优，优秀的的即席查询支持能力•通过PlexQ专利技术实现MPP，提供DQP能力•提供大数据的管理和处理能力•提供按需分配的资源管理功能47©201347©2013SAPAG.Allrightsreserved.控者•多种数据源•多种事件组合•时间序列相关•自动执行操作2009年Aleri收购Coral8；48©201348©2013SAPAG.Allrightsreserved.台–通用服务器集群–分布式处理架构(MapReduceprogram题4949©2013SAPAG.Allrightsreserved.SAP与云平台据足.SAPHANAsmartdataaccess51©201351©2013SAPAG.Allrightsreserved.Agenda大数据实时分析挑战SAP让大数据成为现实SAP大数据解决方案SAP内存计算平台SAP解决方案场景及价值52©201352©2013SAPAG.Allrightsreserved.景Non-SAPsolutionsBIandanalyticssoftwarefromSAPAnalyticNon-SAPsolutionsBIandanalyticssoftwarefromSAPAnalyticengineSAP®SolutionsSAPBusinessSuiteOtherDatawarehouse/databaseSAPDataServicesHadoopasaprocessingengineHadoopasaHadoopasaprocessingenginesimplesimpledatabaseHadoopHadoopasaflexibledatastoreComputationEngine(s)StreamingDataSocialMediaReferenceDataTransactionDataEnterpriseDataComputationEngine(s)StreamingDataSocialMediaReferenceDataTransactionDataEnterpriseDataanalyticsDatastorage(HadoopDistributedFilesystem)Analyticengine厂53©201353©2013SAPAG.Allrightsreserved.心AnalysisAnalysisDashboard/ReportingDashboard/Reportingin核心银行数据移动数据移动数据Real-TimeReplicationStreamProcessingStreamProcessing点击流数据点击流数据DataMovementDataMovement社交媒体数据社交媒体数据历史数据iiHistoricalData,OfflineBatchProcesses,ModelTrainingetc.Enablereal-timeanalyticsandactionableinsightCompanyeBayHeadquartersSanJose,CaliforniaIndustryProfessionalService(Internet)ServicesOnlineMarketplaceEmployees31,500(2012)RevenueorBudgetUS$14.1billion(2012)WebSiteeBBusinessChallengesIncreaseabilitytoseparatesignalfromnoisetoidentifykeychangestothehealthofeBay’smarketplaceImprovepredictabilityandforecastconfidenceofeBay’svirtualeconomyIncreaseinsightsintodeviationsandtheircausesTechnicalChallengesDetectcriticalsignalsfrom100PBsofdataineBayEDWHighlymanualprocessbecauseonemodeldoesnotfitallthemetricshencerequiresanalystinterventionKeybenefitsAutomatedsignaldetectionsystempoweredbypredictiveanalyticsonSAPHANAselectsbestmodelformetricsautomatically;increasesaccuracyofforecastsReliableandscalablesystemprovidesreal-timeinsightsallowingdataanalyststofocusonstrategictasksDecisiontreelogicandflexibilitytoadjustscenariosallowseBaytoadaptbestmodelfortheirdataDeterminewith100%Accuracythatasignalispositiveat97%confidenceAutomatedEarlySignalDetectionsystempoweredbySAPHANA“HANAisvaluableinthesensethatitacceleratesthatspeedtoinsight.HANA,within-memorycapability,withmulticore,fast,lotsofdata,allofthatcomingtogetherishowIthinkanalyticsisgoingtoworkbroadlyinthefuture.”DavidSchwarzbach,VP&CFOeBayNorthAmericaateBayInc.“HANAsystemwillfreeupallthebandwidthrightnowinvolvedinfiguringoutwhatisgoing.Theuserjusthastofeedintheirmetric,doesn’thavetoreallyworryaboutwhichalgorithmisthebestandbeabletousethesystembecauseitisinherentlyintelligentandconfigurable.”GagandeepBawa,Manager,NorthAmericaFP&AateBayInc.Bigdatastory©2013SAPAG.©2013SAPAG.Allrightsreserved.CMPxxxxx(YY/MM)55 KeySAPSolutions/FeaturesSAPHANAEnterprise+RSAPBusinessObjectsdashboardsTechnicalKPIs500metricsanalyzedtoidentifyoutliersDetermines100%accuracyat97%confidenceifsignalistruepositiveImplementedByNameofImplementerProjectDuration:6weeks(4POC,2Productize)DataGo-Live:05/09/2013PartnersCisco,NetAppNextStepImplementationPhaseII,explorationofSignalCausation<RServerRServerSAPHANABigdatastory56©201356©2013SAPAG.Allrightsreserved. “”XiaoyuLiu,vicepresident,Glob57 ©2013SAPAG.Allrightsreserved.57nCitigroupexecutivemanagementwantsgreatervnCitigroup