SAP HANA及大数据方案

1、SAP HANA及大数据方案SAP In-Memory主要内容大数据领域的概况石油行业大数据方面的需求SAP大数据方案概述SAP HANA针对大数据领域提供的技术问答环节SAP Big DataGartner对IT业界敏感话题研究Big Data大数据机会: 将原始数据转化为推动大规模的商业价值的见解大数据挑战:通常是指来自与内部与外部数据源的多种格式的数据，数据量一般在TB或者PB级别，这些数据产生的速度很快并且需要进行复杂的分析1“大数据是指捕获，存储，管理和分析各种数据的大量的相关问题。” 1 /Aberdeen-Library/8361/RA-big-data-quality-mana

2、gement.aspx互联警务互联医疗互联城市互联家庭互联汽车互联家庭SAP 大数据将触及到生活和业务的方方面面互联零售互联资产管理响应迅速的供应链互联物流预测性维护互联建筑石油和天然气领域的大数据 石油和天然气信息正在迅猛增加燃料 POS 数据竞争价格GPS促销计划速度主要趋势生产数据仪表数据雇员记录供应商采购订单贸易及交易电子邮件Tweet计划社交媒体移动即时消息最佳渠道分类这意味着什么进行分析以获取洞察力大数据蕴含1.数量3D 地震数据集、地面监控、钻探测量、天气、市场价格等2.高速度实时流送数据的 SCADA 系统、钻头、流量和条件传感器等。3.多样化结构化、非结构化、准结构化（经过处

3、理的）数据。一口井1 太字节(TB) 每日生产数据2014 年在加拿大将会钻探 11,475 口井加拿大 石油服务协会 (PSAC) 估计：每口生产井生成的数据量达到 Wikipedia 每周的全部文本数据参考来源在此。/SAPanalytics/drilling-for-data-analytics-to-extract-insight-infographic融合一切的单一平台内存业务交易数字连接协作业务云社交大数据移动高级分析实时石油和天然气的下一代业务平台通过来自 SAP 的大数据解决方案把握石油和天然气行业的机遇基于HANA的SAP大数据平台覆盖内容从机器、资产和设备的角度提供了更实时

4、的决策、分析预测和更高的操作性能机器数据洞察力全渠道的洞察力传感器M2M移动设备IoT资产流程非结构化数据多媒体数据实时地理数据富格式数据企业数据社交数据从海量和多种形态数据进行实时分析和可操作的情报提供了洞察力大数据 机器数据洞察从物理资产的详细数据中提供洞察力实时地集成与互联根据条件与环境进行预测并采取措施低成本新增并改进服务新业务模型预测性维护位置信息服务远程资产管理分布式流程监控大数据 多渠道的数据洞察非结构化数据的洞察力与分析模拟预测性能优化从多个数据源与多种类型中获取洞察力集成和整合企业的实时数据为了获取更加的洞察力与性能而进行的优化最大限度地提高业务与IT优势优化组织绩效提高销售

5、业绩/提升服务质量SAP大数据方案概览使客户完成实时的商业决策14大数据平台内存计算平台分析型数据库Hadoop流式数据处理Data Services加快你获取、分析大数据洞察并能快速地采取行动大数据分析预测分析可视化文本分析商务智能在企业内部全面释放大数据的能力大数据应用大数据应用自开发应用采用新的商业模式，提供大数据应用的见解大数据服务端到端方案：探索、规划、实现、运行数据科学专家：更全面规划您的企业需求实现从大数据计划实际成果与应用科学的数据为您的企业服务平台 + 工具 数据的提取与分析专家 从多年的行业经验中细化数据需求应用 将洞察力融入每个人与业务流程SAP HANA品牌情感:-)预

6、测性维护网络优化内部威胁探测实时风险管理资产追踪360度客户视图客户流失个性化关怀产品建议实时需求供应预测欺诈监测利用大数据来驱动业务更深入地了解客户的需求SAP HANA平台为预测分析、规划、文本处理和商业分析提供各种库，使得这些业务可以达到实时的操作任何应用任何应用服务器SAP商务套件 BW ABAP应用服务器JSONROpen ConnectivityMDXSQLSAP HANA平台统一管理生命周期管理安全扩展应用服务数据集成服务Deployment:数据库服务应用程序开发流程编排OLTP | OLAP | 搜索 | 文本分析 | 预测分析| 事件处理| 地理信息 | 规则| 计划 处理

7、引擎应用函数库 & 数据模型Predictive Analysis Libraries | Business Function Libraries | Data Models & Stored Procedures数据虚拟化| 复制| ETL/ELT | 移动设备同步| 流式处理App Server| UI Integration Services | Web Server预置型 | 云部署 | 混合部署模式Supports any DeviceSAP HANA平台涵盖了数据库、数据处理与应用平台的能力SAP HANA平台不仅仅是数据产品SAP HANAIn-Memory / Text Ana

8、lysis /PredictiveSAP HANA 大数据处理平台移动与嵌入式高级分析HANA Extended Services (XS), Data Services, SAP ESP Information and Real-time Data Movement集成建模和元数据处理Common Data AccessBusiness WarehouseBusiness IntelligenceMobile & Embedded ERPOData, JSON, Smart Data AccessSAP ESP流式分析SAP IQ近线EDW分析应用 / BI Lumira云应用商务套件自开发

9、应用 Hadoop海量数据管理集成的系统管理和灵活的部署模式分析应用 / BI Lumira云应用HTML5/UI5Fiori Apps 商务套件以HANA为核心的技术平台集成和整合了大量大数据管理工具采用最领先的技术处理不同类型的数据，同时从任何其他源访问数据. 内存计算可提升所有数据处理的性能.SAP HANA平台快速部署的解决方案简单SAP HANASAP HANA平台新版本中的革新SAP HANA Platform多租户数据容器动态分层Smart Data Streaming图形数据处理Smart Data Integration & QualityHadoop集成简化配置的多个数据库

10、的部署和管理管理和分析实时的各种信息流直接访问Hadoop的HDFS和Map降低与HANA的UDF优化内存使用，扩展对海量数据的支持集成的数据加载，转换，清洗很容易发现和分析复杂的关系Series Data库内多形态数据存储和处理能力高级分析利用新的和增强的高级分析功能简化配置的多个数据库的部署和管理管理和分析实时的各种信息流直接访问Hadoop的HDFS和Map降低与HANA的UDF集成的数据加载，转换，清洗很容易发现和分析复杂的关系库内多形态数据存储和处理能力增强的数据虚拟化和访问功能支持新一代逻辑的企业架构 - 分析数据仓库数据源新增: SAP MaxDBSAP数据源: HANA, AS

11、E, IQ, MaxDB, ESP, SQLA数据库: Teradata, Microsoft SQLServer, Oracle, IBM DB2, IBM NetezzaHadoop: Cloudera, Hortonworks, MapR & Others效益实时 虚拟化访问外部数据源充分利用企业现有系统，保护投资利用HANA高级原生功能构建应用优化性能 避免在内存中存放过多数据降低开发成本 直接从数据源中获取数据HANA创新智能数据访问(Smart Data Access)新的增强使Hadoop集成方式更先进，大数据的处理手段更加丰富虚拟UDF (vUDF)为实现数据联盟而设计的新的用

12、户函数类型直接访问Hadoop Distributed File System (HDFS) 调用自定义的Map Reduce jobvUDF可以嵌入到SQL中使用场景与优势可以利用Hadoop集群中除HIVE和Spark之外的其它技术 (e.g. Hadoop Distributed File System (HDFS) and MapReduce)即席查询功能和非结构化数据的处理利用vUDF用户无需通过SDA调用HIVE转译SAP HANAvUDF OperatorRFC HadoopHadoopMap ReduceHDFSYARNHIVEHANA创新Hadoop的高级集成Merge采用H

13、ANA技术的EDW平台简化: 消除了数据缓存和数据冗余，实现了实时的数据聚集计算加速: 利用内存计算技术实现实时的数据访问预测: 库集成了预测算法和数据流传统方式: OLTP 与 OLAP 相分离10:00 AM10:00 AMMultiple Data SourcesOLTP + OLAP in SAP HANA10:00:00 AM10:00:00 AMImmediateSmart Data AccessCurrent Data24hr Old DataAggregateETLMultiple Data Sources available with Live Access ETLStrea

14、msStaging DBTransactionsTransactionsStreamsETLLots of separate ETL processes!48 Hours利用HANA Live的虚拟模型在OLTP库中直接进行分析SAP HANASAPHANA LiveCustomersChannelSuppliersAccountingForecastingInventoryProductsPricingPlanning* SAP HANA Live is a separate package, available with SAP HANACustomer ServiceRisk Manag

15、ement TeamFinance and OperationsAccount AdministrationExecutive ManagementSAP HANA Live为用户提供了一个通用的数据分析模型:易于业务人员理解和使用快速出具业务报表 (无时延)没有冗余的数据易于使用和扩展SAP大数据领域的部分案例Provide engagement for 380 million fans with 65 years of statistics available on website2X More time spent by fans on NBA websiteIdentify cance

16、r DNA variants for treatment216x faster results: 3 days 20 minutesPremier soccer club performs real-time spatial analysis of player movements to optimize trainingStress-tolerance for each player identified and addressed in real-timeImproved forecasting of energy load on in order to make sound invest

17、ment decisions 70% Reduction In the efforts for generation of the forecastingEnable fleets to sense deviations in tire temperature and pressure3% Cost Reduction in fuel and tire costsSupport decisions about sales campaigns, loan risks with SAP Sybase IQ - 250 analysts14 Terabytes Uncompressed dataIm

18、prove analysis and create influencer impact, crawling data form ca. 450 social media sites using SAP HANA (POC)$12M USD Revenue channel enabled by implementationUse real-time information to operate its call centers with greater productivity, a higher first-call resolution rate, and a lower cost per

19、transaction.5% Cost Reduction In total overall costReal-time decision-making and greater control of the supply chain for better inventory management50% Decrease in inventoryPulse Analytics Social Media Analytics using SAP HANA One6x faster Text analysis processingMonitor eBays marketplace through au

20、tomated signal detection powered by predictive analytics100% Accuracy that a signal is positive at 97% confidence地震数据处理和解释挑战：处理例程的操作：增强信号会导致噪音过大提供速度信息折叠衍射，将浸渍事件放到其真正的地下位置（迁移）提高分辨率解决方案详情：震波图分析的目的是为了将获取的数据处理成图片，用于推断地下结构。POC 探索了仪表盘和可视化展示方法的使用以定义和调整噪音参数，以便来自多个记录点的多波段数据能够在同一个视图中显示。然后这些数据读取能够与其他分析进行比较，并进行优化以找出现有已知储量和预测的未来储量之间的一致性优势介绍： 提高对地震数据的