SAP烟草行业云大数据平台解决方案

烟草行业云大数据平台方案五、附录国家局在行业信息化发展规划中，明确要求“推进大数据技术应用”大数据将成为行业市场化取向改革的强大抓手和精益营销的有力工具精益营销精益生产精益物流烟草行业大数据3亿多卷烟消费者，169个卷烟品牌，1325个规格包装500多万零售客户，125亿多条卷烟，每天2亿笔交易数据350个地市级公司，国家局信息中心机房数据17400G每年“一号工程”处理200多亿个数据4市场化取向改革对卷烟营销工作提出更高的要求，进一步强调分析应用智能化的重要性订单采集货款结算订单采集监督管理省级卷烟营销平台监督管理56中国烟草在互联网+时代的新一代数据中心建设互联网+精准营销互联网+智能制造互联网+科学决大数据+实时计算面向移动互联时代的新一代数据中心SAP大：海量存储-Hadoop快：内存计算-HANA低：资源共享-Cloud□行业“互联网+”的市场化转型升级平台□成为“一号工程”升级版的专卖实时管控平台口打造未来的中国烟草“大众创业，万众创新”的平台8大数据挖掘为核心实现精益营销消费行为预测数据挖掘客户聚类分析数据挖掘货源精准投放数据挖掘营销策略分析数据挖掘产品生命周期数据挖掘销售潜力分析数据挖掘互联设备互联设备智能物流解决方案和架构Management(扩Management(运(追踪和追溯)展仓库管理)输管理)(枢纽物流)PantConneciivity(工广设备连按)仓库智能设备NetWeaverProcessIntegration(流程集成平台)电信服务提供商互联设备互联设备端到端的一体化智能物流解决方案流程概览运输计划创建销售订单或制定运输计划装运执行监控及自动创建运输需求拣货优化，包装，备货事件追踪并传输到ERP和装车管理自动创建货运单元交货单集成的外向发货流程TM-EWM三、烟草行业云大数据整体架构中国烟草云数据中心的未来总体架构层分析主题财务分析(项目分析)(采购分析)(网点分析)(成本分析)(生产分析关键指标分析…分析主题企业门户报表平台配置工具报表平台配置工具分析应用BOE平台SAPBOE平台层层业务主题层指标数据层业务数据层原始数据层元数据管理平台烟草业务运营/支持类系烟草业务监控系统SA输SAP平台平台理主数据中国烟草云数据中心系统建设>建立统一数据采集平台进行数据管控、数据分发、数据质量等的统一管理，建立各业务系统与数据存储层的数据交换渠道>采用全新的数据库平台技术，提供实时数据查询能力，帮助用户更方便快速建立数据模型>在底层平台建设的基础上，使用专业展现工具进行数据呈现/数据分析/数据挖掘，为企业运用运营数据提供支持企业数据交互层企业级数据复制服务器超过3000家企业客户选择SYBASERS搭建关键业务系统的实时复制环境，包括异地数据存储，提高灾备数据保护提供关键应用的业务连续性保护卓越的复制性能，降低数据从源到目标的时间灵活的定义、不受限的扩展性，满足业务扩展需求应用分离方案，备点提供报表、查询功能，减少生产点系统压力Gartner,Forrester10+PatentedtechnologytoboostperformancesourcesServicesIndustry√在复制拷贝中维护完全的事务完整性√支持异构(异种)数据库√双向复制(从源到目标且反之亦然)√通过Sybase实时事件触发，发送改变的数据到消息总线messagebus1001010101010101010110101010101010001复制服务器的优势>开放!支持Sybase,Oracle,SQLServer,DB2等各种主流的数据库>灵活!灵活的数据传输定义和订阅>高效!最有效的传输内容，降低网络负载，提高传输效率>可靠!提供了丰富的数据传输保障机制，如断点续传等，保障传输>TCO!RS可独立运行在一台独立服务器上，不局限于数据库的平台产品名称复制服务器布局转换复制服务器利用SLO技术管理的概念若干SLO技术应用程序生命周期管理@mkarm系统布局优化多重数据获取用例的技术保证基于数据表的复制已经集成在HANAStudio·对SAP源系统和非SAP源系统实时数据复制针对RDS方案和ERPAccelerators的数据复制引擎TransactionOperationalPipelineAnalysisAccelerator针对新的SAPHANA应用加速器的数据复制引擎SAFAC*SAFAC*CO-PAAccelerator·AcceleratedVirtualInfoProviderSAP提供最佳EIM传递完整，准确，容易访问的信息SeSe9?veGove■SAPNetWeaverInformationLifecycleManagement■SAPDocumentAccessbyOpenText■SAPArchivingbyOpenText■SAPNetWeaverBusinessWarehouse■SAPNetWeaverBusinessWarehouse■SAPBusinessObjectsMetadataManagement数据整合、数据质量、和文本分析第一个、也是唯一的数据整合、数据质量、数据治理和文本数据分析的集成平台整合治理a业务用户界面IT用户界面异构数据源异构数据源WebXML)理的数据数据抽取&数据抽取&数据转换一个或者多个目标以合适的格式或者结构装载到目标内建企业级数据和应用访问接口SAPDataServices在向数据库，应用程序，遗留系统，文件格式等提供广泛连接方面具有悠久数据库应用程序文件/传输大型机(合作伙伴)非结构化DB2(LUW,z-series,i-series)TeradataNetezza-ExtractorsOracleAppsS.TextdelimitedTextfixedwidthADABAS的文本文件类型ppts等等(4.1SP1)治理物理数据整合实时批作业数据质量管理核心流程■评估(理解数据质量的问题)■清洗(地址或者其他数据)ContinuousMeasuresongoingdotaqualityscoresandprovidosalertsCombinosuniquedataelementsfrommatchedrecordsinioasinglesourceYourYourIdentifiesdupicatetablosortablosordatabasesMatch&Consolidate典型应用场景■组织和企业在合并过程中，系统间主数据的合并■建立真正干净、完整的重要信息(如客户，供应商，产品等等)资料库Appendsadditional'dataincreasingthevalucoftheinformationDataEnhancement一absbaabsbanddonappensasetgfsophisticatedalgorithmsthatworkwithsacondarysourceDataAssessmentQuantfiesthenumberandtyposofdefoctsAnalyzeAssessesthenatureandcauseofdatadefoctsldentificsandisolatesdataelementsindatastructuresStandardizeNormalizesdatavaluesandformatsaccordingtoyourrulosandthatofthird-partyreferencesDataCleansing数据质量记分卡变化影响清洗规则业务术语表DataInsightMetadataManagementMetapProjects▶SaesOpcrationsProject▶ObjectTray|LogoutAboutlhnSccrecard细节Show:LatestscoreSortBy:NameViews:mll7.92Conformitydompletenes;Accurac!ConfomitySQualityTrendSrerQualityTrendrerRunSequence指标数据仓库fregBW,提供端到BW,提供端到非结构化的文本信息非结构化的文本信息处理非结构化的文本数据从非结构化数据中抽取数据，并建立结构化数据自动识别和抽取实体数据自动识别和抽取事件数据支持用户建立客户化的实体数据字典>整合>查询>可视化员DataServicesDesigner9G9GProcessingDataServices业务用户Transforms语义层敏感词释放信息的力量访问支撑关键业务流程所需的相关数据，无论这些数据时什么类型、什么来源、属于什么领域访问支撑关键业务流程所需的相关数据，无论这些数据时什么类型、什么来源、属于什么领域提供最值得信赖的信息提升业务决策和业务流程中的数据信心，从而实现业务的更好运营提升业务决策和业务流程中的数据信心，从而实现业务的更好运营成就卓越运营只需支持和维护一个应用，从而实现更低的总拥有成本只需支持和维护一个应用，从而实现更低的总拥有成本维数据建模内存计算引擎计算及计划引擎行列存储实时数据复制数据抽取MainframeSybase第三方系统*预置的分析设备■包含数据建模、数据管理、安全管理及操作的*数据复制服务器、ETL及SAPBOBJ协同工作*支持多种客户端应用*预置内容包(抽取器及数据模型)功能■对海量数据进行的高速实时分析基于历史以及实时数据，创建灵活的分析模型■新一代应用的基础今天未来In-Memory硬件多核处理器架构CPU,Xeon7650)64bit地址空间-单性能迅速提升多台服务器并行运行每台服务器的价格低廉软件分区：大量数据，复杂计算动态聚集压缩5-20倍十行+列存储IntegratedRDBMS:行存储，速度取决于磁盘IO一慢HANA:行、列存储，完全存于内存一快■大规模数据运算RDBMS:索引、优化、有经验的开发人员一难HANA:内存排序，无需考虑优化一易.并行处理，低成本运行RDBMS:专门的数据库服务器一贵HANA:普通PC服务器一省HANA三大特点之一：极速速数据访问-比磁盘快1000000倍传统数据库磁盘读取5毫秒内存数据库基于主内存的并行处理是绩效改善的关键“到2012年，70%的全球1000强企业会将明细数据导入内存，以提升商务智能应用的性能。”BLADEBLADEHANA三大特点之二：分而治之、并行处理生我线线转钢装翔生我转据转弱继强线出移排能据路出HANA三大特点之三：在内存中思考，在内存中行动-最小化数据传输传统应用将数据密集型操作在应用层执行APPLICATIONLAYERDATABASE高性能的应用将数据密集型DATABASE存中执行FutureApproach-将数据密集型操作放到内存中-先计算，而后传输结果自2010年发布以来，HANA的卓越性能无与伦比2011年3月-高德纳咨询公司《SAP用HANA引领下一代架构竞争》,2011年10月务-利润，绩效·从30天减少到28秒：制造业-订单到付款分析展现层一个满足各方需求的统一数据分析平台访问：门户|办公软件(Office)|浏览器|移动设备设备接入数据探查(敏捷分析)语义层仪表盘报表与分析数据访问移动支持审计移动支持审计交易系统平面文件实时数据HADOOP数据仓库数据集市应用要求标准应用要求标准数据探查对应组件交付方式分析并可视化由多处获得的数据在Excel中分析数据并可视化在企业数据中“搜索”与分析仪表盘对应组件交付方式最终用户利用预先定义的组件组装自己的交互仪表盘创建高可视化、高交互的面向高层人员定制的高可视化、高交互的分析内容DesignStudio仪表盘(Dashboards×)专家报表与分析对应组件自助的企业数据分析及创建报表在不同范围内共享信息高度格式化报表即时查询(WebIntelligence)水晶报表(CrystalReports)Bl平台分析共享Lumira服务器Lumira服务器Lumira桌面版报表仪表盘分析水晶报表Dashboard数据探索即席查询DesignStudio数据分析语义层数据建模/CSvHANA数据源敏捷可视化的4个步骤数据准备建的模型理数据，例如：企业和个人数据合并、数据计算、数据分组等可视化探索故事构建结果分享可视化组件视化组件的集成(例如ESRI、VE)构建故事板·基于故事板的互动查询器、企业级服务器或者云结果，实现随时随地的分析与现有企业级BI平台统一管理，包括内容、权限等SAP大数据预测分析专为业务用户设计业务用户业务分析师数据科学家R语言SAP大数据预测分析系统架构敏捷分析+内存数据库+自助探索数据展现数据建模与分析数据存储PredictiveAnalysisLibraries|BusinessFunctionLibraries|DataModels&Stored其它应用系统第三方数据数据挖掘和预测：直观的可视化应用，丰富的预置预测模型SAPPA大数据预测分析解决方案掘过程、强大的预测算法库分析NgoithmslClustering~聚类分析聚类分析PR-MultipleLinear神经网络分析神经网络分析多元回归分析决策树分析决策树分析例外分析时间序列分析数据挖掘和预测：高效的内存预测分析，支持外部算法调用SAPPA大数据预测分析解决方案性能，支持多种高级分析和预测场景，高效快速地获取结果，实现大数据的挖掘问3,500种以上的开源算法内置于业务应用中，扩展到BI和报表中，对事务的洞察结果，可立即传送到仪表盘、警告提示和移动终端，使业务相关人员都能灵活获取预测洞察力报表或仪表盘均可访问分析结果商业问题商业问题数据挖掘和预测：自动数据准备和探索SAPPA大数据预测分析解决方案方案价值：自动数据准备和探索，包括上千个变量并自动找到重要的指标在几小时内创建和部署模式，而不是数周可以支持日常决策、解答传统模型因市场响应速度慢而无法解决的商业问题自动实现