SAP系统“大数据”快速输出解决方案.pptx

鸿星尔克集团总部 The Headquarters of Hongxing Erke Group SAP系统大数据快速输出 “信息结构”+“数据压缩”应用 周清湘、韩占峰 2015-01-31 Page2 海量数据 终端零售数据 1亿/年 表名数据量 LIPS188,055,377 MSEG589,961,021 VBRP141,244,573 BSEG675,083,578 MARD88,121,876 SAP IS-R 零售行业解决方案 2011年上线 至今 Page3 多维查询 工厂 分公司 城市 店铺 年度 季节 节庆 款式 性别 单品 地点类别 店铺类型 是否自收银 是否新渠道 组织产品 时间营销 品牌 大类 小类 Page4 效率的困惑 大数据 多维度 数据输出 怎么办？ 1秒10秒1分钟，10分钟 BI的适用范围：宏观、非实时 业务用户要求：明细、实时 Page5 解决方案 业务系统 大数据 输出 信息结构： 解决实时汇总问题 簇数据库： 解决高效读取问题 M+N筛选算法： 解决快速展现问题 Info Structure Data Cluster M+N Algorithm SAP为解决OLTP系统数据整合和实时展现的需要，特别在系统 中植入了“信息结构”技术。 实现SAP业务数据的实时存储和简单整合。 依据事先确定的数据整合逻辑和数据汇集粒度。 Page6 信息结构-实现原理 创建步骤： 保存业务数据时，同步按预设指标汇总至信息结构表。 Page7 信息结构-运行逻辑 表头 行项目 原始业务数据 信息结构指标库 数据库 优势： 实时性好 自定义指标粒度 数据存储在业务系统 注意： 使用信息结构会降低业务数据 保存时的性能，须适度使用 信息结构表数据量过大时，查询 速度同样会变慢，将它转换为簇 数据库存储，加速读取； 关键字为逻辑条件，数据簇为逻 辑数据，则：数据逻辑与物理存 储保存一致; 下图：簇数据库；右图：数据簇 Page8 簇数据库-实现原理 历史数据合并压缩存储，读取时批量取出 Page9 簇数据库-运行逻辑 时间组织产品营销数据 1 2 3 4 5 6 7 8 信息结构数据 期间组织 123 45 67 8 ABAP运行时环境 时间组织产品营销数据 1 2 3 Page10 M+N筛选算法-业务目标 下图为查询目标（示例） 使用簇技术后，提升了数据库读取速度，降低了数 据库负荷，把数据处理压力全部放在应用程序。 两次循环的时间复杂度：O(MN2) 循环加二分法读取的时间复杂度： O(Nlog2N)+O(Mlog2N) Page11 M+N筛选算法-算法设计 算法示意图 两表分别排序的时间复杂度： O(Nlog2N)+O(Mlog2M) 索引自增筛选的时间复杂度： O(M+N) 注意：本算法依赖于ABAP标准排序的高性能， （标准排序时600万条数据仅需12秒） 如使自行编写排序算法，需重新评估。 Page12 M+N筛选算法-流程图 M+N筛选-计算过程如下图： Page13 应用效果 数据现状： 数据结构MSEGMARDLIPSBSEGVBRP AFS系统 14,737,948287,3855,027,03511,111,2215,246,982 ISR系统 589,961,02188,121,876188,055,377675,083,578141,244,573 输出效果： 输出报表信息系统期间数据条目消耗时间 “进销存”（ZK08）AFS1年420万11s “进销存”（ZK08）ISR1年3000万23s 店铺“进销存”（ZK09）ISR0.5年1600万78s