烟草行业数据仓库平台方案建议书

1、 烟草行业数据仓库平台方案建议书目录 TOC o 1-3 h z u HYPERLINK l _Toc496645847 1烟草建立数据仓库的背景 PAGEREF _Toc496645847 h 3 HYPERLINK l _Toc496645848 2系统架构设计 PAGEREF _Toc496645848 h 6 HYPERLINK l _Toc496645851 2.1数据平台总体架构 PAGEREF _Toc496645851 h 6 HYPERLINK l _Toc496645852 2.2关键技术及方案优势 PAGEREF _Toc496645852 h 10 HYPERLINK

2、l _Toc496645853 2.3软件平台方案 PAGEREF _Toc496645853 h 13 HYPERLINK l _Toc496645854 3SAP HANA部分案例介绍 PAGEREF _Toc496645854 h 42 HYPERLINK l _Toc496645855 1.1华能数据中心 PAGEREF _Toc496645855 h 42 HYPERLINK l _Toc496645856 1.2敏华控股：SAP HANA实时引擎助敏华提升财务分析和决策支持效率，改善盈利能力 PAGEREF _Toc496645856 h 44 HYPERLINK l _Toc49

3、6645857 1.3其它成功案例 PAGEREF _Toc496645857 h 45烟草建立数据仓库的背景烟草行业目前所面临的问题烟草生产与销售是个特殊的行业，由于我国实行的是烟草专卖制度，整个管理体制自上而下设置，从国家烟草专卖局到省局、再到地市局、再到县局，最后到农村一级的销售网点，烟草销售体现的是“垂直管理、专营专卖”特点。 多年的计划经济和专卖体制，以及信息化程度不高的管理手段，使得烟草的生产和销售面临着如下问题： 卷烟销售信息反馈慢、信息失真现象严重。 超产时有发生，限产压库难度大，造成商业环节卷烟库存增加，销售难度加大，企业在市场竞争中难以实现优胜劣汰和资源的优化配置。 烟草专

4、卖局对烟草销售的调控能力需要加强，同时需要更准确地把握市场变化的规律。 而中国加入WTO后，烟草市场的开放进入日程。国外卷烟的进入会加剧竞争局面。因此，更新观念，采用行政与市场相结合的管理模式和相应的信息化技术手段，是烟草公司发展的必由之路。 虽然目前大多数烟草企业信息化建设已打下了一定的基础，但当前的信息系统只限于对数据的简单报表与统计分析，而真正涉及到预测、决策及优化方面的工作还比较少，结果是只能代替一部分繁重的手工劳动，并没有充分发挥信息系统的效益。科学的经济活动分析依赖于强有力的数据分析能力，而当前的实际情况是：多数烟草企业的数据分析能力远远不适应企业经济活动分析和经营决策的需要，大量

5、宝贵的数据资源没有得到充分的开发和利用，“数据丰富、信息贫乏”的现象十分普遍，由此严重制约了企业经济活动分析效果和企业决策。迅速提高数据分析能力，为经营决策提供更有力的支持是众多企业管理者的呼声。为此有必要在原有的生产业务系统基础上，构建一个“烟草业数据仓库系统”，以及构筑在其上的商务智能，来管理和合理利用信息，使之成为战胜竞争对手的有力手段。数据仓库技术是综合了客户服务与业务处理的信息，采用分析挖掘技术，为企业管理人员制定策略、开发市场、分析市场、效益评估、公共关系与企业形象设计等管理行为，以及决策提供科学的依据。 数据仓库通过从企业内部的不同系统和外部数据源收集数据，经过抽取、整合和统计，

6、形成一个中心的数据集，这样既保持了数据的一致性，又易于被用户访问。同时，这些数据按照业务概念来组织，例如按地区、品牌等进行分类，便于分析。 数据仓库有这样一些特点，例如：其中的数据是历史数据或统计数据；按照业务概念来组织；存储了大量的统计信息；数据易于分析；数据基本不作更改，仅用于查询；数据一般只存储一次，很少更改。此外，数据仓库还提供了联机分析（OLAP）功能，用户可以联机访问经过分析运算的多条数据。 数据仓库还克服了直接建立在业务系统数据库基础之上的决策支持系统的局限，例如：数据按照统一格式存放，用户可联机快速地查询复杂的数据；查询不会影响其它正在进行的交易；数据来自不同的系统，并按照分类

7、存放。 简而言之，数据仓库是一个数据源，可以提供全面的企业信息。数据仓库也是信息仓库、数据集市的主要数据来源，是面向某类业务主题的。数据仓库可以帮助用户从繁杂的数据中获得有效的分析数据，并在此基础上做出正确的决策。引入数据仓库系统，可以使激烈竞争中的烟草企业进一步扩大利润，加大竞争实力，并在激烈的商业竞争中保持长久的竞争优势。 系统架构设计数据平台总体架构针对重庆烟草EDW系统的建设要求，我们建议将数据平台总体架构划分为四大层次结构：采集层，存储层以及分析/展现层。这种架构，是对传统标准企业级数据仓库架构的扩展，既能满足一个数据中心平台层面的所有需求，又具备充分的前瞻性，为未来重庆烟草提供实时

8、、兼具广度和深度的大数据应用提供支撑。数据平台总体架构数据采集层设计数据抽取、转换、加载的任务将在此处完成。整个平台的数据整合能力将由SAP HANA Smart Data Integrator（即HANA SDI）或SAP Data Services来提供，通过开放的数据接口连接各种类型的底层数据源，并且在数据加载的同时进行第一轮的数据清洗任务，提高保证数据的规范性。HANA SDI与DS是一个开放的ETL平台，支撑所有业界标准的数据源，能够涵盖重庆中烟现有及未来可以预见的各种系统。HANA SDI也是一个可线性扩展的平台。基于通用的数据仓库平台，我们提供了两种数据抽取与更新的方式，即实时抽

9、取与批量抽取。实时抽取：前端业务的变更需要实时应用到数据仓库，保证分析数据是最“新鲜”的。SAP SDI可以通过在每个数据源上部署agent实时抽取业务变化数据（如在Oracle上可以通过抽取分析数据库日志），而Data Services可以利用源库自身的变化数据捕获机制（如Oracle DB CDC）获取增量数据。批量抽取：对于非实时的数据，可以T+1的方式进行更新，即在闲时或定期地由ETL工具从源端抽取数据，并加载到HANA数据库中，在此期间也可以对数据格式进行简单的转换、加工。数据存储层设计数据存储管理是本方案的核心部分。在整个方案设计中，SAP建议使用SAP HANA相关产品把数据按照

10、数据的时效性分层管理，即历史数据和活动数据。历史数据部分包含所有的分析数据，存放重庆烟草历年来的数据。活动数据（热点数据）部分包含日常分析中最常使用的数据，所有的前端分析数据都将在活动数据中命中，在活动数据中将进行保证最大的数据分析并提高和数据检索效率。在该层的设计中，SAP HANA将用于活动数据部分，通过内存计算以及强大的数据分析能力提供对各项分析主题的快速数据支撑；考虑到未来重庆中烟的数据增长，可以再增加SAP HANA Dynamic Tiering选件用于存储历史数据部分。SAP HANA是一个基于内存技术的数据处理引擎，数据的主要的存储和运算都在内存中完成，去掉了一直困扰数据库性能

11、的I/O问题。HANA提供灵活的存储方式（行存和列存），在重庆烟草平台中HANA可使用列存储方式，数据列可以按查询的需要被任意检索，避免行式数据库必须一次读取表中所有列带来的无谓开销。同时HANA数据库引擎可以利用服务器多核处理器的特点，并行执行查询语句，采用MPP集群架构又可以进一步扩展系统的并发度。数据管控层全面的数据仓库平台数据管控涉及主数据管理、元数据管理、数据质量管理、数据标准管理、数据安全管理等几个领域，我们认为应当在充分利用现有数据管控平台的基础上实现该平台与大数据平台的融合，以及功能扩展。我们认为数据仓库平台的主数据管理应当在原有系统进行横向扩展，使其包含大数据平台中的分析型主

12、数据，形成主数据管理的统一入口、统一标准、统一分发、统一管理机制。通过元数据的统一管理，可以保证整个大数据平台系统信息的一致性和准确性。元数据的存储以数据库的形式存储，便于管理，维护和扩展。从元数据的管理过程中可以发现任何变化对全局带来的影响，确定某个实体的用途和与其它实体的关联。本方案中提供的数据存储以及相关的工具均为业界通用的数据工具，能够与重庆中烟已有的元数据管理平台进行对接。对于数据质量管理，大部分工作可以在数据进入端，也就是通过数据集成工具来实现。SAP Data Services Data Quality提供了一系列功能，能够分析功能通过将数据分解为逻辑组成部分，提供了对数据的严密

13、检查和详细分析。分析功能可帮助用户更全面地了解数据。将客户数据进行清洗和标准化，例如姓名/地址、邮件、电话、SSN、以及日期提升数据完整性，识别匹配，并最终形成单一客户视图数据清洗（操作数据）将业务数据进行解析和标准化提供图形化界面，让用户决定数据如何被解析，并评估定制化的变化对数据的影响更正和标准化地址：帮助用户将地址拆分为多个组成部分。然后，可以使用相应的条件改进、更正、完善和标准化这些部分，使它们变为一致的地址结构。还可以使用此转换指定用于邮政自动化和其他用途的代码。匹配和合并数据：帮助用户根据匹配条件识别匹配的输入记录。而且，还可以使用此转换消除重复和唯一的输入记录。基于SAP在数据仓

14、库领域多年积累，使得SAP以及实施的合作伙伴有能力协助重庆烟草基于数据仓库平台所管理的数据范围梳理一套数据标准，并将这套标准与数据质量管理的内容相对接。数据分析/展现层SAP建议使用SAP BusinessObject作为整体的数据展现平台。BO中的语义层工具Information Designer Tool(IDT)将负责业务数据模型的整体管理，通过IDT中的数据调用，把需要展现的数据输送给前端工具进行报表展示。本解决方案使数据中心使用人员能够通过报表、图表和图形的方式，简便、快捷地访问数据仓库系统中的各种数据并进行各种分析预测操作。数据访问层提供多种数据加工展现方法，包括预定义报表、联机分

15、析处理（OLAP）、即席查询和数据挖掘。数据访问层提供了一个统一的门户入口，实现预定义报表、即席查询和联机分析处理的无缝连接，并提供集成化的认证、信息发布和管理环境，使数据仓库系统使用人员无需关心具体的技术实现途径，即可实现对数据仓库系统数据的访问和分析。同时门户站点还可根据不同分析和决策人员的需求，对所需的访问和分析内容进行方便、简捷的定制，以管理员驾驶舱的方式进行展现，以满足个性化信息服务的需求。分析结果也可以用大屏方式或是手机应用展示，让各个管理部门可以直观、便捷地根据数据指标，合理调度配置资源进行事件决策。关键技术及方案优势高性能内存计算技术企业运营管里系统需要整合海量的数据，而对这些

16、数据的分析往往是即席的或者是挖掘型的。所以系统的存储平台必须具备优异的大数据自适应分析能力才能满足要求。另外，数据分析应用，对实效性往往要求极高，对数据存储平台提出了更高的要求：高速的数据装载的同时，提供毫秒级的查询响应。SAP HANA可以从容应对这些苛刻的技术挑战。SAP HANA采用基于X86架构的内存计算技术，它采用独特的列式存储架构，无需索引等传统数据库常用的性能优化手段，即可提供闪电般的查询速度。列式存储的最大好处就是按需访问。一般而言，分析、挖掘往往只会用到表的少数字段。这种场景下，列式存储的优越性凸显。再加上HANA本身又是In-Memory的，无需任何索引，无需为SQL做特定

17、的优化，就可以提供极致的查询响应，近乎实时的把结果呈现给最终用户。 此外，HANA不仅仅是一个关系型数据库平台，它更是一个特性丰富的内存计算平台。HANA内置了文本分析、文本挖掘、预测分析函数库，可以在HANA内部通过内存计算，就可以实现绝大多数的数据分析功能。这种集数据存储管理和数据分析功能为一体的平台方案，有助于简化整个系统的架构。Run Simple，这正是SAP的理念。全面的数据集成能力根据对重庆中烟招标文件中的技术条款的要求以及信息化现状的了解，目前重庆中烟业务系统涉及多家软件厂商的多个信息系统，需要通过ETL工具将源系统的数据按照定义好的抽取转换规则加工后装载到数据仓库中，这个源系

18、统也可能是数据仓库自身。其功能主要包括对平台的支持、对数据源的支持、数据转换功能、管理和调度功能、集成和开放性。本方案ETL工具将利用SAP 数据采集系统SAP Data Integrator，这是一个专门面向企业信息管理的应用平台，帮助企业迁移、转变和提升数据。SAP Data Integrator系统提供了一个统一的开发、运行、管理、安全性和数据连接的环境。提供可视化的数据抽取、加载、转换以及清洗的功能，实现从多种不同类型的数据库采集数据，支持数据从业务数据库到企业数据仓库的数据定时、增量的抽取、转换以及对不合格数据的过滤和清洗，从而确保分析数据的准确性，为业务决策提供更好的支持。SAP

19、Data Integrator支持多种源数据和目的数据，包括目前主流的数据库、通用的数据库接口（如ODBC/JDBC），数据库原厂商的专用接口、异构数据库关联，以及非关系型数据源如各种文件格式中数据。Data Integrator能支持通过使用制作许多个通用转换组件，满足用户对复杂转换的需求，从而节省大量的时间，并支持跨多个CPU的动态并行分割，这个特性为日益增加的数据量和缩短通宵的数据负载窗口提供了高速的ETL性能。完善可靠的展现能力基于我们对重庆中烟报表工具软件的需求解读，我们理解重庆中烟对报表工具软件的关注重点，是希望提供重庆中烟运营情况及关注业务的展示、分析及查询；能够支持多种分析方式

20、进行数据的分析，满足不同层级用户的业务分析需求，有利于用户将深入的业务分析和探索转化为有效的决策。本方案将通过报表工具平台，帮助重庆中烟在数据集中的基础上，建立全方位、多维度、可视化的分析模型，帮助重庆中烟实现对运营情况的预警、统计、分析和监控。报表工具平台能够通过图形化、可视化的分析报告，分析主要运营指标的增长趋势、对比情况、构成情况等，并实现多个维度的自由切换和组合，帮助用户全面、深入的了解运营情况，轻松洞悉和分享关键信息，并将深入的业务分析和探索转化为有效的决策，支持运营策略的制定。本次方案采用的报表工具软件是SAP BusinessObjects商务智能平台（简称SAP BO）来实现。

21、SAP BusinessObjects作为全球第一的商务智能解决方案，将为重庆中烟打造灵活且可扩展的商务智能系统。通过SAP BO平台提供多种工具和最完备的分析方式，包括管理驾驶舱、即席分析、固定报表、高级分析、敏捷可视化分析、数据探索，以及指标预警等方式。还能够支持业务人员根据需求快速自定义设计报表，通过简单的拖拽就即可实现即席查询、生成报告和图表，提供无需IT人员的支持，从而满足业务人员快速、自定义的报表设计。从而全面满足决策层、管理层、执行层都不同层级的分析管控需求，支持不同的分析应用场景SAP BusinessObjects基于SOA体系结构，由一整套组件或服务构成，并通过功能强大、基

22、于Web的通信框架相连接，满足用户不同的应用需求。这些组件既可以独立存在，也可以相互转化和调用，并且均可在一个界面里实现。为报表查询和分析、绩效指标分析呈现以及数据集成提供了最完善、最可靠的平台。数据仓库实现的部分业务功能虽然不同类型的烟草企业有其各自的特色和业务关注点，但其对客户组成，客户行为，客户忠诚度，销售行为的关注却是相同的，因此，我们围绕客户、销售、生产和库存这些企业普遍关心的问题展开详细的分析，并归纳出如下相互关联的主要分析主题。除此之外，企业还可根据本企业业务需求灵活设定财务、人事、定单、服务等其它主题，并进行相应分析。建立数据仓库系统能够带来的典型益处和收益包括： 实现烟草销售

23、的快速供需链管理，打造烟草流通企业的核心竞争力；及时有效的监控市场动态，对市场竞争做出快捷反应；准确分析市场活动的回报，培育品牌挖掘市场卖点； 实现对烟草供应厂商完备的信息支持，实施合作伙伴关系管理；建立完善的客户资料档案库，实施科学的客户分类评价指标体系；提高服务质量降低服务成本，以最小的代价留住最大价值的客户；与企业其它信息系统无缝连接，信息共享相互促进。软件平台方案核心数据库平台：SAP HANA内存计算技术被业务普遍认为是IT行业的革命性突破，它通过软硬件的技术革新，使数据直接存储于内存，CPU直接从内存，而不是硬盘上读取数据，并进行计算、分析，是对传统数据处理方式的革命性突破。相对于

24、磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中直接读取，比传统的从磁盘上访问可以极大地提高应用的性能。内存计算非常适合处理海量的数据，以及需要实时获得结果的数据。SAP是目前唯一能够提供完整的高性能内存计算解决方案的厂商，SAP 内存计算技术产品（HANA）是全球第一个，也是唯一一个具有高性能的数据分析和处理能力的软硬件一体化数据分析平台，基于SAP HANA，SAP提供了包含内存数据库，数据建模、数据抽取、数据展示的完整高性能分析解决方案。SAP HANA主要技术特点SAP HANA利用实时的内存技术帮助企业提高运营效率，主要依靠以下技术创新点：基于内存的高效数据读取和处理在传

25、统的应用系统中，数据被存储在数据库中。当用户通过前端操作界面发出指令后，应用层从数据库中读取数据在应用层进行逻辑运算，并将结果反馈到前端操作界面进行展现或进行下一步的操作。 在这个过程中，从数据库中读取数据因为磁盘I/O的性能限制而成为瓶颈，而这一瓶颈在海量数据的读取中体现的尤为突出，基于数据仓库的报表分析就是一个最明显的例子。存在这一问题的原因是传统数据库实际上是将数据以文件的形式存储在磁盘上并为应用提供访问数据的接口。从数据库中读取数据的本质是从磁盘上读取文件，而在过去几十年的硬件发展中，内存和CPU的性能始终在飞速的提升，只有磁盘I/O的性能提升并不明显。从磁盘上读取数据的速度是毫秒级。

26、而与之相对应的，从内存中读取数据的速度是纳秒级，这基于内存的数据读取比基于磁盘的数据读取性能要快100万倍。所以当基于数据仓库进行报表分析时，如果从传统数据库中读取海量数据需要数十分钟的时间，那么从SAP HANA中读取同样的数据只需要不到一秒钟的时间。在数据爆炸这一大趋势下，HANA 给用户带来了高效迅捷的数据处理和分析能力。行存储和列存储的混合模式传统关系型数据库是按照行的方式存储数据的，能够为交易系统即OLTP应用提供高效的支持。 SAP HANA 是行业中唯一同时支持行存储和列存储的内存数据库，所以能够对OLTP交易系统和OLAP分析系统同时提供高效的支持。高效的并行处理机制在近年IT

27、行业硬件的发展中，技术路线发生了明显的变化。以往硬件厂商致力于提供更高主频的处理器，即提升单颗CPU的计算能力，但最近几年，硬件服务器的处理器主频提升并不明显，但是单台服务器配置更多的CPU，并且每个CPU包含更多的内核。这意味着软件系统必须提升并行处理的能力，才能够在新的硬件发展趋势下保证系统的性能能够持续的提升。SAP HANA 的研发过程中和硬件合作伙伴保存了非常紧密的协作，整体的体系架构基于Intel X处理器平台支持多服务器、多处理器的高效并行处理。首先在底层开发中，Intel为SAP提供专门的开发包，让HANA的应用能够最高效、充分的利用多处理器的并发能力。HANA在应用层的架构设

28、计上也能够将数据处理和运算拆分并部署到多个处理器。例如计算引擎可以将数据模型拆解，将一些SQL脚本拆分成可以并行执行的步骤。这些操作将递交给数据库优化器来决定最佳的访问行存储和列存储的方案。在系统的部署架构层面，SAP HANA可以部署到多台集群的硬件服务器，保证系统的可扩展性以及健壮性。高效的数据压缩优化内存利用SAP HANA的基本机制是将数据全部存储到内存中，以进行高效的数据访问和运算。虽然硬件包括内存的价格日趋低廉，但相比磁盘而言，内存仍是较贵的存储设备。而在企业系统中数据增长迅速，达到数TB甚至数十TB的情况下，将所有数据原封不动的导入内存仍将带来较大的硬件投资。为了帮助企业节省这一

29、部分投资，SAP HANA中采取了基于智能数据字典等高效的数据压缩机制，能够将数据压缩5-20倍，从而充分节约硬件投资。智能数据字典的压缩机制如下图所示。虚拟建模减少数据冗余在传统的数据仓库中，数据从应用系统及其他数据源抽取并存储在数据仓库中。然而往往不能直接的基于这些原始数据进行分析。需要在数据仓库中建模，即根据不同的分析需求，将所需要的数据进行计算合并，并建立不同的分析维度，从而形成一个特定的数据模型。每个数据模型中的数据都是从物理上单独存储的。一个数据仓库的应用往往建立数十甚至上百个数据模型，这意味着基于同样的原始数据，需要额外硬件存储来保存建立的数据模型。所以我们往往看到1TB的源数据

30、，在数据仓库中变成了2个TB甚至更多。这给用户带来了额外的硬件和维护成本。在SAP HANA中，将源数据导入内存后，在HANA中的建模有别于传统数据仓库。 HANA中的数据模型都是虚拟的，系统只保存这些数据模型内表的构际关系以及数据的运算逻辑，但不会把数据另外进行存储，只有当前端提交分析请求时，HANA才会根据虚拟数据模型进行数据的计算并将结果提交给前段。这意味着HANA中不会存在冗余的数据，从而大大节约的硬件的投资和维护成本。另外这些虚拟模型可以进行灵活的创建、修改、删除，从而满足业务的需求变化，而无需担心对整体数据仓库数据结构的影响，这比起传统的数据仓库而言能够更加高效的贴合业务的需求。另

31、外，由于HANA没有保存这些数据模型，所以当源数据系统中的增量数据加载到HANA中时，无需像传统数据仓库中加载增量数据时进行的复杂的数据计算。在数据库层面进行数据密集型运算SAP HANA 除了提供完善的数据库功能外，其内置的计算引擎可以将原本在应用层进行的运算转移到数据库层面进行处理，这在数据密集型运算的场景，能够优化应用层和数据库层之间的数据交互，从而从整体上提升系统的效率。传统上，数据密集型运算包括计划、预测、模拟等，在HANA中首先将计划引擎植入计算引擎中，从而使得基于HANA的计划应用的性能得到极大提升。SAP HANA核心功能组件基于内存计算的数据库引擎SAP HANA是一套灵活、

32、多用途且与数据源无关的基于内存计算的全新平台，是通过整合硬件(由SAP的硬件合作伙伴提供)和优化软件的一套基于内存计算技术的应用。SAP HANA可以被理解成“开放硬件的一体机”，SAP HANA的硬件由经由SAP认证的硬件厂商制定规格的硬件所构成。不管是从软件层面还是硬件层面上看，SAP HANA都是基于开放式架构来设计的。SAP HANA不仅仅是一个内存数据库，更是一个高性能实时数据平台，在这个平台中包含了内存数据库和内存计算引擎，并且运行在认证的硬件服务器上。对地理信息的支持SAP HANA支持基于地理信息的应用程序，可通过数据库原生的功能存储和处理空间数据。在SAP HANA列的数据结

33、构非常适合用于存储高性能处理优化的空间数据。因此，在SAP HANA不需要额外的空间索引。在SAP HANA数据库支持空间数据类型和符合该OGC52和SQL MM标准的操作。空间类型包括用于点例如数据类型，多段线，多边形，和一个通用的几何类型。用于空间操作的实例是用于计算区域，距离，凸包，相交，并检查物体是否在另一个功能。空间数据类型可被用作在柱状表列类型，像任何其他SQL类型，这样的空间信息可以容易地附连到业务数据和使用的，例如，用于在分析模型位置的尺寸。对图像的处理SAP HANA直接支持数据图形处理索引服务器中，基于该计算引擎和列存储的扩展。应用受益于图形数据在两个方面原生支持。首先，与

34、图形数据的工作应用程序变得更简单，更快速地发展，因为图形数据表示，操纵和查询以自然和直观的方式。第二，性能和可扩展性提高。非常大的图形能够以高的性能进行处理，如该图的特定运营商都集成到索引服务器，并直接在图形上的数据进行操作。支持的预测分析库类型HANA支持预测分析库，使得基于新华社的应用需求可以定制化开发预测分析模型。该预测分析库（PAL）定义了可以从被称为内SQLScript程序（SQL的扩展，包括增强的控制流的能力，可以让开发人员定义的内部数据库的程序复杂的应用程序逻辑）来执行分析算法的功能。目前版本PAL包括九个数据挖掘类的经典和普遍预测分析算法：集群分类回归关联时间序列预处理统计社会

35、网络分析混杂数据抽取工具-Data ServicesData Services支持广泛的数据源和目标，包括：支持主流数据库系统：包括Oracle、Microsoft SQL Server、IBM DB2、Sybase ASE、Sybase IQ支持非关系型数据源：如各种文件格式、xml、MQ Series等支持通用的数据库接口：如ODBC支持企业应用系统：如SAP ERP，Oracle EBS，Peoplesoft，S等支持大型主机系统Data Services 在抽取数据时支持异构数据源之间的关联。清洗提供数据剖析功能（data profile），进行数据属性分析，可以帮助描述数据的质量、结

36、构信息。可视化界面查看源和目标数据的质量、数据关系。使用Validation转换，依据一组预定义的业务规则比较输入的数据，并在必要时采取任何纠正措施。同时具备强大的数据质量监控工具，帮助我们监控各来源的数的有效程度，通过建立清洗包，可以帮助我们大幅提升各来源数据的有效程度提供审核功能，可确保数据流将正确的数据加载到数据仓库中。转换利用Data Services，用户可以执行多种数据转换功能。用户可以选择一系列功能强大、可扩展、可重复使用的数据转换组件，如父子结构的XML数据展平组件、行和列转换组件、渐变维组件、数据匹配和合并组件、变化数据捕捉组件及数据校验组件等，最大程度地提高开发人员的工作效

37、率。空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。Data Services可以定义多种异常处理机制，其中包含对空值的判断和校验。提供规范化数据格式支持：可实现字段格式约束定义，对于数据源中的时间、数值、字符等数据，提供对时间、数字、字符校验的函数，并可以灵活定义格式。提供字段映射：映射源和目标字段之间的匹配；字段的拆分；多字段的混合运算。 记录间合并或计算；记录拆分；排序、统计，按行按列的分组聚合等功能。Data Services提供丰富的lookup函数（lookup，lookup_seq，look_ext），可以实现复杂的lookup算

38、法，例如根据数据范围lookup，数据拆分后lookup。Data Services还提供数据替换功能，配合校验函数的使用，可以实现基于业务规则，进行无效数据、缺失数据的替换。支持自动产生有效时间（Data_Generation），设计人员可以根据需要设定时间序列的增长间隔等相关属性。提供自动主键生成功能，自动生成可自增长的主键。提供层次数据展平的转换功能（Hierarchy_Flattern），将有自连接的表展开，以便将来的统计分析处理。提供多套数据集合并（Merge）成一个数据集的功能。提供历史数据操作保留的功能，例如源数据表中某一条记录被更新，在目标数据表中，保留原有记录，并增加一条新的

39、记录以描述该记录的最新情况。提供列到行（Pivot）以及行到列（Reverse Pivot）的转换。提供表数据集合比较的功能（Table Comparison），并根据比较所得到的结果集进行相应操作。还可以在转换流程中通过图形方式加入特定的SQL代码Data Services还提供了操作映射功能（Map Operataion），即对源数据表的insert，delete以及update操作，根据业务需要映射成目标表的insert，delete以及update，此种映射并不是同等操作的映射，可以按需定义，例如：用户可以将源表的update映射成目标表的insert，源表的delete映射成upda

40、te。Data Services除了提供了预定义的函数和转换组件，还允许用户自定义各种转换规则、相关函数及一些程序；支持用户自定义函数或存储过程，提供强大的脚本功能，实现任何复杂的转换逻辑。加载Data Services支持TB级数据加载，同时还可以捕获Oracle SQL Server、 DB2等数据的增量信息，支持远程数据的抽取，通过批量加载提高性能。Data Services提供专门的批量加载功能，例如：Oracle SQL Loader、DB2 loader、SYBASE IQ loader、Teradata loader等。基于WEB的系统调度和管理Data Services提供了统

41、一的基于Web的管理界面，用户可以通过浏览器进入监控界面，让用户可以直观的看到当前正在执行、已经执行的数据转换任务的情况，以及相应的历史任务记录。同时用户还可以对数据转换任务的性能进行监控，及时了解转换过程中的执行情况和机器性能变化.完善的接口由于项目中的数据源种类众多，所以会涉及到很多数据转换接口和应用程序接口。Data Services产品在集成和开放性方面有如下特性：Data Services提供了与传输软件的接口，对于消息队列，例如MQ Series，JMS等消息接口，都提供了相应的Adapter，可以接收和发送消息队列的信息。另外，Data Services还支持FTP功能，可以自动

42、监测文件系统，实现传输和转换的无缝连接。Data Services提供开放的API接口，调用外部程序：提供各种标准接口，可调用储存的程序（并获取其返回值）、外部程序（如外部的DLL文件等），及提供其他接口等。Data Services产品提供Job Server，也就是数据转换执行的引擎可以部署在Windows或者UNIX服务器之上来运转，同时数据转换的设计工具是运行在Windows环境中，而转换的设计是保存在一个Repository之中。可以看到数据转换的设计和运行是不同的组件来实现的，两者处于不同的运行环境之中，而规则定义是存储在Repository中，这样可以方便转换规则的分发和重用。同

43、时，Data Services还提供备份和恢复机制，便于转换规则的发布及重用。Data Services提供了动态扩展的功能，包括支持多机的集群，或者是配置Server Group，通过网格计算功能来实现系统处理容量的扩充。Data Services支持与前端产品相集成，能够使用前端的作业调度器，能够集成前端的元数据等。报表展现平台：SAP BusinessObjectsSAP BusinessObjects平台（简称BO）基于SOA体系结构，采用B/S架构，通过一个综合平台提供多种工具，满足客户的不同需求，为客户提供报表分析、可视化分析、交互式查询、指标预警、office集成应用及移动商务等

44、最完善、最可靠的综合平台。通过SAP BusinessObjects平台，将为重庆中烟打造灵活且可扩展的BI系统，提供最完备的分析方式，满足不同的分析应用需求，辅助企业管理者轻松洞悉和分享关键信息，以做出最佳决策。方案详细内容如下：支持多种分析方式SAP BusinessObjects平台支持用户通过多种分析方式实现数据的分析，包括仪表盘、即席分析、固定报表、高级分析、敏捷可视化分析、数据探索等，支持不同的分析应用场景，有利于用户将深入的业务分析和探索转化为有效的决策。仪表盘DashboardsDashboards 是一种数据可视化软件，可用于创建用于访问实时数据的动态交互式模拟分析，并可以将

45、这些模拟分析添加到基于 Web 的模拟分析。Dashboards可以采用Excel表格、通过web service和XML、通过商务智能平台连接其他外部数据源。Dashboards提供了图形滑尺、漏斗图、过滤器和数字输入工具等，帮助企业通过交互式可视化分析快速掌握企业运营情况，实现对公司业务的监控、预警；通过可视化的“what-if”分析，可以分析不同的结果，以获得更深入的洞察力，最终更快的做出决策。Dashboards的交互式可视化世界此外，通过一键式整合，这些交互式的分析结果就可以轻松的嵌入到PowerPoint、Adobe PDF 文档和网页上了，用户可以轻松的读取到即时的数据从而获得更

46、深入的洞察。而且，用户可以在互联网、内部网或者门户以及任何支持Macromedia Flash的环境中发布动态的可视化的分析。即席分析Web IntelligenceWeb Intelligence是支持一个基于浏览器去开发分析与查看分析的工具，将分析模型与数据可视化并最终将两者形成的最终结果展示出来。Web Intelligence为信息的自定义查询和分析提供了独特、单一的Web环境。所有用户都可以访问到语义层定义的信息，这样可以大大减少需要部署大量工具而带来的麻烦。最终用户现在可以在单一界面中访问格式化的信息，无需再使用其它的分析工具。Web Intelligence的报表展现是灵活多变的

47、，可按不同的指标、特征、不同的时间段进行对比分析，如数据同期对比、环比、累计对比、目标与实际数据对比等。同时Web Intelligence可以图表同时展现，为客户提供了广泛的图表库，支持柱状图、折线图、条形图、饼图、线柱综合图、堆积图、瀑布图、雷达图、箱线图、平面图、散布气泡图等多种复杂图形的展示，通过过滤条件，可以实现图表联动。图形化引擎与其它客户端软件有相似的外观，能够有效降低新用户的学习曲线，同时提高高级用户的生产力和灵活度。Web Intelligence还能够实现向下钻取，沿不同的方向来探测数据，从而让最终用户掌握更深入的洞察力，更加有效地进行决策。例如，可以从年度销售总结数据一直

48、下探到具体某个季度、某一地域、某一产品的信息，然后与上一季度的业绩进行比较。Web Intelligence自定义查询提供各种向导式界面、图形查询生成器、提示窗口等，通过简单的鼠标拖拉操作即可实现即席查询、报告生成、图表生成、深入分析和发布等功能。不仅仅由IT人员开发好了报表给业务人员看，可以让业务人员在权限控制下，经过极为简单的培训自己设计报表和进行查询分析。固定报表Crystal ReportsCrystal Reports为企业提供了一个扎实的商业分析的起始点，使用户能够方便地创建简单报表，同时它也提供了创建复杂或专用报表所需的整套工具，将零散的重要信息通过高效能的报表，安全地提供给企业

49、内部和外部的使用者。Crystal Reports为报表的创建提供强大、灵活、开放的环境。企业可以连接任何数据源，然后使用直观、灵活的设计工具来构建格式化程度很高的复杂报表，利用软件开发工具包和功能强大的报表处理服务，如公式、交叉表、子报表和条件格式设置等帮助呈现数据的实际意义，还能够将最终用户的报表查看、打印、导出和创建功能集成到各种应用程序中。Crystal Reports可以满足多格式的中国式报表，支持添加多形式的样板样式、任意的添加横线样式、排序和聚合、简单的提示查询、以及诸多公式任意设置。Crystal Reports为用户提供更简单的操作体验，与BI的其他模块采用一致的界面风格和元

50、素。在Crystal Reports中，同样可以设定预警规则，当特定规则满足后，通知特定用户，收到警报的用户可以在报表中或平台中查看订阅的警报信息。一旦创建了报表，就可以用各种格式来发布报表，其中包括Microsoft Word 和Excel，通过电子邮件发布、在Web上发布、甚至在移动终端上发布。高级的Web 报表功能允许团队中的其他成员在他们自己的Web 浏览器中查看或更新共享报表。在企业级报表方面，Crystal Reports可为大量最终用户提供安全、丰富的信息。在嵌入式报表方面，Crystal Reports提供开放式应用程序集成和灵活的部署方案。产品可与企业现有的基础设施紧密集成，

51、能满足最苛刻的企业需求及嵌入式报表需求。高级分析AnalysisSAP BusinessObjects Analysis是一种查询和分析工具，企业业务分析用户可使用该工具来分析组织的多维数据。用户可从 BI 启动板内访问OLAP分析，然后在 BI 平台资源库中创建、保存和共享分析工作区。将工作区保存到资源库后，其他分析用户或业务用户可以通过任何 Web连接处理这些分析。SAP BusinessObjects Analysis为分析员提供一种现代化的高级界面，直观且易于使用，Analysis分析与商务智能平台相集成，并在商务智能平台中央管理控制台中管理OLAP分析工作区和数据源连接。具有 Web

52、 访问权限且在 BI 平台中具有相应权限的任何人均可访问OLAP分析。可以使用BO平台将OLAP工作区发布到 Web，允许用户通过 Web 将 OLAP分析工作区分发给组织内外的大量用户，可以让组织中每个有必要权限的人都能够访问分析。敏捷可视化分析LumiraSAP Lumira是一个数据操作、可视化、图形化的自主分析工具，从数据（无论规模大小）中获取答案的有效工具，帮助用户整合各种各样的数据源，并实现自定义的分析挖掘，快速发现业务问题。通过SAP Lumira可与HANA关联，也可以连接其他一个或多个数据源，创建分析数据集，在数据集的基础上可以进行数据操作、数据清理，并通过系统创建多样、生动

53、、交互的数据图表，实现数据的可视化，将数据转化为出色洞察。用户可以通过图表、过滤器、图像以及文字创建故事分析板，分析数据的变化和趋势，在不加重现有负担的情况下，时时刻刻都能够捕捉客户、市场和业务运营数据并实现数据可视化。主要功能：自主获取数据：从不同的数据源获取数据（直接连接HANA数据，可连接其他企业数据和个人数据），整合为数据集；转换数据：数据清洗、增加数据计算、整合现有数据与其他数据充实数据：关联特定类型的数据便于可视化分析，丰富钻取分析的维度可视化数据：在数据集的基础上，根据分析需求建立可视化的分析图表，通过拖拉拽实现数据操作，无需特殊要求分享数据：分享数据和可视化分析结果价值主张：快

54、速的洞察：无论数据量大小，均可实时获取答案出色的内容：颇具吸引力的内容，界面和美观的可视化功能，既可统观全局，又可深入挖掘详细信息自主的分析：无需编写任何代码即可访问、获取和可视化数据，以自助服务的方式整合企业和个人数据源，无需IT人员的协助；快速的决策：更快地制定出有效决策，赢得竞争优势。SAP Lumira可以实现本地安装，分析远程和本地数据。分析结果能够发布到SAP BO平台。SAP Lumira分析结果的图表可以保存为包括数据定义、数据源连接信息和数据的文档，并通过邮件发送给相关责任人。数据探索ExplorerSAP BusinessObjects Explorer 集搜索的简易性和高

55、效性与商务智能 (BI) 的可信性和分析功能于一身，通过它可以快速直接地从公司数据中获得业务问题的答案，即时解答业务问题。用户可利用熟悉的关键字搜索查找信息，在多个相一致的、有意义的数据集中找到相关数据，并直接对数据进行发掘。Explorer是帮助企业中的每位员工快速简捷访问信息的数据发现工具，用户可以浏览数据，迸发新想法，找到新视角。在 BI 启动板中使用Explorer，可以将 Explorer 作为应用程序启动，或者可以直接从“文档”选项卡中的 BI 启动板文档列表中发掘信息空间。如果将Explorer作为应用程序启动，则可管理和发掘信息空间。可以定义和创建新信息空间，并且可以更改现有的

56、信息空间。还可以为信息空间定义索引建立计划，以及打开现有信息空间进行发掘。如果从文档列表打开信息空间，则可发掘信息空间。Explorer采用对后台数据的加速机制，大大提升了信息的响应速度。Explorer采用BI 平台的 Universe 元数据、安全机制、信任方式和管理服务有利于减少 IT 部门积压的工作，只需数日即可完成部署过程。支持多种访问方式SAP BusinessObjects平台为用户提供功能强大的多种访问方式，包括Web方式（系统、门户）、移动终端、Office集成、桌面微件、移动设备、监控大屏等，通过这些方式进行报表、查询、分析应用。各种访问方式贯穿于整个BI套件，具有基于业务

57、术语的统一查询设计界面，并可以直接集成到门户、外联网及决策支持应用系统中，支持纯浏览器的方式，为用户使最终用户能够在整个决策过程中利用直观、基于Web的界面来进行跟踪、管理和协作。BO平台与现有系统的集成SAP BO平台的开放性、及其本身SAP一体化系统架构特性决定了SAP 商务智能解决方案能够完全实现与现有业务系统的无缝集成、与未来IT系统整体架构的一体化建设。与现有业务系统的无缝集成：SAP BO解决方案支持各种主流关系数据库、文件、ODBC/JDBC等通用接口作为报表开发设计的数据源，包括Oracle、DB2、Sybase、Microsoft SQL Server、Teradata、以及

58、Excel、Access等桌面数据库，还能支持TXT、CSV、XML文件格式的数据源。通过设计软件中的“信息设计工具”能够指引设计者使用建立不同的数据连接和业务模型。同时，在报表中还能够使用来自不同数据库的数据，将多个数据源的数据整合在同一张报表上显示。SAP BO解决方案提供标准的Open docment报表访问接口，能够简单方便的与企业门户、OA系统实现集成，实现将个性化的报表与分析图表嵌入到企业门户中，增强对报表、分析图表的共享与协作。未来IT系统整体的架构一体化：SAP BI商务智能解决方案与企业未来资产计划（ERP） 集成架构一体化的技术前瞻性优势，尤其是企业ERP、人力资源、企业战

59、略管理、移动解决方案均进行无缝集成. SAP BI 各个展现与分析工具都可以直接且高效的从SAP业务系统中抽取数据，进行业务实时监控与结果反馈。给予用户简单、直接、实时进行数据抽取与分析的可行性，真正做到企业战略、运营执行、绩效管控的闭环管理。支持强大的移动应用服务MobileSAP BusinessObjects平台包括Mobile组件，由用于移动设备的客户端应用程序和用于与平台服务器通信的 Mobile 服务器组件组成。Mobile使业务管理人员可以通过智能手机、iPad等移动设备随时随地轻松分析运营数据，并进行交互分析，还会收到这些数据异常的警报。能够支持市场常用的多种手机操作系统：An

60、droid、 iOS (iPhone和iPad)、BlackBerry、Windows Mobile等。移动访问分析文档，Mobile 为移动设备用户提供通过移动终端访问各种商务智能文档的权限和功能，Mobile支持在线查看和数据的实时更新，并支持离线浏览功能。根据文档类型，用户可以使用多种方式查看、分析文档包含的数据并与之进行交互：在结果上钻取以分析明细数据或汇总数据通过文档创建者设置的可自定义的突出显示来跟踪数据变化移动终端查看Web Intelligence文档移动终端查看Dashboards文档SAP BO Mobile的应用支持在终端的批注、圈阅以及转发功能。SAP BO的移动应用集