bi之ods使用手册天善智能一家之言

1、天善智能致全体 BI 同仁的各位 BI 同仁们：大家好！如果有一天，您有机会看到这封信，说明很有缘。天善智能是一个小团队，是由几位 BI 技术实战者组织建立的草根组织，或者某一天会变得很强大，如果您支持和同意的话。天善智能专注于商业智能和数据库性能优化，2011 年 9 月由（Robay）组织成立，前期以接外包项目和顾问培训服务为主，以及一些小范围的独家知识。在 2012 年 9 月，天善开始通过网络来天善多年来在商业智能和数据库方面的实战经验。目前天善智能总共已经制作了 23 份技术文档，录制了 25 部（陆续增加中.），开展了六期 BI 技术公开课，并且把这资料放在天善智能的博客，优酷，各

2、种网络媒介上免费让大家，和学习。最难得的是，这些资料是网络上最独有，最全，最有含金量的，并整理的井井有序，免费开放了给大家。这样做的目的，完全是因为天善体谅一些大学生、初学者想学习 BI 技术，但是又苦于学习无门的心情，因为天善的所有成员也经历过一段这样痛苦的时间，因此想通过这些小小的行为帮助到那些 BI 的初学者。俗话说：“授之以鱼不如授之以渔”，天善智能虽然提供了这么多的资料供大家免费学习，但是天善认为仅仅做到这一点是不够的，更好的方式应该是让大家掌握一种无形的本领。这种本领可以描述成“如何思考、如何学习、如何解决问题、如果沉淀、如何成长”等。也许您会觉得有点虚无缥缈，但是请相信天善智能，

3、和天善一起前行成长，终有一天会实现各位心中的理想。最后，天善智能成立时间短，也还年轻，更急需成长，因此天善智能诚恳的希望您能提出具有建设性的建议，助天善团队壮大，天善团队，使天善迈向成阶段。写于 2012 年 12 月 22 日重生后的第一天如何找到天善？博客：(订阅本博客随时掌握天善动态，文档工具。目前已经 600 人订阅，还不订阅更待何时？)QA： HYPERLINK http:/q/ http:/q(任何技术问题，只要您认真提，天善一定认真答。)5 群：236899666 群：237979203前 4 群基本满员，多达 2000 人，加入也是必须的。（加入时请注明：天善智能）天善优酷：/

4、tianshansoft天善智能博客：第 1 页 共 10 页且ODS 探析1ODS 概述ODS 概念和特点ODS 概念ODS(Operational Data Store,操作型数据)是数据仓库体系结构中的可选部分，ODS 具备数据仓库的部分特征和的、集成的、可变的、反映当前数据值和详细数据的数据集合，用OLTP 系统的部分特征。Billon 定义 ODS 为面向来满足企业综合的、集成的以及操作型的处理需求。与 Billon 给出的数据仓库的定义类似，ODS 的定义同样也给出了 ODS 的几个特点，分别是：1.1.2面向的 （与数据仓库类似）集成的 （与数据仓库类似）易变的

5、（数据可以联机改变，包括增、删以及更新等操作）数据是当前或接近当前的（数据在存取时刻是ODS 的由来及基本特征的、数据是最近一段时间之前得到的）在数据库环境中的是面向应用和联机事务处理、当前的、细节的、分散的数据，数据库系统并不能提供集成的的数据环境，使各个业务子系统之间实现较高程度的共享，使得数据库系统不能提供决策支持的功能；而在数据仓库系统可以提供集成、基础。的数据环境，能够实现数据的共享，但是数据仓库并不实时的数据而是需要大量历史数据作为分析的ODS 是由于数据库数据环境与数据仓库数据环境不能满足实时决策的需求而产生的。根据其概念，ODS的是面向主题的集成的并且同时是明细的反应当前或接近

6、当前的数据值的数据，这些特点可以弥补数据库环境和数据仓库环境的缺陷，为实时决策的需求提供数据支持。ODS 在数据仓库系统中是一个可选组件，是介于 DB 和 DW 之间的一种技术。ODS 只是存放当前或接近当前的数据，如果需要的话，可以对 ODS 中的数据进行增删或更新操作。虽然 DW 中的数据也同样是面向常是不能进行修改的，所有 ODS 和 DW 的区别主要体现在数据的可变性和当前性上。和集成的，但是这些数据通DB 数据环境：面向应用和联机事务处理，当前的、细节的、分散的数据，不能提供集成的程度低，不能提供决策支持。的数据环境，共享DW 数据环境：面向、面向分析，可以提供集成、的数据环境，但是

7、一定量的数据是建立 DW 的前提，需要使用历史数据，数据要体现集和历史性实际中往往会有实时决策的需求，上述两者都不能满足要求，因此产生了 ODSODS 数据环境：一方面提供全局一致的、细节的、当前的数据，可进行联机事务操作型处理。另一方面是一种面向的集成的数据环境。数据量小，可辅助完成日常决策的数据分析处理，同时可以保护投资，保留现有的应用系统。DB-ODS-DW 体系结构简单结构:1.1.3天善智能博客：第 2 页 共 10 页特点：1)ODS 的2)DW 的复杂结构:在 DB 中；在 ODS 中。1.2ODS 与 DB、DW 的区别ODS 是介于 DB 和 DW 之间的一种数据技术，与面向

8、应用的分散的 DB 相比，ODS 中的数据组织方式与 DW 一样也是面向的、集成的。虽然 ODS 也是一种操作型数据，但是 ODS 与面向应用的分散 DB 系统在设计目标、内容、数据来源、数据组织方式等方面存在较大的差异；ODS 和 DW 在结构和内容方面非常相似。它们都是面向的、集成的，每种环境都要求数据经过集成和转换之后再被载入到 ODS 或 DW。但 ODS 有许多与数据仓库非常不同的特性，例如 ODS 中的数据可以被前端应用更新，而数据仓库中的数据则不可以；ODS 保存当前或者接近当前的细节数据，而数据仓库保存各粒度级别的汇总的历史数据。具体区别如下下表所示：天善智能博客：第 3 页

9、共 10 页指标DBODSDW系统目标事务处理中层辅助决策辅助决策处理类型面向应用、联机事务处理日常管理和控制决策，事物处理与决策分析并存面向分析，决策支1.3ODS 的分类ODS 按照与应用系统的数据延迟时间分为四类，分别为：类 ODS,与应用系统的数据延迟为 12 秒，实时或近似实时。对于用户来说，ODS 是个透明的，操作型系统业务发生之后，数据立刻在 ODS 中看到。这类 ODS 事实上是很难实现的。秒级的数据迁移间隔，使得没有时间进行数据的整合。对于此类 ODS，从技术和成本上来说，都是不合算的。类 ODS，与应用系统的数据延迟为 24 小时。在操作型系统业务发生后，数据要经过几个小时

10、才能出现在 ODS 部件中。类 ODS，与应用系统的数据延迟为 1224 小时。常见的数据仓库的迁移频率。类 ODS，与应用系统的数据延迟为月级甚至年级，该类 ODS 的数据源经常是数据仓库，即数据仓库中部分决策分析数据回流至 ODS 中。不同 ODS 类别的特点：数据延迟时间越短，ODS 建设难度越高；类 ODS 的建设难度最高，建设成本也是最高。由于类 ODS 得实时性，对于技术的要求与其他类型 ODS 也有所不同，一般来讲需要用到 EAI 技术，但随着当前企业对数据仓库的实时性要求越来越高，类 ODS 变得越来越重要；在企业应用架构中，ODS 是一个可选件，但一旦需要用到 ODS 的功能

11、，那么 ODS 本身就变得极为重要。应用比较多的是类 ODS，因为一旦将决策分析结果加载到 ODS 中，重要决策信息的高性能联机支持将成为可能。ODS 的作用1.4ODS 是一个可选的组件，但是在包含 ODS 组件的系统中，ODS 主要是作为 DB 与 DW 的中间层而存在的。它在系统中的主要作用有：1） 在业务系统和数据仓库之间形成一个层。一般的数据仓库应用系统都具有非常复杂的数据来源，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进行抽取并不容易。因此，ODS 用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保

12、持一致，因此在抽取过程中极大降低了数据转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面2） 转移一部分业务系统细节查询的功能。在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的，在一些比较复杂的报表生成过程中，对业务系统的运行产生相当大的压力。ODS 的数据从粒度、组织方式等各个方面都保持了与业务系统的一致，那么原来由业务系统产生的报表、细节数据的查询自然能够从 ODS 中进行，从而降低业务系统的查询压力。3） 完成数据仓库中不能完成的一些功能在带有 ODS 的数据仓库体系结构中，DW 层所的数据都是进行汇总过的数据和运营指标，并不每笔交易产生的细节数据，但是在某些特

13、殊的应用中，可能需要对交易细节数据进行查询，这时就需要把细节数据查询的功能转移到 ODS来完成，而且 ODS 的数据模型按照面向的方式进行，可以方便地支持分析等查询功能。即数据仓库从宏观角度满足企业的决策支持要求，而 ODS 层则从微观角度反映细节交易数据或者低粒度的数据查询要求。在一个没有 ODS 层的数据仓库应用系统体系结构中，数据仓库中的数据粒度是根据需要而确定的，但一般来说，最为细节的业务数据也是需要保留的，实际上也就相当于 ODS，但与 ODS 所不同的是，这时的细节数据不是“当前、不断变化的”数据，而是“历史的，不再变化的”数据。这样的数据仓库的理设计和逻辑设计提出了更高的要求。压

14、力和性能压力都是比较大的，因此对数据仓库的物天善智能博客：第 4 页 共 10 页功能持分析功能的 OLTP企业级的 OLTP 和及时 OLAPOLAP(长期趋势分析)特征确定的应用需求基于全局应用和中层决策的基于决策分析和数据特征内容当前数据当前或接近当前数据历史数据来源组织外部以系统为主系统组织按业务按按稳定性更新频繁较稳定，允许更新稳定，不进行更新综合性细节数据细节数据细节数据和综合数据特征分散的数据库全局一致的数据环境全局一致的数据环境1.5ODS 的功能ODS 支持全局（企业级）的联机事务处理，并且支持日常管理和控制的操作，称为“即时 OLAP”处理。全局的 OLTP 应用在数据仓库

15、环境中是无法实施的，在数据库环境中，则必须依靠个业务子系统之间的协调才能够进行；即时的 OLAP 应用在数据库环境中无法实施。而在数据仓库环境中，由于必须提供即时的分析，因此必须提高数据刷新频率，导致数据仓库环境中的数据时间粒度过小，数据量增加过快，并不符合数据仓库历史数据的刷新周期。1.5.1全局的 OLTP 应用对于全局的 OLTP 应用，一个事务涉及多个子系统中的数据。通常的数据库环境中，各个子系统的数据缺乏一致性，数据库组织过于分散，无法实施全局的应用，而 ODS 则克服数据库系统的缺陷。一个全局的 OLTP 应用示例：一位教员调离学校。如果是在数据库系统中，子系统相对独立，可能导致子

16、系统中的信息不一致；即使是在信息一致的情况下，也会造成调离手续繁琐。而在 ODS 中则不会出现这种问题。数据库环境ODS 环境1.5.2即时的 OLAP 应用即时的 OLAP 应用，进行非型的中层决策来实现对企业的日常管理和控制。这种应用只关心当前或接近当前的数据；因为涉及的数据量较少，要求有较快的相应速度。在数据仓库环境中数据。的数据为历史数据，并不能提供当前或接近当前的即时 OLAP 示例：商场 ODS 系统。该商场的基本情况是已经有部门的应用系统：库存、采购、销售、财务等，并且有数据仓库系统。商场 ODS 系统的要求与目标是支持日常管理和控制，具有即时 OLAP 能力。对于回答“某某商品

17、是否要进货？”这一类，首先在 ODS 系统的商品中进行商品近期销售情况，得出商天善智能博客：第 5 页 共 10 页品的周转情况、率、库存量，比较以后作出是否进货的决定；如果需要进货，则可分析供应商中的相关信息，再依据情况，确定采购数量和采购途径。2ODS 在 RDC 系统中应用可行性与优劣ODS 是一个可选件，是否需要构建 ODS 组件，需要根据客户需求确定，分析用户需求中关于全局的 OLTP 应用与即时的OLAP 应用是否重要的、必须的，并且这些需求是目前的业务系统以及 DW 系统中无法实现的。一旦确定需要为客户构建ODS 组件，则必须从实际需求出发考虑选择何种类型的 ODS，并且确定 O

18、DS 需要实现的功能。由于目前 RDC 系统中的分析数据全部来自于 BS业务系统中，是针对物流资源管理、人力资源管务资源管理、信息资源管理集成如果 ODS 层仅仅能够实现从的企业管理，使得 BS业务系统中的数据已经进行了企业中信息的整合和集成。系统中集成与整合数据的功能，那么它的存在也许是没有意义的。RDC 系统的建设的短期目标是实现中层管理者的决策分析之用，但是用于 RDC 中的数据全部是历史的数据，并不能真正的满足中层决策实现企业日常管理和控制的功能。如果在 RDC 系统中引入 ODS 层，可以提供给中层管理者接近实时的细粒度的数据，则 ODS 层的存在则是意义的。以下从几个方面对比在 R

19、DC 中存在 ODS 或不存在ODS 的优劣：（1）首先从使用角色对比：ODS 面向营业、等一线生产和一线管理，为了实现接近实时、跨系统的运营细节数据的查询，提供细粒度的运营数据展现。DW 系统是面向企业的分析或者决策支持的，实现的是基于历史数据的统计分析与 OLAP 分析。从使用角色角度分析，ODS 可以作为 BS数据查询功能。的有益补充，实现系统未能实现的数据展现和数据来源的对比：DW 中的完全来自于业务系统数据库，ODS 的数据既可以来源于业务系统，也可以从 DW 中获取部分分析数据。数据粒度：目前 RDC 系统中时间粒度精确到日，对于更细粒度级的数据分析目前尚无法提供，可以使用 ODS

20、 作为补充。数据获取的性能与及时性：ODS 支持OLTP 数据更新，数据更新时间短，数据可实现接近实时的更新，性能和及时性要高于 RDC。系统功能:数据查询。ODS 提供生产环境下的数据查询，查询的交易量较小不耗费太多资源，有确定的完成速度。而 DW 提供分析环境下的查询，查询单元量交大，消耗的资源很多，完成的速度也不确定。固定报表。ODS 提供生产环境下实时性较高的生产经营报表，而 DW 提供分析环境下的主图分析与挖掘报表。动态报表。ODS 提供面向少量维度的细粒度的数据统计，而 DW 提供面向次挖掘。度的多层粗粒度数据的统计、分析及ODS 提供绩效管理和统计、数据质量审计和管理等功能。RD

21、C 提供趋势分析、客户消费行为分析和评估等功能。分析对比图表如下：从对比分析中可以得出，由于 ODS 和 DW 完全是不同的实体，能够实现不同的需求应用，而目前 RDC 实现的是DW 的功能，因此，在 RDC 中加入ODS 是可行的并且有很大优势的。但是 ODS 的选型以及ODS 在RDC 中实现的作用仍需要分析详细的客户需求才能决定。天善智能博客：第 6 页 共 10 页对比角度存在 ODS仅存在 DW 系统（RDC 系统）使用者面向营业、等一线生产和管理面向企业分析或决策支持数据来源业务数据可与数据仓库业务数据库数据粒度更细粒度级精确到日数据获取性能与及时性实时或接近实时更新数据系统功能数

22、据查询生产环境下的数据查询分析环境下的数据查询固定报表实时性较高的生产经营报表图表分析与挖掘报表动态报表面向少量维度的细粒度数据统计面向度的多层粗粒度统计、分析及次挖掘实现功能提供绩效管理和统计、数据质量审计和管理等趋势分析、客户消费行为分析和评估3基于 ODS 构建商业系统的即时 OLAP 应用ODS 技术和即时 OLAP问题提出面向的数据仓库（DW）概念的提出，不但为有效地支持企业经营管理决策提供了一个全局一致的数据环境，也为历史数据，综合数据的处理提出了一种行之有效的解决方法。数据仓库概念的提出也清楚的把数据处理划分为了操作型处理和分析型处理两种不同类型，从而建立起了 D

23、B-DW 的两层体系结构。但是有很多情况，DB-DW 的两层体系结构并不能涵盖企业所有的数据处理要求，因为企业的数据处理虽然可以较为粗略的划分成操作型和分析型两部分，但这两种类型也不是泾渭分明的，它们之间也有交叉的情况，譬不适合在 DW 中进行。些是操作型的，但不适合在操作型 DB 中进行，而又有一些是分析型处理，但比如开发的一个销售公司的决策系统，按要求公司经理要解决什么商品该进货了，各种商品近来的赢利情况，客户的信任情况等等。要回答这些问题，他必须首先要弄清楚药品的存货是否充裕，还要了解该药品近期的销售情况，另外还要和别的药品的库存和销售情况进行比较等。如果把这个决策分析过程放在原有的面向

24、应用的分散 DB 系统中去完成的话，不一定得到每个部门的准确一致的信息，而要进行间的协调配合，工作量势必会很大，但如果把其放在 DW 中去进行分析的话，不但费时，而且会有很多的不必要的数据检索存在。对于上述问题可以借助于 DB-DW 的中间层 ODS（操作数据）来解决。它像 DW 一样是一种面向，集成的数据环境，又像操作型 DB 一样包含着全局一致的，细节的当前的数据。建立基于 ODS 的即时 OLAP 应用是应中层决策分析之需要的一种解决方案，它能很好的适应企业日常频繁的中低层次的决策分析应用。3.1.2操作数据（ODS）是用于支持企业日常的全局应用的数据集合，ODS 的数据具有面向、集成的

25、、可变的和数据是当前的或是接近当前的 4 个基本特征。ODS 是介于 DB 和 DW 之间的一种数据技术，和原来面向应用的分散的 DB 相比，ODS 中的数据组织方式和数据仓库（DW）一样也是面向的和集成的，所以对进入 ODS 的数据也象进入数据仓库的数据一样进行转化和集成处理。另外 ODS 只是存放当前或接近当前的数据，如果需要的话还可以对 ODS 中的数据进行增、删和更新等操作，虽然 DW 中的数据也是面向和集成的，但这些数据一般不进行修改，所以 ODS 和DW 的区别主要体现数据的可变性和当前性上。3.1.3即时 OLAPODS 主要是适应企业级的全局应用的需要而产生的，对它的应用主要是

26、在即时OLAP的数据处理上。在 DW 上实现 OLAP 主要是为了进行长期趋势分析，DW 中是数据量很大，所以 OLAP 应用的运行时间都比较长。在企业日常经营中，常常要进行一些非的中层决策以实现企业的日常管理和控制，譬如，销售公司经理要每周查看药品的销售情况，各地区的药品销售情况，业务员的业绩情况等等，并且这种决策过程并不需要参考太多的历史数据，主要是参考当前的或比较当前的数据，还需要比较快的执行速度，可以把这种分析决策称为即时 OLAP。显然利用 DW 不但运行的效率是无法受而且也很难准确的反映近期的真实情况，ODS 的建立克服了 DW 系统过于臃肿，处理时间过长和不适应即时 OLAP 的

27、情况，提供给中层决策者以快捷准确的分析信息。3.1.4从 DB 向 ODS 转化的实现机制在 DB-ODS 的体系结构中，ODS 的实现机制表现在其系统定义的数据传送关系上，如图 1 所示。操作型环境中各分散的 DB经过过滤后形成了 ODS 系统的系统，向 ODS 系统中提供数据。系统定义了原有分散 DB 中那些数据送往ODS，并指明与 ODS 数据相应的数据表。通过 ODS 的定义可以把分散于应用的 DB 中的数据到 ODS 中去，这样原来的分散DB 中的就形成了ODS 中的面向很少。的。ODS着一个分析型的环境，数据处理简单得多，实际需要的支持技术也天善智能博客：第 7 页 共 10 页上

28、图没有给出从 ODS 向 DB 转化的实现机制，这种情况主要用在有关企业全局操作应用的情况，可以通过在 ODS 系统中存放一些参数表，它所反应的关系是 ODS 全局更新时必须要反应到所有 DB 中的相关。此时，ODS 是一个操作型环境，管理、数据恢复等等技术。实现 ODS 所要求的技术跟原来的面向应用的分散的数据库系样，包括事务管理、ODS 设计指南问题提出在 ODS 的概念定义中，已经描述了 ODS 的功能和特点，实际上 ODS 设计的目标就是以这些特点作为依据的。ODS 设计与DW 设计在着眼点上有所不同，ODS 重点考虑业务系统数据是什么样子的，关系如何，在业务流程处理的

29、哪个环节，以及数据抽取接口等问题。3.2.2第一步骤:确定数据范围确定数据范围实际上是对 ODS 进行划分的过程，这种划分是基于对业务系统的调研的基础上而进行的，并不十分关心整个数据仓库系统上端应用需求，但是需要把上端应用需求与 ODS 数据范围进行验证，以确保应用所需的数据都已经从业务系统中抽取出来，并且得到了很好的组织。一般来讲，的划分是以业务系统的信息模型为依据的，设计者需要综合各种业务系统的信息模型，并进行宏观的归并，得到企业范围内的数据视图，并加以抽象，划定几个逻辑的数据范围。在这个阶段，以 ER 模型表示数据关系。第二步：根据数据范围进行数据分析和定义 在第一步中定义出来了企业范围

30、内的数据视图，以及所收集到的各种业务系统的资料，在这一步中，需要对大的数据进行分解，并进行定义，直到每个能够直接对应一个数据模型为止。在这个阶段，将把第一步生成的每个 ER 图中的实体进行分解，分解的结果仍以 ER 表示为佳。3.2.3第二步骤:定义元素、粒度、定义维、度量、定义维的概念特性：期限维名称，名称应该能够清晰表示出这个维的业务含义。维成员，也就是这个维所代表的具体的数据，维层次，维成员之间的隶属与包含的层次关系，每个层次需要定义名称定义度量的概念特性：度量名称，名称应该能够清晰表述这个度量的业务含义定义的概念特性：名称和含义，说明该主要包含哪些数据，用于什么分析；所包含的维和度量；

31、的事实表，以及事实表的数据。天善智能博客：第 8 页 共 10 页定义粒度：中事实表的数据粒度说明，这种粒度可以通过对维的层次限制加以说明，也可以通过对事实表数据的业务细节程度进行说明。定义期限：中事实表中的数据周期。3.2.4迭代，归并维、度量的定义在 ODS 中，因数据来自于多个系统，数据划分时虽然对数据概念进行了一定程度上的归并，但具体的业务代码所形成的各个维、以及维成员等还需要进一步进行归并，把概念（像不同的业务系统中一样）。的维定义成一个维，不允许同一个维存在不同的实体表示3.2.5物理实现定义每个的数据抽取周期、抽取时间、抽取方式、数据接口，抽取流程和规则。物理设计不仅仅是 ODS 部分的数据库物理实现，设计数据库参数、操作系统参数、数据设计之外，有关数据抽取接口等问题必须清晰定义。ODS 数据模型的设计数据调研对与业务系统关联的数据进行调研，弄清楚现有业务系统对应的数据逻辑模型和物理模型3.3.2确定数据范围确定数据范围实际上是对 ODS 进行划分的过程，这种划分是基于对业务系统的调研的基础上而进行的，并不十分关心整个数据仓库系统上端应用需求，但是需要把上端应用需求与 ODS 数据范围进行验证，以确保应用所需的数据都已经从