银行数据仓库构建分析

1、1 1 / / 1212如何构建银行数据仓库 数据仓库技术作为一项数据治理领域的新技术 ，其精髓在于针对联机分 析处理(OLAP)(OLAP)提出了一种综合的解决方案，与以往专门多技术不同的 是，它要紧是一种概念，在此概念指导下完成系统的构造。既没有能够 直接购买到的现成产品，也没有具体的分析规范和实现方法，也确实是 讲没有成熟、 可靠且被广泛同意的数据仓库标准。 在以往关系数据库的 设计和实现中，不仅有详细的理论推导，还有许多的设计实例，不管你 使用的是什么公司的数据库产品、开发工具，只要按照规范做，那么实 现同一业务需求的方案都会专门相似。而现有数据仓库的实现中，出现 了 MOLAMOLA

2、 方案和 ROLAROLA 巧案的区不，出现了形形色色的数据仓库建模工 具、表现工具，而设计人员的个人经验和素养也会在其中扮演专门重要 的角色。数据仓库技术的实现方式 目前在数据仓库技术的实际应用中要紧包括如下几种具体实现方式。1 1、 在关系数据库上建立数据仓库 (ROLAP)(ROLAP) 2 2、 在多维数据库上建立数据仓库 (MOLAP)(MOLAP)2 2 / / 1212MOLAMOLA 方案是以多维方式来组织数据，以多维方式来存储数据；ROLAPROLAP方案则以二维关系表为核心表达多维概念 ，通过将多维结构划分为两类 表: : 维表和事实表，使关系型结构能较好地适应多维数据的表

3、示和存 储。在多维数据模型的表达方面，多维矩阵比关系表更清晰且占用的存 储更少，而通过关系表间的连接来查询数据的ROLAPROLAP 系统，系统性能成为最大问题。MOLAMOLA 方案比 ROLAPROLAP案要简明，索引及数据聚合能够自 动进行并自动治理，但同时丧失了一定的灵活性。ROLAPROLAP 方案的实现较为复杂，但灵活性较好，用户能够动态定义统计和计算方式，另外能爱 护在已有关系数据库上的投资。由于两种方案各有优劣，因此在实际应用中，往往将MOLAPMOLAP 和 ROLAPROLAP结合使用，即所谓的混合模型。利用关系数据库存储历史数据、细节数 据或非数值型数据，发挥关系数据库技

4、术成熟的优势，减少花费，而在 多维数据库中存储当前数据和常用统计数据，以提高操作性能。3 3、在原有关系库上建立逻辑上的数据仓库 由于目前正在运行的 OLTPOLTP 系统中差不多积存了海量数据，如何从中提 取出决策所需的有用信息就成为用户最迫切的需要 。新建数据仓库当然 能从功能、性能各方面给出一个完整的解决方案，但需要投入大量的人 力、物力，同时数据仓库的建设和分析数据的积存需要一段时刻，无法 及时满足用户对信息分析的迫切需要。因此在筹建数据仓库的前期，能 够采纳一些合适的表现工具，在原有 OLTPOLTP 系统上建立起一个逻辑的数 据仓库系统。尽管由于原有 OLTPOLTP 系统设计上的

5、局限性， 如此的系统可 能无法实现专门多分析功能，但如此一个系统中数据结构固定、信息分 析需求相对稳定成熟，因此数据仓库的建模、实现过程会相对容易、便 捷；同时，如此的系统也会成为今后真正数据仓3 3 / / 1212库建设的原型。信息系统与数据仓库的关系由于数据量大、数据来源多样化，在商业银行构建治理信息系统时，不 可幸免地会遇上如何治理这些浩如烟海的数据 ，以及如何从中提取有用 的信息的问题 ；而数据仓库的最大优点在于它能把企业网络中不同信息岛上的商业数据集中到一起，存储在一个单一的集成的数据库中，并提 供各种手段对数据进行统计、分析。因此能够讲，在银行使用数据仓库 构建治理信息系统，既有

6、压力，又有数据基础，它们之间的联系是必定 的，难以割舍的。数据仓库在商业银行的应用范围包括存款分析、贷款分析、客户市场分 析、相关金融业分析决策 （ 证券、外汇买卖 ） 、风险预测、效益分析等。 在银行信息系统构建时，由于历史情况和现实需求的不同，存在两种途 径: :1 1、建设新系统由于目前国内商业银行对银行内部运营的监管 ，缺乏专门好的数据搜集 机制，因此能够在构建治理信息系统时，分数据收集录入和数据汇总分 析两部分来考虑。如此的系统中由于不需考虑大量历史数据的处理问 题，同时考虑到搜集过程中可能存在多个数据来源，因此能够在系统建 设的同时构建数据仓库 ，将搜集来的各种数据通过数据抽取整合

7、到数据 仓库中。4 4 / / 12122 2、完善原有系统而关于差不多存在 OLTPOLTP 系统，其中沉淀了大量历史数据，则能够先在原有系统上建立逻辑数据仓库，即使用数据分析的表现工具，在关系模 型上构建一个虚拟的多维模型。当系统需求稳定后，再建立物理数据仓 库，如此既节约投资，又缩短开发工期。实现中需要注意的问题一、模型设计中的问题模型设计 （包括逻辑模型设计和物理模型设计 ） 是系统的基础和成败的 关键，在实际操作中，视实现技术的不同应分不对下列问题引起注意。 1 1、直接构建数据仓库直接构建数据仓库时，必须按业务分析的要求重组OLTPOLTP 系统中的数据，并要按不同侧重点分不组织，

8、使之便于使用。* * 主题的确定 主题是一个逻辑概念，它应该能够完整、统一地刻画出分析对象所涉及 的各项数据以及相互联系。划分主题的依照要紧来源于两方面 : : 对原有 固定报表的分析和对业务人员的访谈 。原有固定报表能较好地反映出以 往工作对数据分析的需求，而且数据含义和格式相对成熟、稳定，在模型设计中需要大量借鉴 。但仅仅满足于替代目前的手工报表还远远不应 是构建治5 5 / / 1212理信息系统的目标，还应该通过业务访谈，进一步挖掘出日常 工作中潜在的更广、更深的分析需求。只有如此，才能真正了解构建数 据仓库模型所需的主题划分。* * 分析内容的细化 主题的划分实际上是与分析内容的范围

9、直接相关的 ，一旦主题划分清晰 了，下一步确实是细化分析的具体内容以及依照分析内容的性质确定它在数据仓库中的位置。通常维元素对应的是分析角度，而度量对应的是 分析关怀的具体指标。一个指标究竟是作为维元素、度量依旧维属性， 取决于具体的业务需求 ，但从实际操作中能够总结出如下的概念性经验 作为维元素或维属性的通常是离散型的数据，只同意有限的取值；作为 度量的是连续型数据，取值无限。假如一定要用连续型数据作为维元 素，则必须对其按取值进行分段，以分段值作为实际的维元素。推断分 析指标是作为维元素依旧维属性时 ，则需要综合考虑那个指标占用的存 储空间与相关查询的使用频度。需要特不强调的是，在细化分析

10、内容的过程中，务必解决指标的歧义问 题。在不同报表中以及在业务访谈中同一名称的指标，是否是在同样条件限定下，通过同样方法提取或计算得到的，它们之间的相互关系是什 么，这些问题都必须从熟悉业务的分析人员那儿得到准确、清晰的答案，否则将会阻碍到模型设计、数据提取、数据展现等多个方面。* * 粒度的设计数据仓库模型中所存储的数据的粒度将对信息系统的多方面产生阻碍。事实表中以各种维度的什么层次作为最细粒度，将决定存储的数据6 6 / / 1212能否满足信息分析的功能需求，而粒度的层次划分、以及聚合表中粒度 的选择将直接阻碍查询的响应时刻。假如同一个信息系统要在大范围、多层次上同时运行，如部门级和企业

11、 级，还应考虑不同层次的数据仓库采纳不同的粒度。* * 模型设计中的技巧复合指标尤其是比率类指标的定义，必须注意累加时是先加减后乘除，依旧反之。户数、笔数的计算，这类指标在分析或报表中经常出现，但 不需要作为单独的指标物理存在于数据库中 ，但定义分析模型时一定应 该预备。度量的时刻特性，针对分析指标在时刻维上的不同表现，可分 为可累加指标、半可累加指标和不可累加指标。2 2、在原有数据基础上构建逻辑数据仓库假如直接使用 OLTPOLTP 系统中的数据进行数据分析处理，会遇到许多苦 恼，有时甚至是不可能实现的。这并不是讲关系数据库不行，而是因为其设计思路不适应较大规模数据分析。因此在使用这种方法时，需要注 意下列问题的处理 : :* * 不同的时刻单位这是实现过程中最常遇到的问题，也往往是最难解决的问题。OLTPOLTP 系7 7 / / 1212统中存储的时刻往往采纳与实际业务发生相同的时刻单位 ，如帐务数据 单位为日期，财务报表单位为月或半年。而面向分析时，往往要将不同 时刻单位的数据统一到同一个结果中 ，如此就必须存在适当的转换机制 才