数据仓库系统建设预案

1、74/74河北省工商银行数据仓库系统建设方案建议书北京世纪明日网络科技有限公司二零零零年三月河北省工商银行数据仓库系统建设方案目 录前言数据仓库进展史竞争日趋激烈的金融市场中国专业银行面临的挑战中国专业银行实施数据仓库的意义中国专业银行实施数据仓库已具备的条件数据仓库总体概述 2.1 数据仓库基础 2.2 数据仓库技术概述 2.3 一个可扩展数据仓库的差不多框架 2.4 一个数据仓库实施流程系统体系结构设计 3.1系统设计指导思想 3.2 方案总体框架图 3.3 系统体系结构设计 3.4 系统方案的组成第四章 银行数据仓库的建设 4.1 面向应用的OLTP系统和面向主题的OLAP系统 4.2

2、个性化服务的定义 4.3 业务探究/业务发掘 4.4 建立市场客户信息基础 4.5 利用数据仓库实现的差不多模块 4.6 更高层次的开发应用 4.7 综合信息公布第五章 方案实施建议 5.1 开发模式 5.2 组织机构 5.3 项目实施进程 5.4 项目进度打算第六章 产品报价 6.1 软件产品报价 6.2 硬件产品报价 6.3 项目开发实施费用第一章 前言1.1 数据仓库进展史 相关于许多行业而言，信息处理技术依旧一门新兴的技术，然而其进展速度却几乎是最快的。随着计算机硬件技术的飞速进展，软件技术也是日新月异。许多企业和机构差不多建立了相对完善的OLTP（联机事物处理）系统。随着时刻的推移，

3、这些系统中积存了大量的历史数据，其中蕴含了许多重要的信息。通过对这些历史数据的分析和综合处理，能够找到那些对企业进展至关重要的业务信息，从而关心有关主管和业务部门作出更加合理的决策。70年代中期出现的MIS（治理信息系统）实际上确实是在这种背景下产生的。但MIS具有极大的局限性。首先，它是按预先定义好的流程对数据作相应的处理，因此只能对预先描述好的业务问题进行回答。其次由于开发工具的限制，对它的修改也不大方便，特不是业务流程发生变化，模型需要调整，这种修改更加困难。最后数据的不断积存和数据量迅速增加，一般的商用数据库（即OLTP数据库）难以处理，系统的扩展存在专门大限制。在这种情况下MIS逐步

4、进展到了数据仓库。世界上最早的数据仓库是NCR公司为全美、也是全世界最大的连锁超市集团Wal*Mart在1981年建立的，通过二十年的进展，该系统差不多特不完善，数据量扩展到27TB，成为迄今为止世界上最大的数据仓库。 1.2 竞争日趋激烈的金融市场 依照Tower Group公司1998年10月的研究，1999年全球金融机构将投资54亿美金实施数据仓库系统，其中欧美地区占八成的市场份额，其次为亚太地区，在美国实施数据仓库的单位以大型银行为主，基础上启动的资金为五百万美金以上；1998年在全球前500家银行中差不多有近九十家的数据仓库数据量超过500GB，预测在1999年将有150家，2000

5、年有260家；数据仓库是金融机构实现客户关系治理（Customer Relationship Management）的核心技术，也是金融业竞争优势的来源，要紧的应用业务部门为信用卡部、信贷部、市场部和零售业务部等，应用领域是以客户为中心的分销渠道治理、客户利润分析、客户关系优化和风险控管。 造成欧美地区金融机构采纳数据仓库技术，提供以客户为中心的个性化服务（One to One Marketing）的背景缘故如下：金融服务市场的开放竞争。如AT&T电话公司的电话卡能够透支打电话、福特汽车公司的购车信用分期付款、零售业的透支分会员卡和贵宾卡、信用卡公司发行信用卡、ESD建立ATM网、GE公司的贷

6、款服务，保险公司的储蓄型保险单和保单贷款等，同意银行业的并购，阻碍银行的业务收入和利润。上述的开放市场，业者会推出多样化的产品和服务，让顾客有更多的比较和选择的机会。造成顾客购买的因素，除了价格以外，还应考虑方便性、可用性等，形成个性化服务的需求。银行需要更进一步了解客户，才能满足客户需求，进而留住客户，增加利润。信息技术（如海量并行处理的技术）的突飞猛进，使得快速地分析客户详细的历史交易数据成为可能，从而能够更好地了解、模拟和预测客户的消费行为、偏好等。另外移动通信技术的进步，让客户访问信息服务的方式不受时空的限制。这些技术让银行业务用户能够及时响应各种突发的复杂的经营问题。银行现有的治理制

7、度和业务流程，差不多上以产品（Product）为中心来进行客户服务，不同的帐号信息分散在不同的计算机系统内，缺乏对客户统一的全面了解。现有的生产系统是银行营运和客户的基础设施，无法提供多用户对大量历史数据同时进行突发的复杂的决策分析，因此建立另外一套以客户为中心的数据仓库决策支持系统是实现个性化服务的必要手段。1.3 中国专业银行面临的挑战 1984年人民银行成为中央银行的角色，成立了四家国有专业银行：工商银行、农业银行、中国银行和建设银行。后来又成立交通银行、中信实业银行、光大银行等十一家股份制商业银行。1996年改组都市信用合用社建立股份制都市商业银行。国有专业银行长期在打算体制下运转，其

8、经营行为和经营意识带有专门强的行政色彩，正向商业银行化进行过渡。随着经济的增长和国民生活水平的提高，社会保障制度的改革，政府扩大内需的政策等，国有专业银行和股份制商业银行的零售业务，如住房贷款、退休养老金、消费贷款和信用卡业务等，将成为银行业务和利润的增长点。如何争取零售业务的市场机会，发掘信用好风险低的客户已成为银行关注的焦点。在以后零售业务的迅猛进展，改善银行的获利能力，将加速国有专业银行转型成为商业银行的进程。 在现时期，要紧是国有专业银行和股份制商业银行、邮政银行之间的竞争，其他服务业和外资银行尚未构成全面性的威胁。尽管，国有专业银行具有覆盖全国营业网点的优势，但受历史包袱的阻碍，期待

9、扩大零售业务，以提高获利能力；股份制商业银行规模相对小，只能提供地区性的服务，零售业务是要紧的收入来源，从国有专业银行和邮政银行中争取更多的新客户，将是要紧的经营策略；邮政银行的优势在营业网点、客户基础和更多的增值服务，竞争的策略是留住有利润的客户和争取新客户，因此邮政银行也将是现时期国有专业银行和股份制商业银行的重要竞争对手。 1999年11月15日，中国与美国签署加入世界贸易组织的双边协议，中国将自加入世界贸易组织起，逐步开放金融市场，入世两年后开放外资银行经营对公业务，五年后开放对私业务和设立营业网点。在可预见的以后，国内的金融机构将同世界级的外资银行发生面对面的激烈竞争。届时，客户有更

10、多的选择，竞争会更加的激烈。世界级的外资银行为加速取得和扩大在中国的市场份额，将引进其在国外实施多年的以客户为中心的数据仓库决策支持系统，推出更多样化的金融产品和服务来争取高利润的客户。因此，了解客户需求和客户对银行的利润贡献度、提供有竞争性的产品或服务、经由客户喜好的渠道、在适当的时机对客户进行销售或服务，这种个性化服务的策略将是国内商业银行在目前竞争优势的来源，同时也是以后与外资银行竞争必备的武器。如何建立个性化服务的数据仓库系统，差不多成为国内银行现时期最重要的课题。1.4 中国专业银行实施数据仓库的意义 从现在和今后专业银行所面临的市场环境来看，实施以客户为中心的数据仓库决策支持系统，

11、将对国内银行业现在和以后的进展产生深远的阻碍，且具有重大的战略意义。 首先是增强国内银行的竞争力，在激烈的竞争中维持获利。不管现在或是以后，银行将面临着一个激烈竞争的态势，必须对市场多变的需求作出及时响应，才能持续生存和进展。依照国外商业银行的经验，在金融市场开放环境中，银行竞争优势的来源是对每一位客户提供个性化服务。然而银行有数以千百万计的客户，如何将客户细分到以客户为中心的客户单一市场呢？也确实是如何设计大量个性化的产品或服务。银行只有通过以客户为中心（Customer Centric）的决策支持系统，才能使用科学的方法实现个性化服务。数据仓库系统存放每一位客户同银行往来的详细的历史交易明

12、细数据，对客户有统一的视图，能关心银行业务用户以科学的手段快速地分析、模拟和预测客户的个性化需求，进而设计符合客户需求的产品或服务。通过客户喜好的渠道完成交易，是增强专业银行竞争能力最有效的手段。 其次是提高专业银行整体运作与治理水平。数据仓库决策支持系统是专业银行治理模式进展的结果。随着各个历史时期经济金融环境的变化，专业银行的经营治理模式在演变，最初强调资产治理，是因为来源比较狭窄，要紧是活期存款，而工商企业的资金需求也较简单，采纳会计记帐设备提高生产力；到了六十年代，产生负债治理理论，强调要通过负债治理保持银行的流淌性，主动从市场、银行业来调剂资金余缺，开始引进会计系统计算机化；七十年代

13、末期，出现了资产负债综合治理理论，重点在资产负债风险治理、信贷风险治理、投资风险治理和外汇交易风险治理，MIS和分行自动化成为核心系统；九十年代，金融市场的开放，低利率和信用扩张刺激消费，零售业务成为银行的要紧业务和收入，客户对金融产品和服务的要求越来越高，银行业务部门和治理层首要关怀的问题在于如何降低风险和增加利润，以客户为中心的数据仓库决策支持系统能够快速地了解每一项交易、每一个帐号、每一个分销渠道、每一位客户的风险和利润，让银行作出正确的业务决策，及时响应每一位客户的现在和以后需要，提高整体运作和治理水平。 最后是增强专业银行应变能力。订立金融市场开放时刻表，让国内银行有充分的时刻预备来

14、提高自己的竞争实力，以应付外资银行在今后的竞争。人民银行会逐步放松管制政策和增加国内银行能够经营的业务范围，让国内银行熟悉市场经济的运作规则。当外资银行能够在国内经营零售业务时，假如国内银行差不多完全掌握客户的行为和需求，了解各种金融产品的的操作和治理，那么对国内银行的冲击就比较小。问题在于，国内银行如何在这么短的时刻内完成这么多的情况。假如没有足够的企业和客户信息，国内银行如何了解人民银行推出的新政策对银行的阻碍呢？又如何向人民银行建议新业务和服务呢？或是应付外资银行的竞争呢？企业级的数据仓库系统，存放银行各种主题，如客户、帐号、部门、金融产品、商业活动、位置、渠道和交易事件等，能够快速地分

15、析、模拟和预测新业务和新政策对银行整体的阻碍，让银行的领导及时制定策略和战术，应变突发的复杂的经营问题。1.5 中国专业银行实施数据仓库已具备的条件 近年来，中国专业银行在治理上已逐步形成了一套快速适应市场变化、满足用户需求的内部运行机制。概括来讲，中国专业银行实施个性化服务数据仓库系统具备了以下条件：企业有一支较高素养的治理人才和技术队伍，具备参与信息建设的丰富经验，为基础上实施提供了人才的保证。完善的信息技术基础设施，如ATM网络、电话银行、传真服务、呼叫中心、网上服务、POS系统、企业内部网、人行的电子清算系统等，确保交易信息源能及时的获得，数据仓库建成后使用方便。企业已建设或正在建设的

16、全行范围的业务系统，包括储蓄、定期、贷款、汇款、外汇、信用卡、支票、信用证、国际业务等，已积存了完整而且详细的客户交易记录，为数据仓库的启动提供了差不多的数据来源。多数的企业有实施先进治理制度和思想的经验，如成立市场部统筹银行的形象和市场定位的宣传与规划、经营效益与职员收入挂钩、服务时效的承诺、客户中意调查等，容易接纳新知识，对数据仓库的实施和推广应用起到积极的作用。第二章 数据仓库总体概述2.1 数据仓库基础数据仓库的概念最早将数据仓库提升到理论高度加以论述的是闻名学者、被尊称为数据仓库之父的Bill Inmon。他对数据仓库所下的定义是：数据仓库是面向主题的、集成的、稳定的、随时刻变化的数

17、据集合，用以支持治理决策的过程。由此可见，数据仓库是一个综合的解决方案，是对原始的操作数据进行各种处理并转换成有用信息的处理过程，它要紧用来关心有关主管部门作出更符合业务进展规率的决策。数据仓库的查询特点 针对生产系统的查询都特不简单，一般可不能使用表的连接操作，每次返回的数据量专门小，这类问题的特点是明白自己要找什么。数据库大小对系统性能阻碍不大。数据仓库系统的查询大都特不复杂，要紧有两种：一种以报表为主，从数据库中产生各种形式的业务报表。这种查询是预先规定好的（Pro-defined Query）。另一种查询是随机的、动态的查询（Ad-Hoc query），对查询的结果也是不能预料的。数据

18、仓库中的查询由于其复杂性，会经常使用多表的联接、累计、分类、排序等操作，这些大都要对整个表进行搜索（Full Table Scan）。每次查询返回的数据量一般专门大，关于动态查询而言，经常需要依照上次查询的结果进行进一步的搜索，那个过程称为数据挖掘（Data Mining）。依照这些特点，数据库大小对数据仓库的性能阻碍专门大。当数据仓库投入使用后，各业务部门的要求会越来越多，使得数据仓库中数据量的增长专门快。因此设计数据仓库时，系统的可扩展能力是必须考虑的重要因素之一。系统的并行处理能力是另一个要考虑的重要因素。因为查询的复杂性，每个查询将占用专门多的系统资源，假如系统资源不够、并行处理能力不

19、强，当多个用户同时发出事物请求时，响应时刻专门长令人无法容忍。数据仓库应单独建立。因为假如在生产系统上再实施数据仓库，由于数据仓库的查询常常占用专门多系统资源，将严峻阻碍生产系统的运行2.2 数据仓库技术概述 作为决策支持系统（DSS）的一种有效、可行的体系化解决方案，数据仓库包括了三个方面的内容：数据仓库技术（DATA WAREHOUSE，DW）、联机分析技术（ONLINE ANALYTICAL PROCESSING，OLAP）、数据挖掘技术（DATA MINING，DM）数据仓库技术（DW）需要以下数据库技术的支持：高性能数据库服务器 数据仓库的应用不同于传统数据库的OLTP应用。传统数据

20、库的应用是操作型的，而数据仓库的应用是分析型的，它需要高性能的DBMS核心的支持，以便较快地获得分析结果，这通常需数秒至数分钟的时刻。尽管比OLPT的响应时刻长一些，但由于分析型应用涉及的数据量大，查询要求复杂，因此对DBMS核心的性能要求更高，同时，DBMS必须具有良好的查询优化机制并行数据库技术 数据仓库中的数据量大，而且随着时刻的增长，新的数据还会不断进入，差不多成指数增长。数据仓库中的数据库通常是GB甚至TB级的，可谓是超大规模数据库（VLDB）。而并行数据库技术是存储治理VLDB，并提供对VLDB复杂查询处理的有效技术。数据库互操作技术 数据仓库中的数据大多来自企业或行业中业已运行的

21、OLTP数据库或外部的数据源。这些数据库常常是异构的，甚至是文件系统中的数据。数据仓库必须从这些异构数据源中定期抽取、转换和集成需要的数据，并把它们存入数据仓库中。因此，异构数据源之间的互访和互操作技术是必需的。联机分析（OLAP）技术 OLAP是一种实现多维分析的工具。简单地能够理解为它是位于数据仓库基础之上的一个多维立方体，它面向分析决策所关怀的综合性数据，以便从更高层次、多个维度来了解数据。它从逻辑上或物理上以多维方式从数据仓库里提取数据并组织数据，便于前端用户进行多维数据分析。 依照实现技术和存储数据的位置不同，又可分为多维数据库OLAP（MDB-OLAP）、基于关系数据库的OLAP（

22、ROLAP）和桌边形的OLAP（DESKTOP OLAP）。OLAP的目的是为了提高多维分析的速度。数据挖掘（DM）技术 数据挖掘是从数据仓库中发觉并提取隐藏在其中的信息的一种新技术。目的是关心决策者查找数据间潜在的关联，发觉被忽略的要素，这些信息对预测趋势和决策行为也许是十分有用的。 数据挖掘技术涉及数据库、人工智能、机器学习和统计分析等多种技术。数据挖掘技术使决策支持系统跨入了一个新时期。传统的决策支持系统通常是在某个假设的前提下通过数据查询和分析来验证或否定那个假设，而数据挖掘技术则能够自动分析数据，进行归纳性推理，从中发掘出潜在的模式，或产生联想，建立新的业务模型，关心决策者调整市场策

23、略，并找到正确的决策。总结 数据仓库技术是以数据仓库为基础、以OLAP和数据挖掘工具有手段的一整套可操作、可实施的方案。 建立一个数据仓库是一个比较复杂的过程，它需要精心的规划、渊博的知识、丰富的行业治理经验、极强的业务沟通能力和全面的IT要素。建立数据仓库要选择合适的数据仓库引擎、硬件平台、软件工具、应用程序和行业专业服务2.3 一个可扩展数据仓库的差不多框架操作数据操作数据/源数据 提取 过滤 净化 家庭关系识不 加载企业中央数据仓库复制与传播从属数据集市数据转换数据挖掘 分类 统计 人工智能 决策树信息存储工具业务用户 IT用户数据装载数据管理信息访问整个框架组成部分数据装载：把所谓的操

24、作数据和源数据利用一定的方法如提取、过滤、清理、家庭关系识不等，从生产关系中转换到中央数据仓库中。这种转换分为逻辑与物理两部分，即先依照业务问题建立数据库逻辑模型，然后在此基础上构造物理模型，将操作数据加载到物理表中。逻辑建模应基于要解决的业务问题进行，而不是基于目前的系统能提供什么数据进行。换而言之，数据仓库的动身点是解决业务问题，而不是单纯的一个信息转换与访问的工具。数据治理：这一部分是整个数据仓库的心脏，依照数据仓库的特点，它必须采纳一个具有并行处理性能的关系数据库治理系统。当数据仓库特不庞大时，为提高性能，可建立一些面向部门应用的数据集市，这些数据集市中的数据是从中央库中通过复制与传送

25、等手段拷贝过来的。信息访问：这一部分是前端工具，要紧提供给有关业务部门访问数据仓库中的信息使用，在这一部分一般都采纳图形界面、交互功能强的查询工具。2.4 一个数据仓库实施流程业务探究业务探究数据仓库咨询信息采集与挖掘逻辑建摸数据仓库结构设计数据仓库解决方案就绪知识探索建模物理模型设计数据仓库治理（过程与操作）数据转换C/S应用开发数据挖掘与分析数据仓库解决方案集成系统支持逻辑建模回忆物理建模回忆数据仓库调整数据仓库容量规划数据仓库审计数据仓库规划数据仓库设计与实施数据仓库支持与完善第三章 系统体系结构设计3.1系统设计指导思想制定合理的系统目标 在数据仓库建设的规划时期，不能求胜心切，应该制

26、定切合实际的系统目标，将扩大决策支持系统的数据源、改善用户获得信息的手段、为用户提供更加准确、可靠和全面的信息作为系统建设的全然动身点。循序渐进 在银行中使用数据仓库技术应本着循序渐进的原则进行。首先，在涉及某一类银行业务的单项应用领域开展，逐步进展到在涉及不同银行产品的几个单项应用领域开展，最后，再建立全行的数据仓库，将数据挖掘的范围扩展到多项银行活动。而不要一开始就希望把银行所有的数据都装载到数据仓库中，建立一个大规模的全银行范围内的数据仓库，如此会使银行隐入逻辑、行政和财政的困境而不能自拔。数据仓库不是越大越有效，初始时从建立较小的数据集市入手，一方面能够降低开发成本，缩短实现周期，另一

27、方面还有助于为以后数据仓库的全面启动培训IT人员。将相关信息集成到数据仓库中 80年代，美国曾做过一次对企业高层治理人员的问卷调查，以研究高层治理人员获得经营治理信息的途径。结果出人意料，治理人员的级不越高，他就越少通过内部数据来获得经营治理信息：大型企业的最高决策者95的经营治理信息来自企业外部。数据仓库系统不是简单的企业内部数据集成，而是为决策支持提供集成的数据源，因此，必须在关注企业内部数据的同时，将外部信息集成到数据仓库中；此外，与数据信息相比，图形、图像信息更为直观、易于理解，也应该集成到数据仓库中。当前目标与长远目标相结合 数据仓库建设不是一劳永逸的情况，应该树立长远的进展眼光。即

28、使在建立第一个面向特定部门或特定应用的数据集市时，也一定要保证现在使用的数据模型能够向今后所使用的全银行范围的数据存储扩展，以便于今后其他数据集市和战略性数据仓库的实现。必须在部门之间进行一致性的数据定义，并通过这些定义上的一致性协议使以后部门间的数据联合成为有效、可行。统计结果显示，数据仓库的数据量会以每年大约40的速率增长，由于在设计时期专门难准确地预料到系统初始和以后的负载情况，因此，应该在设计开始时考虑系统可伸缩性，以便能够容纳更多的客户、进程和存储，应尽可能准确地选择与用户需求相适应的系统并适当地留出余地，以免因系统过大而超出其适用范围，白白白费投资。不追求尽善尽美 进行数据仓库建设

29、时，在定义了系统目标、明确了关键的成功因素、合理操纵了数据仓库规模的基础上，就应该尽快行动起来，尽快猎取数据仓库投资带来的回报。当客户需要更多的信息和更详细的细节时，就应立即着手进行数据仓库的进展和扩建工作，不应拘泥于“完美”不放，应在不断修改的同时不断进展。以不阻碍正常业务为前提 由于数据仓库的查询是一种不规则的查询运作，在考虑数据仓库方案时，应以不防碍正常的银行业务处理为原则，可考虑把数据仓库的系统平台与生产系统的系统平台分隔开来，放在并行的主从服务器上分不运行。3.2 方案总体框架图方式：扫瞄器 对象：信息公布、网上报表、各级领导网上查询Web服务器多维分析数据挖掘Red Brick数据

30、仓库提取 过滤 条件 压缩 清理 家庭关系识不 数据加载信用卡对公系统储蓄系统方式：扫瞄器 对象：信息公布、网上报表、各级领导网上查询Web服务器多维分析数据挖掘Red Brick数据仓库提取 过滤 条件 压缩 清理 家庭关系识不 数据加载信用卡对公系统储蓄系统3.3 系统体系结构设计 为了实现各种功能，我们建议分不采纳了组件技术，WEB技术，OLAP技术，并在整个应用系统的体系结构上采纳了三层体系结构来进行设计。三层体系结构 针对河北省工商银行数据仓库系统，我们建议采纳的三层体系结构（BWD）,即数据库，WEB服务器，扫瞄器表现层。 早在1980年第一个数据库治理系统出现时，数据库的世纪就已

31、悄然开始。那时的观念是由应用程序操纵关系型数据库，这种数据处理的模式一般称为单层结构（1-Tier）。由于这种结构的数据库程序占用计算机资源较多，因此在80年代中期，数据库应用开始转向C/S结构，也确实是所谓的两层结构（2-Tier）。这种结构在近十年内不但得到了广泛的运用，而且相当成功。然而，在两层结构成功的背后却逐渐暴露出其构架上的缺陷。其中最明显的问题表现在应用程序的伸缩性和维护方面。例如，如何把数据库治理系统及其应用程序分散到十分缓慢的网络上，如何操纵数据的统一性和完整性；一旦应用程序有任何改动，维护人员就必须修改每一个客户端上的应用。 新一代数据库治理系统在传统的C/S结构中，增加了

32、应用程序服务器这种新的结构确实是所谓的nTier或Multi-Tier。应用程序服务器包括了统一的界面、业务规则的制定和数据处理逻辑的规定等等。多层应用服务技术同意分割应用程序，本地计算机上无须安装一套数据库工具，就能够在另一台机器上存取数据。同时它同意对业务规则和进程进行集中治理，并在整个网络上分发、实现进程负载的动态调节。在三层体系结构的第三层，即表现层，能够分为三大类，应用程序的客户端，扫瞄器，第三方厂商提供的前端表现工具。组件技术 在整个体系结构的设计中，我们注重了组件的应用，采纳积木法来进行设计。先构筑系统的总体框架，然后构造各个构件，并依次把构件安装到系统中去。 大部分应用系统，在

33、功能上有类似之处，因而利用软件的重用技术就能够把开发过程大大简化。在确定系统总体框架、构筑总体框架、构造构件以及修改构件等时期，都同一个叫做“软构件集合”的实体打交道，那个软构件集合也被称为“软件构件库”。在开发之初就应该着手预备那个软构件集合，比如能够搜集一些差不多开发的系统的总体设计、规范、局部流程以及某些人机界面、通用功能模块、简单开发工具。每开发出一个组件，都要把该组件及其功能、调用接口等信息放入软构件集合。我们采纳ActiveX来完成组件的设计。 在应用程序的客户端，扫瞄器上的ActiveX用dcom协议或CORBA协议与应用服务器进行通信，由Dcom Server或CORBA Se

34、rver负责向数据库提交请示，并取得相应数据。 WEB技术 WWW是Internet上进展最快、应用最广泛也最有用的超文本信息通信系统。服务器端通过Web Server能够提供各种服务；客户端能够通过扫瞄器（Browser）访问多种协议的多媒体信息，依据用户的需要组织和传递信息。人们能够通过WWW扫瞄器扫瞄和检索WWW站点的信息，这就使得信息的共享与交流越来越迅速、越来越方便，正因为如此，才成为了目前Internet/Intranet上信息公布与出版的重要途径。 WWW的最大特色在于为用户提供良好的信息查询界面。WWW把各种形式的信息，如文本、图像、声音、视频等无缝隙地集成在一起，用户只需要提

35、出自己的查询要求，具体到什么地点、如何取回信息都由WWW自动完成。通过扫瞄器，用户只需用鼠标点击显示屏上高亮度或有下划线的词语，就可将与该词语相关联的文件取回并显示在屏幕上，用户无需关怀这些文件存放在Internet/Intranet上的哪台计算机中。OLAP技术 OLAP是On-line Analytical Process（在线分析）的首字母缩写。OLAP是使用户能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真正反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或多维环境特定的查询或报表需求，它的技术核

36、心是“维”的概念，因此OLAP也被称为多维数据分析。3.4 系统方案的组成 该方案包括：可扩展的高性能的系统硬件平台；适合复杂数据分析处理的数据仓库引擎；数据抽取和转换工具；数据挖掘和分析工具；前端的商业智能工具IBM/RS6000地市网点 Intranet Web ServerNT Server： IISBrio.OnDemandFrontPage数据分析/挖掘数据仓库 操作系统：AIX4.3.3 数据库：Red Brick 软件：Datastage省行中心机 房IBM/RS6000地市网点 Intranet Web ServerNT Server： IISBrio.OnDemandFron

37、tPage数据分析/挖掘数据仓库 操作系统：AIX4.3.3 数据库：Red Brick 软件：Datastage省行中心机 房RAIDRAIDInformixInformix MetaCube 4.2Brio.Query Designer 操作系统：Windows NT/95/98 操作系统：Windows NT/95/98 扫瞄器：IE 、IIS软件：Brio.Insight 系统软硬件配置图3.4.1 数据仓库的操作系统平台和数据库平台我们选择IBM/AIX4.3.3作为数据仓库的操作系统平台。 IBM作为世界范围高质量服务的UNIX系统提供商，它推出的AIX操作系统要紧特征：同时支持3

38、2-位和64-位应用多线索内核；Pageable Kernel（动态可交换内核）；JFS（日志文件系统）；LVM（逻辑卷治理）；OS Level Mirroring（操作系统镜像）；SMIT（易用型治理工具，支持图形和Web）；Workload Manager（工作负荷治理）。我们选择Red Brick Warehouse作为数据仓库的数据库平台Red Brick Warehouse是一种专门的服务器技术，针对分析性数据集市解决方案、复杂查询、快速加载性能、高容量/高性能以及超大数据库的有效治理等方面进行了设计和优化。关键特色：Table Management Utility（TMU）完成所有

39、必要的任务，以确保数据就绪，同时还支持数据转化和清洗、插入数据行、检查参照完整性、更新所有相关索引和创建聚拢等功能，能够在单个加载过程中完成所有操作。Parallel Table Management Utility（PTMU）能用SMP并行机制来大大加速数据加载，并行机制来大大加速数据加载，并行地实现全面的参照完整性检查和创建索引。数据库的设计者加以选用STAR、TARGET、以及B-Tree索引来优化他们的特定处理环境。Auto Aggregate Load与TMU或PTMU共同使用，集成聚拢表并在常规的更新过程中生成。这种过程能够大大减少维护治理聚拢记录的成本。STARindex将多个表

40、连接起来，以实现最佳的查询响应能力和高性能的增量更新。STARindex采纳了Informix Red Brick Warehouse独特的高级算法，能够使每个索引占据更小的磁盘空间。STARjoin一种独特的多表连接算法技巧，针对star模式优化，能够为数据仓库查询的多维分析提供更快的反应速度。TARGETindex可不断调整的TARGETindex是一种位图索引技术，专门为以极快速度从大型的表中选择记录而设计。TARGETjoin同意用户在查询中对多个表并行地采纳多套限制，提供更加聚焦、更具目标的数据视图。RISQL Extensions 使商务用户能够方便地利用SQL表达常见的业务问题，

41、并进行包括排序和排列的多种形式比较。 Vista 一种聚拢治理系统，集成于服务器内，提供了全面的聚拢创建、治理和查询优化功能。它能够使频繁访问的数据更有强大的功能。Parallel on Demand防止过多的并行处理，使用户不必花费宝贵的时刻去优化单个的查询。Dynamic Incremental Optimization动态增量优化 在查询执行过程中，利用从即时结果获得信息，重新评估和调整查询和执行打算。SuperScan使多个用户利用同一个I/O流，大大减少大量用户和查询时的I/O操作。Table Segmentation表分区 能够对一个表或索引进行物理上的划分，使其分布在不同的设备或

42、文件系统上，同时保持单个表时在治理和可用性方面的所有优势。 Time-Cyclic Data Management 通过将旧的数据分区清除掉，用于存储新的数据分区，关心用户有效地处理时刻敏感的数据。 Informix Red Brick安全性功能 通过提供层次化，基于角色的安全性和丰富的日志来支持治理、优化和计费功能，方便了大规模数据库治理。 Query-Priority Concurrcy这种独特的多任务机制专门针对决策支持环境设计，从而使查询的执行在数据更新和加载操作中不受阻碍。 SQL Backtrack 提供全面和灵活的解决方案，以快速、简捷、安全地备份和恢复数据库。 Informix

43、 Red Brick Warehouse Administrator 一种图形化，基于Windows的工具，能够简化治理并提高效率。它为学习如何治理Informix Red Brick Warehouse提供方便的学习方法，并可引导有经验的治理员完成不常见的任务。同时，它还支持“what if”试验和增量模式进展 3.4.2 数据抽取、转换、和装载软件DtaStage要想实施有效的决策应用，应首先必须拥有能够从不同数据源中抽取数据、净化数据、并把数据装入数据仓库环境中的功能强大、技术成熟的工具。Informix Datastage是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自

44、动化，并将其输入目标数据库的集成工具。3.4.3 在线分析和数据挖掘工具MetaCubeMetaCube 能够：提供相关数据仓库中数据的直观、易于导航的多维视图；提供多数据库平台支持；提供一整套高级的治理工具集，简化数据仓库治理；提供全面的、基于Web的ROLAP解决方案。MetaCube的优势：在数据仓库实施中使用MetaCube 能为用户带来许多好处：增加数据仓库投资的收益和回报；提高企业的知识水平和生产力；关心决策着做出更明智的决策；更快速、更高效地把握不可预测的、面向主题的信息；实现分布式的决策。3.4.4 Web服务器 Windows NT提供了一些支持Internet和Intran

45、et出版和访问服务的工具，例如IIS（Internet Information Server、即Internet信息服务器），IE等。 Internet上的核心网络服务之一是World Wide Web（WWW或Web），它为用户提供图形的，易于扫瞄的界面，使用户能够确定Internet上信息的位置，这些网面连在一起组成了一个信息网。 IIS为基于Windows NT的计算机了提供了Internet上公布资源和服务的能力，使用IIS可进行公布服务，例如超文本网页，客户机/服务器应用程序等。使用超文本传输协议（HTTP），文件传输协议（FTP）在Internet和Intranet上提供公布信息和

46、服务。使用这些网络服务，能够公布网页，交互式应用程序，客户目录，在WWW上读取数据库。3.4.5 前端分析工具：Brio产品 在三层结构中的表现层，能够利用第三方厂商提供的产品实现简便，灵活的查询，报表生成功能，并利用这些工具，对数据库中的信息进行分析和查询。Brio是提供的前端表示工具，它们桌面OLAP分析的建模工具，OLAP分析工具，及对库的查询，报表的生成。Brio企业版的服务器：OnDemand服务器是一个网络应用服务器。网上进行查询、集中治理客户、安全性和“适应性报表”（Adaptive Reports）。同意使用Web的用户方便并安全的访问存在企业业务数据库、数据集市和数据仓库中的

47、商业信息Brio的Client/Server客户端工具：BrioQuery Desigener是查询、分析及报表工具。具有数据库治理功能、安全性、审计和“存储仓库”（Repository）设置（供信息技术部门使用）Brio的Web/Intranet客户端工具：Brio.Insight是基于Web扫瞄器的查询、分析及报表工具。依照报表信息和用户安全的需要而具有不同层次的功能。 3.4.6 编程工具 Deliphi自从Borland推出了Deliphi之后，深受程序设计人员的青睐。Deliphi的每一个新版本都给用户提供了更新、更好的功能，。例如Deliphi1.0版本给用户提供了一种全新的可视化

48、编程环境，使用户能快速开发Windows3.1的应用程序。Deliphi2.0中增加了数据模块（DataModule）等多种高效的数据重用功能。现在每三代版本Deliphi3，4多层结构的32位快速开发工具又给开发人员带来了全新的多层结构概念，并推出了开发多层结构所需的技术和工具集。MIDAS是开发服务器级的应用程序，即体系结构中的应用服务器和表现层的理想工具之一3.4.7 网页设计工具 InterDev是为有一定编程能力的程序人员设计的网页设计软件。它提供端到端的调试功能，现场设计和治理工具，数据库连接工具，编程资源库，并可方便引入用ActiveX组件等功能。 Frontpage是美化页面的

49、工具 Photoshop用来完成图片的设计第四章 银行数据仓库的建设 数据仓库系统与传统的OLTP系统有专门大的区不，因此需要丰富的实践经验才能保证系统的成功实施。北京天恩科技有限公司作为专门从事银行业务信息化的企业，通过多年来对银行业务的深入研究，以其雄厚的技术实力为客户提供从系统平台、网络方案到银行应用系统全套的解决方案。天恩科技公司通过多年的银行应用软件的开发，实现了对公、储蓄及信用卡帐目的治理，并建立一套完善的办公自动化系统、风险监督系统以及其他辅助子系统。利用银行系统项目开发工作中积存了许多宝贵的经验，同时结合国外先进的数据仓库的实施方法论和数据仓库的完整框架结构，作为国内银行实施数

50、据仓库的治理机制与技术指南。4.1 面向应用的OLTP系统与面向主题的OLAP系统 对银行而言，一般都针对其各项业务开发了相应的OLTP系统，用来解决银行日常的生产自动化问题，如储蓄系统、信用卡系统等。这些系统差不多上解决专门的业务问题数据仓库则是面向主题的，对银行来讲，客户是一个永恒的话题，要研究客户的消费行为和心理，对客户进行各种分类，如哪些客户的信用好，哪些客户的风险大，等等诸如此类的问题。另外，银行的产品也是一个值得研究的主题，据此来分析这些产品的市场定位等 从数据库结构来看，两者的区不能够用下图来表示。生产系统生产系统贷款储蓄信用卡面向应用面向主题数据仓库系统客户产品分销渠道4.2个

51、性化服务的定义 我们首先对个性化服务进行定义，这种定义能够从客户和银行的两个方面的观点来看：对公和对私客户认为个性化服务是：银行明白我（who）在什么时刻(when)，需要什么产品或服务(what)，以我能够同意的价格(how much)，经由我喜爱的分销渠道(where)，对我提供销售。银行的定义是：以有竞争性的产品或服务(what)，在适当的时刻(when)，通过适当的分销渠道(where)，对信用好风险低的客户(who)，以合理的价格(how much)和利润(profitable)完成销售。两者都在精打细算的前提下，以达成自己的需求和目标。然而银行现有的信息技术和体系结构，差不多上以帐

52、号为中心的客户档案和历史的交易明细，在设计时考虑以最快的速度处理业务流程的交易，因此不同业务的生产系统只储存与此应用相关的交易明细数据，其他应用的历史数据都已备份在流带或存储在不同的生产系统中，无法满足以分析为向导的个性化服务的业务需要。为不阻碍银行现有以业务为流程为向导的生产系统的处理速度，需要建立一套全新的数据仓库信息技术才能满足以分析为向导的个性化服务的业务需求，达成上述客户和银行的各自要求。4.3 业务探究/业务发掘业务需求发掘是个复杂的咨询服务过程，对银行有极大的业务价值，它将促使银行确定和评价相关项目的优先级程度以及投资核算的成本，更清晰的了解自身现有什么样的数据信息、数据质量、具

53、有什么样的IT基础架构等等。了解如何实施数据仓库解决方案实施银行的CRM打算并达到什么样的结果，这些结果将是能够定量描述的，能够在规定的时刻内达到。业务需求发掘过程将由天恩科技有限公司金融业资深顾问负责，在银行信用卡部、市场部、规划部、科技部等相关业务部门的紧密配合下完成。最终业务需求发掘报告将确定银行多种业务中目前最重要的目标和达到这些目标需要的信息。 4.4 建立市场客户信息基础（MCIF，Marketing Customer Information Foundation）。MCIF是整个数据仓库应用的基础。我们将现有业务系统中有关客户的交易数据，加载到中央的市场客户信息库，建立以客户为中

54、心的数据仓库基础环境。现有银行业务系统的设计差不多上以产品为中心，客户与银行的往来业务不同，需要使用不同的帐号；另外银行的业务系统随时刻的演变，会增加新系统和修改旧系统，数据存放在不同的磁盘上；再者由于使用不同的数据库系统在不同的硬件平台和操作系统上运行，造成字段的名称和格式代码都不一致，数据的冗余性专门高。现有这些情况，是现有生产系统无法提供业务用户进行以客户为中心数据分析的要紧缘故。在市场客户信息库建立完成后，银行的各业务部门将对全行客户有统一的视图（Single Version of Truth），从而能够以客户为单位分析银行的业务情况，明白客户的人数，客户与银行往来的情况、客户的差不多

55、分类、了解客户的差不多需求，或其他和客户有关的复杂的查询与报表，如趋势分析、集群分析等。这一时期的关键是：逻辑数据模型和Red Brick数据库治理系统，建立客户市场营销信息文件，提供动态查询等。4.5 利用数据仓库实现的差不多功能模块依照北京天恩科技有限公司在银行业多年的实践经验，我们建议河北省工商行银行各级领导注意考虑在以下几种功能模块：报表查询与分析：调用用户公布到网上的报表模板，查询所需报表，同时，还能将已生成的报表图示化，对报表数据进行图示分析。报表查询与分析方法提供的是较为宏观的分析方法。指标查询分析：指标查询与分析方法是以指标方式进行的查询分析方法，与报表查询查询方式不同，指标查

56、询分析提供的是较为微观的分析方法，每次关注的是一个或几个指标的情况。 地理方式指标查询：该模块提供一个生动直观的地图界面，在地图界面上，用户能够选择相应的地区，该地区的经营指标，同时，还能进行图示化的对比分析、构成分析、时刻序列分析等分析。该模块能通过WEB扫瞄器从网上调用。 指标采摘分析：该模块提供指标之间的关联查询与分析，用户在查询到某条指标时，能够通过后台的指标关系服务器，联想也与该指标有关联的其他指标。财务分析 财务比率分析：列出所有财务比率，并能够通过某项财务比率指标，进行OLAP钻取，查询到阻碍该比率指标的其财务指标。 资产负债结构分析：银行对自己的资金从资产和负债两个方面进行统一

57、的协调和治理，实现两者在期限和利率上的最佳组合，以确保资金的安全性和流淌性，并在此基础追求最大化利润。 利用在线分析（OLAP）技术和产品建立资产负债分析的模型，供银行有关业务人员进行多维的资产负债结构分析。具体讲，利用该模块，业务人员可进行如下分析：资产的总体结构分析；负债的总体结构分析；某类资产如贷款的地区结构、行业结构、品种结构、期限结构分析；某类贷款如不良代款（次级、可疑、损失贷款）的地区结构、行业结构、期限结构；某类负债如存款的地区结构、行业结构、品种结构、期限结构分析；某类存款如定期存款的地区结构、行业结构、期限结构分析等等。 存款结构分析：采纳OLAP技术，分析银行各项存款的分布

58、情况，如存款行业分布，存款期限分布，存款利率分布等。 现金收支分布情况分析：采纳OLAP技术，分析银行现金收支分布情况。 贷款结构分析：采纳OLAP技术，分析银行各项贷款的分布情况。如贷款行业分布，贷款性质分布，贷款期限分布等 期限匹配的资产负债差额分析：将所有资产按到期日的长短由少到多排列，按加权平均（比如以资产数额作为权重）的方法计算出资产的平均到期日。然后以同样方法计算出负债的平均到期日。两者之间的差额称为期限匹配形成的差额。若那个差额为正数，即资产的平均到期日大于负债的平均到期日，讲明银行的资金应用过多了，到时侯可能出现支付能力不足的情况，而银行却不能依靠贷款的收回来支付到期的负债，只

59、能想方法来查找新的资金来源或调整负债结构，现在银行的经营就会出现比较大的风险；若差额为负数，即资产的平均到期日小于负债的平均到期日，讲明银行资金运用得不足，可能会出现资金的闲置，阻碍银行的盈利。因此，银行应尽可能使得此差额接近于零，如此既能保证资金的流淌性，又能保持较高的盈利。该模块可自动计算该差额，并要求有关分析人员填定一份固定格式分析报告，对差额产生的缘故、可能造成的后果，以及解决的措施，作出简要的分析。从而为有关决策提供依据。决策支持 那个地点提供所需的统计分析和决策分析功能，为银行各级决策人员提供决策支持。决策支持所要求的功能。 聚类分析：该模块可供银行内部有人关人员进行银行各经营要素

60、的聚类分析，如能够依照几个重要指标，如利润总额、存款余额、贷款余额对所辖各支行运行进行分类。 相关性分析：该模块可供银行内部有关人员进行银行各经营要素间的相关性分析，如银行各类资产总额与利润总额之间相关性，各类贷款总额与利息收入总额的相关性，利率水平与存贷款总量的相关性，揭示其内在联动关系，从而为银行的有关决策提供依据。 预测分析：该系统可供银行有关人员对银行以后的经营状况进行预测，从而为银行的有关决策提供依据。贷款需求预测：预测以后一段时刻的贷款需求量情况。资金筹措能力预测：预测以后一段时刻的存款余额情况。资金需求情况预测：预测以后的段时刻的资金需求情况。今日动态那个地点列出银行每日治理中特