河北省工行数据仓库方案

1、河北省工商银行数据仓库系统建设方案建议书北京世纪明日网网络科技有限限公司二零零零年三月月河北省工商银行行数据仓库系系统建设方案案目 录前言数据仓库发展史史竞争日趋激烈的的金融市场中国专业银行面面临的挑战中国专业银行实实施数据仓库库的意义中国专业银行实实施数据仓库库已具备的条条件数据仓库总体概概述 2.1 数据仓库基基础 2.2 数据仓库技技术概述 2.3 一个可扩展展数据仓库的的基本框架 2.4 一个数据仓仓库实施流程程系统体系结构设设计 3.1系系统设计指导导思想 3.2 方案总体框框架图 3.3 系统体系结结构设计 3.4 系统方案的的组成第四章 银行数数据仓库的建建设 4.1 面向应用的

2、的OLTP系系统和面向主主题的OLAAP系统 4.2 个性化服务务的定义 4.3 业务探索/业务发掘 4.4 建立市场客客户信息基础础 4.5 利用数据仓仓库实现的基基本模块 4.6 更高层次的的开发应用 4.7 综合信息发发布第五章 方案实实施建议 5.1 开发模式 5.2 组织机构 5.3 项目实施进进程 5.4 项目进度计计划第六章 产品报报价 6.1 软件产品报报价 6.2 硬件产品报报价 6.3 项目开发实实施费用第一章 前言言1.1 数据仓仓库发展史 相对于于许多行业而而言，信息处处理技术还是是一门新兴的的技术，但是是其发展速度度却几乎是最最快的。随着着计算机硬件件技术的飞速速发展

3、，软件件技术也是日日新月异。许多企业和机构构已经建立了了相对完善的的OLTP（联联机事物处理理）系统。随随着时间的推推移，这些系系统中积累了了大量的历史史数据，其中中蕴含了许多多重要的信息息。通过对这这些历史数据据的分析和综综合处理，可可以找到那些些对企业发展展至关重要的的业务信息，从从而帮助有关关主管和业务务部门作出更更加合理的决决策。70年年代中期出现现的MIS（管管理信息系统统）实际上就就是在这种背背景下产生的的。但MIS具有极极大的局限性性。首先，它它是按预先定定义好的流程程对数据作相相应的处理，因因此只能对预预先描述好的的业务问题进进行回答。其其次由于开发发工具的限制制，对它的修修改

4、也不大方方便，特别是是业务流程发发生变化，模模型需要调整整，这种修改改更加困难。最最后数据的不不断积累和数数据量迅速增增加，普通的的商用数据库库（即OLTTP数据库）难难以处理，系系统的扩展存存在很大限制制。在这种情况下MMIS逐步发发展到了数据据仓库。世界界上最早的数数据仓库是NNCR公司为为全美、也是是全世界最大大的连锁超市市集团Wall*Martt在19811年建立的，经经过二十年的的发展，该系系统已经非常常完善，数据据量扩展到227TB，成成为迄今为止止世界上最大大的数据仓库库。 1.2 竞争日日趋激烈的金金融市场 根据TTower Groupp公司19998年10月月的研究，1199

5、9年全全球金融机构构将投资544亿美金实施施数据仓库系系统，其中欧欧美地区占八八成的市场份份额，其次为为亚太地区，在在美国实施数数据仓库的单单位以大型银银行为主，基基础上启动的的资金为五百百万美金以上上；19988年在全球前前500家银银行中已经有有近九十家的的数据仓库数数据量超过5500GB，预预测在19999年将有1150家，22000年有有260家；数据仓库是是金融机构实实现客户关系系管理（Cuustomeer Rellationnship Managgementt）的核心技技术，也是金金融业竞争优优势的来源，主主要的应用业业务部门为信信用卡部、信信贷部、市场场部和零售业业务部等，应应用

6、领域是以以客户为中心心的分销渠道道管理、客户户利润分析、客客户关系优化化和风险控管管。 造成欧欧美地区金融融机构采用数数据仓库技术术，提供以客客户为中心的的个性化服务务（One to Onne Marrketinng）的背景景原因如下：金融服务市场的的开放竞争。如如AT&T电电话公司的电电话卡可以透透支打电话、福福特汽车公司司的购车信用用分期付款、零零售业的透支支分会员卡和和贵宾卡、信信用卡公司发发行信用卡、EESD建立AATM网、GGE公司的贷贷款服务，保保险公司的储储蓄型保险单单和保单贷款款等，允许银银行业的并购购，影响银行行的业务收入入和利润。上述的开放市场场，业者会推推出多样化的的产品

7、和服务务，让顾客有有更多的比较较和选择的机机会。造成顾顾客购买的因因素，除了价价格以外，还还应考虑方便便性、可用性性等，形成个个性化服务的的需求。银行行需要更进一一步了解客户户，才能满足足客户需求，进进而留住客户户，增加利润润。信息技术（如海海量并行处理理的技术）的的突飞猛进，使使得快速地分分析客户详细细的历史交易易数据成为可可能，从而可可以更好地了了解、模拟和和预测客户的的消费行为、偏偏好等。另外外移动通信技技术的进步，让让客户访问信信息服务的方方式不受时空空的限制。这这些技术让银银行业务用户户可以及时响响应各种突发发的复杂的经经营问题。银行现有的管理理制度和业务务流程，都是是以产品（PPr

8、oducct）为中心心来进行客户户服务，不同同的帐号信息息分散在不同同的计算机系系统内，缺乏乏对客户统一一的全面了解解。现有的生生产系统是银银行营运和客客户的基础设设施，无法提提供多用户对对大量历史数数据同时进行行突发的复杂杂的决策分析析，所以建立立另外一套以以客户为中心心的数据仓库库决策支持系系统是实现个个性化服务的的必要手段。1.3 中国专专业银行面临临的挑战 19884年人民银银行成为中央央银行的角色色，成立了四四家国有专业业银行：工商商银行、农业业银行、中国国银行和建设设银行。后来来又成立交通通银行、中信信实业银行、光光大银行等十十一家股份制制商业银行。11996年改改组城市信用用合用

9、社建立立股份制城市市商业银行。国国有专业银行行长期在计划划体制下运转转，其经营行行为和经营意意识带有很强强的行政色彩彩，正向商业业银行化进行行过渡。随着着经济的增长长和国民生活活水平的提高高，社会保障障制度的改革革，政府扩大大内需的政策策等，国有专专业银行和股股份制商业银银行的零售业业务，如住房房贷款、退休休养老金、消消费贷款和信信用卡业务等等，将成为银银行业务和利利润的增长点点。如何争取取零售业务的的市场机会，发发掘信用好风风险低的客户户已成为银行行关注的焦点点。在未来零零售业务的迅迅猛发展，改改善银行的获获利能力，将将加速国有专专业银行转型型成为商业银银行的进程。 在现阶阶段，主要是是国有

10、专业银银行和股份制制商业银行、邮邮政银行之间间的竞争，其其他服务业和和外资银行尚尚未构成全面面性的威胁。虽虽然，国有专专业银行具有有覆盖全国营营业网点的优优势，但受历历史包袱的影影响，期待扩扩大零售业务务，以提高获获利能力；股股份制商业银银行规模相对对小，只能提提供地区性的的服务，零售售业务是主要要的收入来源源，从国有专专业银行和邮邮政银行中争争取更多的新新客户，将是是主要的经营营策略；邮政政银行的优势势在营业网点点、客户基础础和更多的增增值服务，竞竞争的策略是是留住有利润润的客户和争争取新客户，所所以邮政银行行也将是现阶阶段国有专业业银行和股份份制商业银行行的重要竞争争对手。 19999年1

11、1月月15日，中中国与美国签签署加入世界界贸易组织的的双边协议，中中国将自加入入世界贸易组组织起，逐步步开放金融市市场，入世两两年后开放外外资银行经营营对公业务，五五年后开放对对私业务和设设立营业网点点。在可预见见的未来，国国内的金融机机构将同世界界级的外资银银行发生面对对面的激烈竞竞争。届时，客客户有更多的的选择，竞争争会更加的激激烈。世界级级的外资银行行为加速取得得和扩大在中中国的市场份份额，将引进进其在国外实实施多年的以以客户为中心心的数据仓库库决策支持系系统，推出更更多样化的金金融产品和服服务来争取高高利润的客户户。因此，了了解客户需求求和客户对银银行的利润贡贡献度、提供供有竞争性的的

12、产品或服务务、经由客户户喜好的渠道道、在适当的的时机对客户户进行销售或或服务，这种种个性化服务务的策略将是是国内商业银银行在目前竞竞争优势的来来源，同时也也是未来与外外资银行竞争争必备的武器器。如何建立立个性化服务务的数据仓库库系统，已经经成为国内银银行现阶段最最重要的课题题。1.4 中国专专业银行实施施数据仓库的的意义 从现在在和将来专业业银行所面临临的市场环境境来看，实施施以客户为中中心的数据仓仓库决策支持持系统，将对对国内银行业业现在和未来来的发展产生生深远的影响响，且具有重重大的战略意意义。 首先是是增强国内银银行的竞争力力，在激烈的的竞争中维持持获利。无论论现在或是未未来，银行将将面

13、临着一个个激烈竞争的的态势，必须须对市场多变变的需求作出出及时响应，才才能持续生存存和发展。根根据国外商业业银行的经验验，在金融市市场开放环境境中，银行竞竞争优势的来来源是对每一一位客户提供供个性化服务务。然而银行行有数以千百百万计的客户户，如何将客客户细分到以以客户为中心心的客户单一一市场呢？也也就是如何设设计大量个性性化的产品或或服务。银行行只有通过以以客户为中心心（Custtomer Centrric）的决决策支持系统统，才能使用用科学的方法法实现个性化化服务。数据据仓库系统存存放每一位客客户同银行往往来的详细的的历史交易明明细数据，对对客户有统一一的视图，能能帮助银行业业务用户以科科学

14、的手段快快速地分析、模模拟和预测客客户的个性化化需求，进而而设计符合客客户需求的产产品或服务。通通过客户喜好好的渠道完成成交易，是增增强专业银行行竞争能力最最有效的手段段。 其次是是提高专业银银行整体运作作与管理水平平。数据仓库库决策支持系系统是专业银银行管理模式式发展的结果果。随着各个个历史时期经经济金融环境境的变化，专专业银行的经经营管理模式式在演变，最最初强调资产产管理，是因因为来源比较较狭窄，主要要是活期存款款，而工商企企业的资金需需求也较简单单，采用会计计记帐设备提提高生产力；到了六十年年代，产生负负债管理理论论，强调要通通过负债管理理保持银行的的流动性，主主动从市场、银银行业来调剂

15、剂资金余缺，开开始引进会计计系统计算机机化；七十年年代末期，出出现了资产负负债综合管理理理论，重点点在资产负债债风险管理、信信贷风险管理理、投资风险险管理和外汇汇交易风险管管理，MISS和分行自动动化成为核心心系统；九十十年代，金融融市场的开放放，低利率和和信用扩张刺刺激消费，零零售业务成为为银行的主要要业务和收入入，客户对金金融产品和服服务的要求越越来越高，银银行业务部门门和管理层首首要关心的问问题在于如何何降低风险和和增加利润，以以客户为中心心的数据仓库库决策支持系系统可以快速速地了解每一一项交易、每每一个帐号、每每一个分销渠渠道、每一位位客户的风险险和利润，让让银行作出正正确的业务决决策

16、，及时响响应每一位客客户的现在和和未来需要，提提高整体运作作和管理水平平。 最后是是增强专业银银行应变能力力。订立金融融市场开放时时间表，让国国内银行有充充分的时间准准备来提高自自己的竞争实实力，以应付付外资银行在在将来的竞争争。人民银行行会逐步放松松管制政策和和增加国内银银行可以经营营的业务范围围，让国内银银行熟悉市场场经济的运作作规则。当外外资银行可以以在国内经营营零售业务时时，如果国内内银行已经完完全掌握客户户的行为和需需求，了解各各种金融产品品的的操作和和管理，那么么对国内银行行的冲击就比比较小。问题题在于，国内内银行如何在在这么短的时时间内完成这这么多的事情情。如果没有有足够的企业业

17、和客户信息息，国内银行行如何了解人人民银行推出出的新政策对对银行的影响响呢？又如何何向人民银行行建议新业务务和服务呢？或是对付外外资银行的竞竞争呢？企业业级的数据仓仓库系统，存存放银行各种种主题，如客客户、帐号、部部门、金融产产品、商业活活动、位置、渠渠道和交易事事件等，可以以快速地分析析、模拟和预预测新业务和和新政策对银银行整体的影影响，让银行行的领导及时时制定策略和和战术，应变变突发的复杂杂的经营问题题。1.5 中国专专业银行实施施数据仓库已已具备的条件件 近年来来，中国专业业银行在管理理上已逐步形形成了一套快快速适应市场场变化、满足足用户需求的的内部运行机机制。概括来来讲，中国专专业银行

18、实施施个性化服务务数据仓库系系统具备了以以下条件：企业有一支较高高素质的管理理人才和技术术队伍，具备备参与信息建建设的丰富经经验，为基础础上实施提供供了人才的保保证。完善的信息技术术基础设施，如如ATM网络络、电话银行行、传真服务务、呼叫中心心、网上服务务、POS系系统、企业内内部网、人行行的电子清算算系统等，确确保交易信息息源能及时的的获得，数据据仓库建成后后使用方便。企业已建设或正正在建设的全全行范围的业业务系统，包包括储蓄、定定期、贷款、汇汇款、外汇、信信用卡、支票票、信用证、国国际业务等，已已积累了完整整而且详细的的客户交易记记录，为数据据仓库的启动动提供了基本本的数据来源源。多数的企

19、业有实实施先进管理理制度和思想想的经验，如如成立市场部部统筹银行的的形象和市场场定位的宣传传与规划、经经营效益与员员工收入挂钩钩、服务时效效的承诺、客客户满意调查查等，容易接接纳新知识，对对数据仓库的的实施和推广广应用起到积积极的作用。第二章 数据据仓库总体概概述2.1 数据仓仓库基础数据仓库的概念念最早将数据仓库库提升到理论论高度加以论论述的是著名名学者、被尊尊称为数据仓仓库之父的BBill IInmon。他他对数据仓库库所下的定义义是：数据仓仓库是面向主主题的、集成成的、稳定的的、随时间变变化的数据集集合，用以支支持管理决策策的过程。由由此可见，数数据仓库是一一个综合的解解决方案，是是对原

20、始的操操作数据进行行各种处理并并转换成有用用信息的处理理过程，它主主要用来帮助助有关主管部部门作出更符符合业务发展展规率的决策策。数据仓库的查询询特点 针对生生产系统的查查询都非常简简单，一般不不会使用表的的连接操作，每每次返回的数数据量很小，这这类问题的特特点是知道自自己要找什么么。数据库大大小对系统性性能影响不大大。数据仓库系统的的查询大都非非常复杂，主主要有两种：一种以报表表为主，从数数据库中产生生各种形式的的业务报表。这这种查询是预预先规定好的的（Pro-definned Quuery）。另另一种查询是是随机的、动动态的查询（AAd-Hocc querry），对查查询的结果也也是不能预

21、料料的。数据仓库中的查查询由于其复复杂性，会经经常使用多表表的联接、累累计、分类、排排序等操作，这这些大都要对对整个表进行行搜索（Fuull Taable SScan）。每每次查询返回回的数据量一一般很大，对对于动态查询询而言，经常常需要根据上上次查询的结结果进行进一一步的搜索，这这个过程称为为数据挖掘（DData MMiningg）。根据这些特点，数数据库大小对对数据仓库的的性能影响很很大。当数据据仓库投入使使用后，各业业务部门的要要求会越来越越多，使得数数据仓库中数数据量的增长长很快。因此此设计数据仓仓库时，系统统的可扩展能能力是必须考考虑的重要因因素之一。系统的并行处理理能力是另一一个要

22、考虑的的重要因素。因因为查询的复复杂性，每个个查询将占用用很多的系统统资源，如果果系统资源不不够、并行处处理能力不强强，当多个用用户同时发出出事物请求时时，响应时间间很长令人无无法容忍。数据仓库应单独独建立。因为为如果在生产产系统上再实实施数据仓库库，由于数据据仓库的查询询常常占用很很多系统资源源，将严重影影响生产系统统的运行2.2 数据仓仓库技术概述述 作为决决策支持系统统（DSS）的的一种有效、可可行的体系化化解决方案，数数据仓库包括括了三个方面面的内容：数数据仓库技术术（DATAA WAREEHOUSEE，DW）、联联机分析技术术（ONLLINE AANALYTTICAL PROCEES

23、SINGG，OLAPP）、数据挖挖掘技术（DDATA MMININGG，DM）数据仓库技术（DDW）需要以以下数据库技技术的支持：高性能数据据库服务器 数据据仓库的应用用不同于传统统数据库的OOLTP应用用。传统数据据库的应用是是操作型的，而而数据仓库的的应用是分析析型的，它需需要高性能的的DBMS核核心的支持，以以便较快地获获得分析结果果，这通常需需数秒至数分分钟的时间。虽虽然比OLPPT的响应时时间长一些，但但由于分析型型应用涉及的的数据量大，查查询要求复杂杂，因此对DDBMS核心心的性能要求求更高，同时时，DBMSS必须具有良良好的查询优优化机制并行行数据库技术术 数据据仓库中的数数据量

24、大，而而且随着时间间的增长，新新的数据还会会不断进入，基基本成指数增增长。数据仓仓库中的数据据库通常是GGB甚至TBB级的，可谓谓是超大规模模数据库（VVLDB）。而而并行数据库库技术是存储储管理VLDDB，并提供供对VLDBB复杂查询处处理的有效技技术。数据库库互操作技术术 数据据仓库中的数数据大多来自自企业或行业业中业已运行行的OLTPP数据库或外外部的数据源源。这些数据据库常常是异异构的，甚至至是文件系统统中的数据。数数据仓库必须须从这些异构构数据源中定定期抽取、转转换和集成需需要的数据，并并把它们存入入数据仓库中中。因此，异异构数据源之之间的互访和和互操作技术术是必需的。联机分析（OL

25、LAP）技术术 OLAP是是一种实现多多维分析的工工具。简单地地可以理解为为它是位于数数据仓库基础础之上的一个个多维立方体体，它面向分分析决策所关关心的综合性性数据，以便便从更高层次次、多个维度度来了解数据据。它从逻辑辑上或物理上上以多维方式式从数据仓库库里提取数据据并组织数据据，便于前端端用户进行多多维数据分析析。 根据实现技技术和存储数数据的位置不不同，又可分分为多维数据据库OLAPP（MDB-OLAP）、基基于关系数据据库的OLAAP（ROLLAP）和桌桌边形的OLLAP（DEESKTOPP OLAPP）。OLAAP的目的是是为了提高多多维分析的速速度。数据挖掘（DMM）技术 数据据挖掘

26、是从数数据仓库中发发现并提取隐隐藏在其中的的信息的一种种新技术。目目的是帮助决决策者寻找数数据间潜在的的关联，发现现被忽略的要要素，这些信信息对预测趋趋势和决策行行为也许是十十分有用的。 数据挖掘技术涉及数据库、人工智能、机器学习和统计分析等多种技术。数据挖掘技术使决策支持系统跨入了一个新阶段。传统的决策支持系统通常是在某个假设的前提下通过数据查询和分析来验证或否定这个假设，而数据挖掘技术则能够自动分析数据，进行归纳性推理，从中发掘出潜在的模式，或产生联想，建立新的业务模型，帮助决策者调整市场策略，并找到正确的决策。总结 数据仓仓库技术是以以数据仓库为为基础、以OOLAP和数数据挖掘工具具有手

27、段的一一整套可操作作、可实施的的方案。 建立一一个数据仓库库是一个比较较复杂的过程程，它需要精精心的规划、渊渊博的知识、丰丰富的行业管管理经验、极极强的业务沟沟通能力和全全面的IT要要素。建立数数据仓库要选选择合适的数数据仓库引擎擎、硬件平台台、软件工具具、应用程序序和行业专业业服务2.3 一个可可扩展数据仓仓库的基本框框架操作数据操作数据/源数据 提取 过滤 净化 家庭关系识别 加载企业中央数据仓库复制与传播从属数据集市数据转换数据挖掘 分类 统计 人工智能 决策树信息存储工具业务用户 IT用户数据装载数据管理信息访问整个框架组成部部分数据装载：把所所谓的操作数数据和源数据据利用一定的的方法

28、如提取取、过滤、清清理、家庭关关系识别等，从从生产关系中中转换到中央央数据仓库中中。这种转换换分为逻辑与与物理两部分分，即先根据据业务问题建建立数据库逻逻辑模型，然然后在此基础础上构造物理理模型，将操操作数据加载载到物理表中中。逻辑建模模应基于要解解决的业务问问题进行，而而不是基于目目前的系统能能提供什么数数据进行。换换而言之，数数据仓库的出出发点是解决决业务问题，而而不是单纯的的一个信息转转换与访问的的工具。数据管理：这一一部分是整个个数据仓库的的心脏，根据据数据仓库的的特点，它必必须采用一个个具有并行处处理性能的关关系数据库管管理系统。当当数据仓库非非常庞大时，为为提高性能，可可建立一些面

29、面向部门应用用的数据集市市，这些数据据集市中的数数据是从中央央库中通过复复制与传送等等手段拷贝过过来的。信息访问：这一一部分是前端端工具，主要要提供给有关关业务部门访访问数据仓库库中的信息使使用，在这一一部分一般都都采用图形界界面、交互功功能强的查询询工具。2.4 一个数数据仓库实施施流程业务探索业务探索数据仓库咨询信息采集与挖掘逻辑建摸数据仓库结构设计数据仓库解决方案就绪知识探索建模物理模型设计数据仓库管理（过程与操作）数据转换C/S应用开发数据挖掘与分析数据仓库解决方案集成系统支持逻辑建模回顾物理建模回顾数据仓库调整数据仓库容量规划数据仓库审计数据仓库规划数据仓库设计与实施数据仓库支持与完

30、善第三章 系统体体系结构设计计3.1系统设计计指导思想制定合理的系统统目标 在数据仓仓库建设的规规划阶段，不不能求胜心切切，应该制定定切合实际的的系统目标，将将扩大决策支支持系统的数数据源、改善善用户获得信信息的手段、为为用户提供更更加准确、可可靠和全面的的信息作为系系统建设的根根本出发点。循序渐进 在银行中中使用数据仓仓库技术应本本着循序渐进进的原则进行行。首先，在在涉及某一类类银行业务的的单项应用领领域开展，逐逐步发展到在在涉及不同银银行产品的几几个单项应用用领域开展，最最后，再建立立全行的数据据仓库，将数数据挖掘的范范围扩展到多多项银行活动动。而不要一一开始就希望望把银行所有有的数据都装

31、装载到数据仓仓库中，建立立一个大规模模的全银行范范围内的数据据仓库，这样样会使银行隐隐入逻辑、行行政和财政的的困境而不能能自拔。数据据仓库不是越越大越有效，初初始时从建立立较小的数据据集市入手，一一方面可以降降低开发成本本，缩短实现现周期，另一一方面还有助助于为未来数数据仓库的全全面启动培训训IT人员。将相关信息集成成到数据仓库库中 80年代，美美国曾做过一一次对企业高高层管理人员员的问卷调查查，以研究高高层管理人员员获得经营管管理信息的途途径。结果出出人意料，管管理人员的级级别越高，他他就越少通过过内部数据来来获得经营管管理信息：大大型企业的最最高决策者995的经营营管理信息来来自企业外部部

32、。数据仓库库系统不是简简单的企业内内部数据集成成，而是为决决策支持提供供集成的数据据源，因此，必必须在关注企企业内部数据据的同时，将将外部信息集集成到数据仓仓库中；此外外，与数据信信息相比，图图形、图像信信息更为直观观、易于理解解，也应该集集成到数据仓仓库中。当前目标与长远远目标相结合合 数据据仓库建设不不是一劳永逸逸的事情，应应该树立长远远的发展眼光光。即使在建建立第一个面面向特定部门门或特定应用用的数据集市市时，也一定定要保证现在在使用的数据据模型能够向向将来所使用用的全银行范范围的数据存存储扩展，以以便于将来其其他数据集市市和战略性数数据仓库的实实现。必须在在部门之间进进行一致性的的数据

33、定义，并并通过这些定定义上的一致致性协议使以以后部门间的的数据联合成成为有效、可可行。统计结结果显示，数数据仓库的数数据量会以每每年大约400的速率增增长，由于在在设计阶段很很难准确地预预料到系统初初始和未来的的负载情况，所所以，应该在在设计开始时时考虑系统可可伸缩性，以以便能够容纳纳更多的客户户、进程和存存储，应尽可可能准确地选选择与用户需需求相适应的的系统并适当当地留出余地地，以免因系系统过大而超超出其适用范范围，白白浪浪费投资。不追求尽善尽美美 进行行数据仓库建建设时，在定定义了系统目目标、明确了了关键的成功功因素、合理理控制了数据据仓库规模的的基础上，就就应该尽快行行动起来，尽尽快获取

34、数据据仓库投资带带来的回报。当当客户需要更更多的信息和和更详细的细细节时，就应应立即着手进进行数据仓库库的发展和扩扩建工作，不不应拘泥于“完美”不放，应在在不断修改的的同时不断发发展。以不影响正常业业务为前提 由于于数据仓库的的查询是一种种不规则的查查询运作，在在考虑数据仓仓库方案时，应应以不防碍正正常的银行业业务处理为原原则，可考虑虑把数据仓库库的系统平台台与生产系统统的系统平台台分隔开来，放放在并行的主主从服务器上上分别运行。3.2 方案总总体框架图方式：浏览器 对象：信息发布、网上报表、各级领导网上查询Web服务器多维分析数据挖掘Red Brick数据仓库提取 过滤 条件 压缩 清理 家

35、庭关系识别 数据加载信用卡对公系统储蓄系统方式：浏览器 对象：信息发布、网上报表、各级领导网上查询Web服务器多维分析数据挖掘Red Brick数据仓库提取 过滤 条件 压缩 清理 家庭关系识别 数据加载信用卡对公系统储蓄系统3.3 系统体体系结构设计计 为了实实现各种功能能，我们建议议分别采用了了组件技术，WWEB技术，OOLAP技术术，并在整个个应用系统的的体系结构上上采用了三层层体系结构来来进行设计。三层体系结构 针对河河北省工商银银行数据仓库库系统，我们们建议采用的的三层体系结结构（BWDD）,即数据据库，WEBB服务器，浏浏览器表现层层。 早在11980年第第一个数据库库管理系统出出

36、现时，数据据库的世纪就就已悄然开始始。那时的观观念是由应用用程序控制关关系型数据库库，这种数据据处理的模式式一般称为单单层结构（11-Tierr）。由于这这种结构的数数据库程序占占用计算机资资源较多，于于是在80年年代中期，数数据库应用开开始转向C/S结构，也也就是所谓的的两层结构（22-Tierr）。这种结结构在近十年年内不但得到到了广泛的运运用，而且相相当成功。然然而，在两层层结构成功的的背后却逐渐渐暴露出其构构架上的缺陷陷。其中最明明显的问题表表现在应用程程序的伸缩性性和维护方面面。例如，如如何把数据库库管理系统及及其应用程序序分散到十分分缓慢的网络络上，如何控控制数据的统统一性和完整整

37、性；一旦应应用程序有任任何改动，维维护人员就必必须修改每一一个客户端上上的应用。 新一代代数据库管理理系统在传统统的C/S结结构中，增加加了应用程序序服务器这种新的结结构就是所谓谓的nTier或或Multii-Tierr。应用程序序服务器包括括了统一的界界面、业务规规则的制定和和数据处理逻逻辑的规定等等等。多层应应用服务技术术允许分割应应用程序，本本地计算机上上无须安装一一套数据库工工具，就可以以在另一台机机器上存取数数据。同时它它允许对业务务规则和进程程进行集中管管理，并在整整个网络上分分发、实现进进程负载的动动态调节。在三层体系结构构的第三层，即即表现层，可可以分为三大大类，应用程程序的客

38、户端端，浏览器，第第三方厂商提提供的前端表表现工具。组件技术 在整个个体系结构的的设计中，我我们注重了组组件的应用，采采用积木法来来进行设计。先先构筑系统的的总体框架，然然后构造各个个构件，并依依次把构件安安装到系统中中去。 大部分应应用系统，在在功能上有类类似之处，因因而利用软件件的重用技术术就可以把开开发过程大大大简化。在确确定系统总体体框架、构筑筑总体框架、构构造构件以及及修改构件等等阶段，都同同一个叫做“软构件集合合”的实体打交交道，这个软软构件集合也也被称为“软件构件库库”。在开发之之初就应该着着手准备这个个软构件集合合，比如可以以搜集一些已已经开发的系系统的总体设设计、规范、局局部

39、流程以及及某些人机界界面、通用功功能模块、简简单开发工具具。每开发出出一个组件，都都要把该组件件及其功能、调调用接口等信信息放入软构构件集合。我我们采用AcctiveXX来完成组件件的设计。 在应应用程序的客客户端，浏览览器上的AcctiveXX用dcomm协议或COORBA协议议与应用服务务器进行通信信，由Dcoom Serrver或CCORBA Serveer负责向数数据库提交请请示，并取得得相应数据。 WEB技术 WWW是IInternnet上发展展最快、应用用最广泛也最最实用的超文文本信息通信信系统。服务务器端通过WWeb Seerver可可以提供各种种服务；客户户端可以通过过浏览器（

40、BBrowseer）访问多多种协议的多多媒体信息，依依据用户的需需要组织和传传递信息。人人们可以通过过WWW浏览览器浏览和检检索WWW站站点的信息，这这就使得信息息的共享与交交流越来越迅迅速、越来越越方便，正因因为如此，才才成为了目前前Interrnet/IIntrannet上信息息发布与出版版的重要途径径。 WWW的最最大特色在于于为用户提供供良好的信息息查询界面。WWWW把各种种形式的信息息，如文本、图图像、声音、视视频等无缝隙隙地集成在一一起，用户只只需要提出自自己的查询要要求，具体到到什么地方、如如何取回信息息都由WWWW自动完成。通通过浏览器，用用户只需用鼠鼠标点击显示示屏上高亮度度

41、或有下划线线的词语，就就可将与该词词语相关联的的文件取回并并显示在屏幕幕上，用户无无需关心这些些文件存放在在Interrnet/IIntrannet上的哪哪台计算机中中。OLAP技术 OLLAP是Onn-linee Anallyticaal Proocess（在在线分析）的的首字母缩写写。OLAPP是使用户能能够从多种角角度对从原始始数据中转化化出来的、能能够真正为用用户所理解的的、并真正反反映企业维特特性的信息进进行快速、一一致、交互地地存取，从而而获得对数据据的更深入了了解的一类软软件技术。OOLAP的目目标是满足决决策支持或多多维环境特定定的查询或报报表需求，它它的技术核心心是“维”的概

42、念，因因此OLAPP也被称为多多维数据分析析。3.4 系统方方案的组成 该方案案包括：可扩扩展的高性能能的系统硬件件平台；适合合复杂数据分分析处理的数数据仓库引擎擎；数据抽取取和转换工具具；数据挖掘掘和分析工具具；前端的商商业智能工具具IBM/RS6000地市网点 Intranet Web ServerNT Server： IISBrio.OnDemandFrontPage数据分析/挖掘数据仓库 操作系统：AIX4.3.3 数据库：Red Brick 软件：Datastage省行中心机 房IBM/RS6000地市网点 Intranet Web ServerNT Server： IISBrio.

43、OnDemandFrontPage数据分析/挖掘数据仓库 操作系统：AIX4.3.3 数据库：Red Brick 软件：Datastage省行中心机 房RARAIDInformixInformix MetaCube 4.2Brio.Query Designer 操作系统：Windows NT/95/98 操作系统：Windows NT/95/98 浏览器：IE 、IIS软件：Brio.Insight 系统软硬件配置置图3.4.1 数数据仓库的操操作系统平台台和数据库平平台我们选择IBMM/AIX44.3.3作作为数据仓库库的操作系统统平台。 IBMM作为世界范范围高质量服服务的UNIIX系统提

44、供供商，它推出出的AIX操操作系统主要要特征：同时时支持32-位和64-位应用多线线索内核；PPageabble Keernel（动动态可交换内内核）；JFFS（日志文文件系统）；LVM（逻逻辑卷管理）；OS Leevel MMirrorring（操操作系统镜像像）；SMIIT（易用型型管理工具，支支持图形和WWeb）；WWorklooad Maanagerr（工作负荷荷管理）。我们选择Redd Bricck Warrehousse作为数据据仓库的数据据库平台Red Briick Waarehouuse是一种种专门的服务务器技术，针针对分析性数数据集市解决决方案、复杂杂查询、快速速加载性能、高

45、高容量/高性性能以及超大大数据库的有有效管理等方方面进行了设设计和优化。关键特色：Table MManageement Utiliity（TMMU）完成所所有必要的任任务，以确保保数据就绪，同同时还支持数数据转化和清清洗、插入数数据行、检查查参照完整性性、更新所有有相关索引和和创建聚集等等功能，可以以在单个加载载过程中完成成所有操作。Paralleel Tabble Maanagemment UUtilitty（PTMMU）能用SSMP并行机机制来大大加加速数据加载载，并行机制制来大大加速速数据加载，并并行地实现全全面的参照完完整性检查和和创建索引。数数据库的设计计者加以选用用STAR、TTA

46、RGETT、以及B-Tree索索引来优化他他们的特定处处理环境。Auto Agggregaate Looad与TMMU或PTMMU共同使用用，集成聚集集表并在常规规的更新过程程中生成。这这种过程可以以大大减少维维护管理聚集集记录的成本本。STARinddex将多个个表连接起来来，以实现最最佳的查询响响应能力和高高性能的增量量更新。STTARinddex采用了了Inforrmix RRed Brrick WWarehoouse独特特的高级算法法，可以使每每个索引占据据更小的磁盘盘空间。STARjoiin一种独特特的多表连接接算法技巧，针针对starr模式优化，可可以为数据仓仓库查询的多多维分析提

47、供供更快的反应应速度。TARGETiindex可不断调整整的TARGGETinddex是一种种位图索引技技术，专门为为以极快速度度从大型的表表中选择记录录而设计。TARGETjjoin允许许用户在查询询中对多个表表并行地采用用多套限制，提提供更加聚焦焦、更具目标标的数据视图图。RISQL EExtenssions 使商务用户户可以方便地地利用SQLL表达常见的的业务问题，并并进行包括排排序和排列的的多种形式比比较。 Vista 一一种聚集管理理系统，集成成于服务器内内，提供了全全面的聚集创创建、管理和和查询优化功功能。它可以以使频繁访问问的数据更有有强大的功能能。Paralleel on De

48、mannd防止过多多的并行处理理，使用户不不必花费宝贵贵的时间去优优化单个的查查询。Dynamicc Incrrementtal Opptimizzationn动态增量优优化 在查询询执行过程中中，利用从即即时结果获得得信息，重新新评估和调整整查询和执行行计划。SuperSccan使多个个用户利用同同一个I/OO流，大大减减少大量用户户和查询时的的I/O操作作。Table SSegmenntatioon表分区 可以对一个个表或索引进进行物理上的的划分，使其其分布在不同同的设备或文文件系统上，同同时保持单个个表时在管理理和可用性方方面的所有优优势。 Timme-Cycclic DData MMa

49、nageement 通过将旧的的数据分区清清除掉，用于于存储新的数数据分区，帮帮助用户有效效地处理时间间敏感的数据据。 Informmix Reed Briick安全性性功能 通过过提供层次化化，基于角色色的安全性和和丰富的日志志来支持管理理、优化和计计费功能，方方便了大规模模数据库管理理。 Query-Priorrity CConcurrrcy这种种独特的多任任务机制专门门针对决策支支持环境设计计，从而使查查询的执行在在数据更新和和加载操作中中不受影响。 SQL Baacktraack 提供供全面和灵活活的解决方案案，以快速、简简捷、安全地地备份和恢复复数据库。 Informmix Reed

50、 Briick Waarehouuse Addminisstratoor 一种图图形化，基于于Windoows的工具具，可以简化化管理并提高高效率。它为为学习如何管管理Infoormix Red BBrick Warehhouse提提供方便的学学习方法，并并可引导有经经验的管理员员完成不常见见的任务。同同时，它还支支持“what if”试验和增量量模式发展 3.4.2 数数据抽取、转转换、和装载载软件DtaSStage要想实施有效的的决策应用，应应首先必须拥拥有能够从不不同数据源中中抽取数据、净净化数据、并并把数据装入入数据仓库环环境中的功能能强大、技术术成熟的工具具。Informiix Da

51、ttastagge是一套专专门对多种操操作数据源的的数据抽取、转转换和维护过过程进行简化化和自动化，并并将其输入目目标数据库的的集成工具。3.4.3 在在线分析和数数据挖掘工具具MeetaCubbeMetaCubbe 能够：提供相关数数据仓库中数数据的直观、易易于导航的多多维视图；提提供多数据库库平台支持；提供一整套套高级的管理理工具集，简简化数据仓库库管理；提供供全面的、基基于Web的的ROLAPP解决方案。MetaCubbe的优势：在数据仓库库实施中使用用MetaCCube 能能为用户带来来许多好处：增加数据仓仓库投资的收收益和回报；提高企业的的知识水平和和生产力；帮帮助决策着做做出更明智

52、的的决策；更快快速、更高效效地把握不可可预测的、面面向主题的信信息；实现分分布式的决策策。3.4.4 WWeb服务器器 Winndows NT提供了了一些支持IInternnet和Inntraneet出版和访访问服务的工工具，例如IIIS（Innterneet Infformattion SServerr、即Intternett信息服务器器），IE等等。 Intternett上的核心网网络服务之一一是Worlld Widde Webb（WWW或或Web），它它为用户提供供图形的，易易于浏览的界界面，使用户户能够确定IInternnet上信息息的位置，这这些网面连在在一起组成了了一个信息网网。

53、IISS为基于Wiindowss NT的计计算机了提供供了Inteernet上上发布资源和和服务的能力力，使用IIIS可进行发发布服务，例例如超文本网网页，客户机机/服务器应应用程序等。使使用超文本传传输协议（HHTTP），文文件传输协议议（FTP）在在Interrnet和IIntrannet上提供供发布信息和和服务。使用用这些网络服服务，可以发发布网页，交交互式应用程程序，客户目目录，在WWWW上读取数数据库。3.4.5 前前端分析工具具：Brioo产品 在三层层结构中的表表现层，可以以利用第三方方厂商提供的的产品实现简简便，灵活的的查询，报表表生成功能，并并利用这些工工具，对数据据库中的信

54、息息进行分析和和查询。Brio是提供供的前端表示示工具，它们们桌面OLAAP分析的建建模工具，OOLAP分析析工具，及对对库的查询，报报表的生成。Brio企业版版的服务器：OnDemmand服务务器是一个网网络应用服务务器。网上进进行查询、集集中管理客户户、安全性和和“适应性报表表”（Adapptive Reporrts）。允允许使用Weeb的用户方方便并安全的的访问存在企企业业务数据据库、数据集集市和数据仓仓库中的商业业信息Brio的Cllient/Serveer客户端工工具：BriioQuerry Dessigeneer是查询、分分析及报表工工具。具有数数据库管理功功能、安全性性、审计和“

55、存储仓库”（Repoositorry）设置（供供信息技术部部门使用）Brio的Weeb/Inttranett客户端工具具：Brioo.Insiight是基基于Web浏浏览器的查询询、分析及报报表工具。根根据报表信息息和用户安全全的需要而具具有不同层次次的功能。 3.4.6 编编程工具 Delliphi自自从Borlland推出出了Deliiphi之后后，深受程序序设计人员的的青睐。Deeliphii的每一个新新版本都给用用户提供了更更新、更好的的功能，。例例如Deliiphi1.0版本给用用户提供了一一种全新的可可视化编程环环境，使用户户能快速开发发Windoows3.11的应用程序序。Del

56、iiphi2.0中增加了了数据模块（DDataMoodule）等等多种高效的的数据重用功功能。现在每每三代版本DDeliphhi3，4多层结结构的32位位快速开发工工具又给开发发人员带来了了全新的多层层结构概念，并并推出了开发发多层结构所所需的技术和和工具集。MMIDAS是是开发服务器器级的应用程程序，即体系系结构中的应应用服务器和和表现层的理理想工具之一一3.4.7 网网页设计工具具 IntterDevv是为有一定定编程能力的的程序人员设设计的网页设设计软件。它它提供端到端端的调试功能能，现场设计计和管理工具具，数据库连连接工具，编编程资源库，并并可方便引入入用ActiiveX组件件等功能。

57、 Froontpagge是美化页页面的工具 Phootoshoop用来完成成图片的设计计第四章 银行行数据仓库的的建设 数据仓仓库系统与传传统的OLTTP系统有很很大的区别，因因此需要丰富富的实践经验验才能保证系系统的成功实实施。北京天天恩科技有限限公司作为专专门从事银行行业务信息化化的企业，通通过多年来对对银行业务的的深入研究，以以其雄厚的技技术实力为客客户提供从系系统平台、网网络方案到银银行应用系统统全套的解决决方案。天恩恩科技公司经经过多年的银银行应用软件件的开发，实实现了对公、储储蓄及信用卡卡帐目的管理理，并建立一一套完善的办办公自动化系系统、风险监监督系统以及及其他辅助子子系统。利用

58、用银行系统项项目开发工作作中积累了许许多宝贵的经经验，同时结结合国外先进进的数据仓库库的实施方法法论和数据仓仓库的完整框框架结构，作作为国内银行行实施数据仓仓库的管理机机制与技术指指南。4.1 面向应应用的OLTTP系统与面面向主题的OOLAP系统统 对银行行而言，一般般都针对其各各项业务开发发了相应的OOLTP系统统，用来解决决银行日常的的生产自动化化问题，如储储蓄系统、信信用卡系统等等。这些系统统都是解决专专门的业务问问题数据仓库库则是面向主主题的，对银银行来讲，客客户是一个永永恒的话题，要要研究客户的的消费行为和和心理，对客客户进行各种种分类，如哪哪些客户的信信用好，哪些些客户的风险险大

59、，等等诸诸如此类的问问题。另外，银银行的产品也也是一个值得得研究的主题题，据此来分分析这些产品品的市场定位位等 从数据据库结构来看看，两者的区区别可以用下下图来表示。生产系统生产系统贷款储蓄信用卡面向应用面向主题数据仓库系统客户产品分销渠道4.2个性化服服务的定义 我们首首先对个性化化服务进行定定义，这种定定义可以从客客户和银行的的两个方面的的观点来看：对公和对私私客户认为个个性化服务是是：银行知道道我（whoo）在什么时时间(wheen)，需要要什么产品或或服务(whhat)，以以我可以接受受的价格(hhow muuch)，经经由我喜欢的的分销渠道(wheree)，对我提提供销售。银银行的定

60、义是是：以有竞争争性的产品或或服务(whhat)，在在适当的时间间(whenn)，通过适适当的分销渠渠道(wheere)，对对信用好风险险低的客户(who)，以以合理的价格格(how much)和利润(prrofitaable)完完成销售。两两者都在精打打细算的前提提下，以达成成自己的需求求和目标。然然而银行现有有的信息技术术和体系结构构，都是以帐帐号为中心的的客户档案和和历史的交易易明细，在设设计时考虑以以最快的速度度处理业务流流程的交易，所所以不同业务务的生产系统统只储存与此此应用相关的的交易明细数数据，其他应应用的历史数数据都已备份份在流带或存存储在不同的的生产系统中中，无法满足足以分析