基于数据仓库技术的银行数据系统的研究

1、Computer与技术电脑知识与技术ComputerKnowledgeKnowledgeandandTechnologyTechnology电脑知识米波（山东省农村信用社联合社泰安办事处科技中心，山东泰安271000）摘要：该文在明确银行数据重要性的基础上，概述了数据仓库技术，对银行数据系统进行了设计，并进一步研究了系统维度建模、数据粒度、ETL逻辑以及集成转换等方面的实现。关键词：数据仓库；银行数据；系统研究；数据粒度；维度建模中图分类号：TP311文献标识码：A文章编号：1009-3044(2010)32-8938-03TheResearchofBankDataSystemBasedonD

2、ataWarehouseTechnologyMIBo(TaianOfficeTechnologyCenterofShandongRuralCreditCooperativesAssociation,Taian271000,China)Abstract:Thepaperhasclearedtheimportanceofthebankdata,overviewsthedatawarehousetechnology.Thenthepaperhasdesignedthethebankdatasystem,andstudiedtherealizationofsystem,involving:system

3、dimensionalmodeling,datagranularity,ETLlogicandin-tegratedconversionetc.Keywords:datawarehouse;bankdata;systemresearch;datagranularities;dimensionalmodeling随着市场环境的日益激烈，一个企业要想不被淘汰，就必须能够快速定位市场需求，并提供完善的服务，在银行等金融行业更是如此。我国许多银行为了有效应对金融市场的竞争，都建立了诸多业务系统，涉及到：柜面业务、信用卡、客户管理、信贷管理、决策帮助、事后监督、电子银行、办公自动化、中间业务等多个方面。

4、但是由于这些系统不是在同一时期建立的，所以各系统之间的共享程度以及集成程度都偏低，导致了各个系统中的银行客户及业务数据相对分散，没有充分利用起来以更好地实现银行统计、分析以及决策的功能。因此,借助于数据仓库技术建立一个专用的银行数据系统是非常必要的。通过该数据系统可以集成银行不同业务系统的数据，提供分析统计，从而提高银行的经营水平和利润率。1数据仓库技术概述数据仓库中的数据组织模式是根据主题而进行综合并归类抽象的，而且具有集成性、稳定性以及随时间变化等诸多特征。数据仓库中的数据需要不断进行累积，而且更偏向于工程，设计流程如图1所示。首先，从逻辑意义进行分析，数据仓库中的主题对企业分析领域中的对

5、象所对应；从组织角度进行分析，相关数据及数据项之间的关联描述必须是完整的、一致的，并应该完全满足分析需求。其次，由于原数据库系统的相关记录只是业务流水帐的处理表述，存在诸多冗余数据，不适用分析，因此数据仓库中的数据不能直接从原有数据库中导入，而需要经过计算并过滤不需要的数据项。另外，数据仓库中的数据还包括了大量的历史数据，这些数据是企业过去业务数据的重组集合，这是与传统操作型数据库的显著区别之一。针对于数据仓库的操作是以查询为主，只有在必要时才涉及到数据的更新操作，因此稳定性也是数据仓库所必须保障的特征。图1数据仓库的设计流程图2银行数据系统的设计分析2.1需求分析及功能设计为了有效展现银行机

6、构和用户对数据仓库的需求，本文主要是通过业务主题的形式归类并整理各类需求。当然，想要穷举全部需求是不现实的，对于业务主题之外的需求，则主要是通过联机交易形式加以满足。通过与银行业务人员的沟通，银行数据库系统的功能（业务主题）主要涉及到如下几个方面：1)业务分析。2）经营管理。3）营销服务。4）风险管理。业务分析包括跨行业务（境内外）、传统金融业务、金融创新业务等。经营管理包括绩效考核管理方面的支持、财务管理方面的支持以及银行人力资源管理等。营销服务包括活动策划支持、营销活动评估及管理以及银行忠诚客户的服务支持。风险管理包括银行业务欺诈交易、异常交易的管理以及银行黑名单客户以及其他交易风险的监控

7、统计等。收稿日期：2010-09-16作者简介：米波（1975-），男，研究方向为金融信息系统建设。8938数据库与信息管理本栏目责任编辑：代影第6卷第32期(2010年11月)ComputerKnowledgeandTechnology电脑知识与技术2.2系统的总体结构设计根据银行数据系统的需求分析及功能设计，本文借助于DB-ODS-DW对系统的体系结构进行构架，具体如图2所示。其中，银行数据系统的最低层：操作环境层主要处理银行金融业务的OLTP以及外部数据信息；DW层则主要是将操作环境层的业务元数据进行抽取、过滤、重组，并归纳至银行的数据仓库中；银行业务层则主要是对银行业务元数据进行分析统

8、计，并进行各种业务操作，比如：即时查询、OLAP分析以及数据挖掘等。3银行数据系统的实现分析3.1系统的维度建模图2银行数据系统的体系结构图银行数据系统的维度建模主要以星型和雪花模式为主，是支持查询的建模方式。本文主要是通过星型模式进行建模操作。星型模式的原理就是以一个事实表为中心，该事实表的MainKey主要由系统维表的MainKey所组成，可见事实表的MainKey都是外键。以银行卡事实表为例进行研究说明。银行卡事实表的字段包括：交易时间代码、受理机构代码、交易渠道代码、借记卡活动量、货记卡活动量等。而其相关维表包括：时间维表、机构维表以及交易渠道维表。其中，时间维表的字段包括：时间代码、

9、年、季度、月、日等。机构维表的字段包括：机构代码、机构名称、上级机构、下级机构以及机构描述等。交易渠道维表的字段包括：渠道代码、渠道名称以及渠道描述等。根据星型维度建模原理，银行卡事实表的主键是由其周围的维度主键所组成，也就是银行卡事实表的主键共有三个，分别是：交易时间代码、受理机构代码、交易渠道代码。这些主键又同时作为外键，与另外三个维表建立关联。总之，通过星型模式的建模，对各种维表进行了统计并排序预处理，提高了查询效率。但也有不足的地方，就是当银行业务发生变化时，需要对事实表的维表个数进行重改，这是一个相对复杂并耗时的操作。这个问题可以通过在数据库建立时引入三范式来解决，因为三范式可以引入

10、较少冗余，具有良好扩展性。3.2数据粒度的选取数据仓库的一个重要概念是数据粒度，用来表示数据的综合度，也决定了数据量的大小以及数据仓库能力。数据粒度的选取应该进行权衡考虑，如果粒度过大，数据综合度虽然有所提高，但针对细节的查询支持能力就会减弱；如果粒度过小，数据的细节描述更为详细，但存储开销增加，特别是综合查询时，因为数据量过大而必须进行汇总，显然对降低了查询效率。本文研究的银行数据系统的数据粒度分了四大层次：ODS、SOR、DPA以及DM，如图3所示。其中，ODS层存储银行业务数据粒度的级别，对银行业务数据进行定义，并保证银行业务数据的一致性，从而满足银行中高层的决策查询。SOR层是银行数据

11、系统图3银行数据系统的数据粒度层次的核心层，通过对ODS层的抽取，将银行业务数据转换成符合维度模型的数据形式。DPA层主要是对银行业务数据进行汇总，该层的数据粒度又细分为：日。该层为DM层以及其他下层提供银行业务数据的应用服务。DM层是根据银行业务用户的需求，对不同粒度的数据（比如说：月、季度、年）进行汇集，并提供银行业务数据的调用服务。3.3系统的ETL逻辑流程ETL能够保证在规定的时间内，完成银行业务数据的自动加载，这些数据可以是初始银行业务数据，也可以是历史银行业务数据，从而满足数据的扩充需求。银行数据系统的程序较复杂，但其程序结构应该尽可能的简洁，因此应该对银行数据系统中的数据抽取程序

12、进行优化，ETL逻辑流程的设计可以很好的平衡银行数据系统开发管理性及程序性能之间的关系。从宏观进行设计分析，ETL作为一个整体来支持银行数据系统加载银行业务初始数据和日常数据。从银行数据系统源数据中抽取完数据后，将其保存到ODS中，并且附上时间标签。银行业务数据经过清洗、转换后加载入SOR数据库。这包括三个过程：银行业务数据变换CV(convert/Clean)、数据转换TR(Transform)以及数据加载LD(Load)。CV阶段产生CIF文件，每个目标表的加载对应一组TR程序与LD程序。清洗过程中产生银行业务源数据拒绝文件，需要对有质量问题的银行业务数据进行处理以进入银行业务数据库或者直

13、接拒绝入库。3.4系统的集成转换在银行业务数据的清洗转换过程中由于ETL对业务转换规则的理解错误或者程序代码的问题都可能造成银行业务数据的质量问题，而且当ETL程序出现异常时也容易造成银行业务数据的质量问题，因此，银行业务数据进入数据仓库都是需要进行集成转换的。银行数据系统的集成转换必须进行银行业务数据的预检查。首先，业务逻辑检查。其次，交叉验证。包括ODS、SOR、DPA、DM层交易笔数一致、SOR、DPA、DM交易金额一致等。此外，银行业务数据完整性检查。主要包括如下一些方面：银行机构在机构关系表而不在机构基本表的记录等。银行业务数据集成转换时如果通过预检查处理发现数据质量问题时，逆向排查

14、数据质量问题产生的原因，并做出修正然后重新对数据进行抽取加载即可。本栏目责任编辑：代影数据库与信息管理8939ComputerKnowledgeandTechnology电脑知识与技术第6卷第32期(2010年11月)4总结总之，银行数据系统通过利用数据仓库技术，整合了银行业务相关的内外数据源，有效得升了银行的数据支持服务能力，推动了银行业务市场。当然数据仓库的建设是一个长期而又复杂的过程，其涵盖的内容还包括有数据挖掘、元数据管理、系统维护等方面。因此，随着对银行数据仓库技术研究的深入，在未来的发展应用中要对以上几个方面做进一步的研究。参考文献：1张晓东,王建民.浅谈商业银行建立数据仓库的必要

15、性J.金融与经济,2009,1:27-28.2封玲,柏文阳.数据仓库维度建模技术及其应用研究J.南京大学学报：自然科学版,2007(4).（上接第8937页）<%RegisterAssembly="FreeTextBox"Namespace="FreeTextBoxControls"TagPrefix="FTB"%>3)在页面属性中加入ValidateRequest="false"if(title!=null&&content!=null)mydbthisdb=newmydb();thi

16、sdb.openCon();stringsqlstr="insertintonews(newsTitle,newsContent)values('"+title+"','"+content+"')"thisdb.NoreturnSql(sqlstr);Response.Write("<scriptlanguage=javascript>alert('公告添加成功！');</script>");Response.Redirect("admin_news.aspx");thisdb.closeCon();elseResponse.Write("<scriptlanguage=javascript>alert('标题或内容为空，请填写完整的公告信息后再发布！');</script>");这种方法不需要设计HtmlEncode()方法为文本框里面的数据设置格式。3结束语减轻系统管理人员的工作