数据仓库技术及其在金融系统中的应用

数据仓库技术及其

在金融系统中的应用Informix中国有限公司数据仓库及Web/电子商务业务部

TheonewiththeSMARTESTDATAwins2Informix数据库公司及技术发展联机分析及数据仓库在金融领域的应用Informix的数据仓库解决方案Informix针对数据仓库的技术支持和咨询服务内容提要Informix软件公司1980年成立、总部位于美国加州MenloPark专业数据库软件厂商、数据库技术的领导者致力于为开放系统(UNIX&NT)提供数据库产品第二大数据库供应商高性能、运行稳定、概念创新拥有3500名员工1000多名员工致力于科研开发124家办事机构遍布全球具备良好的资金和财政实力Informix在中国沈阳北京深圳上海西安成都长沙广州。。总部分公司办事处香港7x24技术支持服务ISO9002规范运作的响应中心(1999.1)全球支持体系的一部分5产品与技术的发展方向面向数据管理的三个主要市场方向数据仓库Internet联机事务处理赋予“Informix”更为丰富的内涵6面向联机事务处理而设计的

——InformixDynamicServer7高扩展性内核多线索技术数据分割客户/服务器连接批量插入行级封锁Informix数据库在联机事务处理中的优势内存驻留表分布式透明性双向分布式数据复制高可靠性角色分割和审计可管理性8Informix在国内的部分应用银行建设银行全行业务3000+点工商银行除mainframe以外所有数据管理环境光大银行全行业务城市商业银行全国95%以上点农村信用社中国银行电信全国移动网管全国电信97纵向联网全国IC卡电话计费及管理国信寻呼系统辽宁移动计费、数据仓库广东97工程本地网计费天津、重庆97工程北京长话计费9Informix在国内的部分应用cont.保险中保人寿中保财险新华人寿政府铁路互连网(全国)广电部OA系统上海市工商局人民日报Chinabyte首都在线邮政上海绿卡江苏绿卡制造业MotorolaLucent松下电器10Informix应用的特点以联机事务处理系统著称庞大的装机量和业务量高性能、低消耗、易维护11Informix的Internet解决方案12Internet的数据库应用技术特点和优势对象技术扩展关系数据库提供Internet数据管理基础建立数据库与Web服务器的桥梁提供客户端免维护的功能提供Internet数据库应用模板和框架以定制取代开发主要应用人民日报、ChinaByte、首都在线、铁路互连网全国电信97纵向网、上海信息港、北京文献服务中心广电部OA工程、中国商品交易市场13银行计算机系统涉及的数据库技术银行应用系统业务系统网络银行/电子商务管理/决策支持系统14Informix数据库公司及技术发展联机分析及数据仓库在金融领域的应用Informix的数据仓库解决方案Informix针对数据仓库的技术支持和咨询服务内容提要业务系统与信息处理系统OLAP－决策分析系统联机分析市场决策OLTP－业务系统为支持企业生产运作而建立根据企业业务过程的需求而开发16银行业务系统的发展电子化进程积累大量数据可能成为有用信息也可能成为系统包袱新的业务和服务方式不断涌现借记卡、ATM、电话银行、网络银行各种产品和业务的效益、风险、对银行发展的影响帐务中心向客户中心的转化业务评估模式发生变化从粗放型经营模式向分析型经营模式转化用户数据的应用模式更大的效益使业务更加高效采集数据分析数据数据库应用的发展数据库应用发展的新变化联机分析应用的兴起联机分析应用的特点查询的动态和复杂性数据量的扩展数据库技术的新挑战与联机事务处理的不同数据仓库概念的提出数据仓库成为信息系统核心数据库应用联机事务处理联机分析处理联机分析应用特点动态的数据查询模式增量变化的数据内容多维的分析统计模式不影响联机事务处理系统的性能复杂分析处理的能力易学易用、适应非专业人员使用20传统报表系统不足以满足用户需求管理信息系统报表批处理数据静态合计数据当前操作数据面向管理信息系统数据仓库/联机分析联机数据动态/多维合计/明细拥有历史数据面向业务的联机分析系统的实现途径数据影响联机业务系统的处理业务数据非集成性信息不完整时间不一致缺乏历史数据业务数据环境复杂异构分布数据仓库系统操作环境ExtractIntegrateTransformMaintainDataWarehouse分析环境Reporting

DataMiningOLAPOLTPExternalLegacy什么是数据仓库(DataWarehouse)？INFORMATION

信息数据仓库(DataWarehouse)是一种专为联机分析应用和决策支持系统提供数据源的结构化的数据环境数据仓库要解决的问题是从数据库中获取信息的问题。

信息INFORMATION数据源数据管理访问和分析数据仓库体系结构操作数据数据仓库

(企业级)历史数据数据集市

(部门级)DataMart

(Departmental)ThePostVISA外部数据源数据仓库的目的——从信息获取财富跨国电讯企业用户效益分析促销收益分析客户保有量分析大型零售商商品种类管理市场需求分析库存优化主要金融机构风险管理欺诈检测客户信用分析26OLTP帮助您运行业务…

数据仓库帮助您优化业务为什么需要数据仓库27数据仓库在银行业的应用客户市场分析/客户分类分析风险管理效益分析28客户市场分析/客户分类分析客户市场分析通过年龄、性别、社会阶层等属性分析客户群体的特征客户分类分析根据客户群的消费特征分割分析目的了解整个市场切实的行为特点有针对性吸引某一潜在的客户群为市场计划提供先决依据29风险管理风险管理包含各种风险业务种类的扩展使风险种类更加复杂风险管理的要求更高数据仓库用于评估各类因素对各种风险的影响找出关键的因素加以控制30效益分析机构效益针对分行或支行、银行内部的机构面向地域、经营和管理产品效益金融服务的种类客户效益不同的客户群为银行带来的效益组合效益分析三种效益分析因素的组合31数据仓库对于银行整体发展在各类主要分析的基础上加入财务信息人力资源信息从决策层进行宏观分析和决策建立BalancedScorecardHarvard92年提出的新的管理概念分析PerformanceMatrix找出企业KPI(KeyPerformanceIndicator)增强投资回报32Informix数据库公司及技术发展联机分析及数据仓库在金融领域的应用Informix的数据仓库解决方案Informix针对数据仓库的技术支持和咨询服务内容提要33Informix的数据仓库34SKU-AD-57897643863-74883876-SDS-UR7SKU48937SKU数据分析多维分析、数据挖掘企业级数据仓库相关的数据集市数据仓库的体系结构联机事务处理系统抽取转换装载(ETL)SAPBaanPeopleSoftLawsonSiebelWEB数据历史数据FinanceDistributionAccountingManufacturingSupplierMgmt35数据仓库的产品部件历史数据y操作数据外部数据源lFormationInformixDataStage数据挖掘操作数据存储RedBrick分析型数据集市企业数据仓库数据源数据存储联机多维分析数据分析应用SeagateInfo企业报表系统访问及发布抽取、转换及装载MetaCubeIDS/AD/XPIDS/AD/XPInfoSeeker合作伙伴36数据仓库的产品部件历史数据y操作数据外部数据源lFormationInformixDataStage操作数据存储RedBrick分析型数据集市企业数据仓库数据源数据存储联机多维分析数据分析应用SeagateInfo企业报表系统访问及发布抽取、转换及装载MetaCubeIDS/AD/XPIDS/AD/XP合作伙伴建立数据仓库的关键环节数据抽取数据管理数据分析38数据仓库的数据抽取过程数据抽取过程的技术要点要能适应各种数据源、应付复杂多变的联机环境要能嵌入用户定义的转换过程相应调度和管理机制数据抽取过程多样化解决数据来源问题系统的分布性数据的异构性信息的不完整性不被业务系统的现状所局限数据抽取过程的挑战工作量原始应用系统的复杂度39Informix的数据抽取系统Formation根据用户数据源的描述自动生成C++数据抽取、转换、装载程序运行高效不包括调度系统DataStage图形化设计管理包含调度环境SunSolaris,HP-UX,IBMAIX,DigitalUnixServerRepositoryDesignerDirectorRepositoryManagerAdministratorDataStage

WindowsNT4.0Server(Intel&Alpha)Windows95/WindowsNTWorkstationClientDataWarehouseRDBMSOracleMicrosoftSQLServerSybaseInformixUniVerse/UniDataMainframeQSAMVSAMDB2IMSIDMSAdabasDatacomOthersHashFileSeq.orFTPODBCAnySQLBulkLoadersOracleBCP(Sybase&Microsoft)SybaseIQInformixRedBrickSequentialorFTPODBCStagedDataLoadUtilitiesBulkLoadersHashFileUniVerseUniDataOracle7&8SybaseNativeAPINativeAPIOracle7&8SybaseChangeDataCaptureMainframeDataAccessMetaDataExchangeMicrosoftMetaDataRepositorySequential数据抽取转换系统——DataStage41DataStage复杂的数据抽取和加载建立数据仓库的关键环节数据抽取数据管理数据分析43数据仓库存储的技术特性只有量的支持做不到联机分析有数量同时要有速度服务器访问特性访问频率稀疏并行处理优势突出数据库查询特性查询涉及数据范围广传统索引作用有限多表连接、星型模式计算复杂检索方式、优化算法需要突破44Informix数据仓库的可选产品InformixDynamicServer针对SMP的并行处理分析系统的起步IDS+AD+XP针对大规模并行处理(Cluster,MPP)的服务器增加对决策支持类查询的特点大规模数据仓库InformixRedBrickWarehouse以专业数据仓库优化算法为核心广泛、灵活的并行处理最常用的数据集市解决方案45Informix:并行处理数据库操作串行扫描连接排序处理时间

并行并行DSA并行地处理任务DSA将任务分解成子任务汇总Informix可实现并行处理的数据库操作ParallelSelectParallelInsertParallelDeleteParallelUpdateParallelRollbackParallelUnionParallelOuterJoinParallelNotInParallelGroupByParallelOrderByParallelAggregatesParallelHashJoinParallelSortMergeJoinParallelIndexCreationParallelLoad/UnloadParallelBackup/RecoveryInformixExtendedParallelOption多结点（主机）组成并行处理阵列：针对MPP和Cluster每个结点运行ExtendedParallelOption的Co-Server结点间采用不共享策略(SharedNothing)通过数据分割实现并行处理，提供近线性的性能扩展能力ExtendedParallel的工作模式(FunctionShipping)减少网络流量降低结点间资源共享和交互提高并行扩展能力(Scalability)49联机分析与事务处理不同的侧重点事务处理联机分析系统特点1.操作对象2.系统使用3.更新/查询(每次操作)4.响应时间5.数据库设计(结构)6.数据库内容(值)7.优先程度事务静态单个记录<秒级静态动态高性能高可靠数据动态记录集合>分钟动态静态高度灵活性用户自定义应用类型8.操作类型更新查询50数据仓库与事务处理的不同要求Universal/OLTP

Purpose-builtforDataWarehousingDivergingRequirements

forDifferentBusinessNeedsDataconsolidationRichhistoricalcontentComprehensibledatastructureQuerythroughputTextual-numericdataprimarilyDataisolationLimitedhistoricalcontentComplexdatastructureTransactionthroughputRichdatatypesCapabilityGap“Onedatabasecannotdoitall”

--METAGroup51Informix数据仓库引擎

的发展历程ParallelOn-Demand™One-passParallelLoadProcessing1993SpecializedRDBMSforDataWarehousing1991RISQLExtensionsSTARjoin™,STARindex™1992TimeCyclicDataManagement19941996RichSchemaSupportTARGETindex™1995TARGETjoin™19971998

VistaAggregateMgmtQuery-priorityConcurrency星型模式(Star-Schema)FactTable事务处理数据描述相应的属性（最低层）DimensionTable各种属性及其层次星型模式的规范化“雪花”型(snowflake)“维”Keys属性Facts地点Table时间Table产品Table客户TableManyRecords...专为数据仓库而设计

最丰富的连接技术PoorGoodExcellent代价(磁盘空间,维护代价)性能BinaryJoinsSTARjoin™RedBrick的各种技术各种连接和索引技术适合不同情况优化的需要TARGETjoin™未专门优化的连接过程PERIODjan,...feb,...mar,...SALESjan,pen,east,$100jan,pen,west,$200feb,radio,south,$125mar,watch,east,$225SALES+PERIODjan,…,pen,east,$100jan,…,pen,west,$200feb,…,radio,south,$125mar,…,watch,east,$225PRODUCTradio,...pen,...watch,...SALES+PERIOD+PRODUCTjan,…,pen,…,east,$100jan,…,pen,…,west,$200feb,…,radio,…,south,$125mar,…,watch,…,east,$225MARKETeast,...west,...south,...SALES+PERIOD+PRODUCT+MARKETjan,...,pen,...,east,...,$100jan,...,pen,...,west,...,$200feb,...,radio,...,south,...,$125mar,...,watch,...,east,...,$225普通数据库的实现方法有改进，但仍未解决根本问题PERIODjan,...feb,...mar,...PRODUCTradio,...pen,...watch,...PERIOD+PRODUCTjan,…,radio..,jan,…,pen...feb,…,radio...mar,…,watch...MARKETeast,...west,...south,...PERIOD+PRODUCT+MARKETjan,radio,eastjan,radio,westjan,radio,southjan,pen,eastjan,pen,westjan,pen,south...mar,watch,westmar,watch,southSALESjan,pen,east,$100jan,pen,west,$200feb,radio,south,$125mar,watch,east,$225SALES+PERIOD+PRODUCT+MARKETjan,...,pen,...,east,...,$100jan,...,pen,...,west,...,$200feb,...,radio,...,south,...,$125mar,...,watch,...,east,...,$225普通优化后的方法RedBrick’sSTARJoin实现方法PERIODjan,...feb,...mar,...PRODUCTradio,...pen,...watch,...MARKETeast,...west,...south,...SALESjan,pen,east,$100jan,pen,west,$200feb,radio,south,$125mar,watch,east,$225SALES+PERIOD+PRODUCT+MARKETjan,...,pen,...,east,...,$100jan,...,pen,...,west,...,$200feb,...,radio,...,south,...,$125mar,...,watch,...,east,...,$225明显的性能增长！57RedBrick的StarJoin和StarIndex多列星型索引的作用DimensiontableADimensiontableBDimensiontableCFKAFKBFKCCUST_NOOUTLET_IDPROMO_CODEFKAFKBFKCDATA

SA001GWEPIZA2UNIT$120TheFACTTable位图索引：RedBrick的TARGETindexSTATE/idnameaddressbillingCOUNTRY1D~~~~~~~~~~~~~~~~~NY2A~~~~~~~~~~~~~~~~~NY3B~~~~~~~~~~~~~~~~~NY7C~~~~~~~~~~~~~~~~~UK8B~~~~~~~~~~~~~~~~~NY9A~~~~~~~~~~~~~~~~~NY1C~~~~~~~~~~~~~~~~~NY6A~~~~~~~~~~~~~~~~~NY5D~~~~~~~~~~~~~~~~~CAN5D~~~~~~~~~~~~~~~~~NY8B~~~~~~~~~~~~~~~~~NY3B~~~~~~~~~~~~~~~~~NY6B~~~~~~~~~~~~~~~~~JAPANTARGETindexoncolumnofhighlyskeweddataRedBrickWarehouseAutomaticallyChoosesAppropriateIndexSub-typeIndexType DomainSizePossValues ExampleUncompressedBit-map Small 2-50 Gender,sizeCompressedBit-map Medium 50-500 Country,StateRow-IDList Large 500-1,000ZIPcode,AreacodeB-Tree Verylarge Unique SS#,Customer#Mixsub-typesonsinglecolumn!59位图索引如何工作CAR1= A 4D LeatherCAR2= A 4D Fabric

CAR3= A 2D L CAR4= M 4D L CAR5= M 4D F CAR6= M 2D L TRANS DOOR SEATQ2:SELECTCARwithAUTO-transmissionandSEATisleather1)BitmapforTrans=Auto: [1,1,1,0,0,0]2)BitmapforDoor=4D: [1,1,0,1,1,0]3)BitmapforSEAT=L: [1,0,1,1,0,1]Bitmap1“AND”Bitmap3= [1,0,1,0,0,0]超级扫描YearProductQuantityFirstuserscanstableSeconduserpiggybacksonscanThirduseraddedLessI/O!1995LargeScreenTV101995StereoReceiver201995CDPlayer501996RolexWatch401996CordlessTelephone101996CassetteTapePlayer301997StereoReceiver201997CDPlayer501995RolexWatch81995CordlessTelephone201995CassetteTapePlayer301996StereoReceiver201996CDPlayer501997RolexWatch401997CordlessTelephone10……..61Informix数据仓库的性能突出的装载功能和性能ElapsedTimeOLTPDatabasesPerformDataConversionLoadDataRowsCheckReferentialIntegrityCreateIndexesAggregateRedBrickWarehouse单一集成的装载过程

InformixRedBrickWarehouse的数据仓库特性

STARindex™STARjoin™

TARGETindex™SuperScan集成的并行装载快速建立索引并行外连接自动汇总自动生成父记录快速分组、排序、分割处理有效子查询处理I/O访问最小化RISQL扩展支持10GBto2+TB的VLDB以及数以百计的并发用户线性性能扩展并行查询处理动态查询优化快速上下文检测索引建立、一致性检测、数据转换同步进行派生索引建立共享宏多层次STARjoin™连续自适应TARGETindex™

混合散列索引相关自查询缓冲WHERE子句优化TraditionalDBMSWithParallelScanWithDSSOption决策支持扩展对数据仓库的优化1Second8Minutes40Seconds1Minute24Seconds建立数据仓库的关键技术数据抽取数据管理数据分析66数据仓库的数据访问和分析数据仓库系统的应用特点事务处理系统以应用流程为主导数据仓库以数据信息为主导数据仓库的多种数据访问方式多维平面应用集成多种系统应用模式传统客户服务器结构Web/Intranet方式什么是联机分析处理OnlineAnalyticProcessing(OLAP)?OLAP使用户在随机的环境中通过不同的角度快速分析数据仓库中的信息：地域分析北美欧洲一月二月CosmeticsPerfumesClothingAccessoriesCosmeticsPerfumesClothingAccessories数据仓库的OLAP多维视角FinancialMgr.ViewProductMgr.ViewAdHocViewSalesMgr.ViewSalesProductTimeMarket69基于关系库的OLAP体系结构ROLAP体系结构:INFORMIX-MetaCubeMetaCube是一种将关系数据库的行和列为最终用户表示成多维“立方体”进行分析的OALP分析引擎QueryToolsDSS&EISOLESQLRowsCubesDataWarehouseRDBMSMetadataOLAPEngineInformixMetaCube体系结构MetadataDataWarehouseINFORMIXRDBMSSchedulerQueryBackAggregationSamplingIncremental

UpdateWebPublishAlerterServerMiddleTierMetaCubeExplorerWebExplorerMetaCubeforExcelPartners,

CustomEISWarehouseManagerWarehouseOptimizerAgentAdministratorClientINFORMIX-MetaCube

OLAPServerSecureWarehouse智能的汇总数据性能优化数据汇总与数据量：TimeDayMonthYearProductBrandCompanyProductRelativeTableSizes

(Greatlyunderstated)选择适当汇总提高查询效率数据采样优化基于采样数据的分析统计平均数、占有率、变化趋势由Informix数据仓库直接提供大幅度提高查询效率10millionrecords20minutes100%accurate10,000samples1.2seconds98%accurate74MetaCubeWebOLAP解决方案MetaCubeWebExplorer通过浏览器进行OLAP操作HTML形式显示结果客户端免维护MetaCube后台查询将耗时的查询提交后台数据库服务器释放前台PC做其它工作MetaCube管理工具图形化数据仓库管理和配置建立逻辑层和物理层数据仓库定义提供向导和检测工具加速数据仓库的创建、维护过程在用户及管理数据仓库的安全性维护特定用户的连接信息设置用户性能及资源调用参数MetaCubeAgentAdministrator作业的提交和管理控制和调度作业流维护作业间依赖关系定义作业运行模式作业：数据装载汇总数据的维护采样数据的维护后台查询SQL命令和操作系统命令Web数据发布预警通知其它...78报表——平面的数据表现需要经常浏览的数据相对固定的关系模式支持Intranet浏览器的访问方式InformixSeagateInfo79与应用系统的集成数据仓库的访问需要与企业级管理系统和其他应用系统集成起来Informix提供基于DCOM的OLAP开发环境能够开发传统客户服务器应用开发基于Web/Intranet的应用80数据仓库系统配置图81Informix在金融行业的数据仓库应用国外FidelityInvestmentsMerrillLynchVISAStateStreetBankFirstUnionFleetBankBankofAmericaSearsCreditWellsFargoLehmanBrothersBacobBankBancOneBeijingSecurityCenterBerlinerBankShinHanBank国内建行信贷97年8月设计，98年初运行客户、合同、项目、机构20GB数据建行人事系统98年采用针对人力分析数据设计模式建行龙卡分析系统(未来)82Informix数据库公司及技术发展Informix针对银行业务系统的技术特点联机分析及数据仓库在金融领域的应用Informix的数据仓库解决方案Informix的技术支持和咨询服务内容提要83Informix的技术咨询服务数据仓库数据仓库快速启动、数据仓库结构设计数据库服务器功能扩展空间、时间序列、消息机制Web数据库应用数据库性能优化系统评估、性能优化数据库应用数据库设计、应用系统移植数据仓库实施过程需求分析和规划逻辑设计和详细分析物理设计和开发系统实现系统产品化评估和反复需求分析和规划确定项目投资人确定核心开发队伍决定数据仓库的内容覆盖范围和关注重点从高层次了解业务运做模式，评估业务的各个角度投资回报分析在高层次调查数据源及有关的问题安排各种培训建立各种文档、包括数据仓库体系结构建立包括项目计划、成功标准在内的初步文档逻辑设计和详细分析进行详细的用户技术会谈确定最终需求及轻重缓急；整理出标准的及随机的报表确定哪些数据可以从事务系统中得到评估各种数据转移的策略分析各系统交接环节确定源数据中孤立的数据元素如何与数据仓库中的定义相联系分析各维中的各个层次产生可行性分析和逻辑模型设计87企业数据仓库的建设思路建立第一个数据集市直接抽取数据仓库/集市为一体获得投资回报建立第二个数据集市复制第一个数据集市为数据仓库为第一个数据集市重建数据抽取过程扩充数据仓库的数据从数据仓库为第二个数据集市填充数据建立以后的数据集市扩充数据仓库从数据仓库向技术数据集市填充数据ABAC物理设计和开发在逻辑模型的基础上在Informix中建立物理模式规划数据抽取和转移策略定义事务数据和数据仓库数据之间的映射评估及选择查询工具评估及选择数据转移工具了解数据质量问题开