数据平台系统项目-技术方案

I/152I/152数据平台项目TOC\o"1-5"\h\z1.1fllfn11.2项目背景113项目目标1第2章系统建设规划32.1项目建设目标的理解32.1.1项目建设范围32.1.2项目建设内容32.2分行数据平台的建设目标42.2.1分行数据平台一期建设目标42.2.2分行数据平台二期建设目标5第3章整体设计方案53.1系统设计方法论53.1.1方法论53.1.2设计原则63.2数据平台技术体系113.2.1数据平台逻辑架构113.2.2数据采集设计143.3数据平台数据体系193.3.1数据架构设计193.3.2数据模型设计213.3.3灵活查询功能架构293.3.4数据备份与恢复293.4数据平台应用体系313.4.1统一报表平台32nn/1523.4.2数据图表化展示823.5数据平台设计关键点903.5.1数据平台性能保障903.5.2时间窗口983.5.3备份策略993.5.4数据模型的历史数据存储993.5.5源系统变更影响分析101第4章软件及推荐硬件设备配置方案1024.1系统软件方案1024.1.1统一报表平台103/152入数据的组织权限、业务权限和数据权限的全面控制。支持多种录入方式，包括页面录入和模板录入，支持数据入库的审批流程。使用检核规则实现对录入数据的爭件处理，可对数据新增前、新增后、修改前、修改后等爭件关联检核规则，以便对数据进行有效性数据检查、数据平衡校验等操作。数据录入模块服务于各部门、各机构的数据录入人员。4.L.4.1支持主流关系型数据库数据录入模块的数据源支持主流的关系型数据库，如Oracle.DE2、SQLServ亩等。L.2灵活的录入与査询方式系统提供界面录入与批量导入两种录入方式，保证用户输入的准确性和高效率。对于录入失败的数据，用户还可查看其错误信息。讦亍［嘶I界面录入用户也可以卜•载批量录入模板，按模板样式填好数据之后，可以将批量录入文件上传至服务器并导入文件中的数据。DEGM1AlAKHiTN:0I23-456789101112£|141516171619勿21叵23DEGM1AlAKHiTN:0I23-456789101112£|141516171619勿21叵23242S不27方8530313212IDAPPIOIDSSVALUESCORELOCATIONMOTES如架筍人做探趙出;r-格捋走的区赣，裕修茨;s—絡的科效区&範出：书二恪注释乂0—滋电、1一修改.2-»M\为摆录入/|<批呈录入模板如果管理员将录入任务定义成不需要审批的状态，那么录入员将数据写入临时数据后,就可以直接将它们提交入库。用户可查询录入任务的正式数据和临时数据。可对录入任务的各个查询字段输入条件来筛选数据。数据录入VALUESCORE查冯便垃|临励抵vW胡肉揺为在临时茯申舸畑,正式菽績筠用尸妄莎入的目际杀7刑群）呆入日期当31状玄亲君交V囲定取渭录入数据查询查询临时数据时，还可以对“未提交”或者“不通过”的数据进行审批操作。数据录入名称数恬录入右级1000000DO发祁日期2008-03-14-主伪工JDAPP1DID5SWAUJESCORELOCATIONNOTES齢共滋记3J7f^：1/110靭页转册1页i谤一.瓦-rI-5J士b-貝剔翻ga雄交弼*提交审批2.4.3增强的数据安全性录入任务可以按照角色、机构进行授权，未授权用户无法进行数据录入。录入任务支持数据审批流程，只有审批通过的数据才会正式入库，以防止数据的误操作，增强数据安全性。3.1录入任务分发录入任务支持对角色、机构授权，只有授权用户才可以进行输入录入与审批。任勢分发E务分*testlll2009-10-105An：=^g」W先祝处女五a融色少角e自厂初录林娄三2厂丹夕▼任灵丈丈厂补亲我e丈厂习厂sr加芳的丘另迤！fit棹匕界软®«机敦不准f^iua削为:弟自1&定免色的用户4W以审处机1购舫伤轨3入越£；M怜&錄应出編则为：《nr«i宣龟ec揃宣it杵的用户才可u击・乂相□下a核枚*入独・》卡翕WF如11A».«Rff1取瘠工0筋以r工」恥行jiu.rrM^aJT1毀分行£CjT厂卅牙百1哦工IIM'录入任务下发录入任务审批用于对用户录入的临时表数据进行审核及入库操作。用户录入的数据存放在临时表中，需要对临时表数据审核之后，才可以正式入库。数据审批数据审批LL.3.3数据正式入库数据审批通过以后就町以将数据提交入库了，入库的时候可以单独提交某个录入员录入的数据，也可以提交全部录入员提交的数据。如果发现审批通过的数据有问题可以进行重新审批，此外审批员还可以浏览他审批通过的数据。录心ttffrid?速过200809-1114:13:30r'拒丈?、住&谢宛录入任务审批下一页11丘后一页|鳩|上一页共1養10录贡£：1/1J10条须转刮羽1金SB入阵|忌刚提交入库2.4.4支持事件式多表同步更新支持数据新增前、新增后、修改前、修改后、入库前、入库后等事件处理，通过将事件与检核规则绑定，町实现多表同步更新或数据转储等操作。检核规则支持存储过程、正则表达式两种类型。录入任务管理步:H弓前话RH二步••疋创录入录入任务管理步:H弓前话RH二步••疋创录入磴询目：r-y利绘&寻蚀迩?；'V城循V世过值:莅务分e•任易分龙后入芹后关闵令絃編則M忘由口录入任务检核规则设置管理检核规则管理检核规则有两种类型：存储过程、正则表达式，是用于对录入数据进行合法性检核而定义的规则。存储过程类型的检核规则必须要有输入参数和输出字段，其中输入参数得到需要检核的数据的值，输出参数返回检核结果的标志位。管理员建立录入任务的时候，可以在检核规则设置界面设置录入的数据所对应的检核规则，可以设置数据入库前、入库后、修改前、修改后等各种检核规则。检核规则管理名粉査拦戲逢铉孩现刖正JW衣达衣够娩？QUIA共1条记录刃次：：!八史10第顶转到第1页go刷址检核规则管理2.5报表管理(Report)报表管理模块提供对主流BI报表工具的封装与支持，将BI报表工具制作的报表进行无缝集成，并提供统一的报表组织与授权功能。支持的EI报表工具包括：Cognos、BO.BIEE、Hyperiono通过报表缓存功能，以空间换时间，加快了报表的展现速度，增强了用户体验。通过与任务管理模块相结合，可以对报表进行定时调度，还可以将报表的展示结果以邮件或FTP的形式主动推送给信息订阅者。报表管理模块服务于中级信息消费者和一般信息消费者。2.5.1提供统一的报表管理方式报表管理模块提供对主流前端展示工具报表的支持，如Cognos、BO、EIEE、Hyperion等。使用不同前端展示工具定制的报表，在报表展现模块中展示时，仍可以使用其原来具有的功能，不会受到影响。报表管理模块能够将各种前端展示工具制作的报表，和第三方报表进行无缝集成，屏蔽了EI工具的差异性，使得用户感觉不到多个异构系统的存在，并提供了统一的报表报表资源管理方式，能快速检索、获取到自己所需要的报表，并以统一的方式对用户授权。对于符合J2EE架构，并且支持RIDP集成规范的第三方报表，如JSP报表，同样能够快速的集成到报表管理模块中来进行统一管理。统一的报表服务器管理

提供对EI报表工具（如Cognos、BO、BIEE.Hyperion）的连接参数信息的设置，包括：IP地址、入「I路径、网关、登录用户和密码等。RIDP通过“报表服务器”将BI报表工具按照统一的接II纳入到系统中来，其他模块可以对报表服务器的资源进行引用，例如发布报表到公共报表中为用户所用。报表服务器管遲拓惫偃多匝熬ii如m新連报闕务器】眈址备辻綁t斑条记录琢小”页io釦克甘砂e1页U0吏一"±--T--斤“一：斤戯报表服务器管理统一的参数模板管理每个参数项对应界面上的一个控件，用于对报表输入参数、数据录入字段进行赋值。参数项类型包括：口期、文本框、下拉列表.数据树、隐藏域等。参数模板是对参数项按照用途进行分类，每个参数模板包含了多个参数项。，隔0屯消泾性名|匡性值，隔0屯消泾性名|匡性值別玻里艾工庭但癸型主曲足时见a涎|参籾民件編辑区*4|右强示信息备注備息斤性名Irstiis孑邺裾口gdC）SVlS_QUERr3二5川5花卡骐&J二suisAfitt®J二渕洞曲伽濒计旳标习二suisSlSffi®sCCB.CfA.iCSO樓粒/参颈H录区域|W历史科目*蘇习历史耳也琳初匸总夜E历史谗或吏旬W历史T広43方44朋如厂出工ja性名丨泾性倩更板妙狡目灵毘性编借区战|G2参数管理在发布带参数的报表时，需要为报表指定参数模板。

报未发布在执行报表时，RIDP根据报表对应的参数模板，为模板包含的各个参数项形成输入控件，从而动态生成报表的参数录入提示页。谆昏产负倍表（固定格式）HTML丽7生盛拐夜化业定制报杰缓存设胃参数提示页统一的报表发布方式将报表服务器中的报表发布到公共报表中。发布报表时候可以为报表指定发布路径以及参数模板，以形成参数提示页面。

报表发布报表发布5.1.4统一的报表资源管理报表资源管理功能用于对公共报表目录，已发布的报表进行管理，町维护公共报表目录，每个报表发布时，都会对应一个报表存放目录。对于已发布的报表，可以修改其所属目录、对应的报表服务器、资源路径等内容。ERP.GLH1S•汪那下&怎小人JM'IWERP.GLH1S•汪那下&怎小人JM'IW农俗2燈下&怎小人JM'IW农俗2燈0穩试目fA心希型片杖,•UJC却a1*20砂舷-上虑日录t-1ISjH0<O€f(lXO3fn^—OLNjdJrt?]W€0(Xt[O<U»^•个人代艮刊已明its|甌Ha报表资源管理4.L.5.2调度式自动执行报表报表调度是使用REDP的任务管理的功能，设定报表定时调度作业，代替或帮助用户执行报表作业，可产生相应的报表出版物，并可将出版物发送给相应的用户（订阅者）。

備资产总量结构表汨期——2007-03-22—*选择机构*币种J用单位■*机构层號1一级分行二1下一步取消报表调度1报表调度2L10.2指标管理2.1指标逻辑架构

指标发布与共享模块指标信息发布与注册丨指标数据定制J指标共享丨指标服务管理J基础指标管理模块派生指标管理模块基础数据模型维度组合关系度量组合关系维度度量关系基础指标规则基础指标信息派生指标数据基础指标数据厂厂SS狀基础指标管理模块派生指标管理模块基础数据模型维度组合关系度量组合关系维度度量关系基础指标规则基础指标信息派生指标数据基础指标数据厂厂SS狀标析块指分模厂Jy丿系统管理L10.2.2指标数据流程指标数据流程图明细数据〔卖出回购佶息）（对公贷款明细J（个人贷款酊细）（个贷还款计划）（信用k佶总）O指标数据流程图明细数据〔卖出回购佶息）（对公贷款明细J（个人贷款酊细）（个贷还款计划）（信用k佶总）O……D（总账匸档）（同业信息）（债券信息）（期权佶恵）（主熬账户信息3（彷款账户信思》C保证金账户信工9（总脈汇总）邮僞银行行内系块&

外部

数据数抓文件落地区給血汇汇总）轻度汇总数据（按直）ftH玆汇总）监符报送）派生指严数寳L10.2.3功能框架指标应用元数据管理

指标浏览指标运算

指标引藥配置指标应用元数据管理

指标浏览指标运算

指标引藥配置

运算日志维度管理维度定义

扩展维成员定义指标管理指标源定义

派生指标定义指标库管理指标库定义指标库浏览RIDE基础框架RIDEFramev/ork

逻辑系统管理

数据集管理

报表服务器管理指标引擎指标优化器

指标分类器

指标运算调度指标运算器指标回写器0.2・4指标引擎4.L.1指标引擎框架指标引擎是为了满足系统自定义指标的需求，根据指标平台中业务人员自定义的指标公式对基础指标进行加工处理，生成满足业务人员或其他系统需求的派生指标。指标引擎流程介绍公式对基础指标进行加工处理，生成满足业务人员或其他系统需求的派生指标。指标引擎流程介绍.2指标引擎功能指标引擎详细功能介绍，指标ADM计算详细流程，跨主题指标计算方式，指标引擎扩展性，指标引擎数据保证。2.4.3派生指标定义优化器指标派生公式即对基础指标或者派生指标进行包括加减乘除等基础运算和在某几个维度上的汇总运算，在这些计算过程中，可能有些指标公式已存在（可能用户A定义了一个指标Ml,用户E要定义一个指标M2,而指标M2和指标Ml是一样的），指标定义优化器能找出这些重复定义的指标，并作相应的处理，可以对指标的四则混合运算进行优化。2.4.4指标分类组装指标引擎计算前需要对指标进行分类组装，例如基础指标和派生指标的分类组装，不同业务主题指标的分类组装，对指标分类组装后，指标引擎取数据更加直接，需要进行计算的数据存储在一块，提供给指标计算器，提高取数效率。2.4.5指标运算调度器指标数据准备完毕后，调度器启动指标计算器，调度器分为触发队列和定时队列，触发队列存储带有触发条件的作业，例如源系统数据到达触发条件；定时调度队列存储需要定时调度的作业，例如需要每天晚上12点钟调度的作业。指标引擎调度器

L.6指标运算器指标运算器是指标引擎中的核心部件，指标计算器具有并发性，可同时启动多个指标计算器进行计算，每个指标计算器启动后首先申请系统资源，载入计算公式；上述步骤就绪后就开始计算。计奠公式指标数

据计莫管理指标计算线程池折标生成子模块侨文件DirectPathLoxd丞成后就开始计算。计奠公式指标数

据计莫管理指标计算线程池折标生成子模块侨文件DirectPathLoxd丞成FZfl指标引擎调度器2.4.7数据回写器数据回写器采用两种方式，方式一是采用生成文件的方式，文件生成后采用SQLLoader方式加载入库：方式二是采用高速数据流直接入库的方式加载数据。2.5指标管理指标管理定义了基础指标和派生指标的数据来源、基础属性、其它属性。为派生数据加工做好了工前准备。分为基础指标源定义、基础指标查看、派生指标源定义、派生指标查看、派生指标管理五个部分。其中基础指标源定义、派生指标源定义、派生指标管理用户角色为逻辑系统管理员。基础指标查看、派生指标查看用户角色为普通用户。指标管理模块支持指标的导入导出功能。记录指标定义、发布、使用、修订和删除等功能的口志，记录从指标的定义到指标的停上使用的全过程，提供指标生命周期分析和管理使用。2.5.1基础指标信息维护基础指标共分3部分：总账基础指标，常用基础指标和特殊基础指标，主要特点是直接通过后台存储过程加工出来的指标，都叫做基础指标；基础指标基本信息维护功能供用户对基础指标的基本信息进行维护。用户可通过查询条件查询自己关注的基础指标，并对其基本信息进行修改、删除等操作，也可新增一条基础指标信息。IWM|MTWIf.腴E砒.沁Lv24□创5mwsiF•fiwnR2W0Wn:x«amiij)!WMOX3MI-0IIWM|MTWIf.腴E砒.沁Lv24□创5mwsiF•fiwnR2W0Wn:x«amiij)!WMOX3MI-0I2WJ26妙知^-12-31EgW-I2-H1L3：•:«•w我.wab:…：.：2MMI-0!2002-2010cmcH3MOJJ纵他血ex依c«J>'$»HlE6KU±®«•分WMlft2376aU上砍号：11O_BUM_?C6?2.5.2派生指标信息维护派生指标：通过基础指标或者派生指标加工得出的指标为派生指标，其计算结呆需要指标引擎统一进行计算得出指标数据:派生指标基本信息维护功能供用户对基础指标的基本信息进行维护。用户可通过查询条件查询自己关注的基础指标，并对其基本信息进行修改、删除等操作,也可新增一条基础指标信息。目e，笑才呂扶仪櫛…0色疗曲贸牝农•n与酣1世一题r目e，笑才呂扶仪櫛…0色疗曲贸牝农•n与酣1世一题r。85幺环与虫砒逞一液伪心•二氏艾*建与运怖&-卿”用币）♦。珈么耳歌-41衣±?.百題一只石rJ个人隽默一斥仪■n岂”或咬吏化9门£E目3TW?畑化,±?.梵石•=全行曹花羽亏优况另爺$4.0.t-住行匸箋対另彷事♦。知主豪G倍虑*分养去，-护□如齐环号RDXICOIPJK0IC02pjroico)RaXJlUMFJJXICQJPJKOICWgnonRUXICC?PJJXK03BUM!010砲H上删莎各目疗秽人加刪卩各并市*計BmtA那余観m勿繊外币侃!|砖畑方式B从计BA»+«^?xeBBU计口公HR0从计BBuimm二eB从计M^XJXSB~JitWiWcoB^itK^MZS日*?FH53畫心日■祚肉受化汞seffjWjrH*日爱存駝芟仇燕a«ff«»5WK启舸冋201001-012010014)!XHQ01.01201001-013)1001-01201OD14)!XlCkOl-OI2DUMH4H»iaoi.o!201CKJI-OI2COT-12-31沁g2炉」232CW-12-3I2CW-12-312妙.12.312CW.12-312CW-12-31[Tw.n.ji2W-123I共72農记录¥l页坨页THICK155^5亦合C±衍"3?weceIttlrtB去匕W55WTT歹力W92.5.3派生指标公式维护提供用户对派生指标公式进行维护。通过此模块查看、新增、修改、删除、启用派生指标公式。用户可进入指标公式编辑页面，对派生指标公式进行设计。新増而未维护过公式的派生指标的指标默认为T，编辑其公式时可以选择组别不是-1的所有基础指标和派生指标作为其公式子项。定义过公式后，其组别为公式子项中指标最人的组别号加1。

!«饰：••2旳磁-i^BISJW・BTfftfKSftR・=各u淨龙合奔人尺m今簟2O.an»5：人EE**S広存朝并币叙5匕?.日音芳荻土并人眈*WI*"日童歹农人Rlfi：第八©咖訥饰初tn?.用公存•:E幷人貯D«O出n空公柯：人闵币发斛*。朿公存3：幵E*初S匸诊◎耳运乞合并人旦阳衣“O9承豹貝!£$丿、民币余Sa“洌币：第&=解林合并人眈・*的lr匸愴识存®：人EW丽n昵决Uf托杀劄2Q“■存狀匕幷人貯D《DSr-.SW^r人民币窝“⑴?.n■芳奁蚪币初”，£j旅的也合幷人氏币幺越•>n金砂徇巾絃人眈糸的ir?岳超他卩砂外E幺曲■X<W—6.•••e«c中ate庁倉粉有cmvwg?•••e«c中ate庁倉粉有cmvwg?•指泾幻:演聘廉刃■ttlrSV么咖rMrti公丈够止BIfl°POtCOl18禹7衣合弁人页砧第i®«nou：r^MWE:合并人Rrt^ftranwip）勿IMMI2妙血3*増XO2-2O10CEC便议筑冋坎汰±岭T/牙期馴022翊上0行浏芫（S碗关应牛马：l.l.0_&JiW_?Q331、在指标公式展示页面，点击新增，进入公式编辑页面，以树的形式展现组别不是-1的基础指标和派生指标信息，及公式编辑区域。2、点击指标树中指标配置公式子项，如果其组别不是-1则指标只能选择组别比所选主指标组别小的指标信息，否则会提示不可选择，符合条件的指标会显示在公式编辑区的公式列表中，选择的指标是基础指标时，可在编辑区中选择度量类型为子项配置取数度量类型。3、选择公式编辑区的运算符号及输入常数进行派生指标公式编辑，所选运算符号或输入的常数显示在公式信息列表中。4、点击公式显示表中各个子项后面的删除按钮，删除此子项信息。i•'榕£佑总Q2应加用卡I刃正全■贷•。23i•'榕£佑总Q2应加用卡I刃正全■贷•。23处用卡反证主戈£c.etuiniiy哪緘？x*。QB存贷叱■<DM：（存荧牺托仮NCOX）矽生側比內M±?.S123OW如奸伽二圣寸Bfi怖占弟齡也3—転1<.佬总看衣一蒐龙♦三功仝e出^tra-xs一M芳行人尺币目巧瞬戛化丙出/TAtra-XR*上丸黃产頊窝况昭塗人艮币）3药加仝亏叔分祈喪一全令主费巾憤瞬分祈忑习鉗i工班5产牧玄分祈违一全行浜产金侵肿分祈頁「历竝*职与运用U况一政务刃?ft?合并人丘币各初h-■)(I>左用日蝌>010-12-102099-12-31左話么•式•RTOI和】4RXC5OJ]L.4指标权限管理指标权限组是用户和指标之间关联的桥梁，通过指标权限组将不同的指标分配给不同的用

户。指标权限组维护功能供用户对指标权限组的基本信息进行维护和权限组对应指标的设置。用户町通过查询条件查询自己关注的指标权限组，并对其基本信息进行修改、删除等操作，也可新增一个指标权限组。为满足不同权限用户关注不同指标的需求而设计用户权限设置功能。用户指标权限设置功能为不同的权限组分配用户，根据权限组名字快速定位到需要分配用户的权限组，并能显示权限组的相关信息。xnLj用FiXB二厂biwMcF/wwjcxn、_JchmEd*ctwiwnd二厂CohjuiiJAreh^or_lfdttgr皿gzJ—rt\duwykl•jjrftsh^iayo二厂!JCtow7WorOLIBzJrrrrrrrrrrrrrr浄灾必金淞變畑I«rrr