数据架构优化建设项目总体技术方案

中国电财数据架构优化项目总体技术方案2010年4月

中电财数据架构优化项目的应用框架对IT技术基础设施的关键需求中电财数据架构优化的总体设计框架介绍数据架构优化的设计概述数据架构优化的总体方案设计数据架构优化的系统设计数据架构优化的门户集成设计数据架构优化的运营维护设计主要内容未来应用系统的框架设计对支撑其运行的IT技术基础设施的设计提出了关键需求，提出以建设以数据中心为IT技术基础设施核心的设计思想加强数据标准建设是落实集约化的必要基础建立数据交换平台是实现信息共享的坚强保障建立数据仓库是提升管理分析能力的有效手段建立数据仓库系统，提供企业级统一数据视图，在数据仓库的基础上尽量实现对外报送报表和内部固定报表的自动生成；实现自定义报表功能，满足业务部门灵活查询的需求；实现多维分析功能，满足预算集约调控和风险在线监测的要求。通过数据标准的制定和管理，对统一公司范围内所涉及的各项数据的定义与业务含义的解释，达到业务数据定义和使用的一致性，促进信息集成具有重要意义。数据标准的制定和执行可以实现全公司范围内数据的一致性和正确性，满足财务集约化的“制定和执行统一的信息标准，促进公司各类信息的互相融合“的要求。通过数据交换平台，对不同业务系统的数据进行整合和集成；数据交换平台实现总部各业务部门之间的横向共享以及公司总部与地方分公司和国网公司之间的信息共享，满足财务集约化的”建立可靠、灵活、安全、稳定的数据交换平台“的要求。中电财数据架构优化项目的应用框架对IT技术基础设施的关键需求中电财数据架构优化的总体设计框架介绍数据架构优化的设计概述数据架构优化的总体方案设计数据架构优化的系统设计数据架构优化的门户集成设计数据架构优化的运营维护设计主要内容中电财数据架构优化项目的应用框架对IT技术基础设施的关键需求中电财数据架构优化的总体设计框架介绍数据架构优化的设计概述数据架构优化的总体方案设计数据架构优化的系统设计数据架构优化的门户集成设计数据架构优化的运营维护设计主要内容在进行硬件估算时，充分考虑了未来数据容量和用户数。中电财数据架构优化所需硬件和软件的清单列表数据库服务器（主机,4CPU,16GRam）应用服务器（主机,4CPU,16GRam）ETL服务器（PCServer,2CPU,8GRam）OLAP服务器（PCServer,2CPU,8GRam）Web服务器（PCServer,2CPU,8GRam）磁盘阵列（600GB）开发测试服务器（主机,4CPU,16GRam）注：以上服务器仅是数据仓库应用系统理想情况下的配置，实际配置时可以根据系统性能要求，把若干项功能组合起来，由一台服务器承担。数据库软件（Oracle10GRAC）ETL产品（Informatica-PowerCenter）OLAP产品（Cognos-AnalysisStudio）报表产品（Cognos-ReportStudio）中间件产品（Weblogic-Potal）硬件清单软件清单中电财数据架构优化所需硬件清单列表应用系统硬件配置操作系统用途数据仓库生产环境数据库服务器主机,4CPU,16GRamIBM-AIX5.3/Linux正式环境，安装Oracle应用服务器主机,4CPU,16GRamIBM-AIX5.3/Linux正式环境，安装WeblogicETL服务器PCServer,2CPU,8GRamNT(Windows2003)正式环境,安装InformaticaOLAP服务器PCServer,2CPU,8GRamNT(Windows2003)正式环境,安装CognosWeb服务器PCServer,2CPU,8GRamNT(Windows2003)正式环境，安装Apache磁盘阵列600GB

正式环境,数据备份、归档数据仓库开发测试环境服务器主机,4CPU,16GRamNT(Windows2003)开发测试环境，安装开发阶段使用的Oracle数据库

小计

公共数据管理平台应用服务器PCServer,2CPU,8GRamNT(Windows2003)开发阶段借用，系统上线以后作为数据交换平台使用。Web服务器PCServer,2CPU,8GRamNT(Windows2003)

合计

中电财数据架构优化所需硬件清单列表应用系统产品种类产品名称数据仓库数据库软件Oracle10G(version:10.2.0.1)1CPU,50usersETL产品PowerCenter(Informatica8.1.1)1CPU,50users报表产品Report/QueryStudioCognos8.3BIServerOLAP产品AnalysisStudioWeb服务器产品Weblogic10.1.61CPU,50users

小计

公共数据管理平台Web服务器产品Weblogic10.1.61CPU,50users

数据库软件Oracle10G(version:10.2.0.1)1CPU,50users

小计

合计

中电财数据架构优化基础软件清单及其用途软件类别软件名称说明ETL工具Informatica数据抽取转换和加载工具报表工具CognosReportStudio前端展示工具OLAP工具CognosAnalysisStudio多维展示工具建模工具PowerDesignerorErwin数据模型建模工具数据库Oracle数据库产品中间件Weblogic中间件产品中电财数据据架构优化化项目的应应用框架对对IT技术基础设设施的关键键需求中电财数据据架构优化化的总体设设计框架介介绍数据架构优优化的设计计概述数据架构优优化的总体体方案设计计数据架构优优化的系统统设计数据架构优优化的门户户集成设计计数据架构优优化的运营营维护设计计主要内容一、数据架架构优化的的总体逻辑辑架构二、数据架架构优化的的总体物理理架构三、数据架架构优化的的网络拓扑扑架构IBM通过主导数数据架构优优化建设的的总体设计计，提供业业务需求的的总体分析析和技术上上的总体架架构，为中中国电财未未来持续实实现数据架架构的应用用奠定基础础，为未来来持续发展展提供战略略层面的意意见和建议议。四、数据架架构优化的的数据交换换平台基于中电财财的现状设设计出的数数据架构优优化的总体体逻辑架构构。业务元数据据（账户/客户/交易数据））应用层信息展现层层数据源层企业接口层层数据存储层层。。。。。。营业历史数数据资金历史数数据（与BOS的结构相同同）临时数据区业务基础数数据（账户/客户/交易层事实实表）处理数据（业务规则则/配置参数/中间结果））汇总数据（维表/汇总/账户/客户事实表表）基础及汇总数据区各类中电财财业务的应应用数据资金数据集集市其他数据集市BOS-资金BOS-营业资金结算系系统财务系统信贷系统…操作型数据据存储(ODS是"面向主题的的、集成的的、当前或或接近的、、不断变化化的"数据。)各个业务主主题数据集集市（应用数据据区）资金其他分析。。风险分析营业其他分分析。。财务优化营业账薄查查询优化资金调度展展示室报表资金存款类类报表多维分析灵活查询资金账户查查询其他灵活查查询营业账薄查询统计分析分析预测现金流量预预测其他分析预预测融资计划预预测信贷分析资金准确性性分析其他多维分分析营业结算量量分析管理提升其他应用银监会1104类报表其他业务报报表。。。客户业务人员决策人员分析人员管理人员用户访问层层—中电财企业业信息门户户(EIP)固定报表多维分析商业智能平平台……财务系统资金结算CPFBOS临时数据区区基础数据区区汇总数据区区应用数据区区数据仓库Oracle10gR2RAC灵活查询数据抽取、、转换、加加载（ETL）……ODS其他部门应用分析数据交换平平台业务务主主题题客户户管管理理财务务管管理理信贷贷管管理理风险险管管理理资金金管管理理分析析预预测测数据据导导出出PDFXLS数据据管管理理人人员员营业业结结算算...手工工数数据据依据据中中电电财财总总体体逻逻辑辑架架构构，，我我们们整整理理出出分分层层次次、、可可扩扩展展的的总总体体物物理理架架构构图图。。IP千兆网应用层SAN存储网Web负载均衡Firewall总公司B/S用户总公司B/S用户分公司B/S用户IP千兆网IP千兆网总公司DW数据库服务器器集群总公司报表数数据库+分公司报表数数据HA历史数据管理平台HDS(历史数据备份份)存储阵列总公司分公司总公司规则设设置工作站调度管理工作作站Web服务器应用服务器总公司报表集集中部署平台总公司报表展现功能分公司报表展现功能ETLInformatica8.3远程维护工作作站调度服务器UAAP统一认证Web层用户层数据库层存储层基础设施架构构基于中电财的的技术架构规规划的网络拓拓扑与硬件部部署数据交换平台台的现阶段与与未来实现FactTableFactTableProductProductDimensionDimensionTimeTimeDimensionDimensionAccountAccountDimensionDimensionGeographyGeographyDimensionDimensionIndustryIndustryDimensionDimensionAccountTypeAccountTypeDimensionDimensionFactTableProductDimensionTimeDimensionAccountDimensionGeographyDimensionAccountTypeDimensionIndustryDimension数据交换平台数据源现阶段现阶段，基于CPFBOS的各业务主体资金相关业务主题营业相关业务主题信贷相关业务主题预构建的基于角色的报表&仪表盘2000+报表，组织在200+页面中，涉及50个流程交互式用户存取界面针对所有用户的门户即席查询/编制工具即席查询+各个部门应用构建标准化的基础数据区数据层次&数据关系口径统一的公共数据账户管理信息、账户活动信息。。。7000+预构建的对象，2300+度量,5000个维基础数据下一阶段中电财数据架架构优化项目目的应用框架架对IT技术基础设施施的关键需求求中电财数据架架构优化的总总体设计框架架介绍数据架构优化化的设计概述述数据架构优化化的总体方案案设计数据架构优化化的系统设计计数据架构优化化的门户集成成设计数据架构优化化的运营维护护设计主要内内容一、数数据架架构优优化的的系统统接口口设计计二、数数据架架构优优化的的系统统应用用设计计三、数数据架架构优优化的的数据据层次次设计计IBM通过主主导数数据架架构优优化建建设的的总体体设计计，提提供业业务需需求的的总体体分析析和技技术上上的总总体架架构，，为中中国电电财未未来持持续实实现数数据架架构的的应用用奠定定基础础，为为未来来持续续发展展提供供战略略层面面的意意见和和建议议。四、数数据架架构优优化的的ETL架构设设计接口灵灵活度度解决决方案案综合合考考虑虑中中电电财财未未来来的的业业务务发发展展以以及及IT系统统新新老老系系统统的的演演进进，，我我们们从从系系统统设设计计层层级级充充分分考考虑虑接口口的的灵灵活活度度，，确确保保在在外外围围系系统统变变化化更更替替过过程程中中，，对对于于本本系系统统的的影影响响程程度度最最小小，，并并能能做做到到快速速应应对对外外围围源源系系统统变变化化。。外围围源源系系统统通通常常的的变变化化类类型型接口口灵灵活活度度应应对对措措施施一、新增增数据源源系统由于业务务发展需需要,新建的业业务系统统,而且也需要作作为信息息披露或或财务分分析与预预测的数据源二、新老老系统的的逐步割割接最复杂的的情况是是按照分分行逐步步割接,在并行期会出现现部分分分行的业业务在新新系统,部分在老系统统三、源系统自自身的升升级改造造源系统的的升级改改制,也有可能能造成对对提供的数数据接口口有影响响措施一:架构设计计层级,采用中间间层标准数据据模型,隔离数据据源发生生变化对于整个个系统的的影响措施二:采用新旧旧线数据据来源配配置表,通过参数数化配置置来应对对新老系系统逐步步隔接问题题措施三:采用专业业ETL工具(Informatica),通过参数数配置调调整快速速应对接口口变化接口灵活活度解决决方案-措施一:架构设计计层级,采用中间间层标准准数据模模型,隔离数据据源发生生变化对对于整个个系统的的影响基础数据据区为标标准数据据模型，，是综合合金融行行业主流流的数据据建模方方法,并结合IBM项目经验验,确保标准准数据模模型能够够应对未未来中国国电财业业务发展展,并在标准准模型中中预留足足够的扩扩展字段段来应对对未来的的需求.架构设计计中采用用标准数数据层模模式,将数据源源变动限限定在数数据预处处理模块块内部通过与ODS的接口格格式定义义,预先考虑虑接口变变化需求求,预留一些些将来可可用的扩扩展字段段接口灵活活度解决决方案措措施三三:采采用专专业ETL工具具(Informatica),通通过参参数配置置调整快快速应对对接口变变化以图形化、参参数化等直观观方式，实现现快速优化调调整，应对对数据源结构构发生变化。。管理应用层报表分析预测测信息展现层和和信息发布门门户其他应用加工工各个业务部门门资金业务数据据集市数据集市营业业务数据据集市WebLogicPotal客户贡献度机构/渠道贡献度产品贡献度CPFBOS资金模块其它系统…数据源层核心类系统数据接口层EAI/ETL即时/批量（日终处处理/每周处理/月度处理）ETL：OracleWarehouseBuilder共享维度临时存储区PA数据库（业务数据，，计算数据、、结果数据））客户户单一一视视图图客户户主主数数据据公共共数数据据开开放放平平台台数据据仓仓库库数据据库库层层数据据加加工工预预处处理理Oracle10GInformaticaPowerCenterCognosBusinessIntelligenceProductions中电电财财数数据据架架构构优优化化的的总总体体系系统统应应用用设设计计架架构构CPFBOS营业模块块资金结算算系统财务系统统NC基础数据据区数据汇总总区中电财数数据架构构优化的的总体系系统应用用中Cognos应用：如如：固固定报表表、多维维分析、、灵活查查询、分分析预测测等中电财数数据架构构优化的的总体系系统应用用中Cognos应用：固固定报报表中电财数数据架构构优化的的总体系系统应用用中Cognos应用：多多维分分析中电财数数据架构构优化的的总体系系统应用用中Cognos应用：灵灵活查查询中电财数数据架构构优化的的总体系系统应用用中Cognos应用：：分分析预预测中电财财数据据架构构优化化的总总体系系统应应用中中的J2EE应用：：如如：数数据补补录、、人工工干预预等模模块基于中中电财财数据据架构构优化化的总总体逻逻辑架架构设设计的的整体体数据据层次次设计计以及及指标标库划划分。。各个数数据区区的用用途编号名称用途说明1操作型数据存储(ODS)ODS是"面向主题的、集成的、当前或接近的、不断变化的"数据。2临时数据区临时数据区用于存储各个业务系统的原有机构的历史数据，包括：资金历史数据、营业历史数据等等，以保留将来在数据层面与原有业务数据进行核对时的原始痕迹。3基础数据区基础数据区用于存储中电财各个业务系统的最基础的数据单元，按照客户、账户、交易、机构、科目、凭证等最基础单元存储，与原有系统的机构不同，为了下一步按照各个维度汇总相关指标作数据准备。4汇总数据区汇总数据区用于存储中电财按照各个不同维度汇总的各种相关基础指标的汇总加工后的数据，对指标计算引擎计算出来的结果进行存储。5应用数据区应用数据区直接面对的是Cognos固定报表、多维分析、灵活查询、分析预测等展现，需要针对不同类型的应用对汇总数据区做出一些合理化的转换存储。6789元数据据管理理平台台功能能元数据据导入入从各种种元数数据导导入元元数据据管理理平台台，供供后续续过程程使用用元数据据分析析依赖分分析通过元元数据据工具具进行行数据据项之之间自自动关关系分分析或或手工工关系系分析析。同同时，，对指指标的的业务务逻辑辑加工工进行行回溯溯分析析，用用图形形化展展现指指标之之间的的关系系及数数据口口径说说明；；影响分析对某一数据据项的更改改，可以分分析到对全全局的影响响，能使业业务或开发发人员通过过系统和应应用的单一一全局视图图，积极地地评估更改改的影响。。可以确定定实施更改改所需的工工作量。元数据发布布应用元数据据管理客户户端，并通通过客户化化的定制，，可以对需需要展现的的元数据分分类显示修改元数据据对需要展现现的元数据据进行相应应的修改浏览查询使用标准Internet浏览器完成成对元数据据的浏览、、查询、打打印、下载载等操作。。中电财数据据架构优化化项目的ETL架构设计:采用专业ETL工具具(InformaticaPowerCenter8)InformaticaPowerCenter8PlatformInformaticaPowerCenter8DataIntegrationHubFinanceDataMartCRMDataMartMFG.DataMartSAP

RDBMSPeopleSofteBusinessSources/XMLMainframeData

WarehouseOperational

DataStorePowerConnectAdditionalServerEnginesSiebel

MQSeries

Mainframe

InformaticaPowerCenter8ArchitectureDesignerServerManagerRepositoryManagerServerRepositoryTargets1-nSources1-nPowerPlugsDataModels中电财数数据架构构优化项项目的ETL架构设计计:ETL工工具(InformaticaPowerCenter8)的逻辑辑架构34数据标准准流程管理理元数据量化指标标数据管理理制度化化代码标准准数据分类类标准数据组织织标准随机状态态发现状态态管理控制制优化阶段段自动阶段段数据创建建数据处理理数据存储储数据应用用数据安全全归档与备备份数据所有有权数据标准准分元数据得得分流程化得得分在中电财财数据架架构优化化的实施施过程中中各个环环节的数数据质量量控制设设计。35中电财数数据架构构优化的的元数据据管理：：采用专业业ETL工具(In