商业银行数据服务平台功能优化项目_总体方案说明书

1、商业银行数据服务平台功能优化项目实施 总体方案说明书商业银行股份有限公司数据服务平台功能优化项目实施总体方案说明书 2020年10月目 录第1章 概述21.1. 项目背景21.2. 项目目标21.3. 项目建设原则3第2章 总体架构方案42.1. 规划蓝图42.2. 统一命名规范62.3. 本期项目总体架构82.3.1. 逻辑架构82.3.2. 数据架构92.3.3. 技术架构102.3.4. 物理架构112.3.5. 运维架构122.4. ODS模型方案132.5. 统一调度监控方案142.6. 统一数据交换152.7. 历史数据存储方案152.8. 备份与恢复设计16第1章 概述1.1.

2、项目背景商业银行的数据服务平台上线已久。正在运行中数据服务平台，已经将商业银行综合业务系统等25个业务系统，近700多张表的重要业务数据进行了抽取和转换，并提供给上层应用。除现有已纳入的数据源之外，随着经营管理的需要，目前每个月底都有新数据源陆续增加到数据服务平台中。数据平台已经成为所有分析应用系统的基础，在众多的业务系统与分析系统间起到了重要的桥梁和纽带作用，为上层应用分析系统提供着源源不断的数据支持。目前，随着数据平台上层分析应用系统项目的改造与新增，参与相关实施的项目组没有统一命名规范、开发规范，在投产和运行中时有，对系统的软硬件资源的争抢和阻塞冲突时有发生，且由于各项目组数据模型分层及

3、命名不统一，造成日常运维及故障定位不便。当前商业银行的数据标准与EDW咨询项目已经启动，在对全行业务系统数据梳理的同时，制定和规划着全行的数据标准以及企业级基础数据平台，EDW实施在即。着眼未来，现有数据平台的ODS在架构规划与功能定位上应结合数据标准与EDW 咨询项目，在统筹兼顾的前提下明确本项目的分工，保证本期项目的实施范围可控，共同从全行数据的加工、流转、存储、使用上考虑周全，进一步趋于合理化。这样既有利于现有上层应用分析系统持续提供服务，又有利于后期企业级基础数据平台的建设。1.2. 项目目标针对目前数据服务平台ODS进行功能优化，实现以下目标：u 结合数据标准与EDW咨询，在企业级基

4、础数据平台架构下，配合稍后即将建设的EDW，保证现有数据平台之上的应用分析系统持续服务的前提下，规划ODS新架构、制定ODS统一命名规范、开发规范、测试规范、数据交换规范、历史数据存储规范，并逐步物理落地。u 对ODS模型进行分层，新层次由ODS技术缓冲层、ODS基础层、ODS共性加工层、ODS应用集市层组成，使设计、开发、测试、数据使用、运维等过程的清晰明朗； u 增加统一数据交换，减少数据重复抽取对源系统、网络、运维、存储的压力，减少重复开发，降低各系统间耦合度；u 增加历史数据存储，改善目前应用系统，分析、设计、开发、测试阶段样本数据获取困难，以及系统出故障后长时间追数的现状；u 改造统

5、一调度监控，使之效率更高、操作更便捷，更人性化；u 对现有系统进行整体优化，提高运行效率，使现有数据平台在优化改造后，现有应用分析系统可持续使用，与EDW及各应用分析系统在架构，数据的加工、流转、使用上合理融合，改善运维操作；u 为EDW的实施及上线做好数据积累及投产后持续供数能力。通过本项目方案的实施，最终实现灵活、高效的基础数据服务平台，最好的为业务人员提供完善的数据服务。1.3. 项目建设原则本项目方案设计、建设原则将体现在规范性、开放性、先进性、实用性、可靠性、扩展性、安全性、软件开发管理八个方面，使得有限的资源以较有效的协作方式共同发挥效用。第2章 总体架构方案2.1. 规划蓝图本次

6、优化综合数据平台问题现状，结合商业银行数据标准及EDW咨询项目，从企业级基础数据平台规划出发，本着想大做小的原则具体规划本次ODS优化的范围，以及后续部分的分步实施路线。此总体架构方案将由统一数据交换、通用文件传输、ODS、EDW、集成信息服务、历史数据存储、统一调度监控管理、统一数据管控8个部分组成。u 统一数据交换负责整个企业级基础数据平台内部、以及基础数据平台与其上、下游系统之间的数据传递交换，是基础数据平台对外数据交换的唯一出口；主要以数据文件形式为载体实现数据交换，也包括库对库的直接接入和接出；同时还会以数据文件形式保留近期的数据，并可以基于数据文件进行简单的加工；当数据以文件形式对

7、外进行数据交换时，将通过通用文件传输子系统对外传输。u 通用文件传输负责整个基础数据平台对外进行文件型数据的传输，文件型数据统一将从统一数据交换的存储区经由通用文件传输进行加密、压缩等处理，传输到接收方的数据文件服务器，然后再解密、解压恢复成可以直接使用的数据文件。按照目前商业银行的规划，类似系统正在筹划和开发建设中。u ODSODS是以数据库的形式存在的一个数据集成区，偏源结构建模，适合于数据整合度较低、时效性要求较高、且又不适合基于简单的数据文件进行加工而获得的应用；可以以开放数据库直接访问的形式对外提供服务，也可以直接将数据交换给下游应用自己的数据存储，如是后者，则交由统一数据交换完成并

8、作为唯一出口；按照整体规划，ODS子系统将包含ODS数据存储模块、ODS处理模块两部分，而其中ODS数据存储模块又包括ODS技术缓冲层、ODS近源模型层(ODS基础层)、ODS共性加工层和ODS应用集市层，是整个基础数据平台的其中一个对外提供数据服务的核心，而ODS处理模块则主要是将针对各数据层中的数据库表进行数据加工转换处理，并交由统一调度监控子系统进行统一调度。u EDWEDW(数据仓库)是以数据库的形式存在的一个数据整合区，主题模型化建模，适合一些数据整合度较高的应用；可以以开放数据库直接访问的形式对外提供服务，也可以导出数据文件提供给下游应用，如是后者，也将交由统一数据交换完成并作为唯

9、一出口；按照整体规划，EDW子系统将包含EDW数据存储模块、EDW处理模块两部分，而其中EDW数据存储模块又包括EDW技术缓冲层、EDW整合模型层(EDW基础层)、EDW共性加工层和EDW应用集市层，是整个基础数据平台的另一个对外提供数据服务的核心，而EDW处理模块则主要是将针对各数据层中的数据库表进行数据加工转换处理，并交由统一调度监控子系统进行统一调度。u 集成信息服务集成信息服务是整个数据平台中，以数据库形式对外提供服务的唯一发布窗口，集成信息服务将EDW和ODS中可以对外提供查询服务的数据配合权限设定发布出来，以供业务部门用户根据自己的需求进行随机查询。u 历史数据存储历史数据存储将主

10、要负责存储超出统一数据交换、ODS、EDW三个子系统各自生命周期的远期历史数据，便于较远期历史数据的检索和查询，同时降低存储成本；历史数据存储可以采用多种不同的方式进行混合存储，包括容价比比较便宜的数据库、文件形式数据、以及带库离线存储等。u 统一调度监控负责整个基础数据平台所有数据加工、传输任务的统一调度和监控，包括统一数据交换的作业、ODS的作业、EDW的作业等，均由统一调度监控进行统一管理。u 统一数据管控主要实现整个数据平台的数据管理功能，包括元数据、数据质量、以及代码标准化的管理。规划中的企业级基础数据平台不仅能向集中式的下游应用提供数据支持，也能够实现对分行的数据分发和数据发布。按

11、此规划，基础数据平台将成为全行唯一的BI系统数据的来源和供应方，对外提供数据服务的将有4个部分：即统一数据交换、ODS、EDW和历史数据存储。2.2. 统一命名规范对于规划蓝图中各部分将采用统一命名规范：简称英文名称中文名称HDSHistory Data Store历史数据存储ODSOperational Data StoreODSEDWEnterprise Data WarehouseEDWUDEUnitive Data Exchange统一数据交换USMUnitive Scheduler And Monitor统一调度监控UDGUnitive Data Governance统一数据管控UF

12、TUnitive File Transfer通用文件传输服务OTLODS Technology Buffer LayerODS技术缓冲层OMLODS Model LayerODS基础层(近源模型层)OCLODS Common Machining LayerODS共性加工层ODL_商业XODS Data-mart Layer(其中商业X为具体集市的3位缩写名)ODS应用集市层ITLEDW Technology Buffer LayerEDW技术缓冲层IMLEDW Model Layer/Integrated Model Layer因为EDW采用整合模型,所以EDW各层均采用I开头)EDW基础层(

13、整合模型层)ICLEDW Common Machining LayerEDW共性加工层IDL_商业XEDW Data-mart Layer(其中商业X为具体集市的3位缩写名)EDW应用集市层URLUDE Raw Layer统一数据交换原始层USLUDE Standard Layer统一数据交换标准层UPLUDE Process Layer统一数据交换加工层2.3. 本期项目总体架构2.3.1. 逻辑架构在逻辑架构中，本次ODS优化项目涉及规划蓝图中的ODS、统一数据交换、历史数据存储和统一调度监控4个部分。2.3.2. 数据架构本次ODS优化项目中将涉及统一数据交换、ODS、历史数据存储三个子

14、系统中的数据流转及数据存储。2.3.3. 技术架构技术架构说明如下：u 统一数据交换 文件存储模块：采用符合行内规范的共享存储设备。 文件处理模块：采用DataStage。u ODS区：采用IBM DB2数据库。u 历史数据存储：采用符合行内规范的共享存储设备+磁带库方式。u 统一调度监控：采用ETLPLUS调度监控工具实现。2.3.4. 物理架构针对上述物理设备的逻辑化架构图分解如下：2.3.5. 运维架构运维架构包含两个层面的内容，一是运维管理团队及规章制度，即需要建立运维管理团队，详细制定运维管理团队中的角色及职能，制定规范审核机制，对团队人中进行规范培训，并设立专门角色对规范的执行情况

15、进行监督；二则是具体的运维管理的流程闭环，即从日常运维管理，到服务基线管理，再到系统性能工艺优化，最后到设备容量管理直至系统扩容，然后重新开始新一轮的日常运维管理、性能优化、直至新一轮扩容，系统将一直处于这种运维管理闭环中。2.4. ODS模型方案ODS数据存储模块主要以数据库的形式来存储数据，所以数据库中的数据模型在基础数据平台的建设中具有非常重要的作用，是建设基础数据平台的核心基础，一个好的、合理的模型会方便应用使用，容易理解，同时节省存储空间，提高查询效率，所以模型的好坏可能直接成为决定数据平台建设成败的一个关键因素。模型的设计，将按功能将数据层次划分为技术缓冲层、近源模型层、整合模型层、共性加工层和应用集市层共五个功能层：各功能层规划、数据加工将参考相应的原则与活范。2.5. 统一调度监控方案将主调度Server与DataStage Server剥离，避免ETL服务器压力过大，调度系统因数据库访问不稳定造成的不可控；通过对作业统一梳理，减少数据的重复加工，对任务定义及层次划分规范化，对并行度、作业优先级、批次划分、进行优化，对调度监控前台进行优化2.6. 统一数据交换统一数据交换将由文件存储模块、文件处理模块两个子模块组成。文件存储模块功能划分为三个逻辑层：原始层（URL）、标准层（USL）、加工层（UPL）。文件处理模