数据集市数据架构方案设计

2021

项目工作建议汇报汇报方:XXX工作计划/商业计划目录2业务部需求计划1科技部IT需求2021年度工作概述科技部需求The2021annualworksummary01001信用卡集市改造升级数据架构—加工计量层定位信用卡集市项目背景

XX项目信用卡集市建设基于大数据技术的数据集市、结合数据治理措施，集中统筹管理XX项目信用卡中心业务数据，并从信用卡营销、运营和风险控制的业务角度出发，实现数据管理集中化和规范化，提升面对复杂市场环境和监管政策下的数据管理和决策支持能力，并为后续衍生出更多适应市场变化创新产品提供平台基础，实现数据业务价值挖掘和数据价值变现，为信用卡业务战略决策和高效运营提供准确高效的数据支持，提升行业科技竞争力。信用卡集市定位信用卡数据集市，在BigData基础上，以信用卡、ETC业务驱动为主，数据驱动为辅，建立的一种多层次数据访问服务体系。支持新报表或报表需求变更的敏捷开发、落地支持分行特色业务以及报表的分层级管理信用卡数据集市的特点数据层面业务层面功能层面数据管理层面确定的数据来源采用模型化结构对业务数据进行加工整合减少同类报表间数据的冗余存储和重复的ETL工作实现信用卡、ETC业务的整合以及分类，支持业务按照数据来源进行查询存储信用卡报表计量结果数据分析与报表展现分行特色业务查询报表分层级管理应用展现权限控制建立数据质量检核机制推进信用卡数据质量的改善大数据平台信用卡集市改造信用卡系统其他系统数据源数据安全备份恢复数据校验系统监控数据质量规则配置运营管理数据质量任务监控任务管理数据处理调度引擎数据存储基础数据主题计量数据主题应用数据主题信用卡报表系统行内业务分析报表对外报送报表数据平台DWH整体架构-加工计量主题域整体架构—具体描述源系统数据源信用卡集市现状：信用卡数据集市的数据源为信用卡系统、数据从XX项目DWH平台中接入大数据平台，DWH通过中转服务器给大数据平台下发数据文件。

大数据平台信用卡接口数据将进行数据指标校验以及数据条数校验规则进行程序的加工处理。改造方案：信用卡数据源进行数据目录切换，不在通过DWH进行数据文件下发，将通过源系统目录文件进行数据接收接入大数据平台，跳过DWH平台。与DWH中转服务器连机：落地为文本文件数据存储信用卡集市现状：对信用卡数据集市内的基础数据主题、计量数据主题、应用数据主题等各数据主题进行定制化的存储，可指定关键时间节点存储、时间段历史存储数据交换数据处理数据处理任务由统一大数据平台调度机器人完成来完成，调度工具具备成熟的调度处理、任务监控、任务分析等功能信用卡数据集市加工计量层主题：计量数据主题，进行指标共性加工存储、以供应用主题、进行定制化的存储，可指定关键时间节点存储、时间段历史存储整体架构—系统交互上游系统大数据平台应用服务DWH标准接口文件BigData加载加载ADS联机库信用卡集市ORA联机库说明：针对大数据平台数据集市改造，数据接口将不再接DWH数据文件，直接对接原系统数据目录文件，大数据平台自身进行清洗脏数据后，接入BigData。数据架构—层次介绍基础数据主题存储信用卡集市应用所需的全部基础数据，进行统一的数据清洗、整合、预链接和预加工计量数据主题存储信用卡应用的聚合汇总（计量加工）数据，即从基础数据层加工而来的汇总（计量）数据，基础指标的加工应用数据主题直接用于前端展示的业务数据，依据业务需求，对基础指标进行最终加工，并保存历史数据。数据架构—详细介绍数据存储信用卡源系统数据接口其他系统数据接口数据结构基础每天数据通过日期字段区分数据处理加载源数据文件到BigData库数据文件加载需要配置作业任务数据形式数据库表存储策略保留14天（以业务给定保存策略为准）数据存储对基础数据的聚合汇总、计量加工、基础指标加工等数据结构面向信用卡应用主题建模。解耦合的设计模式数据处理

SQL语句作业运行日志以文件的形式保存数据形式数据库表存储策略存储3-5年历史数据（以业务给定保存策略为准）数据存储基础指标的最终加工直接用于前端展现数据结构基于报表展现的设计数据处理SQL语句作业运行日志以文件的形式保存数据形式数据库表存储策略存储3-5年历史数据（以业务给定保存策略为准）计量数据主题应用数据主题基础数据主题数据架构—ETL处理过程XX项目信用卡数据集市大数据统一调度平台接口文件加载校验加载通信接口基础数据主题计量加工关联代码转换汇总计量数据主题基础指标应用加工汇总关联报表指标应用数据主题校验加载通信接口关联代码转换汇总基础指标关联报表指标数据架构—加工计量层指标项贷款品种贷款产品支付渠道运营管理部风险管理部业务拓展部贷款产品贷款期限最后到期日贷款产品合作渠道贷款区域分类业务维度业务指标放款笔数放款金额应收本金放款渠道进件渠道还款渠道明细类客户明细放款明细还款明细账务差异明细贷款明细逾期金额逾期利息逾期天数逾期贷款明细放款明细还款明细五级分类贷款状态还款方式贷款金额贷款余额到期本金进件笔数、金额放款笔数放款金额累积放款客户数累计放款笔数累计放款金额学历性别年龄城市级别客户明细首期逾期金额累积归还本金催收服务费新增客户数授信笔数授信金额实收本金应收利息实收利息交易成功率贷款期数扣款类型贷款类型进件渠道贷款品种2021年度工作概述科技部需求The2021annualworksummary02002绩效考核改造升级历年常规任务：

①配合对公绩效考核中间业务供数；

②绩效考核填报，审核人员赋权；

③分值报表查看角色调整；

④检查所有填报审批流程；

⑤分值指标填报配合格式修改，添加新指标考核标准配合开发；

⑥配合业务人员分析相关数据指标存疑问题。科技部IT需求—绩效考核平台改造新建贷款考核指标平台：

①建设分支行系列贷款考核指标，按照各部门划分对公条线及对私条线贷款考核制；

②建设县域支行系列贷款考核指标，按照不同部门划分不同业务条线，如：风险部，风险类考核指标；授信部，征信贷款考核指标。

绩效考核指标评分01常规任务_存款02计划实施_贷款010203

建设大数据平台ODS层数据清洗机制；不通过数据仓库下发清洗上游数据文件，上游系统数据文件直接下发中转服务器UP目录下（DOWN目录为数据仓库平台清洗后的下发数据文件），BIGDATA平台直接进行CHECK检测IPM平台中；优点：可跳过数据仓库平台清洗卸载的等待时间。科技部IT需求—运营优化

目前，大数据平台ODS层接入上游系统表1325张，经过分析统计有727张数据表无下游任务使用，接入数据表紧40%使用率；为减轻平台批量任务的负荷情况，①可进行727张数据表下线处理②在不线下的前提下，进行大数据平台时间空闲的情况下进行设置数据刷新同步。优点：减少平台批量任务时间，同样可减轻CHECK任务的排队拥挤，预估可减少批量时间2-3小时左右。

优化ETL任务