无锡农商银行数据治理项目

数据治理项目

科技信息部软件开发中心汇报人：顾琪冰项目简介02项目背景01项目功能03总结0401项目背景业务口径越来越复杂数据质量要求越来越高数据使用范围越来越广产品更迭速度越来越快数据治理全面风险管理客户管理产品创新主动营销项目背景01项目简介02项目功能03总结042016年2018年2017年打下基础稳步提升巨大改变建立全行数据管控体系架构，提高全行数据治理意识编制基础数据标准，建立数据标准管理制度及流程，形成全行层面的基础数据标准编制数据质量规范和管理流程梳理整个监管报送指标优化数据管理流程制方法完成初期大数据平台的搭建，简单应用场景的试用启动数据治理平台建设项目，重建基础数据平台优化数据管理组织架构建立元数据、数据质量、数据标准管理平台完成新数据平台的建设完成大数据风险预警建设数据治理建设阶段02数据治理组织架构02总行数据主负责人数据使用人分支机构数据入人行长室决策层行长室组长：行长成员：各副行长协调层数据管控职能团队财务部：主持管控数据管理工作；统筹制定年度数据管理工作方案与目标；审核、监督及评估相关数据管理方案落实成果；针对重大事项及时上报信息科技委员会；负责全行监管报表统一报送及牵头监管指标体系梳理信息科技部：配合财务相关数据管理工作；为数据和系统责任部门提供数据领域的服务与支持，确保数据管理工作的有效落实；支撑业务部门大数据应用分析与大数据平台的开发执行层数据责任人体系数据责任人体系：在本业务条线内贯彻和落实数据管理政策、制度、规范，并执行数据标准和数据质量等数据管理相关工作；负责对数据相关的业务问题进行澄清；跟踪数据标准执行情况以及数据质量状况，并及时向数据管控职能团队汇报。系统责任人体系：在系统层面落实数据管理政策、制度、规范，并贯彻和执行数据标准和数据质量等数据管理相关工作；跟踪系统层面数据标准执行情况以及数据质量状况，并及时向数据管控职能团队汇报。项目组：由项目经理、架构师、需求分析人员、开发测试人员各角色组成。公司业务三农金融电子银行金融市场……总行业务部门总行分支机构数据责任部门数据管控职能团队配合、协调年度数据治理工作，提供科技领域的技术与支撑支撑业务部门大数据应用分析与大数据平台的开发汇报年度数据治理工作成果制定数据治理工作计划；协调年度数据治理工作；汇报年度数据治理工作成果；负责全行监管报表统一报送及牵头监管指标体系梳理；系统责任人体系系统负责人系统技术专家系统开发维护人项目组项目经理需求分析人员设计人员开发测试人员财务管理部信息科技部数据管理中心大数据管控组支撑数据治理体系框架02数据应用报表服务应用服务数据文件服务数据管理数据管控数据组织与职责数据管理绩效数据控制与流程技术支撑举措保障促进支持支持数据安全管理数据标准管理数据质量管理数据架构管理主数据管理元数据管理数据生命周期管理支持数据战略目标项目背景01项目功能03项目简介02总结04数据治理平台架构03EOD数据总线基础数据层ODS

门户（统一认证、单点登录、角色权现管理）数据仓库ETL公共分析层数据缓冲区（StageArea）ETLETLETLETL财务管理系统信贷管理系统个贷管理系统微贷管理系统资金业务系统信用卡系统客户关系管理个人理财系统个人征信现金管理系统企业征信ECIF综合积分管理综合额度管理国际结算系统抵押品管理不良资产管理源系统人力资源管理系统风险数据集市信用风险市场风险操作风险风险加权资产风险管理监管数据集市EAST征信反洗钱监管合规财务数据集市财务管理预算管理管理会计综合分析管理系统固定报表多维分析灵活查询决策仪表盘产品管理系统电子渠道整合平台ETL统一监管报送核心业务系统1104营销数据集市客户管理客户积分CRM数据挖掘应用系统

库内集市层

分行应用层

分析存储层历史数据区实时决策区非结构化数据处理区非结构化数据外部数据补录数据非现场审计大数据HiveMapRduce分布式架构高效运算大数据量吞吐数据整合数据治理物理架构03数据整合03模型指标客户号统一机构号统一产品号统一员工号统一数据整合行内数据（核心、信贷、、支付、理财等）行外数据（工商、法院、税务、同盾、Wind等）手机号统一配合ECIF完成客户整合03更新客户信息CRM非重要系统CIF模块渠道网银柜面座席手机终端用户认证仅限管理安全管理企业门户营销管理销售管理客户管理知识库服务管理客户视图业务系统（群）核心信贷核算网银理财…数据集成（DW）数据交换-ODS/EDW元数据管理数据存储管理ETL运作管理客户评级个人客户机构客户资产信息事件信息交易信息产品信息联系信息企业内容渠道信息ECIF客户客户经理营销信息更新客户信息更新客户信息客户相关信息客户信息部分客户相关分析结果帐户数据交易数据更新客户信息存储标识管理服务客户信息查询客户信息查询客户信息查询外购系统客户信息（信用卡等）数据模型033NF设计降范式建模优点：

符合数据库规范

数据量相对较少

灵活性高，容易扩展

相对稳定缺点：

实施周期较长

关联较多，性能差

语义抽象

优点：性能较高实施周期短无二义性缺点：稳定性较低扩展性欠佳相互结合容易理解运行高效扩展性好高稳定性设计规范对公贷款模型自主化分析03SAS数据分析工具可视化数据分析工具数据分析数据挖掘决策分析数据报表专业数据分析团队使用，为全行高级分析提供支持将技术语言转变为业务语言，通过拖拉拽的方式实现基本数据分析一个报表所能展示的内容是相对固定且有限的，不同的人看同一张报表，视角或想法都可能是不一样的！业务数据需求多变，数据使用范围变化较大，科技部门落地工作量大。数据分析需要多方配合，业务模型不全，专业化分析没有数据支持。数据分析工具晦涩难懂，对人员要求较高，准入门槛高。数据难以理解，无法转述为业务语言

缺陷智能分析平台展示03数据管控数据标准数据质量元数据数据数据规范数据质量数据形态03部门间协作执行的力度常态化运作重点关注：数据管控是为了内部对数据的需求，提升数据服务水准而制定的相关流程、制度以及相关技术手段，是一项跨系统、跨部门、长期的、渐进式的工作。数据质量管理03实现数据质量检测规则的定义、设置、运行和发现将问题数据通过流程引擎下发到对应人员，监督相关人员处理和跟踪记录问题处理结果，并形成质量知识库对质量问题进行统计分析检核结果质量分析检核字段：OPERATERID记录总数：3397问题总数：285指标趋势分析趋势分析问题数：3问题数：7非空问题：31%长度问题：31%一致性问题：38%类型分析元数据管理03元数据版本管理元数据血缘分析元数据管理是针对信息系统元数据变化的日常管理和维护，有效管理变更的各个环节，建立向相关单位发布变更的机制，从而为数据正确使用提供保障。

数据标准数据标准是数据管控工作中的一个不可缺失的重要环节，它是整个企业层级的规范。前期咨询整理了1723项基础数据标准，在此次仓库模型中落地了212个，同时对部分标准项进行了调整。为了更好的实现数据标准，后期需要