10分钟讲通透银行数据治理该怎么做

10分钟，讲通透银行数据治理该怎么做数据治理是银行数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路，最大化保障银行数据的采集、存储、计算和使用过程的可控和可追溯。本篇文章，作者介绍了银行数据治理该如何去做，包括数据治理有哪些环节，又有哪些误区，一起来看看吧，希望能够给你带来帮助。数据治理的目的是什么？数据治理的最终目标是提升数据的价值。数据治理是一个从上到下的工作，资源的调动，制度的设计、执行、监督，最终都要落实在人上，只有获得组织内部全链条的支持，最终才能取得成效。一、为什么说数据治理是脏活累活呢？数据的收集、治理和管理是个长期的活，需要的资源多，项目周期长，不懂的领导不太明白这块工作的价值和工作量。数据治理长期且繁杂，而且大多数时候很难看到立竿见影的效果，很多坑容易踩到，一不小心就以失败告终，所以经常被吐槽为“脏活累活”。吐槽归吐槽，但数据治理的重要性也不可否认。做数据治理很难，但对于一些正在数字化转型道路上迈步前行的银行来说，这又是一件关系到发展战略的不得不做的基础工程，银行早在10年前已经开始进行数据治理，只是大家的治理的水平和阶段不一致而已。1.源数据烟囱式开发：业务繁多、数据库多而乱，系统与系统之间错综复杂数据库种类：架构经历多次变迁，切换不完全，需要从Mysql、oracle、hbase甚至excle表中跨库、跨实例、跨种类才能获得有效业务数据数据结构混乱：同一字段，类型、命名都不一致文档缺失：无数据库文档或文档陈旧2.变迁系统版本升级：每一次升级都只是掩盖之前的错误，数据治理需要从源头人员变更：梳理过程中的大部分问题最终答案：“不清楚，原来维护人已离职”数据流转：数据从源头经过很多次不规范的同步3.存量各自为政：各业务部门已有自己的统计逻辑和报表，同一指标汇总维度又不一致，梳理、治理、输出还要尽量不影响已有报表结果半途而废：前任都知道数据治理、统一出口的重要性，但只完成一部分就放弃了。问题在于“完成的一部分”有人还在用。二、数据治理闭环1、组织固定的数据治理团队行里分管的领导需要组建一支对数据治理有足够认识、有治理经验、熟悉业务的团队，给予团队有相对的资源和足够权限，得到各部门的全力配合和支持。2、清楚行内数据质量和任务行内的数据采集情况、数据存储情况，数据从分散的系统集中到数据仓库。评估当前数据质量，保证数据完整性、准确性、及时性、一致性、唯一性，明确数据治理的任务和阶段目标。3、规范治理流程和建立制度数据治理团队可以选择从业务流程，也就是数据产生的源头开始，对其进行规范化、流程化、标准化处理，并建立相关业务规则文档，保证业务部门能够在人员流动中保持数据治理意识。4、确认业务指标，划分数据层级在数据治理工作中，对数据进行指标、标签分类非常重要，数据治理团队自己要熟悉业务和各个系统，与业务部门充分沟通，并要求合作为业务数据建立对应的指标体系，划分核心数据指标，进行分类分级。5、建立平台，自动化处理机制治理过程中需要建立自动化治理平台，让业务数据能够自动传输到对应数据仓库中。6、关注异常数据，完善业务系统数据治理团队建立监控预警机制，分析数据质量和异常数据，协调技术人员完善业务系统。7、完善业务数据闭环数据治理团队可以对整个数据治理周期流程进行整合，形成一套完整的“业务-数据-处理-存储-调取-利用-分析-可视化-预警-决策-业务”闭环流程，让数据在过程中不断优化，持续提高数据质量。三、数据治理体系银行数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全及数据标准等内容。1、数据质量一般采用常用的标准来衡量数据质量的好坏：完整性、准确性、一致性和及时性。完整性：数据的记录和信息是否完整，是否存在缺失情况。准确性：数据汇总记录的信息和数据是否准确，是否存在异常或者错误。一致性：多个业务数仓间的公共数据，必须在各个数据仓库中保持一致。及时性：数据能及时产生和预警。2、元数据管理元数据是关于数据的组织、数据域及其关系的信息，通俗理解，元数据就是描述数据的数据。元数据包含技术元数据和业务元数据，让数据分析人员对银行的数据情况一目了然，数据存储在哪里，如何抽取、清理、维护这些数据，血缘关系怎么样。元数据确立数据业务含义可解释性。提升数据整合和溯源能力，血缘关系可维护性。建立数据质量稽核体系，分类管理监控。3、主数据管理银行的数据分为三部分：主数据、交易数据、指标数据。其中，主数据和交易数据合称为基础数据。主数据指银行内一致并共享的业务主体，常见的主数据比如银行的员工、客户数据、渠道数据、产品数据。主数据还包括一些关系数据，它们描述了主数据之间的关系，比如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。4、数据资产管理数据资产管理主要关心数据有没有被合理利用？如何产生最大价值？这些都是数据资产管理关心的核心工作，数据资产从业务角度和技术角度进行合并，输出统一的数据资产分析，向外提供统一的数据资产服务。如何盘活数据，形成数据资产，提供完整的数据资产全景视图，让数据管理部门和业务部门全局、宏观地掌控银行资产动态。5、数据安全数据安全是银行数据建设必不可少的一环，我们的数据都存储在服务器中，需要对数据进行核查、敏感字段加密、访问权限控制，确保数据能够被安全地使用。6、数据标准数据要有统一的标准，保障数据内外部使用和交换的一致性和准确性的规范性约束，通过统一规范，消除二义性。定制统一的数据标准平台，包括字段标准管理，码值标准管理以及字典管理，业务源数据和中台数据统一标准。四、数据治理的几点误区1、数据治理是否要做得大而全不同阶段和规模的银行，数据治理的实施程度会有所不同，一般建设先根据自身的数据状况分阶段进行，避免盲目铺开规模，过程中可调整。2、数据治理是技术部门的事吗数据治理不仅仅是技术团队的事，而银行各部门一起协作完成，包括各业务线以及其它网点和营销点。3、数据治理不是短期的项目数据治理是个长期过程，随着业务发展和银行规模增长，业务系统的不断的迭代，数据治理是一个长期而持续的项目。4、一定需要建设平台吗前期平台不是必须的，首先要有成熟的数据治理体系和策略，自建平台和采购平台都可以，先把体系建设好。5、数据质量问题各类原因有业务方面的数据定义不明确，也有技术方面的数据抽取不完整。有管理方面的岗位职责不清晰，也有执行层面的数据操作不规范。有数据处理加工过程中出现了错误，也有数据源本身就有问题。有数据治理系统功能有缺陷，也有系统强大但是没人用……五、小结数据治理是银行数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路，最大化保障银行数据的采集、存储、计算和使用过程的可控和可追溯。数据治理是几乎需要