数据和生命周期管理原则和策略（36页)ppt课件

1、数据生命周期管理实际与实际2021.9目录一、工行数据管理的总体情况二、数据生命周期管理实际与方法三、工行数据生命周期管理实际工行数据管理的指点思想指点思想构建合理的数据管理组织架构和数据架构体系，做好数据治理，促进各运用系统信息高度共享，充分发扬数据价值，为运营决策提供科学根据做好信息规范化管理，提高数据有效性、一致性和规范性做好数据质量管理，确保数据的准确性做好数据生命周期管理，实现数据从产生到销毁的全过程规范化管理做好信息平安管理，确保信息不被泄露一、工行数据管理的总体情况构建了分层的数据架构体系数据采集层数据集成层目的模型层管理操作层买卖信息客户信息管理信息外部信息数据仓库风险集市数据

2、目的绩效等运营管理系统营销等业务管理系统信息获取信息整合信息加工信息展现信息反响及运用绩效考核客户关系管理客户经理各级管理人员高级分析用户灵敏查询数据发掘模型用户一致操作界面资本管理、操作风险管理等风险管理系统灵敏查询一、工行数据管理的总体情况数据采集层采集的数据主要包括客户信息、买卖信息、管理信息和外部信息，这些信息有些是客户和行内人员手工录入，有些是从外部批量导入。客户信息、买卖信息主要从对客和自营业务系统搜集，包括存贷结算根本业务、银行卡业务、代理与投资业务、金融市场业务、信贷管理与单证业务、托管业务、投行业务等系统。管理信息主要从内部管理系统搜集，包括资讯平台、制度园地、人力资源管理、

3、分支机构管理、办公管理等系统。外部信息主要包括监管机构提供的信息如征信信息、风险提示信息等、行业信息、外部报价信息等。一、工行数据管理的总体情况数据根底层建立数据仓库和数据集市为了对客户行为和业务管理进展科学分析和预测，需求建立集合各类业务数据为一体的数据仓库，进展面向各类主题的数据统计和发掘分析，为市场营销和管理决策提供科学根据。工商银行在2002年完成数据大集中之后，就曾经认识到数据对于银行运营管理的重要作用，在姜建清董事长等行指点的关怀指点下，开场着手数据仓库建立任务。10来年，工商银行数据仓库建立稳扎稳打，已成为各类业务数据集中存储的重要载体和关键根底平台。 一、工行数据管理的总体情况

4、目的模型层目的模型层主要包括目的和模型两部分目的部分目前主要建立了面向绩效的全行目的库，包含总行、分行的目的需求，支持分行自行定制分行特征目的。手工类衍生类模型类 科目定制类根底类手工类衍生类 科目定制类全行目的分行特征目的全行目的库分行定性目的、同业目的基于总行根底目的进展衍生基于科目定制分行目的分行客户归属规那么、网银业绩归属规那么一、工行数据管理的总体情况目的模型层模型部分模型是实现各类共用目的成熟的计算方法，主要用来规范和一致各类目的的计算，到达方法共享和提高数据一致性的目的。目前曾经实现的模型包括如下内容：客户评价模型产品定价模型绩效评价模型风险计量模型财务预算模型。一、工行数据管理

5、的总体情况管理操作层主要面向客户效力和内部运营管理，包括客户营销、资本管理、资产与负债管理、信誉风险管理、操作风险管理、市场风险管理、绩效考核管理、内部审计与合规管理等。管理操作层的根底数据主要来自各个业务系统，有些统计目的类数据是经数据仓库加工提供。为满足日常运营管理，提供了以固定报表为主的综合报表统计平台。为便于突发性和暂时查询需求，提供了基于数据仓库的灵敏查询功能。为规范对外数据报送，建立了一致的对外数据报送平台。一、工行数据管理的总体情况一、工行数据管理的总体情况信息规范化管理工行信息规范化工程工行从2021年开场启开工行信息规范化工程，目的是建立 “定义一致、口径一致、称号一致、来源

6、一致、参照一致的工行信息规范，使各个运用系统内部、及系统间的数据交互可以遵照一样的数据规范，从而显著降低信息运用本钱，加强信息的一致性、规范性、权威性和共享性。目前已建立700多项根底信息规范，900多项目的规范。一、工行数据管理的总体情况信息规范化建立总体目的2.有效性：信息准确度高、了解上不存在歧义。1.完好性：涵盖客户、机构、产品、帐户等银行全部重要信息3.一致性：做到“五一致。5.开放性：行内规范与国家规范、国际规范可翻译、可对照。4.规范性：制度规范、流程控制、系统管理等。6.共享性：规范化信息在工行内共享运用。总体目的：经过一致信息规范制定、发布运用、制度约束、系统控制等手段，实现

7、工行信息的完好性、有效性、一致性、规范性、开放性和共享性管理，提高工行信息化程度。4 来源一致对于曾经规范化的数据，其来源应该有且只需一个2 口径一致对于有数量表达的信息规范，计算口径必需求一致3 称号一致各信息项应该采用一致规范的命名 定义一致同一信息项的业务含义和所适用的业务场景坚持一致15 参照一致工行规范和行外各类规范的衔接应建立明确的对应关系一、工行数据管理的总体情况信息规范化建立原那么信息规范化是“一致言语、一致计量的过程，遵照“五一致原那么数据质量管理体系数据质量管理制度及实施细那么数据质量考核监视纳入分行内控评价体系和行长绩效考核建立数据质量定期通报机制操作风险管理委员会定期审

8、议一、工行数据管理的总体情况数据质量管理3、做好规范管理完善制度、规范流程、系统硬控制，把好数据质量“流转关。2、督促问题治理部署检查规那么，实现问题数据发现、分发、治理、监视、考核闭环管理，把好数据质量“治理关。1、从源头治理从数据录入、内部处置入手，把好数据质量“入口关。一、工行数据管理的总体情况数据质量管理流程数据平安管理为了加强数据平安管理，工行制定了和，明确了各环节的数据平安管理要求，并采取了一些技术手段进展硬控制。数据平安的主要管理要求：运用消费数据必需经过恳求和审批，开发测试环境运用消费数据必需进展数据变形。涉及敏感信息的消费数据的传输必需采用加密处置或运用公用邮箱、公用FTP效

9、力器传输等 。对消费用户进展严厉授权管理，防备非授权访问消费数据 。对消费数据建立和实施严厉的备份机制。对数据保管介质进展分类登记，及时进展清理和转存。一、工行数据管理的总体情况目录一、工行数据管理的总体情况二、数据生命周期管理实际与方法三、工行数据生命周期管理实际二、数据生命周期管理实际与方法背景情况早期银行的金融产品相对较少，主要是以存贷汇为主，且数据是以省市为单位分布存放，数据量相对较少；此外由于还还没有数据集中分析发掘的需求，日常处置对象主要是短期之内的数据，时间跨度小，处置的数据规模相对可控。随着各家银行实施了数据大集中，集中存放和处置的数据量急剧添加，例如工行目前中心银行数据已达1

10、50T，数据仓库存放的数据已达185T；同时随着各类业务的快速开展，银行每天都在产生大量的数据，并需求对这些数据进展分析发掘，系统资源开销和运转效率都面临着越来越大的压力。为控制在线数据规模、保证运用系统安康高效运转，对数据从创建到最终销毁的生命周期进展全程管理显得越来越迫切 。数据生命周期管理的目的经过规范数据的生命周期管理，提高数据的整体管理程度。优化数据存储构造，有效控制在线数据规模，提高消费数据访问效率。提高系统资源运用效率，确保系统平安、稳定、高效运转。 做好历史数据管理，为客户效力和运营分析提供数据支撑。二、数据生命周期管理实际与方法二、数据生命周期管理实际与方法数据生命周期的根本

11、原理数据访问频度与数据量的变化会随着时间的迁移而呈反比例变化利用随时间积累，数据访问频次变化和数据量累积变化成反比这一客观规律，对数据根据访问频次进展数据价值评价，对大量低价值信息采取低本钱的数据保管手段，使数据的价值和存储的技术和管理相匹配，进而大幅降低整体数据存储本钱；数据生命周期管理的总体原那么在数据的整个生命周期中，不同阶段的数据其性能、可用性、保管等要求也不一样。通常情况下，在其生命周期初期，数据的运用频率较高，需求运用高速存储，确保数据的高可用性。随着时间的推移，数据重要性会逐渐降低，运用频率会随之下降，应将数据进展不同级别的存储，为其提供适当的可用性、存储空间，以降低管理本钱和资

12、源开销。最终大部分数据将不再会被运用，可以将数据清理后归档保管，以备暂时需求时运用。二、数据生命周期管理实际与方法数据生命周期管理流程二、数据生命周期管理实际与方法阐明：在线归档阶段也被称为近线阶段：将访问频度较低且运用需求不高的数据从运用中分别出来，保管在另外的磁盘并提供相应的查询；离线归档阶段：将访问频度较低且运用需求不高的数据从运用中分别出来，保管在磁带、光盘及低端磁盘上。离线归档后不提供信息联机访问接口，如有相应的查询要求，需特定的查询工具或将归档数据导入相应系统数据生命周期管理流程数据各生命阶段的管理战略数据生命阶段管理策略 在线阶段（数据产生与使用阶段）永久保存：数据从产生开始一直

13、在生产系统中保存，此类数据不需要进行清理。保存一段时间后清理：数据被标记为失效或过期后在系统中保存一段时间后进行清理。 归档阶段（数据备份与保存阶段）在线归档：查询频度仍相对较高的数据，通过数据库形式保存数据，用户仍可以通过系统在线查询；部分数据通过在线归档一段时间后进入离线归档阶段。离线归档：查询频度相对较低的数据，通过光盘或磁带等介质保存数据，用户无法在线访问，需通过恢复光盘或磁带介质。 销毁阶段（数据被销毁至消失）物理删除磁盘和磁带上的数据，销毁光盘介质。二、数据生命周期管理实际与方法目录一、工行数据管理的总体情况二、数据生命周期管理实际与方法三、工行数据生命周期管理实际建立了数据生命周

14、期管理体系工行数据生命周期管理从组织建立、制度规范、系统工具、日常管理各方面开展相关任务。制定了全行一致的，并配套发布了一系列数据清理工具，根据规范制定的战略定期进展清理，并将清理的数据归档到历史数据管理运用中。三、工行数据生命周期管理实际三、工行数据生命周期管理实际总体情况建立了一致的对一切数据的有效期管理的详细规范、方案、指引和制度，是数据管理的指点方针，提高了数据管理任务的一致性、系统性、全面性和科学性改动了以往根据磁盘容量和依赖于技术人员阅历的情况，使全行有了科学一致的数据管理规范，减少了因数据保管时间不当而出现运用风险，使中国工行的各类业务系统可以更好、更稳定地为宽广客户提供优质地效

15、力。三、工行数据生命周期管理实际规范主要内容自创国际先进数据模型,对工行的各运用系统数据进展提炼和分类，在数据生命周期的各个阶段制定了有效的管理战略 。将工行的运用系统按产品线共20类进展划分，并在此根底上对各产品线的数据类别进展了确认；规定了各产品线各类数据的数据有效期，建立了完好的数据有效期管理任务规范体系，确立指点工行各类数据的根本管理原那么和详细应遵照执行的各种方法三、工行数据生命周期管理实际规范主要内容数据清理原那么 业务处置层联机买卖数据不应直接进展物理删除操作，要经过相关标志位、最后更新时间等字段实现逻辑删除，对于无法实现逻辑删除的联机买卖数据，应重新设计以满足逻辑删除要求；物理

16、删除要经过本规范制定的数据生命周期按一致战略进展清理。数据进展清理时，各运用应记录清理的相关信息包括清理的表名、清理时间、清理数据量。数据清理时，应思索清理数据对系统的影响，比如思索重建索引、重组等相关事项。 三、工行数据生命周期管理实际规范主要内容数据清理周期 对于进展批量清理的数据，按固定周期进展清理；对保管时间在1月以内的数据，清理周期不宜超越1月；对于保管时间在2年以内的数据，清理周期不应超越保管时间的1/2；对于保管时间在2年以上的数据，清理周期不应超越1年。三、工行数据生命周期管理实际数据生命周期规范的执行工行运用系统的建立从需求编制开场就关注数据生命周期的管理，在系统设计、开发、

17、测试、运维各个一直按照规范要求，有效贯彻数据清理任务的精神。主要数据表的生命周期管理战略制定一切新建和修正表的数据生命周期管理战略的等级和修正清理工具和程序的编制、战略的导入以及测试数据清理任务的执行、清理信息的搜集、分析和展现清理任务确实认和检查设计人员设计、开发人员开发、测试人员运维人员清理后数据的查询、展现和导出。技术管理人员三、工行数据生命周期管理实际数据生命周期规范的执行续 清理任务确实认和检查工行会定期对数据生命周期管理相关任务进展检查、确认。对于数据生命周期管理战略，每季度会对设计情况、数据生命周期管理战略填写情况进展抽查，确保战略的正确性；每月在进展新的数据表的清理任务时，会对

18、涉及的表的生命周期管理战略进展确认，以确保数据清理的正确、合理。三、工行数据生命周期管理实际系统工具工行开发了相关系统和工具，确保可以根据规范制定的数据生命周期管理战略进展一致执行；工行在各个环节注重数据生命周期管理，并对工具和系统不断进展优化，提升数据清理任务效果；对清理后的数据陆续纳入系统，实现清理数据的在线归档，并提供有效查询。工行拟建立清理集中管理平台，实现清理信息的有效搜集，提供分析和统计。元数据及软件资源管理系统SEASSEAS实现了填写的数据生命周期管理在提交前会自动进展战略校验，对于不符合逻辑的战略会进展提示要求修正；SEAS实现了数据表新增时各项信息的审批功能，在系统控制的根底上再添加人工确认，进一步确保信息的准确性。三、工行数据生命周期管理实际电子影像及文档效力平台及综合档案管理电子影像及文档效力平台是工行各类事中、事后类业务系统电子影像档案的一致存储平台，并为各类业务产生的各种非构造化数据主要是影像资料、word、excel进