数据生命周期管理

1、建构数据生命周期管理理论和实践、2012.9、目录、一、工行数据管理总体情况二、数据生命周期管理理论和方法三、工行数据生命周期管理实践、工行数据管理指导思想、合理的数据管理组织架构和数据结构体系，进行数据管理，促进各应用系统信息的高度共享， 为一盏茶的经营决策提供科学依据进行信息标准化管理，提高数据的有效性、整合性和规范性进行数据质量管理，确保数据的精准性进行数据生命周期管理，实现数据从发生到废弃的全过程规范化管理，进行信息安全管理， 确保信息不泄漏的指标模型层、管理操作层、交易信息、顾客信息、管理信息、外部信息、数据仓库、风险、数据指标、性能等工商管理系统、营销学等业务管理系统、信息获取、信

2、息集成、信息加工、信息提示高度分析用户(数据挖掘)、 模型、用户统一操作界面、资本管理、操作风险管理等风险管理体系、灵活查询、一、工业行数据管理的整体状况、数据收集层收集的数据主要选择包括顾客信息、交易信息、管理信息和外部信息。 客户信息、交易信息主要从客户和自营业务系统收集，包括存款结算基本业务、银行卡业务、代理和投资业务、金融市场业务、信用管理和单证业务、管理业务、投资业务等系统。 管理信息主要收集自内部管理系统，包括信息平台、制度园地、人员管理、分公司管理、办公室管理等系统。 外部信息主要包括从监管机构提供的信息(例如，特征信息、风险呈现信息等)、行业信息、外部估计信息等。 一、工业行数

3、据管理的总体情况、数据基础层(制作数据仓库和数据集市)为了科学地分析和预测客户的行为和业务管理，需要制作收集各种业务数据的数据仓库，针对各种主题进行数据整合和挖掘分析，营销学和工商银行在2002年完成数据的大集中后认识到数据在银行工商管理中发挥着重要的作用，在姜建清会长等的引导者的关注下，着手数据仓库的建设。 十年来，工商银行数据仓库建设稳定，成为集中存储各类业务数据的重要载体和重要基础平台。 一、工行数据管理总体情况、指标模型层指标模型层主要包括指标和模型两个指标部分，目前主要建立了面向绩效的全行指标库，包括总银行、分理处的指标需求，分理处自行客制化特色指标。 一、工业行数据管理的整体情况、

4、指标模型层(模型部分)模型是实现各类共同指标成熟的核算方法，主要规范统一各类指标的核算，达到方法共享和提高数据完整性的目的。 当前实现的模型包括客户评估模型产品定价模型绩效评价模型风险度量模型财务预算模型。 的双曲馀弦值。 的双曲馀弦值。工业行数据管理总体情况、管理操作层主要面向顾客服务和内部工商管理，包括客户营销学、资本管理、资产和负债管理、信用风险管理、操作风险管理、市场风险管理、业绩评价管理、内部审计和合规管理等。 管理操作层的基础数据主要来自各业务系统，一些统一的修订指标类数据由数据仓库加工提供。 为满足日常工商管理，我们提供了一个以固定报表通讯端口为中心的综合报表通讯端口集成平台。

5、提供基于数据仓库的灵活查询功能，以便于对突发和临时查询的需求。为规范对外数据提交，建立了统一的对外数据提交平台。 一、工行数据管理的总体情况，一、工行数据管理的总体情况，信息标准化管理工行信息标准化工程工行从2010年开始星空卫视工行信息标准化工程，确立“定义统一、口径统一、名称统一、出处统一、参照统一”的工行信息标准，制定各应用系统的内部以及系统，目前700多个基础信息标准，包括、工行数据管理总体情况、信息标准化建设总体目标、总体目标：通过统一信息标准制定、公布使用、制度约束、系统控制等手段，实现工行信息的完全性、有效性、完整性、规律性、开放性和共性管理，提高工行信息化水平。 4、对于来源统

6、一、标准化的数据，其来源只有一个，2，对于有口径统一、数量表现的信息标准，修正计算口径统一、3，名称统一，各信息项目应采用统一规范的命名、统一，同一信息项目的业务意义的工行标准与行外各种标准之间的联系不能建立明确的对应关系一、工行数据管理总体情况、信息标准化建设原则信息标准化是“统一语言、统一修改量”的过程，遵循“五统一”原则、一、工行数据管理总体情况、数据质量管理、三、规范管理完善制度，二、促进问题管理引入检测规则，实行问题数据的发现、发布、管理、监督、评价的闭环管理1、从源头管理到数据录入，从内部处理开始，把好的数据质量做“入口”。 一、工业行数据管理的总体情况、数据质量管理流程、数据安全

7、管理为了加强数据安全管理，工业行制定了数据管理方法和数据管理方法的实施细则，明确了各个环节的数据安全管理要求，采用了几种技术手段进行了硬件控制。 数据保密工作的主要管理要求：使用生产数据需要申请和批准，在开发测试环境中使用生产数据需要数据变形。 传输敏感信息的生产数据需要加密法处理、专用邮箱和使用专用FTP服务的传输。 严格授权生产用户，并防止生产数据非授权访问。 建立和实施严格的生产数据应用备份反应历程。 对数据保存媒体进行分类登记，及时进行清理和保存。一、工行数据管理总体情况、目录、一、工行数据管理总体情况二、数据生命周期管理理论与方法三、工行数据生命周期管理实践二、数据生命周期管理理论与

8、方法、背景情况早期银行的金融产品相对较少，主要以存款库存为主，数据省(市)， 由于没有数据集中分析挖掘的需求，日常的处理对象主要是短期的数据，时间幅度小，处理的数据规模相对可以控制。 随着各银行实施数据集中，集中保管和处理的数据量急剧增加，如工业银行现在核心银行的数据达到150T，数据仓库中保管的数据达到185T。 在云同步，随着各种业务的迅速发展，银行需要每天生成大量的数据，分析挖掘这些个的数据，系统资源的开销和运行效率面临着越来越大的压力。 为了控制上线了数据的规模并确保应用程序系统的健康高效运行，从对数数据创建到最终处置的生命周期管理越来越紧迫。 数据生命周期管理的目标是通过规范数据的生

9、命周期管理来提高数据的总体管理层次。 优化数据存储结构，有效控制上线了数据的规模，提高生产数据的网站数据库效率。提高系统资源的使用效率，确保系统的安全、稳定、高效的运用。 进行历史数据管理，为顾客服务和经营分析提供数据萨通讯端口。 二、数据生命周期管理理论和方法、二、数据生命周期管理理论和方法、数据生命周期的基本原理利用数据网站数据库频率和数据量的变化随时间呈反比，时间的经过和数据网站数据库频率的变化和数据量的累积变化成反比的客观规律， 数据生命周期管理的总体原则是根据数据的网站数据库频率进行数据价值评估，并采用大量低成本的数据存储手段，在数据的整个生命周期中，数据的性能、可用性、存储等要求因

10、阶段而异。 在其生命周期的初始阶段，数据的使用频率通常很高，需要使用高速存储来确保数据的高可用性。 随着时间的推移，数据的重要性逐渐下降，使用频率也逐渐下降，因此，为了降低管理成本和资源开销，必须在不同级别存储数据，并提供适当的可用性和存储空间。 最终，大多数数据将不再被使用，并且可以在清理数据之后对其进行档案化定和存储，以便在临时需要时使用。 二、数据生命周期管理理论和方法、数据生命周期管理过程、二、数据生命周期管理理论和方法、说明：上线了档案化阶段(也称为近线阶段):将网站数据库频率低、应用程序需求不高的数据从应用程序中分离出来，保存在不同的磁盘上， 离线档案化阶段，提供相应的询问法将非活

11、动、应用程序要求低的数据与应用程序隔离，并存储在录音带、光盘和低端磁盘上。 离线档案化之后，不提供信息上线了网站数据库接口。 如有相应的询问法要求，需要将特定的询问法工具或档案化数据导入到相应的系统中。 制定了数据生命周期管理过程数据各生命周期的管理战略、二、数据生命周期管理理论和方法完全统一的数据生命周期管理技术规范，发布了一系列数据清理工具，并根据规范化学基进行定期清理，将清理后的数据档案化到历史数据管理应用程序中。 三、工行数据生命周期管理实践三、工行数据生命周期管理实践、数据生命周期管理技术规范整体情况规范对统一的所有数据有效期管理建立具体的标准、方案、指导和制度，提高数据管理业务的统

12、一性、体系性、全面性和科学性规范， 改变了依赖于传统的磁盘容量和技术人员经验的情况，使整行具有科学统一的数据管理标准，降低了数据保留时间不当导致的应用风险，使中国工业行的各种业务系统更好，更稳定地为广大客户提供优良的服务。 三、工行数据生命周期管理实践、规范的主要内容以国际先进数据模型为参考，提取和分类工行各应用系统数据，在数据生命周期各阶段制定有效的管理策略。按生产线(修订20种)对工行的应用系统进行分类，并据此对各生产线的数据类别进行了确认，规定了各生产线各种数据的数据有效期，确立了完整的数据有效期管理工作规范体系，确立了指导工行各种数据的基本管理原则和应具体执行的各种方法， 规范主要内容

13、数据整理原则业务处理层的网上交易数据直接使不得物理删除操作物理删除用统一的策略清理按照本规范创建的数据生命周期。 清理数据时，每个应用程序都必须记录有关清理的信息，包括清理表名称、清理时间和清理数据量。 在清理数据时，必须考虑目录索引的重新建构、重组等相关事项，并考虑清理数据对系统的影响。 三、工行数据生命周期管理实践、规范主要内容数据清理周期是进行一次性清理的数据，以一定周期进行清理的储存期间是1月以内的数据，清理周期不要超过1月，如果储存期间是2年以内的数据， 清理周期不得超过储存期间的1/2如果储存期间为2年以上的数据，则清理周期不得超过1年。 三、工行数据生命周期管理实践、数据生命周期

14、规范的执行工行应用系统的建设从需求编制着眼于数据生命周期的管理，在系统设置修订、开发、测试、运输维的各个方面始终遵循规范的要求，有效贯彻数据整理工作的精神。 制定主要数据表的生命周期管理策略，对所有新数据表的数据生命周期管理策略进行分级和修改，创建管理工具和计程仪方案，实施和测试策略，执行数据整理工作，收集和显示管理信息，、设置修订者，设置修订，技术管理员，三、 工行数据生命周期管理实践、数据生命周期规范的执行(续)整理工作的确认和检查工行定期检查、确认数据生命周期管理相关工作。 对于数据生命周期管理策略，按季度提取设置修订情况、数据生命周期管理策略填写情况，确保策略的精准性每月在清理新数据表

15、时，查看相关表的生命周期管理策略，确保数据清理的准确、合理。 三、工行数据生命周期管理实践、系统工具工行开发了相关系统和工具，确保了可以按照规范化学基制定的数据生命周期管理策略统一执行的工业行在各个环节重视数据的生命周期管理，不断优化工具和系统， 提高数据整理工作的效果将清理后的数据一个接一个地编入系统，实现清理后的数据的上线了档案化，提供高效的查询。 工行拟建构整理集约化管理平台，实现整理信息的有效采集，提供分析与整合修订。 数据库元数据和软件资源管理系统(SEAS) SEAS实现了填写的数据生命周期管理，在提交前自动进行策略验证，针对不合逻辑的策略修正警报SEAS实现了添加数据表时的各信息

16、的承认功能，除了系统控制之外还添加了人工确认，提高了信息的精准性三、工业执行数据生命周期管理实践、电子影像和文件服务平台以及综合档案管理电子影像和文件服务平台是工业执行各种事件、事后类业务系统电子影像文件的统一存储平台，集中为各种业务生成的各种非结构化数据(主要是影像资料、word、excel )综合文件管理系统存储的结构化数据主要是非结构化数据的查询索引服务，与电子图像和文档服务平台合作，完成非结构化数据的档案化、存储、查询、阅览等功能，集成档案化服务有非结构化数据的业务处理系统及其相应的业务部门，实现了业务处理的非结构化数据的统一管理三、工行数据生命周期管理实践、数据清理工具和清理集约化管理平台数据清理工具从企业数据的角度出发，对各平台(男公关和开放平台)的各种数据库(DB2、ORACLE、SAS、TERADATA 对数据进行统一的数据生命周期管理，制作定径套的数据清理工具采用残奥圈套控制，通过在残奥仪表上设定清理条件、清理日期等，实现数据下载