数据和生命周期管理原则和策略

数据生命周期管理

理论与实践2012.9目录一、工行数据管理的总体情况二、数据生命周期管理理论与方法三、工行数据生命周期管理实践工行数据管理的指导思想指导思想构建合理的数据管理组织架构和数据架构体系，做好数据治理，促进各应用系统信息高度共享，充分发挥数据价值，为经营决策提供科学依据做好信息标准化管理，提高数据有效性、一致性和规范性做好数据质量管理，确保数据的准确性做好数据生命周期管理，实现数据从产生到销毁的全过程规范化管理做好信息安全管理，确保信息不被泄露一、工行数据管理的总体情况构建了分层的数据架构体系数据采集层数据集成层指标模型层管理操作层交易信息客户信息管理信息外部信息数据仓库风险集市数据指标绩效等经营管理系统营销等业务管理系统信息获取信息整合信息加工信息展现信息反馈及应用绩效考核客户关系管理客户经理各级管理人员高级分析用户（灵活查询）（数据挖掘）模型用户统一操作界面资本管理、操作风险管理等风险管理系统灵活查询一、工行数据管理的总体情况数据采集层采集的数据主要包括客户信息、交易信息、管理信息和外部信息，这些信息有些是客户和行内人员手工录入，有些是从外部批量导入。。客户信息、交易信息主要从对客和自营业务系统收集，包括存贷结算基本业务、银行卡业务、代理与投资业务、金融市场业务、信贷管理与单证业务、托管业务、投行业务等系统。管理信息主要从内部管理系统收集，包括资讯平台、制度园地、人力资源管理、分支机构管理、办公管理等系统。外部信息主要包括监管机构提供的信息（如征信信息、风险提示信息等）、行业信息、外部报价信息等。一、工行数据管理的总体情况数据基础层（建立数据仓库和数据集市）为了对客户行为和业务管理进行科学分析和预测，需要建立集合各类业务数据为一体的数据仓库，进行面向各类主题的数据统计和挖掘分析，为市场营销和管理决策提供科学依据。工商银行在2002年完成数据大集中之后，就已经意识到数据对于银行经营管理的重要作用，在姜建清董事长等行领导的关心指导下，开始着手数据仓库建设工作。10来年，工商银行数据仓库建设稳扎稳打，已成为各类业务数据集中存储的重要载体和关键基础平台。一、工行数据管理的总体情况指标模型层指标模型层主要包括指标和模型两部分指标部分目前主要建立了面向绩效的全行指标库，包含总行、分行的指标需求，支持分行自行定制分行特色指标。手工类衍生类模型类科目定制类基础类手工类衍生类科目定制类全行指标分行特色指标全行指标库分行定性指标、同业指标基于总行基础指标进行衍生基于科目定制分行指标分行客户归属规则、网银业绩归属规则一、工行数据管理的总体情况指标模型层（模型部分）模型是实现各类共用指标成熟的计算方法，主要用来规范和统一各类指标的计算，达到方法共享和提高数据一致性的目的。目前已经实现的模型包括如下内容：客户评价模型产品定价模型绩效评估模型风险计量模型财务预算模型。。。一、工行数据管理的总体情况管理操作层主要面向客户服务和内部经营管理，包括客户营销、资本管理、资产与负债管理、信用风险管理、操作风险管理、市场风险管理、绩效考核管理、内部审计与合规管理等。管理操作层的基础数据主要来自各个业务系统，有些统计指标类数据是经数据仓库加工提供。为满足日常经营管理，提供了以固定报表为主的综合报表统计平台。为便于突发性和临时查询需要，提供了基于数据仓库的灵活查询功能。为规范对外数据报送，建立了统一的对外数据报送平台。一、工行数据管理的总体情况一、工行数据管理的总体情况信息标准化管理工行信息标准化工程工行从2010年开始启动工行信息标准化工程，目标是建立“定义统一、口径统一、名称统一、来源统一、参照统一”的工行信息标准，使各个应用系统内部、及系统间的数据交互能够遵循相同的数据标准，从而显著降低信息使用成本，增强信息的一致性、标准性、权威性和共享性。目前已建立700多项基础信息标准，900多项指标标准。一、、工工行行数数据据管管理理的的总总体体情情况况信息息标标准准化化建建设设总总体体目目标标2.有效性：信息准确度高、理解上不存在歧义。1.完整性：涵盖客户、机构、产品、帐户等银行全部重要信息3.一致性：做到“五统一”。5.开放性：行内标准与国家标准、国际标准可翻译、可对照。4.规范性：制度规范、流程控制、系统管理等。6.共享性：标准化信息在工行内共享使用。总体体目目标标：：通通过过统统一一信信息息标标准准制制定定、、发发布布使使用用、、制制度度约约束束、、系系统统控控制制等等手手段段，，实现现工工行行信信息息的的完完整整性性、、有有效效性性、、一一致致性性、、规规范范性性、、开开放放性性和和共共享享性性管管理理，，提高高工工行行信信息息化化水水平平。。4来源统一对于于已经经标准准化化的的数数据据，，其其来来源源应应该该有且且只有有一一个个2口径统一对于有数量表表达的信息标标准，计算口口径必须要统统一3名称统一各信息项应该该采用统一规规范的命名

定义统一同一信息项的的业务含义和和所适用的业业务场景保持持一致15参照统一工行标准和行行外各类标准准的衔接应建建立明确的对对应关系一、工行数据据管理的总体体情况信息标准化建建设原则信息标准化是是“统一语言言、统一计量量”的过程，，遵循“五统统一”原则数据质量管理体系数据质量管理制度《数据质量考核办法》及实施细则《数据质量管理平台业务管理办法》《数据质量技术规范》数据质量考核监督纳入分行内控评价体系和行长绩效考核建立数据质量定期通报机制操作风险管理委员会定期审议一、工行数据据管理的总体体情况数据质量管理理3、做好规范管管理完善制度、规规范流程、系系统硬控制，，把好数据质质量“流转关”。2、督促问题治治理部署检查规则则，实现问题题数据发现、、分发、治理理、监督、考考核闭环管理理，把好数据据质量“治理关”。1、从源头治理理从数据录入、、内部处理入入手，把好数数据质量“入口关”。一、工行数据据管理的总体体情况数据质量管理理流程数据安全管理理为了加强数据据安全管理，，工行制定了了《数据管理办法法》和《数据管理办法法实施细则》，明确了各环环节的数据安安全管理要求求，并采取了了一些技术手手段进行硬控控制。数据安全的主主要管理要求求：使用生产数据据必须经过申申请和审批，，开发测试环环境使用生产产数据必须进进行数据变形形。涉及敏感信息息的生产数据据的传输必须须采用加密处处理或使用专专用邮箱、专专用FTP服务器传输等等。对生产用户进进行严格授权权管理，防范范非授权访问问生产数据。。对生产数据建建立和实施严严格的备份机机制。对数据据保存介质进进行分类登记记，及时进行行清理和转存存。一、工行数据据管理的总体体情况目录一、工行数据据管理的总体体情况二、数据生命命周期管理理理论与方法三、工行数据据生命周期管管理实践二、数数据生生命周周期管管理理理论与与方法法背景情况早期银行的的金融产品品相对较少少，主要是是以存贷汇汇为主，且且数据是以以省（市））为单位分分布存放，，数据量相相对较少；；此外由于于还还没有有数据集中中分析挖掘掘的需求，，日常处理理对象主要要是短期之之内的数据据，时间跨跨度小，处处理的数据据规模相对对可控。随着各家银银行实施了了数据大集集中，集中中存放和处处理的数据据量急剧增加，例如如工行目前前核心银行行数据已达达150T，数据仓库库存放的数数据已达185T；同时随着各各类业务的的快速发展展，银行每每天都在产产生大量的的数据，并并需要对这这些数据进进行分析挖挖掘，系统统资源开销销和运行效效率都面临临着越来越越大的压力力。为控制在线线数据规模模、保证应应用系统健健康高效运运行，对数数据从创建建到最终销销毁的生命命周期进行行全程管理理显得越来来越迫切。数据生命周周期管理的的目标通过规范数数据的生命命周期管理理，提高数数据的整体体管理水平平。优化数据存存储结构，，有效控制制在线数据据规模，提提高生产数数据访问效效率。提高系统资资源使用效效率，确保保系统安全全、稳定、、高效运行行。做好历史数数据管理，，为客户服服务和经营营分析提供供数据支撑撑。二、数据生生命周期管管理理论与与方法二、数据生生命周期管管理理论与与方法数据生命周周期的基本本原理数据访问频频度与数据据量的变化化会随着时时间的迁移移而呈反比比例变化利用随时间间积累，数数据访问频频次变化和和数据量累累积变化成成反比这一一客观规律律，对数据据根据访问问频次进行行数据价值值评估，对对大量低价价值信息采采取低成本本的数据保保存手段，，使数据的价价值和存储储的技术和和管理相匹匹配，进而而大幅降低整整体数据存存储成本；；数据生命周周期管理的的总体原则则在数据的整整个生命周周期中，不不同阶段的的数据其性性能、可用用性、保存存等要求也也不一样。。通常情况下下，在其生生命周期初初期，数据据的使用频频率较高，，需要使用用高速存储储，确保数数据的高可可用性。随着时间的的推移，数数据重要性性会逐渐降降低，使用用频率会随随之下降，，应将数据据进行不同同级别的存存储，为其其提供适当当的可用性性、存储空空间，以降降低管理成成本和资源源开销。最终大部分分数据将不不再会被使使用，可以以将数据清清理后归档档保存，以以备临时需需要时使用用。二、数据生生命周期管管理理论与与方法数据生命周周期管理流流程二、数据生生命周期管管理理论与与方法说明：在线归档阶阶段（也被被称为近线线阶段）：：将访问频频度较低且且应用需求求不高的数数据从应用用中分离出出来，保存存在另外的的磁盘并提提供相应的的查询；离线归档阶阶段：将访访问频度较较低且应用用需求不高高的数据从从应用中分分离出来，，保存在磁磁带、光盘盘及低端磁磁盘上。离离线归档后后不提供信信息联机访访问接口，，如有相应应的查询要要求，需特特定的查询询工具或将将归档数据据导入相应应系统数据生命周周期管理流流程数据各生命命阶段的管管理策略数据生命阶段管理策略在线阶段（数据产生与使用阶段）永久保存：数据从产生开始一直在生产系统中保存，此类数据不需要进行清理。

保存一段时间后清理：数据被标记为失效或过期后在系统中保存一段时间后进行清理。归档阶段（数据备份与保存阶段）在线归档：查询频度仍相对较高的数据，通过数据库形式保存数据，用户仍可以通过系统在线查询；部分数据通过在线归档一段时间后进入离线归档阶段。

离线归档：查询频度相对较低的数据，通过光盘或磁带等介质保存数据，用户无法在线访问，需通过恢复光盘或磁带介质。销毁阶段（数据被销毁至消失）物理删除磁盘和磁带上的数据，销毁光盘介质。二、数据生生命周期管管理理论与与方法目录一、工行数数据管理的的总体情况况二、数据生生命周期管管理理论与与方法三、工行数数据生命周周期管理实实践建立了数据据生命周期期管理体系系工行数据生生命周期管管理从组织织建设、制制度规范、、系统工具具、日常管管理各方面面开展相关关工作。制定了全行行统一的《数据生命周周期管理技技术规范》，并配套套发布了了一系列列数据清清理工具具，根据据规范制制定的策策略定期期进行清清理，并并将清理理的数据据归档到到历史数数据管理理应用中中。三、工行行数据生生命周期期管理实实践三、工行行数据生生命周期期管理实实践《数据生命命周期管管理技术术规范》总体情况况《规范》建立了统统一的对对所有数数据的有有效期管管理的具具体标准准、方案案、指引引和制度度，是数数据管理理的指导导方针，，提高了了数据管管理工作作的统一一性、系系统性、、全面性性和科学学性《规范》改变了以以往根据据磁盘容容量和依依赖于技技术人员员经验的的状况，，使全行行有了科科学统一一的数据据管理标标准，减减少了因因数据保保留时间间不当而而出现应应用风险险，使中中国工行行的各类类业务系系统可以以更好、、更稳定定地为广广大客户户提供优优质地服服务。三、工行行数据生生命周期期管理实实践规范主要要内容借鉴国际际先进数数据模型型,对工行的的各应用用系统数数据进行行提炼和和分类，，在数据据生命周周期的各各个阶段段制定了了有效的的管理策策略。。将工行的的应用系系统按产产品线（（共20类）进行行划分，，并在此此基础上上对各产产品线的的数据类类别进行行了确认认；规定定了各产产品线各各类数据据的数据据有效期期，建立立了完整整的数据据有效期期管理工工作规范范体系，，确立指指导工行行各类数数据的基基本管理理原则和和具体应应遵循执执行的各各种办法法三、工行行数据生生命周期期管理实实践规范主要要内容数据清理理原则业务处理理层联机机交易数数据不应应直接进进行物理理删除操操作，要要通过相相关标志志位、最最后更新新时间等等字段实实现逻辑辑删除，，对于无无法实现现逻辑删删除的联联机交易易数据，，应重新新设计以以满足逻逻辑删除除要求；；物理删删除要通通过本规规范制定定的数据据生命周周期按统统一策略略进行清清理。数据进行清理理时，各应用用应记录清理理的相关信息息（包括清理理的表名、清清理时间、清清理数据量））。数据清理时，，应考虑清理理数据对系统统的影响，比比如考虑重建建索引、重组组等相关事项项。三、工行数据据生命周期管管理实践规范主要内容容数据清理周期期对于进行批量量清理的数据据，按固定周周期进行清理理；对保留时间在在1月以内的数据据，清理周期期不宜超过1月；对于保留时间间在2年以内的数据据，清理周期期不应超过保保留时间的1/2；对于保留时间间在2年以上的数据据，清理周期期不应超过1年。三、工行数据据生命周期管管理实践数据生命周期期规范的执行行工行应用系统统的建设从需需求编制开始始就关注数据据生命周期的的管理，在系系统设计、开开发、测试、、运维各个始始终按照规范范要求，有效效贯彻数据清清理工作的精精神。主要数据表表的生命周周期管理策策略制定所有新建和和修改表的的数据生命命周期管理理策略的等等级和修改改清理工具和和程序的编编制、策略略的导入以以及测试数据清理工工作的执行行、清理信信息的收集集、分析和和展现清理工作的的确认和检检查设计人员设计、开发人员开发、测试人员运维人员清理后数据据的查询、、展现和导导出。技术管理人人员三、工行数数据生命周周期管理实实践数据生命周周期规范的的执行（续续）清理工作的的确认和检检查工行会定期期对数据生生命周期管管理相关工工作进行检检查、确认认。对于数据生生命周期管管理策略，，每季度会会对设计情情况、数据据生命周期期管理策略略填写情况况进行抽查查，确保策策略的正确确性；每月在进行行新的数据据表的清理理工作时，，会对涉及及的表的生生命周期管管理策略进进行确认，，以确保数数据清理的的正确、合合理。三、工行数数据生命周周期管理实实践系统工具工行开发了了相关系统统和工具，，确保可以以根据规范范制定的数数据生命周周期管理策策略进行统统一执行；；工行在各个个环节注重重数据生命命周期管理理，并对工工具和系统统不断进行行优化，提提升数据清清理工作成成效；对清理后的的数据陆续续纳入系统统，实现清清理数据的的在线归档档，并提供供有效查询询。工行拟建立立清理集中中管理平台台，实现清清理信息的的有效收集集，提供分分析和统计计。元数数据据及及软软件件资资源源管管理理系系统统（（SEAS）SEAS实现现了了填填写写的的数数据据生生命命周周期期管管理理在在提提交交前前会会自自动动进进行行策策略略校校验验，，对对于于不不符符合合逻逻辑辑的的策策略略会会进进行行提提醒醒要要求求修修改改；；SEAS实现现了了数数据据表表新新增增时时各各项项信信息息的的审审批批功功能能，，在在系系统统控控制制的的基基础础上上再再增增加加人人工工确确认认，，进进一一步步确确保保信信息息的的准准确确性性。。三、工行行数据生生命周期期管理实实践电子影像像及文档档服务平平台及综综合档案案管理电子影像像及文档档服务平平台是工工行各类类事中、、事后类类业务系系统电子子影像档档案的统统一存储储平台，，并为各各类业务务产生的的各种非非结构化化数据（（主要是是影像资资料、word、excel）进行集集中保管管，并提提供了查查询服务务。综合档案案管理系系统存储储的结构构化数据据主要为为非结构构化数据据的查询询索引服服务，与与电子影影像及文文档服务务平台进进行配合合，完成成非结构构化数据据的归档档、存储储、查询询、调阅阅等功能能；综合档案案服务于于有非结结构化数数据的业业务处理理系统和和相应业务部门门，实现现业务处处理的非非结构化化数据的