数据生命周期管理学习教案

1、会计学1数据数据(shj)生命周期管理生命周期管理第一页，共36页。一、工行数据管理的总体一、工行数据管理的总体(zngt)(zngt)情情况况二、数据生命周期管理理论与方法二、数据生命周期管理理论与方法三、工行数据生命周期管理实践三、工行数据生命周期管理实践第1页/共36页第二页，共36页。指导思想指导思想l构建合理的数据管理组织架构和数据架构体系，做好数据治理，促进各应用系统信息高度共享，充分发挥数据价值(jizh)，为经营决策提供科学依据l做好信息标准化管理，提高数据有效性、一致性和规范性l做好数据质量管理，确保数据的准确性l做好数据生命周期管理，实现数据从产生到销毁的全过程规范化管理l

2、做好信息安全管理，确保信息不被泄露第2页/共36页第三页，共36页。数据数据(shj)采采集层集层数据数据(shj)集成层集成层指标模型层指标模型层管理操作层管理操作层交易信息客户信息管理信息外部信息数据仓库风险集市数据指标绩效等经营管理系统营销等业务管理系统信息获取信息整合信息加工信息展现信息反馈及应用绩效考核客户关系管理客户经理各级管理人员高级分析用户（灵活查询）（数据挖掘）模型用户统一操作界面资本管理、操作风险管理等风险管理系统灵活查询第3页/共36页第四页，共36页。投行业务等系统。n管理信息主要从内部管理系统收集，包括资讯平台、制度园地、人力资源管理、分支机构管理、办公管理等系统。n

3、外部信息主要包括监管机构提供的信息（如征信(zhn xn)信息、风险提示信息等）、行业信息、外部报价信息等。第4页/共36页第五页，共36页。建清董事长等行领导的关心指导下，开始着手数据仓库建设工作。10来年，工商银行数据仓库建设稳扎稳打，已成为各类业务数据集中存储的重要载体和关键(gunjin)基础平台。第5页/共36页第六页，共36页。全行指标全行指标分行特色指标分行特色指标全行指标库全行指标库分行定性指标、同业指标分行定性指标、同业指标基于总行基础指标进行衍生基于总行基础指标进行衍生基于科目定制分行指标基于科目定制分行指标分行客户归属规则、网银业绩归属规则分行客户归属规则、网银业绩归属规

4、则第6页/共36页第七页，共36页。n风险计量模型n财务预算模型n。第7页/共36页第八页，共36页。n固定报表为主的综合报表统计平台。n为便于突发性和临时查询需要，提供了基于数据仓库的灵活查询功能。n为规范对外数据报送，建立了统一的对外数据报送平台。第8页/共36页第九页，共36页。性。n目前已建立700多项基础信息标准，900多项指标标准。第9页/共36页第十页，共36页。2.2.有效性：有效性：信息准确度高、理解上不存在歧义。1.1.完整性：完整性：涵盖客户、机构、产品、帐户等银行全部重要信息3.3.一致性：一致性：做到“五统一”。5.5.开放性：开放性：行内标准与国家标准、国际标准可翻

5、译、可对照。4.4.规范性：规范性：制度规范、流程控制、系统管理等。6.6.共享性：共享性：标准化信息在工行内共享使用。总体目标：通过统一信息标准制定总体目标：通过统一信息标准制定(zhdng)(zhdng)、发布使用、制度约束、系、发布使用、制度约束、系统控制等手段，实现工行信息的完整性、有效性、一致性、规范性、开放性和共统控制等手段，实现工行信息的完整性、有效性、一致性、规范性、开放性和共享性管理，提高工行信息化水平。享性管理，提高工行信息化水平。第10页/共36页第十一页，共36页。4 来源(liyun)统一对于已经标准化的数据，其来源(liyun)应该有且只有一个2 口径(kujng)

6、统一对于有数量表达的信息标准，计算口径必须要统一3 名称统一各信息项应该采用统一规范的命名 定义统一同一信息项的业务含义和所适用的业务场景保持一致15 参照统一工行标准和行外各类标准的衔接应建立明确的对应关系第11页/共36页第十二页，共36页。数据质量管理体系数据质量管理制度n数据质量考核办法及实施细则n数据质量管理平台业务管理办法n数据质量技术规范数据质量考核监督n纳入分行内控评价体系和行长绩效考核n建立数据质量定期通报机制n操作风险管理委员会定期审议l 数据数据(shj)质量管理质量管理第12页/共36页第十三页，共36页。3、做好规范管理、做好规范管理完善制度、规范流程、完善制度、规范

7、流程、系统硬控制，把好数系统硬控制，把好数据据(shj)质量质量“流转流转关关”。2、督促问题治理、督促问题治理部署检查部署检查(jinch)规则，实现问题规则，实现问题数据发现、分发、治理、监督、考核数据发现、分发、治理、监督、考核闭环管理，把好数据质量闭环管理，把好数据质量“治理关治理关”。1、从源头治理、从源头治理从数据从数据(shj)录录入、内部处理入手，入、内部处理入手，把好数据把好数据(shj)质量质量“入口关入口关”。第13页/共36页第十四页，共36页。n涉及敏感信息的生产数据的传输必须采用加密处理或使用专用邮箱、专用FTP服务器传输等 。n对生产用户进行严格授权(shuqun

8、)管理，防范非授权(shuqun)访问生产数据 。n对生产数据建立和实施严格的备份机制。对数据保存介质进行分类登记，及时进行清理和转存。第14页/共36页第十五页，共36页。一、工行数据一、工行数据(shj)(shj)管理的总体管理的总体情况情况二、数据二、数据(shj)(shj)生命周期管理理生命周期管理理论与方法论与方法三、工行数据三、工行数据(shj)(shj)生命周期管生命周期管理实践理实践第15页/共36页第十六页，共36页。量急剧增加，例如工行目前核心银行数据已达150T，数据仓库存放的数据已达185T；同时随着(su zhe)各类业务的快速发展，银行每天都在产生大量的数据，并需要

9、对这些数据进行分析挖掘，系统资源开销和运行效率都面临着越来越大的压力。n为控制在线数据规模、保证应用系统健康高效运行，对数据从创建到最终销毁的生命周期进行全程管理显得越来越迫切 。第16页/共36页第十七页，共36页。第17页/共36页第十八页，共36页。l利用随时间积累，数据访问频次变化和数据量累积变化成反比这一客观规律，对数据根据访问频次进行(jnxng)数据价值评估，对大量低价值信息采取低成本的数据保存手段，使数据的价值和存储的技术和管理相匹配，进而大幅降低整体数据存储成本；第18页/共36页第十九页，共36页。存储空间，以降低管理成本和资源开销。n最终大部分数据将不再会被使用，可以将数

10、据清理后归档保存，以备临时需要时使用。第19页/共36页第二十页，共36页。说明：说明：在线归档阶段（也被称为在线归档阶段（也被称为(chn wi)近线阶段）：将访问频度较低且应用需求不高的数据从应用中分离出来，保存在另外的磁盘并提供相应的查询；近线阶段）：将访问频度较低且应用需求不高的数据从应用中分离出来，保存在另外的磁盘并提供相应的查询；离线归档阶段：将访问频度较低且应用需求不高的数据从应用中分离出来，保存在磁带、光盘及低端磁盘上。离线归档后不提供信息联机访问接口，如有相应的查询要求，需特定的查询工具或将归档数据导入相应系统离线归档阶段：将访问频度较低且应用需求不高的数据从应用中分离出来，

11、保存在磁带、光盘及低端磁盘上。离线归档后不提供信息联机访问接口，如有相应的查询要求，需特定的查询工具或将归档数据导入相应系统第20页/共36页第二十一页，共36页。数据生命阶段数据生命阶段管理策略管理策略 在线阶段在线阶段（数据产生与使用阶段）（数据产生与使用阶段）永久保存：永久保存：数据从产生开始一直在生产系统中保存，此类数据不需要进行清理。保存一段时间后清理保存一段时间后清理：数据被标记为失效或过期后在系统中保存一段时间后进行清理。 归档阶段归档阶段（数据备份与保存阶段）（数据备份与保存阶段）在线归档在线归档：查询频度仍相对较高的数据，通过数据库形式保存数据，用户仍可以通过系统在线查询；部

12、分数据通过在线归档一段时间后进入离线归档阶段。离线归档离线归档：查询频度相对较低的数据，通过光盘或磁带等介质保存数据，用户无法在线访问，需通过恢复光盘或磁带介质。 销毁阶段销毁阶段（数据被销毁至消失）（数据被销毁至消失）物理删除磁盘和磁带上的数据，销毁光盘介质。第21页/共36页第二十二页，共36页。一、工行数据管理的总体情况一、工行数据管理的总体情况(qngkung)(qngkung)二、数据生命周期管理理论与方法二、数据生命周期管理理论与方法三、工行数据生命周期管理实践三、工行数据生命周期管理实践第22页/共36页第二十三页，共36页。三、工行数据生命周期管理三、工行数据生命周期管理(gu

13、nl)实践实践第23页/共36页第二十四页，共36页。标准，减少了因数据保留时间不当而出现应用风险，使中国工行的各类业务系统(xtng)可以更好、更稳定地为广大客户提供优质地服务。第24页/共36页第二十五页，共36页。指导工行各类数据的基本管理原则和具体(jt)应遵循执行的各种办法第25页/共36页第二十六页，共36页。n清理的相关信息（包括清理的表名、清理时间、清理数据量）。n数据清理时，应考虑清理数据对系统的影响，比如考虑重建索引、重组(zhn z)等相关事项。第26页/共36页第二十七页，共36页。第27页/共36页第二十八页，共36页。主要(zhyo)数据表的生命周期管理策略制定所有

14、新建和修改表的数据生命周期管理策略的等级和修改清理工具和程序的编制、策略的导入以及测试数据清理工作的执行、清理信息的收集、分析和展现清理工作的确认和检查设计人员设计、开发人员开发、测试人员运维人员清理后数据的查询、展现和导出。技术管理人员第28页/共36页第二十九页，共36页。作(gngzu)时，会对涉及的表的生命周期管理策略进行确认，以确保数据清理的正确、合理。第29页/共36页第三十页，共36页。n工行拟建立清理集中管理平台(pngti)，实现清理信息的有效收集，提供分析和统计。第30页/共36页第三十一页，共36页。第31页/共36页第三十二页，共36页。索引服务，与电子影像及文档服务平台进行配合，完成非结构化数据的归档、存储、查询、调阅等功能；n综合档案服务于有非结构化数据的业务处理系统和相应业务部门，实现业务处理的非结构化数据的统一管理并提供(tgng)了查询服务。第32页/共36页