《数据管控总结》PPT课件.pptVIP

数据管控交流 Agenda n数据管控 n元数据管理 n数据质量管理 n数据标准 我们通常提到数据管控数据综合治理 能够想到的数据质量问题 n源系统业务人员录入正确性问题。 工行案例：企业财务报表录入日期 n源系统多系统之间数据不一致的问题。 工行案例：对公企业行业分类问题 光大案例：客户证件类别 n操作性业务系统规范对后台分析系统的影响。 工行案例：增量完整性 浦发案例：前台系统的数据质量建议方案 n业务统计口径不一致的问题。 信用卡案例：睡眠卡的定义 解决这些数据问题的手段 n我们需要有一个尺度作为判断的依据来衡量 数据标准 n我们需要有一个侦测、报告、协助分析治理数据问题 的平台： 数据质量管理 n我们需要对数据问题影响进行分析，我们需要对数据 进行统一的版本管理和规范管理控制。 元数据管理 n我们需要 数据治理是一个工程。 n我们需要有侦测、分析、解决方案评估、执行的完整 流程。 n我们需要有以下人员的参与： 科技部门 n业务系统的开发人员 n数据治理的专职人员 n分析系统的开发人员 业务部门 解决这些数据问题的手段 Governance=People, Processes, Technology 针对数据管控我们还能想到什么？ n时效性问题？ n数据的安全？隐私问题？ n数据的生命周期管理问题？ n。 数据管控机制的建立 n数据管控的定义 n管控结构组成部分 1. 管控任务和指导原则 2. 管控的组织结构 3. 业务改善和结果追踪 4. 数据管理的落地功能 5. 用户的支持和参与 6. SLA 有效的管控6个组件 n每个阶段的执行情况覆盖了所有的开发周期 PlanAnalyzeDesignBuildImplementManage Governance Program Structure User Support & Involvement Data Certification & Management Service Level Agreements Mission, Policies, Guiding Principles Incremental Project Planning & Implementation Opportunity Scoping & Results Tracking 建立数据管控的考核指标和落地功能 数据质量管理 元数据/ 数据标准 数据模型 数据分布/ 生命周期管理 数据层次/ 数据流 数据安全/ 数据隐私管理 数据安全性 数据冗余度 数据质量 数据规范性 数据时效性数据整合度 数据 DG-KPI DG-KPI 载体或工具 三大功能和相互关系 管控体系中的数据标准、数据质量和元数据之间有着紧密的关系，三者的关系如下： 数据标准向元数据提供业务元数据的标准定义，并可以通过元数据平台进行维护； 数据标准定义了符合进仓数据的标准和依据，指导数据质量进行有效的质量监测和检查；另一方面，通过 数据质量具体的操作来促进数据标准的执行情况； 元数据作为数据质量的数据提供者，向数据质量提供包括表、字段、代码等元数据对象及其属性定义，能 够帮助仓库的使用者更好的发现数据的质量问题； 数据管控应用框架 0 数据治理组织架构与 岗位职责 数据治理模板 (流程、定义、发布) 数据治理认责 与考核办法 数据 标准 管理 元数 据管 理 数据 质量 管理 数据 安全 管理 数据标准需求 管理流程 数据标准 制订流程 数据标准 执行流程 数据标准 维护流程 数据质量问题 处理流程 数据质量需求 管理流程 元数据变更 管控流程 元数据需求 管理流程 数据访问安全 数据质量检核 规则制订流程 元数据调研 分析流程 元数据维护 管理流程 数据质量问题 排查流程 数据维护安全数据备份安全 元数据分类模式及属性举例 属性名称必填项注释说明 标识号M业务属性的唯一标识 名称M 缩写M缩写或业务属性名称的简要写法 同义词代表同一含义的不同术语名词 别名其他部门的术语或通俗的讲法 定义M该术语属性的详细定义 标准标志元数据规范的范围，如全企业通用 、部门级别、独立使用等。 必填标志M必填、可选、有条件的填写 缺省值 限制规则取值范围的限制条件 是否个人信息是否个人隐私信息，如客户名称、 住址、国籍、生日、信用卡信息等 保密等级高中低等 重要程度是否是对运营、决策等影响重大的 关键信息，是否是数据质量检查点 元数据创建人M 元数据创建日期M 最近修改人 最近修改日期 质量评分根据数据质量评估模型给出的评分 最近评定日期 元 数 据 分 类 业务元数据 结构化技术元数据 关联类技术元数据 操作型元数据 业务模型 主题域 业务实体 业务属性 数据质量业务规则 数据库/文件服务器 表/视图/文件 列/字段 数据集成应用 数据集成逻辑模型 数据集成物理模型 数据质量控制规则 数据处理应用 数据处理作业 分类属性 元数据管理的架构 元数据的基础功能 元数据查询浏览：侧重于对元数据的内容展现和查询方式支持 元数据数据分析：侧重于基于元数据的分析功能，从数据中提取对技术、业务用户有用的信息 元数据管理：元数据平台的管理功能 BI元数据和企业级元数据的互动：企业级元数据经ETL平台加工整理进入仓库，形成BI元数据，可通过 血缘分析和影响分析功能查看两者的互动关系； 历史 对象 元数据浏览的灵活性 n元数据对象关系呈立体网状 n看本体查看对象本身定义，例如表的名称、注释 等信息。 n向上看查看对象所属对象的定义，例如表所归属 的数据库。 n向下看查看对象包含的对象的定义，例如表所包 含的字段、索引等。 n向前看查看对象的上游信息对象，例如该表的数 据的来源表。 n向后看查看对象的下游信息对象，例如该表的数 据的目标表。 n看历史查看对象的历史变更信息。例如该表在上 一个版本中的内容。 n看友邻查看与对象有关系的其他对象，例如涉及 该表的脚本等信息。 所属 对象 包含 对象 目标 对象 来源 对象 本体 对象 友邻 对象 友邻 对象 友邻 对象 友邻 对象 元数据主要分析功能 影响分析 向下分析一个元数据对象对下游对象的影响。 血缘分析 与影响分析的方向相反，向上追溯一个对象的数据来源。 全链分析 从某对象出发，向上下游双方向进行分析。 活力分析 分析一个数据库对象被访问的频度。 孤立对象分析 分析数据准备区(SData)、物理模型区(PData)中的孤立元数据对象。 一致性分析 定期分析元模型中的元数据是否与实际情况一致。 版本比对 选择任意两个时点的版本进行比对。 质量分析 分析数据仓库中的元数据的质量。 如何元数据技术的价值 元数据技术发展方向 任何事物的发展都是从粗放型到精细型，元数据的发展也不例外。 元数据是关于数据属性的管理系统，针对数据属性的管理需要从“定量化”技术指标到“抽象化”的业务指标的 管理。 元数据的应用需要从简单的技术应用模式到复杂的分析应用模式的转型。 元数据发展目标： 元数据的完整性 元数据的精细化 实现元数据的双向驱动为目标工商银行 业务元数据价值的探讨工商银行 元数据应用的价值举例： 基于元数据的数据质量评估模型 基于元数据的数据温度评估模型 基于元数据的数据生命周期管理机制 基于元数据的ETL作业调度优化 基于元数据的物理模型优化 真正发挥元数据的协助数据管理的职能真正发挥元数据的协助数据管理的职能 数据质量维度 维度说明 完整性必须的数据项已经被记录 时效性数据被及时更新以体现当前事实 唯一性该数据在特定数据集中不存在重 复值 参照完整性数据项在被引用的主表中有定义 依赖一致性数据项取值满足与其他数据项之 间的依赖关系 基数一致性数据项在子表中出现的次数符合 标准 正确性数据正确体系了真实情况 维度说明 精确性数据精度满足业务要求的程度 技术有效性数据符合已定义的格式规范 业务有效性数据符合已定义的业务规则 可信度数据的可信依赖程度 可用性数据在需要时是可用的 可访问性数据易于访问 适用性数据格式和展现满足用户需要 必须有一个跨部门以上领导的重视和牵头 必须有一个专门负责解决数据质量问题的组织 必须有一个专门负责解决数据质量问题的平台 必须有一个专门负责解决数据质量问题的流程 必须有一个专门负责侦测数据质量问题的工具 数据质量的数据质量的 5 5 个个 “ “ 一一 “ “ 工程工程 完整的数据质量解决方案 数据质量改进标准流程 启动 S1.1识别已知 数据问题和当前 发起方 S1.2确定数据 质量评估范围 S1.3制定数据 治理评估计划 S1.4获取相关 资源 S1.5风险评估 S1.6搭建数据 质量评估环境 定义 S2.1了解目标 数据概况 S2.2识别关键 数据项 S2.3定义数据 标准和业务规则 S2.4验证数据 标准和业务规则 S2.5定义数据 质量规则 评估 S3.1获取评估 数据 S3.2使用数据 质量校验规则校 验数据 S3.3分析数据 质量问题产生的 根源 S3.4数据质量 问题影响分析 S3.5开发数据 质量问题解决方 案 清洗 S4.1搭建数 据清洗环境 S4.2清洗和修 正问题数据 S4.3评估清洗 结果 改进 S5.1搭建新 的处理环境 S5.2迁移至新 的处理环境 S5.3评估改 进结果 需要工具支持 21 数据质量平台功能 管理配置平台：质量规则的管理维护，支持用户界面手工编辑方式进行维护或者文件方式批量导入 检查执行平台：数据质量知识库中抽取相关质量规则，以检查脚本为载体，通过ETL服务器任务调度， 完成数据检查，并将检查结果保存进数据质量知识库 质检报告展示平台：以WEB页面或者文件方式查看质量检查结果 数据标准框架 数据标准定义 数据标准执行 数据标准映射 数据标准管理流程 数据项的主题、分类 数据项的业务属性 数据项的技术属性 数据标准执行的架构 数据仓库差异和改进建 议 源系统差异和改进建议 数据标准与源系统的 字段级映射 数据标准与数据仓库 的字段级映射 日常维护 更新 执行和效果追踪 标准定义标准映射 标准执行管理流程 管理工具 业务数据标准的问题 困难 实施难易度 容易 高 实 施 迫 切 性 低 公共数据规则示例 电话号码 建议采用正则表达式进行系统固化，例如：/(0+d2,3-)(0d2,3)-)?(d7,8)(-d3,)?$/ 合法范例021-27765466-201非法范例：未以-分隔，以及所有含非数字字段电话号码，例如0a0*11233323 手机号码 建议采用正则表达式进行系统固化，例如：/0*(13|15)d9$/ 合法范例15933442231 非法范例：非13或15开头，长度不为11位以及所有含非数字字符的号码，例如：1300006454a 行政区划(省、市) 数字代码采用三层六位层次码结构 省、自治区、直辖市、特别行政区的字母用两位大写字母表示 市、地区、县级市、市辖区的字母用三位大写字母表示 地址 地址信息之不允许包含省份、城市和区县的信息 应该按照下列顺序依次填写街道、门牌号、单元室号等信息 邮编 采用四级六位编码制，前两位表示省、市、自治区，第三位代表邮区，第四位代表县、市，最后两位代 表投递邮局 建议采用正则表达式进行固化，例如：/0-96$/ 邮件地址建议采用正则表达式进行固化，例如：/_a-z0-9+(_a-z0-9+.)+a-z0-92,3$ 工作目标和重点 产品客户渠道 交易 客户资产机构 财务 协议营销 地址 公共代码 业务主题 统一的定义 可执行的标准 配套的管理流程和职责 总体 规划 数据映射 执行建议 业务和技术 分类及属性 申请维护废止数据管理员 公用 三期（2010/01-2010/06) 启动数据标准后评价 作业,评价项目执行状况 以及复审管理流程的适 用性 建立专职专职小组组 兼职职：每部门门2人 客户资产 当事人完整视图定义 员工和机构 各主题标准的维护和更新 提供相关系统建设指导 建立起全行的数据标准管 理架构 一期（2008/02-08) 建立兼职职数据标标准小组组 建立数据管理流程 建设设管理工具 兼职职：每部门门1人 基础础框架 客户户、产产品主题题 公共代码码 ECIF的客户户模型 相关系统统的产产品 统统一的客户视图户视图 数据标标准实实施蓝图蓝图 和路线图线图 二期（2008/09-2009/12) 逐步建立专职机构 建立管控绩效指标，纳入机 构考核 专职专职1-3人 兼职职：每部门门2人 营销活动 协议-分类及层级 渠道类型及识别 交易交易代码和核心信息 前台产品管理系统建设 EDW中间层的公用指标建立 提供相关系统建设指导 全行一致的统计口径 闭环式的营销活动提供指引 公用统计口径及标准KPI 初级利润贡献度 规划的实施路线图 各阶段 数据 管控 体系 数据 标准 定义 数据 标准 落地 业务 价值 组织 流程 人员 基础 标准 公用 标准 系统 建设 1.定期复审数 据标准，评估 前期成果合理 及适用性，推 动必要修正， 保证数据标准 的有效性 2.定期审视前 、中、后台操 作/管理系统 有无不符合数 据标准指导原 则部门，评估 修正可能 3.定期审视现 有操作流程评 估数据标准使 用的合理性， 作为未来修改 、新增操作流 程依据 落地建议仅供参考，不作为本项目的交付 标标准的维护维护 和更新 一期项目标准定义（1）：客户主题 客户定义与分类 客户信息模型 产品定义及原则 一期项目标准定义（2）：产品主题 产品清单 产品分层 产品信息模型 产品特征定义 产品与特征的映射 一期项目标准定义（3）：标准代码(I) 完成199个公共代码的标准定义，分 布在客户、产品、协议等多个主题 代码定义原则及分类 代码定义范例 一期项目-标准管理组织架构和角色定义 目前的组织架 构：由领导小 组、办公室和 数据管理员组 成三层兼职组 织架构 数据标准管理 领导小组 数据管理员系统管理员 数据标准 业务专家 对数据标准的定义与 变更提供专家意见 配合解释数据标准的 业务含义和业务规则 配合数据管理员完成 其他数据标准管理事项 数据标准定义 变更核准与修改维护 数据标准复审 标准执行的监督 标准的一致性解释 金融标准委员会相关 标准的复审和落实 数据标准管理工具的 运营与维护 数据标准管理工具的 用户设置与权限管理 数据标准 管理办公室 发起、组织数据标准的新建 协调跨领域变更与重大变更核准 组织数据标准定期复审 监控标准执行项目的进展与效果 数据标准的发布、备案、版本管理 行外数据标准化组织的联系 行业标准发展状况的跟踪 审定数据标准建立方案 审议数据标准重大变更 核准数据标准复审 审定和推行数据标准执行方案 指定标准执行项目的业务牵头 部门 推动标准在全行的使用落实 指派数据管理员与业务专家 一期项目-数据标准变更维护流程 二期项目 2008/12 2009/1 2009/2 2009/3 2009/4 2009/5 2009/6 2009/7 2009/8 0 1 2 3 4 5 6 7 8 二期标准定义 渠道主题数据标准 渠道定义 渠道类型/种类 渠道信息模型 渠道主题 交易主题 关键统计指标 交易主题数据标准 交易定义 交易类型 交易核心信息项和使用规范 交易费收入识别规则 关键统计指标数据标准 指标分类及定义原则 指标定义基础框架 关键统计指标标准定义 二期项目数据标准定义（1）-渠道主题 q 渠道定义：客户获取银行或银行 产品信息以及购买或使用银行产 品、服务的媒介。 几点解读： 渠道是银行与客户之间的接触点，只有 在我行与客户相互接触（直接或间接） 的事件中才包含渠道信息。 通过渠道，客户可以主动接触我行，获 取我行信息，购买和使用我行产品与服 务；通过渠道，我行也可以主动向客户 销售产品、提供信息和服务。 以我行视角定义的渠道是我行所提供的 、延伸至最外端、可供客户接触我行或 我行主动接触客户的媒介。 q 渠道信息模型 按照信息大类、小类和信息项分层 定义 覆盖基本、银行管理、利润、运维 、关联、特有、分组信息等七大类 ，22小类，共计115个信息项 各信息项的业务定义描述、数据类 型、数据长度等 二期项目数据标准定义（2） -交易主题 银行为了满足客户的金融服务需求或者自身的经营管理需求，进 行的用来实现价值转移、服务提供的活动。 交易核心信息项 交易费收入客户识别 二期项目数据标准定义（3） -关键统计指标 n规范定义了265个指标，高度覆盖了现有的关键指标报表类应用 一致粒度的指标：在收集到的原始指标中，按照指标合并拆分原则适 当的提取和合并，使所有指标的定义粒度相对一致，也使得指标列表 更为简洁，避免重复定义。 重复指标的定义：对其中的45对重复指标进行了核实，统一了这些全 行经营战略重点关注的指标定义和描述，消除歧义和冲突。 指标定义的修正：根据命名规范对指标名称的规范；根据业务的发展 ，对一些原有的指标定义进行了修正，使之更精确描述。 二期项目数据标准定义（3）关键统计指标标准 业务统计口径白皮书 指标信息管理，促进了业务元数据的管 理 业务上推动了业务需求标准化管理，为 未来统一指标库的建设奠定了基础；作 为应用需求和需求分析的参考手册，减 少了需求反复，节约了沟通成本 提供统一规范的定义框架，有助于新指 标的快速实施 推荐使用而非强制执行，利用使用数据 的沉淀，增强可用性 统一指标库 建立一种全新高效、准确开放的数据信 息应用管理模式，由业务管理指标库和 指标数据库构成 统一的指标加工平台，统一的指标计算 口径，解决数据质量问题 全行有效、标准、统一的指标数据采集 、存储、管理机制，进而形成全行统一 标准规范下指标口径和取数逻辑的统一 视图，解决了需求整合的问题 一期标准落地概况 n公共代码数据标准使用概况 38 * 业务主题项目使用对象使用方式 客户主题 图形化 前端 l客户信息模型 尽量遵循数据标 准的信息模型要 求，同时兼顾本 系统的个性化需 求 客户主题ECIF l客户定义与分类 l客户信息模型 l客户识别和归并 规则 以客户主题信息 模型作为需求的 主要参考 产品主题 对公 OCRM l产品清单 l产品识别规则 数据加工处理参 照产品映射关系 基础主题数据标准使用概况 项目 使用数 /总数 未使用原因/影响 新个贷25/27 l涉及程序调整、回归测试对开发进度 影响较大 l业务条线管理要求比已定义的数据标 准更细致，引发3项数据标准变更 图形化 前端 5/25 l图形化前端项目具有一定的特殊性， 对应多个后台系统，没有特定的数据存 储 l同一个代码在不同系统里代码值都不 一样，如证件类型、客户状态等。参照 执行数据标准中的技术属性 l部分公共代码没有被目前的数据标准 所覆盖，待将来补充完善 贵金属1/1 l代码以交易主题为主，未能被目前的 数据标准公共代码所覆盖 公共代码标准：是各系统数据字典设计的重要参照，包括业务与技术属性、取值及含义 基础主题标准：是相关主题业务需求的基础和蓝本 数据映射：可做为系统字典对照与数据整合处理的重要参考 同时标准的新建、变更维护也应与业务需求梳理工作结合进行，不断适应新的需求，逐步完善 议程 他行经验和借鉴 光大数据标准后续改进策略和工作建议 光大数据标准化工作成果 国内银行数据标准化建设情况 银行建设情况牵头部门 建设银行完成，主要是面向共用代码，在后台数 据处理中进行转换和落地。 信息中心，数据标准处 工商银行立项，并且在招标过程中，主要是面向 客户信息标准化和统计指标口径标准化 管理信息部 国家开发银行完成部分，包括客户信息数据标准和数 据标准管理流程 科技部，信息标准处 农业银行规划中科技部，信息中心 q数据标准项目是管理信息系统规划的子项目 q项目目标： “业务变革与信息技术变革在全行全方位 展开，而增强数据定义和使用的一致性将促进 系统集成，充分实现信息资源共享。” q项目范围:“通用数据”标准 q牵头部门：信息中心数据标准处 q参与部门：14个业务部门、21个应用系统 q逻辑数据模型LDM q通用数据标准定义（12大信息类） q产品清单 q客户数据标准 q公共代码定义 项目概况：主要产出： 国内银行C：基本情况 国内银行C:标准代码的执行 信息中心信息标准 划处负责标准制定 和维护职能 信息科技部后台系统负责 数据标准在后台分析系统 的落地执行 国内银行C：经验与教训 n数据标准项目由信息中心牵头，该部门由业务人员和IT人员共同组成 n数据标准是长期持续的工作，该行成立了数据标准处来专职负责 n数据标准项目的成功有赖于各业务部门以及周边项目的鼎力支持和参与 n在全行的数据质量检查中纳入数据标准遵循度的考核，并将检查结果与绩效 挂钩 n该行的数据标准项目仅完成了数据标准定义，数据标准的使用和执行力度较 小。除标准代码外，其它主题数据标准均停留在纸面上 n产品标准与产品分类目录脱节，造成产品目录、产品数据标准均无法执行和 更新维护 议程 他行经验和借鉴 光大数据标准后续改进策略和工作建议 光大数据标准化工作成果 标准落地与标准定义完善工作的相互促进 45 标准编制 标准管理 标准发布 标准执行 信息管控 业务定义 技术/流程定义 规范/口径定义 发布工具 浏览查询 通知机制 执行策略 优先策略 实施策略 变更申请 管理维护 工作流程 数据标准专业团队工作： 标准落地执行 标准监管 标准审核 标准维护 标准定义 在数据标准落地执行的过程中，必须持续对现有标准成果进行有效管理 和维护，并在落地执行项目的推进过程中，逐步建立、完善数据标准的 管理流程与规范，使数据标准工作纳入各部门的日常工作中。 标准落地执行的复杂性、长期性和综合性 46 数据标准在银行的推广实施，牵涉面广、技术复杂、集成化程度高， 在IT层面涉及系统开发、系统改造以及新老系统的衔接。数据标准落地 执行是一项复杂的、长期的、综合的工作，必须根据我行的实际情况以 分步实施的模式逐步推进。 区别对待 平台支撑 完善管理 项目推进 阶段实施 有“生命”的数据 标准 业务驱动 标准落地执行策略之一：业务驱动 47 业务部门的需求推动标准执行 标准执行的效果体现业务价值 业务现实迫切程度落地执行的前提和重点 有人想用 + 有人用 = 有用 区别对待 平台支撑 完善管理 项目推进 阶段实施 有“生命”的 数据标准 业务驱动 标准落地执行策略之二：项目推进 48 现有 系统 以业务价值高的项目或专题为优先 实施前充分沟通，进行可行性研究和业务价值评估，制定详细落地执 行方案 涉及多系统、多项目，需要标准专业小组统筹、组织和统一协调管理 保障项目人员、经费、开发时间等资源 新建 系统 开发流程中设立检查点来确保数据标准的执行 项目立项 设计评审（需求定义、功能设计、数据库设计等） 上线评审 数据标准执行与项目流程的有机结合 从项目中采标，不断充实、完善数据标准 区别对待 平台支撑 完善管理 项目推进 阶段实施 有“生命”的 数据标准 业务驱动 建立配套的针对数据标准项目开发流程 设计开发测试上线应用维护需求分析 数据标准执行内容责任人 在需求分析过程中 ，分析业务定义是 否需采纳执行相应 的数据标准。确定 标准适用范围，将 作为设计开发阶段 执行数据标准和上 线阶段进行评审的 依据。 业务需求人员 业务数据管理员 在功能设计和数 据库设计时执行 数据标准的业务 属性和技术属性 系统设计人员 数据架构师 科技数据管理员 在上线评审时确 认对数据标准的 遵循程度： 对数据标准的遵 循程度 未执行数据标准 的原因及内容 对数据标准的更 新需求 业务数据管理员 科技数据管理员 在应用变更时确 认对数据标准的 遵循程度： 对数据标准的 遵循程度 变更未执行数 据标准的原因 对数据标准的 更新需求 业务数据管理 员 科技数据管理 员 数据标准的参与人分析职能和定位 角色职能业务参与度技术参与度专职/兼职 制定者参与数据标准的制定、讨论、审核工 作。 使用者在非科技项目的业务的日常经营分析 过程中，贯彻和使用数据标准项目的 成果。 执行者负责完成数据标准在科技项目执行中 的方案论证，影响评估和设计开发工 作。 管理员完成数据标准的日常管理的补充、更 新、细化、调整、解释等维护工作 监督员完成进行数据标准执行工作的监督管 理和定期的评估工作 数据标准工作推进的建议 近期目标 （2010年） 配合数据质量管理项目建设，将数据标准 管理内容部署到数据质量管理流程中，有效 监控数据标准执行状况； 逐步充实数据标准专业团队，继续负责落 地项目的统筹、组织协同，以及标准采标和 维护管理； 继续完善标准定义、维护、监控工作。 以标准落地工作为重点，选择合适的专 题项目(如客户关系管理)作为切入点，以 业务效果为目标进行落地实施； 继续开展数据标准定义工作（如机构主 题）