普元基础数据平台方案介绍-(ETL-BI-数据治理)

普元基础数据平台方案2013年8月7日议程普元公司介绍相关案例介绍基础数据平台方案答疑普元公司概览基本概况成立时间:2001年4月，2010年6月改制为股份公司总部位于上海浦东张江，北京、广州、西安、武汉设有分支机构注册资本：6000万元2009年，获得新开发基金等1亿投资人员规模：500+，技术人员占比80%，核心管理和技术团队稳定资质荣誉国家规划布局内重点软件企业、上海市高新技术企业国家级重点A类新产品，获得3项授权专利、13项受理专利；42项软件著作权已成功通过CMMI5级认证国家博士后科研工作站、上海市研究生联合培养单位国家云计算创新发展示范单位、国家高技术产业化示范工程单位18项技术“发明专利”研发持续投入10年历程，普元帮助300多家大中型客户成功金融电信能源公用大中企业政府国防中国工商银行中国建设银行中国银行中国农业银行中信银行交通银行国家开发银行中国人民银行中国人民保险中国平安太平洋保险上海银行中国邮储……中国移动中国电信中国联通华为科技亚信联创亿阳信通中国电信系统集成60家海外运营商……国家电网港华燃气中国石油中国石化中国水建中国华能中核集团中煤集团胜利油田神华煤炭鲁能集团……工业与信息化部外交部水利部海关总署国家海洋局中国烟草空中交通管理局首都之窗中国电子科技集团28所某部队后勤指挥……中国航天科工首钢集团宝钢集团招商局中国国航中国造币京港地铁九阳股份中国科学院三菱电梯德邦物流……普元数据能力简介5产品研发应用开发项目实施金融电力企业政府数据平台相关能力100+人，多数来自东南融通BI团队始于2008年2011年，收购东南融通BI团队普元数据平台产品6数据建模数据整合(ETL)任务调度监控管理数据交换企业数据治理数据标准管理数据质量管理元数据管理数据分析展现工具数据挖掘工具综合应用开发和集成平台数据类应用管理类应用营销类应用经营决策类应用数据库ODS数据仓库多维数据库数据模型统计分析类应用绩效类应用普元具有相关产品数据平台实施能力数据源分析能力主流数据库：Oracle/DB2/Teradata/Sybase/MSSQL/Informix/其他主流厂商产品：OracleERP/SAP/PeopleSoft/用友/金蝶金融核心、信贷、ECIF、信用卡、电子银行数据架构和数据建模ODS/EDW/数据集市仓库模型、OLAP多维模型Oracle/DB2/MSSQL/Teradata/GreenPlum/Hyperion/SAS/Cognos/MSSSAS…ERWin/PowerDesigner/Visio/ROSE/OfficeETL开发大型、复杂的ETL架构大规模作业并发、排程、负载均衡、高可用性SQL/Perl/Shell/JavaDatastage/PowerCenter/MSSSIS/KETTLE/DI/Control-M/Automation/ETLPlus数据分析和报表开发报表、查询、OLAP分析Cognos/MSTR/BO/BI.Office/etc.数据管控数据标准元数据管理数据质量7数据类应用开发能力数据类应用日常管理营销支持经营决策统计分析绩效考核8部分案例议程普元公司介绍相关案例介绍BDP建设方案答疑案例概览建总行贷记卡管理信息系统（05.11-06.6）发卡量：约2000+万客户数：约1000+万数据总量：约3TB

每月数据增量：约100GB

项目范围：信用卡业务咨询信用卡数据仓库、应用分析数据集市的建设MIS报表（100张）、查询（80个）、多维分析Cube（40个）定量模型（客户消费预测，客户逾期预测）项目平均每月投入人数：25人项目周期：8个月

光大银行信用卡决策支持系统一期（07.4-07.12）发卡量：约400万客户数：约230万数据总量：约1.5TB

每月数据增量：30GB

项目范围：信用卡数据集市MIS报表（100张）、查询（150个）、KPI（80个）多维分析Cube（40个）项目平均每月投入人数：15人项目周期：8个月

广发银行信用卡数据分析平台（09.3-2010.12）发卡量：约1500万客户数：约1000万数据总量：约2TB项目范围：业务范围：风险、财务、产品、账户、市场、运营MIS报表（150张）查询（100个）KPI（50个）多维分析Cube（30个）项目平均每月投入人数：12人

光大银行信用卡决策支持系统二期（08.4-08.11）项目范围：数据集市扩展（补充V+剩余数据、申请管理系统数据、CallCenter、积分数据、清算数据）MIS报表（30张）、查询（20个）、KPI（20个）多维分析Cube（10个）定量模型：拖欠行为评分、盈利预测模型业务策略:(永久批量/取现/临时）信用额度调整活动管理平台项目平均每月投入人数：20人项目周期：7个月

信用卡领域数据架构系统运维管理平台数据服务数据源SEMACARD信审系统应用安全管理系统监控管理催收系统补录数据客服系统短信平台CallCenter临时存储区应用服务信用卡数据集市OLAPBIPresententionReportServiceKPIServiceQueryService前端应用KPI应用MIS报表OLAP分析灵活查询数据挖掘告警分析数据补录系统管理ODS基础数据存储数据补录区补充缺漏信息数据补录平台ETLDatastageETLSAS服务统一财会系统ApplicationServer信用卡领域数据架构2议程普元公司介绍相关案例介绍基础数据平台方案答疑统一性约束统一的数据架构考虑：统一的数据获取、数据转换、数据分发的数据交换架构基础数据平台的定位：统一的指标计算和数据加工，服务于下游系统统一的技术架构考虑：统一的ETL调度流程统一的监控管理统一的前端应用架构统一的数据管理机制，包括数据备份、归档和管理统一的数据交换标准统一的业务统计口径和业务管理统一集成的数据标准、元数据、数据质量管理体系统一的开发管理、测试管理、版本管理策略数据整合(Primeton.ETL)数据管控(Primeton.EDG)总体架构21个上游系统17个下游应用系统基础数据平台Oracle11g数据采集数据补录历史数据QDS元数据管理数据质量管理任务调度运行监控和管理7张表准实时数据T+N应用集市数据安全txtxlsxml当日缓冲ODS全量细节DDS数据标准DatastageInformaticaDatastageInformaticaPrimeton.DI数据分发数据交换基础数据模型：概览结合信用卡业务的流程，从征信、授信、交易、授权、催收进行数据搜集，按卡片级、账户级、客户级进行轻度汇总，为整个业务应用提供强大的支持ODS催收数据卡片数据账户数据核销数据交易数据申请审批数据授权数据欺诈数据流失客户数据客户数据基础数据模型：卡级汇总汇总与卡相关的所有指标，处理与卡相关的各种状态卡片级卡片成本汇总与授权的关系与账户的关系是否活动卡卡片收入汇总卡片交易汇总是否循环信用与交易的关系卡片基本信息与客户的关系基础数据模型：账户级汇总汇总与账户相关的所有指标，处理与账户相关的各种状态账户级催收信息汇总是否活动账户账单信息汇总核销信息汇总是否循环信用账户基本信息与客户的关系逾期信息汇总超额信息汇总交易信息汇总基础数据模型：客户级汇总汇总与客户相关的所有指标，处理与客户相关的各种状态客户级余额信息汇总是否活动账户成本信息汇总交易信息汇总是否循环信用客户基本信息收入信息汇总逾期情况汇总还款信息汇总催收信息汇总数据采集接口层当日缓冲ODS直抽数据文件准实时全量增量T+N数据补录联机的数据项补录功能总行统一制定补录样式，分行及各部门通过web界面进行补录操作数据补录带有数据流程管理功能，可实现发起、审核、退回等流程功能补录带有数据勾稽关系、数据校验功能，保证数据补录的数据质量补录带有自动汇总调整功能，任何一补录项改变，相关有计算关系的补录项也会同时改变。数据补录模板可以灵活调整基于明细数据的补录功能基于Excel模板下发的数据补录基于格式化文件导入的补录功能信用卡应用集市明细层ETL架构数据源发卡系统征信系统第三方征信前置系统前置监控系统收单系统综合业务平台总行数据仓库数据缓冲区数据源同构时间拉链接口管理数据源管理数据转换区数据标准化格式转换排序/筛选业务转换连接/合并/分割加工汇总数据源管理信用卡基础数据层ETL统一调度管理平台稽核平衡控制报告归档备份清理恢复ETL1ETL2ETL3ETL4ETL5数据管理数据恢复管理代码管理ETL管理模型管理业务规范元数据管理授权监控系统催收系统客服系统CCS系统手工参数表其他客户主题账户主题事件主题产品主题组织主题相关方主题渠道主题其它信用卡数据分析仓库MIS报表影像内容管理平台互动短信平台销售服务管理系统多渠道进件管理系统积分系统零售贵宾权益管理系风险信息管理系统软pos综合业务平台电话销售管理系统其他任务调度与监控Primeton.ETL任务调度与监控：逻辑架构ETLJOB元数据管理平台数据质量管理平台作业自动化其他JOBJOBJOBSHELLPerlDataExJOB运行监控运行干预系统管理代理负载均衡代理代理数据标准管理平台数据监控资源监控文件监控作业分发计划调度手工触发消息推送事件调度性能分析任务调度与监控：物理架构分析型应用业务系统管理服务器主调度服务器备用调度服务器知识库终端代理代理代理代理代理代理代理数据平台任务调度与监控：作业/作业流管理支持作业类型有：DataStage作业PowerCenter作业Oracle存储过程DB2存储过程SQLServer存储过程Perl脚本Sh脚本WindowsExeJava程序公共组件虚拟作业循环控制设置作业参数选多个代理，会在这几个代理间进行负载均衡任务调度与监控：作业/作业流运行策略运行策略设置依赖关系前置条件后置处理代理代理代理主调度服务器备调度服务器ETL作业服务器(DS/DB)代理代理代理主调度服务器备调度服务器ETL作业服务器(DS/DB)知识库管理服务器时间事件作业依赖手工支持所有作业集中调度，也支持将作业分组调度，以分散负载调度服务器主备FailOver作业分发支持优先级支持VIP通道支持负载均衡jobsjobsjobsjobsjobsjobsVIP专属通道任务调度与监控：作业调度任务调度与监控：作业调度计划任务是按时间频度调起作业的一种机制，它有日历+频度+作业/作业流+消息设置组成；可以设置激活时间窗和运行时间窗。

频度，前面所配置的频度日历，前面所配置的日历发送消息设置，前面所配置的消息设置优先级设置31点击，快速定位问题原因任务调度与监控：监控与干预手工输入参数优先级设置检查作业依赖关系检查触发关系是否翻牌手工运行作业，记录操作人姓名任务调度与监控：监控与干预(手工运行)任务调度与监控：资源管理代理代理代理主调度服务器备调度服务器代理知识库管理服务器jobsjobsjobs资源管理器资源采集资源存储资源监控作业分发资源申请根据作业对CPU、内存的要求，通过算法，找到资源状态最佳的一台机器，并分配作业到上面运行数据分发数据分发平台可以专门进行分发类工作处理，只要进行简单配置，就可以让此类工作马上开始。信用卡应用集市数据交换数据交换(Primeton.DI)数据安全系统运维管理系统监控管理主要提供网络监控、主机监控、数据库监控、应用监控、生产调度监控、安全监控等。系统维护管理是指系统在运行过程中，为了系统的正常服务而进行的配置、参数管理，以及启/停机、清理过期数据等日常操作，以及数据、系统发生变更的维护等。备份恢复管理处理系统中所有必须的备份和恢复操作。这个组件根据备份策略，通过对数据的冗余存储来保证系统可以从各种服务中断中恢复。数据归档清理定时对指定数据区域按照数据存储规划，进行数据脱机归档，备份至磁带库、光盘库中。在归档成功后，对指定数据进行清理。审计管理对所有系统的核心操作进行审计跟踪，能够从系统日志中再现历史操作流程。性能容量规划从环境中的不同元素收集利用数据，并规划硬件和软件能力需求。运维安全管理通过制定和管理运维安全策略，并利用安全工具，维护信息系统资产（包括硬件、软件、用户数据、信息/数据）的机密性、一致性和可用性。数据展现Primeton.BI产品应用架构。。。风险

分析统一报表平台统一查询系统ACRM领导信息系统绩效考核分析嵌入式BI物流分析查询分析报表预警仪表盘查询预警报表分析仪表盘管理层决策层普通员工统计人员统一登陆管理EDWBI工具BI应用系统应用系统ERPSCMCRM。。。HRALMPLM。。。财务

分析为所有职位交付信息，提升企业整体洞察力易于使用，自助式服务灵活的、个性化的交付可嵌入到业务系统稳健的而统一的分析平台支持5000+用户可靠的安全管理高可扩展性、灵活性应用资源的统一管理和共享数据抽取、加载、转换和清洗UnifiedServer40主要内容Dashboard介绍

Query介绍

Report介绍

Analysis介绍模块介绍

通用组件介绍

Mobile介绍Dashboard—展现直观生动表现形式丰富：内置表格、油量表、泡泡图、雷达图、地图、柱图、饼图、曲线图等多种丰富的数据展示形式动态画图效果，生动形象

42Dashboard—交互式的展示43Dashboard—集成地理信息地图分析：通过变动区域地图的颜色、或在区域地图上加KPI彩旗、灯泡等，让决策层可以清楚了解企业的战略执行，详尽掌握企业信息。支持多层钻取，可以通过接口与GoogleMap或GIS地理信息系统集成44主要内容

Dashboard介绍

Query介绍

Report介绍

Analysis介绍模块介绍

通用组件介绍

Mobile介绍Query—灵活查询平台最具优势的查询平台熟悉的业务术语屏蔽底层数据，业务人员可自助式的进行灵活查询直观、图形化、基于Web的最佳用户体验更可自由的进行交互式的信息探索可无缝的嵌入操作型系统中提升企业自助式获取信息的能力直观、基于Web的定制、访问交互，用户在提示和向导下完成查询分析适应企业内部的各种临时性的报表需求改善业务人员和IT人员的协作关系最终用户进行自助式的查询IT人员仅需对用户权限进行维护46Query—语义层定义（表关系设置）可视化的设置界面，拖拽式操作支持按别名、列名、外键自动创建表关系支持多种连接方式（内连接、左连接等）设置连接方式主要内容

Dashboard介绍

Query介绍

Report介绍

Analysis介绍模块介绍

通用组件介绍

Mobile介绍Report—复杂报表企业报表平台的最佳选择“0”编程—仅需简单的鼠标拖拉，即可快速实现不规则报表、不平衡报表、原始凭证报表等各种复杂报表，完全可视化的设计实现数据补录、数据校验、审核、归档减少了定制报表、报表维护、报表二次开发的工作量高度的灵活性、可扩展性与实时性复杂报表和数据补录的支持能力最大限度的改善业务人员的工作模式支持所有复杂格式的报表强大的补录平台提升企业信息化能力解决企业在报表方面的难题难以应付快速变化的需求信息化建设不足而导致信息采集不全面49Report—报表制作2步完成报表制作表样制作：内置表样设置器、导入Excel文件设置数据来源：从查询中拖拽所需的字段到表样上其它功能参数管理校验规则填报设置Report

-支持多种格式清单表、分组报表、交叉报表、组合报表、套打报表等Report—报表交互浏览汇总数据支持钻取分析具有独特的智能预警

下钻到明细表红色高亮预警52Report—数据补录零编程、纯HTML补录补录类型数字单行文本多行文本绑定参数文件（如图片等）除了插入数据外，还可删除某行数据清单补录Report—数据校验设置校验公式数据填报后进行数据校验54示例：交叉表55示例：分片报表56示例：分组报表57主要内容

Dashboard介绍

Query介绍

Report介绍

Analysis介绍模块介绍

通用组件介绍

Mobile介绍Analysis—多视角的洞察分析灵活的多维分析平台钻取、切片、旋转、排名、排序、过滤等丰富的用户交互界面，丰富的图形展现不只是OLAP分析，更可自由对TB级数据实现全面探索直至交易细节动态的OLAP报表定制，轻松的数据探索多角度的洞察力从怎么样到为什么，仅仅需要击以下鼠标式业务分析员自己根据问题的需要完成自己的分析和报告业务部门可以从固定的报表、KPI中发现问题时，需要了解为何发生了问题，这时通过OLAP分析定位问题解决企业在报表方面的难题解决问题难以定位以前业务人员无法自助的定制报表59Analysis—功能特色：灵活拖拽式操作，直接展示分析结果，灵活方便灵活的成员选择，支持成员搜索随意切换分析角度，灵活展现（行、列、分页）灵活钻取上钻下钻层钻展开、收起钻到其它维度行列互换支持自定义成员、自定义命名集60Analysis—功能特色：多种分析方法时间智能分析基比、环比同期值、同期比、同期增长率前期值、前期比、前期增长率多种分析方法占比排名TopN分析80/20分析内置最大值、最小值、平均值、合计值等计算函数61Analysis—功能特色告警展现颜色告警图标报警多种分析图形联动分析跨主题跳转分析汇总报表->清单报表配置方式，无需开发表格样式设置62主要内容

Dashboard介绍

Query介绍

Report介绍

Analysis介绍

通用组件介绍模块介绍

Mobile

介绍移动平台-轻松移动办公，商机尽在掌中64产品特色支持多种移动设备：iPad/iPhone/iPodTouch/Android与桌面Web报表的无缝扩展。统一开发部署，无插件，无需额外定制基于地理信息的业务监控支持杜邦分析等多种分析动态图片播放及热点分析支持离线浏览信息同步与共享。

添加注释、邮件发送数据源EssbaseSQLServerOracleDB2......应用服务器XMLAJDBC移动应用展现组件MobileServiceMobilePublish整体技术架构PCSafari浏览器移动平台本地应用iOSAndroid65查询地图分析图表分析报表多维分析仪表盘用户权限计划任务移动平台首页66移动平台效果截图67移动平台示例-打开报表、切换条件68移动平台示例-地图钻取、联动分析点击地区：地图下钻右边图形联动变化69点击【返回】，回到全国地图，右边图形同步变化在指标上拖拽调整指标值，指标卡片上的图标以红、黄、绿显示指标状态，同时该指标的关联指标值及状态也会同步变化为报表分析者全面仔细地了解企业的经营和盈利状况提供方便70移动平台示例-杜邦分析将原始数据以底图加热点的方式直观展现，通过配置完成地图热点区域及各种展现告警效果（如红绿灯闪烁、跑马灯提醒）。支持播放与暂停模式，可以对地图上各个热点区域进行轮动播放，通过点击热点区域进行关联分析71移动平台示例-动态图片播放及热点分析移动平台示例-城市交通监控72可以在页面的任意位置绘制图形、添加注释，并可以通过邮件将注释内的容共享给他人73移动平台示例-增加注释点击进入注释编辑状态增加注释后，发送邮件移动平台示例（iPhone）—打开报表74主要内容

Dashboard介绍

Query介绍

Report介绍

Analysis介绍

通用组件介绍模块介绍

Mobile介绍计划任务实现报表的定时运行实现报表的文件导出，邮件发送对任务进行调度和监控76会话管理会话监控

会话信息列表断开会话查看当前会话操作日志设置会话临控会话分析最大会话数分析按IP分析会话操作日志删除会话历史记录77完善的权限管理体系为了适应企业人员的变动和岗位的调整，系统将权限与用户、角色挂钩实现了多种控制方式，灵活适应各类企业的实际情况。用户级权限

角色级权限用户组级权限78灵活的权限配置—操作权限采用了三层权限架构：操作权限、资源权限、数据权限，为满足日常工作中用户各种复杂管理方法和管理手段提供了基础。操作权限配置79资源权限配置灵活的权限配置—资源权限采用了三层权限架构：操作权限、资源权限、数据权限，为满足日常工作中用户各种复杂管理方法和管理手段提供了基础。80灵活的权限配置—数据行权限采用了三层权限架构：操作权限、资源权限、数据权限，为满足日常工作中用户各种复杂管理方法和管理手段提供了基础。数据行权限设置81灵活的权限配置—数据权限采用了三层权限架构：操作权限、资源权限、数据权限，为满足日常工作中用户各种复杂管理方法和管理手段提供了基础。数据权限设置82强大的二次开发与集成能力—API体系架构图基础SDK，也就是上图的说明In-ProcessServiceAPI（java形式调用，客户端程序和服务器在同一个JVM）Out-ProcessSDK，包括JavaScript，Java，.Net，WebService83数据管控Primeton.EDG普元数据治理平台8585应用功能元数据管理接口二次开发权限集成数据访问分析服务元数据应用数据质量管理数据标准管理数据管控流程管理辅助业务应用元数据基础管理元数据分析服务元数据采集检核指标管理检核执行调度数据探查数据质量应用数据标准应用系统管理角色管理在线用户密码管理权限管理用户管理日志管理参数管理配置管理辅助开发运维数据质量监控数据质量改进标准执行监控辅助标准执行元模型管理质量问题管理知识库管理标准体系浏览标准综合查询数据标准管理数据标准采集普元数据治理应用框架86普元数据治理平台组成和相互关系87数据管控平台数据标准流程系统元数据1.提供检核对象1.提供数据标准信息访问数据标准存储到元数据1.标准相关的指标检核结果数据质量数据质量流程报表需求流程元数据流程数据标准流程……采集基准库、对象库反馈检核结果1.质量检核结果作为质量问题2.质量提升工作结果1.提出度量规则和检核方法2.数据质量问题存储3.数据质量需求1.提供数据标准定义2.数据标准变更数据标准执行情况报表需求存储1.报表需求访问2.报表使用情况2.提供标准代码2.系统代码与标准代码匹配情况3.数据标准执行情况2.度量规则、检核指标存储到元数据数据治理的核心要素——元数据管理88元数据管理是整个数据管控实施的核心要素之一，是数据管控的核心基础设施元数据是企业信息的地图89通过元数据管理平台建立能够形成企业的“地图”了解每一个数据在哪个系统，哪个表，从哪来，到哪去。了解数据项的业务含义，明晰数据之间的关系。应对问题3、系统变更是否可行及变更对下游影响缺失客观有效评估机制4、报表数据质量问题追溯成本较高7、业务人员和技术人员对业务元数据理解存在歧义8、缺失元数据变更管理等配套流程2、系统及系统间关系模糊，增加了人员流动带来的学习成本企业元数据问题总结及应对3、基于影响分析为系统变更的可行性评估提供决策支持以及获知对下游影响4、基于元数据血统分析快速定位数据脉络，有助于数据质量问题解决8、基于流程的元数据统一管理有助于对元数据质量的控制2、构建统一的系统及关系视图5、多种自动化采集引擎，自动化展现企业元数据全景5、元数据自动化采集能力低，导致大量的人工参与工作7、基于屏幕取词方式统一业务元数据口径6、数据仓库只能被动式获知上游变更6、基于元数据变更通知数据仓库可主动捕获上游元数据变化1、元数据成信息孤岛，分布各异，元数据的使用效率低下，无法共享1、集中式元数据管理规避了信息孤岛，使元数据在全组织范围内共享应用场景-从全局了解企业数据资产91需求场景难以了解企业中数据的全貌，也难以了解系统间数据关系处理方案通过自动化采集，自动分析数据关系，形成数据全貌地图应用场景-系统升级影响定位92应用场景因国际业务系统升级，在“ACCT_MASTER”表中修改字段：非贸交易类型NONTRADE_TYPE_NORE，长度由2修改为10，需要定位本次升级对后续相关系统的影响处理方案对元数据“非贸交易类型NONTRADE_TYPE_NORE”进行影响分析，发现对下游的II,ODM,SDM,FDM都有影响，IT部门定位到影响之后修改相应程序，有利于快速锁定影响提高效率和质量业务系统升级修改字段长度，可能会导致对后续系统产生影响IT部门对相关元数据进行影响分析借助元数据管理系统的影响分析功能分析对下游的影响解决问题消除升级影响通过定位影响并做相应修改，达到消除影响的效果应用场景-辅助报表问题定位93应用场景某客户经理发现“产品营销分析”报表数据存在质量问题处理方案客户经理向IT部门提出异议，技术人员通过元数据平台血统分析发现“产品营销分析”受到上游FDM\EDM_CRM等各层的影响，从而定位问题的源头，有利于快速低成本解决问题客户经理提出异议报表数据存在质量问题IT部门核查问题通过元数据管理系统对问题报表进行血统分析，发现与其相关的上游元数据基于问题定位解决报表数据问题IT人员通过血统分析定位可能的问题路径，分析程序解决报表数据问题应用场景-辅助EDW开发94前提：确保生产环境中的基准库和对象库一致全流程元数据及其关系准确要点：严格控制项目上线流程基于元数据变更的通知机制EDW在基准库订阅元数据变更通知EDW在基准库订阅好变更通知，即入仓的所有表发生变更则元数据系统自动邮件通知业务系统模型变更CRM系统的客户类型字段长度由CHAR(1)修改为CHAR(5)EDW接收变更通知并分析影响EDW接受变更通知，并且通过快捷方式进行变更元数据的影响分析普元元数据管理平台95元数据管理平台组织结构元数据采集流程ETL开发规范制度流程SQL编写规范功能实施元数据功能元数据维护自动化采集数据地图数据分析元数据实施实施调研采集设计数据采集质量检查支持Shell日志格式规范数据仓库数据服务清算移动支付完善系统变更上线流程完善数据仓库运维规范变更元数据管理流程应用应用识别负责与关联处室定义元数据角色支撑确定实施接口人公共参数风险采集采集平台功能96应用功能元数据基础管理接口服务采集权限集成元数据关系管理元数据维护版本管理变更管理元数据检索视图管理元数据统计元数据分析服务影响分析血统分析差异分析辅助业务应用代码管理辅助EDW开发系统管理角色管理参数管理配置管理元数据导出元模型管理数据地图采集适配器管理采集模板管理元数据采集管理数据访问二次开发分析服务全链路分析系统缓存管理元数据入库管理适配器Powercenter9cognos10ERWin7.3Excel模板Perl日志dataStage采集注释采集DB数据字典DB数据记录PowerDesignerDB数据字典DDL案例：某政策性银行企业级元数据管理实现对数据模型、数据接口、报表指标等相关元数据的管理，进行企业级元数据的一致性、完整性检查和过程管控；作为企业数据管控系统的组成部分，为数据质量、数据标准等系统提供服务；提供完整的元数据视图，实现元数据信息的集成，便于从多角度查询、应用元数据；通过影响分析功能进行上游系统变更的评估和影响性定位，辅助EDW平台开发及运维协助下游报表应用的数据问题的追溯。使用过程中，要求尽量简化流程，减少人工维护，以最少量的元数据信息建立数据链条，以保证在最小代价下进行准确的影响/血统分析。目标ODS/EDW/数据集市/业务系统等实施范围数据库结构（表、视图）、物理模型、逻辑模型、ETL过程、Mapping映射、报表、维度、指标、数据标准、系统信息等元数据类别案例：某政策性银行企业级元数据管理平台功能制度流程平台实施影响/血统分析数据地图元模型管理元数据采集模板管理元数据维护变更管理版本管理元数据导出视图管理系统管理……制度元数据管理办法制定改造或新建系统的元数据变更管理流程制定系统日常变更的元数据变更管理流程制定元数据采集流程制定元数据使用管理流程制定模型设计规范制定ETL开发规范制定数据接口规范……制定实施方法论实施范围包括：数据库结构（表、视图）、物理模型、逻辑模型、ETL过程、Mapping映射、报表、维度、指标、数据标准、系统信息等在实施过程中对元数据质量进行了控制组织架构总行高层参与设置专职的数据管控部门专职的元数据管理团队，还包括数据管控其它方向的团队元数据管理团队职责清晰全行和元数据相关的技术、业务部门都参与业务部门有专职或兼职元数据接口人技术部门各项目有专职或兼职元数据接口人……案例：元数据管理采集范围管理分析类系统II工程管理驾驶舱开放数据服务固定报表金融统计平台客户风险预警应用市场风险应用RWA应用评级器债项评级应用应用系统风险数据集市中间表数据集市财务集市URPT接口风险集市金融统计平台源业务系统核心系统信贷系统商业汇票工作流资金系统评级器系统助学贷款系统（生源地）助学贷款系统（高校）Teller系统国际结算客户关系管理系统财务共享系统总账人力资源系统统一报表业务生产类业务支持类公共缓冲区ODS数据平台临时区基础区汇总区数据仓库EDW案例：元数据管理制度流程案例效果：查询元数据案例效果：影响血统分析案例效果：版本管理案例效果：数据地图数据管控的首要目的——数据质量管理105数据质量管理是整个数据管控的最终目的数据管控-数据质量管理数据质量管理方法监控（发现问题）分析（分析问题）修正(解决问题)跟踪(执行监督)依据数据质量度量标准对其的数据实体和数据处理过程建立有效的监控机制，在第一时间发现数据质量问题，为数据质量问题分析提供原始依据依据各系统的监控信息，对异常指标进行跟踪，提交相关数据质量问题报告，注重对分析过程中知识的积累提出相应的解决方案和解决期限，方案和期限经评审通过后将正式进入修正过程对于每一份数据质量问题报告都会进入问题跟踪库，确保数据质量问题可查、可跟踪及时性、完善性、合法性、准确性、唯一性监控问题分析、数据质量问题报告、知识库积累源系统、数据平台、应用系统关键：编号、解决期限、责任人数据质量监控系统数据质量报告分析系统数据质量修正系统数据质量BUG管理系统数据质