方案-数据治理解决方案V1

1、大数据平台下的数据治理数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企 业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。随着Hadoop技术的提升，数据如何进来，如何整合，开展什么样的应用都已经有了成熟的 案例，可是，同传统数仓时代一样，垃圾进垃圾出，如何破？相比传统数仓时代，进入 Hadoop集群的数据更加的多样、更加的复杂、量更足，这个数仓时代都没有处理好的事 情，如何能够在大数据时代处理好，这是所有大数据应用者最最期盼的改变，也是大数据平 台建设者最有挑战的难题：数据治理难的不是技术，而是流程，是协同，是管理。数据治理涉及的IT

2、技术主题众多，包括元数据管理、主数据管理、数据质量、数据集成、监 控与报告等。大数据平台下的数据生命周期热点活跃历史K3H归档Bai房莎计层 150。节点.SH4Coo JOB. KSfiSi .sra. . 520TA通常传统的数据治理是面向结构化 或者可以定义的非结构化麴居,管理 的是同类型属性的麴居集，或者是连 续的，或者是分类的。大数据存储幵非在一个站点，或 归属一个单位，数据的所有权不地 理分布属亍多个机构的资源中A大数据的最大特点就是非结构化, 如文档、报表、GIS信息、NoSQL 等。数据治理的关键场景?扣g 晶北管理仪表盘 数据不准确T_大数据治理面临的挑战异种数据和复杂数据历

3、史数据rsBai场诙Hadoop集鮮/云梯实时流数 浜大数据平台的数据治理关键问题关系型数据库文本文件内存对象 K-V结构 NoSQL 列模式数据仓库 基亍Hadoop的 分布式文件系统基亍SQL存储过程 Perl/Python 脚 本Java语言 MapReduce 幵 行采集大数据平台的数据治理目标制订!観里脉Ba當双形成平台不工具ODS及部分上下游系统元 数据纳入到敬据治理平台 隼中管理模型变更通対目应下游元数据为ODS上游模型变 更提供服务质嗣检核依赖监流程管理过程中产生的元 故据等信息存储到i嫦治 理平台通过服务接口流程管理获 取元敬据数据质量、数 据标准返回的吉嫦信息获取监控调度中

4、相关的元 数据与致据分发相关的元数据 变更需要同步致据分发命分发蹈信息接口服务数据访问分析服务次开发卜又限集成在线用户配置管理数据分发流程管理蜘据治理一元数据系统数据治理平台与周边系统关系部分业务系统ODS/MDM部分就日志管埋调度监控系理系统管理Bai(质量问题发现质呈问题分析度量规则管理检核调度质量问题提交腹检略果升需求礙维质量兄质量冋题报言检核手工调度检核自功调度基亍ETL调度检核罷质量I司题分腊埋质星提升需求提交蜒鼎考核者核响t或可 报清除|考手珀瞄 分支项考核教 据查用户管理据治理一数据质量系统数据1质量提升方離交 质呈提升工作总结报售I够数括纠止数据标進采集日志管理#S理接口服务数

5、据访问I分析服务综合查询度gw聞， g可题查询升唾具他考核餉ETL质呈问题采集在线用户据治理一数据标准系统1礙执行监控赫棚所飒兄模型执行况分析代石枷市况分析辅劣興执行慵劣系统亍接口服务同分析服务标准综合管理瞄标准需求蟾鼬N蜒版本饒权限管理日志管理系统管理系统管理Bai上游模型变更预警辅劣变更导致的开发自成通知成基皿姓 订阅iass对茹比 对_手功梭 核瞄痫下游 後人昌手離响的 m)nL左分析结在Eccel 把修改 果中按原中修改彫的构 模板号出响的结构导入到 的.和 ETL |jtSg smifu 壘TK袞亍 惓改翊S 啄ETLIT建 日常检 IT知识店铺的店元瞄釆集数据治理平台一元数据建立系

6、统管理员数据源类型XM成件方式W DBH遂方式&做分析员/开发人员/运維人员通过元数据的检测建立数据变更流程/; 模: 变 预，型更影响分析一辅劣 .下游下游 应用 问题 反馈血统 .分析一辅劣，问题 定位Bai冷戏；3. Z将。 1104x_n(M/ RPTJX知几Gt O.寸工 WT_DM RP.FT.GJCHEJ RPY 0MQ Ug. e OM.HNANCUL7 _ 卜17IT知识店建的店Bai務莎某银行数据治理方案平台实施平台应用平台建设平台实施平台应用平台建设立更管理流程、后据变更M興盟官窗程子数据.责量应用為程:虽有管 連办法,映有她枷 篷栓肉曲:2011年下半年12个 考核18

7、标由系统泌i检核.5个 考1SISAI检核栓核范围:主要是对ODSS据沃个流程：报表新塔需求管理浣 程、报表姦更埋流程、放 掂交建需求M理流程、里磴掂数据标准应用流程:虽有管 逢办法 有她婉朔流 程S :客户、产*、交易、财务、资产、协议 公共代码興:73个隔Ti功協3项，二我功乾10琐 核诚能：浏览、公共代輙览、数掂标 進寺求、数据标准发布、数据 标准潔 新据标准执行、综T；功花6项，二盘功乾14项 核诚能:报弟E窗 程、瞄交颱理流程、瞄 立更管理流程、数岳15里管珪 臃等T功乾5项,二坂功鸵15项 核心功能:敖据凌量可畋 现 、瞄疝诚分析、瞄 星夙数璧量度量聊、 興理考核、综第 能元数据类

8、别:去、字段、 球师験级潮、 表映財渉及姓:12个业务生产类系 究.9个管盼吟標纭3个Ik 务支榜蟀统、ODS、RDM、 中间善堡市和财务集市m的二要匝用为分si 项考核数据治理平台现状六日子灌巳初步应用一坂功能6项,二坂功能17项 核，1功籍:泓据釆集、元 数豪分析、飯本司理、姦更管 理、数据哽、视图U珪等数据标准应用数据质量应用元数据应用电子流程实施数据标准实施数据质量实施元数据实施电子流程功能数据标准功能元数据 数据质量数据标准电子流程一电子流程流程数据质量功能元数据功能数据平台治理改进方案平台建设 平台实施平台应用当土流涅三迁麗tN住汉准流程g.锯国中瞄疝岫a 6SEl+#ffi，户住

9、二匚方N兰与琪f的关系注立名匿套鸵*疝 状况也回 基亍ETB +养題略5亍ETLia程常题问至三邑 建升磴核规I!汗的灵活性皇您繇之间的美亲 S注没兀3ffi. BESS. KSS剛瑛为适合双 的文号ifi没SVN莒理数J5点莅文档.通 二?：比发现TT冋成本於差异,为 曜様准畫更同步至伏imc提供 5鱼看求为业务目&ft进;K据残鱼 诞用考瓦W恥会上皿2抵 量看求为业务返励瞄EDW逐煥:探讪上倒理安 更珈将分析结果谪王下滸攀統 S 被矽为主矽以方便业Cogn。诙疼适配器EMn栄迎没貝文各豚俺配建 立PDMJQLDM关匿32峯遊旳涙杖斷演百兄召=明已庆行瞄伝;任的莖统诳 行i 忻.行芟亍代5户

10、文族配採兰代蹒行兀 数 据务AH职元應 和电孑击船，程m实球祐涅中文化基亍 sass 流essai3?幵依 KiJ型洼立方便业务人吴側t春取立驾.将运行态元關破务元入到无散握業中甘理兼 IHAI欢K EXCEIS7 据迸行辞創炙失过程元数会，如：序表使用 信目辱汚顼跡或掘入元關案= 三泛技术 盆-fol;务部门充分洶通,建立海足 业為雯瘫业务指做茎烤了现有対ODSS遂行聞外,35 对 EDWJ 行曇从翌安上明晚克冷直接逢接竺产 科威取运行本元瞄asr流程产格笠制上游模學麦更 从制夏上荽求弘浦建歇実 供PDMJ0LDM及时熙如虽尽升寿追免在 砂就孤立的5墉態皓攻携缱度窗坚海 垦痂m恋謳涔亍註程必

11、制点飮她闵定、神 发杖 执行、变更及豆击逬行流程七強 制从缶心要求新氏性倍定茨射文件，丘市時节 和上技涌节近行as海油珞谓 况盼电化5S、頒S3、 噸程充罟援表釜求.談密sm. H加强至妾散据及看刍数岳毛子許 程免有対行某银行数据治理体系建设规划短期旬铤7：确定角色、落 实流程.鮮决质呈问题敵戚：ECIF系辗 风 险集市.ODS数据平台朝踏ECIF系统.风 险集市.ODS数据平台痍园：规则类别莒理 、6则管理、检販 法管,、检曲分析. 问球决流程、，据质呈 报吿中期旬簇位：成立団队.制 度完善.就啾体系所有需蜒据 瓣 的救3：所有.入岫 ,系支持的系稣龄：蜒呻新 功能,数据，!控,散 据清洗长

12、期员:全行大部分元広：质呈提升.全 散据成呈文化W：全行大部分系 统醐炳：治理平台、部署灵活的查 询工貝Bai场诙数据质量数据标准电子流程某银行元数据管理系统本阶段实施情况元数据管理系统以ODS数据平台为切入点，車新梳理ODS使用的模板文件，对ODS的Mapping映射文件、II 首僵文件、II批次文件、源系统调硏文件、FDM拆分规则刘拷进行采集管理，通过实施打通了ODS内部各小 组之间从生产雌至艄齡据的通路,基亍顽据的離、分析、导出等功能.提高模型变更工尙率、工作 质量，辅劣ODS日常运维，是数据资产得到了及时的共享运用。元数据管理系统对月盼台理项目提供支持,对齢治理的接口元数据、交易链路元数据、报文头元数据提 供管理维护功能平台实施平台应用制度勰平台建设元 数 据元数駆集、浏県分 析、变更曾理、检索等 核心功能為亍权限控制的元瞄 采集功能為亍模板文卧 我功能服务磴mts采集功 能致瑁库介质密DB2细:辦部、Mapping,调研信息、 接口、报文头、交易链系统：55个源系统、ODS系统、分发平台部 分配置、II平台、服务治 理（管理三千余个接口、 A+多个三千 余条交易槌路）数据治理是专注于将数据