数据治理方法论和案例

目录

•公司介绍

•案例介绍-管理分析平台、数据管控平台、数据资产

管理和数据仓库规划与建设

•方法论-企业架构

•方法论-数据管控治理

•方法论-管理引擎

•方法论-数据仓库建设

某大型rr公司管理分析平台

案例介绍

业务痛点与项目实现效果归纳

项目针对的现状问题分析设计产品与实施落地

数据手工传输链路长且来源系统分散，时效性差数据交换平台

（4个分离的项目系统、99个帐套、近千个会计科目和1500个核算单元）系统直接抽取、加载；同时采用多种方式，按需触发更新；信息传递时间极短

Excel难以应对日益庞大的数据量，运行效率低数据仓库

数据量大导致人为无法追溯历史信息利用数据仓库强大的计算引擎，可实现复杂的计算分摊模式

耗费大量人力的手工编织表格工作，出错率高；ETL调度平台

无法支持灵活的多轮次账务调整自动化执行、无序人工干预、实现从结账、分摊、管理口径数据编制1小时完成

只能提供固定的基础报表，缺乏灵活查询支持，管理分析平台（BI工具）

无法下钻底层明细支持下钻、上钻、切片、切块等多维度分析展现，可灵活定制展现

数据资产管理平台

数据质量差，存在大量缺失和不一致

端到端数据质量质量提升、建立数据质量管理流程规则和团队

预算与业务预测系统（期）

只能反映业务现状，无法实现预算、预测等复杂功能2

自动对接业务系统和管理分析平台、实现业务预测的闭环

9

实施成果一系统运行情况

实现可随时每天调账，结果实时在报表中体现；并且实现会计结账到管理报表生成完全由系统自

动生成；由系统进行全方面质量监控，过程可见且释放大量人力资源。

Master

时间轴

从源到仓库数据抽取加工仓库数据加工管理口径数其他报表加下载展现

用时约20分钟用时10分钟据用时5分钟工5~10分钟3~5分钟

旧时间轴

7号第一轮结账15号报表初步生成10

实施成果一数据治理与数据仓库成果

Summary:

1.建立起质量问题的检核、反馈、修正和追踪的闭环治理流程；建立事前、事中、事后3个阶段的管理流程和监控点，数据质量从原来每项低于

60的合格率提升到全面合规。

2.数据管理过程中的角色、职能、工作流程形成了固化的文档规则

3.数据仓库入仓23张表，556个字段，涉及134个实体，862个属性；建立九大逻辑数据模型主题域：客户、供应商、机会、合同、项目、员工、

内部机构、财务和公共代码等，并设计了灵活的可添加、修改的模式。

②逻辑数据模型0-⑤任务调度平台

调改管理控制有

①ID调研报告

/知识库

■4*

J00

0词度糖务0

J谡度总控服务调1ft各用服务扩展旅务一.

■J

----►

——加，31———►£fi62

EnAi务器

源应用

，目”应

数据席可能调度控制调度控制

用n据

③表&字段级分析④Adms仓库螃开发平⑥数据交换平台

统一数据

工交换存储’

文件传输

文件传输目标应用

“本地文件

存储

多交换模式场景1

实施成果一主动探索，自助式数据服务体系

主动探索的一般过程

■将业务问题转化为,结果成为分析其他业

■查询需求务问题的基础

设计开发L

适合用主射索解答的问题

报表通常通过简单的统计告诉我们发生了什么，而主动测算类：如果下月开始调薪，那么对产品

主动探索的工作流程

探索则在以下的各个环节体现更多作用：▲号II率将会有哪些影响

、通过统计分析探究因果关系（为什么发生）Tools&Conclusic统计类：超过3个月投入的产品平均毛^

1QuestionsQueryResults'Action

Approach1n率是多少

2、进而通过事件触发（什么正在发生）进行预测（什

么将要发生）探索类：从重复购买麒、赛」率等角度

就业务问题分选择合适的工综合直询过程/分析哪些客户是优质客户

3、主动干预,主导发够势就发现的现象根据查询的结制定合适的行

析/设计要进行具和手段进行结果，形成对

提出进行分析果决定是否还动策略井下发，

但是主动探索的起因经常是固定报表，还有一些灵活查直询的数据内查询问题的结论意不得不用主动探索解答的问题

的业务问题需要继续分析用于指导业务

容见

询是在分析其他问题时发现值得研究的现象。临时性的数据支持等

现有报表无涉悬共的辘支持

111

成果示例-预;算:与业务预测系Z克4R面预第:管理深入

置预算编制।，编制确认

.灵活设层级深度、系统要求t七置的编制」。元必须逐、推动业姿预测的

等与《木入度

.每级管理人员可以拨回或灵宝；加入自身i另整、自动二》产品、分级自动汇总、没有等於时间

.不同级别和业务雇性采用了3种不同的预测输入模峦，、使得预以!!是基于业之今发展现状管理

者可以随时查看明细

01号3t表：ForecastTopshe（t

a对比当月预测及上月页测中，各季度及全年白差异

・报表模式多样化：固化+定制b查看各季度及全年预学完成情况

c查看当年较上一年名项数据的增长率

02号3t表:P&LVariancewit1LastForecast

8对比尚月实际收入天成本占预算赫及收入f日-----------------

1可W

Ey版本、时间、部金客照;现与任意历史预热(1b对比当月预测及上白预测中，各季度及全年U【入、成本差异

/i

，、产品线、收入我版7:以及年初预算的匕c查看实际月份的成才明细（GLreport）

i种等。可任意部「对2灌异分析漾:AccountVariancewithLastForecast

a对比当月预测及上f预测中，各客户及产品i1入差异（两个季度/年）

很表漾:P&LDetails

:载，fL拉」卜钻到具体的。

:持详细数据本地1费t+）损益表（收入及成本］

a查看当年全年（各月细）

三3

m大j6八七力18,ix,zx*JiJb堂着上洋呈小（他上确法收入及成^现L

匕强■fJT

具

二线灵活分析（SmmrtBI)r£1项目/产品05号3，表二ProjectDetails

a查看当年全年（各月）各客户及产品收入

b查看上年全年（各£）各客户及产品收入

c查看各客户及产品的入年增长率

d查看当年全年（各月）各客户及产品利润率（>GM%

j_EorecastVersiQn

1a查看最近6个月的预QIJ,以及各版本与当月第本的差异对比

成果示例•一预算与业务预测系统技术及数据架构

外部用户

浏览器数据架构

接口访问

（IE7/8/9/10/11,烦,chrome，接（句等）

层控制区

USERORGLOCKAUTHORITY

身份校验服务单点登录SOA用户CookieSession

门户ROLE|RATE

业务区

系组件

统层

监JAVADEPEXCOSTJCALL

控技术框架

接

口项目预测]人员预测

数据ADJUSTMENTX_CHARGE

查

询固定报表下载

组

件X_CHARGE基础信息跟踪信息

TOTALHCI

报表IDETAILS

组件

DEPEX

层指标计算引擎辘基础数据补录与调整

PROJECT1迪|

计算操作

组件报^引擎组件汇总雌补录与调整

数

据

分

发

接BaseLine

口

数据MBRProjectUpload

上传MBRDepexUpload

存储基础指标库

报表FCSTRate

层&^k^LedalEntity^II^

报表数据库赚

数

据

直

询上传区

接

口

产品信息部门费用信息多种报表展现

某机瞬撼斛台

案例介绍

问题和项目实施思路

1.建立数据标准规范

2.建立数据模型设计规范

、3.建立据交互标准

数据管控体系建设

4.建立ETL开发规范

数据多样化，缺少统数据分散，形成信息

一标准，集成困难孤岛，共享困难5.建立质量检核规则库和治理流程

1.设计并建立基于SOA架构的企业ESB平台

2.设计并建立企业服务资产库

企业服务总线ESB建设

3.梳理企业服务总线的相关规范，形成标准

4.实现人力、财务、资产系统之间的交换接入

缺乏集团生产经营数据质量低下,

1.基于数据标准及模型规范，优化数仓模型

决策所需的应用统计不准确

2.基于双总线策略，优化数据采集抽取

生产经营支持决策系统优化

3.ETL调度优化

4.指标体系优化

5.报表平台及UI优化

成果示例•一建立标准及规范

重点工作领域主要解决问题工作成果

数

据解决模型设计规范问题，主要包扩规范数据概念，明

模数据模型设计规范集团数据模型设计规范

型确信息项定义及属性，建立可信赖的数据关系。

解决业务系统建设过程中数据产生质量的源头控

i基础数据标准定义

s制同颈_______________________________I基础数据标准定义

初决数据在采集、流通、交换等环节中的规范性数据交互标准定义

数据交互标准定义1

.问题，降低系统嬴难度。IIJ

数I数据质量检核规则库

数据质量检核规则解决业务发展过程发现数据质量的问题。____________

据.!!一

质数据质量问题治理工作流程

量

数据质量管理

解决企业内如何推动数据质量解决的问题。

流程设计数据质量检核规则维护流程

普

解决数据仓库、数据集市在开发过程中的规范性

吕ETL开发规范

问题。

控

四个重点领域、八项工作成果

一,1—r

立和数枪建设

架构设计优化应用主题和指标体系

运输生产经营效益固定资产人力资源

性能优化■架构层次躺

■设计规范

模型设计优化1.运输起降架次1.营业收入、利润、所有1.固定资产L单位员工的三大指标

■按弟：（3随写规范，对多■数据架构淀

旅客吞吐量者权益，成本费用、净2.固定投资总额2.单位员工营收、净利润

表关关时，根据表数据量2.

・降低运维冰利润3.固定投资完成率3.员工人均收入

大小受关联方式时行调优照^标准和模型设计3.货邮吞吐量

蔻,对接A的数据逡存2.航空性/非航空性收入4.平均故障时长（分AB类）4.人力成本占总成本比例

4.通航日的站总数

,针不）B2数据库本身进行题提炼、模型设计，使3.单位旅客收入、成本5.工单完成及时率5.员工总数、离职率

相关为数调整，如缓冲池据组强高效，提高查询5.机场平均客座率

4.单位起降架次收入成本6.工单执行率6.员工结构，性别年龄学

页、莅空间大小进行设置6.全货运航线

数仓5.资金余额及构成历

设实

数据采集优化

ETL开发优化1

•采算方式：FTP方式

安全手工填报科技创新环境

■要寸源业务系统在生成文

0明角ETL开发的过程规范、

件任，生成f校验文件。全国机场月度排名

语号开发规范1违.规运输危险品事件数L1.科技及研发投入占主营1.单位旅客的水消耗

传输过先传数据文件，再2.机场责任造成的事故征2航.空公司简称业务收入比例2.综合环境消费量

■健采集、加匚及流转

传校脸文件“建Z了一套完整、正确、

候万架次率3.运输生产年度计划2.信息化项目投入占主营3综.合环境消费量与总产

等作业