数据治理概述及关键技术_第1页
数据治理概述及关键技术_第2页
数据治理概述及关键技术_第3页
数据治理概述及关键技术_第4页
数据治理概述及关键技术_第5页
已阅读5页,还剩24页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

数据治理概述及关键技术

数据成为资产,已经是行业共识。在2019年10月召开

的十九届四中全会上,提出要“健全劳动、资本、土地、知

识、技术、管理、数据等生产要素由市场评价贡献、按贡献

决定报酬的机制。”未来数据将会计入资产负债表,成为重

要的生产要素。

但如果对比实物资产,对数据资产的管理,还处于非常

原始的阶段。往往一个机构针对其数据资产类别和数量都缺

乏全面了解,数据质量、数据安全、资产评估、资产交换交

易等精细管理、价值挖掘和持续运营则更为薄弱。

数据治理是现阶段推动大数据与实体经济深度融合、新

旧动能转换、经济转向高质量发展阶段的重要工作内容。

1、数据治理概述

数据治理是指规划、控制和提供数据及信息资产的一组

业务职能,包括开发、执行和监督有关数据的计划、政策、

方案、项目、流程、方法和程序,从而控制、保护、交付和

提高数据资产的价值。数据资产管理是需要充分融合业务、

技术和管理,来确保数据资产保值增值。

数据治理源于组织的外部监管、内部数据管理及应用的

需求,主要包括:

•法律法规、行业监管和内部管控等对数据及应用的安

全、合规的要求;

•数据产品化、资产化和价值化的要求;

•数据生产周期及应用过程中,数据架构,数据模型、

数据标准、数据质量和数据安全等体系建设的要求。

数据治理在大数据应用体系中,处于承上启下的重要地

位。对上支持以价值创造为导向的数据应用开发,对下依托

大数据平台实现数据全生命周期的管理。

数据质量的目标是保障数据机器应用过程中的运营合

规、风险可控和价值实现,主要包括:

・运营合规:建立符合法律法规和行业监管的数据运营

管理体系,保障数据及应用的合规;

•风险可控:建立数据风险管控机制,确保数据及其应

用满足风险偏好和风险容忍度。

•价值实现:构建数据价值实现体系,促进数据资产化

和数据价值实现。

数据治理贯穿数据采集、应用和价值实现等整个生命周

期全过程,是通过对数据的生命周期的管理,提高数据资产

质量,促进数据在“内增值,外增效”两方面的价值变现。

数据先被规范性定义、创建或获得,然后存储、维护和使用,

最终被销毁。数据的生命周期开始于数据获取之前,机构必

须先期制定数据规划、定义数据规范,以期获得实现数据采

集、交付、存储和控制所需的技术能力。数据资产管理一般

来说包括统筹规划、管理实施、稽核检查和资产运营四个主

要阶段。

根据国标GB/T+34960.5-2018《信息技术服务治理第

5部分:数据治理规范》,数据治理框架包括顶层设计、数

据治理环境、数据治理域和数据治理过程四大部分。

图27数据治理框架

2、顶层设计

1)战略规划

从管理层、领导层出发,从顶向下全局部署数据资产管

理规范从而形成全面的标准规则体系和执行调度流程。战略

规划是数据资产管理成为企业战略核心任务应用的重要部

分,是数据资产得到一定程度内外部应用的指导蓝图。值得

一提的是,越来越多的单位在战略规划阶段决议成立专门的

数据管理部门,以连通IT部门和业务部门。

数据战略规划应保持与业务规划、信息技术规划一致,

并明确战略规划实施的策略,至少应:

•理解业务规划和信息技术规划,调研需求并评估数据

现状、技术现状、应用现状和环境;

•制定数据战略规划,包含但不限于愿景、目标、任务、

内容、边界、环境和蓝图等;

•指导数据治理方案的建立,包括但不限于实施主体、

责权利、技术方案、管控方案、实施策略和实施路线

等,并明确数据管理体系和数据价值体系;

•明确风险偏好、符合性、绩效和审计等要求,监控和

评价数据治理的实施并持续改进。

2)组织构建

组织构建应聚焦责任主体及责权利,通过完善组织机制,

获得利益相关方的理解和支持,制定数据管理的流程和制度,

以支撑数据治理的实施,至少应:

•建立支撑数据战略的组织机构和组织机制,明确相关

的实施原则和策略;

•明确决策和实施机构,设立岗位并明确角色,确保责

权利一直;

•建立相关的授权、决策和沟通机制,保证利益相关理

解、接受相应的责任和权利;

•实现决策、执行、控制和监督等职能,评估运行绩效

并持续改进和优化。

组织应根据管理模式和IT建设模式,构建合适的数据

治理组织架构模式。

分散运作模式侬中运作模式

管“分散模式.'归口管理模式-.集中+派鸵校式”■全集中模式”

理各事业部、职能部门自行成立数据归口爸理部门,各锥一的数据归口管理部门.全集中的数据管理与数掂眼

设宜建立散根团队,负责业务单元数柩团队仍然归属采用面向业务单元派驻分团务部门,各业务单元效据团

本业务领域的数据应用需要务单元,但同时报告给归队的模式,构建与亚务部门队全部壑合到集中后的专职

口管埋部门'组成虚姒的全的合作关系.业务单元保留

式求照理、应用建设、以及的数据部门中

报告与分析等工作行数枢々业团队小部分专门的分析专家资源

・强化业务单元公共需求满足

4+•数据生产与运自最大限度满足本•在资源高效利用与业务应用效果间・最大阳度地共享和使用数据专业

特业务单元需求选取平衡人力资源与技术资源

•在业务计划、财务预筲、讨划监

点•无集中数据管理部门,鳄部门信

控、绩效考核等领域得到深度应•饶福支持业务单元高效开展灵活分•依据业务优先级排定数据需求/

息整合雉度高用析应用,提供分析控掘与策略建议建设工作

•布阳的数据信息可视化与深度•整合阶段需求响应速度下降

•牵头部门的组织推动能力•涉及到组织转型挑战

挑分析应用

面向业务里元的数据应用服务优先度

•数据时效性满足有难度•重新调整数据运作流程•

kb•没而跨部门数抠信息整合、质管理港的

取量与管控机制

图28数据治理模式

典型的组织架构主要由数据管理委员会、数据管理中心

和各业务部门构成。组织架构划分和角色设定如下图所示:

组织角色职责I

数据

资产

管理

委员会

数据姿产管理

中心

数据业务部门

数据支撑部门

数据使用部门

外部用户

图29数据治理架构

为了让组织架构中的各个角色相互配合,各司其职,还

需要明确他们相应的职责,让工作职责融入到日常的数据

资产管理和使用工作中。与上述典型的数据资产管理架构相

适应的角色职责如下表。

组角角色角色主要职责人员能力要求

织色描述

数数由公负责领导数据资产熟悉组织行为学、

据据司主管理工作;决策数产品、财务知识,

资决管领据资产管理重大工具备团队管理、商

产策导和作内容和方向。在业分析与判断、数

管者各业数据角色方出现问据和战略规划能

理务部题时负责仲裁。力。

委门领

员导组

会成

数数数据负责牵头制定数据熟悉项目管理、关

据据管理资产管理的政策、联管理、质量管理

资管中心标准、规则、流程,能力,具备项目规

产理机构协调认责冲突;监划、跟踪和控制、

管者的平督各项数据规则和风险识别与管控、

理台运规范的约束的落实敏捷项目管理、沟

中营人情况;负责数据资通与执行和产品

心员产管理平台中整体规划能力。

数据的管控流程制

定和平台功能系统

支撑的实施;负责

数据平台的整体运

营、组织、协调。

各数相关配合制定相关数据熟悉ITIL理论、

业据数据标准、数据制度和业务能力、操作系

务生所有规则;遵守和执行统技术、网络、应

/技产人和数据标准管控相关用架构,具备资源

术者权限的流程,根据数据规划和成本控制、

部管理标准要求提供相关质量管理、数据库

门人员数据规范。作为数和过程/规范设计

据出现质量问题时能力,同时具备一

的主要责任者。定的大数据平台

运营能力。

数数据负责数据开发,有熟悉行业系统和

据开发责任执行数据标准工具、组件,数据

开人员和数据质量内容,传输、存储、计算

发负责从技术角度解和分析,运营支持

者决数据质量问题。系统,和运维效率

作为数据出现质量和监控的相关知

问题时的次要责任识;具备系统规划

者。和

设计、技术开发、

数据分析和建模、

测试设计能力,具

备一定的DevOps

与大数据平台开

发能力。

数数据作为数据资产管理熟悉数据处理、业

据使用平台数据的使用务能力、技术知识

使人员,者,负责反馈数据(关联知识),具备

用包含效果,作为数据资数据规划、产品应

者内部产管理平台数据闭用、数据分析、技

用户环流程的发起人。术应用和模型与

和夕卜算法研发能力。

部用

3)架构设计

架构设计应关注技术架构、应用架构和架构管理体系等,

通过持续的评估、改进和优化,以支撑数据的应用和服务,

至少应:

•建立与战略一致的数据架构,明确技术方向、管理策

略和支撑体系,以满足数据管理、数据流通、数据服

务和数据洞察的应用需求;

•评估数据架构设计的合理性和先进性,监督数据架构

的管理和应用;

•评估数据架构的管理机制和有效性,并持续改进和优

化。

3、数据治理环境

1)内外部环境

组织应分析业务、市场和利益相关方的需求,适应内外

部环境变化,支撑数据治理的实施,至少应:

•遵循法律法规、行业监管和内部管控,满足数据风险

控制、数据安全和隐私的要求;

•遵从组织的业务战略和数据战略,满足利益相关需求;

•识别并评估市场发展、竞争地位和技术变革等变化;

•规划并满足数据治理对各类资源的需求,包括人员、

经费和基础实施等。

2)促成因素

组织应识别数据治理的促成因素,保证数据治理的实施,

至少应:

•获得数据治理决策机构的授权和支持;

•制定数据治理实施的流程和制度,并持续改进和优化;

•明确人员的业务技能和职业发展路径,开展培训和能

力提升;

•关注技术发展趋势和技术体系建设,开展技术研发和

创新;

•营造数据驱动的创新文化,构建数据管理体系和数据

价值体系;

•评估数据资源的管理水平和数据资产的运营能力,不

断提升数据应用能力。

(1)制定数据治理实施的流程和制度

为了保障活动实施和组织架构正常运转,需要建立一套

覆盖数据引入、使用、开放等整个生产运营过程的数据管理

规范,从制度上保障数据资产管理工作有据、可行、可控。

数据管理规范包括元数据管理规范、生命周期管理规范、

数据质量管理规范以及数据安全管理规范等对应管理职能

的具体规范。在此基础上,规范需细化至接口设计、接口开

发、模型设计、模型开发、数据开放以及服务封装等内容。

规范的标准一般包括基础分类标准、命名规范要求、数据架

构划分、存储与数据权限规则、元数据信息完整性要求等。

规范和标准在执行的过程中执行监控规定,要求事中检查和

事后监控。事中检查指的是在开发和上线时进行控制,包括

命名规范,信息完整性,合理性等;事后监控指的是对存储

周期,数据安全敏感信息和加密信息,权限赋权常态化检查。

下图可参考的一种典型的制度体系架构举例。

数据资产管理规范

管理办法管理流程技术规范及模板

数据标准管理办法

各类数据标准管理细则数据标准管理相关流程数据标准需求审批表

数据质量管理办法数据质量窗肥充程

数据录入维护管理办法数据模型管理流程数据质量度量规则及检核方法模板

数据模型管理办法元数据管理流程数据模型设计评审、备案申谙表

元数据管理办法数据流管理流程IT系统改造、新建或变更投产元数据管理审核单

数据流管理办法主数据管埋流程元数据专顼期需求审解

主数据管理办法数据安全管I里流程

数据安全管理细则外地据管理流程

外部改据管理办法历史数据归档管理流程IT系统改造、新建或元数据日常变更通知单

历史数据归档管理办法数据交换需求审批表

数据平台数据交换管理相关流程ET既写规范

数庭平台数据交换管理办法数据平台运维管理相关流程

数据平台运维管理办法

数据平台ETL开发管理相关流程报表新噜需求审批表

数据平台ETL开发管理细则数据集市管理相关流程

数据集市管理办法报表变更需求审批表

数据仓库管理相关流程

数据仓库管理办法

数娓库统一运维管理相关流程

数据库统一^管理办法

报表需求管理相关流程数据资产管理与应用关键指标及计算说明

报表需求管理办法

数据服务管理相关流程

数据眼务管理办法

数据应用手工数据补烫管理相关流程

数据应用手工数据补录管理办法

管理驾驶舱系统数据管理实施细则

开放数据服务支持系统管理细则数据资产管理与应用绩效管理流程

数据资产管理与应用绩效管理办法

数据标准类数据管理类数据应用支持类数据应用类所有领域

图30典型的制度体系架构

(2)设置审计机制

为进一步保障、评估数据治理的规范、规划、组织机构、

制度体系的执行状况,保障、评估数据资产的安全性、准确

性、完整性、规范性、一致性、唯一性和时效性,需有完整

的贯穿数据资产管理整个流程的审计机制。审计方式从审计

体系规范建设入手,信息技术审计方法和专职人员审计方法

并行。审计对象包括数据权限使用制度及其审批流程、日志

留存管理办法、数据备份恢复管理机制、监控审计体系规范

以及安全操作方案等体系制度规范以及敏感、重要数据。

(3)开展培训和能力提升

培训宣贯是实施数据资产管理进程中的重要组成部分,

是数据资产管理理论落地实践、流程执行运作的基础,是数

据资产管理牵头部门在技术部门和业务部门之间顺利开展

工作的重要保障。组织需利用现有资源,合理安排员工参与

数据资产管理培训、课程。促进员工有效培训和自我提高,

提升人员的职业化水平,强化工作的标准化、规范化。

组织开展数据资产管理的培训教育周期、培训内容和参

与方式,包括:行业现有数据资产管理体系课程培训I,行业

内、外部单位优秀经验沟通与交流,主要参与培训人员部门

内二次培训,优秀部门、员工经验、案例分享,常规员工培

训中添加数据资产管理培训的课程等。

各单位需将数据资产管理纳入现有晋升、薪酬、职位资

格等体系范畴,建立员工职业发展通道。根据现实工作环境

中完成任务的能力,设立数据资产管理相关奖项,对优秀的

个人、团队进行奖励,树立行业、员工优秀模范,引导员工

树立不断学习,激发员工不断改进工作,提高工作质量和工

作效率。

4、数据治理域

1)数据管理体系

组织应围绕数据标准、数据质量、数据安全、元数据管

理和数据生产周期等,开展数据管理体系的治理,至少应:

•评估数据管理的现状和能力,分析和评估数据管理的

成熟度;

•指导数据管理体系治理方案的实施,满足数据战略和

管理要求;

•监督数据管理的绩效和符合性,并持续改进和优化。

(1)数据标准

数据标准是指保障数据的内外部使用和交换的一致性

和准确性的规范性约束。组织应明确数据标准的内涵和范围.

建立数据标准体系及其管理机制,以支撑数据的标准化建设,

保障数据在应用过程中的一致性,至少应:

•明确数据标准的内涵和范围.制定通用的数据规范,

包括但不限于数据分类、数据类型、数据格式和编码

规则等,保证数据应用的过程中的一致性;

•建立数据标准的实施方案和计划,推进数据标准化实

施的落地;

•建立数据标准化管理机构和机制,明确责权利和流程,

开展数据标准化的实施;

•制定数据标准管理制度,保障数据标准化的实施和落

地;

•保证数据标准的先进性、前瞻性和技术层面的可执行

性,满足数据应用发展需要.持续开展数据标准的更

新。

数据标准一般包括三个要素:标准分类、标准信息项(标

准内容)和相关公共代码(如国别代码、邮政编码)。数据

标准通常可分为基础类数据标准和指标类数据标准。

基础类数据标准一般包括数据维度标准、主数据标准、

逻辑数据模型标准、物理数据模型标准、元数据标准、公共

代码标准等。指标类数据标准一般分为基础指标标准和计算

指标(又称组合指标)标准。基础指标一般不含维度信息,

且具有特定业务和经济含义,计算指标通常由两个以上基础

指标计算得出。

(2)数据质量

数据质量是保证数据应用的基础。衡量数据质量的指标

体系有很多,几个典型的指标有:完整性(数据是否缺失)、

规范性(数据是否按照要求的规则存储)、一致性(数据的

值是否存在信息含义上的冲突)、准确性(数据是否错误)、

唯一性(数据是否是重复的)、时效性(数据是否按照时间

的要求进行上传)。数据质量是描述数据价值含量的指标,

就像铁矿石的质量,矿石的质量高,则炼出来的钢材就会多;

反之,矿石的质量低,不但练出来的钢材少了,同时也增加

了提炼的成本。

数据质量管理是指运用相关技术来衡量、提高和确保数

据质量的规划、实施与控制等一系列活动。组织应制定数据

质量管理目标,建立数据质量管理体系及实施机制,优化数

据质量并持续改进.满足数据应用的需求,至少应:

•结合数据标准对数据质量进行分类管理,明确不同数

据之可的关系和依赖性,制定数据质量管理目标;

•建立数据质量管理机构和机制,定义数据质量管理的

角色和职责,建立数据质量管理方法;

•研发数据质量相关技术,支撑数据质量管理和数据质

量提升;

•识别数据生存周期各个阶段的数据质量关键因素,构

建数据质量评估框架,包含但不限于数据的准确性、

完整性、一致性、可访问性、及时性、相关性和可信

度等;

•采用定性评估、定量评估或综合评估等方法,评估和

持续优化数据质量。

通过开展数据质量管理工作,企业可以获得干净、结构

清晰的数据,是企业开发大数据产品、提供对外数据服务、

发挥大数据价值的必要前提,也是企业开展数据资产管理的

重要目标。

(3)数据安全

数据安全管理是指对数据设定安全等级,保证其被适当

地使用。组织通过数据安全管理,规划、开发和执行安全政

策与措施,提供适当的身份以确认、授权、访问与审计等功

能。组织应制定数据安全的管理目标、方针和策略,建立数

据安全体系,实施数据安全管控,持续改进数据安全管理能

力,至少应:

•明确数据安全的内外部监管和管理需求,制定数据安全管

理的目标,方针和策略,并持续改进和优化,确保数据防泄

露、防篡改和防损毁;

•建立数据安全管理机构,明确数据安全管理的角色和责任,

提升人员的意识、能力和素质;

•建立数据安全分类分级规范,建立满足不同业务场景,不

同级别的数据安全规范、保护机制,确保数据的保密性、

完整性、可用性以及数据的可追溯性;

•构建数据安全管理视图,识别数据应用过程中的风险并建

立数据泄露、应急响应、沟通协作和责任追究等安全管控

机制;

•建立数据应用过程中的数据授权、访问和审计机制;

•定期开展安全审计和风险评估,对数据安全管理能力进行

监督,并持续改进和优化。

数据安全管理的目标是建立完善的体系化的安全策略

措施,全方位进行安全管控,通过多种手段确保数据资产在

“存、管、用”等各个环节中的安全,做到“事前可管、

事中可控、事后可查”。

(4)元数据管理

元数据(Metadata)是描述数据的数据。元数据按用途

不同分为技术元数据、业务元数据和管理元数据。

・技术元数据(TechnicalMetadata):描述数据系统

中技术领域相关概念、关系和规则的数据;包括数据

平台内对象和数据结构的定义、源数据到目的数据的

映射、数据转换的描述等;

・业务元数据(BusinessMetadata):描述数据系统

中业务领域相关概念、关系和规则的数据;包括业务

术语、信息分类、指标、统计口径等;

•管理元数据(ManagementMetadata):描述数据系

统中管理领域相关概念、关系、规则的数据,主要包

括人员角色、岗位职责、管理流程等信息。

元数据管理(MetaDataManagement)是数据资产管理

的重要基础,是为获得高质量的、整合的元数据而进行的规

划、实施与控制行为。组织应明确元数据管理的范围和优先

级.建立元数据管理的策略和流程,开展元数据创建、存储、

整合与控制等,并持续改进和优化.至少应:

•明确元数据的管理范围,构建元数据库;

•建立完整的数据字典、数据模型、数据架构及其管理

体系;

•建立元数据管理机制,明确元数据的管理过程及角色、

职责;

・建立元数据创建、维护整合、存储、分发、查询、报

告和分析机制;

•建立元数据管理的质量标准和评估指标,开展元数据

绩效评估并持续改进。

元数据管理的内容可以从以下六个角度进行概括

“向前看”:“我”是谁加工出来的;

“向后看”:“我”又支持了谁的加工;

“看历史”:过去的“我”长什么样子;

“看本体”:“我”的定义和格式是什么;

“向上看”:“我”的父节点是谁;

“向下看”:“我”的子节点是谁。

元数据管理的关键活动包括:

•理解企业元数据管理需求;

•开发和维护元数据标准;

•建设元数据管理工具;

•创建、采集、整合元数据;

•管理元数据存储库;

•分发和使用元数据。

•元数据分析(血缘分析、影响分析、数据地图等)

通过元数据管理活动,可以使企业数据信息的描述和分

类实现格式统一,有助于理解数据的真实含义,为数据资源

的管理和数据应用奠定了基础。

(5)数据生存周期

组织应定义数据生存周期,并对其不同的阶段制定对应

的管理策略,降低成本和风险,支撑数据资源管理和数据资

产运营,至少应:

•识别数据资源和数据资产运营现状,明确数据资源和

数据资产的管理目标和策略;

•识别数据生存周期的各个阶段,明确各个阶段之间的

关联和关系,并制定相应的管理策略;

•确保数据生存周期各个阶段的数据保密性、完整性和

可用性;

•确保数据生存周期的管理符合法律法规、行业监管等

要求,保证数据的获取合法、存储完整、整合高效、分

析有效、应用合规、归档可靠和销毁完全等。

业界还设计了数据生命周期管理工具,它将协助数据管

组织和人员,在数据从产生、应用、归档到销毁的整个生命

周期全过程进行有效的自动化管理,针对不同生命周期阶段

的数据建立多层次的数据自动存储体系,既有效管控系统整

体在线数据规模,降低系统运营成本,又满足最终用户的数

据访问和应用的需求。

2)数据价值体系

(1)数据流通

数据流通是某些信息系统中存储的数据作为流通对象,

按照一定规则的从供应方传递到需求方的过程。组织应识别

数据资产,明确数据权属,定义数据开放共享、交换和交易等

流通方式,保证数据流通过程的合法合规、数据安全和隐私,

至少应:

•建立数据资产的识别方法和机制,建立数据资产价值

评估指标,包含但不限于数据的整体性、动态性、针

对性、准确性、层次性和可度量性等,并开展数据价

植的评估;

•遵循法律法规、行业监管和内部管控等内外部要求,

明确可流通的数据权属、流通方式等;

•结合数据分级分类管理机制,采用必要的技术手段对

流通数据进行加密、脱敏等处理,确保数据的准确性、

可用性、安全性和保密性;

•采用必要的技术于段,保证数据资产及其流通过程中

的安全,明确数据流通参与方的责权利,保证数据权

属合法清晰、流通方式合规以及流通过程可靠;

•确保数据流通过程的可追溯,保存数据流通日志或记

录,包括但不限于时间戳、数据流通方式、参与者身

份以及数据内容描述等;

•建立数据流通管理机制,符合法律法规,行业监管和

内部管控要求。

数据流通使数据脱离了原有使用场景,变更了使用目的,

从数据产生端转移至其他数据应用端,优化了资源配置,成

为释放数据价值的重要环节。此过程就是流通成为数据资源

价值传递的途径。

(2)数据服务

组织应明确数据服务的内涵,形成数据服务目录,不断

改进和优化数据的服务能力,至少应:

•分析数据服务需求,现有资源和环境,明确数据服务

内涵、范围、类型和服务方式;

•明确数据服务的内容和能力,制定数据服务目录、服

务级别协议和实施方法;

•建立数据服务管控流程,监督数据服务的安全性与合

规性,并对实施过程进行审核和控制;

•建立数据服务支持流程,通过标准化、自动化等方式

支撑数据服务的交付,满足服务需求;

•构建数据服务管理机制,对数据服务的过程,质量和

安全等进行管理,并持续改进和优化;

•开展数据服务能力评价,定期对数据服务能力和价值

进行评估改进和优化,促进服务创新。

(3)数据洞察

组织应创建业务视角和用户视角,对数据及其内在的规

律进行分析,识别不同数据集的关联,挖掘数据价值,获取数

据洞察的能力,至少应:

•获得业务视角和用户视角下的数据应用的需求,进行静态

和动态场景识别,获取不同场景和应用下的数据应用模型;

•识别支撑数据洞察的有效数据源,并进行数据抽取,数掘

清洗和数据转换等预处理,开展规律性、交互性和关联性

分析;

•融合业务、数据、算法和技术,挖掘数据及其之间的规律,

获取数据洞察结果;

•构建数据洞察的管理和应用机制,持续改进和优化流程、

提高能力和提升价值;

•建立数据洞察的数据安全和隐私保护机制,符合法律法规

和行业监管等要求。

5、数据治理过程

1)统筹和规划

统筹规划过程,涉及建立数据资产管理组织和制度作为

保障措施,盘点数据资产,制定数据资产标准规范等,该阶

段成果是后续工作的基础。统筹规划要明确数据治理目标和

任务,营造必要的治理环境,做好数据治理实施的准备,包

括:

•评估数据治理的资源、环境和人员能力等现状,分析与法

律法规、行业监管、业务发展以及利益相关方需求等方面

的差距,为数据治理方案的制定提供依据;

•指导数据治理方案的制定,包括组织机构和责权利的规划,

治理范围和任务的明确以及实施策略和流程的设计;

•监督数据治理的统筹和规划过程,保证现状评估的客观、

组织机构设计的合理以及数据治理方案的可行。

一般情况下,数据治理的第一步是建立组织责任体系,

根据自身情况,制定数据资产管理制度规范。需要建立一套

独立完整的关于数据资产管理的组织机构,明确各级角色和

职责,确定兼职专职人员,保障数据资产管理的各项管理办

法、工作流程的实施,推进工作的有序开展,并逐步打造管

理及技术的专业人才团队。

第二步是结合业务盘点数据资产。对基础数据的盘点是

开展数据资产管理工作的前提之一,需要分析企业战略及业

务现状,结合当前大数据现状及未来发展,盘点企业内外部

数据现状,确立数据资产管理的目标,并逐渐实施需求调研、

盘点资产、采集汇聚等专题任务。与此同时,了解企业数据

来源、数据采集手段和硬件设备情况,以定位自身数据资产

管理能力,规划未来数据资产管理成熟度提升方案。

第三步是制定数据资产相关的标准规范。标准规范包括

元数据标准、核心业务指标数据标准、业务系统数据模型标

准、主数据标准、关键业务稽核规则等,使得数据管理人员

在工作中有明确的规则可依,同时,需要对企业数据资产设

计信息化管理方式,规划设计企业的数据仓库、元数据库、

主数据库等。

2)构建和运行

构建数据治理实施的机制和路程,确保数据治理实施的

有序运行,包括:

•评估数据治理方案与现有资源、环境和能力的匹配程度,

为数据治理的实施提供指导;

•制定数据治理实施的方案,包括组织机构和团队的构建,

责权利的划分、实施路线图的制定,实施方法的选择以及

管理制度的建业和运行等;

•监督数据治理的构建和运行过程,保证数据治理实施过程

与方案的符合、治理资源的可用和治理活动的可持续。

如果说第一阶段重点还在于对数据资产的定义、规划、

梳理,第二阶段就是对第一阶段成果的落地实施。首先,在

搭建大数据管理平台、完成数据汇聚工作的基础上,根据企

业自身存量

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论