数据治理操作指南

数据治理操作指南

目录

1.数据治理......................................................................3

1.1从这里开始...............................................................3

1.1.1业务背景............................................................4

1.1.2产品定位............................................................4

1.1.3基本概念............................................................5

1.1.4功能特性............................................................7

1.1.5操作流程...........................................................14

1.2配置数据标准.............................................................16

1.2.1配置数据分层标准...................................................16

1.2.2配置模型设计标准..................................................20

1.2.3管控文档...........................................................25

1.2.4配置业务术语......................................................28

1.2.5配置码表...........................................................30

1.2.6配置数据库system..........................................................................................................................32

1.3配置数据模型............................................................37

1.3.1数据模型状态说明..................................................37

1.3.2（可选）创建数据分层................................................38

1.3.3创建数据模型（导入方式方式方法方式方法）............................41

1.3.4创建数据模型（逻辑实体采集方式方式方法方式方法）....................42

1.3.5创建数据模型（物理实体采集方式方式方法方式方法）....................44

1.3.6创建数据模型（手动新建方式方式方法方式方法）........................48

1.3.7审核数据模型.......................................................54

1.3.8（可选）复制和导出数据模型.........................................55

1.4相关应用数据模型........................................................56

1.4.1模型建模...........................................................57

1.4.2管控域和特征......................................................60

1.5管控数据安全............................................................66

1.5.1管控去隐私算法.....................................................67

1.5.2添加去隐私策略.....................................................70

1.5.3管控数据访问权限..................................................73

1.5.4创建数据角色......................................................74

1.5.5管控操作员权限.....................................................77

1.5.6查看用户与角色权限................................................80

1.5.7查看我的权限......................................................80

1.6管控元数据..............................................................81

1.6.1查看数据云图......................................................81

1.6.2查看模型开发报告..................................................83

1.7管控数据相关相关质量....................................................83

1.7.1数据相关相关质量管控操作流程......................................85

1.7.2添加数据相关相关质量规则..........................................85

1.7.3配置和执行稽核任务................................................91

1.7.4实时监控数据相关相关质量..........................................93

1.7.5分析数据相关相关质量趋势..........................................95

1.7.6管控数据相关相关质量知识库........................................98

1.7.7任务示例..........................................................100

1.8参考....................................................................105

1.8.1检核语句说明......................................................106

1.8.2自定义SQL参考函数...............................................106

1.8.3模型配置参数.....................................................111

1.8.4存储周期配置说明.................................................119

2.Addenda.........................................................................................................................................................................122

2.1设置任务调度时间.......................................................122

2.2集群管控................................................................122

1.数据治理

•从这里开始（查看［标题编号］）

・配置数据标准（查看［标题编号］）

数据标准管控是数据相关相关质量的核心相关相关合适的内容，是数据规范的保障。

•配置数据模型（查看［标题编号］）

介绍数据模型的创建、审核等操作。

・相关应用数据模型（查看［标题编号］）

•管控数据安全（查看［标题编号］）

・管控元数据（查看［标题编号］）

提供元数据的统一视图及相关的分析功能。

•管控数据相关相关质量（查看［标题编号］）

数据相关相关质量管控包括制定数据相关相关质量标准、为数据模型添加相关相关质量稽核

规则、监控相关相关质量稽核情况和查看数据相关相关质量报告等环节。

•叁塞（查看［标题编号］）

1.1从这里开始

业务背景（查看［标题编号］）

产品定位（查看［标题编号］）

基本概念（查看［标题编号］）

功能特性（查看［标题编号］）

操作流程（查看［标题编号］）

介绍DG的界面操作流程。

父主题：数据治理（查看［标题编号］）

1.1.1业务背景

1.1.2产品定位

数据资产管控整体解决方案

华为数据资产管理方案

华为数据资产管理万案包含线下B减据冶理以及线上fl檄据t控.可以在企业大薮据中心建设前期提蟠牌5刁调理、分折、评估，在企

业大鼓据中，L运行过程中提蚓据管拄

Copyright!2016HuaweiTechnologiesCo..Ltd.Allrightsreserved.［畛HUAWGI

产品特点

产品特点

智能

自就建立逻辑模型和物理对象的映射关系；在故据抽取、加菽.清洗等加工过程中，自的完成陆量检核和去信私处理等。

灵活

供灵活0口在线编箱元模型的能力,方便快捷支持各种类型的数据模型和业务管理流程。

标准

提供了完省的数据标准方面的支持，从满足业芫管控角度设计逻相模型。

统一

各运算引擎将采用笠一0口逻相模型，提升Universe大数据平台的综合能力。

Copyright;2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.

在UAP中的位置

数据治理在UAP中的位置

客户词被尸品同等市后涧家服学到写

说明丁色字体版区JS于规划内宕当捌版本初干工现.

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HUAWGI

与其他模块的交互

与其他模块的交互

数据治理工作员穿整个数据生命周期

Copyright/2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.♦畛HUAWGI

1.1.3基本概念

数据标准&数据安全&数据相关相关质量&元数据管控

基本概念

数据标准

数据标准是指描述草类数据的所有规则的聚合，包恬所需日也£据顶.各数据顶语义定义、语

法规定等.DAM王要针对物居分层.逻辑模型、安全踣氐数据.再量等制定相关的标隹

数据安全管理

规划、开发和执行安全政第与措施,提供适当8。身份以确认、授权、访问与审计.

元数据管理：

为获彳疆质量的整合的元数据而进行的规划、实施与控制活动.

数据质号管理

以适度改1眼端陆量，满足既定的业务预期为目标，画淀义和和规格说明，杼裁M再量管理整合至系统开发生命周期，为摩量

监控和报告数据质量水平0尸致性提供既定的操1鹿咦提供在岐据生产充程中曲亍数据防量懦核，通过稽核造果控制数据生产，

从根本上解决了数据质量管理B谭题.

［畛HUAWGI

数据模型

基本概念

数据模型

数据模型描述了数端时数据结忖存储规则等信愿。DG根据逻福数理模型和存睛规则目葫创建物理实体，统T攵据管控入口。

提供模型管理.模型审核、模型上线等一系列切能。

数据模型的状态说明：

数据模型状态描述

草稿新建的数据模型联认处于草槁状态（包怙导入方式.采里万式和手罚新建万苴创逋BD）.

待审核草稿状态的数据模型可修苜核，提交审核后模型处于待审核状态＜

已审核通过审核人员审核的数据僵型夕汗已审核状蕊

1冷HUAWGI

开发环境&生产环境

基本概念

裁

数据治理开发环境

11

开毡于元数据R冲据

■采£清洗.分析、

在开发过程涌出配置信息到元教I居库，H时度

切期J叼6冷面酒

环

可视化统一开发IDE

将元数据发布到生产环境执行.同时从生产采境

元3718管理

用执行信息，实现系统B握维监控.

，上法神畲信《?”

数据治理生产环境

读取开发环境发布出来的元数据信息，结合生

产环境实际情况对元数据信息曲亍微调，形成

最优配置J蝌最优配置芫成数据处理相关

61做推

任务.

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HUAWGI

1.1.4功能特性

・功能架构（查看［标题编号］）

・数据相关相关质量（查看［标题编号D

・数据安全管控（查看［标题编号］）

・元数据管控（查看［标题编号］）

・融合多域的数据管控规则（查看［标题编号］）

父主题：从这里开始（查看［标题编号］）

功能架构

功能视图

功能视图

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HUAWGI

父主题：功能特性（查看［标题编号］）

1.1.4.2数据相关相关质量

相关相关质量规则管控

数据质量-质量规则

数据质量管理从数据有效性、一致性、准确峥度对数据质量进彳摘量.质量规则可以是基于数据库字段的，也可以是基于数据库表的，也

可能是跨表的.

-------e--------------❾--------------❷--------------e-------

RBt&nBIHM

■■■war

OO-®aGCas$c（&Qi）

«H.CM

O9A4»

wsn

ttat.date

Oeaesxjssa

Copyrightc2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.［畛HUAWGI

数据相关相关质量稽核

数据质量-质量稽核

配置数据质量规则之后，DG后台会自动吸一调度上报稽核任务信息在统一调度中配置和执行对应流程的调度后，即完成了对相应流

程的数据稽核，可以通鳗据质量监控功能查看稽唳果.

Copyrightc2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.W畛HUAWGI

数据相关相关质量监控

数据质量-质控

实时监控数据质量状况，以便及时发现质■问题.支持从不同维度查看各个数据分层以及具体数据实体的质量状;兄

CopyrightC2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.鼠％HUAWGI

数据相关相关质量知识库

数据质量-质量知识库

将生产运维过程产生B响慰人员报告的问题.维护皮现时可题.业务人员反陶洞靡过攵潍过程转到知识库，对问题B原邸

解决方法进行手工分类i已录,提供历史泾验沉淀和直道.

|查内条件

孤始时间由绍来时间

效他方£«曳StfBT

瓜♦标*曼T▼关"字

|查均结里

违18极更WM®版量雄度向H融因X决方法最后低改人聚后包改时间t»n

fflpaa«-tt用户Ba中用户坛识”一住分析IHKETISW?201604-2611^)7QX

Copyright：2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.♦畛HUAWGI

数据安全管控

数据模糊化

数据安全-数据模糊化

牧据治理支持隔柘策略配置，画』信阳斓雾化和数据加解密能力，实现运营旗斓资产安全、信息安全和用曰就如I耕.

数据治理套件支持对戴据模相化处理。

I模陶化列信息

业先名稀届性名梆英里»0化及堂MWKffi后端长虎对［前面后曜｝收短

1统计日IBstat.datei*ffiX!e($tring)

23户后识cost,id通用工生(String)取榭方化

3Wi代小entry、必词用关型(String)

4L书照/city.code**fflS¥(String)

5X户名㈱cust_name通用英里(String)

6泣件英更cert_type通咫奥曼(String)

7是若通行信用rMCfedit_ctri_fUg场记

8X户类3!cust_typeM厢类型(String)

9客户类别cu$t_kindi*ffl«S(String)

10客户状态cu$t_$tatA用9；型(String)

Copynght<2016HuaweiTechnologiesCo,LtdAllnghtsreserved(畛HUAWEI

文档管控

数据安全-文档管理

统一§理文档通源，包恬文理请他互道、下载.更斯等.相关文1狂要供用户直阅，对业务逻辑没有技术上M约束.

文档管理

I台文档管理

目量名K9・后修我的祠

・开发双电

开发提35文件突2O16-1O-2Sl(hQ5:21

K前台界面(0)

1■设计标注设计标选文件失2016-10-2510X)6:10

・功能设计收物2)

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HUAWGI

隐私策略管控

数据安全-隐私策略管理

去隐私策略管理主要用于设置数据去隐私算法、各寄去的秘钥管理，并基于数据模型配置去隐私算;第.

连18实体信息

RSftQILSM

eodp

Bt.VDKtMlAXMl

Uwaub

Uonwdb

nMwww2017g71M757

B«»w

K174)4715c0757

nzwMto

aiw

Copyright2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HUAWGI

数据加解密

数据安全一数据加解密

数据加密是实现数据脱敏的常用方法.被授权访问明文的用户,可通过数据解密服务获得数廨）明文信息.

DG提供AES、DES.RC4,RC5等多种加空算法.配置逻辑模型时,可以指定相关字段使用某力唯算法.

|RE列僖粤

...8W到

Copyrightc2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.［畛HUAWGI

元数据管控

融合多域的数据管控规则

码表管控

融合多域的数据管控规则T表管理

谄表统一定义了业务元裁据设置顶的下拉柢品选直,TR用于对早些数据表叼相关列席值域检直.

Copyright:2016HuaweiTechnologiesCo..Ltd.Allrightsreserved.（弓HUAWGI

业务术语

融合多域的数据管控规则—业努术语

业务术语统『义开发布公司内部的业务语言（业务口径），主要供用户查阅，对业务逻褐没有技术上的约束.

新建后X

*«w

成本类业宪术语

0停«术语名梯

用于存放和胃理成本类的业务术语。标准成本

福牌

一种成本计算方法。这种方法不像间接费用是预计的，而是直接材料和g

接人工等也是按孩计的故字来计算的，这种成本的计算方法称为标准成本

制度或责任分解制度。

取消

Copyright<2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HUAWGI

数据分层标准

融合多域的数据管控规则T据分层标准

用于定义数据分层设计过程中8珈范,通过啕写检核语可实现,可制定数据分层命名规范。命名规范包话名祢种宿写的规范.

'«・

新建双生

'R»

分房2那鱼费大耳

aZRMM*

S-anazaaazaea

TKS*BKSfi

4IjyortUma

4LtyefAbbtnirtlonwmg

取酒

Copyrights2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.HUAWGI

数据模型设计标准

融合多域的数据管控规则-数据分层标准

用于定义数据分层设计过程中糠范.通过编写检核语句实现，可制定黏酸有命名规范.命名规范包括名称f面写缄范.

通用标Atest

Q（桧林不谩过,不允杵翟家保存）

BHUtaay

O3«Ktt*8HS!nK7l4*8ttK

Mti»tsa

BM«msa«Kt>

*xa«M«

Q-anaQzansi□sanaCB«a9□£»sa

4bywAbbtwiaUon

Copyrightc2016HuaweiTechnologiesCo.,Ltd.Allrightsreserved.W畛HUAWGI

1.1.5操作流程

介绍DG的界面操作流程。

DG主要操作流程如图_L所示。

图1DG主要操作流程

StepI配置数据源(Portal)

*数据输入

操作用户

操作内容

各操作流程描述如下：

1.配置数据源(Portal)

在大数据统一门户Portal中可进行数据源相关配置，包括租户的配置，以及FTP主机、数

据库和Hadoop集群等数据源信息的配置。

2.配置数据标准

数据标准管控包括统一管控相关文档，统一定义业务术语、码表和去隐私算法等。

3.创建数据模型

可通过三种方式方式方法方式方法创建数据模型：

导入方式方式方法方式方法

如果有已配置好的数据模型，可直接导入。

•采集方式方式方法方式方法

可从已有数据源中以采集方式方式方法方式方法自动化化生成数据模型。

•手动新建方式方式方法方式方法

用户手动创建数据模型，包括基本信息配置、数据结构配置和存储规则配置。

4.审核数据模型

审核人员对数据模型进行审核。对通过审核的数据模型还可进行配置数据访问权限操作。

5.完成上述步骤后，可进行以下操作：

•管控数据安全

对数据的访问权限进行控制。

•管控元数据

对元数据的管控包括查看数据云图和查看模型开发报告。

•管控数据相关相关质量

可实时监控数据相关相关质量，查看数据相关相关质量趋势分析报告。

・建模和特征管控

可进行模型建模和特征管控，供相关应用开发和客户洞察用。

1.2配置数据标准

1.2.1配置数据分层标准

数据分层的目标方向是为客户提供一种统一的数据管控的业务视图。数据分层标准则是为数据分

层预定义一套system的数据规范。

前提条件

已登录DG前台。

操作步骤

1.选择”数据治理>数据管控>数据标准>数据分层标准”。

进入数据分层标准配置页面。

2.单击"新建目录"。

弹出“新建目录”窗口。

3.配置分层目录后单击“保存”。

此处“目录”是各个分层标准的分类目录，配置说明如图1所示。

图1新建目录

新建目录X

*名称

通用标准test

检核方式

□强制检核（检核不通过，不允许提交保存）

生效范围

限定目录层级

限定目录层级

□一级目录□二级目录Q三级目录□四级目录□五级目录

描述

限定一级、二级和三级目录。

保存

表1分层目录配置说明

参数参数解释

名称分层标准目录的名称。

检核方式方式方法方配置是否需要强制检核。

式方法•勾选“强制检核”：在生效范围内，当数据分层不满足此标

准，将无法保存。

・未勾选“强制检核”：在生效范围内，当数据分层不满足此

标准，仍然可以保存。

表1分层目录配置说明

参数参数解释

生效范围设定此数据标准的生效范围。分为以下范围：

•限定目录层级

勾选此标准生效的目录层级。

•限定特定目录

可以选择指定的生效目录。

示例：假设已存在数据分层"02_OSD-o如果选择生效目录为

"02_OSD",则在"02_OSD"分层下创建子数据分层时，需要遵循本

目录下的所有数据分层标准。在其他目录下创建数据分层则不需要遵

循。

»未生效

此目录标准不在任何目录生效。

限定目录层级此参数当“生效范围”为“限定目录层级”时生效。勾选此标准生效的目

录层级。

示例：只勾选“一级目录”、“二级目录”、“三级目录”，则创建数据分层时，

一、二、三层目录需要遵循本目录下的所有数据分层标准，四、五层目录

则不需要遵循。

描述分层标准目录的描述信息。

4.在左侧导航中单击一个分层标准目录名称，如刚新建的"通用标准test”，在“规范列表”

中，单击“新建标准

弹出“新建规范”窗口。

5.配置一个规范后单击“保存"o

配置说明如图2所示,图中为一个“分层名称需要大写”的标准示例。

图2新建规范

新建规范X

*名称

分层名称需要大写

描述

分层名称需要大写

检核语句:二蜜「系统函数

1upper(layerName)==layerName

字段名称数据类型

4layerNamestring

4layerAbbreviationstring

取消

表2新建规范配置说明

参数参数解释

名称