数据治理在项目建设中的应用探索

数据治理在项目建设中的应用探索

目录

第一章技术需求分析........................................3

1.1业务功能、业务流程和业务量分析.......................3

1.1.1业务功能分析.....................................3

1.1.2业务流程分析.....................................8

1.1.3业务量分析......................................43

1.2信息量分析与预测....................................44

1.2.1测算思路........................................44

1.2.2测算内容........................................44

1.2.3数据存储信息量分析与预测........................45

1.2.4数据传输流量分析与预测..........................47

1.3系统功能和性能需求分析..............................49

1.3.1系统功能需求分析................................49

1.3.2系统性能需求分析................................52

第二章建设中的应用.......................................55

2.1建设原则和策略......................................55

2.2总体目标............................................55

2.3建设任务............................................56

2.4总体技术方案........................................58

2.4.1技术框架规划....................................58

2.4.2网络架构规划....................................59

2.4.3业务运转架构规划................................61

2.4.4数据采集架构规划................................62

2.4.5数据存储架构规划................................64

2.4.6数据纵向传输架构规划............................67

2.4.7数据服务架构规划................................68

2.4.8主要技术路线....................................70

2.5主要软硬件选型原则..................................77

2.5.1软件选型原则...................................77

2.5.2设备选型原则....................................78

第一章技术需求分析

1.1业务功能、业务流程和业务量分析

L1.1业务功能分析

1.1.1.1供需对接业务

(1)数据资源服务需求责需对接业务

当提出数据资源需求时，需要通过需求清单的方式将数据资源需求、

应用场景、需求数据明细及来源部门等信息明确，正式提出资源需求后流

转到责任部门，如果责任部门确认责任，则形成初步责任清单，在资源编

目完成后需要关联到资源编码进行资源挂载直到服务发布的需求实施跟

踪，服务发布后通过服务门户提供数据资源服务。当无法确认责任时，数

据管理部门需要组织线下协调会议明确责任部门、可提供数据、数据明细

等内容，形成会议纪要。如确因政策原因无法提供的，由责任部门提供给

政策依据后数据管理部门将该资源加入到负面清单中。

(2)数据融合服务需求责需对接业务

当管理部门提出数据融合需求时，数据管理部门需要组织供需分析协

调会议明确数据融合加工方案、源材料提供部门、源材料数据明细等内容,

并下达融合加工生产工单给数据加工中心，由数据加工中心根据数据融合

需求完成融合加工任务，经质量检验合格后提交给服务部门进行服务开发

及服务发布。服务发布成功后通过服务门户对外提供数据融合服务。

第3页

1.1.1.2资产管理业务

(1)资产登记

根据上级主管部门下发的聚通用工作任务，需要对全市的信息资产进

行全面摸清底数，需要对信息系统、中间件、数据库、库表、自建机房、

网络、云平台资源、数据资源等云、数、网信息进行全面摸底，掌握全市

信息资源底数。

(2)资源初始编目

在完成资产登记后，需要将编制好的资源目录通过服务人员导入到数

据资产管理系统，由各部门对已导入的资源目录进行注册、审核及发布。

(3)资产日常管理

当资产信息发生变化时，部门用户需要对变化的资产信息进行更新维

护。

(4)资源挂载

当资源目录发布后，需要根据数据共享的工作要求在一定时间内完成

资源挂载，根据实际数据资源的情况，各部门可以选择接口挂载、库表挂

载、文件挂载等多种挂载方式的其中一种或者多种将资源目录对应的数据

资源挂载登记，并将已挂载登记的数据资源上传到部门前置机。

(5)资产评估

信息化资产评估人员需要根据资产管理实际需求，设置资产评估指标,

创建资产评估模型，按照资产评估的需求执行资产评估任务，并出具资产

评估报告。

第4页

1.1.1.3数据加工业务

(1)数据采集

需要将部门前置库、上级主管部门级联数据、县区级联数据采集汇聚

到数据资源池，还需要将数据资源池的数据根据上级主管部门级联目录、

县区级联目录将数据分发到上级主管部门共享交换平台、县区共享交换平

台。

(2)数据资源池分类

根据一线城市的经验，将数据资源分类为原始库、标准库、基础库、

主题库、专题库，其中原始库和标准库需要按部门进行分类、基础库按照

国家规定分类人口库、法人库等，主题库按照主题进行分类，专题库按照

行业进行分类。

(3)资产库管理

为了更好的对数据资源池的资产进行管理，需要在进入资产库前进行

资产入库登记，登记完成后才能进行入库。在出库前也需要先进行资产出

库登记，登记完成后才能进行出库。在日常管理过程中，需要查看库存台

账，掌握当前在库资产情况。

(4)数据加工

数据进入原始库后，管理部门可以根据需求或者规划生成并下达加工

工单，数据加工中心可以根据加工工单按照该工单中已确定的数据标准对

数据进行标准化加工，也可以按照规划的人口库、基础库、主题库、专题

库在标准库基础上进行简单加工或者融合加工。需要支持以数据流向为主

第5页

的血缘分析，需要支持数据模型、算法的入库登记、管理及发布。

L1.1.4数据质量管理业务

(1)规则库管理

需要将实施厂商内置的通用规则库一次性导入到规则库中，无需审核

即可使用。也需要支持实施团队根据国标、行标和业务标准梳理的转换成

规则描述，经审核后方可生成可执行规则，用于数据加工或者质量稽核。

(2)元数据管理

各部门在数据挂载的时候需要提供接口文档、表结构设计文档和共享

文件信息，系统支持适配源数据接入进行自动元数据采集，也支持手工录

入维护，元数据经审核通过后才能进行发布，发布后的元数据才能够使用。

当部门由于业务变化或系统变化、或者需求变化时可以提出元数据变

更，同时提出本部门的影响分析，服务团队对该变更进行变更影响分析，

变更审核通过后通知下游系统后进行版本更新和变更后元数据发布。

(3)主数据管理

数据管理部门制定出台主数据总体规划，各部门根据主数据总体规划

内容规划提供主数据，主数据经审核发布后可对外提供主数据服务。

(4)质量稽核

质量稽核分为2类，1类是由于供需驱动的任务式稽核，当部门提交

送检单后，经质量管理部门受理后对送检数据进行安排稽核任务，质量稽

核人员需要根据送检数据自定义配置检验规则和稽核任务，稽核任务完成

后系统出具初步质量检测报告，支持导出后再进行优化完善。另1类是计

第6页

划稽核，质量管理部门根据常规巡检计划或临时巡检任务要求抽取部分数

据或全量进行稽核，稽核的规则是依托已积累在规则库的质量规则，稽核

完成后质量检测报告上报给市大数据发展局。

(5)问题跟踪

在质量稽核过程中发现的问题，需形成问题单进行跟踪，加工中心先

对问题进行溯源分析，如为检测规则问题，则需要重新调整规则库，如为

加工某个环节的问题，则由加工中心负责处理，如为原始库问题，则将问

题反馈给责任部门处理，处理结束后需重新提交原始数据到部门前置库。

1.1.1.5服务管理业务

(1)服务初始化

当平台建成后，需要将现在共享交换平台提供的共享服务进行初始化,

迁移到服务门户统一对外提供服务。

(2)服务分级分类

根据服务规划，服务分类2大类，1是资源服务，细分为数据校验、

数据下载、数据查询、数据订阅，2是融合服务，细分为地图服务、分析

服务、沙箱服务、加工服务。服务共分为3个级别，包括低、中、高。

(3)服务新增

当用户提出服务新增后，需要将服务新增的信息推送给供需调度进行

需求实施跟踪，直到服务发布。

(4)服务管理

以服务分级分类为主线，数据管理部门需要对服务发布、生效、变更、

第7页

暂停、恢复、终止等服务状态进行管理，同时发生变更时，需要升级服务

版本，旧版本和新版本可以同时对外提供服务，需要支持服务异常的处理,

服务终止后，支持用户提交服务评价反馈信息，作为服务评价的数据依据

之一。

(5)服务评价

数据管理部门提出服务评价指标，经审核后，需要结合自动采集和手

动采集等多种方式实现指标数据采集，然后将采集后的数据进行汇总分析,

根据服务评价报告要求及周期出具服务评价报告。

1.1.2业务流程分析

1.1.2.1供需管理流程分析

根据需求部门提出的数据服务申请，提供满足服务需求的数据资源和

计算结果，以服务形式实现需求部门的业务需要。

供需管理流程具体如下图所示：

第8页

供需管理流程

提交服务需求内容，并由供需管理部门对需求内容进行评判、沟通和确认。

（2）供需分析：根据服务需求内容，分析需求意图、需求可行性、需

求资源以及线下沟通相关问题。

第9页

(3)方案线下对接：通过线下会议、人员对接等方式，确定责任部门、

数据提供部门、数据明细等方案内容。

(4)确定责任部门：通过与数源部门沟通，明确数源部门以及所能提

供的数据资源。

1.1.2.2资产目录管理流程分析

1.1.2.2.1信息资产登记管理流程(初始摸底)

在系统投运后，根据信息化资产摸底要求，对市级政务部门进行资产

登记和资源摸底，形成全市信息资产编目。信息资产登记管理流程(初始

摸底)具体如下图所示：

第10页

信息资产登记管理流程(初始摸底)

图1.1-2信息资产登记管理流程

(1)总体规划：大数据发展局通过梳理上级主管部门、市政府相关工

作要求和管理规范，提出《政务信息资产目录管理办法》，并根据管理办

法的要求对资产目录的工作进行规划安排。

(2)部门编目规划：根据《信息化资产登记表》由数源部门编目负责

第11页

人确定需要核对的信息系统资料，落实对接人，本部门的编目工作规划和

安排。

（3）填报《信息化资产登记表》：由大数据发展局指导资产目录填报

工作，编目管理部门提供编目技术服务，数源部门按本部门信息资产情况

在数据资产管理系统填报。

（4）信息资产的提交、审核和发布：通过系统填报信息化资产，提交

到本部门的业务分管领导，由业务分管领导负责审核确定资产信息无误后,

由单位编目管理员负责统一发布。

1.1.2.2.2资产目录新增（变更）流程

依据三定方案和权责清单，以及信息资产和供需变化的要求，对资源

目录的新增和变更进行统一管理。资产目录新增（变更）流程如下图所示:

第12页

资产目录新增（变更）流程

敢源部门管理部门（编目）运营团队（加工质量）

新增（变更）原因：

1.三定方案及权责清单变化

2.信息资产变化（云'网、

机房、系统）

3.供需变化（责任清单）

费源目录新增

指导

（变更）填表

《信息化资产登记表》

（系统填报）

是否'

包填报疑回

T

图1.1-3资产目录新增（变更）流程

（1）资源目录新增：通过在系统上填写《信息化资产登记表》，数源

部门可以新增资源目录，填写过程若有疑问，可以由编目管理部门提供相

关指导。

（2）信息资产的提交、审核和发布：通过系统填报信息化资产，提交

到本部门的业务分管领导，由业务分管领导负责审核确定资产信息无误后,

第13页

由单位编目管理员负责统一发布。

1.1.2.2.3资产目录冻结流程

依据三定方案和权责清单的变化要求，同时根据服务停止的实际需要,

对资产目录的冻结过程进行统一管理。资产目录冻结流程如下图所示：

资产目录冻结流程

图1.1-4斐产目录冻结流程

(1)了解情况：数源部门在冻结资源目录前，需要先了解资源和目录

第14页

的使用情况，分析资源冻结的影响程度。

(2)资产目录冻结申请：填写《资源目录冻结申请表》，记录要冻结

的目录名称、冻结时间和影响程度等。

(3)审核：经过编目管理部门的审核，通过后将首先对服务进行停止

操作，然后系统会自动按冻结时间完成资产目录的冻结操作。

1.1.2.2.4资产目录迁移流程

根据职能或事项划转的需要，对部门间资产目录的迁移进行统一管理。

资产目录迁移流程如下图所示：

第15页

资产目录迁移流程

数源部门（迁出方）数源部门（迁入方）管理部门（编目）

职能划

开始

资产目录迁移

申请

S

I

L

结束

图1.1-5资产目录迁移流程

（1）资产目录迁移申请：在系统上提报待迁移目录名称、迁出单位、

迁入单位、计划迁移时间等。

（2）承接目录迁入：承接目录迁入主要是线下确认“三定规定”和责

权清单，然后根据申请方提供的信息确认迁入的目录正确无误，确认迁入

时间符合要求等。

（3）审核：迁入方同意迁入后，编目管理部门需要审核双方同意状态,

第16页

确保双方对接流程顺利完成，并最终变更目录所有权。

1.1.2.3加工处理流程分析

1.1.2.3.1规则管理流程

按规则标准的来源建立规则库，并进行统一的规则管控。规则管理流

程如下图所示：

加工处理流程（规则管理）

数源部门服务团队（加工）管理部门（质量）管理部门（加工）

触发条件：

1.资源目录编制（摸底与日常）

2质.检任务

梳理标准数据涉及的国标、地I

行标、业务确认（国标、地标、行标和标和行标

业务标准）

・无效--

元数据初始

转换成

化、变更流

元数据

看效•

市核结果

元数据规则

关系表

图1.1-6规则管理流程

（1）梳理标准：将涉及国标、地标和行标的数据规则进行梳理和分类,

形成规则清单。其中行标数据规则需要向业务部门确认，是否认可行标要

求。

（2）新增规则描述：规则来源主要分两种：标准规则和加工管理规则。

第17页

标准规则来自标准规范的元数据转化，加工管理规则来自数据治理过程的

需要和积累。

(3)规则审核、入库：新增的规则需要经过质量管理部门的审核，主

要确认规则的必要性和可用性。审核通过后即可进入规则库。

1.1.2.3.2元数据初始化流程

按照元数据的标准和规范，对元数据的采集和发布进行统一管理。元

数据初始化流程如下图所示：

第18页

加工处理流程（元数据初始化）

数源部门服务团队（加工）管理部门（质量）大数据发展局

提供资源数据

标准转换的

（接口提供地

适配源数据元数据自动

址，数据库和文

件提供前置服务或手工录入

器）

采集

图1.1-7元数据初始化流程

（1）采集元数据：大数据发展局通过集中开会方式，组织和讨论元数

据的采集方案和工作安排，并形成会议纪要明确数源部门的职责和安排。

（2）提供资源数据：数源部门按照大数据发展局的会议精神，准备相

关的接口文档、表结构设计文档和共享文件信息，提供接口地址、数据库

和文件所在的前置服务器信息。

第19页

（3）采集元数据：负责加工的服务团队通过适配数据源或手工录入的

方式对元数据进行读取、克隆和元数据存储，自动标识元数据的版本和采

集问题，通过预配置规则自动进行元数据审核，若仍存在无法解决的问题

则转入人工审核，直到问题处理完毕，元数据才能对外发布并被治理过程

所使用。

1.1.2.3.3元数据变更流程

按照业务变化和数据需求，对元数据的变更进行统一管理。元数据变

更流程如下图所示：

加工处理流程（元数据变更）

数源部门服务团队（加工）管理部门（质量）

第20页

(1)提出变更需求：元数据变更可能会影响正在运行的整个数据治理

过程，需要慎重评估变更必要性和可行性后才能实施变更，并严格按版本

控制方式对变更范围进行控制，确保变更过程可控。

(2)变更影响分析；通过查找元数据的使用方，评估影响范围和应用

重要程度，评估治理过程受影响而需要停止的工作内容，需要配合同步修

改的其他系统模块，需要兼容或调整的数据量等。

(3)通知下游系统：在变更操作前确保通知到所有受影响的使用方。

1.1.2.3.4数据采集流程

根据数据采集的规范要求，按照各部门前置库的部署情况进行数据采

集和出入池管理，为数据加工提供数据原料。数据采集流程如下图所示：

第21页

加工处理流程(采集)

(1)采集前准备：数源部门需要提前做好的准备有，规范业务描述、

筛选数据资源、提供数据资源进入前置机、提交表设计结构和接口文档等。

(2)采集数据：首先对数源部门的资源数据进行适配，采集元数据,

采集资源数据，保持数据结构和数据记录不变，存储进入归集库。通过质

量稽核计划对数据进行初步检查，主要是核对数据完整性和一致性，是否

第22页

与前置库的数据一致。

1.1.2.3.5出入池管理流程

对数据出入资源池进行登记管理，实现对数据出入信息的统一记录。

出入池管理流程如下图所示：

图L1T0出入池管理流程

入池数据来源：入池数据主要来自加工流程中的采集数据、加工后的

数据资产以及分析处理后的融合数据。

入池登记：通过登记数据来源、数据入池量、存放表、数据唯一标志

和入池时间等信息，自动对数据入池过程进行登记，形成数据入池日志，

供出入池台账管理使用。

第23页

出池登记：数据资产的出库与实物出库不同，数据出库可通过数据调

用标记、数据血缘和使用追踪等技术对数据出库情况进行跟踪和监控。通

过出池登记和监控自动形成数据出库台账。

1.1.2.3.6数据加工流程

根据供需任务、领导交办事项、数据加工规划等要求，对数据进行加

工处理，满足数据需求并提升数据质量。数据加工流程如下图所示：

第24页

加工处理流程（加工）

服务团队（加工）管理部门（加工）管理部门（质量）管理部门（服务）

图1.1-11数据加工流程

（1）下达加工工单：通过工单系统形成加工工单，并下发给负责加工

的服务团队。

（2）形成加工方案并进行加工：形成《数据加工方案》，提交质量稽

核部门，同步形成质量稽核方案。根据《数据加工方案》配置数据加工流

程，执行数据加工流程，将加工后的数据资产进行出入池管理，并按批次

第25页

提交质量稽核部门进行数据质量检测。

(3)数据问题处理：数据质量检测发现的未达标数据，将按数据来源

和问题原因进行分类，将问题发回数源单位进行整改处理。

1.1.2.3.7数据分析流程

根据数据计算的需求，从模型库中选用合适的算法模型对数据进行加

工计算，并实现数据融合结果的过程。数据分析流程具体如下图所示：

第26页

图1.1-12数据分析流程

(1)下达加工工单：通过工单系统形成加工工单指导加工服务团队工

作。

(2)制定数据加工方案：数据分析的加工方案主要包括数据资源的选

择，融合加工逻辑的说明，业务模型分析，算法模型的转化，物理模型的

调试方法以及资产数据的生成算法等。质量稽核部门也要根据加工方案同

第27页

步制定测试用例和规则对融合数据进行正确性测试。

1.1.2.3.8主数据新增流程

对主数据的规划和梳理进行标准化管理，实现主数据从规划到入库的

全过程新增管控。主数据新增流程具体如下图所示:

图L1T3主数据新增流程

(1)商定主数据范围和要求：由大数据发展局协调组织数源部门，商

定主数据的范围和要求，出台《政务信息主数据管理办法》，形成我市主

数据总体规划。

(2)主数据申请：数源部门需要对本部门的业务数据进行梳理和分析,

识别出本部门的主数据，并按照主数据的名称、主数据的结构(元数据)

第28页

以及主数据的业务规则进行申请，形成市级主数据标准。

（3）主数据入库审核：由数源部门提出的主数据申请，需要进行数据

转化，形成符合元数据规则的主数据，加工管理部门对主数据的合法性进

行审核，确定符合主数据管理规范的要求，并在审核通过后自动入库。

1.1.2.3.9主数据变更流程

根据业务变化和系统变化，对主数据的变更及影响进行标准化管理，

实现主数据变更调整的全过程管控。

主数据更新流程

数源部门股务团队（加工）管理部门（加工）管理部门（服务）大数据发展局

触发条件：

1.业务变化或系统变化

」主数据更新申请表

部门主数据更新申请

1

是否通过

图1.1-14主数据更新流程

主数据更新申请：由数源部门根据主数据变更要求，向加工管理部门

提出主数据变更申请，并通过加工管理部门的审核后，将变更数据更新到

主数据库中。

第29页

通知使用部门调整：主数据变更后，主要通知加工处理部门调整相应

的主数据调用方案，使用新版本的主数据进行数据治理。

L1.2.4质量稽核流程分析

1.1.2.4.1质量稽核计划管理流程

根据常规巡检任务制定质量稽核计划，然后根据计划安排实现定期的

质量稽核，并收集稽核问题进行跟踪处理，最终形成质检报告，上报给市

大数据发展局。质量稽核计划管理流程具体如下图所示：

第30页

质量稽核计划管理流程

数源部门管理部门（加工）管理部门（质量）大数据发展局

《质量送检单》

常规巡检规范

加工过程提出

、临时巡检任

质检要求质检要求

务要求

业务标准《吟阳》.编制

（来自提供方业稽核计划

务规痘）

按稽核计划L是否'

准备待测费源凝成待测灌畲

质量稽核《质量送检单》

流程

图1.1-15质量稽核计划管理流程

（1）稽核计划来源：稽核计划主要来自三个方面，大数据发展局下发

的常规巡检规范和临时巡检任务要求，数源部门进行数据归集时提出的质

检要求，以及加工管理部门对数据加工处理过程中提出的质检要求。其中

数据归集的质检依据数源部门的业务规范，大数据发展局的巡检要求由质

量管理部门落实具体的质量要求。

第31页

(2)编制稽核计划：根据质量稽核任务和要求，质量管理部门负责编

制质量稽核计划，并输出《稽核计划》，为下一步准备质量检测资源做准

备。准备就绪后即可转入稽核流程，执行具体的质量稽核操作。

(3)质量检查报告：例行巡检结束后，由质量管理部门出具《质量检

查报告》，复核检查结果后，将《质量检查报告》提交大数据发展局。

1.1.2.4.2质量稽核流程

根据送检任务分析数据的质量检测要求，通过配置质量检测规则，执

行质量检测任务，并形成《质检结果单》。质量稽核流程如下图所示：

质量稽核流程

服务团队(质量)

触发条件：

1.按质・稽核计划安排

送检单:

业务标准

送检任务

(来自提供方业

务规第)

任务分析

缗林业务妪则---

形成质量要求信息资产登记管理

数据归集

流程(初始摸底)

配置质量

业务、通用榭M--

质量检测规则规则库管理

执行质量质检结果单

检查任务

图1.1-16质量稽核流程

(1)送检任务：通过《质量送检单》提交到质量服务团队的检测任务,

会根据数源部门的业务规范作为指导，对送检任务的数据进行分析，形成

第32页

具体的质量规则和检测步骤。

(2)配置质量检测规则：由国标、地标和行标组成通用规则，由元数

据形成数据标准，加上预制通用规则库，组成数据治理的质量规则库。通

过结合业务规则和数据特性，配置形成可用于执行质量检测的规则方案，

转化成数据处理程序后执行质量检测任务。对质量检测中产生的问题进行

收集和记录，形成《质检结果单》。

1.1.2.4.3质量问题处理流程

当常规计划稽核或者送检稽核任务完成，发现的问题形成问题工单，

并对问题工单进行问题处理指导工单关闭。质量问题处理流程具体如下图

所示：

第33页

质量问题处理流程

数源部门管理部门(质量)管理部门(加工)

触发条件：

1.数据质量稽核发现的问题

质检结果单问题分析

问题溯源

原始数据问题加工数据问题

检测规则问题

复核复核

质量

问题处理问题处理

规则库管理

G有问熟

自我检查任务复检自我检查

正象复性

是否

复检要求

存在问I

《质量检查报告》.工单完结

结束

图1.1T7质量问题处理流程

(1)问题溯源：通过对《质量结果单》进行分析，将发现的问题按数

源和权责关系进行回溯，原始数据问题返回给数源部门处理，规则检测问

题由质量管理部门处理，加工过程问题由加工管理部门处理。

(2)自我检查：各问题处理方完成整改后，需要对自己的整理结果进

第34页

行复核并自我检查，确保问题得到有效解决。

(3)工单完结：质量检查完成后系统会关闭质检工单，并通知数据治

理的下一步流程管理方，同时形成《质量检测报告》。

1.1.2.5服务管理流程分析

1.1.2.5.1服务初始新增流程

根据平台上线后服务初始部署的需要，对服务的分级分类、申报、审

核及发布过程进行流程说明，实现服务的规范化初始部署。服务初始新增

流程具体如下图所示：

第35页

服务管理流程（初始新增）

管理部门（服务）I运营团队（服务）I大数据发展局

图1.1-18服务初始新增流程

（1）服务规划：系统上线后，需要对初始化的服务进行整体规划，实

现服务分类和有序部署，确定资源目录和服务目录的挂接关系，服务的分

类分级标准以及每个服务的归类归级。

（2）服务分类分级：服务按加工处理的过程及用途和重要程度进行分

类分级，新增的服务要符合分类分级要求。

第36页

（3）服务审核与发布：服务发布前需要经过主管单位的审核，确定服

务符合数据管理规范。服务发布后，需要通知到使用部门或需求提出部门。

1.1.2.5.2服务需求新增流程

根据照日常新增的服务需求，提供满足服务需求的数据加工、资源挂

载以及服务发布等标准化服务新增过程。服务需求新增流程具体如下图所

示：

第37页

服务管理（需求新增）

需求部门运营团队（服务）大数据发展局

图1.1-19服务需求新增流程

（1）登记服务需求：数据需求部门通过服务门户的需求登记功能在系

统上进行新服务的需求登记，填报所需服务的内容和要求。服务管理系统

自动将需求推送到供需管理系统，由供需管理部门负责对接具体的数据需

求方案。

（2）数据资源生产：落实数据供需方案后，需要经过数据加工处理,

第38页

资源编目挂载和服务目录挂接等服务制造过程，然后服务经过新增流程完

成最后的服务发布供需求方使用。

1.1.2.5.3服务变更流程

根据数源部门的数据资源变化情况以及新的数据需求，对服务内容进

行变更调整，实现与数据资源和需求的匹配。服务变更流程具体如下图所

示：

图1.1-20服务变更流程

第39页

(1)影响评估：服务变更最重要的工作是评估服务变更所带来的影响。

为了控制影响面，服务版本控制是必备措施。

(2)服务发布：通过发布新版数据服务，保留旧的服务接口，实现新

旧服务的平行过度，减少服务变更影响，控制新服务的使用对接进程。

1.1.2.5.4服务暂停流程

在服务出现异常或系统环境需要迁移时，可根据以下流程实现服务暂

停，待异常处理完毕或迁移完成后，再回复服务运行。服务暂停流程具体

如下图所示：

第40页

服务管理流程（服务暂停）

图1.1-21服务暂停流程

（1）发现异常：数据服务运行过程中，通过服务监控可及时发现服务

异常，异常出现后首先分析异常问题性质，若异常对使用方产生影响，将

采用暂停服务的方式避免使用方的数据出现持续错误。

（2）异常处理：通过分析异常原因，检测并处理异常问题，经检测无

误后可恢复服务的正常运行。

第41页

1.1.2.5.5服务评价流程

根据数据服务的评价需求，实现对服务的例行评价，利用评价数据改

进服务品质。服务评价流程如下图所示：

服务评价流程

管理部门（服务）大数据发展局服务团队（服务）需求部门

1.膝务状态情况（数量总量'启用、暂停、停止数量）

2.腺务运行情况（服务并发量、胤务请求次数,接受次数、

处理次数'出错次数、拒绝次数，服务响应最大时间、服务

响应最小时间,服务响应平均时间）

3.鹿务事件情况（出错事件、转警事件、异常事件）

4.服务质量情况（用户满意度、投诉量,投诉处理员）

图1.1-22服务评价流程

（1）定义评价维度和指标:服务评价关系数据服务质量的改进和提升,

是数据治理成果转化的重要评估依据。通过对评价的维护和分类进行定义,

采用指标化的标准对服务进行统一规范，形成可量化和考评的指标数据。

（2）评价指标审核：大数据发展局负责评价指标审核，根据考核管理

办法评估指标的有效性和合理性，确定指标的使用和解析方法等。

（3）指标采集、汇总和分析：指标数据由系统自动采集，并通过报表

方式汇总计算，根据考核要求对指标数据进行人工分析，最后定出《服务

第42页

评价报告》。

1.1.3业务量分析

1.1.3.1信息采集业务量分析

数据治理平台的数据采集涉及全市55个委办局与6区6县的数据共享

交换。需采集业务数据、历史数据和各类共享交换数据，随着全市各部门

的不断接入，系统的采集业务量需要不断扩展。

根据调研结果，当前归集到的数据共享交换平台数据主要分成历史库

表、历史接口数据、历史文件等三种类型,其中历史库表数据为1.9亿条,

按每条库表数据平均10KB计算，则历史库表数据量=1.9亿

*10KB/1024/1024/1024=l.77TB；当前历史接口数据为353个，每个接口数

据平均按10KB计算，则历史接口数据量=353*10KB=3.53MB；历史文件(表

格、文稿、PDF等)数据约为178400个，每个文件数据平均为10MB,则历史

非结构化数据量=178400*10MB/1024/1024=l.70TBo

根据目前的数据汇聚情况，平台建设后首年汇聚各部门数据、上级主

管部门级联数据、区县级联数据的库表数据原始库约为4000万条，接口

数据200个，文件数据200000个。库表及接口数据均按每条数据平均10KB

计算，则首年的起始库表+文件数据量=(4000万+200)

*10KB/1024/1024/1024=0.37TB,每条文件数据按平均10MB计算，则首年

的起始文件数据量=200000*10MB/1024=l.90TB。

第43页

1.1.3.2信息访问量分析

本系统平台主要面向市大数据发展局、市网管中心、市横向部门等用

户，各类用户访问业务量如下：

市大数据发展局、市网管中心、市横向部门等用户2000人，每天必须

访问系统的用户数为200人次，平均每个用户每次使用时间预计为6小时,

平均每天8小时有用户在线使用，系统的最大并发量预计为200o

同时本系统平台建设数据中台，与全市各个应用系统实现实时接入，

每天必须接入的系统数为500个，系统的最大并发接入数为100o

数据资产运营门户属于小范围试点应用，为运营应用提供可信数据服

务，每天必须接入的接口数为100个，系统的最大并发量预计为50。

1.2信息量分析与预测

1.2.1测算思路

数据存储量与网络通信量，主要产生自两个方面：系统业务处理产生

的数据与系统内数据自动采集所产生的数据。系统业务处理产生的数据量

主要由系统用户操作系统产生。考虑到本系统的使用用户量并不大，所以

在测算时该部分产生的影响忽略不计。因此，在测算数据存储量与网络通

信量时，只考虑系统内数据自动采集所产生的信息。

1.2.2测算内容

本次测算内容包括系统数据存储信息量测算和数据传输流量分析与预

测。并分别提出这些数据量的现值和3〜5年的预测值。

第44页

1.2.3数据存储信息量分析与预测

数据存储信息量主要包括访问及信息采集产生的信息量。具体的存储

信息量分析与预测如下：

（1）首年采集数据量测算

因此，首年采集的原始库结构化数据（含库表和注册接口）总量

=0.37TBo

采集的原始库非结构化数据主要为文件数据，首年采集的非结构化数

据=1.90TBo

（2）用户访问信息量测算

系统的用户访问业务量测算如下表所示:

序业务量系数每笔业务数平均每月业

主要业务主要相相关因素

号（单位：笔/人据量（单务量（单位：

分类关因素数量

/日）位：KB）GB）

数据治理与业务

1与应用平相关人40010101.14

台员

2合计1.14

测试说明:

预计平均每天访问公共治理大数据治理与应用平台的人数约400人、

平均每人每天操作10次，每笔操作业务量约为10KB。则每月为1.14GB。

每年为12*1.14GB=13.73GB；由于访问日志信息将定期删除，因此不计入数

据存储量测算中。

（3）结构化数据量

根据首年采集的原始库数据量测算的结果，考虑标准库存储容量等于

第45页

原始库数据容量，基础库、主题库、专题库根据实施服务内容确定，每个

库按原始库的20%计算，则首年产生的结构化数据总存储信息量为

0.37+0.37+0.37*3*0.2=0.96TBO本项目采用分布式存储架构，默认建立3

个副本，即首年的实际结构化存储需求为2.89TB。

（4）非结构化数据量

根据首年采集的原始局数据量测算的结果，每年产生非结构化数据为

1.90TBo本项目采用分布式存储架构，默认建立3个副本，即首年的实际

结构化存储需求为5.70TBo

（5）其他冗余信息量

其他冗余信息量，如缓存信息，系统参数等等每年约产生500GB数据

量。

因此，信息量开销分析表如下所示：

表1.2-1信息量开销分析表

序号采集信息项首年数据量

1结构化数据量2.89TB

2非结构化数据量5.70TB

3其他冗余数据量500GB

4合计9.09TB

即首年的存储数据量为9.09TB/年;

考虑数据治理服务需要将历史的库表数据全部进行标准化加工，则历

史库表数据实际需求为=1.77（原始库）+1.77（标准

库）+1.77*3*0.2=4.60TB,接口数据及文件数据不进行加工，直接提供原生

服务，存储量需求约等于L70TB,由于采用分布式存储架构，需考虑默认

第46页

的3个副本，历史接口+文件存储量=3*1.70=5.10TB,即历史数据存储量需

求=4.60TB+5.10TB=9.70TB,随着应用范围推广，业务采集的范围更广，每

年的数据增长率约30%,预计3年后的数据量为：9.70+8.97+8.97*

(1+30%)+8.97*(1+30%)*(1+30%)=45.49TB,但考虑到适当冗余,建

议预留60T的存储空间，即结构化数据存储空间为10TB,非结构化数据为

50TBo

1.2.4数据传输流量分析与预测

(1)网络接入带宽测算公式

公式：总带宽需求=当前带宽需求义(1+年增长率)发展周期

其中：当前带宽需求=峰值带宽需求

峰值带宽需求=数据变化量(每秒数据流量)义瞬时峰值因子XIP包

与承载数据量的比例XIP包头开销/线路利用率/(1-协议开销)

峰值带宽需求单位为每秒数据流量；

为方便计算，可参考如下计算参数：

数据变化量=并发用户数x平均每个用户同时打开页面数x平均页面大

小

瞬时峰值因子=2.5

IP包与承载数据量的比例=150%

IP包头开销=130%

(2)政务外网带宽需求

领导用户、系统使用用户、系统管理人员等用户主要通过政务外网进

第47页

行访问，数据传输流量分析如下:

根据用户访问信息量测算，系统最大并发量预计为200,平均每个用户

同时打开页面数2个，平均页面大小为15KB。

数据变化量=200*2*15K=5.86MB/s；

用户访问峰值带宽需求=5.86*8*2.5*150%*130%=228.52Mbps；

根据系统接入量测算，系统最大接入量预计为100,平均每个接入数据

大小为50KBo

数据变化量=100*50K=4.88Mbpso

系统接入峰值带宽需求=4.88*8=39.04Mbps；

当前带宽需求=228.52Mbps+39.04Mbps=267.56Mbps；

考虑适当冗余，政务外网带宽需求为300Mbps。

(3)互联网出口带宽需求

根据互联网应用接入量测算，系统最大接入量预计为50,平均每个接

入数据大小为50KBo

数据变化量=50*50K=2.44Mbpso

系统接入峰值带宽需求=2.44*8=18.52Mbps；

考虑适当冗余，互联网出口带宽需求为30Mbps。

第48页

1.3系统功能和性能需求分析

1.3.1系统功能需求分析

1.3.1.1服务门户功能需求分析

按照数据资源服务（数据校验、数据下载、数据查询、数据订阅）、

数据融合服务（地图服务、分析服务、沙箱服务、加工服务）的分级分类

为管理部门提供统一的服务门户，通过服务门户可以浏览和下载服务目录,

用户可以提出服务使用申请，经授权后可以进行根据申请的应用场景进行

使用。还可以提出新的数据资源需求和数据融合需求，通过供需调度系统

实现需求任务的全流程跟踪。

1.3.1.2供需调度系统功能需求分析

通过需求驱动的方式，建立数据资源服务、数据融合服务需求提出、

供需分析、需求分发、需求确认并形成数据责任、数据责任完成、需求责

任实施、需求任务完成的线上线下全流程跟踪管理，不仅可以方便数据需

求部门便捷高效的获取数据，提升数据共享能力，还能够通过应用导向的

供需业务不断完善资源目录、基础库、主题库、专题库的质量和有效性。

通过供需调度系统需逐步沉淀形成部门需求清单、部门责任清单及全

市的负面清单等三清单成果产物。

1.3.1.3数据资产管理系统功能需求分析

通过数据资源目录梳理登记，实现对全市信息系统、云、机房的信息

登记及数据资源的动态管理，按照国家政务信息资源目录体系实现资源目

第49页

录的分类、注册、审核、发布、冻结等资源目录的全生命周期管理，同时

支持部门通过接口、库表、文件等多种方式实现资源挂载，创新资产管理

方式，将资源目录进行上链，建设可信的用户信任机制。根据上级主管部

门考核要求，借助知识图谱技术，以数据资源为本体，构建数据资源所在

部门、所在业务科室、所在信息系统、所在云、所在机房、关联资源目录

之间的语义关联。建设数据资源图谱，关联数据栏，通过数据栏可以申请

跨部门、跨云、跨库资源，充分挖掘数据价值。

1.3.1.4数据加工系统功能需求分析

需要将部门前置库数据，上级主管部门级联数据、区县级联数据采集

到原始库，需支持数据读取、数据对账、断点续传、任务管理、解密解压、

数据分发的数据采集功能，对于暂时无法实现接口对接而又有迫切业务需

要的系统接口对接需求，系统提供数据管道服务，从业务系统的表现层重

构出数据接口，实现业务系统的对接。

数据加工系统提供面向结构化数据记录、半结构化文本等具体数据的

数据处理能力，能够对数据进行提取、清洗、转换、关联、比对、标识、

融合等数据加工能力，还提供数据治理服务过程中的模型、算法的登记、

管理及发布功能，还需提供数据分级分类、数据脱敏、数据加密解密、权

限控制、安全日志等数据安全防护能力。

1.3.1.5数据质量管理系统功能需求分析

制定数据质量管理工作制度规范，从数据服务的视角提出数据质量管

第50页

控需求，构建标准数据元、标准字典表，实现数据标准体系的管理，构建

通用规则库、业务规则库，并购买成熟厂商的内置通用规则库，缩短质量

工作机制的形成时间，以元数据管理、主数据管理为质量管理工作抓手，

为高标准的质量改进提供基础支撑，通过建立从稽核、质量追溯、质量检

测报告到问题库的跟踪管理机制，形成大数据治理平台的质量管理流程体

系，通过反复的质量稽核及质量改进，逐步提升全市政务数据质量。

1.3.1.6商业智能报表引擎功能需求分析

需要建设商业智能报表引擎能力，支持开发人员基于商业智能报表引

擎根据用户的定制报表需求实现快速开发响应