数据中心系统应用功能设计开发方案及实施方案

1、数据中心系统应用功能设计开发方案及实施方案 金信工程数据中心系统由五大功能构成：数据采集整 合、数据治理、数据共享交换、数据应用服务、数据运行维 护。 数据采集整合主要包括数据接收、数据抽取、数据转换、 数据载入功能； 数据治理维护主要包括检查规则配置、数据质量检查、 检查结果管理、合标性检查、一致性检查、数据治理报告功 能； 数据共享交换主要包括基本接口服务、服务对象管理、 服务内容管理、服务发布管理、交换服务管理功能； 数据应用服务主要包括通用查询、高级查询、查询结构 展示、常规报表、灵活报表、全文检索功能； 数据运行维护主要包括基础配置管理、数据标准管理、 转换映射管理、数据情况统计、元

2、数据管理、运行调度管理、 数据应用配置功能。 1.1. 数据采集整合子系统 数据采集整合将从深圳市市场监督管理局的各个业务 系统采集数据，并对数据进行清洗与整合，按照信息化标准 规范化数据格式存储于市局数据中心数据库。 数据采集是数据中心对数据抽取的基础操作。数据采集 模块可链接各业务系统数据库，通过设置采集频率和采集方 式，配置存储位置，定时获得各业务数据的增量数据，并经 过数据的校验与审核，获得正确、规范的业务数据。 数据整合是对进入数据中心采集库的数据进行匹配、转 换、整合等工作。按照市场监督管理业务的规则，对跨表、 跨业务主题具有逻辑关系的数据进行清洗和验证，清楚修正 冗余错误数据；按

3、照数据中心系统的数据库设计，转换和整 合业务数据格式，按照总局数据标准进行存储。进入数据中 心且完成整合的数据可直接用于对用户或各业务系统提供 数据服务。 1.1.1. 数据接收 数据接收功能是通过部署配置数据库接收软件，接收来 自外部数据交换库交换来的数据。通过数据接收设置，设置 数据的接收方式以及数据接收后的存储空间和格式。根据源 数据的格式和内容， 对交换来的数据进行筛选、 转换、 匹配， 形成数据中心格式的数据库。数据接收功能包括数据接收方 式设置与数据接收反馈。 1.1.1.1. 数据接收方式设置 数据中心交换数据分为结构化数据和非结构化数据，接 收方式设置可分别设置数据接收方式和数

4、据接收存储位置 等。 1.1.1.2. 数据接收反馈 将数据接收的结果进行反馈。 1.1.2. 数据抽取 数据抽取功能是对数据中心抽取所需的源数据表、抽取 频率、抽取方式、抽取时间等各种参数的设置。对于通过校 验审核的采集数据，由抽取加载功能加载进入数据中心交换 数据库存储。 由于市场监督管理系统数据量巨大，数据中心在抽取数 据时必然会影响业务系统的读写速度，为了使数据中心的数 据与业务系统同步，同时尽量减少数据中心数据抽取对业务 系统的影响，数据中心采用数据增量的数据抽取方式。增量 传输提供高效数据传输模式，通过对业务数据操作时间（即 业务时间戳）的比对，获取最新增量的业务数据，实现数据 增

5、量分离，减少源数据库的读取次数，从而减少数据中心抽 取数据对各业务系统的影响。 1.1.2.1. 数据抽取数据源设置 数据抽取数据源设置是在连接到源数据后，对源数据中 的数据内容进行选择的操作。由于源数据为业务数据，其中 包含有大量系统表，临时表、与业务无关的辅助类表等，这 类表不属于数据中心抽取范围。数据源设置是对数据源进行 选择确认哪些表的数据需要抽取，哪些不需要抽取。 1.1.2.2. 数据抽取方式设置 数据抽取方式分为全量抽取和增量抽取两种方式。由于 数据抽取会占用业务数据库的读写操作，为了减少数据中心 抽取数据对业务系统的影响，对于更新频率较高的数据易采 用增量抽取。 对于必须使用全

6、量抽取的业务数据，则需要安排在非工 作时间抽取，尽可能的减少抽取数据对业务系统的影响。 1.1.2.3. 数据抽取频率设置 根据数据的重要性，不同业务主体的数据对数据更新要 求各不相同。如：主体数据为工商主要数据，且其他业务数 据需要主体数据及时性要求较高，因此主体数据的抽取频率 要求高。 数据抽取频率设置是根据不同需求，设定数据抽取的频 率 1.1.2.4. 数据抽取时间设置 由于数据增量发生在工作时间，因此对于增量抽取的业 务数据， 通过抽取时间设置， 系统在工作时间进行增量抽取， 非工作时间则不进行数据抽取。 对于全量抽取的业务数据，设定抽取时间，可定时自动 实现数据抽取 1.1.2.5

7、. 数据抽取结果反馈 数据抽取结果反馈是对数据抽取结果进行归档并展示。 对于数据抽取未出错的数据提示数据抽取成功。 对于数据抽取出错的提醒相关人员抽取出错，并将抽取 系统的出错日志进行展示，方便工作人员进行错误查找。 1.1.3. 数据转换 数据转换的任务主要是通过校验、清洗、匹配、整合、 转换源数据，使其以数据中心的格式和规则存储如数据中心 中心库。数据的转换包括以下部分： 1、数据校验： 数据校验是数据在源数据库抽取到采集数据库时进行 的校验与审核。按照数据采集约定的数据格式、数据内容进 行校验，对于不符合要求的数据，输出到错误库并产生详细 的出错记录，错误数据和错误日志将返还数据提供方，

8、协助 数据提供方分析修改数据。对于数据质量未达到校验最低标 准的数据，要求数据提供方重新发送数据。数据校验与审核 功能主要是针对单字段、单表或单业务主题的简单验证和检 验。 2、数据清洗： 数据清洗过程是在采集库到中心数据库过程中，对遗 漏、错误、不一致等各种数据进行数据验证清理，保证数据 的正确性、一致性和唯一性。数据清洗是按照市场监督管理 数据固有逻辑和关系，对跨业务主体、跨数据表之间，有业 务逻辑的数据进行的清洗。数据清洗的内容主要包括三个方 面： ? 不完整的数据，其特征是是一些应该有的信息缺失， 如供应商的名称，分公司的名称，客户的区域信息缺 失、业务系统中主表与明细表不能匹配等。需

9、要将这 一类数据过滤出来。 ? 错误的数据，产生原因是业务系统不够健全，在接收 输入后没有进行必要的逻辑判断直接写入后台数据库 造成的，比如发现注册号不同而企业名称相同的记录 数据、提交材料不全而年检结果为通过的数据、各业 务系统之间注册号相同而名称不同等。这类问题通过 数据关联和数据边界设定进行发现和筛选。 ? 数据的缺失和重复，按一定规则对重复数据、缺失数 据进行发现和处理。例如出现登记库存在的企业在名 称库中无名称核准信息的缺失数据，多条记录主要字 段相同而部分字段不一致的重复数据等。 对每类问题， 系统将有针对性的清洗规则进行侦别归纳分析，所有 问题数据都应形成错误数据报告，并根据需要

10、反馈给 数据提供者。清洗规则库可以动态配置扩展。 3、数据匹配功能： 数据匹配功能是根据市场监督管理业务的逻辑联系，对 其他部门采集业务数据与市场监督管理主体登记信息进行 匹配，匹配成功的数据进行整合归并操作；否则根据配置设 置确定数据是否进入中心数据库，并反馈相关情况给数据源 部门。根据市场监督管理业务的特殊性，如部分案件或消保 信息由于主体没有在深圳登记或备案，则无法与主体信息进 行匹配。但这类数据是正确数据，需要进入中心数据库。 4、数据转换功能： 数据转换功能是将采集数据与中心数据库表结构、编码 内容不一致的数据进行字段映射、编码转换和一些特定字段 的计算填充等操作。数据转换功能将读取

11、运行管理系统中相 应的参数配置进行工作。 1.1.3.1. 数据校验规则管理 数据校验是对抽取数据进行校验。由于抽取的数据分为 结构化数据和非结构化数据，因此校验的内容各不相同。对 于结构化数据库的校验，是根据用户业务需求，对所抽取的 数据中的数据的类型、 字段、 长度、是否可为空等进行校验 数据校验配置就是对需要检验的数据表、数据字段和检 验方式进行配置。数据校验是对单表或两表之间的简单数据 检验。对于非结构化的数据，则首先对数据文件的完整性进 行校验，然后对数据的类型、字段、长度、是否可为空等进 行校验，数据校验配置是对需要检验的文件、文件的类型、 文件的完整性、 文件中的字段、 字段的合规性的进行的配置。 根据需要，可对已配置完成校验规则进行配置、查询、 修改或删除等操作。对于正在使用的校验规则，不可进行修 改或删除操作。 1.1.3.2. 数据清洗规则管理 数据清洗规则配置是根据数据出错的三方面因素，对抽 取的各业务系统的业务数据进行整体、全面的梳理工作。 数据清洗规则配置包括：选择数据配置的数据源，选择 配置的数据表，选择关联的数据表，选择数据字段和关联字 段，选择校验