数据管控规范

1、数据管控标准标准化治理处编码BBX968T-XBB8968-NNJ668-MM9NBBX968T-XBB8968-NNJ668-MM9N1 1 数据治理架构 1.11.1 数据治理平台功能蓝图数据治理就是对交易中央现有的业务支撑系统的数据进行统一的数据治理、质量管控、并且通过标准的共乍模式,实现核心数据统一存储,维护和使用的问题,提升交易中心现有数据的平安存储和高效使用等水平,并更加深入地进行数据挖掘等工作,为中央创造更多的价值.未来的数据治理平台将对中央现有系统的数据进行统一的数据的整合、数据的管控,并运用数据进行统一的效劳管控来提升效劳共孕的水平,为中央的效劳提供全方面的数据支撑.数据治理

2、平台的功能蓝图如图所示：数据整合域,是对现有业务系统的数据进行采集和清洗转换,并对采集过程中的数据进行质量检测,来保证整合数据的准确性和可鼎性.数据管控域,对采集到数据根据其不同的属性进行分类存储管控,对数据的质量、数据的安全以及信息的生命周期进行统一的治理,并对数据在使用过程的各种信息进行统计分析.效劳共享域,利用数据治理平台已有的数据资源,进行自定义的数据效劳配置,定制由符合要求的效劳,进行相关效劳流程的编排,通过数据中央将效劳进行发布.效劳治理域,主要是对提供的效劳进行治理,包括效劳应用的治理,效劳流程的管理以及服务监控.1.21.2 数据集成数据整合就是将离散于各个业务系统中的数据进行

3、集中化.数据整合阶段主要分为以下三个步骤执行：数据类型识别根据业务使用情况分析 U U 前各个系统中的数据实体,其中哪些是主数据,哪些是非主数据但需要共享的数据,哪些是私有数据.数据类型会作为制定同步规那么和清洗规那么的重要依据.数据同步规那么确定分析采集的各种数据需要到达的同步频率,从实时、准实时到天、月不等,针对不同的同步频率需求结合每次同步的数据量来选择同步方式,ETLETL抽取-转化-加载和 ESBESB企业效劳总线分别适用于不同场景.ETLETL 本身也有多种具体的技术手段来实现各种情况下的同步,如 Hotplug.Hotplug.全表比照、时间戳等.在这里,将根据不同的数据类别和数

4、据使用频度和需求频度等情况,制定由相应的数据同步的机制,采用实时数据整合和批量数据整合两种方式进行数据的整合.数据清洗规那么确定在进行数据整合过程中,山于不同系统中可能重复由现的数据,以及数据本身的缺失和错误等问题,为了防止山于不同系统中相同数据山于编码规那么、格式之间的差异,在清洗过程中需要制定统一的数据清洗规那么,对数据进行清洗和转换,保证数据治理平台中的数据能够保持一致性.同时,在数据清洗的过程中,需要对采集数据的质量以及清洗后数据的质量进行检测.其中,在数据采集过程中,对采集的数据进行整合,保证采集的数据都能满足质量要求,能够通过正确的清洗和转换；对于转换完成的数据,通过再次的检测,保

5、证转换数据的一致性和正确性,从而保证数据的准确行和权威性.1.31.3 数据管控数据管控就是对于进行整合后的数据进行相关的管控,使其能够满足交易中央治理对于数据使用的各种需求.1.3.1.3.1 1 数据生命周期规划数据生命周期规划,就是对数据从在各个应用系统的中产生,然后通过各种采集整合手段聚合到数据治理平台,直至最终通过建立各种主题数据仓库提供各种数据效劳的整个过程进行规划,使数据能够满足各种业务的使用需要.数据生命周期规划,把数据划分为以下 3 3 个域,分别保存不同阶段的数据ADBADB 应用数据库数据治理平台数据仓库核心功能为操作型应用提供数据存储和访问提供领域内统、一致的数据视图,

6、包含 MDMMDM主数据治理1 1、存储数据治理平台历史数据2 2、为分析应用提供多维数据根底数据模型应用自身的数据模型共享数据模型共享关系模型,多维分析模型ADBADB 应用数据库数据治理平台数据仓库数据存储类型关系型数据库关系型数据库关系型数据库、多维数据库、或多维数据引擎软件数据内容本应用需要的所有细节信息运营共享信息数据治理平台的所有历史数据支撑的应用实时应用统一视图、准实时/实时的数据访问支撑分析型应用数据更新频率秒分钟到 1 1 天1 1 天T周数据存储周期3-123-12 个月3-123-12 个月所有ADBADB 应用数据库应用数据库主要是为交易中央主要的业务支撑系统和内部治理

7、系统的应用提供数据存储和访问在应用数据库只存储支撑本系统运行的数据资源,以满足本系统的使用要求.应用数据库的数据在进行日常业务处理的过程中,不断的进行更新,以便同实际的业务情况保持一致.数据治理平台应用数据库的数据,经过统一的清洗和转换后,进入数据治理平台进行统一的存储管理.在数据治理平台,将通过建立统一的数据视图,为各种数据效劳提供数据.数据治理平台的数据更新根据不同的数据需求和应用系统的实际情况进行区分,通过实时的数据采集和批量数据采集两种方式进行.数据仓库数据仓库是为了满足某一特定的决策支持和联机分析而建立的结构化.交易中央在进行业务活动和内部治理的过程中形成了大量的数据资源,利用数据仓

8、库,对已有的数据资机分析,即可以满足交易中央日常的数据查询要求；乂可充分挖掘数据内涵的意义,为中央的各项业务决策提供良好的支持.例如,根据交易中央前的使用要求,建立交易信息、企业信息、专家信息的主题数据仓库,为中央的各项活动提供业务支持.1.3.1.3.2 2 元数据治理元数据是关于数据的数据,元数据主要用于在数据仓库里描述数据及其环境,它是在数据仓库建设过程中所产生的有关数据源定义,U U 标定义,转换规那么等相关的关键数据.因此,元数据的治理对于数据仓库有着重要的意义.在 U U 前的数据治理平台上,将提供对各数据的实体定义和流程管控治理两方面的元数据进行治理.其中,数据实体治理是对各个数

9、据实体来进行实体定义,对实体之间的关系进行约束,实现对数据管理平台里所有数据实体的治理.对于流程管控治理方面,通过制定标准的数据流程制度,严格限制数据的流向以及数据在各流程中的惜况,对数据治理平台中的各项数据流程进行管控.1.3.1.3.3 3 主数据治理主数据是描述核心业务实体如招标项忖、企业和专家的一个或多个属性,主数据治理具有很高的重要性.首先,完善的主数据治理可以使各个业务视角能获得一致的数据根底,减少数据差异带来的业务错误和客户投诉,还可以充分发挥各个业务视角数据治理和维护的水平,而不加重业务部门的负担,另外,主数据治理是 SOASOA 实施过程中,关键业务对象抽象的重要根底.主数据

10、治理具备以下功能特点：整合：在组织层面上整合了现有应用系统的主数据信息,进行主数据的集中处理.源进行深入的挖掘和联共享：主数据作为组织权威的统一、一致的数据,为组织各应用系统提供准确的共享数据.统一：实现对于客户、产品和供给商都通用的主数据形式,加速数据输入、检索和分析.并行治理：支持数据的多用户治理,包括限制某些用户添加、更新或查看维护主数据的流程的水平.集成水平：集成产品信息治理、客户关系治理、客户数据集成以及可对主数据进行分析的其他解决方案.在交易中央的系统中,主要的主数据为招投标工程主数据、企业主数据和专家主数据,各个主数据乂由假设干个相关实体组成.通过统一的主数据治理,可以标准数据的

11、录入和使用,使得数据的存储的一致性,使用的标准性.以下为各主数据在进行主数据治理前后的情况列表.主数据主系统生产系统附属系统使用系统招标项项 IJIJ 根本信息网上填报编码系统,交易系统,评标系统,企业家库,电子化资审,诚信平台库,专项 U U 编码编码系统交易系统,评标系统,企业库,专家库,目电子化资审,诚信平台正式投标人交易系统评标系统,企业库,专家库,诚信平台定标结果交易系统企业库,专家库,诚信平台中标公示交易系统企业库,专家库,诚信平台专家抽取信息交易系统专家库专家签到信息交易系统专家库专家专家根本信息专家库交易系统,评标系统专家回避单位专家库交易系统,评标系统人员指纹库专家库交易系统

12、,评标系统企业企业根本信息企业库交易系统,电子化资审,诚信平台企业工程信息企业库交易系统,电子化资审,诚信平台企业人员信企业库交易系统,电子化资审,诚信平台息表 1 1 应用系统整合前主数据情况主数据主系统生产造系统附属系统使用系统招项 LILI 根本信交易系统评标系统,企业库,专家库标息项项 H H 编码交易系统评标系统,企业库,专家库目正式投标人交易系统评标系统,企业库,专家库定标结果交易系统企业库,专家库中标公示交易系统企业库,专家库专家抽取信交易系统专家库息专家签到信交易系统专家库息专专家根本信专家库交易系统,评标系统家息个家回避单专家库交易系统,评标系统位人员指纹库专家库交易系统,评

13、标系统企业企业根本信息企业库交易系统企业工程信息企业库交易系统企业人员信息企业库交易系统表 2 2 应用系统整合后主数据情况通过对于系统的整合和主数据治理后,对于数据的使用和治理都更为明晰,使得系统间的数据交互更加清楚,系统间的耦合程度大为降低,系统的效率大为提升.1.1.3.3.4 4 数据质量治理数据质量的好坏是数据应用的根底,因此,在数据治理平台中,对于数据质量的治理也是数据管理的重点.对于数据质量的治理,主要分为对数据使用的流程进行治理,以保证数据的使用符合标准的流程,保证了数据使用的规划；对数据使用的应用效劳进行管理,以便对于各项数据效劳的情况有一个全面、细致的了解；最后,对于数据效

14、劳的信息进行监测,对于异常悄况进行预警,并输由效劳信息报表,以便对效劳惜况进行分析1.41.4 效劳共享数据共享的根本思路是将现存系统中点对点的网状结构改造为基于数据总线的模式.通过运用数据总线的模式,通过统一标准的数据共享机制使得对于数据治理的可以大大降低后续对数据维护的本钱.下表为独立接口和总线模式的各种效率比照.比拟项独立接口数据总线接口数量多 n*(n-1)n*(n-1)少(n)(n)耦合程度紧松开发复杂性复杂,手工编码简单治理与维护混乱容易,集中治理扩展性困难易扩展实施周期长短通过在交易中央的系统调研,我们整理由现有的系统的数据接口以及系统接口的数据交换悄况,并以此进行数据总线的改造

15、,形成基于总线的数据共事模式,以期到达效劳共享的忖的整合前的系统之间的数据交互关系复杂,且企业库等系统同交易系统形成一个大的系统,不便于数据效劳的共享.运用数据总线的思想,我们构建了基于总线的数据效劳形式,悄况如下列图所示.如下图,通过数据总线的形式,我们整合了所有系统的数据,并通过数据总线的形了统一的数据效劳,使得数据的治理和使用能够有一个统一的机制,以便能够更好的到达效劳共享的U U 的.1.51.5 效劳治理在总线上实现数据效劳共享后,为了使用户更好的了解数据效劳的应用情况,需要在为系统上搭建数据效劳的维护治理功能.用户可通过图形化的方式实现对数据效劳的监控、统计和分析.效劳治理功能主要用来对众多的效劳进行治理和限制包括此处的数据效劳,也包括今后将实现的业务效劳,为效劳消费者、效劳供给商、SOASOA 运营人员提供方便的效劳治理工具