数据管控规范

据管控规范PAGE10PAGE10做word1 1.1 功能蓝图数据管理就是对交易中心现有的业务支撑系统的数据进行统一的数据管理、质量管控、并且通过标准的共享模式，实现核心数据统一存储，维护和使用的问题，提升交易中心现有数据的安全存储和高效使用等能力，并更加深入地进行数据挖掘等工作，为中心创造更多的价值。未来的数据管理平台将对中心现有系统的数据进行统一的数据的整合、数据的管控，并运用数据进行统一的服务管控来提升服务共享的水平，为中心的服务提供全方面的数据支撑。数据管理平台的功能蓝图如图所示：wword。服务共享域利平台已有资源自定义服务配置，定制出符合要求服务相关服务流排通中将服务发布。服务域主要是提供服务包括服务应服务流服务监控。1.2 数据整合就是将离散于各个业务系统中的数据进行集中化。数据整合阶段主要分为以下三个步骤执行：类型识别根据业务使用情况分析目前各个系统中的数据实体，其中哪些是主数据，哪些是非主数据但需要共享的数据，哪些是私有数据。数据类型会作为制定同步规则和清洗规则的重要依据。同步规则确定分析采集的各种数据需要达到的同步频率，从实时、准实时到天、月不等，针对不同的同步频率需求结合每次同步的数据量来选择同步方式，ETL（抽-转化-加载）和 ESB（企业服务总线）分别适用于不同场景。ETL本身也有多种具体的技术手段来实现各种情况下的同步，如Hotplu、全表对比、时间戳等。在这里，将根据不同的数据类别和数据使用频度和需求频度等情况，制定出相应的数据同步的机制，采用实时数据整合和批量数据整合两种方式进行数据的整合。清洗规则确定在进行数据整合过程中，由于不同系统中可能重复出现的数据，以及数据本身的缺失和错误等问题，为了避免由于不同系统中相同数据由于编码规则、的，在过程中统的数据规则，数据进行清和，数据中的数据能同时，在数据清洗的过程中，需要对采集数据的质量以及清洗后数据的质量进行检测。其中，在数据采集过程中，对采集的数据进行整合，确保采集的数据都能满足质量要求，能够通过正确的清洗和转换；对于转换完成的数据，通过再次的检测，保证转换数据的一致性和正确性，从而确保数据的准确行和权威性。1.3 据管控数据管控就是对于进行整合后的数据进行相关的管控，使其能够满足交易中心管理对于数据使用的各种需求。131 数据生命周期规划数据生命周期规划，就是对数据从在各个应用系统的中产生，然后通过各种采集整合手段聚合到数据管理平台，直至最终通过建立各种主题数据仓库提供各种数据服务的整个过程进行规划，使数据能够满足各种业务的使用需要。ADB应用数据库数据管理平台核心功能为操作型应用提供 提供领域内统一、一致数据存储和ADB应用数据库数据管理平台核心功能为操作型应用提供 提供领域内统一、一致数据存储和访问 的数据视图，包含MDM主数据管理数据仓库1、存储数据管理平台历史数据2、为分析应用提供多维数据基础ADBADB应用数据库数据管理平台应用自身的数据模型 共享数据模型关系型数据库关系型数据库数据仓库共享关系模型，多维分析模型本应用需要的所有细节信息 运营共享信息数据管理平台的所有历史数据支撑的应用实时应用统一视图、准实时/实时的数据访问 支撑分析型应用秒1天1天1周3-12个月3-12个月所有ADB应用数据库应用数据库主要是为交易中心主要的业务支撑系统和内部管理系统的应用提供数据存储和访问。在应用数据库只存储支撑本系统运行的数据资源，以满足本系统的使用要求。应用数据库的数据在进行日常业务处理的过程中，不断的进行更新，以便同实际的业务情况保持一致。数据管理平台应用数据库的数据，经过统一的清洗和转换后，进入数据管理平台进行统一的存储管理。在数据管理平台，将通过建立统一的数据视图，为各种数据服务提供数据。数据管理平台的数据更新根据不同的数据需求和应用系统的实际情况进行区分，通过实时的数据采集和批量数据采集两种方式进行。数据仓库数据仓库是为了满足某一特定的决策支持和联机分析而建立的结构化数据环境。交易中心在进行业务活动和内部管理的过程中形成了大量的数据资源，利用数据仓库，对已有的数据资源进行深入的挖掘和联机分析，即可以满足交易中心日常的数据查询要求；又可充分挖掘数据内的，为中心的各业务决策提供的支持。，根据交易中心的用要求，建立交易、企业、专家的主题数据仓库，为中心的各活动提供业务支持。132 133 、企专家）一或多属性具很高性首先完善使视一视担另外施象抽象具备功特点：合：组织层合了应统信息集处一、一共享统一：、应商都形式速输入、检索和析。多、或。集成：集成信息、、集成析他解决案。交易统为、企专家又由若干组成统一录入使使存储一性使性为。主数据主系统（生产系从属系统（使系统）统）招项目基本信息网上填报码系统交易系统评标系统企业库专标家库电子化资审诚信平台项项目码码系统交易系统评标系统企业库专家库电子目化资审诚信平台正式投标人交易系统评标系统企业库专家库诚信平台专家抽取信息交易系统专家库专家签到信息交易系统专家库专专家基本信息专家库交易系统评标系统家专家回避单位专家库交易系统评标系统人员指纹库专家库交易系统评标系统企企业基本信息企业库交易系统电子化资审诚信平台业企业项目信息企业库交易系统电子化资审诚信平台企业人员信息企业库交易系统电子化资审诚信平台1应系统合前主数据主数据主系统（生产造 从属系统（使系统）系统）招项目基本信息交易系统 评标系统企业库专家库标项目码交易系统 评标系统企业库专家库项正式投标人交易系统 评标系统企业库专家库目交易系统 交易系统 专家抽取信息交易系统 专家库专家签到信息交易系统 专家库专专家基本信息专家库 交易系统评标系统家专家回避单位专家库 交易系统评标系统人员指纹库专家库 交易系统评标系统企企业基本信息企业库 交易系统2134 、细致解最监测异常预警并输出报析。1.4 比较项接口数量耦合程度开发复杂性管理与维护扩展性独立接口多 n*(n-1)紧复杂，手工编码混乱困难数据总线少(n)松简单容易，集中管理比较项接口数量耦合程度开发复杂性管理与维护扩展性独立接口多 n*(n-1)紧复杂，手工编码混乱困难数据总线少(n)松简单容易，集中管理易扩展实施周期长短PAGE9PAGE9word通过在交易中心的系统调研，我们整理出现有的系统的数据接口以及系统接口的数据交换情况，并以此进行数据总线的改造，形成基于总线的数据共享模式，以期达到服务共享的目的。OA议会标、息信果到果OA议会标、息信果到果果、结结函签标单名息信息信务财、资、评审资请申家专ESB息息信中息中信示公标中中、据、、务数财招企交易网站wword下载即可编辑！！如图所示，通过数据总线的形式，我们整合了所有系统的数据，并通过数据总线的形式，提供了统一的数据服务，使得数据的管理和使用能够有一个统一的机制，以便能够更好的达到服务共享的目的。1.5 务治理在总线上实现数据服务共享后，为了使用户更好的了解数据服务的应用情况，需要在为系统上搭建数据服务的维护管理功能。用户可通过图形化的方式实现对数据服务的监控、统计和分析。服务治理功能主要用来众多的服务进行管理和控制（包括此处的数据服务，也包括今后将实现的业务服务），为服务消费者、服务供应OA运营人员提供方便的服务治理工具。对于服务消费者，通过该模块可以更好的查找到需要的服务及更准确的