2023年政务信息资源共享交换平台（二期）建设方案

政务信息资源共享交换平台（二期）建设

方案二O一九年九月TOC\o"1-5"\h\z\o"CurrentDocument"1总体设计 6\o"CurrentDocument"1.1总体架构设计 6\o"CurrentDocument"1.2总体建设内容 7\o"CurrentDocument"13平台对接 7\o"CurrentDocument"1.3.1与公安平台对接 7\o"CurrentDocument"1.3.2与市场监督管理局全域德阳平台对接 7\o"CurrentDocument"1.3.3与全国信用信息共享平台（四川德阳） 7\o"CurrentDocument"1.3.4与发改委重大项目库对接 8\o"CurrentDocument"2标准规范建设 8\o"CurrentDocument"3平台关系 9\o"CurrentDocument"3.1国家、省、市平台关系 9\o"CurrentDocument"3.2市级平台与各部门、各区县的关系 9\o"CurrentDocument"4区县建设模式 10\o"CurrentDocument"4.1建设模式 114.1.1统一建设 11\o"CurrentDocument"4.1.2区县购买服务 11\o"CurrentDocument"4.2接入流程 11\o"CurrentDocument"4.3工作开展 12\o"CurrentDocument"4.4服务模式 12\o"CurrentDocument"4.4.1标准服务 124.4.2增值服务 12\o"CurrentDocument"5政务信息资源共享交换平台（一期）升级改造 12\o"CurrentDocument"5.1深入梳理10个试点单位政务资源 12\o"CurrentDocument"5.2完善基础库建设 13\o"CurrentDocument"5.3政务信息资源共享门户升级改造 14\o"CurrentDocument"5.4政务资源目录管理系统升级改造 14\o"CurrentDocument"5.5统一管理升级 14\o"CurrentDocument"6数据资源中心建设 16\o"CurrentDocument"6.1全市剩余部门和区县市政务信息资源梳理 18\o"CurrentDocument"6.1.1市级部门资源梳理 18\o"CurrentDocument"6.1.2区县资源梳理 18\o"CurrentDocument"6.2数摇资源规划与专题库建设 186.2.1数据来源 18\o"CurrentDocument"6.2.2专题库建设 19\o"CurrentDocument"6.3政务大数抵基础平台 236.3.1大数摇采集平台 23\o"CurrentDocument"6.3.2大数据计算平台 23\o"CurrentDocument"6.33大数摇存储平台 24\o"CurrentDocument"6.3.4大数摇挖掘与分析平台 24\o"CurrentDocument"6.3.5大数据运维管理平台 24\o"CurrentDocument"6.4政务数据治理系统 24\o"CurrentDocument"6.4.1数据源管理 246.4.2数据抽取 24\o"CurrentDocument"6.4.3数据清洗 26\o"CurrentDocument"6.4.4数据转换 276.4.5加载入库 28\o"CurrentDocument"6.4.6数据质量管理 29\o"CurrentDocument"6.4.7数据规范管理 30\o"CurrentDocument"6.4.8数据资产管理 30\o"CurrentDocument"6.4.9数据生命周期管理 31\o"CurrentDocument"6.4.10数拯地图及血缘分析 31\o"CurrentDocument"6.4.11数据脱敏脱密管理 346.4.12调度和监控 356.4.13集群管理 356.4.14系统监控 356.4.15系统管理 35\o"CurrentDocument"6.4.16数据安全管理 35\o"CurrentDocument"6.5政务信息资源服务系统 36概述 366.5.2资源服务监管流程 376.5.3功能 38\o"CurrentDocument"6.6政务信息快速服务构建平台 39\o"CurrentDocument"6.7可视化分析建模平台 41\o"CurrentDocument"6.7.1算法模型库 42\o"CurrentDocument"6.7.2深度学习框架 51\o"CurrentDocument"6.7.3可视化分析建模 51\o"CurrentDocument"6.8政务数据资源可视化系统 60概述 60功能 61\o"CurrentDocument"7智慧政务应用服务平台 65\o"CurrentDocument"7.1政务业务信息系统管理平台 667.1.1概述 66\o"CurrentDocument"7.1.2政务信息系统管理流程 667.13功能 67\o"CurrentDocument"7.2宏观经济分析应用系统 69\o"CurrentDocument"7.2.1宏观经济大数据综合分析子系统 70\o"CurrentDocument"7.2.2宏观经济决策态势分析子系统 71\o"CurrentDocument"7.23宏观经济算法模型及指标库子系统 73\o"CurrentDocument"7.2.4宏观经济数摇可视化展示子系统 77\o"CurrentDocument"7.2.5应用协调管理子系统 80\o"CurrentDocument"7.3产业预测应用系统 85\o"CurrentDocument"7.3.1评价产业结构的指标体系 85\o"CurrentDocument"7.3.2产业结构变化趋势预测 85\o"CurrentDocument"7.4政务共享应用支撑 878可视化监控展示大屏 881总体设计1・1总体架构设计政府部门企事业单位社会公众用户层政务信息资源共享门户政务信息资源开放门户业务应用层智慧政务应用服努平台宏观经济分析应用产业预测应用政务共享应用政务信息资源可视化系统资产概览专逊视化业务系统化政务信息资源服务系统标准规范体系

安全保障体系政务业务信息系统管理平台政务信息资源管理系统政务资源目录管理系统运维保障体系应用支挥层数据资源层墓础设施层图：总体架构设计图在统一的标准规范体系和运维保障体系下，本项目总体架构可分为以下五层：（1） 基础设施层：基于政务云平台的基础设施；（2） 数据资源层：本项目主要在一期已建基础库的基础上，对基础库数据进行抽取、清洗、比对、整合后，最终人口专题库、法人专题库、宏观经济专题库、信用专题库、数字档案专题库。（3） 应用支撑层：主要包括数据共享交换系统、政务大数据基础平台等。（4） 业务应用层：包含政务数据治理系统、政务信息资源服务系统、政务数据资源可视化系统、政务业务信息系统管理平台、宏观经济分析应用系统、产业预测应用系统、政务共享应用支撑等。（5）用户层：包括政府部门、企事业单位、社会公众等。1.2总体建设内容总体的建设内容涵盖一期平台的升级完善，数据资源中心建设、政务信息系统整合共享监控、舆情收集和基于归集数据的政务应用。一期平台已完成对政务资源共享通道的建设，二期平台建设的内容选择上，考虑以数据归集、提升数据质量，发挥数据价值，增强数据资源应用效率，为决策分析和部门业务应用提供准确、正确的数据，支撑新型智慧城市、城市治理、民生服务等建设。因此二期平台主要围绕数据落地、数据治理、数据组织、数据服务和数据应用五个方面来建设。在数据治理上，建设政务数据治理系统，支撑数据提取、清洗、比对、标准化、质量、安全等管理。在数据组织上，完善基础数据库，建设数字档案库，对从各委办局归集的数据按照基础库、专题库进行存储和管理；在推进全市政务信息系统整合共享工作上，建设政务信息系统整合共享管理平台，对全市政务信息系统的使用范围、使用频度、数据共享情况等运行情况进行监管；在数据服务上，建设政务信息资源服务系统，提供资源配置、资源使用授权管理、资源使用情况监控、服务封装等服务；建设政务数据资源可视化系统，对全部政务数据进行汇总、统计，直观展示数据资源情况，为进一步做好数据资源建设提供支撑。在数据应用上，建设智慧政务应用服务平台，运用大数据技术工具对已有数据进行挖掘分析，在政府产业结构调整和优化过程中，科学决策，精准服务提供支撑。1.3平台对接1.3.1与公安平台对接一期平台已建设公安前置机，本期则通过公安前置机与公安系统进行对接，获取公安人口相关的基础数据，为人口专题库建立提供数据资源。同时平台为公安提供所归集的各委办局数据，为公安开展相关业务提供数据支撑。1.3.2与市场监督管理局全域德阳平台对接一期平台已建设市场监督管理局前置机，本期则通过前置机与市场监督管理局全域德阳平台进行对接，获取全域德阳平台关于企业的相关数据，为建立法人专题库提供数据资源。同时平台为全域德阳平台提供所归集的各委办局数据，为市场监督管理局开展市场监管提供数据支撑。1・3・3与全国信用信息共享平台（四川德阳）一期平台已建设发改委前置机，本期则通过前置机与全国信用信息共享平台（四川德阳）进行对接，获取全国信用信息共享平台（四川德阳）平台的信用主体基础数据和信用主体信用相关数据，为信用专题库提供数据资源。同时为信用平台提供自然人、法人基础数据和信用数据，为信用平台开展信用信息应用提供支撑。1.3.4与发改委重大项目库对接一期平台已建设发改委前置机，本期则通过前置机与重大项目库进行对接，获取重大项目库相关数据信息，同时平台为发改委重大项目库项目审核提供数据支撑。2标准规范建设标准规范是政务信息资源共享交换平台成功建设、规范化运行及后续推广的有力支撑和可靠保障，本项目遵循国家电子政务标准，参考借鉴国家、四川省等标准规范，面向政务信息共享业务特点，充分满足应用和信息服务的当前需要和未来发展要求，通过对数据标准规范、数据共享规范、数据使用规范等进行深化设计，确保各业务部门的数据标准化处理，政务信息资源共享中的流程标准化和政务信息资源应用服务的使用标准化等。通过标准规范的建设，促进整个政务机制逐步完善。本项目建设的标准规范主要有：《政务信息资源共享管理标准》《政务信息资源共享交换平台资源申请、授权和使用管理标准》《政务信息资源共享交换平台接口技术规范》

3平台关系3.1国家、省、市平台关系政务信息资源共享平台是全国政务共享平台的节点和延伸，主要负责范围内的政务数据的归集整合、数据共享和政务数据信息服务。四川省政务信息资源共享平台连接国家和四川省各市级平台包括平台，提供跨市的政务信息共享交换，同时通过国家平台为各市级平台提供跨省的政务信息共享交换。国家平台连接各省平台包括四川省平台，提供跨省的政务信息共享交换。3.2市级平台与各部门、各区县的关系区县和市级各部门，所有跨部门数据交换均通过市政务信息共享平台进行。区县及市级各部门通过前置机或接口连接到市政务信息共享平台，通过共享平台进行跨部门或跨系统间数据交换。市级和区县各部门既是平台资源的提供方，也是资源需求方，各区县（部门）向平台报送共享目录，按照目录向平台提供信息资源，同时在有数据需求时，在平台进行共享

数据检索，对属于公开共享的数据直接从平台获取，对于授权共享的数据通过平台向资源提供方申请，申请批准后，通过平台获取相关数据。市级部门（资源提供方〉紡目报送一-I徳阳市政务信息共享平台区县部门（资源提供方）级联模块市（州）端厂_区县部门（资源需求方〉务息统

政信系交换盂理中心 { 匚市级部门（资源提供方〉紡目报送一-I徳阳市政务信息共享平台区县部门（资源提供方）级联模块市（州）端厂_区县部门（资源需求方〉务息统

政信系交换盂理中心 { 匚政务信息资源目~—挥据徑换 T—►市级部门（资源需求方）4区县建设模式各区县原则上通过前置机方式接入政务信息资源共享交换平台，但可根据各区县信息化的实际情况分阶段推进。对于确有共享需求，但又没有大规模数据交换应用情况下，可先通过接口与市政务信息资源共享交换平台对接。区县A委办局区县A委办局4.1建设模式建设模式可根据的实际情况采取统一建设或区县购买服务建设的方式。4.1.1统一建设由政务信息资源共享交换平台建设管理单位统一向市财政申请费用，统一配置前置节点,并安排相应的技术力量帮助区县进行资源目录梳理、各区县委办局应用系统与前置机对接、数据资源梳理、目录编制、数据挂接以及指导各区县开展数据共享工作。4.1.2区县购买服务各区县向政务信息资源共享交换平台建设管理单位提申请，以购买服务的形式购置前置机以及相应的实施和支持服务，由政务信息资源共享交换平台建设管理单位安排相应的服务商提供服务，服务内容包括：区县资源目录梳理、各区县委办局应用系统与前置机对接、数据资源梳理、目录编制、数据挂接以及指导各区县开展数据共享工作。4.2接入流程各区县前置机接入政务信息资源共享交换平台时，各区县前置机管理部门涉及以下相关1） 申请接入各区县向政务信息资源共享交换平台建设管理部门提交接入申请。2） 前置节点部署政务信息资源共享交换平台建设管理单位审核同意后，进行区县前置节点的部署。3） 获取账号部署完成后，各区县前置节点从政务信息资源共享交换平台建设管理单位获取平台用户账号。4） 平台级联接入按照政务信息资源共享交换平台下发的级联接口规范，政务信息资源共享交换平台建设级联模块（市级端），与区县前置机的级联模块（区县端）进行对接。4.3工作开展（1） 区县资源梳理调研区县各委办局信息系统和数据资源情况，制定信息交换指标体系。（2） 区县系统对接对需要接入前置机的系统配置相应的服务，以服务封装的方式实现区县数据的共享和与平台对接。（3） 区县数据资源挂接对需要接入平台的数据资源进行挂接。（4） 数据归集开展数据接入工作，完成各委办局政务数据的采集，完成已采集数据的整理、汇集、清洗、比对、入库。（5） 目录编制政务信息共享分析总计以及共享目录编制。4.4服务模式提供标准服务和增值服务，各委办局可根据自身技术支撑力量情况，购置相应的服务。441标准服务提供数据资源梳理、系统对接、资源挂姐、数据归集、目录编制等培训和对工作中遇到的问题电话支持服务。4.4.2增值服务提供工程师驻场服务，工程师承担数据资源梳理、系统对接、资源挂姐、数据归集、目录编制等实际工作，同时指导各委办局开展相关工作。5政务信息资源共享交换平台（一期）升级改造5.1深入梳理10个试点单位政务资源充分利用一期10个市级试点政务部门政务信息资源梳理和编目已有成果及经验，对这10个试点政务部门进行进一步深入摸底，理清部门业务数量、业务流程及政务信息资源总量、分布与共享状况，同时以应用促进部门数据的归集，最终形成业务、资源、共享、开放四个层次的资源梳理结果。5.2完善基础库建设通过建立数据共享考核机制，要求各部门每月对本月数据共享情况进行汇总上报，管理部门针对共享数据量少并且排名靠后的进行发文通报，并对其组织集中进行培训学习或约谈分管领导等措施，推动各部门的数据共享，完善房地产交易库、社会保障库、电子证照库、信用库、人口库、法人库、空间地理库七大基础库。基于原有库的基本信息基础上，对各个库的扩展信息和共享应用信息进行追加完善。通过政务大数据基础平台、政务信息资源服务系统等提供统一的数据采集、治理、存储、分析、服务和安全能力，整体上将库建设到提供数据服务分七层处理，七层包括数据采集层、数据安全层、原始数据层、整合数据层、专题数据层，数据质量层以及数据共享层。＞数据采集层负责从各部门采集和更新数据，可以与全市数据共享交换平台、各部门信息系统对接，实时、定期、批量采集更新数据，保障各部门数据能够落地到中心，并且实现数据更新。＞数据安全层建立覆盖整个大平台的统一安全网关，通过平台访问安全策略设置、数据加密脱敏、数据溯源比对等方式保障系统安全性以及来自各部门数据的安全性。＞数据原始层分区存储来自省上下沉、本市归集、区县归集的原始数据，不对数据做任何处理，利于数据的溯源处理，再根据实际需要和存储设备资源考虑保留原始数据的期限，一般保留6个月。＞数据整合层基于原始层数据，利用大数据治理手段对数据进行分类、清洗、转换、加载处理，形成各个主题库，整体形成数据整合层。＞数据专题层按照常规的主题库应用，在主题库的基础上形成专题应用的数据库，例如形成一人一档、一企一档、一事一档等专题库，整体形成数据专题层。＞数据质量层设定数据开发、数据应用的质量规范，对出库使用的数据进行质量检测，例如专题数据维度是否缺失、内容是否重复、隐私数据是否脱敏等。＞数据共享层负责对外提供八大库数据服务，可通过数据交换、数据下载、数据接口等方式实现，在提供服务的同时，设定服务提供的策略、频率，验证服务使用方的合法性，以及记录服务访问信息。5.3政务信息资源共享门户升级改造政务信息资源共享门户，作为各部门公共信息资源的统一呈现窗口，为政府部门工作人员提供政务信息资源的检索、定位和信息资源的展示，同时提供信息资源申请的入口。该门户主要实现信息“一站式”共享、多视角分析、多功能应用、全链条查询、数据化服务的共享成果汇聚、共享经验的推广等。本期政务信息资源共享门户主要升级改造的内容有：目录资源级联：新增目录资源级联功能，实现国家、省级平台目录资源在本平台的展示，用户可通过本平台进行国家、省级目录资源的申请以及审批结果查看。5.4政务资源目录管理系统升级改造政务资源目录管理系统主要用于规范各部门政务信息资源目录的编制，实现政务信息资源的发现和定位。本期政务资源冃录管理系统主要升级改造的内容有：目录资源挂接：升级目录资源挂接功能，针对文件类型的资源挂接，提供web版页面文件维护功能，方便客户灵活操作；在进行目录资源挂接时，提供资源所属政务信息系统配置功能，为政务信息系统运行状况监测提供数据支撑。5.5统一管理升级主要包括以下十个方面的升级拓展功能开发和新增功能开发：重点对一期已建的统一管理系统，从适应新机构改革变化的方面，对系统的组织单位层级管理和部门架构管理，内部人员组织机构等管理功能方面进行适应性调整完善修改。从统一管理的管控通道层，实现覆盖数据整个全链路包括对前端数据延时数据滞留等情况，将数据监控的触脚延展到前置机侧，相关管控要素也需要更加全面多样。增加统一审计功能，可根据规则预设对数据交换系统的所有访问、配置变更行为进行全面审计。■操作审计查看某个时间段用户对模块的基本操作信息。■登录审计查看某个时间段内用户登录情况。■日志审计系统内部较高优先级的日志记录。主要审计对系统数据造成影响的用户操作，审计项主要包括：目录管理操作（分类管理、注册、维护、导入导出、审批），和系统管理操作（用户、组织、配置、日志操作）。为了保证操作员的每一笔操作都有据可查，记载任何进入系统的行为，以及对重要数据的修改情况，以监测系统的运行，保证在数据发生问题时有据可查，系统在操作员对目录的每一步操作都做了记载。可以通过对时间、操作人、操作机构以及操作的目录进行限定，从而更加准确的查找出用户关心的记录。（4） 增加对纵横向上与省平台，下与区县系统平台的统一管理和管控功能。从而打造真正意义上的一体化全方位统一管理平台。（5） 随着目录系统和底层交换系统的修改完善，统一管理系统基础架构代码支撑层的适应性调整修改开发工作。（6） 统一数据管理分析统计数据库数量、识别敏感数据库及数量、表数量、敏感表数量、字段数量、敏感字段数量、敏感数据类别等。展示了敏感数据的静态分布和动态访问情况，基于不同维度以TOP10方式直观展现数据分布情况和实际访问情况，如：访问量最多的TOP10的敏感表和访问次数最多的TOP10的敏感表等。（7） 统一管理数据流动分析统计了数据访问总量、敏感数据访问量、请求总量、用户数和应用数等信息。展现了敏感数据访问量最多的TOP10应用、敏感数据访问量最多的TOP10数据类型、敏感数据访问量最多的TOP10用户和敏感数据访问量最多的TOPIOIP及敏感数据流动地图等。可通过直观的数据流向地图展现数据的真实流转情况。（8） 统一管理数据库用户行为分析统计了用户的基础信息如最近活跃时间、应用数、访问数据总量、使用的源IP等。展示某个用户的敏感数据访问情况，分别展示该用户访问敏感数据类型的分布、访问敏感数据量趋势、敏感数据访问热度。（9） 统一管理用户轨迹溯源可跟踪数据库用户，客户端，应用，被访问数据库，操作行为等关联信息，直观的展现用户访问数据的完整行为信息。通过多层展现的方式跟踪到用户的所有访问行为信息以及详细信息。（10）统一管理全域数据溯源根据已经泄漏的数据，可以直接粘贴泄漏的数据，也可以文本导入泄漏的数据、根据关键字段，能回溯出可疑IP或用户名，可添加数据库用户、源IP地址、数据库名称、时间等回溯的限定条件，限定条件越详多越具体，则回溯的结果越准确。6数据资源中心建设通过数据资源中心建设，充分开发利用现有数据资源，形成比较完善的数据资源体系，促进数据资源在政务内部的交流共享和开发利用，为各系统提供及时可靠的信息服务。在一期已归集的民政、环保、农业、税务、市场监督管局、旅游、金融、财政、公安、人社、卫健、住建等各个智慧应用的数据建立的八大基础的基础上，扩大归集范围，充实基础库数据内容。按照“任务驱动、主题汇聚”的原则，按照“部门数据归集到基础库一基础库数据清洗、整合后形成专题库一专题库基础上封装服务提供给各部门直接使用”的思路，对基础库数据进行抽取、清洗、比对、校核、标准化转换和整合，最终形成人口专题库、法人专题库、宏观经济专题库、信用专题库、数字档案专题库。通过各委办局数据归集，同时进行整理转换后形成统一标准的数据资源和完善政务信息资源体系，并对数据进行资产化管理，给各部门提供统一标准但多样化的数据服务，盘活政务数据，充分发挥数据价值，提升政府数据管理效能。数据服努交换共享查询检索计篦 存储数专题库： 人口专題库Hk < 库因岀库二叱竺…诜人专瞬疙规经济专聊可视化展示统龄析分析信用专颗库 （宇档案专嗨数据归集数据抽取数据清洗>数据校核>标准化转换数据比对数据整合服务接口数据服努交换共享查询检索计篦 存储数专题库： 人口专題库Hk < 库因岀库二叱竺…诜人专瞬疙规经济专聊可视化展示统龄析分析信用专颗库 （宇档案专嗨数据归集数据抽取数据清洗>数据校核>标准化转换数据比对数据整合服务接口批量交换0市场监督管理局ft公安ft人社ft统计交通宏瓏济分析产业预测砸政务共享应用图数据资源中心总体架构图（1）数据归集根据具体任务需要，通过批量交换和服务接口等多种方式，将各市级政府部门等相关信息，交换汇聚至数据资源中心。按照相关数据标准，将汇聚的数据进行抽取、清洗、去重、比对、校核、标准化转换、关联整合等处理并入库，不断提高数据质量和规范性。（2）完善基础数据库和建立专题库按照建设需要，根据数据來源、类型、结构、用途等分类，基础数据库主要分为房地产交易库、社会保障库、电子证照库、信用库、人口库、法人库、空间地理库、数字档案库等数据库。•期平台已建设相关基础库，本期主要在•期建设的基础上扩大数据归集范围，完善基础数据库，同时在基础数据库的基础上建立人口、法人、宏观经济、信用和数字档案专题库。（3）数据服务基于大数据中心计算和存储等基础支撑能力，利用行为分析、文本挖掘、全文检索等多种信息技术工具，为相关应用系统提供数据支撑服务。同时为各市级政府部门提供信息资源的查询、下载、订阅等数据共享服务，为跨地区、跨部门、跨层级政务数据共享交换和业务协同联动提供有力支撑。6.1全市剩余部门和区县市政务信息资源梳理充分利用市级试点政务部门政务信息资源梳理和编冃已有成果及经验，按照《政务信息资源目录编制指南（试行）》【发改高技（2017）1272号】要求，对一期10个试点部门之外的剩余所有市级部门和2区1县3县级市的业务情况和政务信息资源情况进行全面、深入的摸底调查，理清部门业务数量、业务流程及政务信息资源总量、分布与共享状况，前期采用部门主动编目、挂接数据的模式实现数据归集，形成业务、资源、共享、开放四个层次的资源梳理结果，为政务数据的共享和应用提供支撑。6丄1市级部门资源梳理平台二期将市经信局、市教育局、市科技局（新经济）、市司法局、市财政局、市环保局、纪委组织部、市文旅局、市审计局、市应急局、德阳供电公司、市气象局、市商务局、市公共资源交易中心、市法院、市城管执法局、市农业局、市水利局、市政务和大数据局、德阳天然气公司、市公积金中心纳入市重点数据归集部门。平台二期建设围绕重点部门数据归集规划和建设应用场景，以应用促进数据的归集，同时加大重点部门的数据归集支持力度。平台二期摒弃原有的按部门梳理编冃的方式归集数据。结合政务服务和大数据管理局机会清单专项工作的经验，选取若干涵盖部门范围较广且具有代表性的应用场景，与平台二期同步启动建设。通过政务共享平台支撑应用场景建设，达到各部门数据自动归集至平台的目的，同时减少部门对直接索要数据的抵触。为了将尚未接入市级政务信息资源共享平台的各市级部门和区县市接入进来，完成政务信息资源的归集和共享，新增20个数据采集前置机节点，保障数据资源的顺利共享。6.1.2区县资源梳理平台二期将旌阳区、罗江区、中江县、广汉市、什那市、绵竹市纳入数据归集范围，结合政务服务和大数据管理局机会清单专项工作的经验，根据选取的有代表性的应用场景数据需求，指导各区县梳理需要提供的数据资源目录，同时摸底各区县数据资源情况。对于数据量大的区县，可先行试点配置前置机进行数据交换。6.2数据资源规划与专题库建设6.2.1数据来源平台数据主要来自两个方面，一方面来自各委办局、区县市的业务系统，另一方面来自省平台回流信息。各委办局及省平台回流的信息主要包括行政许可信息、行政许可变更信息、行政处罚信息、行政处罚变更信息、荣誉、表彰信息、登记、备案类信息、法院判决信息、抽查检查信息、年检审信息或定期检验等。（1） 人口专题库主要包括：基本信息、扩展信息和共享应用信息。（2） 法人专题库主要包括：基础信息、扩展信息和法人共享信息。（3） 宏观经济专题库主要包括：宏观经济指标。（4） 信用专题库主要包括：自然人信用专题库、法人信用专题库。（5） 数字档案专题库主要包括：基本信息库、证件资料库、申报材料库以及辅助材料库。6.2.2专题库建设积极利用各部门归集到平台基础库的数据进行清洗、整合后建设人口专题库、法人专题库、宏观经济专题库、信用专题库和数字档案库。人口专题库人口专题库，是通过对来自公安、民政、卫计等部门人口基础信息的清洗、比对，建立以公安部门的人口基础信息为基础其它部门数据为补充、以公民身份证号为唯一索引的统一的、标准的、完整的人口专题数据库。建设内容人口专题库中的内容可分为基本信息、扩展信息和共享应用信息三类。（1） 基本信息：包括公民身份号码、姓名、性别、出生地、出生日期、民族和注销标识。（2） 扩展信息：包括照片、户籍地址、死亡注销信息、居民身份证签发信息、服兵役注销信息和出国注销信息。（3） 共享应用信息：指政府部门、企事业单位和公民个人在工作生活中迫切需要应用的信息，例如从业信息、婚姻信息和纳税信息。共享应用信息来自于公安、劳动、民政等业务系统，并且根据需要可以及时追加。6.2.2.1.2信息来源按照信息来源和信息归属划分，包括公安户籍信息、教育信息、民政信息、人保信息、住房信息、人口统计信息、卫生信息、计生信息、税务信息、住房公积金信息等。考虑德阳的实际情况，本期人口专题库的数据主要以公安数据为主，其他委办局数据为辅。6・2・2・2法人专题库法人专题库，通过对市场监督管理局、财政局、税务局、民政局、人社局、司法局、自然资源和规划局、生态环境居、文广旅局、卫健委、商务局等等部门法人基础信息的清洗、比对，建立以市场监督管理局的法人基础信息为基础其它部门数据为补充、以统一社会信用代码为唯一索引的统一的、标准的、完整的法人专题数据库。建设内容基础信息：企业名称、法定代表人、身份证件号、一般经营项目、成立日期、组织机构代码；扩展信息：各类法人的特有信息及组织机构代码扩展信息，如年检、许可信息等)；法人共享信息：反映自然人的专业属性信息，包括企业注册号、国税纳税人识别号、地税纳税人识别号、住所、邮政编码、联系电话、行业代码、企业类型、前置许可经营项目、登记机关、企业海关注册日期、国税税务登记日期、地税税务登记日期、国税税务登记机关、地税税务登记机关、机构注册类型、组织机构代码、颁证日期、年检情况。信息来源法人专题库主要以法人单位基本信息和法人单位扩展信息为数据轴，并主要从社保缴纳信息、公积金缴纳信息、设立登记信息、年报信息、税务入库信息、税务退库信息、税务申报信息、税务开票信息、税务欠税信息、税务登记信息、变更登记信息、注销登记信息、单位社保信息、组织机构代码信息等信息的进行扩展和统一组织形成数据。考虑德阳实际情况，本期法人专题库法人数据以市场监督管理局全域德阳平台数据为主。6.2.23宏观经济专题库宏观经济专题库，以统计局的数据为纲要，将统计局、财政局、商务局、发改局、经信局、自然资源和规划局、生态环境居等部门取得的在宏观经济指标、调查分析数据和涉及全市全局的业务运行数据进行比对、融合、发现和沉淀，形成全市宏观经济专题库，为宏观经济的指标分析预测、以及宏观经济发展的主要影响参数进行根因分析与判断，为推动经济发展和社会综合管理服务。6.2.2.3.1 建设内容宏观经济专题库以宏观经济指标为数据轴，主要指标包括：地区生产总值(GDP)、规模以上工业增加值、全社会用电量、工业用电量、固定资产投资、社会消费品零售总额、出口总额、实际外商直接投资、财政总收入、一般公共预算收入、税收收入、地方财政支出、金融存款余额、金融贷款余额、居民人均可支配收入、城镇居民人均可支配收入、农村居民人均可支配收入、居民消费价格指数、工业生产者出厂价格指数等指标，从国民经济核算、分行业规模以上工业增加值、规模以上工业增加值、规模以上工业主要产品产量、规模以上工业企业经济效益、电力消费、交通运输和邮政、固定资产投资、工业生产者出厂价格指数、规模以上工业七大产业主营业务收入、各行业固定资产投资、房地产开发和销售、贸易外经、规模以上服务业营业收入、财政收支、金融、市场主体、居民消费价格指数、居民人均可支配收入等多个方面分析国民经济运行指数形成的根因，形成宏观经济专题库。6.2.23.2 信息来源来自统计局、财政局、商务局、发改局、经信局、自然资源和规划局、生态环境居等部门取得的在宏观经济指标、调查分析数据。6・2・2・4信用专题库信用专题库是以社会信用统一代码为核心的公共信用信息数据库，包括法人、自然人的信用信息资源数据库，提供各方用户进行查询和应用。法人信用专题库：以质监、市场监督管理等部门的业务数据为基础，以税务、人社、环保、法院、人行等部门掌握的行政处罚、荣誉、资质等业务数据为扩展，建立以企业名称+统一社会信用代码作为法人的唯一识别码，字号名称+统一社会信用代码作为个体工商户的唯一识别码的法人信用数据库，实现法人信用信息资源的标准化管理。自然人信用专题库：以公安部门的人口信息为基础，以人社、人口计生、民政等部门掌握着自然人有关社会保障、户籍、婚姻、人口等方面信息，其它相关部门掌握着自然人行政处罚、荣誉、纳税等方面信息。财政、司法、卫生等部门掌握着注册会计师、律师、医生等重点涉信人群的执业资格信息，市场监督管理、文广等部门掌握着个体工商户的信息，建立以姓名+证件号码为唯一标识的全市自然人信用数据库，实现自然人信用信息资源的标准化管理。6.2.2.4.1建设内容1、法人信用专题库（1） 基本信息：注册登记备案信息、行政许可信息、认证认可信息、动产抵押登记信息、股权出质登记信息、知识产权出质登记信息、商标注册信息等。（2） 失信信息：税款欠缴信息、社会保险费欠缴信息、失信被执行人信息、行政事业性收费、政府性基金欠缴信息、提供虚假材料信息、违反告知承诺制度信息、行政处罚信息、行政强制信息、责任事故处理信息、被列入企业经营异常名录和严重违法失信名单信息、被监管部门处以行业禁入的信息、未通过法定抽查检查的结果信息。（3）其他信息：荣誉信息、志愿服务、慈善捐赠活动等信息。2、自然人信用专题库（1） 基本信息：身份信息、资格信息。（2） 失信信息：税款欠缴信息、参加国家或本省组织的统一考试作弊的信息、弄虚作假信息、通过注销工商登记逃避行政处罚的企业法定代表人及其主要经营人员信息、失信被执行人信息、提供虚假材料信息、违反告知承诺制度信息、行政处罚信息、行政强制信息、被监管部门处以行业禁入的信息。（3） 其他信息：荣誉信息、志愿服务、慈善捐赠活动等信息。6.2.2A.2信息来源信息主要以全国信用信息共享平台（四川德阳）数据为主，各委办局归集信息为辅。6.2.2.5数字档案库建设推进"互联网+政务服务”工作是党中央、国务院、四川省作出的重大决策部署。四川省建立了全省一体化政务服务平台，将涉及跨层级多部门的事项归并整合、优化改造，为人民群众提供“一网同办服务”，实现“一件事”全流程“最多跑一次”。但由于基础库和电子证照库还在慢慢建设和完善过程中，政务服务需要的数据还不完善，为了疏解群众办事反复提交证明材的群众办事百项堵点的核心问题，进一步优化市本级政务服务审批工作，建设数字档案库，补充和完善的基础政务数据，服务政务服务。数字档案库建设遵循已建成的七大基础数据库的建设标准及规范。本期先以市公安局、人社局、民政局、司法局、交通局、环保局、住建局、检验检疫局、公共资源交易中心、文旅局、城管执法局、卫健委、海关等15个部门为数字档案建设试点，归集上述部门在为群众、企业办理证照过程中提交的辅助材料、证明材料等形成数字档案库。利用数据接口对接、定期推送、共享等形式保障数据的持续更新。部门间通过签订数字档案互认协议方式互认，数字档案库和已建成的电子证照库关联搭配使用，努力实现“只跑一次腿”的政务服务目标；确保“一次提交，多次使用”；通过一次证明材料（如身份证、营业执照、申请材料、辅助材料）采集、数据自动判断上传，各审批科可同时调用，由此实现申报材料“一次递交重复使用”。数字档案库对所归集数据按照数据的类型进行分类存储，规划为多个逻辑数据库，主要有基本信息库、证件资料库、申报材料库以及辅助材料库等。基本信息库存放办理证照的主体，包括个人基本信息、企业基本信息、关联人基本信息、办理事项信息及办理过程的审核信息等；证件资料库存放证照办理过程中需要的证明身份相关的证件材料；申报材料库存放办理证照过程中的办理申请单、申请说明等材料；辅助材料库存放基础信息、证件资料、申报材料之外的所有其他材料。6.3政务大数据基础平台政务大数据基础平台基于hadoop生态体系实现高性能并行框架多元数据的安全集成处理分析管理，具备大数据采集、清洗、转换、存储、计算、分析等能力，支撑海量全类型政务数据的集中存储和整合，为挖掘政务数据价值,实现数据驱动发展打下基础。平台具有高效的数据处理引擎，以界面可视组件化的方式集成了Hadoop生态圈计算存储框架和传统关系型、文件型计算处理框架，支撑各种复杂的数据转换和任务调度流程的高效运行，实现海量数据批处理和高速流处理。平台支持各种结构化、非结构化、半结构化和实时流数据的采集。支持运维数据采集、监控告警分析、系统运维和安全管理等运维功能。6・3・1大数据采集平台承接外部与内部数据交换的一个基础数据平台，主要由实时数据接入服务、离线批量数据接入服务和数据总线服务组成，是整个通用数据摄取平台，可以从各种数据源中提取，转换和加载海量数据。大数据采集平台能够处理日常规划任务需要所有数据摄取，包括作业/任务规划，任务分配，错误处理，状态管理，数据质量检测，数据发布等。6・3・2大数据计算平台大数据计算平台提供离线计算平台、离线SQL计算引擎、实时计算平台、实时批处理平台。大数据离线计算平台提供了MapReduce编程接口，使用MapReduce提供的接口(JavaAPI)编写MapReduce程序处理数据资源存储平台的中的数据。大数据离线SQL引擎提供了一个统一数据分析接口。提供一个跨多个数据存储的单一视图来实现数据分析任务切分。SQL引擎可以对hive、spark等不支持的SQL进行转换，增强SQL支持。对外提供JDBC等多种接口，已有业务可以方便的迁移。提供了元数据支持抽象视图层。实时计算平台基于开源Storm打造主要处理对响应度要求较高的实时流转的数据。实时批处理平台使用SparkStreaming技术实现实时数据的批量处理，支持异构实时数据和离线数据融合计算、异构实时数据和实时数据容和计算、异构实时数据和API接口数据进行融合计算。6・3・3大数据存储平台采用基于HadoopHDFS分布式数据存储架构，提供集成环境下的列式存储，支持每秒百万级实时数据存储，并行扩展，PB级数据存储。6・3・4大数据挖掘与分析平台提供基于海量数据的模型和机器学习分布式计算引擎，内置基于MapReduce或者Spark的基础之上实现的并行化算法包，提供分布式计算引擎，可支撑超大规模数据量的离线模型计算和实时模型计算。6・3・5大数据运维管理平台将所有业务系统中所涉及的网络资源、硬件资源、软件资源、数据库资源等纳入统一的运维监控平台中，并通过消除管理软件的差别，数据采集手段的差别，对各种不同的数据来源实现统一管理、统一规范、统一处理、统一展现，最终实现运维规范化、自动化、智能化的大数据运维管理。6.4政务数据治理系统以数据资产管理为导向，构建完善的数据治理体系，提供数据的清洗、标准化、质量管理、安全管控和生命周期管理等服务，增强数据宏观管控的同时实现数据的精细化管理。系统支持多数据源接入，支持结构化和非结构化数据的清洗、转换、整合，提供任务管理、规则管理、配置化策略、自动化流程和可视化监控等功能，最终实现数据的加工、分类整理和入库储存储，为数据仓库建设和数据服务提供支撑。641数据源管理提供数据源配置功能，支持冃前所有主流的数据源。包括：关系型数据库（关系型数据库、oracle数据库、mysql数据库、sqlServei•数据库、达梦数据库、人大金仓数据库、Gbase南大通用数据库等）、非关系型数据库（hadoopHbase、mongoDB、redis等）、文件（excel、csv、txt^sql等）和服务API（rest服务、webservice服务等）。6・4・2数据抽取数据抽取是指对原始数据进行规范化处理，主要从多媒体文件、文本内容等非结构化、半结构化数据中提取身份、行为、轨迹、关系、位置等信息，形成结构化数据。数据提取主要包括文本信息提取、全文数据结构化提取、多媒体信息提取，利于数据长期存储和使用。多媒体信息提取主要是从图片、语音、视频等多媒体数据提取文字、图片、关键帧等信息。全文数据结构化提取主要是从海量文本数据中提取姓名、身份证号、手机号码等信息。6.4.2.1抽取规则设定提取规则支持全量提取和增量提取两种类型。＞全量提取将数据进行同步处理后，直接读取整个表中的数据作为抽取到的数据。支持周期性全量把数据出去出来，直接全部覆盖（使用“新”数据覆盖“旧”数据）或者走更新逻辑（覆盖前判断下，如果新旧不一致，就更新）。＞增量提取只抽取自上次抽取以来的数据库中要抽取的表中新增或修改的数据。支持抓取某个时刻（更新时间）或者检查点（checkpoint）以后的数据来进行抽取。6.4.2.2增加序列给每一条数据增加序列，序列作为唯一标识，不管数据做任何清洗、转换处理，此序列可以保证数据的追踪溯源。6.4.23增加常量给每条数据增加常量，例如：数据来源单位、数据处理标识等，更方便的保证数据的溯性。6.4.2.4加载策略设定数据加载支持全量加载和增量加载两种类型。＞全量加载周期性全量把数据加载至原始库。全量加载将目标表全部删除，然后将加工完成的数据插入目录表中。＞增量加载增量加载是向目标表中追加不同的日期的数据。抓取某个时刻（更新时间）或者检查点（checkpoint）把数据加载至原始数据库。6.4.2.5调度策略设定保证数据处理程序能够及时顺利执行，需要设定一些调度触发方式，调度策略支持按照时间周期调度和定期调度两种。＞按照时间周期调度设定数据抽取任务按照天/小时/分/秒进行执行。＞定期调度设定数据抽取任务指定在某个时间执行。643数据清洗数据清洗是对数据进行重新审查和校验的过程，数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据和重复的数据三大类。数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。数据清洗从数据的准确性、完整性、一致性、惟一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一致代码、重复数据等问题。6.43.1过滤规则设定过滤规则设定包括选择字段、选择过滤函数、过滤条件等。6.43.2过滤链设置绑定过滤规则，当过滤链发送true的时候，可以获取符合过滤条件的数据，从而进入下一流程。当过滤链发送false的时候，可以获取不符合过滤条件的数据，从而将这些数据保存至错误库，动态进行反馈。6.43.3一致性检査一致性检查是根据每个变量的合理取值范围和相互关系，检查数据是否合乎要求，发现超出正常范围、逻辑上不合理或者相互矛盾的数据。比如，前面提到“性别”属于“男性”，后面出现“怀孕时间”的答案数字；编码为“独生子女”的个案数据中，出现了“哥哥、姐姐的个数与年龄”的答案数字等等。解决方法：＞使用大数据分析软件，根据数据一致性的规则，分析问题数据，批量后台修改；＞将问题数据导出后，反馈给原始数据生产部门，核对修改；6.43.4残缺数据这一类数据主要是一些应该有的信息缺失，如性别、年龄、电话、区域信息缺失、业务系统中主表与明细表不能匹配等。＞对于这一类数据过滤出来,按缺失的内容分别写入不同Excel文件向原业务系统提交,补全后才写入数据仓库。＞对于性别、出生日期等信息可以根据身份证号码来获取，通过大数据分析自动得出。如性别获取身份证倒数第2位；年龄获取7・14位等。＞通过其它部门提供的数据中，通过大数据分析匹配获取其它部门存在，本部门不存在的数据，系统补齐。6.43.5错误数据这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL的方式挑出来，交给数据拥有部门修正之后再抽取。6.43.6重复数据将重复数据记录的所有字段导出来，反馈给大数据采集平台，让确认确认并整理。644数据转换不同业务系统之间、业务系统与共享数据库保存的数据格式和语义可能都不一致，他们之间交换的数据需要通过数据转换为公共信息信用平台统一的可识别、可处理的数据。数据转换主要实现数据标准化的过程，采集的数据，来自各个行业业务系统，有些数据源没有按照统一的标准规范设计，因此造成数据难以归集。格式转换主要实现按照统一的数据标准和既定的格式转换规则，对数据的整理和格式统一。转换规则：＞基础字段码表转换：证件类型、性别、民族、籍贯、行政区划、派出所；＞没有码表，借用《常住人口》码表，在excel里标记；>其它字段有码表则转，没码表则不转；>有注释代码的字段转码；6.4.4.1字段选择选择业务所需要的数据字段，按照数据标准对数据进行重命名，对字段的长度、精度进行标准化。6.4.4.2数据关联数据关联将数据项与基础数据、知识数据进行基础关联，形成关联关系。如：同一真实身份、虚拟身份、手机硬件特征等的关联。数据的多源性，导致不同来源的数据之间的关系是离散的，需要对离散关系进行匹配或联接，进一步提高数据可用性。数据关联将各委办局填报、省里回流、县区上报等基础数据进行关联，主要包括认证数据关联、地理位置信息关联、用户实名信息关联等。数据关联主要针对数据字典、属性及相关含义的关联。如单位代码和单位名称、和户籍信息关联、手机号和属地关联、区号和行政辖区关联等。6.4.4.3行列转换可以将某列拆分成多行，列转行，对字段的剪切，字段拆分，行转列等。6.4.4.4多字段的混合运算将字段1与字段2对应的值按照规则进行操作，然后赋值字段3。6.4.4.5字段映射建立源数据与目标数据的对应关系，以及更新的映射关系。6.4.4.6复杂条件过滤数据加工过程中使用到的过滤条件包括：IN,NOTIN,LIKE,BETWEEN,),<,>=,<==等。6.4.5加载入库按不同的模式将数据加载至目标库中，保障数据的准确性。

全量加载增量加载增量加载全量加载源表与目标表数据一致全量加载增量加载增量加载全量加载目标表增加了源表的增量.更新了变动的源表与目标表数据一致目标表只增加了源表的增量数据6.4.5.1增量加载指抓取某个时刻(更新时间)或者检查点(checkpoint)以后的数据来进行加载。6.4.S.2全量加载周期性全量把数据进行加载，涉及到删除策略，可以按照指定的字段对历史数据进行删除。6.4.53删除策略按照指定的字段对历史数据进行删除。6・4・5・4调度策略设定保证数据处理程序能够及时顺利执行，需要设定一些调度触发方式，调度策略支持按照时间周期调度和定期调度两种。按照时间周期调度：设定数据抽取任务按照天/小时/分/秒进行执行。定期调度：设定数据抽取任务指定在某个时间执行。6.4.6数据质量管理对数据本身的数据质量进行监控，包括标准数据监控、数据指标监控、数据质量监控，保障进入基础数据库中的基础数据能合乎工作的需要，同时收集其质量基础情况和日常数据运行情况和异常情况，在数据出现较大质量问题时及时发现并报警，同时数据质量报警情况进行汇总、统计和分析，作为今后对数据架构进行评估和优化的依据。647数据规范管理6.4.7.1数据目录管理数据目录管理主要包括目录维护，新增元数据、修改元数据、删除元数据、应用或取消应用元数据等功能。6.4.7.2数据模型管理数据模型管理，主要是为解决架构设计和数据开发的不一致性，是为了约束平台使用者的表名、字段名的规范性，架构师从工具层合理的进行模型分层和统一开发规范，包括两部分，一个是规则配置，另一个是对表名、字段名的定期校验。规则配置：可以配置表名必须由哪几个元素组成，比如表名二数据仓库所属层级+表所属主题+数据更新周期+增量/全量。定期校验：可以对表名、字段名做定期校验，检测出哪些表、哪些字段是不符合要求的，如此平台长期运行下去，依然会处于比较健康的状态。648数据资产管理各部门的数据汇集到数据资源中心，经过体系化治理，完成数据目录、数据标签转化，将数据转化成资产形式进行管理，形成数据地图。数据地图是对整个数据资源中心内的数据进行统一查询、管理的“地图”，汇聚所有数据信息，为数据管理者解决”有哪些数据可用”、”到哪里可以找到数据”的难题，并且提升数据资源的利用率。基本管理血缘关系管理生命周期管理权限管理自动期6平台内存在0議信思.SRW名、宇民施密臬倍患.同时艾捋uae基本管理血缘关系管理生命周期管理权限管理自动期6平台内存在0議信思.SRW名、宇民施密臬倍患.同时艾捋uae感««任务、脚本銅素自硼立血缘关累.实现加铠隐的可査询.可跟空覆自報盘同期《.提禺存储秦続利用效率表级.字段级的权卿5权.亩怦流程.从更嵐靈麻磁塞安全文捋多圾丢类目管理.实现最快时间找到对同步曲甩的Kams-查看与管理silica.鋼际，援作包动记录.实现故翅贵乍嫁迹可査询类目体系管理脏数据管理操作记录管理数据资产管理模块提供对数据实体的管理，可以按照数据资源目录对数据进行按基础库、按主题库、按部门进行分类查找，然后针对不同业务类型的数据可以按照数据主体进行详细检索，如以人为主体、企业为主体、项目为主体或案件为主体等，可以按照主体的属性进行不同维度的查询，直至找出需要查询的某个人、某个企业、某个项目后者某个案件，并可以对该主体的各维度数据进行钻取查看。649数据生命周期管理依据数据的价值，制定不同的管理策略，对不同的数据策略进行管理。对数据进行分类评估，对于运行库中符合历史数据条件的数据历史转移到历史数据库进行保存和管理。历史不接受在应用系统中直接进行修改、删除操作，只对用户提供按表主键的数据查询。管理和数据归档管理对于历史数据库中符合归档条件的数据，通过归档程序，将数据记录转化为文本文件进行归档保存。归档数据不接受任何查询、修改、删除操作，也不再导回到历史数据库中。6.4.10数据地图及血缘分析数据地图用来描述所有数据源之间的关联关系。用于对信用信息种类繁多，格式各异，位于不同业务系统中的数据进行宏观层面的组织，从视角对信用信息进行归并、整理和展现。数据地图能够覆盖数据平台所有相关数据库产品，并且基于这些归集的信息自动生成数据资产之间的血缘关系。支持从表数冃和数据存储量的角度展示数据仓库中变化的动态信息，以直观的图形化进行动态展示。6.4.10.1数据血缘分析数据从源到目的地，经过大量的功能模块的处理和传递，呈现在业务用户面前，很多时候需要对数据的来龙去脉进行分析。例如两个数据报表进行对比，结果差异很大，需要人工核对分析指标的维度信息，分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。又如基础数据表因某种原因需要修改字段时，需要评估其对数仓的影响。数据血缘管理，通过元数据模块以历史事实的方式记录每项数据的来源，处理过程，应用对接情况等，记录了数据表在治理过程中的全链血缘关系，基于这些血缘关系信息，可以轻松的进行影响分析，以数据流向为主线的血缘追溯等功能，从而提升报表信息的可信度，为数据的合规性提供验证手段，帮助业务部门实现信息共享、提升协调工作效率。支持全链的数据血缘分析和展示，可以根据数据库血缘清晰的查看数据在数据源库、数据中心、目标数据库之间的总体流向。当选择了某个特定的数据表之后，就可以展示与该表关联的所有表，而且还可以根据层级进行筛选，并且辅以展示相关的统计信息。数据血缘支持数据表之间的血缘、数据库之间的数据流向血缘、数据处理任务血缘、工作流血缘等明细信息的展示，这些血缘信息记录了数据治理过程中任何一个细微处理环节中导致的数据的变化、流动等情况。同时还支持业务级别的血缘关系，通过业务血缘从业务的角度查看数据表之间的关系，通过数据资产比如表之间的血缘关系来分析和洞察与这些资产关联的术语之间的联系，可以直观的分析出影响冃的应用的业务系统。在展示数据血缘信息时，还可以进一步查看数据表血缘明细信息，例如数据表之间是通过什么处理生成的关系，包括处理的时间、类型、日志等相关信息。6.4.10.2数据血缘应用基于数据血缘信息，用户可以进行相关的元数据应用分析如溯源分析、影响分析、重要程度分析和数据时效性分析等。溯源分析：平台汇集了来自不同渠道的数据，数据来源的可信度、数据质量的可靠性存在隐患，如果这些数据被用于决策和服务，会影响决策的科学性和服务的准确性，甚至导致巨大的后果。因此，需要采用数据溯源技术，对数据的来源进行记录和分析，供后续审核和回溯。数据治理中心的溯源分析功能从某一表出发，寻找该表依赖的上游表，分析该表的数据最初来源来自哪个业务系统或者外部数据库中的某些表，分析数据表在数据处理链条上依赖的其他表。针对支撑应用的数据建立完善的环节溯源机制，一旦支撑的应用因为数据出现问题，可以通过溯源分析模块马上清楚的知道问题出在哪个环节，应该找谁来处理解决，如数据完整性问题、数据更新及时性问题，这个可以定位到共享数据的部门来解决，如数据涉敏涉密问题，这需要数据共享部门和平台双方共同定义解决，如数据访问出错，这可能是需要平台技术来解决，如申请服务的部门不按平台要求调用数据服务，导致服务故障或出错，这就需要服务使用方自行解决。（2） 影响分析：从某一表出发，寻找依赖该表的处理过程或其他表，当某些表发生变化或者需要修改时，评估影响范围，分析出一个数据表对象在数据处理链条上的所有影响。（3） 重要程度分析：数据库表与其他表的关系统计，包括依赖的上游表统计、影响的下游表统计等。（4） 数据时效性分析：检索某个数据项相关的元数据信息，探察该数据最后修改时间，找到和该元素相关的处理过程及其执行时间，对该时间进行分析以决定该数据的时间有效性和真实性。6.4.10.3数据血缘应用流程数据血缘应用的目的是提高数据质量，发现数据共享中存在的数据源头问题，解决源头的数据质量。在数据血缘应用过程中建立疑义、错误信息快速校核机制，使用部门对获取的共享信息有疑义或发现有明显错误的，应及时通过平台反馈，提供部门予以校核。数据血缘应用各方的工作：数据提供方：提供除涉及国家秘密和安全的外的政务活动过程中形成的政务信息资源，明确信息的共享范围和使用用途，对所提供的数据质量负责。对平台反馈的有质量问题的数据进行及时核实和修正。政务信息资源共享交换平台：负责提供数据交换通道，并对数据在数据中心的存储安全负责，同时记录数据来自哪个业务系统或者外部数据库中的哪些些表，以及数据的流向。平台在收到数据使用方反馈或自身在进行数据治理时，发现有质量问题的数据，应将问题数据按照错误数据、残缺数据、重复数据等三大类分别提供给数据提供方，同时敦促数据提供方尽快修正错误，并对修正后的数据重新抽回到平台。数据使用方：使用方从共享平台获取所需数据，同时只能按照明确的使用用途用于本部门履行职责需要，不得直接或以改变数据形式等方式提供给第三方，也不得用于或变相用于其他目的。使用方在使用平台数据的过程中，对获取的共享信息有异议或发现有明显错误的，应及时反馈给平台。6.4.11数据脱敏脱密管理随着政务信息资源共享工作的推进，会产生大量的企业和个人数据汇聚，安全层面的威胁和难题逐步凸显，不敢共享成为严重制约政务信息整合共享工作的关键问题。为了贯彻落实国家相关法律法规要求，对个人及企业敏感隐私数据实现可靠保护，确保政务数据的可共享、可开放、可利用，在数据采集、处理、共享、开放过程中需建立一套完整的数据处理流程及标准，通过自动识别、处理和转换将涉敏数据进行处理，解决敏感数据在共享环节中暴露的泄密风险，实现该部分高价值数据的共享及对外开放，为数据价值释放提供支撑。脱敏系统主要任务是将数据按标准化工作流程进行政府及机构部门数据的加工以及脱敏脱密处理。设定脱密字段，按照脱敏脱密的规则进行处理。例如：身份证号码在库里面用MD5等算法加密存储，避免明文可视，而展示的时候将生日八位替换成*号，从而保证敏感信息不泄露，也能起到关联索引的目的。6.4.11.1涉敏涉密监控管理1、 涉敏数据识别配置提供可视化配置界面，将数据对象、数据信息项与涉敏规则进行配置，再基于任务调度引擎，完成对涉敏数据的自动识别。2、 涉敏数据任务调度对涉敏数据识别配置的定时监测运行，包括任务调度配置、启动、暂停、停止、任务调度变更、注销、检索、任务日志查看等功能。3、 涉敏数据标识提供讲识别到的涉敏数据进行统一的记录及存储功能。4、 涉敏数据反馈提供涉敏数据反馈到数据提供单位，并进行跟踪记录、催办等功能。5、 涉敏统计分析将涉敏数据份行分类统计，结合时间维度和处理结果进行报告展示或图形化展示的功能6.4.11.2脱敏脱密管理1、 数据标准转换配置将涉敏数据对象、信息项、涉敏规则进行可视化配置，完成自动化标准转换功能。2、 脱敏任务调度对数据标准转换配置的定时监测运行，包括任务调度配置、启动、暂停、停止、任务调度变更、注销、检索、任务日志查看等功能。3、 脱敏处理结果提供对涉敏数据处理情况的统一存储、管理及查看功能。6.4.12调度和监控按照时间周期调度：设定数据抽取任务按照天/小时/分/秒进行执行。定期调度：设定数据抽取任务指定在某个时间执行6.4.13集群管理一个主carte服务器和多个从carte服务器组成的，类似于master-slave结构，不同的是master处理具体任务，只负责任务的分发和收集运行结果。Mastercarte结点收到请求后，把任务分成多个部分交给slavecarte执行，slave执行完毕后把结果交给mater进行汇总，再由mster返回结果。利用分区进一步提升并行计算的性能。6.4.14系统监控系统监控主要包括数据监控、系统日志、定时任务、数据日志、多数据源配置、系统公告、黑名单管理等。6.4.15系统管理系统管理是对共享交换平台系统的维护与管理，一般只针对管理员级别的用户开放，分为操作日志管理、组织机构管理、用户管理、角色管理、功能管理、数据字典、字典管理等。6416数据安全管理建立数据访问操作日志和基础数据库数据手工维护操作日志，并采集基于基础数据库的各应用系统数据使用日志（要求各使用基础数据源的应用系统按标准格式记录对日志并提供采集接口），实现在统一平台上对业务数据使用安全记录的监控和查询统计，并建立业务数据使用安全审计规则库，实现对业务数据使用安全的人工审计。6.5政务信息资源服务系统6・5・1概述对数据资源中心所发布的数据面向多个部门的各种业务应用提供资源配置、资源使用授权管理、资源使用情况监控、服务封装等服务。平台为用户提供服务申请入口和数据的授权审核、调用配置及数据使用监控。根据用户业务的不同，灵活、快速地生成和发布标准遵循JAX-WS和JAX-RS等规范的Service服务，提供高并发访问和请求。提供实时查看数据的申请情况、服务调用情况、数据使用情况等动态统计分析。平台为服务使用部门提供了精准、有针对性的数据服务，为服务管理者建立标准的服务申请■审核■调用配置■服务使用流程，提供了全面合理的服务使用监管机制。从而达到服务使用的流程标准化、服务精准化、风险可预见、过程可监管的服务管理目标。6.5.2资源服务监管流程6.5.3功能6.5.3.1服务封装将数据资源中心的共享数据资源封装为Service服务。系统提供SOAP和REST两种不同形式的webservice,提供服务注册、服务响应缓存、服务访问流量控制、服务会话监控与跟踪等数据支撑。资源管理对数据资源中心的数据进行分类、分层管理，按照使用场景、使用方式进行数据资源注册，建立数据注册机制，实现数据的细分管理与发布。应用审计应用审计主要提供授权管理、调用管理、综合监管和监控预警功