信创大数据项目的数据服务建设方案

项目建设方案一、项目主要内容，方案架构1.1.信息技术应用创新环境的数据治理服务及可视化展示平台研发为有效便捷地采集、汇聚、治理和分析各类政务、企事业单位等涉及工业和经济运行等数据资源，本项目将研发一套基于信息技术应用创新环境的数据治理服务及可视化展示平台，对政府部门的数据自动智能的数据汇聚、融合、治理、共享服务、管理以及可视化展示等，形成有用易用的数据查询、统计、可视化能力，进一步挖掘和发挥数据价值，为领导决策、经济研判等提供信息化工具支撑。1.1.1系统平台主要功能设计序号功能模块功能点1数据标准管理主要包括：标准分类管理、标准创建、质量规则设置、标准维护、标准映射。2数据连接管理主要包括：数据库连接、文件数据源连接、服务数据源连接、数据资产库配置3数据建模管理主要包括：库表建模、文件建模、自助建模、SQL建模4数据更新管理主要包括：更新策略管理、更新任务管理、数据断点续传5数据分类管理主要包括：数据文件夹管理、文件夹权限管理。6元数据管理主要包括：元数据采集、元数据设置、关联映射标准、质量规则管理、元数据展示、元数据搜索。7主数据管理主要包括：主数据定义、主数据查询监测。8数据血缘分析主要包括：血统分析、影响性分析、全链分析。9数据质量管理主要包括：质量规则设置、校验任务管理、质量规则校验、质量监控分析、数据比对处理、问题数据修正。10数据服务管理数据服务发布、数据服务目录、服务订阅申请、服务审批和管理、数据查询与推送、数据服务监控。11数据资产管理平台全景一张图、数据地图。12数据可视化展示、自助查询图形可视化、报表展示、大屏展现。13系统管理用户管理、组织机构管理、角色管理、权限管理、日志管理。1.1.2数据标准管理标准分类管理 提供对数据标准分类管理功能，支持直接在标准分类树上进行标准分类的新增、修改、移动、删除。标准创建 提供数据标准创建功能，包括设置标准名称、所属分类、说明、状态、质量标准等。质量规则设置提供标准的质量规则设置功能，用于设置标准所应用的数据质量规则。能够设置的数据规则具体包括以下四类:1、基础规则：设置标准的基础规则，包括空值校验、唯一性校验、数据长度校验，空格符校验；2、数据格式：设置标准的数据格式要求，包括日期、时间、数值、货币等数据格式；3、数据范围：设置标准的值域范围，支持录入范围和引用表字段范围；4、表达式：通过设置正则表达式来校验标准应用的数据是否合规。提供内置的常用表达式，如身份证表达式，电子邮箱表达式等；支持自定义表达式。标准维护支持对标准内容和状态进行管理，包括查看、修改、删除、改变分类、停用、启用等。标准映射可以将制定的标准与实际数据进行关联映射，以实现数据标准的落地执行。可查看标准所映射的元数据。1.1.3.数据连接管理系统提供数据源连接功能，支持连接丰富的结构各异的数据源，帮助用户进行多样化的数据整合。一次建立数据连接后，便可随时抽取该数据源的数据进行建模、治理和共享服务。数据库连接系统支持可视化配置数据库连接，并进行连接测试。支持连接的数据库包括：MySQL、达梦等主流关系数据库；HadoopHive等大数据平台；Redis等NOSQL数据库；Greenplum等MPP数据库；BW等多维数据库。文件数据源连接系统支持批量导入EXCEL、TXT、CSV等文件数据源，支持百万级数据一次性导入和分批追加。服务数据源连接系统支持连接Webservice、JSON等服务数据源。数据资产库配置系统支持一键将达梦等国产数据库连接配置为数据存储和治理的数据资产库，数据资产库原有的数据资产可被系统自动识别并归入数据文件夹中进行可视化管理。1.1.4数据建模管理系统提供可视化方式建立库表数据集、文件数据集、自助数据集、SQL数据集，帮助用户轻松建立满足业务需求的数据模型。库表建模 系统提供可视化方式建立库表数据集，支持一键复制多个数据源的多张数据表结构和数据，实现高效的库表同步。文件建模系统支持根据EXCEL、TXT、CSV等文件格式建立文件数据集，支持数据批量导入和支持数据追加。自助建模系统支持使用图形化拖拽方式建立自助数据集，支持只用一个流程，将多个数据源与数据资产库中的数据聚合为一个模型，并提供字段选择、数据过滤、剪切字符串、行列互转、去除重复记录、值映射、计算器、字符串替换、合并记录等丰富的聚合能力。SQL建模系统提供可视化方式通过自定义SQL灵活建模，支持设置SQL的自定义参数，包括参数名、参数类型和默认值，帮助用户便捷地进行模型调试。1.1.5数据更新管理系统支持灵活设置数据更新策略，实时查看更新状态，遇到故障断点续传，实现高效、稳定、自动化的数据采集交换，大幅度降低耗费的时间和人力成本。更新策略管理系统支持灵活设置数据更新策略，包括时间和范围。更新时间支持定时、手动随时、延时更新三种，定时支持月、周、日、时/分/秒；更新范围支持全量、增量更新，增量默认新增，并可设置是否同步修改、删除。更新任务监控系统支持实时监控数据更新任务的执行进度，支持历史任务查询和出错情况告警。数据断点续传系统提供断点续传能力，在由于网络中断、服务器意外停机等不可预测情况下，能够保证设备和网络恢复后数据同步不丢失。1.1.6数据分类管理文件夹管理 系统支持数据文件夹功能，支持以文件夹形式对数据进行分类管理，支持文件夹分组，支持文件夹的新增、移动、删除等操作，支持在文件夹中直接查看所包含的数据集的结构和数据内容，支持对数据集中的字段进行重名命。文件夹权限管理 可以按照用户角色分配文件夹数据权限，保障数据安全。1.1.7元数据管理元数据采集能够适应异构环境，支持对完成数据连接的数据源，以自动化方式采集从数据产生系统到数据资产库到数据共享系统中的元数据，包括过程中的数据实体（库、表、字段的描述）以及数据实体加工处理过程中的逻辑。元数据设置能够对数据资产库中的字段元数据进行管理，支持元数据命名、元数据描述。质量规则管理能够基于数据标准的质量规则，设置元数据个性化的数据质量规则。关联映射标准可以将字段元数据与制定的标准进行关联映射，以实现数据标准的落地执行。提供数据标准在线映射配置功能，维护数据标准（含数据质量规则）与元数据之间的落地映射关系，并能对映射结果进行查看和管理。元数据搜索可根据数据存放位置、元数据名称等检索元数据信息。1.1.8主数据管理 主数据定义系统支持将经过治理的数据模型定义为主数据表，以便于对主数据进行跟踪管理。主数据查询监测可通过多种条件查询主数据，并跟踪主数据的质量和共享服务情况。1.1.9数据血缘分析血统分析 血统分析是数据生命周期管理的关键环节，包括数据起源以及到当前位置完整路径描述，帮助用户分析信息的使过程并且追溯在每一个节点上的特定用途。系统提供图形化方式追溯数据的来源，支持从字段、表两个层面分析数据血统。影响性分析 影响性分析是指找出引用待分析对象的所有资源，帮助用户在某些数据发生变化或者需要修改时评估其影响范围。系统提供图形化方式跟踪数据的去向，支持从字段、表两个层面分析数据影响性。全链分析 能够以图形化方式对分析对象的来源和去向进行全路径展现分析，帮助用户追溯数据来源，评估变化影响范围。支持从字段、表两个层面进行全链分析。1.1.10数据质量管理 数据质量管理系统从数据使用角度监控管理数据的质量，其主要特点是自动化智能化，用户设置质量规则和校验任务后，系统可自动根据规则对数据进行检验，定期输出数据质量分析报告，准确定位问题数据，并通过血缘关系追朔问题源头，帮助用户从源头上解决数据问题，提升数据质量。质量规则设置提供质量规则设置功能，用于设置标准所应用的数据质量规则。具体功能见数据标准中的质量规则设置。质量规则校验提供对所关注的数据执行数据质量规则的校验任务。校验项目包括数据格式校验、数据范围校验、表达式校验、完整性校验、唯一性校验等。校验任务管理提供对校验任务调度管理功能，指定校验任务周期执行。质量监控分析对质量规则校验的结果进行监控和分析，校验结果能够准确定位到数据项。数据比对处理支持通过图形化拖拽的方式设置数据比对处理流程，实现流程化、自动化方式进行数据比对分析和处理，支持动态查看每个处理步骤的输出结果。问题数据修正支持通过可视化方式直接操作修改发现的问题数据，无需编写程序。1.1.11.数据服务管理数据服务管理系统提供对数据共享服务的统一管理，包括企业内部数据共享和外部数据流通，通过构建数据服务目录、授权数据服务等手段实现数据共享服务，有效完整的记录数据服务信息，形成数据服务统计，展示数据服务的价值。数据服务发布数据提供方可以将治理后的合规数据根据企业的数据服务分类要求进行分类，并发布到数据服务目录中，以便数据消费方查看和获取数据。发布时可以设置数据共享的类型（无条件共享、有条件共享、不予共享）、方式（数据推送、数据查询），并对数据字段和记录进行过滤。数据服务目录通过目录形式呈现发布的各类数据服务资源，数据消费方能够查看、查询各个条目数据的内容、提供方、共享类型、共享方式、更新周期等属性。目录管理人员可以按照业务要求和企业标准，自定义构建数据服务的分类。用户在查看服务目录资源时，系统会根据用户的权限确定用户可以执行的操作，阻止非法操作，并且会根据目录条目中资源过滤规则过滤用户可以访问和获取的数据，确保数据共享安全。服务订阅申请提供服务订阅申请功能，数据消费方在数据服务目录中找到需要的数据后，可以提出使用订阅申请，审批通过后方可获取数据。服务审批和管理提供服务授权审批功能，数据提供方可以对数据服务使用申请进行审批，授权的用户可以获取数据使用。提供服务管理功能，可以查看服务状态，并对服务进行停止/启用操作。数据查询与推送实现数据对外查询和推送服务，前者用于在其他系统发出针对数据实时响应类查询请求时，返回所需数据，后者则用于提供批量数据推送服务。查询服务支持WebService、http两种主流服务接口。数据服务监控提供服务监控功能，动态展现各项数据服务的有效性、订阅部门、访问次数、共享方式、对接系统等；支持对各用户订阅的服务进行管控。1.1.12数据资产管理系统一图动态展现平台全景，帮助用户实时掌握平台数据架构和单位核心数据资产状况。展现内容包括接入系统情况、数据资产库情况、数据分组分类情况，以及数据总量、采集量、共享量等关键运营指标。1.1.13系统管理系统提供用户、组织机构、角色、权限、日志管理等功能。用户管理系统管理员可对各部门人员信息进行新增、修改、删除、密码重置、启用和禁用、查询等功能。用户信息包括用户账号、密码、姓名、电话、邮箱、所在部门等。组织机构管理系统管理员可对各部门的信息进行维护，包括新增、修改、删除、查询、部门用户查看和调整部门之间的层级结构。角色管理系统管理员可对系统角色信息进行维护，包括新增、修改、删除、查询，以及设置角色和用户的对应关系。角色信息包括角色名称、角色描述等。用户与角色可以是多对多关系。权限管理提供用户/角色授权管理功能，通过将功能访问权限与用户/角色绑定，实现对用户/角色的授权管理。日志管理日志可记录系统运行、用户操作行为等信息，如用户登录信息、系统管理员操作记录、系统异常等。同时也可记录数据资源使用频度信息，以支撑今后数据应用状态的分析和数据搜索结果的展示。系统管理员可根据日期、类型查询日志信息。日志信息包括发生时间、事件描述、操作人等。系统管理员可将日志信息导出并生成指定格式的文件到指定位置。1.1.14数据可视化展示业务人员可以通过可视化方式自助进行数据查询、生成可视化图形、以及制作报表，同时支持信息量集中、炫酷的大屏展示，为单位领导提供决策支持服务。1.2数据治理服务及可视化展示平台运行支撑环境搭建为满足数据治理服务及可视化展示平台运行和支撑需要，建立运行支撑平台，以满足系统平台建设目标，达到系统开发、推广应用的环境要求。主要包括采购一批基于信息技术应用创新环境的基础软硬件设备，系统架构如下：1.2.1接口提供至少1个千兆以太网口。提供的USB接口数量≥6，至少包括USB2.0、USB3.0接口。机箱机箱前置面板要求至少包括：开机键、重启键、2个或以上USB接口、音源输入、音源输出、麦克风接口等。附件电源线缆应配置≥1.5米、HDMI线缆应配置≥1.5米。含一套有线USB键盘、鼠标二、产品的技术架构，适配情况和适配计划2.1产品技术架构数据治理服务及可视化展示平台提供了数据汇聚、数据融合、数据治理、数据服务、可视化展示和数据资产管理六大能力。数据汇聚实现将各业务系统的数据归集到数据中心；数据融合支持根据业务需求建立数据模型并实现数据的加工处理；数据治理用于消除数据噪音，提升数据质量；数据服务基于数据服务目录为各部门、各业务系统提供数据共享服务，并通过数据开放门户为企业/市民提供数据公开服务；数据智能分析用于快速构建领导辅助决策、数据统计分析、数据大屏等大数据应用；资产管理基于数据资产目录实现对数据资产的动态追踪盘点，具体产品技术架构如下图：2.3适配情况和适配计划本项目的数据治理服务及可视化展示平台完全基于信息技术应用创新环境开发，主要兼容市场主流国产CPU：龙芯、飞腾、鲲鹏、兆芯、申威等；主要兼容的操作系统包括：统信UOS、中标麒麟、银河麒麟、新支点等。三、产品开发、迭代、升级、服务等技术路线及其创新性、先进性分析，实现的技术、机制、环境保障分析，达到的主要性能等目标3.1产品开发、迭代、升级、服务的技术路线3.1.1微服务架构微服务架构（MicroserviceArchitecture）是一种使用一套小服务来开发单个应用的方式途径，每个服务运行在自己的进程中，并使用轻量级机制通信，通常是HTTPAPI，这些服务基于业务能力构建，并能够通过自动化部署机制来独立部署，这些服务使用不同的编程语言实现，以及不同数据存储技术，并保持最低限度的集中式管理。微服务架构的优点主要包括：高解耦可扩展性强，提升业务敏捷性，不受限于任何技术栈。微服务的基本思想在于考虑围绕着业务领域组件来创建应用，这些应用可独立地进行开发、管理和加速。在分散的组件中使用微服务云架构和平台，使部署、管理和服务功能交付变得更加简单。3.1.2大数据技术根据政府数据业务特点，以及普遍建设需求，在软件系统设计时应用了包括数据汇聚、数据融合、数据治理、数据服务、数据可视化、数据分析等的大数据技术，使系统具备对结构化数据、半结构化数据的采集能力，对海量数据的各种加工处理能力，多种方式的数据共享服务能力，以及对数据的可视化展示和自助分析等能力。3.1.3B/S架构本项目软件系统采用以Browser（浏览器）为核心的客户端程序，实现了真正意义上的“零维护”，从而使应用系统的更新、发布和维护更为容易。3.1.4JavaEE5规范本项目软件系统是政府的关键IT系统，要避免被特定的硬件平台或者系统软件平台所绑定，需要遵循JavaEE5规范，保障平台的开发与平台的环境无关；遵循J2EE规范框架可以提高开发效率和提升系统的稳定性，能够满足系统开放性和跨平台的要求；而且拥有较高的安全性，实现安全的整合和安全数据交换、数据共享。3.1.5组件化设计组件是具有某种特定功能的软件模块，以其较高的可重用性产生了一种崭新的软件设计思路。通过开发不同的可重复使用的组件、接口和构件，实现分布式应用程序的快速开发，应用模块间相对独立，接口清晰，内部的业务流程升级和改造与其他模块无关。组件技术是迄今为止最优秀也是发展最快的一种软件重用技术，它比较彻底地解决了软件开发中存在的重用性、适应性差和周期长等问题。 3.2技术创新性本项目数据治理服务及可视化展示平台是国内率先推出符合信创标准的数据治理服务及展示类平台产品，是基于信息技术应用创新环境和大数据技术全新打造，集数据采集、融合、治理、服务、管理、可视化展示为一体的旗舰平台。数据治理服务及可视化展示平台将帮助政府部门在保障信息安全的前提下落地“大平台+小应用”的信息化战略，通过平台沉淀公共数据和数据治理服务能力，打通烟囱式应用，让应用回归业务，达到数据增值、应用增效、业务赋能、技术降本的目标。数据治理服务及可视化展示平台的应用是落实习近平总书记“加快完善数字基础设施，推进数据资源整合和开放共享”指示精神的重要举措，标志着我国在数据资产开发、管理领域的理念和技术取得了新的进步。3.3技术先进性3.3.1及时获取正确数据在定位上，平台定位为提供公共数据服务的航母，打破传统的应用系统各自为政提供数据服务的模式，将平台既有的公共能力优势与应用的敏捷业务优势相结合，为用户业务及时提供高质量数据。3.3.2自动智能在运营上，平台以自动化、智能化运营为主，可实现数据调度、加工、稽核与服务，并提供独特的运营看板，帮助用户实时掌握数据运营的最新态势。3.3.3使用简单在使用上，平台一举改变了过去传统的业务部门提需求、技术部门处理数据的模式，各部门无需编程便可进行数据的自助加工、质量管控和共享交换，让数据门槛更低、业务响应更快的同时，为用户带来前所未有的便捷体验。3.4主要性能指标1、平台支持数据推送、