第三方数据交换平台方案

江苏省第三方数据交换平台设计说明书文件编号文件编号TH-DEP-TD-01文件状态[]草稿 []正式公布[]正在修改当前版本1.1拟制党辉、蒋烨、朱曙锴、顾小明日期2023-08-03审核党辉日期2023-08-06批准周志敏日期2023-08-09修订历史记录A-M-D-删除变更版本号变更版本号日期变更类型〔A*M*D〕修改人摘要V1.0A党辉、蒋烨20233月假设干争论会意见形成初步技术方案V1.1A朱曙锴、顾小明依据2023724日演示争论会及后续争论会意见对文档进展内容增加V1.13M党辉修改和校订名目777788881012121313142.2.215162.3.217181920212122上下级系统数据共享2222核心软件系统设计原则24自动化数据交换24可定制数据交换24多重方式数据的呈现与利用25数据全生命周期治理25数据字段业务标准2626数据流治理设计27技术架构设计282829SpringFramework29SwimFramework30Piston32领域模型和规律设计3434343742435157637071747577788080818282888890909192979899100101102102103103104104105106106107107108108109110110110引言编写目的依据《江苏地税第三方数据交换平台系统需求思路》以及屡次需求和技术争论37文档，进展下一步的设计和开发工作。背景依据省局《关于托付常州地方税务局开发“第三方数据交换平台工程”的通适应性强的数据交换平台。该平台是支撑税源专业改革模式的重要数据平台，支撑平台。术语与缩写解释缩写、术语缩写、术语ETLETLExtract,transformandload.数据处理的三个环节：抽取、转换与装载。MVCModel,viewandcontroller.一种系统设计的常用模式：模型、视图、掌握器。IOCInversionofcontrol.掌握反转，面对对象设计的一种模式。AOPAspectOrientedProgramming.计的一种方法。RPCRemoteprocedurecall.序调用方式，使得远程程序的调用跟本地程序调用在调用者角度没有差异。参考资料《江苏地税第三方数据交换平台系统需求思路》概要设计平台设计与定位概述ETL〔ExtractTransformLoad〕平台，该平台首先从定义好的第三方数据源抽取〔Extract〕数据，然后经过转换〔Transform〕处理进入平台系统，最终通过肯定的技术手段装载〔Load〕为可以直接应用的数据，如以下图所示。ETL过程图三方数据交换平台是一个专注于数据处理的技术平台，它将供给丰富的数据定制各异的数据导入、加工与应用规章。极大的敏捷性，增加了系统的可使用性。下面的三方数据交换平台示意图比较直观的显示了上述内容。数据流 掌握流数据流掌握流三方数据交换平台用户其它业务信息系统三方数据交换平台用户其它业务信息系统定制数据处理规章实现数据到具体业务的转换其它业务信息系统三方数据交换平台数据导入数据输入输出数据输入输出数据加工数据应用通俗来讲，三方数据交换平台可以视作一个数据加工厂和数据流桥梁。原始〔数据导入〕以后，经过加工过程〔数据加工，成为可以出售的产品〔可以应用的数据。除了数据工厂作用以外，它还是流淌。与现有信息系统的关系三方数据交换平台建设的初衷不是一个孤立的系统，它是为了加工处理数〔〕以及地税内部现存的信息系统，包括大集中系统、风险治理平台等。综合治税这样的或许念平台打下了坚实的根底。地税现有信息系统地税现有信息系统〔大集中、风险平台等〕省市等其它部门信息系统〔国税、工商等〕三方数据交换平台政府公共信息门户网其它信息系统综合治税平台三方数据交换平台关系示意图〔现有系统接口做修改在很多状况下没有太大的可行性，三方数据交换平台将会供给多种形式的数据输入接口和输出接口，这在后续将会具体表达。由于当前需要接入的系统就很多，业务规章也千差万别，将来也可能有更多，通过这些规章的敏捷定制，实现了数据的业务处理。硬件与网络核心硬件和网络核心硬件与网络是指本系统在税务系统内部的硬件与网络局部。从宏观来现互联和安全访问。对于部署在不同地理位置的数据交换平台软硬件系统，称之为节点。从上下分布式网络。外围硬件与网络外围硬件与网络是指和第三方数据源直接有干系的硬件和网络。由于第三方大的敏捷性。关于外围硬件与网络，需要在几个不同的方面加以说明。方数据源主动发起数据通信。能位于第三方数据源，这要看通信由谁发起来打算。网络互联的安全Internet和第三方数据源进展交互，系统可以供给间接的方式，例如对外的Web上传界面，Ftp等，实现数据的采集，采集的数据通过异步方式转移到核心系统内。节点部署说明〔县基于节点的网络部署图在上级机构的系统里进展用户设置和访问权限的设置。2.2.2软件系统Web及应用效劳器软些软件系统依据需求，依据硬件和网络设置进展分布式部署。LinuxLinux相关操作系统版本为主。Oracle系列数据库治理系统来进展构建。TomcatJava应用效劳Ftp效劳器。Web操作掌握系统及数据呈现应用系统组成。Java企业编程所供给的根底技术框架结合换。访问接口。核心软件系统构造核心软件系统构造图如上图所示，以模块化分层的方式表述了数据交换系统的软件架构，从大的换数据库、数据应用接口和数据呈现界面等分层模块。从2.2所述可以知道，软发，除此之外，各个节点的数据交换软件系统在软件架构上是全都的。2.3.2第三方数据源差异很大，存在很大的不确定性，所以就要求系统要支持多种类别的数据源。FTP方式，手工文本。事先商定好的访问规章，去对数据源进展自动访问，实现数据的采集。FTPFTP三方数据源的相关操作人员或自动运行的程序将所需交换的数据按事先商定好FTP效劳器的定时访问，猎取到固定格式的文本数据。据，它文本方式存储。在这一层面，需要确定通信和数据采集的一些根本协议。例如，所要采集数据的格式、频率等。数据接口层数据接口层和第三方数据源示意图本层主要负责对外接口，供给数据库访问程序、FTP数据访问程序，FTP效劳器、WEB操作界面等具体功能来实现和第三方数据源的连接，实现数据的采集。议，实现数据的直接读取。FTP效劳器供给应第三方机构，使其可以依据访问协议，上传本系统所需数据。FTP数据访问程序连接第三方数据源供给的FTP效劳器或者本系统FTP效劳器，依据访问协议，猎取数据并将其解析成可以利用的原始数据。WEB操作界面供给数据导入功能，可以实现格式化数据的导入。测等。传输掌握层传输掌握层示意图传输掌握层是实现自动化数据采集的关键，它依据事先定义好的协议，去自反响和预警。自动数据采集承受监听任务脚本的方式去进展处理。首先，用户通过WEB通信，完成数据的自动化采集。成或者采集过程中发生了特别，传输掌握层都会对此过程进展记录，通过WEB界面把预警信息反响给用户。数据处理层数据处理层示意图数据处理层实现了原始采集数据的存储以及数据的预处理等环节。以及手工匹配。自动匹配建立在关联字段信息全都性上，依据肯定规章进展匹配，通过程序操作后，该局部数据也自动进入比照表。验，实现肯定的容错性，以最大可能来反映数据的准确性。交换数据库交换数据库是交换系统全部数据的存储地，包括系统初始化数据、系统治理的设计。数据呈现界面本层主要实现数据的呈现，包括各种查询分析功能。主要有固定查询、自主换数据质量跟踪监控状况查询、可利用数据信息查询等内容。数据应用接口本层供给编程与非编程数据接口，使得交换系统的最终数据，可以为其它系直接访问方式、FTP文本数据共享、可编程远程接口、人工导出文本等。上下级系统数据共享本系统除了第三方数据交换功能以外，在级别上有省、市、县〔区〕三个级状况等。两种方式。数据交换标准必需通过人工干预才能进展。要确定IP地址、端口、数据库、表〔视图，存储过程等、字段等参数，在用户供给。定义文本格式、csv、excel等。这个还可以连续延长下去，比方自定义格式是怎存储方式等等。制定的数据源或数据存储标准，去建立数据源，包括表的命名、字段的命名、字则可以自定义构建。据的自动化匹配，进展有效数据的筛选与存储。现。核心软件系统设计原则自动化数据交换在数据交换平台的软件体系内，处于最核心的部件是数据交换掌握组件，该组件自动运行在后台，依据既定的标准交换协议对数据交换的各个环节进展监FTP进展交换，但是自动化处WEB操作界面呈现出来。可定制数据交换Web等。流程描述脚本供给应数据交换掌握组件来自动运行。多重方式数据的呈现与利用利用。本系统中，我们将会以两种方式来进展数据的呈现与利用。Web的业务范畴之内的可定制的数据查询与呈现。Web供给基于不同方式的数据查询与呈现接口以供第三方系统或用户来对数据进展FTP安全条件下，依据具体的需求来确定最终承受哪些方式。数据全生命周期治理和操作界面，供具有权限的操作人员去对数据进展掌握和处理。分析查询使用，供给数据交换成果的统计与分析功能。数据字段业务标准满足《数据标准平台》的标准的，字段要通过《数据标准平台》审核。数据存储设计其次是数据库表的设计。由于本系统跨地域、跨部门、跨业务，跨上下级关系，所以要实现数据的采在省级的数据库效劳器中，市级的交换数据存储在市级的数据库效劳器中，县〔区〕级的交换数据存储在县〔区〕级的数据库效劳中。另外，由于要经过数据的ETL，才能得到可以利用的数据，所以在数据库的关于数据表的设计，要包括系统初始化所需的支撑表、权限掌握表以及处于的安全共享与访问。由于本系统涉及到海量数据的处理，所以要充分发挥分布式存储和运算技Oracle数据库治理技术为中心的各项技术手段，来实现数据的安全存储，高效处理。数据流治理设计从宏观方面讲，数据的流向大体有两个方向。它系统进展扩展应用。这在前边根本上已经过阐述。方案可以选择：一种是上级〔下级〕部门的交换数据存储在上级〔下级〕部门的数据库中，给下级〔上级〕部门开发访问权限，依据访问规章，下级〔上级〕部〔下级〔上传〕到下级〔上级〕部门。〔上级〕Web系统通过怎么〔上如何，也不得而知。其次种方式的好处是数据本地存储，这对数据的访问效率以及减轻上级〔下〔上级〕部门，这是需要首要解决的技术问题。择使用。技术架构设计概述HTMLHTMLCSSJquery&JavaScriptAjaxvelocity任务调度引擎规章处理引擎JavabeanJava事务脚本SrpingFrameworkSwimFrameworkPistonFrameworkJEE平台JVM数据库(Oracle)系统架构示意图JEEMVC模式为核心，Web应用程序。在数据库访问层，使用高效的SwimSql映射框架，实现数据的猎取和长久化。在领域规律层，使用SpringWeb2.0技术，以Jquery框架为核心，构建具有良好用户体验的GUI。根底组件SpringFramework【框架描述】SpringRMIwebservice远程调用、以及使用多种方式来将数据长久化SpringSpring框架架构图【框架引用目的】Spring的Core封装包Spring的CoreIoC和依靠注入特性。配置。Spring的AOP封装包SpringAOP封装包供给了符合AOPAlliance标准的面对方面的编程〔aspect-orientedprogramming〕实现，让你可以定义，例如方法拦截器〔method-interceptors〕和切点〔pointcuts，从规律上讲，从而减弱代码的source-level的元数据功能，还可Java数据库操作的事务配置、任务特别监控。Spring中的MVC封装包Spring中的MVC封装包供给了Web应用的Model-View-Controllerwebform之间。SwimFramework【框架描述】SwimJAVASwimJAVA的数据库快速编程O/RsqlJDBC进展了格外轻量级的操JAVA程序员可以便利地使用SQLJDBCJAVA的客户端使用，也可以在Servlet/JSP的Web应用中使用。SWIM框架技术架构图SpringSwim的应用架构图【框架引用目的】第三方数据源的数据库。Swim框架对于JDBC操作是做过很多优化的，兼容主流的数据库类型，具有格外高的数据操作效率。对于动态数据源的处理也是Swim框架的强项，用于应对连接不同的第三方数据源。SwimO/R映射能满足系统领域规律模式的设计。Piston远程数据交换中间件【框架描述】Piston中间件的Java通信、安全的数据传输和编程的透亮性，Piston远程数据交换中间件是必不行少的高性能中间件。Piston工作原理示意图该中间件包含了数据交换的效劳器端组件和客户端组件，它在底层实现不同地理位置的信息系统之间的数据交互和共享。【框架引用缘由】Piston承受自定义通信协议，在二进制流上做了高效的数据压缩。便利的通道。等多种加密手段，确保数据交换的安全。Piston承受类似于数字证书的客户端验证机制，保证数据交换的客户端身份不被伪造。Piston支持多客户端，效劳器端使用java编程语言实现，客户端可以是任何语言实现的组件，只要遵循协议就可。Pistonwebweb掌握台的登录承受了用户名、密码、验证码和数字口令码结合的方sslweb掌握台的安全。领域模型和规律设计概述此局部文档用于说明该平台相关领域规律在技术上的设计，为了便利描述后〔数据导入、数据加工、数据应用〕相关主要领域规律设计、权限设计、数据上传和下发设计等。数据交换、数据加工都涉及到了一个任务的概念。为了更好地掌握、治理这机后任务状态恢复等。不需要使用多种规章了，所以系统对每一种规章都必需有对应的独立的处理过规章处理引擎平台中执行简单的匹配任务。任务调度引擎概述任务调度引擎工作原理图每周星期二晚上11：30，或许仅仅每个月的最终一天执行。一个自动执行而无尝试重执行。1.任务适配器2.任务治理器3.任务驱动核心4.任务线程池。下面我们就分别争论他们的作用。任务适配器务治理器做下一步的处理。任务治理器任务脚本、监控任务线程池、发出特别警告。初始化未完成的任务：在效劳器宕机或者效劳器重启的状况下，JAVA进程的任务信息，自动化地启动全部任务。务驱动核心，由任务驱动核心去驱动一个的任务线程。会具体介绍。Web操作界面的通知，Email的通知等等机制。任务驱动核心务线程。任务线程池在概念上分为内存线程池和外存线程池。先关信息，便于平台程序监控；JAVA规章处理引擎概述数据规章处理引擎是整个数据匹配加工的核心架构。主要由三个局部组成：规章解析器、规章分发器、规章处理器。的规章参数配置界面。哪个规章处理器执行，动态加载对应规章处理器，调用并执行。针对规章描述的不同，程序自动识别匹配加工条件，完成数据匹配加工处理。处理流程图规章分发器规章处理流程图设计原则这套机制的主要特点主要表达在：误。〔具体说明见任务调度引擎说明局部去调用规章处理引擎，无需等待，不耽误操作员进展平台其他功能的操作。承受松耦合的设计原则，在以后的工程维护过程中，规章处理器的实现,规章解析器和规章处理器都承受策略匹配设计原则，增规章时，只需针对规章添加的解析器和处理器，不需要对原有代码构造做任何调整。规章解析器规章解析器示意图式。规章解析器由两个解析局部组成：的规章数据描述。则内容。操作员在页面上设置的规章有各种各样的参数包括表名、字段、字段值等，的数据库条件的，所以我们需要把这些参数先转换成程序可识别的一种描述语XMLJSON两种数据描述格式。规章分发器规章分发器示意图规章处理器去处理这条规章或规章组。规章组。创立规章处理器的实例，来处理这条规章组。规章处理器sql并完成数据处理局部的功能。sqlselect、update、insert语句，然后再依据这些sql语句去查询数据进展匹配。系统核心功能设计概述流程如以下图所示：系统核心功能图系统通过这三个局部，可以到达数据进的来，能加工，出的去的过程。下面针对每个环节作出更加具体的描述。数据导入设计概述【导入方式分类】导入方式分类图导入方式依据数据来源的不同可以分为三种：数据库直连；FTP自动导入；FTP自动导入属于自动导入，只需人为设置一次，之后的周期性任务都可由系统自动完成。【导入流程】全部类型的导入流程如以下图所示：数据导入流程图〔比方第三方数据源操作人员在监控中心会得到相3.3.2节中已经给出具体的解释。或者将多张表在导入环节处理成一张表。数据交换项，完成导入工作。数据库直接导入oracle，sybase，sqlserver，mysql端口，sid，user，password置，设置完成后供给连接测试功能，保证数据库能顺当连通。视图方式、存储过程方式。数据库直连导入类型分类图IP，端口号，数据库类型，表名〔视图名，存储过程名〕导入频率〔天、周、月等〕〔默认显示源的字段名称和类型，假设有数据交换人员可以修改〕数据库直连导入工作原理图FTP导入FTP1.FTP效劳器为外部效劳器；2.FTPFTP效劳器。在系统内部实现上是一样的，都是通FTP效劳器，下载相关数据。这边主要要说的是支持的文件类型，系统预设是如下三种，后续可以扩展，EXCEL、CSV、TXT。FTP方式支持的文件类型图IP，端口号，名目导入频率〔天、周、月、年等〕文本格式〔表头、数据字段名称和类型、分隔符等〕FTP导入工作原理图界面人工上传创立界面人工上传方式的数据交换项后，操作人员可以通过系统供给的webFTP方式的全都，系统预设是如下三种，后续可以扩展，EXCEL、CSV、TXT。界面人工上传方式支持的文件类型图操作人员需要录入如下信息作为数据交换项的属性：文本格式〔表头、数据字段名称和类型、分隔符等〕以下为界面分工上传方式的工作原理图：界面人工上传导入工作原理图数据加工设计自动匹配设计概述数据加工流程示意图一个完整的自动匹配流程由两局部组合完成：前台配置、后台数据处理。置→最终表构造定义→匹配加工规章定义→任务时间→保存。输入匹配数据源表名加载匹配数据源和原始数据表构造信息表构造信息临时保存以便设置规章时调用比照表是指经过加工以后，数据的最终存储表。勾选匹配数据表和原始数据表需要导入进最终数据表的有效字段。对勾选的字段进展统一标准化重定义。配置界面由规章类型规定。字段关系、截取下标设置匹配执行时间和周期后台数据处理：由任务引擎自动完成，检测并触发任务执行，创立规章处理并记录相关日志信息。设计原则数据加工设计原则示意图敏捷性：匹配设计要能够处理各种各样的数据进展比对。通用性：最终表构造定义、规章定义、任务时间设置，变成操作员可配置。安全牢靠性：作员。系统可扩展性：作员只需关心配置参数的设置是否正确。其他调整都在程序内部调整。时效性：信息就可以查看到具体的结果。手工匹配设计概述所以系统需要设计手工匹配把这局部数据利用起来。手工匹配数据需要操作员做大量的人工操作去维护。整个手工匹配流程如图：手工匹配流程图32个步骤由程序自动完成。操作员只需关心规章。系统只会返回给操作员匹配是否成功的操作结果。设计原则程序自动完成。智能学习：系统为手工匹配预留一个固化规章库，每当操作员手工确认一条需要再一次就行手工匹配了。数据加工规章概述原始表字段等于匹配表字段字段值一一对应关系，比方地税根底表中的工商登记号=国土地块信息表中的工商登记号、地税根底表中的企业名称=工商数据表中的企业名称等。原始数据表过滤原始表字段+过滤条件，原始数据中只有一局部数据需要比对，或者某个规章用于这个范围的原始数据。比方原始数据中只需要匹配某个乡镇的数据，=2023、只需要匹配税号是“3204000083”开头等。匹配数据表过滤匹配表字段+过滤条件，原始数据只与匹配表中某局部数据进展匹配。比方效率，可设置匹配表地区=原始表字段等于匹配表字段截取原始表字段=匹配表字段局部，比方地税表中有区号，但是匹配表没有供给区号这个字段，但是匹配表中有个字段是由区号+编号信息组成，就可以使用这条规章截取匹配表的字段提取区号。原始表字段截取等于匹配表字段截取4位代表是地市区号，工商局的数据唯一编610位代表是地市区号，就可以通过这条规章截取税务局唯一编04610位到达数据匹配关系的建立。原始表字段截取等于匹配表字段原始表字段局部=匹配表字段，规章原理等同上述第四条规章截取字段生成字段有乡镇代码字段，乡镇代码字段=地市编号+序号，系统可以依据这条规章截取6位，保存成地市字段。字段翻译在利用比对数据的时候，无法避开遇到以下状况：有数据状态字段的值一般0、1、2、30、1、2这些数值代表什么含义，机构代码代表是具体哪个机构。字段翻译可以通过根底数据字典表查找，把这些字段值翻译成能让人简洁理解的具体说明。补充关联信息字段，把其他表的信息作为一个字段补充道最终数据表中。计算生成字段例如在导入的原始数据〔国土数据〔地税数据〕只有该企业面积单位税额。在数据利用时，操作员很关心该纳税总额〔厂房面积×单位税额，该规章可以自动帮操作员计算出总税额，并保存在最终数据表中，操作员不必导出数据后人工进展计算得到总税额。上述是系统预先定义的加工规章，是保证数据能够正确建立匹配关系的基台的规章库。适用于各种类型的交换工程。然后分别去实现规章定义的解析器和规章处理器。设计原则用于某一个交换工程或者某些特定的交换工程。规章参数值全部由操作员依据具体的交换工程来设置。，也不需要去修改原来的规章构造。数据应用设计概述依据当前需求，数据应用大致可分为：固定查询、单户明细信息查询、文本导出、外部数据库直接推送、dblink数据库直连和程序接口。数据应用方式数据应用方式直接应用间接应用固定查询可定制查询单户明细信息查询文本导出Dblink外部数据库直接推送程序接口数据应用分类图固定查询库字典查询、数据交换项明细查询等。单户明细信息查询的交换数据，便于数据利用人员全面的了解某一户企业的第三方数据状况。文本导出excelcsv文件导出的功能，以供人工使用。外部数据库直接推送推送至指定外部数据库。外部数据库直接推送图权限。Dblink本系统数据库承受Oracle，所以可以对外开放dblink连接，外部系统可以通dblink方式用读取本系统的数据库数据。dblink是定义一个数据库到另一个数据库的路径的对象，dblink允许你查询远程表及执行远程程序。程序接口程序接口主要承受WebService、轻量级RPC等方式。开发完毕后会供给具体API描述文档，便利其他系统调用。WebService接口不管其他系统的WebserviceSOAP来调用它就行。SOAPPOST恳求中，发送到本系统的Web效劳器来。Web效劳器再把这些恳求转发给Webservice恳求处理器。恳求处理器的作用在于，解析收到的SOAP恳求，调用Webservice，然后再生成相SOAP应答。WebSOAP应答的方式WebService调用。WebService应用构造图RPC接口RPC，RemoteProcedureCall，远程过程调用。其他系统作为客户端，向第三流程参考以下图：RPC应用构造图A系统读取本系统数据可以分为如下步骤〔序号为图中显示序号：段供给。A系统可以在各自代码中嵌入。“RPC客户端内核”与“RPC效劳端内核”通信，传达恳求信息。“RPC效劳端内核”调用第三方数据交换平台的数据读取程序。数据读取程序向“RPC效劳端内核”返回数据。“RPC效劳端内核”向“RPC客户端内核”返回数据。“RPC客户端内核”向A系统的调用程序返回数据。数据上传和下发设计概述级平台使用状况统计信息等。始数据或最终比对好的数据。下面分别对数据上传和数据下发作相应的描述。数据上传数据上传示意图括数据利用率、使用状况等信息。这些信息需要定时上传省局节点的。务。在当前网络环境不是很良好或者数据特别的状况下系统会对市局节点的治理员查后尝试连续重上传。数据上传流程图数据下发数据下发方示意图原始数据或最终比对好的数据。市分割数据下发，有市级节点去匹配数据。否有的下发描述公布，这就是一个监听的概念。据给那个市级平台，下发数据如何分割，数据库地址、帐号密码等信息。行。比照数据，数据量比较大。数据下发流程图任务监控治理中心设计义。数据的导入、加工、应用、下发、权限治理等都以数据交换项为宿主。数据交换项示意图在系统中我们关心的数据不同的生命周期〔导入前、导入时、导入后、加工〕可以认为就是数据交换项重要的。点。数据在每个环节都会有对应的用户界面展现，而且可以掌握。分析查询使用，供给数据交换成果的统计与分析功能。交换项的特别状况也会很好的反响。这里所说的特别状况的反响是指后台自息，用户依据系统供给的信息，分析特别的产生缘由，从而去处理特别。系统权限设计对于系统来说，具有很多不同的操作人员，而不同的操作人员对于系统功能流程如以下图所示用户登录流程图必需具有肯定的岗位〔一个或多个，而岗位才拥有具体的权限。系统内置的治理位，并进展权限安排。所谓权限，就是指对系统中某项或多项功能具有操作权。如以下图所示。功能权限关系图对于系统功能的操作，除了在权限上严格设置保证功能的操作安全外，对任追溯，如以下图所示。数据权限设计

权限监控分析图数据权限指的是用户查看数据的权限。数据权限系统我们承受基于岗位和交〔概念包括了一组第界面可以做后续的修改。对应关系如以下图：数据权限关系图据信息。数据标准设计系统》审核。程如以下图所示：数据标准实现流程图字段标准化轻松实现。现有系统集成设计考虑各地当前数据交换方式不同，有些已有自己独立的数据交换系统。更换参考以下图：系统集成方案图如图中所示，对于数据的进入，有两个方案：1.操作人员可以通过本系统常口，以供其他系统用于推送数据。3.3.7中的数据应用中描述的，外部数据。最终是要进入《数据仓库》的。对于进数据仓库可以有四个方案：《数据仓库》调用《第三方数据交换平台》的数据输出接口《第三方数据交换平台》调用《数据仓库》的数据抽取接口〔假设供给〕《第三方数据交换平台》的数据库使用dblink连接《数据仓库送数据《数据仓库》使用dblink连接《第三方数据交换平台》从其拉数据。数据使用反响设计从上面对整个系统的设计可以看出，数据是以数据交换项这个对象作为宿主得知加工好的数据在其他系统的使用状况呢。这局部内容将表达系统是如何实现数据使用反响功能的。针对不同的使用状况我们把数据使用反响功能设计为两种反响机制：1WEB界面填写反响信息WEB界面填写反响信息示意图数据使用方在数据使用过程中，可以通过第三方数据交换平台供给的WEBAPI的状况，纯人工操作的一种方式。2API，以供其他系统调用。API回写反响信息示意图API接口提交使用状况的反响。此种方案需要其他系API的代码，具体文档在本系统开发完毕阶段会供给应使用方。系统功能设计概述在系统功能上，我们把平台分为四局部。的途径，内容，文件格式，频率等可依据实际状况敏捷定制。的过程安排置型自动处理和人工干预处理两局部。导出接口，而涉及到和各种实际业务结合的应用，则不在平台处理范围内。设置等。数据交换局部数据交换局部的功能主要包括自定义交换工程设置，治理和日常监控。数据交换流程数据交换流程示意图交换工程设置包括交换工程的建，编辑以及删除功能：交换工程的建【功能描述】包括：1、交换工程的名称2、交换工程的描述3、交换内容4、信息交换数据源5、数据更范围6、数据更方式7、错误数据处理方式8、交换部门9、数据访问权限【交换工程名称设置】定义交换工程名称，手工录入【交换工程描述】定义交换工程的具体描述，或额外备注，作为交换工程名称的补充，手工录入【交换部门设置】定义交换工程对应的数据交换部门。交换部门在系统设置中进展维护，在设置时进展选择。【交换内容设置】的设置。设置过程中调用地税方数据标准库，如增一个交换字段内容为工商登记在地税方数据标准中未定义，则手工设置以上内容。【交换数据源设置】内容的设置功能。数据源类型分为：数据库直连方式、FTP文件效劳器方式、手工文件导入方式数据库直连方式：等常见数oracleip，端口，sid，user，password等相关工程的设置，设置完成后供给连接测试功能，保证数据库能顺当连通。sql语句，并确定和交换内容的对应规章。FTP文件效劳器方式：FTP效劳器能顺当连通。FTP效劳器连通后，指定交换文件的类型〔txt，tsv，csv，excel...〕和文件名称规章，并确定和交换内容的对应规章。手工文件导入方式：和文件名称规章，并确定和交换内容的对应规章。交换文件格式定义：换文件的格式，如分割符设置，标题行设置，文本字段符号等。【数据更范围设置】定义每次数据更的范围：1、增量更2、全部更据的根底上增，不处理原来已经交换过的数据。空原有的交换数据，再从数据源将全部数据更过来。【数据更方式设置】定义每次数据更的方式：1、增2、关键字段掩盖增方式：即每次数据更都是增，而不管数据与原来数据的关系。关键字段掩盖：也就是启用关键字处理，在处理增量数据的时候，假设遇到仅在数据更范围为增量更时启用。组合方式设置，以适应数据交换的各种状况。【错误数据处理方式设置】时的处理方式：1、无视错误数据，只交换正确局部的数据，并将错误数据在日志中进展记录2、觉察错误就停顿交换，并进展日志记录【数据访问权限设置】定义交换数据的访问权限，分为：1、核心机密数据2、敏感信息数据3、公共数据分别对应不同的数据安全级别和访问权限。〔证数据库端的安全，可以对非公开数据进展加密存储〕【交换工程设置完成】据字典。交换工程的编辑【功能描述】工程的建章节。【说明】更。交换工程的删除【功能描述】将定义好的交换工程删除。【说明】消灭过多的冗余数据，假设需要保存数据，则在操作前先进展数据备份。交换工程调度【功能描述】方式和执行频率。【说明】运行方式分为手动执行和自动执行。选定交换用的数据文件，系统将依据交换工程的设置，进展数据交换。自行执行的开头时间，完毕时间和执行频率〔天，周，月，年等。交换工程的监控数据交换工程的监控，包括总体运行状况一览和工程日志治理。总体运行状况一览【功能描述】运行特别，特别发生时间等。【查询条件】交换工程名称〔可模糊，交换部门，是否启用，运行正常/次运行时间【查询结果】数据交换工程名称，交换部门，是否启用，运行状况〔正常/不正常发生时间，最终运行时间，交换数据记录数，错误数据数量。【说明】查询结果受操作人员权限影响。日志治理【功能描述】缘由。日志治理供给查看，导出，清空等日志治理常用操作。【查询条件】交换工程名称〔可模糊，交换部门，有无错误日志，最终一次运行时间【查询结果】向下钻取可查看具体交换工程的日志。【操作】导出日志，清空日志。【说明】查询结果受操作人员权限影响。数据交换的一些原则数据交换局部的功能以敏捷定义为原则，系统理论上考虑各种状况，并供给并不是由交换系统来打算，而是应当由治理要求来打算。数据加工局部自动匹配和人工干预匹配。在匹配过程中又同时涉及到数据的分类和过滤。数据加工流程数据加工流程示意图自动匹配交换工程查询功能【功能描述】【说明】查询功能是设置加工配置的前置功能，先查询出交换工程列表信息〔包括交进展开头配置功能，已设置规章组的交换工程只能进展修改配置功能。地税方匹配数据源设置【功能描述】加载匹配数据表和原始数据表的数据构造并保存。默认是地税户管清查表。【说明】是匹配的数据源与其他的三方数据进展匹配。定义交换数据最终数据表构造【功能描述】原始数据和匹配数据有哪些字段是有效、可利用。【说明】双方的数据由于原来是保存在不同的部门下，而且不同的部门信息化程度不一定义交换数据匹配规章【功能描述】系列操作形成一个有优先级挨次规章组列表。【说明】原始表字段等于匹配表字段字段值一一对应关系，比方地税根底表中的工商登记号=国土地块信息表中的工商登记号、地税根底表中的企业名称=工商数据表中的企业名称等。原始数据表过滤原始表字段+过滤条件，原始数据中只有一局部数据需要比对，或者某个规章据，乡镇代码=2023是“3204000083”开头等。匹配数据表过滤匹配表字段+过滤条件，原始数据只与匹配表中某局部数据进展匹配。比方处理效率，可设置匹配表地区=原始表字段等于匹配表字段截取原始表字段=匹配表字段局部，比方地税表中有区号，但是匹配表没有供给区号这个字段，但是匹配表中有个字段是由区号+编号信息组成，就可以使用这条规章截取匹配表的字段提取区号。原始表字段截取等于匹配表字段原始表字段局部=匹配表字段，规章原理等同上述第四条规章。可定义一条或多条规章来满足数据的自动匹配关系。如规章一定义地税方登记信息中的工商登记号码=工商原始登记数据的工商登记号码；规章二，工商原始登记数据中的登记号码前6位=320400；规章三 这样一系列规章，规章与规章之间为规律与的关系。这样一套规组在匹配时使用的数据是前面的规章未匹配上的数据。定义交换数据加工规章【功能描述】补全的描述。【说明】加工规章：截取字段生成字段乡镇代码字段，乡镇代码字段=地市编号+序号，系统可以依据这条规章截取6位，保存成地市字段。字段翻译0、1、2、30、1、2这些数值代表什么含义，机构代码代表是具体哪个机构。字段翻译可以补充关联信息字段，把其他表的信息作为一个字段补充道最终数据表中。计算生成字段例如在导入的原始数据〔国土数据，国土数据只有该企业的厂房面积，而匹配数据〔地税数据〕只有该企业面积单位税额。在数据利用时，操作员很关心厂房面积×单位税额并保存在最终数据表中，操作员不必导出数据后人工进展计算得到总税额。设置自动匹配任务【功能描述】为该交换工程的自动匹配任务设置任务启用的时间、周期。【说明】自动匹配任务启用时间准确到小时。处理类型分为一次、每日、每周、每月、每年。修改数据加工配置【功能描述】现。【说明】跳过前面几个步骤直接修改正任务时间。手工匹配交换工程查询【功能描述】工程【说明】〔包括交换工程的根本信息，已匹配上的记录总数、未匹配上的记录总数。操作员选择操作某个交换工程，再针对该交换工程进展手工匹配。未匹配原始数据查询【功能描述】依据条件查询该交换工程全部未成功匹配的数据。【说明】利用的进展手工匹配流程。匹配数据源查询【功能描述】默认查询该交换工程设置的匹配数据源表的全部记录。可依据查询条件，模糊过滤数据。【说明】与这条原始数据匹配的一条匹配数据。手工匹配关系确认【功能描述】系。【说明】依据最终数据表构造信息插入到最终数据表中。加载此交换工程的加工规章，把插入最终数据表这条记录依据加工的数据构造保持全都。个固化关系库，节约手工匹配操作。手工撤销匹配交换工程查询【功能描述】工程【说明】〔包括交换工程的根本信息，已匹配上的记录总数、未匹配上的记录总数。操作员选择操作某个交换工程，再针对该交换工程进展已匹配记录查询。已匹配记录查询【功能描述】依据条件查询该交换工程全部已匹配的原始数据【说明】终数据表信息。由操作员人工审核这条已匹配的记录是否正确。撤销匹配关系【功能描述】〔包括自动匹配和人工匹配时发生匹配错误〕与实际状况不符合，可回退这条数据的状态。数据匹配综合治理自动匹配治理【功能描述】此功能设置交换工程的自动匹配状态。【说明】检查时否应当执行匹配任务。假设不启用则需操作员去手工开启数据匹配任务。交换工程匹配状况概览【功能描述】此功能主要查询交换工程匹配状况的相关信息。【说明】按数据交换工程查询数据匹配的状况一览，如数据是否进展了匹配关系设〔匹配到多少记录，未匹配到多少记录，对匹配到的记录和未匹配到的记录可以进展查询。数据应用局部本局部主要是数据的简洁查询，以及数据输出接口，包含：1、数据字典查询2、交换工程状况查询3、按交换工程的简洁数据查询4、单户明细信息查询5、数据输出接口6、成果展现交换，匹配并分发的数据。数据字典查询【功能描述】主要针对通过交换工程建立的交换数据字典的查询，在数据交换工程建的时以及对应的数据字典。相关人员准时全面把握数据交换的内容细节，为交换数据的治理和利用供给帮助。【查询条件】交换工程名称〔可模糊，交换部门【查询结果】符合条件的交换工程列表，并可向下钻取查询具体交换工程的数据字典。【操作】数据字典导