数据交换平台的设计方案

数据交换平台的设计方案，架构方案，总体建设思路整体解决方案

目录

2

平台简介

功能介绍

典型案例

三

二

一

平台简介

3总体目标：提供企业级复杂环境下异构信息系统间数据共享、集成、融合的整体解决方案

总部

子公司

系统B…

系统A子公司

系统B…

系统A…

子公司

系统B…

系统A1.系统间文件传输

2.数据库数据抽取、转换、装载

3.系统间高频消息通信

4.数据库准实时同步复制

5.应用接口服务注册、转换、编排、管理

平台简介

4海迅数据交换平台简介

海迅数据交换平台（HSP-EXG）旨在提供复杂环境下、异构系统间企业数据孤岛问题的一体化解决方案。平台集合了业内主流的数据交换产品功能，提供ETL、ESB、MQ、文件传输、数据库同步复制等产品的整体功能实现，各组件能够按照需求组合或裁剪，从而一次性满足中大型企业各类型数据集成共享需求，并进行统一的数据交换监测与管理。平台主要包括五大子系统：

批量数据总线子系统（HSP-EXG-ETL）作为中间件实现将数据从源端经过抽取、转换、加载至目的端，主要提供系统间基于文件的交换功能以及数据库间的批量数据交换功能。支持TB级文件交换，GB级数据库数据交换。

即时数据总线子系统（HSP-EXG-MQ）实现了满足JMS1.1规范面向系统间消息型数据交换的中间件，用于在应用程序之间或分布式系统中互发消息，进行高效异步通信，一般用作企业级数据集成通信总线。支持30000条/秒的高频度点对点、一对多消息通信。

数据库同步复制子系统（HSP-EXG-Sync）实现基于数据库日志的同步复制功能，主要用于oracle数据库的主备式灾备、读写分离、数据迁移。系统保障数据的事务性，支持秒级数据库准实时同步。

服务集成总线子系统（HSP-EXG-ESB）基于SOA思想，实现对企业接口服务的协议转换、注册/发布、编排、管理，帮助企业对繁杂的应用服务接口进行统一标准、分类管理、集成共享。

统一监测子系统（HSP-EXG-MS）对平台各组件提供统一的可视化状态监测、统计分析、告警、报表导出等功能。以全局视图方式展示企业数据集成情况以及数据流向。

SG-UEP一期成果介绍

5上级单位

下级单位

协同办公

…

营销系统

协同办公

…

营销系统

ERPERP数据中心

数据中心

SG-UEPSG-UEP横向数据交换

横向数据交换

纵向数据交换

统一监测

SG-UEP两级部署

批量

消息

同步

服务

批量

消息

同步

服务

典型解决方案

平台简介

6整体功能架构

平台简介

7技术特点

分布式高可靠文件传输；

数据库数据抽取、转换、传输、装载；

基于数据库日志的低延迟、低影响同步复制；

高性能分布式企业级消息中间件；

面向服务的企业级服务集成总线。

客户价值

一体化企业数据交换解决方案；

统一企业业务系统数据交换标准；

简化应用集成技术复杂度；

集中管理与共享企业接口服务资产；

提高企业应用集成共享水平；

目录

8

平台简介

功能介绍

典型案例

三

二

一

功能介绍

91、批量数据总线子系统介绍

批量数据总线子系统（HSP-EXG-ETL）主要实现将批量数据从源端经过抽取、转换、加载至目标端的功能，主要提供系统间基于文件的交换功能以及数据库间的数据交换功能。系统支持对oracle、mysql、db2等主流数据以及excel等常见文件的数据抽取，在交换过程中可以对数据进行合并、拆分、转换、筛选、过滤等处理。批量总线子系统可以单机部署，为局域网第三方应用系统提供批量数据交换服务，也可以随平台进行分布式部署，交换节点部署于企业多个上下级部门，贯穿组网形成通信网络，为企业提供横纵向批量数据交换服务。

应用程序

第三方系统（源端）

数据库

文件

应用程序

第三方系统（目标端）

数据库

文件

交换节点

交换节点

交换节点

批量数据总线（单机/组网）

数据传输

功能介绍

10运行原理

批量数据总线子系统（HSP-EXG-ETL）由引擎节点

、管理服务器、管理工具、集成接口组成，主要完成两大类工作：面向文件的分布式高可靠路由分发传输；面向数据库的数据抽取、转换、传输、装载。

管理服务器对多个引擎节点进行管理，用户通过管理工具连接到管理服务器进行图形化开发管理，管理服务器将用户开发的服务/流程下发到涉及的引擎。引擎分布式部署在不同机器上，他们按照服务/流程信息相互协作对数据在各节点上进行抽取、转换、传输、装载等处理以完成数据交换任务。第三方系统通过平台提供的API、URL、定时调度等方式调用总线上配置好的服务或流程完成数据交换任务。

管理工具

管理工具

管理工具

管理服务器

httpxml引擎/节点

引擎/节点

引擎/节点

第三方系统

集成接口

URL/定时

服务

文件传输

数据库数据抽取

数据清洗、转换、过滤

数据库数据装载

流程编排

功能介绍

11性能

1.单节点最大配置数据交换流程≥2000个；

2.单节点并发交换数≥500；

3.单节点数据吞吐率>40M/秒；

4.结构化数据加工速度>3000行/秒；

5.系统资源平均消耗不大于50%；

6.支持对TB级数据进行数据交换。

以上指标在以下测试环境测得：

服务器（CPU8核2.20GHz；内存48G；64位Windows），网络（1000Mbps），数据库（oracle11g）。

12基于文件的批量数据传输

–

文件、文件夹传输；

–

模糊匹配多文件传输功能；

–

对文件的压缩、加密传输；

–

断点续传功能；

–

数据的完整性检查及差错校验；

–

多任务并发传输；

–

文件变化传输机制（增量传输）；

–

文件传输后删除、备份功能；

–

节点间一对多、多对一传输；

–

同步/异步传输机制；

–

可视化配置与FTP系统集成；

数据整合功能

–

常见数据库数据抽取、装载；

–

动态SQL、变量数据抽取；

–XML/Excel文件数据抽取；

–

数据库表条件路由传输；

–

字段逻辑检查；

–

数学运算支持；

–

字段拆分、合并；

–

数据类型转换；

–

数据内容转换；

–

数据清洗；

–

高效私有格式转换；

–

前置、后置处理；

功能介绍

13调度与管理

–API调度触发交换任务；

–URL调度触发交换任务；

–

管理工具手动触发交换任务；

–

定时调度触发交换任务；

–

图形化开发与配置；

–

数据库接口管理；

–

节点管理；

–

服务/流程管理；

–

状态和过程监控；

功能介绍

14界面效果-节点配置

批量数据总线截图

功能介绍

15界面效果-数据整合

功能介绍

16界面效果-推送服务

功能介绍

17界面效果-流程配置

功能介绍

182、即时消息总线子系统介绍

即时消息总线子系统（HSP-EXG-MQ）实现了满足JMS1.1规范面向消息型数据交换的中间件，用于在应用程序之间或分布式系统中互发消息，支持高达30000条/秒的高效异步通信。本系统一般用作企业级高性能数据集成总线，通信应用不需要知道彼此物理位置使得应用集成实现松耦合，不需要知道彼此间怎样建立通信从而简化应用底层通信复杂度，不需要同时处于运行状态由总线保障消息的可靠到达，不需要在同样的操作系统或网络环境下运行实现跨平台跨系统通信。系统支持一对一、一对多、请求应答三种通信模式，提供了java、c/c++等常见编程语言的API。系统节点可以单机部署，也可以分布式多级部门部署并组网形成横纵向数据交换网络。

功能介绍

应用系统

第三方系统（接收端）

Broker节点

Broker节点

Broker节点

即时消息总线（单机/组网）

数据传输

API第三方系统（发送端）

应用系统

API19运行原理

即时消息总线子系统（HSP-EXG-MQ）由交换节点、监管系统、API组成，实现了满足JMS1.1规范面向系统间消息型数据交换的中间件，旨在为局域网/广域网环境下的应用系统提供高效、稳定、透明路由和安全的企业级消息通信总线，以满足企业异构系统高效数据集成需求。

交换节点可单独部署也可以分布式部署，监管系统统一对个节点进行管理分配队列资源，节点程序根据监管系统的配置进行组网通信与消息路由，第三方系统通过API向指定队列发送消息，符合路由规则的消息将会被路由到其它节点供接收消费。

系统B系统D交换节点a队列1队列2队列2交换节点bAPIAPI级联组网

路由规则

系统AAPI流量控制

流量控制

监管

系统

配置文件

功能介绍

功能介绍

20性能

1.系统非持久化异步消息发送总吞吐≥80000条/s；

2.系统非持久化同步消息发送总吞吐≥40000条/s；

3.系统持久化异步消息发送总吞吐≥40000条/s；

4.系统持久化同步消息发送总吞吐≥20000条/s；

5.单线程非持久化异步消息发送

≥20000条/s；

6.单线程非持久化同步消息发送

≥4000条/s；

7.单线程持久化异步消息发送

≥3000条/s；

8.单线程持久化同步消息发送

≥1500条/s；

9.系统总吞吐量

≥80MB/s。

以上指标在以下测试环境测得：

服务器（CPU8核2.20GHz；内存48G；64位Windows），网络（1000Mbps），消息大小500字符。

21支持的消息类型

–BytesMessage字节流

–ObjectMessage可序列化的对象

–TextMessage字符串

–StreamMessage原始数据流

–MapMessagekey/value映射map消息交互功能

–

点对点模式

–

发布/订阅模式

–

持久化/非持久化

–

同步发送（可靠性高）

–

异步发送（吞吐量大）

–

请求应答（应用层同步）

–

事务支持

–

安全认证

–

多消费者负载

–

消息分组

–

消息过滤

–

消费者优先级设置

增强特性

–

广域网多节点级联组网

–

消息路由透明通信

–

流量控制防阻塞

–

分布式统一监管

–

统一授权

–

资源监测

即时消息总线功能

功能介绍

业务应用服务器

223、同步复制子系统介绍

同步复制子系统（HSP-EXG-Sync）实现了基于oracle数据库日志解析的低延迟、非侵入式同步复制功能，当源库发生变化时系统将通过解析数据库日志（而不是访问数据库，对源数据库性能影响小）识别变化并将变化同步到目标库，从而实现oracle数据库的秒级同步复制。系统保证数据的事务性，支持全量、增量同步方式，主要用于灾难情况下的数据库准实时备份、高压力情况下数据库的读写分离/负载均衡、以及数据共享数据分析的数据同步。系统源端支持oracle数据库，目标端支持oracle、mysql、db2等常见数据库。

功能介绍

应用程序

业务数据库服务器

灾备数据库服务器

oracle常见数据库

复制节点

复制节点

业务应用服务器

应用程序A业务数据库服务器

灾备数据库服务器

oracle常见数据库

复制节点

复制节点

应用程序B写

读

233、同步复制子系统介绍

同步复制子系统（HSP-EXG-Sync）实现了基于数据库日志的低延迟、低影响、高效率的同步复制功能，可准实时完成数据库灾备、读写分离。

数据库使用本系统建立复制关系后，系统日志分析进程将实时对数据库日志进行监听、解析，当业务系统对源数据库进行操作后，日志分析进程识别出需要复制的数据进行临时存储为jsonfile，然后调用发送进程将数据传输到目标端，目标端接收到数据后进行适当处理装载到目标库。

功能介绍

24系统功能

–

基于数据库日志解析

–

多任务并发复制

–

断点续传

–

数据加密安全传输

–

缓存队列传输

–

并发多线程装载

–

异构数据库DML装载

–

支持分布式数据库

–

保证数据库事务一致性

–

支持JDBC装载

–

支持常见主流操作系统

业务功能

–

数据库读写分离

–

数据库双向同步

–

数据库数据分发

–

数据库级联同步

–

常见数据库支持

–

数据过滤

–

全量同步复制

–

增量同步复制

–

准实时同步复制

–

对源库低影响

–

准实时同步复制

–

可视化监测

同步复制子系统功能

功能介绍

25常见实施方案

功能介绍

264、服务集成总线子系统介绍

服务集成总线（HSP-EXG-ESB）作为企业网络中最基本的连接中枢，是构筑企业神经系统、提高企业服务重用性的必要元素。基于SOA思想，实现对企业接口服务的协议转换、注册/发布、编排、管理、标准化，帮助企业对繁杂的应用服务接口进行标准化与重用、分类管理、集成共享。采用“总线”模式管理和简化应用之间的集成拓扑结构，以广为接受的开放标准为基础来支持应用之间在事件和服务级别上动态的互连互通，是一种在松散耦合的服务和应用之间标准的集成方式。系统可以单套部署，也可以在企业上下级进行跨地域分布式组网部署，互联互通。

功能介绍

服务集成总线

服务注册/发布

协议转换

服务编排

服务管理

服务质量监测

业务系统1发布服务

业务系统2发布服务

业务系统3发布服务

…

业务系统n发布服务

业务系统A消费服务

服务查询

业务系统B消费服务

业务系统C消费服务

业务系统x消费服务

…

服务集成总线

级联

27运行原理

服务集成总线（HSP-EXG-ESB）提供了级联式基于服务调用的接口服务集成平台，主要提供了服务注册、服务编排、协议接入/接出、协议转换、服务转换、服务路由等功能。服务集成总线采用SOA松耦合的思想来进行企业服务的集成，通过灵活的服务接口和适配器方便不同协议、不同报文格式的应用接口的集成，并提供松耦合、效灵活的设计架构，方便未来系统接口的扩展。

功能介绍

业务系统1业务系统n服务集成总线

httpjmssocket其他

httpjmssocket其他

协议接出

协议接入

协议转换

服务路由

服务转换

SOAPJSONXMLtxtHessianHL7其他

服务注册

156调用对应服务

服务消费者

2服务请求

3服务注册

1可视化开发、管理、监测

业务系统2服务注册

1…

28服务集成

服务管理

服务运行监控

?协议适配（接出/接入）

?协议转换

?JMS?HTTP?Webservice?UDP/TPC?…

?服务转换

?服务编排

?服务路由

?静态路由

?动态路由

?服务级联

?服务异常处理

?服务注册

?服务目录管理与服务查询

?服务访问权限控制

?服务访问流量控制

服务器管理

?服务部署

?服务器管理

?集群管理

?服务运行统计

?服务运行查询

?接口运行诊断（服务运行耗时排名）

?接口运行检索（拦截查看请求响应报文）

?服务日志分析

功能介绍

功能介绍

29性能

1.Http协议穿透代理事务数≥14000次/s，响应时间≤0.005s；

2.WebService协议穿透代理事务数≥7000次/s，响应时间≤0.03s；

3.JMS协议穿透代理事务数≥20000次/s，响应时间≤0.007s；

4.http与WebService协议转换处理事务数≥7000次/s，响应时间≤0.04s；

5.http转jms协议转换处理事务数≥11000次/s，响应时间≤0.02s；

6.WebServicee转jms协议转换处理事务数≥11000次/s，响应时间≤0.02s。

以上指标在以下测试环境测得：

服务器（CPU8核2.20GHz；内存48G；64位Windows），网络（1000Mbps），用例300并发。

30业务场景-服务注册

30在线工具

Excel模板生成

权限管理

系统权限

应用权限

运行统计

统计综合查询

软件资产管理

接口注册管理

系统IP地址管理

资产审计管理

上线部署管理

资产管

理者

资产

提供者

资产

调用者

用户通过服务注册功能对企业接口服务、数据模型等软件资产通过一定的管理流程进行集中管理

软件服务资产的注册管理在SOA体系下至关重要，其中接口服务资产的集中管控使得“资产状况透明化”从而有效支撑集成架构的部署价值

调用关系管理

软件资产统计管理

部署管理

变更历史查询

注册审计

报文审计

调用审计

审计任务管理

接口运行统计

接口运行诊断

接口运行检索

Excel格式校验

在线比对工具

功能介绍

31业务场景-服务编排

提供图形化的服务编排设计工具，可以可视化的配置服务调用、处理等过程，从而更容易完成服务的编排，利用已有服务接口编排产生符合需求的新服务接口。

?动态消息路由

?异常处理机制

?复杂业务运算

?垃圾消息过滤

功能介绍

325、统一监测子系统介绍

统一监测子系统

批量数据总线子系统

即时数据总线子系统

数据库同步复制子系统

服务集成总线子系统

采集器

采集器

采集器

采集器

数据收集

统计分析

数据存储

报表生成

图形化展示

远程连接

统一监测子系统（HSP-EXG-MS）实现了对海迅数据交换平台各子系统的远程运行数据采集、运行状态分析、图形化展示、报表生成、异常告警等功能，能够直观的展现平台各子系统的运行状况、业务系统交换关系、交换数据量等，为企业针对数据交换、服务集成、数据库同步复制提供了统一的监测管理实现。

告警

功能介绍

33系统管理

–

分级授权

–

三权分立控制

–

告警配置

统一监控与全景展示

–

系统基本信息采集

–

全局分析概况

–

地图动态信息

–

服务器集中监测展示

–

服务器资源监测

–

节点信息监测

–

组件运行情况监测

–

日志查询

–

告警功能

–

报表导出

–

异常告警

智能分析

–

峰值分析

–

接入信息统计

–

交换数据量/频度统计

–

系统热度统计

–

系统健康度分析

–

关联度分析

统一监测子系统功能

功能介绍

34统一监测-全局监测

功能介绍

35统一监测-资源监测

功能介绍

36统一监测-远程配置查看

功能介绍

37统一监测-远程日志分析

功能介绍

目录

38

平台简介

功能介绍

典型案例

三

二

一

典型案例

业务系统

ODSODSDXPDXP营销

协同办公

…

营销

协同办公

…

总部

省(市)WS/HTTPWS/HTTP业务系统

企业服务总线

企业服务总线

123BWETL平台

DB连接

DB连接

ETL平台

GIS非结构化平台

GIS非结构化平台

5WebServiceWebService海量平台

海量平台

416OGGQueueERPBWABAPERPBWABAP国家电网公司统一数据交换

1、公司业务系统庞多，公司跨地域子公司较多，业务系统分布在不同地理位置；

2、业务系统间集成方式繁多，技术实现不统一，缺乏统一设计和管控；

3、缺少基于文件传输的批量数据总线；

4、现有数据交换能力有限；

5、数据集成方式定位不清晰、使用不规范、分工不明确；

6、国产化不足，自主可控能力薄弱；

7、需要一体化的数据交换系统完成业务系统间的集成与共享，并提供统一的管理、控制、分析功能；

40基于数据交换现状，国网启动了统推项目统一数据交换平台项目，主要通过我公司海迅数据交换