统一数据交换平台

1、统一数据交换平台,四川赛思特科技有限公司,项目总体概述,统一数据交换平台内核采用AMQ4.1.1，服务器容器完全兼容Tomcat、Weblogic，JAVA虚拟机要求1.5以上版本。客户端目前支持JAVA、C和C+三种协议，是一个高效的、可管理的数据交换平台。,交换平台设计框架图,系统特点,管理方式灵活： 管理模式采用集中和分布式管理相结合，上级节点可以管理和监控下级节点；各级节点也可以管理和监控本节点。 路由可配置： 可以通过复合队列配置多种路由形式，支持一个消息既路由，又不影响侦听的路由模式。 接口封装优化： 对外接口将消息队列的协议和错误处理等复杂细节优化封装，实现消息传输的稳定性最大限

2、度地和业务系统剥离。 跨平台特性： 系统采用java开发，可以兼容主流的软硬件平台以及J2EE中间件，同时也兼容各种主流的数据库产品。,核心交换接口描述,1支持多种数据交换方式 （1）同步请求/回答方式: 适合客户端向服务器端可靠的发送关键数据 （2）异步请求/回答方式: 适合客户端向服务器实时发送非关键数据 （3）对话方式: 适合长时间在客户端和服务器之间相互发送大量数据 （4）广播通知方式: 适合服务器端向多个客户端单向发送消息。 （5）管道方式: 适合多服务器端逐级传送消息，对于区域中心要在实现管道的同时，保存消息队列到数据库中。 （6）队列方式: 适合网络环境较差情况下发送数据发布订阅

3、方式: 适合服务器端向多个客户端单向发送数据。,2数据传输优先权管理和访问路由 数据传输优先权管理是统一数据交换平台提供的另一个核心能力。某一服务请求经常需要比其他服务更高的优先权。例如，同步数据的优先级要比异步数据的优先级高，对大多数需要传输的数据来说，要尽可能的优先满足同步数据的传输。 3大容量数据传输支持（大于1G）,4断点续传 网络中传输数据，网络的短暂中断不可避免，统一数据交换平台通过缓存、存取、数据源管理来保障数据传输的时效性，稳定性，安全性。即使出现网络中断，统一数据交换平台也能在一定范围内保证数据不被丢失，并在网络恢复后，在有硬件支持的情况下可断点续传N小时以前的数据, 对未传

4、输的数据，在保证相关实时数据可靠稳定传输的情况下，根据优先级和不同的策略重新传输，并保证数据传输不重复。,5压缩传输 6生命周期控制 网络中传输数据，网络的短暂中断不可避免，统一数据交换平台通过缓存、存取、数据源管理来保障数据传输的时效性，稳定性，安全性。即使出现网络中断，统一数据交换平台也能在一定范围内保证数据不被丢失，并在网络恢复后，在有硬件支持的情况下可断点续传N小时以前的数据, 对未传输的数据，在保证相关实时数据可靠稳定传输的情况下，根据优先级和不同的策略重新传输，并保证数据传输不重复。,管理功能描述,1. 服务配置管理 设置核心交换接口的各种参数，管理消息队列，保证数据交换平台的灵活

5、性，稳定性和效率性 2.服务管理： 控制数据交换平台的启动停止，并且可以查看信息服务器的状态信息，例如服务器类型，服务器ip，数据库信息，cpu使用率，内存使用率，硬盘剩余空间等等。 3.帐号管理： 系统管理员知对本系统的管理员帐号，进行管理。包括帐号的增删改。,4.实时监控管理，报警： 查看系统运行的状态，查看实时消息队列。 查看各种日志信息，过滤出错日志。 启动报警机制：例如email通知，手机提醒。 5.日志管理： 系统自动记录历史数据传输日志，历史维护日志以及升级日志。提供日志下载的功能。 。 6.信息统计： 信息统计：分类统计数据传输信息 7.集中管理监控： 统一交换平台支持国家中心

6、和区域中心的集中管理以及监控,系统流程图,数据交换平台部署图,使用说明,1.1系统配置 系统配置的功能分为：节点管理、数据库管理、服务管理和报警策略。 1.1.1节点管理 在节点管理里，可以配置本级节点的基本属性及其上级节点的管理信息，作为管理节点，也可以在这个模块中监控下属节点的工作状态，配置其基本节点属性。,1 参数说明 节点管理的参数说明如下表4所示：,表4 节点管理的参数说明,2 配置界面节点管理本地节点管理的配置界面如下图5 和图6 所示：,图5 本地节点管理配置界面1,图6 下级节点视图 在下级节点视图中，可以实时监控所有该节点的下级节点的工作状态。,1.1.2数据库管理 数据库管

7、理模块配置持久化消息的存储格式，系统运行后更改其参数，会造成队列中已有的消息丢失。 1. 参数说明 数据库管理参数表如下表5 所示：,表5 数据库管理参数表,数据库配置界面如下图7 所示：,2 配置界面数据管理,图7 数据库配置界面 不同类型的数据库，其配置参数不同，图上所示为Oracle的标准JDBC配置参数。,1.1.3服务管理 服务管理是系统配置的核心部分，每一个节点可以配置多个服务；每一个服务可以配置多个连接方式和相应队列。 1. 参数说明 服务管理的参数说明如下表6 所示：,表6 服务管理参数表 在基本参数中可设置服务的名称，是否持久化，数据源名称，数据路径等参数，输入后点击“添加”

8、即可添加新的服务，也可点击“修改”保存修改的服务。,服务管理配置界面如下图8 所示,图8 服务管理配置界面,2. 配置界面服务管理,在服务管理界面可以对本节点以及下属节点的服务进行管理和监控。针对一个节点，可以新建、修改、删除某一个服务。 对于某一个节点里具体的某项服务内容，点击该服务名内容可以设定该服务名的参数。这些参数包括:基本参数、传输设置、物理队列、复合队列、路由设置、队列策略。 需选中服务的单选按钮，再点击启动即可使设置生效。,在服务管理界面可以对本节点以及下属节点的服务进行管理和监控。针对一个节点，可以新建、修改、删除某一个服务。 对于某一个节点里具体的某项服务内容，点击该服务名内

9、容可以设定该服务名的参数。这些参数包括:基本参数、传输设置、物理队列、复合队列、路由设置、队列策略。 需选中服务的单选按钮，再点击启动即可使设置生效。,基本参数设置如下图9 所示：,图9 服务管理界面基本参数,传输参数设置如下图10 所示：,图10 服务管理界面传输参数设置,对于每一个服务，可以设置若干连接，目前可以支持的协议分为：Tcp、Stomp、Udp三种,而Tcp是最常用的，也是完全可以满足业务需求的一种协议。 物理队列参数设置如下图11所示：,图11 服务管理界面物理队列 通过这一参数设置可以增加修改该服务的消息队列，每一个消息队列可以设置日志级别；对应文件形式传输的队列，建议单独使

10、用一个队列。,复合队列的参数设置如下图12 所示：,图12 服务管理界面复合队列 复合队列是物理队列的集合。一个复合队列，可以包括多个物理队列；当消息到达该复合队列时，服务器将自动将该消息路由到物理队列里。物理队列可以使用选择器对接收的消息进行筛选。,路由设置的参数设置如下图13 所示：,图13 服务管理界面路由设置 通过这一参数设置可以设置到达本地节点的某一个队列的消息，自动路由到目标队列中。 设置服务管理的任意一项，设置后点击顶端的返回可回到服务的列表页面，此时若要使设置后的服务生效，需点击启动可重启服务使设置生效。,图13 服务管理界面路由设置 通过这一参数设置可以设置到达本地节点的某一

11、个队列的消息，自动路由到目标队列中。 设置服务管理的任意一项，设置后点击顶端的返回可回到服务的列表页面，此时若要使设置后的服务生效，需点击启动可重启服务使设置生效。,1.1.4报警策略 为了在过量负载情况下仍然保证系统的可靠性。当出现系统没有可用空间或没有可用内存的情况时，平台就会采用报警策略，同时自动放弃，而不是重试使情况变得更糟。 1. 参数说明 报警策略的参数说明如下表7所示：,表7 报警参数说明,2. 配置界面报警管理,报警的配置如下图14 所示：,图14 报警策略配置,1.2帐号管理 1.2.1操作说明： 统一数据交换平台将分两个角色：系统管理员和普通管理员。只有系统管理员登陆，才能

12、显示如图 所示的界面，普通管理员是无法看到该界面的。统一数据交换平台通过帐号管理可以添加删除修改本系统下的所有系统管理员和普通管理员的帐号和密码。 1.2.2帐号管理页面 帐号管理页面如下图15 所示：,图15 帐号管理,1.2.3实时监控 数据交换平台能够通过管理工具的实时监控功能监控和控制数据交换过程。所有的实时信息又分为实时的系统信息和实时的消息信息两大类。 1.3 实时系统信息 1.3.1 操作说明： 通过实时监控，将集中显示主节点及其子节点的所有的实时系统信息。 1.3.2 实时系统信息页面：,图16 实时系统信息,系统的实时系统信息页面将提供如下图16 所示的信息：,1.4 实时消

13、息信息 1.4.1 操作说明： 通过实时监控，将集中显示主节点及子节点的消息信息，点查看按钮，会在本页面列出所有发送过的消息对列，点击显示消息队列的按钮，还会把此队列下的所有消息显示出来。 1.4.2 实时消息信息页面：,实时消息信息页面如下图17 所示：,图17 实时消息信息页面,点击图 中的“查看”，该页会出现对应的消息队列信息，如下图18 所示：,图18 对应的消息队列信息,点击消息队列中的队列名称，又会在该页出现具体的消息列表，如下图19所示：,图19 具体的消息列表信息,1.5日志管理 数据交换平台提供各种日志，分别帮助用户跟踪、分析、调试应用系统和方便地进行运行审计，并在系统出现故

14、障时可以快速地进行运行故障定位。日志统计分析功能提供用户在各个部署点查看一段时间内本部署点上交换平台所处理的数据的各种信息。通过对日志信息的综合统计分析，提供给平台管理员或普通用户关于平台运行状态的直观信息。数据交换平台提供了以下三种日志： （1） 历史日志； （2）日常维护日志 （3）升级日志,1.5.1 历史日志： 传输历史日志是根据数据种类、收发地址等记录数据交换的日志。 1.5.1.1 操作说明： 点击历史日志，会出现本系统和子系统的日志查询页面，选择查询条件，点击查询，该页面会出现查询结果。 1.5.1.2历史日志页面：,历史日志查询页面如下图20 所示：,图20 日志查询页面,在该

15、查询页面中点击“确定”后，会出现查询结果页面，如下图21 所示：,图21 查询结果页面,1.5.2 日常维护日志： 日常维护日志是记录统一数据交换平台日常维护信息的日志。 1.5.2.1日常维护日志操作说明： 点击日常维护日志，会出现本系统和子系统的日志查询页面，选择查询条件，点击查询，本页面会出现查询结果。,1.5.2.2日常维护日志页面： 日常维护日志查询页面如下图22 所示：,图22 日常维护日志查询页面,在该页面中点击“确定”后，会出现日常维护日志查询结果页面，如下图23所示：,图23 日常维护日志查询结果页面,1.5.3 升级日志： 升级日志包括本地升级的记录和下载新的版本升级本地以

16、及升级服务器设置。 1.5.3.1升级日志操作说明： 点击升级日志就会出现如图24 所示的升级日志页面,图24 升级日志页面,若是国家中心已发布新的版本，在此页面可选中要升级版本，点击“下载升级包”会弹出一个确认的对话框，选择“是”，开始下载升级包，进入如图25 下载完成的页面。 在此页面中已告诉您一些注意事项，你可通过提示的命令参数来关闭服务器和关闭进程。在最下边列出的是你在升级时所要使用的命令脚本，你可通过更新脚本来升级您的系统。 点击复制可将命令脚本复制到剪切板中。点击返回则回到图24升级日志页面。,图25 升级下载完成页面 点击“删除”可删除选中的本地版本，点击设置进入如图25 所示的

17、升级服务器设置页面。,图25 升级信息页面,在此您可填写远程升级服务器信息和本地服务器信息为升级做好提前设置。,1.5.4升级管理 1.5.4.1升级管理操作说明： 升级管理页面如图26列出了现有的版本信息。,图26 升级管理页面,点击“初始化版本”可生成一个最初的版本，并将以前的所有版本删除。 在对应的版本上点击“发布”可发布此版本及此版本以前的版本，此时状态已变成“已发布”，操作变成了“取消发布”，并在区域中心升级日志中可看到此版本。 点击“取消发布”可将此已发布的版本取消，同时状态变成“未发布”，操作变为“发布”。点击版本对应的“删除”操作，根据安全稳定考虑，将同时删除此版本和此版本以后的版本。 点击版本对应的“查看”操作，可列出此版本的文件列表信息和数据库脚本以及操作系统脚本，如图27。,图27 版本详细信息,在升级管理页面中您还可通过点击相应版本的“查看升级日志”查看到所有升级过此版本的客户信息。如图28。,图28 查看升级日志,点击查看新版本可查看新的文件版本列表，如图29 在此您可选择要升级的文件，输入升级备注，数据库脚本和系统脚本。,图29 最新信息文件,点击“保留路径设置”进入保留路径列表页面，如图30 保留路径设置的作用是根据被升级系统的需求设置不需要升级的文件。您可在此添加新的文件完整路径以及更改和删除已经添加的路