统一数据交换平台[稻谷书屋]

1、 项目总体概述项目总体概述 统一数据交换平台内核采用AMQ4.1.1，服 务器容器完全兼容Tomcat、Weblogic，JAVA 虚拟机要求1.5以上版本。客户端目前支持 JAVA、C和C+三种协议，是一个高效的、 可管理的数据交换平台。 2实用参考 交换平台设计框架图交换平台设计框架图 核 心 交 换 模 块 接口1 用 户 界 面 业务应 用1 核心 交换 区 接 口 区 客 户 区 . . . 业务应 用2 业务应 用N . . . 接口2接口N 配置管理 监控系统 安全管理 日志管理 管 理 功 能 模 块 3实用参考 系统特点 n管理方式灵活： n 管理模式采用集中和分布式管理相结

2、合，上级节点可以 管理和监控下级节点；各级节点也可以管理和监控本节点。 n路由可配置： n 可以通过复合队列配置多种路由形式，支持一个消息既 路由，又不影响侦听的路由模式。 n接口封装优化： n 对外接口将消息队列的协议和错误处理等复杂细节优化 封装，实现消息传输的稳定性最大限度地和业务系统剥离。 n跨平台特性： n系统采用java开发，可以兼容主流的软硬件平台以及J2EE 中间件，同时也兼容各种主流的数据库产品。 4实用参考 核心交换接口描述 n1 支持多种数据交换方式 n（1）同步请求/回答方式: 适合客户端向服务器端可靠的 发送关键数据 n（2）异步请求/回答方式: 适合客户端向服务器实

3、时发送 非关键数据 n（3）对话方式: 适合长时间在客户端和服务器之间相互发 送大量数据 n（4）广播通知方式: 适合服务器端向多个客户端单向发送 消息。 n（5）管道方式: 适合多服务器端逐级传送消息，对于区域 中心要在实现管道的同时，保存消息队列到数据库中。 n（6）队列方式: 适合网络环境较差情况下发送数据发布订 阅方式: 适合服务器端向多个客户端单向发送数据。 5实用参考 n2数据传输优先权管理和访问路由 n数据传输优先权管理是统一数据交换平台 提供的另一个核心能力。某一服务请求经 常需要比其他服务更高的优先权。例如， 同步数据的优先级要比异步数据的优先级 高，对大多数需要传输的数据来

4、说，要尽 可能的优先满足同步数据的传输。 n3大容量数据传输支持（大于1G） 6实用参考 n4断点续传 n网络中传输数据，网络的短暂中断不可避免，统 一数据交换平台通过缓存、存取、数据源管理来 保障数据传输的时效性，稳定性，安全性。即使 出现网络中断，统一数据交换平台也能在一定范 围内保证数据不被丢失，并在网络恢复后，在有 硬件支持的情况下可断点续传N小时以前的数据, 对未传输的数据，在保证相关实时数据可靠稳定 传输的情况下，根据优先级和不同的策略重新传 输，并保证数据传输不重复。 7实用参考 n5压缩传输 n6生命周期控制 n网络中传输数据，网络的短暂中断不可避免，统 一数据交换平台通过缓存

5、、存取、数据源管理来 保障数据传输的时效性，稳定性，安全性。即使 出现网络中断，统一数据交换平台也能在一定范 围内保证数据不被丢失，并在网络恢复后，在有 硬件支持的情况下可断点续传N小时以前的数据, 对未传输的数据，在保证相关实时数据可靠稳定 传输的情况下，根据优先级和不同的策略重新传 输，并保证数据传输不重复。 8实用参考 管理功能描述 n1. 服务配置管理 n设置核心交换接口的各种参数，管理消息队列，保证数 据交换平台的灵活性，稳定性和效率性 n2.服务管理： n控制数据交换平台的启动停止，并且可以查看信息服务 器的状态信息，例如服务器类型，服务器ip，数据库信 息，cpu使用率，内存使用

6、率，硬盘剩余空间等等。 n3.帐号管理： n系统管理员知对本系统的管理员帐号，进行管理。包括 帐号的增删改。 9实用参考 n4.实时监控管理，报警： n查看系统运行的状态，查看实时消息队列。 n查看各种日志信息，过滤出错日志。 n启动报警机制：例如email通知，手机提醒。 n5.日志管理： n系统自动记录历史数据传输日志，历史维护日志 以及升级日志。提供日志下载的功能。 。 n6.信息统计： n信息统计：分类统计数据传输信息 n7.集中管理监控： n统一交换平台支持国家中心和区域中心的集中管 理以及监控 10实用参考 系统流程图 国家中心 AMQ 台站 AMQ 区域中心 AMQ 管理，接受消

7、息 区域中心 AMQ 1.n 管理，接受消息 1.n 台站 AMQ 管理，接受消息 1.n 发消息 发消息 管理，接受消息 11实用参考 数据交换平台部署图数据交换平台部署图 12实用参考 使用说明使用说明 n1.1系统配置系统配置 系统配置的功能分为：节点管理、数据库管理、 服务管理和报警策略。 n1.1.1节点管理节点管理 在节点管理里，可以配置本级节点的基本属性及 其上级节点的管理信息，作为管理节点，也可以 在这个模块中监控下属节点的工作状态，配置其 基本节点属性。 13实用参考 节点属性节点属性 参数名参数名说说 明明 本级节点属性本级节点属性 节点名称该节点的名称，可以用中文表示 节

8、点标识该节点的表示，全网唯一，不能用全角 心跳间隔向上级节点发送心跳信息的时间间隔，以秒为单位 自动升级系统是/否采用自动升级机制 上级节点属性上级节点属性 节点IP上级节点的IP，如果是多个，用半角的“,”隔开 HTTP端口上级节点的HTTP服务端口 JMS端口上级节点的JMS服务端口（本地节点向该节点以UDP方式发送心跳信息） 1 参数说明参数说明 节点管理的参数说明如下表4所示： 表4 节点管理的参数说明 14实用参考 2 配置界面配置界面节点管理节点管理 本地节点管理的配置界面如下图5 和图6 所示： 图5 本地节点管理配置界面1 15实用参考 图6 下级节点视图 在下级节点视图中，可

9、以实时监控所有该节点的下级节点的工作状态。 16实用参考 n1.1.2数据库管理数据库管理 数据库管理模块配置持久化消息的存储格式，系统运行后 更改其参数，会造成队列中已有的消息丢失。 n1. 参数说明参数说明 数据库管理参数表如下表5 所示： 数据库管理数据库管理 参数名参数名说明说明 数据库类型持久化消息存储形式，系统内置“文件形式”、“Mysql”、“Oracle”、 “Derby”，其中“文件形式”为缺省方式 数据标识对应不同的数据库类型，不可更改。 表5 数据库管理参数表 17实用参考 数据库配置界面如下图7 所示： 2 配置界面配置界面数据管理数据管理 图7 数据库配置界面 不同类

10、型的数据库，其配置参数不同，图上所示为Oracle的标准JDBC配置参数。 18实用参考 n1.1.3服务管理服务管理 n服务管理是系统配置的核心部分，每一个节点可以配置多 个服务；每一个服务可以配置多个连接方式和相应队列。 n1. 参数说明参数说明 服务管理的参数说明如下表6 所示： 服务管理服务管理 参数名参数名说明说明 基本参数基本参数 服务名称该服务的名称，用英文表示 启动时清空消息是否在系统启动时清空队列中的所有的消息。 持久化消息是否持久化消息 数据路径如果是文件形式持久化消息，则应设置其路径 数据源名称数据源的beanId，对应于数据库设置中的beanid 表6 服务管理参数表

11、在基本参数中可设置服务的名称，是否持久化，数据源名称，数据路径等参数， 输入后点击“添加”即可添加新的服务，也可点击“修改”保存修改的服务。 19实用参考 服务管理配置界面如下图8 所示 图8 服务管理配置界面 2. 配置界面配置界面服务管理服务管理 n在服务管理界面可以对本节点以及下属节点的服务进行管 理和监控。针对一个节点，可以新建、修改、删除某一个 服务。 n对于某一个节点里具体的某项服务内容，点击该服务名内 容可以设定该服务名的参数。这些参数包括:基本参数、 传输设置、物理队列、复合队列、路由设置、队列策略。 n需选中服务的单选按钮，再点击启动即可使设置生效。 20实用参考 n在服务管

12、理界面可以对本节点以及下属节点的服务进行管 理和监控。针对一个节点，可以新建、修改、删除某一个 服务。 n对于某一个节点里具体的某项服务内容，点击该服务名内 容可以设定该服务名的参数。这些参数包括:基本参数、 传输设置、物理队列、复合队列、路由设置、队列策略。 n需选中服务的单选按钮，再点击启动即可使设置生效。 21实用参考 基本参数设置如下图9 所示： 图9 服务管理界面基本参数 22实用参考 传输参数设置如下图10 所示： 图10 服务管理界面传输参数设置 23实用参考 对于每一个服务，可以设置若干连接，目前可以支持的协议分为：Tcp、Stomp、 Udp三种,而Tcp是最常用的，也是完全

13、可以满足业务需求的一种协议。 物理队列参数设置如下图11所示： 图11 服务管理界面物理队列 通过这一参数设置可以增加修改该服务的消息队列，每一个消息队列可以设置日志级 别；对应文件形式传输的队列，建议单独使用一个队列。 24实用参考 复合队列的参数设置如下图12 所示： 图12 服务管理界面复合队列 复合队列是物理队列的集合。一个复合队列，可以包括多个物理队列；当消 息到达该复合队列时，服务器将自动将该消息路由到物理队列里。物理队列可以 使用选择器对接收的消息进行筛选。 25实用参考 路由设置的参数设置如下图13 所示： 图13 服务管理界面路由设置 通过这一参数设置可以设置到达本地节点的某

14、一个队列的消息，自动路由 到目标队列中。 设置服务管理的任意一项，设置后点击顶端的返回可回到服务的列表页面，此 时若要使设置后的服务生效，需点击启动可重启服务使设置生效。 26实用参考 n1.1.4报警策略报警策略 为了在过量负载情况下仍然保证系统的可靠性。当出现系 统没有可用空间或没有可用内存的情况时，平台就会采用 报警策略，同时自动放弃，而不是重试使情况变得更糟。 n1. 参数说明参数说明 报警策略的参数说明如下表7所示： 报警策略报警策略 参数名参数名说明说明 报警阀值报警阀值 硬盘剩余空间小于当硬盘剩余空间小于某一个值时触发报警 内存使用大于当内存使用大于某一个值时触发报警 CPU占用

15、大于当CPU占用大于某一个值时触发报警 报警策略报警策略 短消息使用短消息报警，需填写手机号码（需要网络支持） 电子邮件使用电子邮件报警，需填写邮件地址（需要网络支持） 重新启动强制重新启动 表7 报警参数说明 27实用参考 2. 配置界面配置界面报警管理报警管理 报警的配置如下图14 所示： 图14 报警策略配置 28实用参考 n1.2帐号管理帐号管理 n1.2.1操作说明：操作说明： 统一数据交换平台将分两个角色：系统管理员和普通管理 员。只有系统管理员登陆，才能显示如图 所示的界面， 普通管理员是无法看到该界面的。统一数据交换平台通过 帐号管理可以添加删除修改本系统下的所有系统管理员和

16、普通管理员的帐号和密码。 n1.2.2帐号管理页面帐号管理页面 帐号管理页面如下图15 所示： 图15 帐号管理 29实用参考 n1.2.3实时监控实时监控 数据交换平台能够通过管理工具的实时监 控功能监控和控制数据交换过程。所有的 实时信息又分为实时的系统信息和实时的 消息信息两大类。 n1.3 实时系统信息实时系统信息 n1.3.1 操作说明：操作说明： 通过实时监控，将集中显示主节点及其子 节点的所有的实时系统信息。 n1.3.2 实时系统信息页面：实时系统信息页面： 30实用参考 图16 实时系统信息 系统的实时系统信息页面将提供如下图16 所示的信息： 31实用参考 n1.4 实时消

17、息信息实时消息信息 n1.4.1 操作说明：操作说明： n通过实时监控，将集中显示主节点及子节 点的消息信息，点查看按钮，会在本页面 列出所有发送过的消息对列，点击显示消 息队列的按钮，还会把此队列下的所有消 息显示出来。 n1.4.2 实时消息信息页面：实时消息信息页面： 32实用参考 实时消息信息页面如下图17 所示： 图17 实时消息信息页面 33实用参考 点击图 中的“查看”，该页会出现对应的消息队列信息，如下图18 所示： 图18 对应的消息队列信息 34实用参考 点击消息队列中的队列名称，又会在该页出现具体的消息列表，如下图19所示： 图19 具体的消息列表信息 35实用参考 n1

18、.5日志管理日志管理 n数据交换平台提供各种日志，分别帮助用户跟踪、 分析、调试应用系统和方便地进行运行审计，并 在系统出现故障时可以快速地进行运行故障定位。 日志统计分析功能提供用户在各个部署点查看一 段时间内本部署点上交换平台所处理的数据的各 种信息。通过对日志信息的综合统计分析，提供 给平台管理员或普通用户关于平台运行状态的直 观信息。数据交换平台提供了以下三种日志： （1） 历史日志； （2）日常维护日志 （3）升级日志 36实用参考 n1.5.1 历史日志：历史日志： n传输历史日志是根据数据种类、收发地址等记录 数据交换的日志。 n 操作说明：操作说明： n点击历史日

19、志，会出现本系统和子系统的日志查 询页面，选择查询条件，点击查询，该页面会出 现查询结果。 n历史日志页面：历史日志页面： 37实用参考 历史日志查询页面如下图20 所示： 图20 日志查询页面 38实用参考 在该查询页面中点击“确定”后，会出现查询结果页面，如下图21 所示： 图21 查询结果页面 39实用参考 n1.5.2 日常维护日志：日常维护日志： n日常维护日志是记录统一数据交换平台日 常维护信息的日志。 n日常维护日志操作说明：日常维护日志操作说明： n点击日常维护日志，会出现本系统和子系 统的日志查询页面，选择查询条件，点击 查询，本页面会出现查询结果

20、。 40实用参考 n日常维护日志页面：日常维护日志页面： n日常维护日志查询页面如下图22 所示： 图22 日常维护日志查询页面 41实用参考 在该页面中点击“确定”后，会出现日常维护日志查询结果页面，如下图23所示： 图23 日常维护日志查询结果页面 42实用参考 n1.5.3 升级日志：升级日志： n升级日志包括本地升级的记录和下载新的版本升级本地以 及升级服务器设置。 n升级日志操作说明：升级日志操作说明： 点击升级日志就会出现如图24 所示的升级日志页面 图24 升级日志页面 43实用参考 n若是国家中心已发布新的版本，在此页面 可选中要升级版本，点击“下载

21、升级包” 会弹出一个确认的对话框，选择“是”， 开始下载升级包，进入如图25 下载完成的 页面。 n在此页面中已告诉您一些注意事项，你可 通过提示的命令参数来关闭服务器和关闭 进程。在最下边列出的是你在升级时所要 使用的命令脚本，你可通过更新脚本来升 级您的系统。 n点击复制可将命令脚本复制到剪切板中。 点击返回则回到图24升级日志页面。 44实用参考 图25 升级下载完成页面 点击“删除”可删除选中的本地版本，点击设置进入如图25 所示的升级服务器设置页面。 45实用参考 图25 升级信息页面 46实用参考 在此您可填写远程升级服务器信息和本地服务器信息为升级做好提前设置。在此您可填写远程升

22、级服务器信息和本地服务器信息为升级做好提前设置。 升级服务器设置升级服务器设置 参数名参数名说明说明 远程升级服务器远程升级服务器 服务器地址远程升级服务器的IP地址 服务器端口远程升级服务器所用的HTTP端口 升级路径远程升级服务器的项目系统所在根目录 本地服务器本地服务器 系统ID为本地服务器系统定义的ID号 系统名称本地服务器系统的名称 系统IP本地的IP地址 管理员姓名本地服务器的管理员 邮件地址管理员的邮件地址 联系电话管理员联系电话 47实用参考 n1.5.4升级管理升级管理 n升级管理操作说明：升级管理操作说明： n升级管理页面如图26列出了现有的版本信息。 图26 升级管理页面 48实用参考 n点击“初始化版本”可生成一个最初的版本，并 将以前的所有版本删除。 n在对应的版本上点击“发布”可发布此版本及此 版本以前的版本，此时状态已变成“已发布”， 操作变成了“取消发布”，并在区域中心升级日 志