数据信息交换平台设计方案VIP

信息交换平台设计方案1.项目背景 41.1.概述 41.2.现状分析 41.3.需求描述 52.目标与原则 72.1.建设目标 72.2.建设原则 82.3.定义与约束 93.建设内容与依据 3.1.建设内容 3.2.建设依据 4.技术路线 4.1.技术架构 4.2.应用架构 5.系统功能 5.1.功能划分 5.2.系统管理 5.2.1.运行环境配置 5.2.2.系统注册 5.2.3.目录服务 5.2.3.1.类别维护 5.2.3.2.元数据维护 5.2.3.3.目录索引管理 5.2.4.权限管理 5.2.4.1.操作者权限 5.2.4.2.系统用户权限 5.2.5.订阅定制 5.2.5.1.数据校验 5.2.5.2.订阅 5.2.5.3.退订 5.2.6.日志定制 5.2.7.安全管理 5.2.8.其它参数设置 5.3.数据交换服务 5.3.1.数据交换流程 5.3.2.消息管理 5.3.3.队列管理 5.3.4.发送管理 5.3.5.接收管理 5.3.6.封装解析 5.3.6.1.封装 5.3.6.2.解析 5.3.7.数据整编 5.3.8.数据保存 5.3.9.其它相关服务 6.项目实施安排 水务局目前已经运行的有近30个业务系统。以水务局“水务信经建立并在不断的规范当中。目前北京市水务局已建立了水文数据1、方便的实现北京市水务局及各分中心业务应用系统之间的数据共享与交换；5、消息队列的自动管理：本平台可以自动判断并管理消息队机制；解析；接收方本次传送失败，请等待下一次传送；运行过程中的所有相关信息，尤其当系统遇到意外而无法正常工作不能因为具体业务系统的变化或水务信息平台的某个问题而影响正扩展调试的情况；交换，实现整个水务信息网用户中任意两个用户间的数据共享与交换，主要实现以下目标：1、数据交互：能够将一个数据库的某一表中数据，根据一定的要求导入到另一数据库相应表中；2、资源共享与订阅：能够实现数据资源的共享设置、共享级别别要求更低的共享资源；5、数据交换要支持多种数据类型：如：数值、件等；7、信息交换平台支持数据配置扩展，可以通过配置文件来更改9、系统具有长时间稳定运行的能力；本平台建设遵循以下原则：2、安全性原则：设计采用有效的软件安全保护、防止非法入侵等措施，保证应用系统、数据的运行安全；3、先进性原则：设计采用先进软件技术，并考今后需求变化留有余地；保证可扩充性；7、标准化与开放性原则：系统设计符合标准化建设和开放的原2、数据抽取：现有数据库内的数据一般都是以某种关系型存在5、系统用户：使用本平台进行数据交换或共享的系统，即系统6、操作者用户：操作本平台的操作员，即指通过本平台提供的7、缩略语：在本设计方案中，信息交换平台或共享交换平台有展形式的要求，本平台建设内容主要分为下面几个方面：通过建立专门的基础信息维护模块接收各种系统所需基础信息对用到的各类基础信息元数据、业务信息元数据提供用户可定制功4、数据订阅服务1、技术模式术建设基于C/S结构的系统，并且以Windows服务程序模式与Windows程序用户交互模式结合方式运行。这种设计具有以下一些优势：√以服务方式运行的系统可以在服务器不登陆的情况下，数据交换就能够运行；√服务程序与交互界面并存，这样可以实时监测和控制交换程序的运行，方便维护和调试；√系统提供用户操作界面，可以让用户非常便捷地完成相关设定运行；√系统采用ODBC数据源来连接数据库，解决多种类型的数据安全机制安全机制日志管理资源配置权限分配目录管理接收管理发送管理队列管理消息管理标准规范系统平台(网络、操作系统)系统n交换服务模块系统22、技术实现系统内各具体功能模块均由相应的组件(或称构件)构成，相关本平台设计的组件、分类及作用描述如下表：组件名类型1件管理容器标准组件完成在上级主交换节点的注册，获取本节点相关编码、上级节点的IP地址等信息，启动共享交换平台2资源管理完成本节点信息资源目录的建立，自动登记信息资源元数据3订阅组件完成订阅其他信息节点共享资源元数据，生成本节点订阅信息资源树4监控组件实时监视本节点信息资源交换状况，包括本节点接受和发送的数据5信息比执行指定的本节点信息数据与其他节点可共组件名类型对件享数据的比较，报告比较结果6流量分析统计某时间范围内，本节点共享数据输出和输入数量统计7数据抽取交换容器标准组件依据信息资源元数据描述以及信息资源的时间特性，定时或定期从指定的数据库或文件夹中读取数据8封装与分发然后分别发送给接收方9件将封装、分发后的数据报文，通过底层网络链路，传送到指定的资源共享节点分包组件为本信息节点对应数据的存储格式件的数据库或文件夹中缩加密压缩可选组件在通讯组件运行前执行，将数据内容进行加密、压缩后，生成新的加密压缩报文关联计算在分包组件完成后执行，主要完成针对水务业务的一些专业计算需求，如：由水位—库组件名类型容曲线，按照水位数据计算水库蓄水量等信息整编在关联计算组件运行后执行，根据信息资源时间特性需求，生成新的不同时间频率的数据审计组件交换平台将自动记录运行日志。可以定义多个级别，不同级别记录日志的详细程度不同信息整编关联计算订阅信息对比封装解析封装分发辅助功能业务主体加密压缩基础服务分包订阅3、技术特点1)元数据3)通信技术4)并发技术5)轮询技术将数据发送给订阅方。所以系统采用时间轮询不停检测和发送新数6)扩展接口存在的接口，目前考虑到的接口如下：√数据库操作接口：可以扩展对多种数据库类型的访问，以适应不同的数据库类型；√数据读取接口：可以采用多种读取数据的方式；√数据保存接口：可以完成多种情况的数据保存；√数据整编接口：扩展数据整编功能的接口；√数据传输接口：数据在网络间传输其它技术扩展接口。录局中心平台进行注册，获得本分中心(以下称节点)的共享级别及交换，因此从数据交换的角度看，属“网状”结构，结构图如下：0信息交换“网状”结构本平台功能架构总体上可分为三层：表现层、认证层和应用层，其中应用层可分为交换服务应用与系统管理应用两部分。平台功能架构图如下：应用层其它服务数据保存应用层其它服务数据保存数据整编数据解析接收管理发送管理队列管理消息管理安全管理日志管理环境定制订阅定制参数设置权限定制目录管理平台功能架构图应用层：在本信息交换平台中，系统管理模块作为平台应用层的一部分，也是平台运行的基础模块，完成平台运行环境、平台运行过程中相关进程的运行方式、时间特性、服务对象与区享等级、资源信息等的设置操作，为实现数据交换提供基础支撑服务；数据交换服务模块同样是应用层的组成部分，完成具体的数据交换功能，根据系统管理部分的设置信息有效有序的管理消息、进行数据的接收、发送、解析、整编及保存等相关操作。认证层：身份认证属认证层，是指在系统运行过程中，根据系统管理相关部分的设置信息判断发出订阅申请的用户在本平台中具有管理)和数据交换服务两部分。其功能结构图如下：有在本平台注册过的系统才可以通过本平台与局中心及其它分中心息；服务对象(这里指局中心各系统及分中心相关系统)等，每种分录信息的类别、内容可根据实际需要由人工或系统设定自动增加整各用户可以访问的信息内容进行权限等级划分——不同级别的用户设置(当然系统会提供默认设置)应记录的日志范围，系统会根据设√其它参数设置：支撑系统运行及方便用户的其它参数设置功数据整编、数据保存和其它相关服务八个子模块，功能概述如下：高的请求反而等待时间过长现象，因此需要平台对队列进行有序管√相关服务：提供数据交换过程中其它相关服务功能如流量分环境配置目录服务权限管理订阅定制参数设置日志管理信息交换平台系统主界面5.2.系统管理运行环境配置维护本平台可以处理的数据库类型、连接方式及具体数据库实例名、所属数据库类型和相应的连接参数信息。具体描述如下：1、数据库类型维护2、连接方式维护局中心及各分中心的相关应用系统在通过本信息交换平台进行2、人工注册由具体的系统操作人员通过平台提供的人机交互界面维护新的与局中心形成网状的信息共享与交换结构。目录管理示意图如下：白水工信息日亡分中心B资源目录订阅的资源目录白□水工信息分中心B日□水文信息田已供水信息资源目录管理结构如类别的增删改查及对类别分组设置等；元数据维护指对具体的元数据信息的维护操作，具体元数据属于某个指定的类别，同时对元数据可以设置优先级别；目录索引管理——统一管理目录索引信息。目录服务模块的功能分配如下：DD0……7d010n01D017dn口0………d00dD目录服务模块功能结构图目录服务功能界面如下：消数据交换平台消环境配置目录服务权限管理订阅定制参数设置创建类别删除类别用户2创建类别删除类别用户2类别名称类别名称优先级别类别描述+系统用户系统用户添加信息修改信息删除信息日志管理A类别维护指对信息按一定规则分类管理，如按局中心数据库分类方式分为水文、供水、水环境、水利工程等方式进行分类或按基础信息、业务信息进行分类，还可分为数据目录、服务目录、应用目录和用户目录，已订阅目录、被订阅目录等，本平台根据实际需要提供若干固定分类，要求用户必须遵循此分类方式进行维护的类别，如用户对象-在这里指可能使用本平台进行数据交换的操作者和系统；消息分类包括不同类型消息的归类方式、特征码信息设置等。固定分类因其具有固定的特征而在平台中具有个性化的管理和服务与之对应。用户可以根据自己的需要创建新的类别并对其进行维护。类别维护可分为新增、修改、删除和类别分组几部分功能，其中系统提供的固定类别不能修改或删除。平台根据设置(见日志定制部分),可以记录类别维护的日志。对此模块有权限的平台使用者可以创建新的类别，为类别输入名称及相关辅助信息，系统自动为类别生成ID标识号，此ID标识号在整个平台目录数据中具有唯一性，且按一定的规则生成，类别可以包括子类别，并且系统对类别可分级数有限制(参见其它参数设置部分),不允许无限制的分级。已订阅目录和被订阅目录属系统根据用户操作信息自动生成的查询、浏览目录。已订阅目录内分别展示当前用户已经从其它节点处订阅的信息内容；被订阅目录指其它节点用户到当前用户登记的订阅情况。当前操作者只能在对已订阅目录内容进行取消订阅(即退订，参见退订部分)操作，不能对被订阅目录进行任何编辑性操作。但其ID标识不会改变。被合并的类别文件夹消失且被合并的信息元素自动按合并后的编码元素均处于未启用或已被移走(参见元数据维护部分)的情况下才可组的功能，即根据当前的资源目录树，选择可供分组的资源类别水文信息基础信息<水文业务数据编号组名组描述信息元维护指对各分类内应包含的信息元素(元数据)的维护，基于信息资源目录管理的信息元素维护在清晰描述信息自身含功能。平台根据参数设置(见其它参数设置部分),可以记录信息维对此模块有权限的平台使用者可以为指定类别添加新的信息元别ID号为0100,则此元素在该类别中是第2个元素，则此元素的ID号为0102。信息元素(或称元数据)可以由一个类别转移到另一个类别，转信息标识的唯一性，同时也最大程度的利用了号码资源。权限管理主要是对使用本系统的操作者及可以通过本平台进行数据交换及共享的所有应用系统的访问权限分配与管理功能。功能结构图如下：用户维护角色定义权限分配权限修改权限分配权限分配功能结构图5.2.4.1.操作者权限操作者的授权主要指通常意义上的用户与权限的管理，是对指定用户与平台功能的权限对应关系的分配与设置。具体包括角色定义、用户维护、权限分配。按系统使用者的预定权限范围将用户考虑分组，每个组对应一个角色，可拥有相同的系统操作权限。查询。权限分配是对指定角色可以访问本平台的具体菜单及功能进行在目录列表中存在(可能是人为注册也可以是自动注册的),且具体后即为用户组进行权限分配，即可以为指定的系统用户(组)分配可以访问的信息资源类别组(包括其它应用系统),这样，该用户就可数据交换平台数据交换平台环境配置目录服务系统用户(组)√03供水业务数据如界面所示，在为系统用户(组)分配权限时，还可以进行批量分配——当几个系统用户(组)有相同的权限范围时。权限修改即是对已建立并分配权限(包括默认分配)的用户或用权限修改时，当用户(组)的权限范围缩小(这里指原来有的权限修改为没有的情况)时，平台自动判断此用户(组)是否已经订阅若强烈撤消此项权限内容，则本系统自动删除此用户(组)对该信息000口口订消息给共享方不再订阅的过程；运行过程中依据参数设置对指定对象进行数据校验，自动同步的过人工校验是指由操作员根据需要对指定节点的数据进行校验同否〉是否订阅流程图图中淡粉色框是订阅方的操作内容，淡蓝色框是共享的操作内容，订阅过程实际上包括上图整个过程。本平台自动记录订阅方发出的订阅请求信息，包括请求时间、共享方、请求内容、请求结果等相关信息，并提供随时查看的功能供订阅方删改。 环境配置目录服务权限管理订阅定制]参数设置日志管理可供选择的共享信息用户A水文信息☑时段降雨量由☑供水信息分用户B白☑水利工程信息☑大坝测压管订阅界面退订的操作流程如下：退订流程图如图所示，退订过程中，一般只要订阅方提出申请共享方即取消对此订阅方提供相应的订阅信息。日志管理分为三个方面：记录内容管理、文件时间设置、日志查看。结构图如下：日志管理功能结构1、记录内容本平台提供完备的日志服务功能，考虑到用户的不同需求及灵活性，同时考虑到系统长期运行时输出日志对系统性能的影响，本平台将需要记录日志的内容按对系统响影的程度分为五级，用户可以选择指定级别记录日志信息。日志内容分级情况表：第一级系统必须输出的日志如：系统启动、停止、系统不能正常运行的错误等第二级由于环境配置文件不正确而引发的错误不能连接网络等错误第三级由于订阅数据配置文件不正确引发的错误在读取数据、整编数据、保存数据时所引发的错误内容第四级系统已经考虑到的如：数据转换不正确，数值不能其它可估计的错误信息为空等第五级每一步运行的日志记录容2、成文时间本平台在为需要记录日志内容分级的同时，还可以对日志文件时间进行设置，即用户根据自己的需要可以设置每小时、每天、每月、每年一个日志文件——这里当然是单选，即只能选择一种。日志文件可以人为中止，中止时记录成一个文件，然后可以更改日志文件的成文时间。如上所述，本系统充分考虑了用户对日志内容、日志文件大小方面的个性化要求，用户可以根据自己的实际情况权衡日志应记录的内容和文件大小，从而达到最优效果，在确保系统的正常运行的同时方便后期查看运行情况，为分析系统、查找原因提供适当的参考信息。用户可以在本系统内查看日志信息，可以输入查询条件选择性查看日志信息。从而从不同角度、不同方位查看分析当时的系统及环境情况。对日志查询结果还可以输出打印出来，其输出格式可为EXCEL和WORD文档以及数据报表。日志查看总体流程图如下：1、交换单位结束安全管理主要从三个方面考虑：平台提供实时网络监测部件，用于实时(间隔时间可设置，见其它参数设置部分)探测当前的计算机网络状况及数据流量，当发现网一定时间间隔(允许的网络超时时间，见其它参数设置部分)后，便网络出现故障时(断网或超时),以GSM无线网络为依托，采用GPRS √监测网络的时间间隔：多少秒探测一次网络连接状态。√是否支持断点续传：即可否支持传输被中断之后的续√网络超时时延：探测到多少秒连续的断网状态后即认为网√传输数据包的大小：数据传输数据包的大小限制，以K字√可建目录级别：系统可以创建的服务目录级别，包括元数据一级。√GSM发送内容：网络中断、严重错误、共享资源被删除。其它参数设置。略的数据交换全过程，其中封装解析是封装与解析两个过程，消息管理与队列管理功能贯穿其中，大体过程如下：数据交换过程信息发送方的数据在发送前，首先进行加密、压缩并按规则封装成一个一个的数据包，然后进行发送；接收方收到信息后，首先对数据进行初步校验、解析在确定数据无误后按规则整编，最后保存到相应数据库内完成数据交换的一个单方向传输过程。数据交换服务是本平台的核心业务，系统管理模块的一切功能都是为数据交换服务的，数据交换服务长期驻留内存并运行，实时完成网络内各用户、各系统之间的信息交换与共享。阅方可以订阅多个共享方的共享数据，同理一个共享方也会受理多个订阅方的订阅请求。实际上产生数据交换的过程就是共享方向订阅方业业业业业进行验证、解析、整编最后将合法数据保存(如果验证数据不合法则丢弃并发送错误信息给共享方，要求重新发送),并封装确认信息返数据进行发送),完成数据交换过程。类(如发送、请求、回复、接收、报错等)、整理、预排序，准备使据日志记录设置情况而定)。发送流程图如下：Y工制发送数据流程图发送信息内容不仅限于各类交换的数据信息，还包括通讯双方