智慧园区 园区基地数据仓库中心服务支撑平台建设方案V5

智慧s区

区基地数据仓库中心服务

支撑平台建设方案

文件编号202XQK011/BT-ZTA-QK011

文件状态［］草稿［J］正式发布［］正在修改

当前版本

拟制日期

审核日期

目录

第一章项目概况................................................................-5-

1.1.建设目标.............................................................-5-

1.2.建设规模.............................................................-6-

1.3.建设内容.............................................................-6-

（1）建成港口数据共享交换平台.......................................-6-

（2）建设共享资源目录服务体系.......................................-6-

（3）建设业务数据中心...............................................-7-

（4）编制企业信息管理规范和元数据标准...............................-7-

（5）数据中心的数据采集.............................................-7-

（6）综合应用的数据支撑.............................................-7-

（7）建设综合管理系统...............................................-7-

第二章业务需求................................................................-8-

2.1.数据采集.............................................................-8-

2.1.1.采集数据......................................................-8-

2.1.2.外部数据......................................................-9-

2.2.数据业务............................................................-10-

2.2.1.资源目录管理.................................................-10-

2.2.2.数据共享交换.................................................-11-

2.2.3.分析决策管理.................................................-12-

2.3.功能需求............................................................-12-

2.3.1.目录服务功能.................................................-13-

2.3.2.数据接入功能.................................................-14-

2.3.3.数据交换功能.................................................-15-

2.3.4,数据统一存储.................................................-17-

2.3.5.业务应用支持.................................................-17-

2.3.6.权限与访问控制...............................................-17-

2.3.7.平台管理功能.................................................-18-

2.4.数据分析............................................................-19-

2.4.1.基础数据库...................................................-20-

2.4.2.主题数据库...................................................-22-

25信息量分析...........................................................-23-

2.6.非功能性需求........................................................-25-

2.6.1.基本性能.....................................................-25-

2.6.2.性能需求.....................................................-27-

2.6.3.安全需求.....................................................-27-

2.6.4.接口需求.....................................................-28-

第三章总体设计...............................................................-30-

3.1.设计原则............................................................-30-

3.2.架构设计............................................................-32-

3.2.1.总体框架.....................................................-32-

3.2.2.功能架构.....................................................-34-

3.2.3.技术架构.....................................................-36-

3.2.4.关键技术.....................................................-42-

第四章信息资源目录...........................................................-52-

4.1.建设目标............................................................-52-

4.2.技术架构............................................................-53-

4.3.信息资源体系........................................................-54-

4.4.系统功能设计........................................................-54-

（1）元数据管理与服务..............................................-55-

（2）目录管理与服务................................................-56-

（3）目录中心管理与维护............................................-57-

-2-

（4）查询与导航服务................................................-57-

（5）培训与辅助编目。..............................................-58-

4.5.接口设计.............................................................-59-

（1）导航目录展示及维护接口........................................-59-

（2）目录内容展示及维护接口........................................-59-

（3）综合查询接口..................................................-59-

（4）码表信息服务接口..............................................-59-

（5）统计分析接口..................................................-59-

第五章数据共享交换...........................................................-61-

5.1.建设目标............................................................-61-

（1）提供四类节点接入方式。........................................-61-

（2）提供丰富、灵活、有效的服务接口................................-61-

（3）交换服务可视化应用............................................-63-

（4）技术标准规范编撰..............................................-63-

5.2.技术架构............................................................-64-

5.3.服务功能设计........................................................-66-

（1）实现（但不限于）以下多种信息资源的共享交换方式：..............-66-

（2）基于消息和事件驱动的多种会话模式：............................-67-

（3）支持多种会话策略：............................................-67-

（4）支持多种灵活的交换策略。包括两种数据交换方式：................-67-

（5）支持多种数据接口和传输协议：..................................-68-

（6）支持跨网段数据交换：..........................................-68-

（7）交换安全保障服务..............................................-68-

（8）提供数据交换日志：............................................-69-

（9）能够支持灵活部署模式：........................................-69-

（10）可视化配置和管理功能.........................................-69-

（11）路由解析与在线维护...........................................-69-

（12）强大的自适应性、扩展性和兼容性...............................-70-

5.4.管理功能设计........................................................-70-

1.运行管理和监控.................................................-70-

2.交换情况监控...................................................-71-

3.数据交换比对...................................................-71-

4.统计数据跟踪...................................................-71-

5.统计分析.......................................................-71-

6.用户管理和授权.................................................-72-

7.节点配置.......................................................-72-

8.参数设置.......................................................-72-

9.配置备份管理...................................................-72-

10.软件分发管理..................................................-73-

11.节点配置管理..................................................-73-

12.节点适配器管理................................................-73-

13.节点交换管理..................................................-73-

14.日志管理......................................................-73-

5.5.对夕卜接口月艮务........................................................-74-

（1）数据库适配器接口.............................................-75-

（2）文件收发、解析适配器接口.....................................-75-

（3）协议级交换输入接口...........................................-75-

（4）WEB服务输出接口............................................-76-

（5）非WEB服务输出接口..........................................-76-

（6）GIS数据交换接口..............................................-76-

（7）消息服务接口.................................................-77-

5.6.标准接入............................................................-77-

-3-

(1)应用系统节点.................................................-78-

(2)目录管理节点.................................................-78-

(3)前置交换节点.................................................-79-

(4)部门平台节点.................................................-79-

第六章数据交换平台...........................................................-80-

6.1.建设目标............................................................-80-

6.2.建设内容............................................................-80-

6.3.产品选型..............................................................82

-4-

第一章项目概况

港口在日常运营、管理过程中一方面需要海关数据、国检局数据、

港口数据、市和区数据、外部企业数据等，同时也需要向相关部门提

供数据。另一方面也需要从一些将要建设的业务信息系统中采集相关

业务数据，提供辅助决策平台进行统计分析和决策支持，同时各业务

应用系统之间也存在数据共享交换的需要。通过建立信息资源目录及

数据交换平台为建设港口数据中心奠定基础。

1.1.建设目标

本期项目将从无到有地建立港口数据共享交换平台，实现数据整

合、数据交换功能，为建设港口数据中心建设打好基础：

1）进行软硬件基础设施建设，完成港口数据共享交换平台及相

关单位前置节点的软硬件基础环境建设；

2）完成港口企业信息资源的梳理和信息资源的规划，以及相关

标准规范、管理制度的编制工作；

3）完成目录系统和数据交换平台的定制开发建设和部署，并根

据港口信息资源的规划设计初步建成数据中心；

4）完成与相关平台和业务应用系统的对接，完成部分数据的接

入、转换、入库。并实现数据的发布功能，为领导决策、综合业务管

理、企业信息服务等提供数据支持。

-5-

12建设规模

本次数据交换平台建设主要包括港口的交换中心建设和海关、检

验检疫和港的交换节点建设。

13建设内容

港口数据共享交换平台建设项目将覆盖港口、海关、国检局、企

业等多个相关单位，涉及大量业务数据，工作任务不仅包括平台建设,

还包括接入实施、标准规范建设等工作。具体实施内容包括：

(1)建成港口数据共享交换平台

•实现港口与海关、国检局、企业等多个相关单位之间的数据共

享和交换；

•通过数据共享交换平台，实现各相关单位之间的信息共享和交

换；

•实现文件、数据库和系统接口三种方式的共享和交换；

•实现与区信息资源共享交换平台的对接和信息共享；

•提供与市商务委、区等上级部门的数据交换接口。

(2)建设共享资源目录服务体系

梳理各单位业务目录、信息资源目录和共享需求目录，基于元数

据标准建立共享信息资源目录服务、形成共享交换管理规范、完善元

数据标准，便于信息资源的管理、查询和交换。

-6-

(3)建设业务数据中心

完成企业信息资源的规划设计，并按主题实现企业信息资源的组

织管理，建设数据中心，实现数据发布、数据分析、数据挖掘等功能，

完成业务数据的存储、利用。

(4)编制企业信息管理规范和元数据标准

在信息资源目录的基础上，结合港口的业务规范，编写行业共享

信息管理规范，制定行业信息资源元数据标准，为数据资源管理和资

源目录服务开发提供依据。

(5)数据中心的数据采集

依据港口数据中心的数据需要，采集各相关单位应用系统、数据

库的数据资源(包括表单填报)，交换到港口数据中心。

(6)综合应用的数据支撑

基于港口数据中心，根据港口在建各业务系统的数据需求，为领

导决策、综合业务管理、企业信息服务提供基础数据和业务数据(来

自港口数据中心)。

(7)建设综合管理系统

在交换服务和目录服务的基础上，开发综合管理系统，支持平台

运维管理、授权管理、共享管理等。共享管理即各单位、领导在交换

平台上进行的数据资源共享申请、审核、批准等业务工作，实现共享

需求管理的无纸化办公。

-7-

第二章业务需求

21数据采集

2.1.1.采集数据

(1)海关

・进口货物仓单信息

•出口预配仓单信息

•出口清洁仓单信息

•报关单放行信息

•转关单信息

•报关单审批状态信息

•进出口货物查验指令信息

•企业海关备案情况信息

•

(2)检验检疫

・进口货物放行信息

-8-

・进口货物查验指令

•进口货物集中转检信息

•进出口通关单信息

•企业检验检疫备案情况信息

(3)港

船舶集港时间信息

•船舶动态信息

•运抵信息

(4)市、区

主要是基础数据：包括人口、法人、地理信息等基础数据等。

(5)物流企业

主要是物流企业的相关业务数据等。

2.1.2.外部数据

(1)市和区

主要是报市商务委、区等部门的相关数据。

-9-

22数据业务

2.2.1.资源目录管理

港口共享信息资源依托于各单位信息资源库建立，提供者从中分

别提取出各类业务信息资源的特征信息，编目形成信息资源核心元数

据，注册到信息资源元数据库中，生成信息资源目录。使用者通过信

息资源目录一站式服务对信息资源进行目录查询。目录系统的业务模

型如下图所示：

-10-

2.2.2.数据共享交换

数据共享交换体系由一系列交换节点组成，依托企业专网和信息

安全基础设施，通过采用信息资源交换标准，实现跨部门应用系统之

间的信息资源交换。交换体系的概念模型如下图所示。

交换结点交换结点交换结点

业务信息：是由港口各部门、各单位产生和管理的企业信息资源。

交换节点：是交换体系中信息资源交换的起点或终点，完成业务

信息与交换信息之间的转换，并通过交换服务实现信息资源的接收和

发送。

交换信息：是交换节点用于存储参与交换的信息资源。

中心交换节点：主要为交换信息提供点到点、点到多点的信息路

由、信息传送功能和工作流机制。在两个端交换节点之间可以有。个

或若干个中心交换结点。

共享信息库：是可以为多个端交换节点提供一致的信息资源信息

集中存储区，包括基础信息资源、共享信息资源等。任意一个端交换

节点可以按照一定的规则访问共享信息库。在交换体系中，共享信息

-11-

库是可选的。

交换服务：是支持交换节点间执行交换信息资源的操作集合。通

过不同交换服务的组合支持业务协同。

2.2.3.分析决策管理

港口的运营涉及海关监管业务、检验检疫业务、仓储配送业务、

物流运输业务、港口生产运营业务及对企业、驾驶员的业务信息服务

等业务内容。每一项业务都需要精细化管理，而管理方案及工作指令

的制定都需要各项业务数据的综合分析的基础上完成。因此，各项业

务的数据的整合是必须的，只有在综合各项业务信息并按照实际需要

进行综合统计分析才能为决策提供辅助支撑。因此，建立充分整合各

项业务数据的数据中心，为企业运营服务提供综合分析数据是十分必

要的。

23功能需求

数据交换平台要实现：港口各部门的数据和相关应用系统之间的

数据实时交换，不同部门之间的数据交换、各个应用系统之间的数据

交换、异构数据库之间的数据整合提供技术手段。各个应用系统可以

利用这个统一的数据交换与传输平台，实现对应用系统透明、跨操作

系统、跨数据库以及跨应用系统和跨管理域的数据交换。平台的基本

功能需求如下。

-12-

2.3.1.目录服务功能

提供共享数据的目录服务，实现中心现有数据、各单位共享数据、

各单位共享需求目录在平台的注册、查询、修改等功能。提供目录与

具体数据关联的功能，使各级管理员通过目录查看权限范围内的具体

数据。其主要的功能需求如下：

(1)以树的方式展现港口及各相关单位提供的信息资源库的全

局目录，并为信息共享机制提供基础数据。用户通过企业信息资源目

录可以很清楚的知道每一个单位提供哪些业务数据，每一种业务数据

都有哪些特性、获取办法及相关的联系人和负责人。信息资源目录以

各单位为单元组织数据，同时提供数据查询功能。

(2)信息共享机制包括访问接口和标准、共享传输机制、资源

库访问服务标准和规范等。信息共享的访问接口和标准，访问接口和

标准负责接收来自相关单位平台系统的共享数据请求，并调用共享机

制中相应的功能。访问的接口和标准包括API接口、WebService接口

和ML接口，其中ML接口负责处理与共享数据相关的ML解析。

(3)信息的共享传输机制，该机制负责接收来自接口的请求，

启动数据传输机制，调用相应的共享数据标准接口服务获得相关的数

据，同时完成基于数据类型的权限控制及对数据进行必要的加密签名

等功能。共享机制包括功能层和数据传输层两个层次。功能层包括路

由选择、权限控制和加密签名，由接口层调度；数据传输层根据具体

的应用环境实现远程的数据传输功能，数据传输层可以基于JMS机

制、基于WebService的调用和基于RMI的调用。

-13-

(4)信息的共享标准和规范，这些标准和规范是为了能够适应

共享机制的要求对各相关系统提出的共享数据接口服务实现规范，共

享数据接口服务的具体实现由各相关系统即由相应的信息维护单位

完成，但必须遵循这些标准和规范，以便能够被平台共享机制调用。

2.3.2.数据接入功能

数据共享交换平台交换的数据(含共享库中数据)大部分来自海

关、国检局、港等单位，数据源多样，数据分散，需要功能强大的数

据采集工具采集各单位数据。

出于经济性、灵活性的考虑，要求数据采集提供可视化配置工具,

可以通过简单配置实现各种数据源的接入；并且能根据新增业务数据

交换需求进行灵活配置即可实现新增数据的接入。

针对目前市场上主流数据交换平台在实际应用环境中出现的各

类易用性、实用性问题，我们充分借鉴自身丰富的同类项目成功案例，

基于数据交换产品提供的现有交换节点应用基础，开展交换服务最后

一公里的开发建设，通过提供可视化的交换服务配置功能，用户可通

过可视化操作界面完成对各本地多类型数据库结构的自动读取、数据

自动采集、交换共享工作，即通过在平台接入配置页面中填写应用系

统数据库URL、服务端口、数据库类型、服务名、SA、Password等

内容，适配器控制台自动发起请求，读取数据库表结构，并将库表结

构动态加载至适配器接入操作页面，用户通过在页面中针对具体DB、

Table、Clum通过鼠标点选的方式完成数据内容标记并选择提交，适

配器底层在调用ML配置模板中将用户点选的内容作为关键字填充

-14-

形成完整的MLBody内容，自动触发配置文件运行，通过一连串的

底层自动调用以及交换规程，完成异构数据库的接入和数据采集、发

送工作。

通过应用的可视化接入，用户可无须进行底层编码和复杂的产品

应用配置工作即可完成本地数据的平台接入工作。

另外，共享数据库的数据最终将以各种方式提供给机关单位，因

此数据交换平台亦应提供灵活的配置接入功能，接入基础数据库数据,

交换给应用系统或其他数据交换平台。

2.3.3.数据交换功能

平台应提供高性能的、稳定的数据传输、转换服务，保证各采集

接入节点数据及时准确地交换到共享数据库，共享数据库可稳定准确

的提供给其他系统。数据交换与其他行业的管理系统或企业应用系统

有很大区别，数据量随港口业务事件等的变化而变化，系统负荷不均

衡，要求交换系统能够适应这种不稳定的传输负荷。在实时性需求中

最重要的需求是大并发处理能力，当出现大并发交换时，数据交换平

台应对各节点数据接收处理任务进行负载均衡和分担，缩短数据在消

息队列的排队延迟时间，提高系统的响应速度和处理效率。

(1)交换引擎功能

基于BPML国际标准的数据交换和数据推送引擎，实现数据交

换流程；

(2)流程定制功能

-15-

可视化定制数据交换流程；

(3)数据抽取或装载

支持各种主流数据库和格式文件的可视化数据抽取或装载；

(4)数据格式转换

图形化的基于ML的数据变换规则定义工具，轻松实现系统间同

一语义不同结构数据格式的转换；

(5)支持多通讯模式

支持数据的发布/订阅、请求/应答通信模式；发布/订阅通信模式

完全是一种“推"(Push)的技术；而请求/应答通信模式是对传统

Client/Server通信模式的支持，即支持“拉”(Pull)技术。用户可以

根据具体应用的信息处理流程来选择合适的通信模式。

(6)基于主题的消息路由

主题是消息目的地的字符串描述，基于消息主题实现消息的路由,

可有效地实现消息的发布和订阅，实现数据抽取、转换、加载与应用

之间的松散耦合，使得数据交换平台具有良好的可扩展性。

(7)数据传输

提供JMS、WebService.FTP、HTTP、远程目录和EMAIL等多

种方式数据传输；支持与主流消息中间件的集成；确保数据可靠传送；

支持数据传输过程中的数据压缩/加密处理，保证数据传输安全；

(8)系统扩展

-16-

预置丰富的功能插件（适配器），提供开放的适配器二次开发接

口API；

2.3.4,数据统一存储

建立全港口统一的共享数据库，内容全面，存储相关单位交换共

享的数据，并支持中心的应用系统。

形成全港口的共享数据存储标准，作为对相关单位和应用系统存

储数据的标准指导。

2.3.5,业务应用支持

对原有应用接入平台的支持：港口原有的应用要通过平滑的方式

过渡，不能影响应用的运行，原有应用系统存在数据库访问写死在程

序中的问题，要采取相应的策略解决并且要对安全性有一定的保障。

对新应用建设的支持：对新建的应用的数据存储有明确的方案,

说明可能新增的数据的支持方法，提供统一的数据支持接口，使新建

应用系统的开发和新数据共享库的设计可以同步进行。对于新建系统

中特殊的数据类型要有具体的支持方法。

2.3.6.权限与访问控制

能够对用户级别和相应的权利范围进行划分和授权，保障平台的

安全性。平台的权限定为四个级别：各级领导、平台管理员、节点管

理员和浏览用户，各级领导拥有信息资源共享许可的审批权限，需要

经过确认的信息资源共享可经过处级或厅级领导的批准；平台管理员

-17-

能够进行数据库数据输入和输出的配置、传输权限配置与分发、查看

数据以及平台的二次开发等权限；节点管理员能够配置节点数据库、

提交共享申请以及查看数据等功能；浏览用户能够查看目录以及平台

发布的相关信息。

2.3.7,平台管理功能

这个功能模块主要面向从港口的角度对整个共享交换工作的管

理，使管理有具体的数据支持，透明化。

(1)数据传输监控功能

监控上传数据的单位是否按约定频率和数量上传数据，为了加强

数据交换的管理，数据的传输需要监控到相关单位数据推送和获得数

据的时间。

(2)数据传输情况展示功能

对数据传输过程的各类状态实时监控，通过平台可以将数据传输

成功/失败、乃至是否存在断点续传等内容在平台上进行展示，督促

数据传输工作。

(3)共享申请安全管理

需求方向港口提交共享申请，申请内容包括：所需信息资源清单、

用途、保密条款等等，以及其他特别提出的要求。经过港口审查之后，

平台管理员通过平台赋予申请方相应的权限，实现信息的交换。实现

申请表的生成，在线审批等功能，并可随时查询申请过程的状态，审

理结果，使申请管理透明化。为加强共享管理，所有对数据的控制权

-18-

限全部由平台管理员掌握，即平台管理员对所有节点的信息资源有控

制权，可以随时获取。

（4）可视化配置和管理功能

管理模块的需求发生变化的可能性比较大，需要对这一模块的功

能实现可配置化，满足新的管理需求。

可视化交换服务配置功能，用户无需了解底层ML、WebService、

Adapter等编译环境，通过平台提供的可视化配置管理服务组件，由

用户在交换服务组件安装配置过程中，定义组件类型（文件、数据库

适配器组件等）、组件应用途径（文件收发、数据收发等）、组件配置

（连接本地数据库IP地址、服务名称、端口号、DBSA、Password）,

并可在组件管理功能中修改、维护现有交换服务配置；可视化管理，

为便于交换服务的维护和管理，系统还将提供全局运行监控管理，管

理员可通过此功能实时掌握中心以及各交换节点的运行状态，最终实

现共享交换功能及信息资源共享交换过程的可视化管理与展示。

可视化配置管理主要包括中央控制器和节点服务器的配置管理,

可实现逻辑上集中式管理。控制台配置维护：守护线程间隔；IP地址

过滤；数据库参数配置等；适配器配置维护：可视化配置向导、ML

配置文件等；适配器的安装、重复安装；节点适配器软件分发、远程

安装。

24数据分析

系统建设所需要的信息资源主要包括基础数据资源、业务信息资

源、综合管理信息资源、共享信息资源等。基础数据资源包括人员信

-19-

息、企业信息、地理信息等。

2.4.1.基础数据库

做为港口信息资源体系的有机组成部分，生产作业管理系统的数

据库架构完全遵循信息资源平台的数据库架构规范，即：采用元数据

描述方法建立信息模型，生产作业管理系统的所有业务对象都要建立

相应的元数据描述结构，并在业务处理过程中使用相应的业务属性值

传递业务状态。

-20-

一

元数

数据

据库

管管

理理

系系

统元统

数

据

库

构

库结

数据

统的

理系

业管

产作

4-1生

图2.

计

、工班

计划库

：作业

包括

据库

务数

的业

核心

系统

管理

作业

生产

备检

库、设

备台账

库、设

急预案

库、应

度报告