广州电子口岸管理有限公司EDI系统升级方案20150818-v1.1

29/29广州电子口岸EDI系统升级方案威络先导软件（北京）有限公司2015年7月

变更历史版本变更时间变更章节性质变更内容修改人批准人1.02015.8.18NAxway注：性质可以为N-新建、A-增加、M-更改、D-删除P-批准

目录1. 概述 51.1. 编写目的 51.2. 读者 51.3. 术语 51.4. 项目背景 72. EDI系统现状 82.1. 软件产品 82.2. 物理环境 82.3. 传输现状 92.4. 业务种类 92.5. 存在的问题 103. 升级方案 113.1. 升级产品列表 113.2. 升级系统部署架构 113.2.1. 数据转换模块（Integrator） 123.2.2. 数据传输模块（Interchange） 143.3. 升级系统物理架构 163.4. 硬件环境建议 173.5. 升级系统流程设计 183.5.1. 报文传输 193.5.2. 报文备份 223.5.3. 报文解析 223.5.4. 信息查询 223.5.5. 动态转换 223.5.6. 映射模块 233.5.7. 报文路由 233.5.8. 队列传输 234. 实施方案 254.1. 实施内容 254.2. 实施人天评估 265. 附录 27概述编写目的本文是威络先导软件（北京）有限公司根据广州电子口岸管理有限公司（以下简称“广州电子口岸”）EDI（电子数据交换）中心平台的需求为广州电子口岸EDI系统编写的升级方案，为后续项目的程序开发、实施、测试、部署等活动提供参考和依据。读者本文档面向的对象为Axway公司的项目管理和系统设计工程师，以及广州电子口岸EDI升级项目管理和系统设计组人员，以及广州电子口岸相关开发人员。术语名词解释EDI（electronicdatainterchange）EDI是将贸易、生产、运输、保险、金融和海关等事务文件，通过电子邮箱按各有关部门或公司企业之间的标准格式进行数据交换，并按国际统一的语法规则对报文进行处理，是一种利用计算机进行事务处理的新业务。XIBv2目前广州电子口岸EDI系统的基础软件产品，由Axway公司提供，实现交换数据的处理和路由。Gateway目前广州电子口岸EDI系统的基础软件产品，由Axway公司提供，实现交换数据的传输，主要是作为FTPServer使用IntegratorAxway公司新一代数据交换核心软件产品。InterchangeAxway公司数据传输软件产品，支持主流的B2B安全传输，如EDIINTAS1、AS2、AS3、AS4、WebService及RosettaNet等。FTP是FileTransferProtocol（文件传输协议）的英文简称。用于网络上的控制文件的双向传输。同时，它也是一个应用程序（Application），基于不同的操作系统有不同的FTP应用程序，而所有这些应用程序都遵守同一种协议以传输文件。Email即电子邮件，是—种用电子手段提供信息交换的通信方式，是互联网应用最广的服务。通过网络的电子邮件系统，用户可以以非常低廉的价格（不管发送到哪里，都只需负担网费）、非常快速的方式（几秒钟之内可以发送到世界上任何指定的目的地），与世界上任何一个角落的网络用户联系。WebServiceWebService是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，可使用开放的XML（标准通用标记语言下的一个子集）标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序。AS2AS2协议首先通过证书(Certification)进行数据加密和数字签名生成数据包,然后通过HTTP(或HTTPS)协议传输。JDBCJDBC（JavaDataBaseConnectivity,java数据库连接）是一种用于执行SQL语句的JavaAPI，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。POP3全名为“PostOfficeProtocol-Version3”，支持“离线”邮件处理。其具体过程是：邮件发送到服务器上，电子邮件客户端调用邮件客户机程序以连接服务器，并下载所有未阅读的电子邮件。SMTP全称是“SimpleMailTransferProtocol”，即简单邮件传输协议。它是一组用于从源地址到目的地址传输邮件的规范，通过它来控制邮件的中转方式。SOAP简单对象访问协议是交换数据的一种协议规范，是一种轻量的、简单的、基于XML（标准通用标记语言下的一个子集）的协议项目背景2006年，广州电子口岸EDI平台采用Axway公司数据交换核心软件XIBv2搭建了EDI系统，及后期增加Gateway作为传输网关，实现了广州口岸物流的“一站式服务”以及口岸物流业务信息的电子化传递，大大提高了口岸物流的信息交换和处理效率，为整个广州口岸国际物流提供了高效、便利、快捷、准确、经济的通关及电子商务服务的统一信息平台。然而，随着口岸业务信息的多元化和复杂化，现有的EDI平台开始不能完全满足业务方面的查询和错误定位需求，而且考虑到未来平台和口岸各业务单位之间的融合问题，技术上还包括处理性能的提升、支持更多安全传输协议和易用性等问题，对当前EDI平台的升级已经刻不容缓。

EDI系统现状软件产品XIB2.1.1+SP3Gateway6.13SP9+SecureRelay物理环境目前广州电子口岸的EDI系统分开发环境、运行环境和备份环境，具体物理环境架构如下：运行环境（AIX）：XIBv2+Gateway热备环境（AIX）：XIBv2+GatewayDMZ环境（AIX）：XSRRA*2传输现状当前的EDI系统主要通过传统的FTP协议与各个业务合作伙伴进行报文传输，其中在专网环境和Internet下采用FTP与海关、国检、码头/港口、船公司、运输公司、货主、货代等进行业务交换。业务种类广州电子口岸目前主要使用的电子单证的标准有海关、检验检疫以及大量用户自定义标准格式，主要的业务单证包括：原始舱单预配舱单装载舱单运抵报告理货报告运输工具动态跨境贸易电子商务相关电子单证数据其他存在的问题广州电子口岸EDI数据交换系统从2006年正式运行到现在，随之技术经验的积淀以及业务发展对技术层面的更多需求，当前的EDI系统面临以下新的技术挑战：报文格式校验的反馈信息不足，特别是错误格式，不能准确定位错误字段的位置；报文的转换与报文落地从流程上并未分开处理；数据映射无法直接从数据库取出或者插入，需要编写程序完成；原有的Datamapper功能较弱，无法根据路由信息进行区别化映射；报文的备份没有一个良好的处理机制；报文映射出错导致数据库堆积的连接数不断增加而不能自动断开；报文字符集转换处理需要进一步优化；报文传输普遍采用FTP协议，服务形式比较单一，且安全性较差，无法支持目前主流的B2B协议；传输的监控性和时效性较差；公网（Internet）传输的扩展性较差；Gateway运行不够稳定，业务量较大时多次出现服务挂起无相应的情况，一直未准确定位到问题原因；业务量迅猛增加，难以满足性能需求。此外，广州电子口岸EDI平台正在采用的基础软件产品是Axway公司提供的XIBv2和Gateway，由于产品过于陈旧，Axway厂商已经终结对该产品的维保服务，若要对现有的EDI平台进行升级，需要采用Axway公司提供的新一代数据交换核心产品Integrator和Interchange，版本为3.7和5.12。

升级方案根据以上对广州电子口岸EDI系统现状的描述和分析，本章主要描述升级方案的具体内容。升级产品列表Axway公司推出的新一代数据交换核心产品套件如下：AxwayComposer3.8：集中统一的开发部署工具AxwayIntegrator3.7：XIB产品的升级版，可将报文流程和报文转换松耦合处理AxwayInterchange5.12：传输网关模块，支持各种传输协议，集成了公网几乎所有的传输协议升级产品新特征：提供统一的开发部署界面，管理方便快捷支持拖拽，开发部署操作性更强全面支持64位操作系统，支持国产Linux系统，性能更加稳定，扩展性更强全面支持Java程序开发，可以完全替换MBC的功能，并提供全方位JavaSDK接口支持JDBC方式访问数据库，并可调用存储过程更多新特性，请查阅附件Integrator3与XIB2的比较文档升级系统部署架构升级平台的部署架构如下图： 说明：升级版的EDI系统分为数据转换模块（即Integrator）和数据传输模块（即Interchange）。数据转换模块（Integrator）数据转换模块（Integrator）通过集中的开发工具进行配置开发，完成内部应用集成、数据转换、动态流程控制、信息路由、系统管理等功能。实现的功能负责不同格式报文之间的互相转换支持任意报文格式之间的相互转换提供与企业内部应用系统的集成功能提供对传输数据和报文的相关处理，包括对数据和报文的报文收发、报文拆分、报文校验、报文解析、报文映射、报文封装等功能能够根据相关报文内容或属性进行智能路由开发部署统一管理，支持拖拽式流程定制支持所有的W3CXML标准，可以方便的导入Schema和DTD及XML示例文件。支持对指定自定义数据和XML报文的格式识别和格式校验，另外可以添加根据用户业务规则进行报文检验两种报文之间的转换不需要转换为某个中间格式，比如EDIFACT转为平文件，不需要先将EDIFACT转换为XML，再将XML转为平文件内嵌业务活动及处理监控窗口，可供管理人员随时掌握报文处理状态内部应用集成数据转换模块(Integrator)通过数据流程设计的方式实现EDI平台与后台系统如FTP、数据库之间的集成。后台应用集成的实现是通过应用适配器、数据库适配器、通讯适配器等和各个应用系统互联，把各个应用系统无缝连接起来，使它们协调统一的工作。数据转换模块(Integrator)提供了多种应用适配器，包括FTP、MQ、JDBC等，从而实现EDI平台与广州电子口岸内部应用系统之间的松耦合集成。数据转换引擎对于需要数据转换的应用集成，需要在开发配置平台（Composer）中进行报文源格式和目标格式的定义，并根据映射规则通过鼠标拖拉实现格式转换。Composer会通过自动部署工具生成格式转换程序，部署到服务器端执行。Composer是一个用来创建转换程序的图形化用户界面的工具，具有非常友好的用户界面，操作简便。用户通过Composer，几乎不需要做任何的编程工作，只需要鼠标拖拉，就可以完成源报文和目标报文之间的格式转换。其中，包括EDI数据格式和SAPIDOC格式之间的图形化转换。配置界面如下：动态流程控制数据转换模块(Integrator)通过IntegrationProcess来配置和实现数据流程的动态控制。在IntegrationProcess中，预先定义好报文处理的基本流程，流程由多个Activity按序组成，其中包含一步动态数据映射Load引擎，此引擎可以根据参数动态决定Load相应数据映射对象，然后根据处理结果决定数据的最终流向。智能的信息路由数据转换模块(Integrator)支持基于报文头、文件内容、文件属性来动态路由，每一个合作伙伴发送的每一个报文都可以动态决定处理的过程。配置界面如下：全面的系统管理用户管理数据转换模块(Integrator)是多用户系统，多名用户可以通过不同权限来配置、操作和维护交换平台。配置管理数据转换模块(Integrator)配置管理的主要目的是为了使得数据处理中心尽量少的占用系统的硬件资源，并且更高效的实现报文的处理过程。处理模式数据转换模块(Integrator)支持集中式的结构（星型结构）。只需要在中心节点部署一套，所有的配置、开发和管理维护等都可以在中心节点实现。同时Axway数据处理中心也支持分布式处理和并行处理的模式。分布式处理是指Axway数据处理中心可以把不同的任务分布在不同的服务器上分担处理，主要是指将不同的ProcessEngine分布在不同服务器上。这样可以平均分配不同服务器的处理负载，减少瓶颈。并行处理是指Axway数据处理中心充分利用服务器的硬件资源，在同一台服务器上对同一处理任务，部署多个ProcessEngine，从而起到并行处理的效果，大大提高处理性能。数据传输模块（Interchange）数据网关模块(Interchange)提供了一个企业与合作伙伴进行B2B数据交互的统一通讯网关，大大增强企业B2B业务交换的反应速度和能力。它的首要特点是广泛的B2B协议支持、高稳定性、高可靠性、高性能、大数据量、非侵入、多平台、高安全性以及良好的Web用户界面。对于B2B信息传输的路由，数据网关模块(Interchange)提供了很高的自动化,部分原因是因为自动功能是基于产品标准的。决策规则可以使路由行为更加自动化，不仅仅是直线处理。对于管理B2B通讯，数据网关模块(Interchange)提供了一个统一的Web管理界面可以实现全球性的管理与控制。实现的功能统一、安全接入，负责企业与外部伙伴之间进行报文的安全传输提供标准的公网/专网协议传输，保证报文安全无误的传输能够自动实现传输数据的压缩解压、加密加签、解密验签等提供标准的FTP、JMS以及各种公网协议的支持，便于未来扩展通过社区的概念通过可视化界面实现协议管理、证书管理、合作伙伴管理等部署方式灵活，更支持DMZ部署方式对于传输的报文格式没有要求自带业务传输监控查询界面，让业务传输管理人员随时掌握报文传输状态B2B传输协议数据网关模块(Interchange)是经过国际权威组织DrummondGroup认证过的优秀B2B传输网关产品，广泛支持B2B传输协议。数据网关模块(Interchange)支持各种通讯协议：EDIINTAS1、EDIINTAS2、EDIINTAS3、RosettaNetRNIF1.1、RosettaNetRNIF2.0、ebXML、PeSIT、OFTP、FTP、FTPS、HTTP、HTTPS、WebService、SMTP、POP3、SFTP、JMS等。企业对外的所有数据和报文传输，都可以通过数据网关模块(Interchange)“单点接入”。这样既有利于数据交换的方便，又可以加强合作伙伴的管理和安全性的控制。在本项目中，我们提供了OFTPV1/V2、FTP、JMS协议支持。用户未来有新的协议支持的需求，可以方便的实现扩展。数据传输安全性由于数据网关模块(Interchange)实现的是一个单点接入的通过INTERNET的文件传输功能，因此，它很容易在完整的安全系统中实现与一个DMZ的集成。所有身份认证都在数据网关模块(Interchange)中集中完成。这样可以防止INTERNET的合作伙伴连接到生产的机器和业务网络中，因此可以提高稳定性和安全性。数据网关模块(Interchange)还内置了KPIServer，可以方便快捷地管理自身的安全证书，同时兼具合作伙伴证书管理的功能。方便快捷的配置管理快速安装、配置及部署；简洁直观的合作伙伴管理；简洁直观的B2B数据传输流程配置；方便快捷的数据流错误定位；向导式功能操作；提供远程IE浏览器管理；复杂、直观的消息管理；Axway同时提供中小企业传输客户端解决方案，如只需FTP/S、SFTP、HTTP/S协议传输文件可以使用AxwaySecureClient，除支持前述协议外，支持自有证书的导入，使用Windows自带的证书库，可以实现计划任务自动传输。如需使用B2B相关协议（如EDIINTAS1、2、3、4）可以使用Interchange的Endpoint，功能和Interchange基本一致，但不支持并发处理，支持的合作伙伴数量少等局限。升级系统物理架构升级版EDI系统仍然保持开发环境、运行环境和备份环境，具体物理环境架构如下： 开发环境（Windows/Linux）：Composer+Integrator+Interchange运行环境（Linux）：Composer+Integrator+Interchange热备环境（Linux）：Composer+Integrator+Interchange方案特点：系统的生产环境中数据网关模块Interchange与数据转换模块Integrator分开部署，实现了系统对外部合作伙伴的AA传输。如添加负载均衡设备，在Interchange实现AA部署情况下，可以对传输实现负载均衡。同时也可以通过将不同业务数据通过信息队列或者文件系统分类，后台由多个Integrator并行处理不同业务数据以实现数据处理的分布式处理。用户案例：海关总署、中国电子口岸等。硬件环境建议开发环境安装组件操作系统CPU内存集群InterchangeIntegratorComposerWindows2008-64-bit4CPU,dual-core32GB或以上否运行环境安装组件操作系统CPU内存集群InterchangeIntegratorComposer中标麒麟Linux高级服务器版(V6.0)2路*8核2.4GHzCPU64GB或以上是热备环境安装组件操作系统CPU内存集群InterchangeIntegratorComposer中标麒麟Linux高级服务器版(V6.0)2路*8核2.4GHzCPU64GB或以上是DMZ环境安装组件操作系统CPU内存集群SecureRelayRA*2中标麒麟Linux高级服务器版(V6.0)1CPU,dual-core8GB或以上否升级系统流程设计升级系统的流程设计如下图：说明：Interchnge负责与外部单位的数据传输，比如专网下通过FTP、MQ、JMS等进行接收或发送报文，公网环境下采用FTPS、SFTP、HTTP/S、Webservice或AS2等协议实现与外部单位的数据传输；Integrator负责对报文的处理，对报文内容进行备份、解析、格式校验、转换以及路由等；Interchange与Integrator之间通过JMS方式实现数据的通讯，即Interchange从外部单位接收到数据之后将报文落地到队列服务器中，Integrator通过监听队列的方式获取从Interchange发送过来的报文，Integrator处理完报文之后将结果报文再发送到队列中，Interchange获取结果报文之后发送给外部单位；报文传输广州电子口岸EDI升级系统与外部的合作伙伴采用各种协议进行报文传输主要通过传输模块Interchange实现，对于各种传输协议的实现方式如下描述：FTP方式Inbound：即外部单位通过FTP方式发送报文给广州电子口岸EDI系统时，广州电子口岸EDI系统既可以提供FTPServer，外部单位根据系统提供的FTP信息将报文放入到指定位置；也可以作为FTPClient从外部单位提供的FTPServer获取报文数据。Outbound：广州电子口岸EDI系统通过FTP方式将报文传输给外部单位时，Interchange既可以作为FTPServer的方式让外部单位通过FTPClient获取报文，也可以作为FTPClient的方式将报文发送给外部单位提供的FTPServer。消息队列方式Inbound：外部单位通过标准JMS方式发送报文给广州电子口岸EDI系统时，EDI系统通过JMS协议获取发送过来的报文并进行处理。Outbound：广州电子口岸EDI系统通过JMS方式发送报文给外部单位时通过JMS协议将报文发送到外部单位对应的消息队列内。Axway产品支持标准的JMS队列，如IBMMQ、ActiveMQ、AxwayMessage、OracleOpenMQ、SonicMQ、WeblogicQ、东方通TLQ等。WebService方式Inbound：外部单位通过WebService方式发送报文给数据交换系统时，广州电子口岸EDI系统负责提供统一的Webservice服务用于接收外部单位发送的报文，外部单位作为Webservice客户端发送报文，发送报文时只需要将所传输的标准格式报文作为SOAPBody传输即可。Outbound：广州电子口岸EDI系统将接收的文件处理之后将结果报文通过WebService客户端的方式将标准格式的报文通过SOAPBody发送到外部单位各自提供的WebService服务下，外部单位接收到报文后按照报文标准格式进行内容解析和处理。AS2方式Inbound：外部单位通过AS2方式发送报文给广州电子口岸EDI系统时，广州电子口岸EDI系统需要创建AS2服务用于接收外部单位发送的报文，外部单位同样需要创建AS2服务进行发送报文。Outbound：广州电子口岸EDI系统将接收的文件处理之后将结果报文通过AS2的方式将标准格式的报文发送到外部单位各自提供的AS2服务下，外部单位接收到报文后按照报文标准格式进行内容解析和处理。报文备份升级版的EDI系统提供报文的备份功能，备份的工作通过EDI系统的转换模块Integrator来执行，备份的方式既可以为文件也可以为数据库。这里建议采用数据库进行备份，理由是一方面会节省存储空间，另一方面备份的文件可以很方便地跟文件的各种属性进行关联（即将报文和报文属性存放在同一条记录），同时在门户系统进行显示或重发的实现相对容易些。也可以将报文备份到Oracle的Blob或者Clob字段中。备份的节点是在Integrator接收到报文之后，同时获取报文传输的属性（比如发送者、文件名称、文件大小等），然后将属性值和源报文以记录的方式存放到数据库中。报文解析报文的解析同样发生在EDI系统的数据转换模块Integrator，Integrator在接收到报文之后要对报文体进行解析，报文解析主要是对报文头内容的解析，通过解析报文头获取流程处理中需要的字段内容并将其保存到Integrator流程的变量中（即流程属性）供后续节点使用。信息查询信息查询阶段是在报文解析之后进行的数据库信息查询，查询的依据是在报文解析阶段获取的报文头内容（比如发送方代码、接收方代码、报文格式、报文业务类型等），通过以上内容作为查询条件从数据库记录中获取该报文进一步处理的信息（比如Mapping的模块名称）以及接收者的路由信息（如接收者的传输协议信息：IP地址、端口号、邮件地址、用户名以及密码等）。动态转换需要说明的是，升级版的EDI系统流程处理和映射模块式相互独立的，对于流程正在处理的报文需要执行映射库中哪一个映射模块是通过数据库的配置信息获得，而数据库的这些配置信息需要用户开发相应的页面进行人工维护，维护的信息需要指定某个发送方+某个接收方+报文种类+报文类型需