产品研发部产品规划说明书

1、通用产品研发部产品规划方案汇金科技有限责任公司2022年12月3日1 引言31.1 编写目的31.2 主要内容32 原有产品线规划IDP系列33 MTT品概况53.1 产品功能 53.1.1 版本历史53.1.2 框架结构63.1.3 网络支持63.1.4 硬件支持73.1.5 操作系统支持73.1.6 开发语言73.1.7 交易特性83.1.8 平安性83.1.9 传输性能吞吐率 83.2 竞争对手和市场分析 83.3 下一步开发方案暂 93.3.1 开发策略和原那么93.3.2 开发内容104 Sync产品概况135 WebFirst 产品才况206 产品新规划207 外汇账户信息交互平台

2、 2.0开发过程 错误！未定义书签.7.1 系统交接准备 错误！未定义书签.7.1.1 文档交接错误！未定义书签.7.1.2 代码交接错误！未定义书签.7.1.3 支持协助 错误！未定义书签.7.2 熟悉原系统错误！未定义书签.7.2.1 阅读所有的文档 错误！未定义书签.7.2.2 根据安装手册安装分局效劳器并配置错误！未定义书签.7.2.3 根据安装手册安装 Notes客户端并配置错误！未定义书签.7.2.4 启动分局效劳器和 Notes客户端从总局安装程序 .错误！未定义书签.7.2.5 从IE浏览器进入交互平台按手册进行初始化配置.错误！未定义书签.7.2.6 切换用户角色了解业务功能

3、错误！未定义书签.7.2.7 阅读源代码,了解其设计原那么和编写风格 错误！未定义书签.7.3 需求分析 错误！未定义书签.7.4 系统概要设计 错误！未定义书签.7.5 系统详细设计错误！未定义书签.7.6 编码/调试错误！未定义书签.7.7 内部测试方案及内部测试 错误！未定义书签.7.8 试点测试方案及试点测试错误！未定义书签.7.9 实施方案错误！未定义书签.8 外汇账户信息交互平台开发方案与进展 错误！未定义书签.1引言1.1 编写目的通用软件研发部承担公司一些根底类、业务无关类产品的研发工作,主要包括消息中间件、数据交换中间件or平台、应用效劳器中间件等 另外还有一些早期宣传或者规

4、划过的 产品,但由于种种方面的原因,未完全开展起来,本书不做重点说明为了更好地让研发部人员、市场人员、销售人员以及相关领导了解目前公司软件产品的现状和进一步规划,特编写此文档.1.2 主要内容包括原有产品规划、MT消息中间件概况、Sync数据交换平台概况、WebFirst应用服 务器中间件概况、产品新规划及开发过程建议等2原有产品线规划IDP系列公司产品定位：关键数据处理的专家,围绕数据的处理开展各种中间件类、工具类产品.ID陈列产品IDP-Cloud 云平台中问句*IDP-DTS数据交易中I句件IDP-WebFirst应用效劳器数据集市 数据仓库、数据抽取纱而 IDP-DME*数据监控犯件I

5、DP-ETLIDP-Sync 数据同步备份 ,jIDP-MT数据传输中卜件数才敷据ILAN / WANIDP-WebReport、数据分析到件网络连接 门间件图2-1 IDP产品线其中：表2-1 IDP系列产品描述产品名称产品概述最新 版本产品现状IDP-MT数据传输中间件用于业务数据在复杂网 络环境卜的平安PJ界传输和分布式应用 系统之间的消息传递5.0开展时间最长,相比照拟成熟,但竞争对手也很多.功能、易用性、稳定性上比 较强,性能稍差IDP-Sync数据同步备份中间件用于异构数据源之 间进行实时同步备份,该软件能够将不 同种类数据源的数据转换为内部纪-的 XML格式并对数据进行压缩、加密

6、以保 证数据在分布式网络环境中平安、可靠、 图效的传输4.0与MT 一起,满足一些数据问 步的需求,目前宿一些用户和 潜在用户.定位为数据同步,功能上离 数据交换平台或 ETL尚有一 定差距IDP-WebFirst是完全符合J2EE标准的应用效劳器,支 持SOA和云计算,支 、平板电脑等 移动终端访问,具备负载均衡和集群能6.1基于开源,产品比拟成熟,一 定程度上可以直接替代相对轻量级的Java Web应用.力,具备高性能、高可靠性、健壮的逻 辑处理和大负荷效劳水平,易于监控和 治理但性能和可治理性上无法与 websphere和 weblogic 等人；商产品抗衡.IDP-ETL完成各类数据的

7、抽取、转换和装载,可 以将分散、零乱、标准不务码制不 T的数据整合到目标数据库中,用于 整合标准数据、提升数据质量4.1包装的Kettle.IDP-WebReport报表工具很久未见开展,如果要开展应 该开展基于大数据的分析工 具.IDP-DTS数据交易平台用于完成关键业务系统的 数据联机交易处理,能保证交易处理的 局实时性、稳定性、完整性和平安性, 其内置对“交易中间件 + “业务支撑平 台 + “客户程序的统一支持可大大提 高了各类交易系统原型是核心交易系统,不太好 推广到其他行业.IDP-DME数据监控引擎通过用户自定义的规那么对 业务数据的各类异常变动进行监控和报 警.该系统基于规那么

8、引擎,能够提供灵 活快捷的业务数据监控和报警规那么的定 义和执行应该是没有或者仅有开源原 型IDP-Cloud云平台无,不过这块代笈-种新的研 发方向,包括移动互联、云计 算、大数据等.3 MT产品概况产品定位：消息传输中间件.3.1 产品概述产品定位：消息传输中间件.产品功能：可看产品说明书或用户手册等,再次不详述.3.1.1 版本历史表3-1 MT开展历史版本号年份功能MT2.01999通讯、路由、本地绑定 C/C+ APIMT3.02022增加治理工具、消息数据库MT4.02022增加事务、分段分组、加密加压、分发授权、Java ApiMT5.02022增加发布订阅、集群、JMS、客户端

9、API及工具、文件上传工具3.1.2框架结构根据这个框架,目前根本都有实现,有些实现不是很完善,只是解决了有无的问题.比方：命令治理：通过MT来传送命令消息群集治理：尚未实现存储配置之间的同步Pub/Sub引擎：性能和主题匹配上亟需完善.平安治理：尚需添加 TLS支持.3.1.3 网络支持MT通讯目前仅支持IPV4、TCP/IP协议,其他协议需要添加支持.多台MT效劳器可构成分布式、集中式、分布集中式网络.MT和客户端之间可通过网络交换数据.支持多种硬件连通的物理网络支持TCP/IP图3-2 MT效劳器拓扑3.1.4 硬件支持目前MT没有涉及硬件驱动类的代码,对于大局部主流开放的PC和主机硬件

10、均能够支持如Intel序列微机处理器、旧M POWER等RISC处理器.有些处理器需要编译后支持,如一些国产处理器、ARM处理器.3.1.5 操作系统支持Windows 系歹U: Windows2000/2022/2022/2022 server Windows XP/7/8/vista 等.Linux 系列：RedHat、CentOS、SUSE、中标麒麟、 Ubuntu 等Unix系列：AIX、HP等最新5.0版本需要编译移植IOS、Android :尚不支持.3.1.6 开发语言1. C:原生接口,支持最好2. C+: MTAPI尚需提供一套 C+格式的API供C+开发人员使用目前也可 以

11、直接调用C API3. Java/Jms：提供Java接口,但目前是采用Jni调用本地接口的 C API ,需开发Java直接与效劳器通讯的网络接口系统耦合度低、速度较快4. C#、Vb、Delphi等传统语言：利用自有调用动态库的机制调用MTAPI接口5. Python：需开发相应的 Python模块来调用MTAPI.3.1.7 交易特性目前MT没有实现真正的事务日志,目前实现的事务仅写了消息的ID,并没有写消息内容以及队列创立等操作.MT本身目前也不能作为一个事务协调器,比方同时协调MT和数据库的事务.3.1.8 平安性MT可以对效劳器和队列访问实行密码级别的限制,对消息实现加密,但尚需增

12、加 更好的连接平安特性,如效劳器与效劳器之间的SSL连接、客户端与效劳器之间的SSL连接.3.1.9 传输性能吞吐率有时候性能会作为消息中间件的第一指标,性能和稳定性平安性之间会有个平衡,MT的最高性能目前与一些竞争对手有差距但并不是不可逾越.解决性能问题主要从网络传输、存取效率、并发等几个方面入手.3.2 竞争对手和市场分析产品市场占有率非准确数据优劣势汇金科技MT国产中间件较低,仅限公司自有金融工程 和少局部合作伙伴工程.易用,有,定知名 度,但市场并没有打 开东方通 TongLinkQ国产中间件较局,政府、电信、金融等市场知名度远远局于MT ,产品相对来说较为难用IBM MQ国外中间件高

13、,国际商用70%以上市场国际品牌,功能强 悍,很强用户粘性；开源消息中间件ActiveMQ 、MetaQ、ZeroMQ等很多很多国外中间件高,互联网行业、中小企业系 统,使用开源消息中间件的比 较多不用收费,用户群庞 大,开展快；但用户 需要有较强大的研 发实力去熟悉这些 产品.分析：消息中间件这个领域应用相当广泛,应用类型也越来越多,MT还是和 MQ、TongLinkQ 一样属于比拟传统的基于队列机制建立起来的商用中间件.消息中间件虽然应用比拟广泛,但技术已经比拟成熟,市场总额还是比拟小的,且消息中间件在很多政府采购和工程采购中已经定位系统软件,作为企业IT系统的根底软件之一,一般大点的采购

14、都会采用买断价.MT主要的时机在于利用国产化浪潮,替换掉一些本属于MQ的市场,并利用与TongLinkQ差异不大的技术水平抢下一些份额.3.3 开发策略和原那么紧跟对手,持续改良：制定一个年度开发主线,对于大版本的升级,采用工程制的瀑布式开发过程,对于小版本维护的开发,采用迭代式开发过程.开发应遵守以下几点原那么.1） 界面设计风格统一简明易用维护简单文档清楚2代码与性能设计采用开放、容易移植的代码风格研究、借鉴、使用一些成熟的开源代码每个功能花足够的时间写好单元测试和用户例子,节约测试时间仔细研究客户提出或遇到的额外需求,假设非通用尽量转为外围工程开发设计重于开发3安装维护与治理小版本的安装

15、升级不影响原有应用程序的使用开发基于Web的集中式治理工具来治理 MT在平安性与灵活性之间平衡,在保证平安稳定的情况下提升系统的灵活性3.4 下一步开发方案暂根据目前产品功能、竞争对手和市场状况,拟定进一步的开发策略和方案.3.4.1 开发内容下表初略列出下一步需完成的工作这些工作不包含突发的、额外的支持和工程实施工作,再从这张表中遴选出 2022年需要重点解决的功能, 其中优先级为高的工作项应在 2022 年内完成,优先级为中的工作项尽量完成,优先级为低的工作项根据工程需要单独立项完成.表3-2待工作项表方案工作项子工作项工作描述优先级高/中/低人月初步估算系统增强1MT5.0 测试及文档小

16、差 l=r测试文档帮助制 作根据前期开发内容发布订阅、jms、网络客户端、tonglinkQ 桥等,在土 要白W Windows和Linux 平台上测试 MT各项功能,并同步更新用户帮助和 使用手册.高2*2人月264位移植并测试Linux64Windows64最初MT基于32开发的,但随着 64 位系统的流行,必须要重点考虑能在 64位系统上稳定运行的版本.高2*2人月3国产化移植龙芯 飞腾 申威在全国产化的平台上重新编译并测试 MT产品.高1*2*2人月.4MT平安增强设计Linux 版Windows 版效劳器与效劳器通讯增加TLS/SSL协议支持高立项开发,3*3 人月5传输性能增强设计

17、网络优化存储优化重点攻关传输性能和吞吐率,找到影 响系统性能的瓶颈,通过替换存储、 改良算法等方式来优化程序.中立项开发,3*3 人月6集群增强设计效劳器集群客户端集群5.0版本集群实现较为简单,集群治理 机本身会有单点故障中立项开发,2*3 人月7事务日志技术顶研 设计代码编写5.0版本领务日志并非正宗的预写式 日志 WAL ,由于消息存储没有一个真正日志机制,一定程度上也影响 性能和故障恢复中立项开发,2*3 人月8发布订阅增强基于消息内 容订阅 多级效劳器 订阅发布订阅技术相比点对点有更好的扩 展性,5.0版本的发布订阅机制消息搜 索性能会比拟低,需提升消息匹配、 搜索性能.中立项开发,

18、2*3 人月9MT5.0 其他平台的AIX版HP版在这些平台上重新编译并形成该平台 的版本.低1*2人月移植和测试10统一监控治理队列和消息 监控连接监控监控接口开发一套基于 web的统L监控治理 端,可以监控效劳器、连接、队列等 信息,提供多种监控接口.中立项开发,3*3 人月11瘦Java客户端高12其他开发如开发语言支持、操作系统支持等, 以及一些具体工程需要立项开发中全新开发暂不推荐1重新开发技术顶研 设计 开发 测试文档基于开源的消息中间件,重新设计开 发.至少5*12人月3.4.2 人力资源表3-3人力资源情况表角色责任需要最低需 求现有状况工程经理立项、治理、 方案2人江学海、李

19、抚产品经理或售刖宣传、推广 产品,调研、 收集产品需 求,形成用 户需求1-2人无需招聘1人分析和设计调研、分析 需求和设 计,指导程 序员编写代1-2人江学海兼任,需招聘1人码程序员编写代码4江学海、李抚、李梁兼任,需招聘1-2人测试员编写测试用 例、测试、 编写用户文 档.1-2杨刚需招聘1-2人配置治理员1无暂可工程组兼任技术支持接口1杨刚兼任3.4.3 时间方案首先需确定开发内容,确定终止时间,保证人力资源,才能制定切实可行的开发方案.下表是一个我认为的大致时间顺序.表3-4时间安排表工作项拟安排人员开始时间完成时间MT与 TongLinkQ 桥李梁2022年11月初2022年1月前完

20、成MT5.0测试及文档完善2人2022年12月初2022年2月前完成MT5.0 64位移植并测试2人2022年1月初2022年3月初国产化移植及测试2人MT平安加固及测试2人瘦Java客户端集群功能增强传输性能增强发布订阅功能升级统一监控4 Sync产品概况4.4 产品概述产品定位：数据同步与备份中间件.产品功能：可看产品说明书或用户手册等,再次不详述.4.4.2 版本历史表4-1 Sync开展历史版本号年份功能Sync2.02022传输基于MT3、数据抽取与转换、支持 SqlServer2022 和 Oracle10gSync2.02022传输基于MT4、增加文件夹传输、优化数据抽取和加载效

21、率、增加新 支持的数据库版本.产品由数据交换平台重新定位为数据同步与备份中间件.4.1.2框架结构标准标准中央限制任务治理资源发布映射治理转换效劳传输效劳审计统计效劳资源治理应用效劳界面构件命名效劳数据压缩和加密平安认证国际化日志效劳数据操作封装格式转换数据源治理配置数据过滤封装中间件接口命令协议数据库连接池统一 XML映射处理线程池根底构件适配器接口IDP子系统远程治理监控子系统接入子系统统计分析子系统资源治理与共享子系统数据转换子系统数据传输子系统平台应用效劳器LDAP效劳器JAVA虚拟机消息中间件数据库其他效劳、协议 支持图4-1 Sync功能框架分析：表4-2各子系统模块说明实现程度数

22、据转换子系统主要用来抽取和加载数据库文件的子 系统,是系统的核心,数据抽取和加 载功能偏数据库,不如ETL或者专门 的数据交换软件,有多种交换渠道.根本成型.这局部有许多开源的实现, 可以融入进来,增强功能.数据传输子系统基于MTAPI开发了一套可配置的文 件传输系统,通过该系统轻松配置文 件、文件夹同步类应用.根本成型.可以用其他产品替代.远程治理监控子系 统一个基于Web的统一治理限制系统尚未开发.所有的治理限制均在此子系 统中实施限制.推弃与系统相关性很大桌面 客户端.接入子系统提供适配器,由第三方应用 调用适配器接口传入接出数 据.Sync目前仅提供数据库、文 件、消息中间件适配器统计

23、分析子系统对数据传输、数据抽取与加载的日志进行统计分析.已有资源治理与共享子 系统包括应用系统注册、资源注册.资源目录治理,系统以目录的形 式治理所有信息元素,通过效劳 的形式将资源信息共享到其他应 用系统.该子系统是数据交换的核心子系 统之一,即通过治理信息元和应 用系统,订阅方根据数据信息订 阅信息,共享方向订阅发送数据.尚未开发.1.1.3 网络支持由于MT ,要求同3.1.3 .嵌入消息中间件优势在于,可利用消息中间件的连通性好、断点续传的优势,另外大局部情况下,用户并不愿意开放数据库端口.1.1.4 硬件支持由于MT ,要求同3.1.4 .数据转换局部基于java开发,但是由于目前是

24、采用基于eclipse的SWT技术开发的治理界面,而 SWT也同样受平台的限制,在某些国产系统上,可能无法获取该版本 的SWT软件.因此效劳器端和客户端必须通过socket等机制别离,不再可绑定到一起,这样移植和部署更容易1.1.5 操作系统支持Windows 系歹U: Windows2000/2022/2022/2022 server Windows XP/7/8/vista 等.Linux 系列：RedHat、CentOS、SUSE、中标麒麟、Ubuntu 等Unix系列：AIX、HP等最新5.0版本需要编译移植IOS、Android :尚不支持.1.1.6 开发语言主要基于JAVA,除了

25、 MT的接口,Sync本身提供少量的接口,大局部靠配置.1.1.7 交易特性利用数据库自身的交易特性,数据交换效劳本身没有利用JTS等事务效劳.1.1.8 平安性可对抽取出的数据进行压缩和加密,节点间的信息通讯依赖MT的平安性.1.1.9 性能取决于数据抽取、加载和传输的性能,瓶颈主要在抽取和加载上,系统采用JDBC连接数据库的形式,满足了扩展性,但牺牲了性能.系统主要采用优化的全表比对算法来获取增量数据,不侵入系统,但是性能也较低.系统可以配置多线程抽取、多线程加载的方式来提升性能这么做可能会加重数据库的负担对于某些流行数据库,应该研发基于日志的同步方式.4.2 竞争对手和市场分析表4-3

26、Sync竞争分析产品市场占有率非准确数据优劣势汇金科技Sync国产中间件较低,应急工程功能较单一,比拟稳定, 应用较少东方通TongIntegrator国产中间件较局治理功能比拟好,应用相对Sync多开源数据抽取工 具典型为Kettle国外中间件局域网内使用单图不用收费,软件较复杂, 多节点的话维护本钱高, 不适合处理分布式交换的 情况专业数据库同步与备份1商国内外中间 件专门领域市场占后举局直接使用数据库 C API操 纵数据库事务日志进行同 步,速度快分析：Sync这个产品值得好好开展,在这块耕耘的厂家很多,包括目前对大数据的同步交换 需求也会很多.目前有专门追求速度的的数据库同步厂商；

27、有注重数据抽取与转换的工具； 也有提供了 各种通讯交换接口的程序框架； 也有集成了数据传输、流程调度、 效劳调度、交换适配的数 据交换平台.Sync目前的定位是较为单一的数据库同步和文件同步的平台,即使如此,要做的非常好 用稳定也是不容易的.4.3 开发策略和原那么首先要明确定位,将其打造成万能的数据交换平台,还是单一的数据传输与同步工具.前者只需要完善现有功能,做好文件和数据库的同步就可以了！后者需要有各种接入和接出适配,格式转换,甚至路由选择,效劳治理等,类似ETL和ESB软件的综合体.建议一边调研市场上用的好的此类产品,再做出决策.开发策略和原那么同 3.3所述.4.4 下一步开发方案暂根据目前产品功能、竞争对手和市场状况,拟定进一步的开发策略和方案.分为两种方向,定位为数据同步工具和数据交换平台分别阐述.4.4.1 开发内容下表初略列出下一步需完成的工作这些工作不包含突发的、额外的支持和工程实施工作,再从这张表中遴