三一实时数据库项目总体方案设计说明书.doc

1、三一实时数据库项目总体方案设计说明书文件编号：ykxm-200811-sy-2所属项目编号：ykxm-200811-sy所属项目名称：三一实时数据库项目部 门：研发中心版 本 号：1.4受控状态：0密 级：机密总 页 数：23正文：21附 录：0编 制：陆秋明、刘本伟日 期： 2009-6-7审 核：唐旭成日 期：2009-6-8批 准：日 期：北京亚控科技发展有限公司北京亚控版权所有研发中心三一集团实时数据库项目总体方案设计说明书 日期版本号编写人内容2009-5-26v1.0陆秋明创建2009-5-31v1.1陆秋明和三一唐旭成、彭涛等人沟通后改各事业部名称和负责的设备种类名称；改it本部

2、为集团总部。2009-6-1v1.2陆秋明三一唐旭成review，修改文档错误；增加沈阳事业部。2009-6-2v1.3陆秋明根据三一吴云峰review意见，补充：本项目系统与其他系统集成方案设计1、 关于用户认证和用户权限的集成描述；2、 关于客户端界面的集成描述；3、 关于数据服务的集成描述。2009-6-3v1.4刘本伟根据汇报得到的反馈意见，重构文档结构。2009-6-7v1.5刘本伟根据交流意见，添加实时数据库介绍、添加项目协作事项、修改相关描述。2009-6-17v1.6刘本伟根据评审意见，修改“统一协议解析”为“协议统一解析”。 第19页 共23页北京亚控版权所有研发中心三一集团

3、实时数据库项目总体方案设计说明书目 录1引言21.1编写目的21.2参考资料22实时数据库方案12.1什么是实时数据库12.2为什么选择实时数据库12.3实时管理系统23项目描述33.1项目目标33.2项目原则44项目业务54.1设备工况数据前置采集业务54.2设备协议统一解析业务54.3实时数据库业务54.3.1数据存储业务64.3.2数据计算业务64.3.3报警与事件检测业务64.3.4报表业务64.3.5监控业务74.4设备远程控制业务74.5系统配置管理业务74.6系统用户管理和认证业务85本项目系统与其他系统集成方案95.1 与其他系统“用户认证和用户权限”集成95.2 与其他系统“

4、客户端界面”集成95.3 与其他系统“数据”集成96项目结构与部署方案116.1集团总部整体方案116.1.1 集团总部系统软件模块关系126.1.2 集团总部系统软件部署方案126.1.3 集团总部系统软件模块组态配置关系146.2各地事业部方案156.2.1各地事业部系统软件模块关系156.2.2各地事业部系统软件部署方案166.2.3各地事业部系统软件模块组态配置关系197项目实施协作事项201引言1.1编写目的为明确三一重工实时数据库项目总体方案、安排项目规划与进度、组织软件开发与测试，撰写本文档。本文档供项目经理、设计人员、开发人员、测试人员参考。1.2参考资料三一重工实时数据库技术

5、协议.doc三一实时数据库项目需求规格说明.doc2实时数据库方案2.1什么是实时数据库实时数据库是数据库系统发展的一个分支，它适用于处理不断更新的快速变化的数据及具有时间限制的事务处理。适应于测点数量庞大、采集数据量巨大、数据实时性要求高的应用场合。实时数据库主要是数据库技术和流程实时技术结合的产物。同时，实时数据库针对工业流程数据的特征，采用了优化的存储结构和高效的数据压缩算法。2.2为什么选择实时数据库三一集团作为世界级机械制造厂商，在全球销售了成千上万台的机械设备，这些设备的作业工况，通过智能控制系统将数据传回到三一集团，为三一集团实现设备远程诊断、设备技术创新提供支持和保障。随着集团

6、规模的不断扩张，销售的设备不断增加，三一集团的设备工况数据将成倍增长，大容量、可扩充、性能稳定优异的数据库平台将成为三一集团必然要建设的基础设施。目前，数据库领域内，比较流行的是关系数据库，但是，针对三一集团这样的应用，实时数据库才是首选。（本节下文的数据为行业通用数据，并非亚控公司产品数据；亚控产品数据请参照三一集团测试项目数据，其中各项指标均优于本节数据。）在处理实时数据方面，关系数据库受关系理论本身的限制，通常一秒钟内能够接受30005000条数据记录，而实时数据库通常的处理能力在20,000条数据记录以上。以三一集团现有6000台起重机为例，每台起重机有100的测量数据，数据以每30秒

7、一次的速度采集并存储。存储一个浮点型数据，关系数据库使用27字节（byte），实时数据库使用8字节。则： 项目关系数据库实时数据库一次采集数据量16.2m bytes4.8m bytes一天数据量46.656 g bytes14 g bytes一年数据量17,030 g bytes5,046 g bytes表1：数据量对比同时，实时数据库技术的数据压缩通常可以压缩到原始数据的20%-30%，则按30%计算，实时数据库压缩后数据为756.9 g bytes；而关系数据库，通常不会进行数据的压缩。另外，在数据查询方面，三一集团以前应用的关系数据库系统，也无法满足实时、历史数据查询的需求，而实时数据

8、库则能够达到2秒查找出50,000条记录，5秒内查找出300,000条记录的性能。最后，针对三一集团的发展状况，实时数据库能够通过提供多个数据库共同构成分布式结构，满足系统扩充的需要。将不同的设备的数据放在不同实时数据库中，通过统一的方式访问。综上所述，三一集团数据库平台，必然选择实时数据库而不是关系数据库。2.3实时管理系统基于实时数据库的三一集团实时智能管理系统能够为三一集团提供随需而变的实时管理、远程管理和未来管理。随需而变的实时智能系统系统完全根据需要配置，支持设备、协议、子系统、服务、功能的“热插拔”。无论是新产品加入系统还是原有产品的改进与更新，是添加新的子系统还是服务项目的变化，

9、完全提供组态配置的方式实现，完全通过各种服务的的配置实现，将代码开发量降到最，降低系统开发、维护、升级的难度，降低系统得运营、维护成本。实时管理完全实时的智能管理系统，为三一工程师提供设备的实时控制台，保证准确及时地反映设备状态。如：设备偷油检测，通过及时地数据采集系统，设备有位数据进入实时数据库，经过在线的数据计算和事件报警分析系统，根据最小二乘法和过程辨识等数学方法，三一工程师能够及时地掌握设备是否正常工作，是否正在被偷油。消除距离实时智能系统通过远程诊断与协助系统，三一工程师能够为三一客户提供及时地服务，使得客户能够在工作现场就得到服务与支持，使得三一集团能够准确判断设备是否故障，掌握最

10、多的故障信息，为排除故障作作充分的准备。预测未来易经：“覆霜坚冰至”。无论是从见微知著还是防微杜渐，或者说事物是发展的，都必须有足够的信息支持。三一实时数据库为三一实时智能系统提供了稳定可靠的数据和丰富强大的数据分析，使得三一的工程师 能够通过设备的磨合程度、使用程度、磨损状态等数据信息，预先为客户指定合理的设备维护检修计划，及时地通知客户更换老化部件、维护关键设备。既提升三一集团的服务与形象，更为客户提供最大设备使用率保障，真正做到了“双赢”。3项目描述三一集团具有多个事业部分布在世界各地，每个事业部生产不同类型的重型机械设备，有各自的通讯协议、工况协议，分析和处理的事务也不尽相同，应该有适

11、合其各自相应设备的数据分析、处理、管理流程；集团总部需要汇总、分析、处理各事业部数据，给三一的客户以统一的集团公司形象，给集团领导以集团全局的数据、信息。三一集团实时数据库项目构想为各地事业部分别部署本地的数据采集服务、协议解析服务、工业实时数据库、关系数据库和各类服务，汇总其所生产的重型机械设备数据，由各地事业部建立适合自己特色的分析和处理应用；在集团总部部署中心工业实时数据库、中心关系数据库和各类服务，通过数据库的镜像技术汇总各地事业部的数据，并进行集团级的分析、处理，提供集团级的应用，同时也给三一的客户提供一个统一的浏览应用。如下图1所示。关于数据通讯的链路，在设备和数据库之间使用gpr

12、s，在公司员工桌面和数据库之间使用tcp/ip（局域网或虚拟专网），在客户和数据库之间使用http（广域网）。这种结构可以使得各事业部业务互不干涉，互不影响，保证系统负载均衡，系统中各个组成部分分工明确，又高度统一在集团信息系统之中，具有很强的可扩展性和相对的灵活性，可以适应集团目前和将来发展的需要；同时还具有较强的抵抗数据灾难能力。整个系统涉及到的数据库及其服务、桌面应用、web应用均将采用标准化的商业软件产品以组态方式配置实现，省却将来昂贵的系统维护和系统变更的代价。图1 、整体方案的构想3.1项目目标项目的最终目标为实现三个统一： l 设备协议统一解析平台：系统将提供统一框架，为各种设备

13、协议配置、各种协议解析服务，为各类不同的设备提供统一的数据采集方式；l 统一的数据服务平台：设备的工况数据都存储在工业实时数据库中，以统一的数据接口服务提供给各业务应用模块或系统；l 统一的应用开发平台：设备的工况数据的应用都将采用统一的规格与样式，使用相同的组态配置工具，以一致的风格呈现给集团员工和集团客户。3.2项目原则项目的设计、实施将遵循以下原则：l 要求系统为全集团搭建统一的数据平台，正确、高效、稳定的完成三一集团设备工况数据的采集、存储与应用；l 要求系统为三一集团数据的采集、存储与应用制定统一的规格、样式与标准；l 要求系统各类服务支持分布式部署，支持负载均衡；l 要求系统具备可

14、扩展性；l 要求系统具备开放性，能够接受其他系统的数据和服务，能够为其他系统提供数据与服务；l 要求系统国际化，面向多语言；l 要求系统兼容多产品、多型号、多协议、多版本；l 要求系统能分布实施，可以分级、异地部署，按集团总部和各地事业部分别建设；l 要求系统能够提供在c/s模式框架、b/s模式框架；4项目业务三一集团实时数据库项目主要完成的业务有：设备工况数据前置采集业务，设备工况数据统一解析业务，实时数据库业务，设备远程控制业务，系统配置管理业务，系统用户管理和认证业务等六项业务。4.1设备工况数据前置采集业务前置采集业务主要完成gprs数据的接收和转发。根据三一集团目前系统状况，前置采集

15、业务将在各地区部署部署管理。前置采集业务完成如下功能：1、 接收设备gprs通过udp方式上传的数据，使用透传方式交给工业库数据解析业务（采用tcp/ip方式）；2、 接收下发的设备控制数据（采用tcp/ip方式），以udp/tcp方式或短信方式发给设备，控制指定设备数据的上传频率、锁机或解锁；3、 系统根据需要可以配置多个采集前置机。4.2设备协议统一解析业务设备工况数据统一解析业务主要完成设备工况协议的统一配置、设备工况数据的统一解析。1、 使用商品化的软件产品kingexchange，定制协议解析器；2、 接收采集前置业务通过tcp/ip方式上传的设备工况数据；3、 根据事先配置的通讯协

16、议和工况协议解析设备工况数据，并存储到工业实时数据库，同时更新关系数据库中对应设备的对应工况的值；4、 将通过下发的指定设备的上传数据的频率、锁机或解锁的指令根据配置的事先通讯协议转发给相应的采集前置机，由采集前置机发给对应的设备；5、 通讯协议和工况协议可“热插拔”。根据需要响应系统管理/维护工程师的要求注册和启用新通讯协议和工况协议、停用旧通讯协议和工况协议，而不必退出服务程序或停止其他通讯协议和工况协议设备的工况采集；即通讯协议和工况协议是可在线增加的、可在线变更的，可在线配置的，为将来的系统扩充、设备种类增加或变更提供必要的保障；6、 设备类型维护可“热插拔”。根据需要响应组态维护工程

17、师的要求增加、删除、改变指定设备和设备类型，而不必退出服务程序或停止其他设备或其他设备类型的工况采集；即设备和设备类型是可在线增加的、可在线变更的，可在线配置的，为将来的系统扩充、设备种类增加或变更提供必要的保障；7、 通讯协议和工况协议可以组态配置；8、 设备和设备类型可以组态配置；9、 系统根据需要可以配置多个数据解析服务。4.3实时数据库业务实时数据库业务可以分解为四个子业务，分别是数据存储业务、数据计算业务、报表业务、监控业务。4.3.1数据存储业务数据存储业务主要完成设备工况数据的存储，并对外提供数据访问的支持。1、 实时数据库使用商品化的软件产品kinghistorian（本文中文

18、简称：工业库）；2、 稳定高效的存储数据采集服务发来的工况数据；3、 响应客户端的请求查询实时和历史工况数据；4、 响应统计计算服务的请求查询实时和历史工况数据；5、 存储统计计算服务发来的计算结果和统计数据；6、 响应客户端的请求查询计算结果和统计数据；7、 响应客户端的请求回写数据到设备（通过数据采集服务和采集前置机）；8、 工业实时数据库的点表可以通过组态配置生成；9、 提供冗余、镜像功能保证系统的稳定性与可用性；10、 系统中根据需要可以配置多个工业实时数据库服务；11、 使用关系数据库保留和更新设备最后一个时刻的工况数据供客户端查询；12、 使用关系数据库存储关于设备的静态配置信息供

19、客户端查询；13、 关系数据库中的表和字段可以通过组态配置；14、 系统中根据需要可以配置多个关系数据库。4.3.2数据计算业务数据计算业务主要完成设备工况数据的统计计算。1、 使用商品化的软件产品kingcalculation;2、 根据配置要求的统计计算规则查询工业实时数据库中的实时和历史数据，进行统计计算;3、 将统计计算的结果存入工业实时数据库；4、 通用统计计算方法由kingcalculation提供，具体要进行的统计计算通过组态配置实现；5、 系统中根据需要可以配置多个统计计算服务。4.3.3报警与事件检测业务报警与事件检测业务主要完成设备状态、设备事件的监测。1、 使用商品化的软

20、件产品kinga&e;2、 根据配置要求的报警与事件定义查询工业实时数据库中的实时和历史数据，进行报警与事件分析;3、 提供数字状态集用于记录多状态的报警与事件的含义；4、 将报警事件的检测结果存储在工业实时数据库或关系数据库中；5、 通用报警和事件由kinga&e提供，具体要进行的检测通过组态配置实现；6、 系统中根据需要可以配置多个报警事件检测服务。4.3.4报表业务1、 使用组态配置工具完成系统报表；2、 使用基于ms excel的报表方案；3、 根据需求配置报表模版、设置报表需要的数据、设置报表生成时间、设置报表生成方式；4、 系统将根据所有的设置，自动生成报表，并完成报表的发布、邮件

21、发送、打印输出等；5、 所有的报表模版、具体报表都将存储在关系数据库中。4.3.5监控业务监控业务将采用基于soa的理念进行设计开发，所有的监控业务被分为设备管理中心画面、远程实时控制台画面、实时数据列表、实时报警记录列表、实时曲线、实时设备位置画面、历史画面回放、历史数据列表、历史报警记录列表、历史趋势曲线、历史设备位置画面、工作日历、移动日历等13种数据展示服务。所有这些服务都可以以c/s模式运行，也可以被封装为portlet进行web发布，以b/s模式运行，既可以组成独立的系统，也可以嵌入到其他的应用系统中。1、 使用商品化的组态配置软件产品kinggraphic；2、 以图形方式直观展

22、示设备工况数据；3、 对同类型的设备不必每个设备都做画面和动画连接，只需做一份图形画面可以适用于所有同类设备；4、 支持实时数据、历史数据的画面对比；5、 支持历史数据的画面对比；6、 画面以组态方式实现，不必编写代码，随时可以更改和维护；7、 图形画面系统运行在用户机器中；8、 b/s模式通过广域网（http）访问工业实时数据库和关系数据库、可嵌入到其他网页、可自动下载b/s模式的组态画面和kinggraphic运行部件到用户本地机器中； 9、 c/s模式通过局域网或虚拟专网（vpntcp/ip）访问工业实时数据库和关系数据库具有更高的性能和更流畅的画面，可以分析处理更大量数据；可提供网站，

23、供用户下载c/s模式的组态画面和kinggraphic运行系统到用户本地机器中；10、 系统监控业务将采用统一规格与样式，各事业部的各类设备将按照这样的规格与样式完成监控业务。4.4设备远程控制业务设备远程控制业务主要完成设备工况采集频率、锁机状态的控制。1、 使用组态配置工具完成设备远程控制业务；2、 完成设备工况数据频率控制，设备锁机、解锁控制等；3、 通过独立的控制通道，直接从设备远程控制业务下发控制指令到设备数据解析业务，不通过工业库。4、 设备远程控制将分为两级：各事业部控制级和集团总部控制级。各事业部只能控制本事业部的设备，集团总部可以控制集团所有设备；集团总部具有更高的控制权限；

24、5、 任何控制动作都必须通过用户管理和认证验证。4.5系统配置管理业务1、 使用各业务模块的管理工具，以组态配置的方式完成系统的配置管理，所有的组态配置都是在线状态完成的，即不必退出任何的服务，就可以完成添加、修改、删除等组态配置工作；2、 完成前置采集业务的组态配置；3、 完成设备工况数据解析业务的组态配置；4、 完成实时数据库业务的组态配置；5、 完成设备远程控制业务的组态配置；6、 完成系统用户管理和认证管理的组态配置；7、 配置管理必须通过授权与安全验证。4.6系统用户管理和认证业务1、 系统用户管理和认证业务将符合三一集团已有系统的用户管理和认证标准；2、 系统将为不同的业务模块配置

25、不同的用户管理和认证方案；3、 系统的用户管理和认证的验证服务将由三一集团统一的用户管理和认证服务器进行，以达到系统统一安全管理的目的。5本项目系统与其他系统集成方案本项目系统作为三一集团众多信息系统的一个成员，需要和三一集团中的其他信息系统很好地集成在一起协调、协同工作，成为三一集团整个信息系统的有机部分；主要考虑如下三个方面的集成1、用户权限管理和认证；2、客户端界面；3、数据相互访问。本系统作为数据平台，完成三一集团设备工况数据采集，不从其他的系统中获取数据。5.1 与其他系统“用户认证和用户权限”集成三一集团拥有统一的“用户管理和认证”服务，供各个信息系统使用，以到达单点登陆的目的；本

26、项目系统使用三一集团的“用户管理和认证”服务，枚举系统中的用户和角色和认证具体的用户；某个特定用户或特定角色对本项目系统中各个模块的具体对象所拥有的权限，由本项目系统中各个模块的配置工具针对各个模块的具体对象分别指定；在用户操作各个模块中的具体对象时加以验证（决定是允许还是禁止）。5.2 与其他系统“客户端界面”集成本项目系统的客户端界面为kinggraphic，它的表现形式之一为一个activex控件，可以嵌入到其他系统的“客户端界面”中；1、对于b/s方式的客户端界面应用，一句简单的html语言就可以直接放到网页上；也可以封装为portlet部件，供ecc portal或sharepoin

27、t集成使用；2、对于c/s方式的客户端界面应用，我们的组态配置工具kinggraphic本身就可以完成一套完整的c/s模式系统的搭建。kinggraphic同时又是activex控件容器，可以在其上容纳和放置各类activex控件和web页面；可以很容易地将其他系统的“客户端界面”嵌入在kinggraphic中，如视频、gis、flash等。5.3 与其他系统“数据”集成1、本项目系统除了从采集前置机获取设备gprs上传数据外，不需要来自三一集团其他系统的数据2、本项目系统提供如下6种客户端接口方式，给三一集团的其他系统，以便其通过编程方式直接访问工业实时数据库kinghistorian中的数

28、据：1、 odbc2、 oledb3、 c+ api sdk4、 com sdk5、 .net api sdk6、 web information portal第1-5种接口使用tcp/ip链路可以进行本机的和远程的访问(局域网或虚拟专网)；第6种使用http链路可以进行广域网的访问，具体如何使用和调用这6种接口参见kinghistorian用户手册；目前提供的6种客户端接口方式均为windows平台下的客户端接口；6项目结构与部署方案三一集团实时数据库项目将采用集中加分布式的部署方案，在长沙总部部署集团中心实时数据库，管理起重机、港机、路机事业部的设备，并存储其它事业部同步过来的数据；泵送事

29、业部部署一套单独的实时数据库管理泵车、拖泵、搅拌设备，并同步数据到集团中心实时数据库。各地区部署一套系统，管理本地区各事业部的设备，并将数据同步到集团中心数据库。项目一期将实现集团中心起重机系统和泵送事业部系统。6.1集团总部整体方案相对事业部，集团总部是集团的信息数据中心，各地事业部的数据将汇总到集团总部。由各地事业部采集设备的数据到各自的工业实时数据库中后，使用工业实时数据库的镜像技术，自动将各地事业部工业实时数据库的数据镜像到集团总部的中心工业实时数据库（局域网、虚拟专网vpn、tcp/ip）。长沙的起重机、路机、港机的数据直接通过采集系统进入集团中心数据库，泵送事业部配置独立的系统，同

30、各地事业部一样，将数据镜像到集团中心数据库。集团总部整体方案结构由中心工业实时数据库、中心关系数据库、统计计算服务、报警事件检测服务、web服务、c/s模式客户端、b/s模式客户端组成，相对于事业部，没有了采集前置机和采集服务器。统计计算服务根据预定义的计算配置对实时历史数据进行计算将结果存入工业库；报警事件检测服务根据预定的报警事件配置队实时历史数据进行检测并将结果存入工业库或关系数据库；c/s方式的图形系统kinggraphic将通过虚拟专网或局域网方式直接访问工业实时数据库和关系数据库，具有读写数据库的能力。b/s方式的图形系统kinggraphic将通过广域网http方式透过web服务

31、访问工业实时数据库和关系数据库，具有读能力，可以浏览和分析数据库中数据，但不具备写能力； c/s模式客户端同时在线人数可超过100；b/s模式客户端同时在线人数可超过500；软件模块关系和部署图如图6、7、8所示；所有的服务使用标准化的商业软件产品以组态方式配置实现。6.1.1 集团总部系统软件模块关系图6、集团总部系统软件模块关系图6.1.2 集团总部系统软件部署方案在初期设备数较少时，系统负荷较轻，可将各个服务（统计计算服务、工业实时库服务、用户认证服务、关系数据库服务）部署在同一台服务器（统称为数据库服务器）中，和web服务独立；如图7所示，共2台服务器，建议配置参见表2；名称型号及说明

32、配件数量cpu四核 3ghz cpu1内存8g ddr2内存2硬盘150g硬盘4网卡千兆网卡1操作系统microsoft windows server 2003, enterprise edition sp2 64bit1表2：服务器建议配置图8、集团总部系统软件部署方案1随着时间推移设备越来越多，数据库服务器系统负担繁忙时，可以逐步将关系数据库服务、统计计算服务、用户认证服务从数据库服务器中分离出来，形成独立的各自服务器；如果需要系统中可能扩充至多台关系数据库服务器、多台统计计算服务器、多台工业实时数据库服务器; 增加新的服务时，可不必停止已有的服务； 图10、集团总部系统软件部署方案26.

33、1.3 集团总部系统软件模块组态配置关系图12、集团总部系统软件模块组态配置关系图1、 工业实时数据库配置具体方案参见“三一实时数据库项目工业实时数据库配置说明书.doc2、 统计计算服务配置具体方案参见“三一实时数据库项目统计计算服务配置说明书.doc3、 关系数据库配置具体方案参见“三一实时数据库项目关系数据库配置说明书.doc”4、 web服务配置具体方案参见“三一实时数据库项目web服务配置说明书.doc”5、 图形画面配置具体方案参见“三一实时数据库项目图形画面配置说明书.doc”6.2各地事业部方案各地的方案、泵送事业部的方案结构类似，都由采集前置机、解析服务、工业实时数据库服务、

34、关系数据库服务、统计计算服务、报警事件检测服务、web服务器和c/s模式客户端、b/s模式客户端组成。采集前置机和数据解析服务器将设备中的数据采集并解析存储到工业实时数据库并更新到关系数据库中，统计计算服务根据预定义的计算配置对实时历史数据进行计算将结果存入工业库；报警事件检测服务根据预定的报警事件配置队实时历史数据进行检测并将结果存入工业库或关系数据库；c/s方式的图形系统kinggraphic将通过虚拟专网或局域网方式直接访问工业实时数据库和关系数据库，具有读写数据库的能力；b/s方式的图形系统kinggraphic将通过广域网http方式透过web服务访问工业实时数据库和关系数据库，具有读能力，可以浏览和分析数据库中数据，但不具备写能力； c/s、b/s模式客户端同时在线人数可超过100；软件模块关系和部署图如图2、3、4所示；所有的服