数据采集系统设计思路

1、数据采集系统设计思路数据采集系统设计思路根本功能将各采集点，如医院，药店等数据库或其它数据载体中的数据根据肯定的规章提取，生成合适传输和存贮的文件，通过互联网将文件上传到效劳器，效劳器对数据进展分析处理，并根据肯定的配置条件进展数据告警处理，最终把数据存贮于数据库效劳器中，供应给其它应用系统进展数据查阅。根本架构主要包括前端数据采集和后台数据存贮两大功能。前端采集负责把各种数据源中的数据按要求存为文件上传到后台效劳器；后台效劳主要将上传的文件进展分析和存贮，如下列图。功能组成模块?前端采集系统功能模块：前端采集系统主要包括配置效劳、数据查询、文件上传、日志、错误处理、自动更新效劳、平安效劳、网

2、络效劳等模块，各模块主要功能如下：1.配置效劳模块配置模块至少供应二类接口，一是本地配置接口，本地可以通过配置界面进展相关参数设置；二是远程配置接口，远程效劳器可以通过此接口下达配置指令，实现远程配置，便利以后前端系统的维护。需要实现的根本配置项：?效劳器相关，包括效劳器地址，端口，用法长连接还是短连接等。?文件传输相关，自动上传时间；文件在效劳器上存贮的相对位置；多个文件传输时用法单连接还是多连接传输。文件上传失败的重传间隔等。?数据库访问相关，数据库连接相关配置，包括数据库类型，连接串，用户名，密码；获得查询结果的相关sql查询语句和查询条件；数据定时采集的时间；多条采集指令的优先级等。?

3、程序晋级更新相关，包括手动还是自动更新，自动更新的时间等。?其它配置，包括是否记录日志文件，日志文件存放的途径，单个日志文件的大小，日志文件最长存放的时间，采集文件存放途径，是否删除已经上传的采集文件，是否对可用磁盘空间进展监控和剩余空间缺乏告警；登录相关配置等注：招唤采集不供应单独的配置，招唤采集其实就是定时采集，由效劳器下达一个优先级较高并马上执行的采集配置指令即可。配置数据读取功能，读取配置数据，供应给其它模块用法。2.数据查询模块针对不同的数据库，依据配置条件或接收的指令，查询数据库，生成查询结果记录集，系列化为二进制文件，用法高效压缩算法对文件进展压缩，根据文件命名规章存贮于指定位置

4、。3.文件上传模块根据配置条件或接收到的指令，上传文件，包括需要的任何文件，如采集的二进制结果文件，日志记录文件等。4.日志模块供应日志记录功能，其它模块可以通过本模块供应的接口进展日志记录。以及日志查询功能。5.错误处理模块包括输出程序出错信息，向效劳器供应出错信息，便于程序排错升级。6.自动更新效劳供应手动或自动更新效劳，或者为效劳器强迫更新供应效劳。7.平安效劳供应前端系统登录认证效劳，防止非法用法系统。8.网络效劳供应与效劳的连接效劳，维护与效劳的连接，与效劳进展信息传输和文件传输，接收指令，将指令分发给相应的模块，转发各模块向效劳器发送的效劳恳求。?前端采集系统模块之间的层次关系各模

5、块功能独立，通过各自供应的效劳接口进展关联。实现网络，业务规律，界面分别。后台存贮系统功能模块1.根本参数配置功能，包括网络相关配置，告警参数配置，存贮配置,登录用户配置等，如网络参数配置:2.网络效劳模块，供应socket连接的效劳端，为前端系统供应连接服务。接收前端系统发送的数据，解析数据，分发给其它模块；转发各种指令给前端采集系统。3.数据分析处理模块，如更新效劳恳求，招唤采集指令等的执行结果，文件传输。4.数据告警模块，告警模块供应各种告警效劳，每种效劳对自己关怀的数据进展告警；依据告警的优先级，最高级的告警效劳先接收数据分析模块传来的数据，推断是否告警，然后传给下一级的告警服务，直到配置的所以告警类型全部处理完毕。5.数据存贮效劳模块，将采集结果