一种基于数据挖掘与分析的模型管理工具

1、技术交底书本技术交底书适用 以产品、设备为主的专利申请,即技术创新主要是基于产品、设备 的改进，请提供以下技术资料：1、发明名称（反映发明的主题。一般不应超过 25个字）一种基于数据挖掘与分析的模型管理工具2、技术领域（本发明直接所属或直接应用的具体技术领域）大数据、数据挖掘、数据建模3、现有技术/产品的介绍（描述与本发明有关的现有技术，包括：现有的产品的结构， 功能，并根据现有的技术特征指出该现有技术相对于本发明来说存在的缺点或不 足之处。并提供理解本发明内容所必须的其他背景知识）随着大数据时代的到来，数据的挖掘与分析开始被人们逐渐重视起来， 因此运应 运而生了许多大数据平台，这些大数据平台

2、很多都是专注于海量数据的处理：数据的采集、解析、预处理、ETL,而在数据价值的挖掘和分析方面做的比较少。另外也有 一些专业的数据挖掘与分析平台，提供了比较丰富的数据挖掘技术和数据分析算法， 但是在自主模型创建方面考虑的不全面，不能进行灵活的、自主的创建模型，进行数 据的挖掘和分析，不能由使用者按照自己的设想通过友好的模型管理界面进行自主模 型创建，往往是以特定的多种行业的模型模板对外提供的；另外，在算法的选择方面 比较单一，不能根据数据的量级而选择合适的算法， 从而不能保证数据挖掘分析时的 处理效率。所谓自主建模，就是通过模型管理界面，根据需要分析的行业业务知识，选择需 要分析的数据源，然后根

3、据数据挖掘分析的知识，创建数据挖掘分析的模型。模型创 建过程中完全是界面化、可视化和拖拉拽的方式进行，数据挖掘与分析需要的操作、 算法都是在平台上配置好的，不需要编写代码。4、发明内容（1说明本发明达到发明目的或解决技术问题所采用的技术手段。2阐明本发明的工作原理，3产品（设备）的组成、结构，尤其分别说明各组成部分（模块） 的功能，各组成部分（模块）之间的相互关系，例如连接关系、信号（信息）在各个 模块处理和传输的情况，被作用的信号（信息）的走向。4注明本发明与现有技术的 区别点）该数据挖掘与分析的模型管理平台 IMMP （Ifdata Model Manager Platform）,主要有模

4、型管理、算法管理、任务管理、数据源管理、业务源管理模块构成；其核心 功能是模型管理、算法管理、任务管理，其他模块都是为这三项核心模块进行提供辅 助的模块。为了能够达到自主建模、实时模型训练、实时展示模型计算的输出等效果， 需要考虑工作流技术、计算引擎技术、数据存储技术、任务调度等技术的选型，以便 于能够有效支撑这些功能的实现。在工作流技术选型方面，我们是以JBPM为蓝本进行设计和开发了建模流程界面 和流程调度服务，使用的核心语言为 java, web框架使用Bootstrap ；在计算引擎 技术选型方面，采用是java多线程技术；数据存储在技术选型时，需要考虑大数据 5V特点中的大体量（Vol

5、ume ）、时效性（Velocity ）,所以，数据存储技术选择了 Hdfs+Hbase+Hive 、GreenPlum、Redis、Mysql等多种存储机制；任务调度在技 术选型时，我们选择了 java多线程技术。该模型管理平台是通过WEB前台界面通过手工拖拉拽的方式绘制数据挖掘的处 理流程，并把流程信息保存在 Mysql数据库中，计算引擎从数据库中获取流程信息， 并生成任务进行执行，流程中各原子算法、活动节点之间的临时数据是通过 Redis缓 存进行交互的。模型管理是由模型定义与训练、模型测试、模型发布、模型评估、历史模型查询 等功能组成，其中模型定义与训练是可以在流程绘制过程中进行流程实

6、时调试执行 的，并且可以对计算结果进行展示；并且每一个原子算法、活动执行的结果会保存在临时存储中，并且可供其后继任务随时访问，当整个模型训练完成以后，模型成功保 存后，通过消除操作，才可以把训练过程中的临时存储数据进行释放，这样可以提高 建模的效率，避免每次调试都要从开始点执行；模型发布是用来进行模型导出和导入 的，目的是把已经绘制好的模型信息从平台上导出形成文件，并可以导入到另一个平台实例中，以便于进行模型的迁移；对于成熟在用的模型，运行一段时间以后，可以 使用模型评估模块，对模型的有效性进行评估，并可以进行优化。算法管理是包含原子算法管理、原子操作管理、原子服务管理、伪码编程管理、 工具包

7、管理等功能，这些功能为平台可扩展性提供了支撑， 主要是面向平台管理人员 开放，可以灵活配置各种算法、操作、服务，并且可以把常用的操作集成为工具包， 为建模人员提供。其中原子算法集成了多种语言实现的版本（R, C+ , SparkR、Python、Java、Julia、Scala、Go、Mahout ）,以便于建模人员根据实际需要处理 的数据量选择效率最佳的算法。任务管理主要是对测试通过的成熟的模型， 形成固定的任务，可以配置定期时间， 任务调度根据定时器调度启动执行， 并可以监控模型执行状态：成功、失败、执行中， 还可以查看执行日志和结果。任务管理还可以设定模型运行的并行度，根据用户对计算效率

8、的要求设定并行度，以提高处理效率，但并行度必须以当前平台基础实施规模 为前提的。该模型管理平台区别于已有平台的最大特点有：1、自主建模功能，即可以通过拖拉拽方式可视化绘制模型流程，并且可以实时 单步训练，并可以对输出结果进行展示。2、平台支持多语言实现的算法版本，可以根据数量灵活选择最佳的算法使用。3、平台提供简单的编程功能，支持的编程语言包括：Java、C+、Python等主流开发语言，并可以集成到自建模型中辅助数据挖掘与分析处理。5、技术效果（说明本发明的有益效果，可以由工作性能的提高，制作成本、能量损 耗的减少，稳定性的增加，操作、控制、使用的简便，以及其他有用性能的出现 等方面反映出来

9、）该数据挖掘与分析模型管理平台的发明主要解决了如下几个方面的问题：1、提高了数据挖掘和分析时模型创建的效率：平台通过托拉拽的方式就可以创建数据挖掘和分析模型，从而改变了通过编写程序代码来创建数据挖掘模型的传统做法，并且降低了对建模人员编程能力要求，这样使得建模人员可以专注于数据挖掘理论研究，快速绘制挖掘模型。2、提升了数据挖掘和分析处理的效率： 平台提供了适合多种场景的算法实现版本，并且可以根据实际的数据量来设定计算的并行度，大大地提升了分析处理的效率。3、减少了运营人员需求，降低了生产成本：平台中任务管理模块提供了定时执行功能，从而免去了专门安排人员手工执行任务工作，减少了人员需求，从而降低

10、了生产成本。6、附图与说明（附图应是黑白的，应以电子制图或流程图的标准绘制，而非扫描图 或照片。使专利工作人员可直接在附图上编辑修改，实用新型申请必须带附图。 如有提供仿真图，则图片上坐标的文字必须用中文。要说明各附图的名称）技术及实现：Jsp、Html、Activiti、 界面算法自适应）等技术及实现:Java多线程技术及实现:Java多线程技术及实现：成熟的跨平台、跨语 言的RPC服务技术及实现：Java、C+、R、Python、spark 等计算引擎任务引擎WEB计算节点功能：1.计算2.结果保存功能：1.服务编排2.负载均衡3.服务分发功能：1.活动识别、参数解析2.参数赋值（实际 值

11、、指针等）功能：1任务调度2.活动排序4.活动触发3.状态监控功能：1 .原子算法、操作维 护2 .建模人员模型训 练、观测3 .任务监控、预测输 出具体实施方式（对照附图，说明本发明的具体实施方式所采用的产品 （设备）的组成、 结构，尤其分别说明各组成部分（模块）的功能和作用，各组成部分（模块）之间的相互 关系，例如连接关系、信号（信息）在各个模块处理和传输的情况，被作用的信号 （信 息）的走向。清楚完整地述具体的实施方式，使本领域的普通技术人员能够不需创造 性的劳动就可以理解/实现本专利。以及解释说明通过上述的技术方案为何能实现本 发明的发明目的。提供是否还有别的替代方案同样能完成发明目的

12、。这里的替代可以 是部分结构、器件、模块的替代，也可以是整体技术方案的替代。）对于该数据挖掘与分析的模型管理平台中的关键流程节点需要做如下说明：1、界面：此部分功能包括原子算法和操作的维护、模型训练、模型运行输出观测、任务监控等功能。建模人员在界面上通过工作流以拖、拉、拽的方式选择算法、操作，组织处理逻辑关系，平台对已经绘制好的工作流模型进行沉淀。建模人员可以在界面上及时查看模型训练的结果；也可以查看已经模型执行的进展状态等相关信息。2、任务引擎：包括任务调度、活动排序、活动触发、状态监控输出等功能。通过任务引擎建模平台对任务进行调度、对活动进行排序、按照界面要求出发活动运行，并实时监控任务执行状态，并可以对模型训练执行指令和结果查看指令进行执行。3、计算引擎：包含活动识别、参数解析赋值、算法的调用。当任务进行调用时计算引擎通过对工作流模型解析识别后调用相应的算法服务。4、计算服务：完成服务编排、负载均衡、服务分发等。此部分为中间件采用ZeroIce实现，以完成服务节点与计算节点之间远程和异构系统之间的通信。5、计算节点