项目4 工业互联网平台实时数据开发

项目4工业互联网平台实时数据开发拓展资料1.创建数据库（1）创建数据库1）方法一：①如下REF_Ref113267880\r\h0所示，右键单击数据库，单击“新建数据库”。新建数据库②如REF_Ref113267888\r\h0所示，填写数据库名称为“root_edu”，字符集选择“utf8”，排序规则选择“utf8_general_ci”。在完成设置后，单击“确定”，即可以在左侧栏对应连接节下查看新建立的数据库。填写数据库2）方法二：①如REF_Ref113267901\r\h0所示，在Navicat上方主菜单栏单击“新建查询”，新建查询②如REF_Ref113267916\r\h0所示，在新建查询页面中，首先选择对应的连接，然后在编辑框中编写创建数据库语句“CREATEDATABASEroot_edu”，最后单击“运行”。在页面下方可以查看执行结果。查看执行结果（2）创建数据表根据业务需求，对每日产量数据进行统计，统计的数据字段包括数据采集的时间、产量、设备id、数据日期，设计字段表如REF_Ref113267928\r\h0所示数据表字段名类型长度注释timestamptimestamp时间outputdouble产量device_idvarchar100设备idrecode_datevarchar100数据日期1）方式一：①如REF_Ref113267951\r\h0所示，选择数据库目录下的表，单击右键，选择“新建表”。新建表②如REF_Ref113267966\r\h0所示，首先填写第一个字段timestamp的信息，添加完成后根据字段表逐个添加字段，添加完成后单击保存。填写字段信息③如REF_Ref113267991\r\h0所示，最后填写创建的表名“output”，单击保存。创建的表名“output”④刷新右侧表目录，在表目录下即可查看新创建的表。2）方式二：①新建查询，选择对应的连接和数据库名称。②在“新建查询”的编辑框中编写SQL语句，然后单击运行。根据需要设计的表格，编写如下SQL语句。CREATETABLEoutput_fuben(`timestamp`timestampCOMMENT'时间',outputDOUBLECOMMENT'产量',device_idVARCHAR(100)COMMENT'设备id',record_dateVARCHAR(100)COMMENT'数据日期')注意：由于timestamp与MySQL中的关键字相同，在创建时需要加上着重号。③在右侧找到数据库目录下的表，单击右键刷新，在表的目录下可以找到新创建的表，右键单击“设计表”，可查看表的字段信息如下REF_Ref124326631\r\h0所示，与方式一的字段一致。查看字段信息2.离线数据开发（1）批量计算流数据（或数据流）是指沿时间轴分布，在数量上无限的一系列动态数据集合体，数据的价值随着时间的流而降低，因此必须实时计算给出秒级响应。实时计算，就是流计算，顾名思义，就是对数据流进行处理。离线计算，也就是批计算，则是统一收集数据，存储到数据库中，然后对数据进行批量处理的数据计算方式。流计算和批计算的区别如下REF_Ref118191963\r\h0所示。流计算与批计算的区别比较内容流计算批计算数据时效性实时、低时延非实时、高时延数据特征动态、无边界静态应用场景实时、时效性较高场景（业务监控）实时性低、离线计算场景（数据分析、离线报表）运行方式持续进行一次性完成（2）离线数据开发的校验过程1）首先，校验任务的发布数是否超过最大发布数，如果校验失败，则发出异常，任务结束；如果校验通过，则执行下一步。2）校验任务流编排是否有效，如果校验失败，则发出异常，任务结束；如果校验通过，则执行下一步。3）校验发布状态是否正确，如果是已发布状态，则发出异常，任务结束；如果是未发布状态，则执行下一步。4）校验是否配置调度，如果未配置调度则发出异常，任务结束；如果已配置调度，则执行下一步。5）执行任务与调度绑定，绑定完成后执行下一步。6）执行工作流定义转换，转换完成后上线调度任务。7）进行上线任务调度。8）结束任务。离线数据开发的校验流程图如REF_Ref118192848\r\h0所示。离线数据开发校验过程（3）任务流编排任务流的编排步骤为：新增外部数据源>完成任务编排>配置调度计划>发布和启动编排任务>浏览计算结果，流程图如下REF_Ref118192869\r\h0所示。任务流的编排步骤（2）离线任务运维一个工作流包含多个任务节点，一个工作流配置一个定时调度计划，定时调度计划每个周期生产一个工作流实例，工作流实例中包含多个任务实例。任务流编辑器编辑完成后即生成一个任务流。任务流进行发布后能够进行工作流调度，在任务流调度中进行上线、下线、补数据操作，生成对应的工作流实例。每个工作流实例会在Flink中生成多个任务实例。离线任务运维的流程图如下REF_Ref124327217\r\h0所示。离线任务运维的流程图工作流：大数据的计算、分析和处理，一般由多个任务单元组成（Hive、Sparksql、Spark、Shell等），每个任务单元完成特定的数据处理逻辑。工作流预估出每个任务处理所需时间，根据先后顺序，计算出每个任务执行的起止时间，通过定时跑任务的方式，让整个系统保持稳定的运行。定时调度：存在某些任务，需要系统定期、自动执行。基于给定时间点，给定时间间隔或者给定执行次数自动执行任