产品文档primetondi6 2userdocdi6 2ga节点监控快速入门

1、 PRIMETON TECHNOLOGIES, LTD.普元信息技术股份DI 6.2 GA节点监控快速入门No part of this document may be reproduced, stored in any electronic retrieval system, or transmitted inany form or by any means, mechanical, photocopying, recording, otherwise, without the written permission of the copyright owner.COPYRIGHT 2015

2、by Primeton Technologies, Ltd. ALL RIGHTS RESERVED.第 1 页共 36 页/ DI6.2GA 节点监控快速入门目录1.概述32. 环境准备33. 模型开发44. 配置服务器.4.3.配置作业服务器20配置服务器21配置调度服务器235.创建作业或作业流2.创建作业26创建作业流276.执行作业2.6.3.手动执行作业29计划触发执行作业30触发执行作业317.节点监控3..信息共享单位配置33交换节点配置34交换节点与作业

3、关系配置35节点运行数据监控36第 2 页共 36 页/ DI6.2GA 节点监控快速入门1.概述本快速入门以数据同步作业场景为例，从开发模型、部署模型、配置作业交换关系、节点监控日志等环节讲述DI 作业节点监控的整个流程。 2.环境准备根据产品安装指南安装 DI 产品的各个部件：Server、Studio、Agent、Governor。 如果是单机环境，可以无需安装Agent。 安装注意事项： Governor 及 Server 数据库连接需保持一致，在同一个库中。如若 Governor 已初始化数据库，Server 无需进行初始化。 快速入门章节

4、以单机环境为例讲解 DI 产品的使用流程。 Governor 初次使用时需要对调度服务进行必 要的参数配置，参见：启动及使用DI Governor 的“调度服务”小节。 分别启动：DI Server（作业服务器）及下）、DI Governor（管理服务器）。 1、启动后的Server 截图： Server 下 Agent（服务器，路径：Server 安装路径agent2、启动后的对应DI Server 下的服务器截图： 第 3 页共 36 页/ DI6.2GA 节点监控快速入门3、启动后的Governor 截图： 注意事项： 1.DIServer 的

5、 JMX 地址为启动后控制台中最上方的 JMX 地址，默认端口 6200，切勿与下方文件传输默认端口 8090 的 JMX 地址混淆。在 DIGovernor 中进行 2.Agent服务必须启动同 Server根目录下Agent，切勿启动 Governor 下Agent，并且勿与 Server 控制台中文件传输Agent 混淆。 3.模型开发本章节以开发业务模型为例，用户如何用 DI Studio 开发及调试数据交换模型，场景模型的开发 通过鼠标拖拽及组件属性配置即可完成。具体如下： 注意：示例中开发的模型以文件形式保存。场景说明：该场景实现的是将数据库表 USERTABLE 中的数据同步到表

6、 USERTABLE2 中，即当USERTABLE 中的数据发生新增、更新、删除时，数据会同步到 数据库准备：创建数据库表 USERTABLE和 USERTABLE2，本示例 USERTABLE 和 USERTABLE2 都在数据库名为 test 中。以 Mysql 为例，创建数 第 4 页共 36 页/ DI6.2GA 节点监控快速入门据库 test，创建表的SQL 语句如下：模型开发步骤：1、启动 DI Studio，在出现如下界面时，按照界面中的配置进行选择后，点击【确认】按钮进入 Studio 主界面。 DI2、右键点击资源树的业务模型，选择

7、【新建】，进入主界面，具体界面如下： 新建如下： 第 5 页共 36 页/create table USERTABLE( IDint(5),NAME VARCHAR(50), SEX VARCHAR(10), AGE int(3),PHONE VARCHAR(50)ENGINE=INNODB DEFAULT CHARSET=utf8;create table USERTABLE2( IDint(5),USERNAME VARCHAR(50), SEX VARCHAR(10),AGEint(3), DI6.2GA 节点监控快速入门主界面如下：3、将组件

8、列表中用到的组件通过鼠标拖拽至绘图区，该示例用到的组件有：组件说明：源表和目标表是：输入组件列表中的“表输入组件” 字段选择、字段选择 2、字段选择 3、字段选择 4、字段选择 5 是：转换组件列表中的“字段选择组件” 比对记录是：转换组件列表中的“比对记录组件” 选择/增删改是：转换组件列表中的“选择/增删改” 4、建立组件间的连线，鼠标放到组件上时则会弹出操作框，用鼠标点中组件中的红框按钮（如下图） 后直接拖拽至目标组件松开鼠标，则连线绘制成功。最终绘制的连线如上图所示。 第 6 页共 36 页/ DI6.2GA 节点监控快速入门5、配置各个组件

9、的属性设置，界面如下： 1）配置“源表”属性： 鼠标双击“源表”组件图标或者右键点击组件图标，选择弹出菜单的【编辑步骤】，弹出表输入组件属性配置窗口，如下图： 点击【新建】按钮，配置源表所在数据库连接。第 7 页共 36 页/ DI6.2GA 节点监控快速入门点击【获取 SQL 查询语句.】按钮，弹出数据库浏览器，选择源表中的表：USERTABLE 后，点击 【确定】按钮。 第 8 页共 36 页/ DI6.2GA 节点监控快速入门选择【是（Y）】按钮，则 SQL 语句会导入 SQL 编辑框中，如下图： 第

10、 9 页共 36 页/ DI6.2GA 节点监控快速入门最后，将 SQL 语句编辑框中补充“order by id”语句后，点击【确定】按钮，如下图： 第 10 页共 36 页/ DI6.2GA 节点监控快速入门至此，源表组件的属性配置完毕。 2） 配置“目标表”属性：目标表的属性配置与源表的属性配置过程一样，不同的是，目标表的表名要选择USERTABLE2。 3） 配置“字段选择”属性：配置源表中的哪些字段需要进行同步。 鼠标双击“字段选择”组件图标或者右键点击组件图标，选择弹出菜单的【编辑步骤】，弹出组

11、件属性配置窗口，选择Tab 页的“元数据”，如下图 点击【获取改变的字段】按钮，结果如下图。第 11 页共 36 页/ DI6.2GA 节点监控快速入门将“需要改变的元数据字段”中的属性改为如下图中所示的内容。4）配置“字段选择 2”属性：配置同步的数据最终会进入目标表中的哪些字段。该配置过程与“字段 选择”类似，配置成如下截图内容。 5）配置“比对记录”属性，配置成如下截图属性：第 12 页共 36 页/ DI6.2GA 节点监控快速入门点击【获取关键字字段】按钮，可以配置匹配的关键字是属性。点击【获取值

12、字段】按钮，可以配置数据字段。 注意“标志字段”属性值为：STATE。 6）配置“选择/增删改”属性：该组件的的作用是融合原有的分发、选择字段并同步新增、修改、删除数据为一体的功能。配置的结果如下图： 在【类型选择】标签中配置如下： 注意 Switch 字段的属性值选择：STATE。Case 值说明： new：表示数据是新增记录。 changed：表示数据是发生修改的记录。deleted：表示数据是删除的记录。 第 13 页共 36 页/ DI6.2GA 节点监控快速入门在【数据库配置】标签中配置如下： 选择或新建数据库连接及目标表，在【查询值所需的

13、关键字】中选 择 ID，在更新字段中选择除 STATE 以外的其他字段，配置结果如下图所示： 第 14 页共 36 页/ DI6.2GA 节点监控快速入门注意：这里更新字段中必须选择上所需的关键字 ID。 6、至此，该数据同步场景的业务模型开发完毕。但是为了能在 DI Governor 中能监控到该模型的运行统计数据， 还需要对业务模型进行日志属性配置。右键点击左边工程树中 datacmp，选择弹出菜单的【设置】，如 第 15 页共 36 页/ DI6.2GA 节点监控快速入门选择Tab 页的“日志”，选择

14、“转换”，属性配置如下图所示：注意：配置模型日志的数据库连接必须和 DIGovernor 是同一个数据库连接配置。第 16 页共 36 页/ DI6.2GA 节点监控快速入门选择Tab 页的“日志”，选择“步骤”，属性配置如下图所示：第 17 页共 36 页/ DI6.2GA 节点监控快速入门7、保存模型。至此，示例一的作业模型开发完毕。 8、运行调试，界面如下： 例如：表USERTABLE 中有新增一条数据，如下： 点击下图中的运行图标，运行模型：第 18 页共 36 页http:/www.primeto

15、/ DI6.2GA 节点监控快速入门点击【启动】按钮。模型运行结果如下，新增的数据将会同步到USERTABLE2 中：第 19 页共 36 页/ DI6.2GA 节点监控快速入门4.配置服务器DI Studio 中开发的模型均会以作业或作业流的方式运行。 在作业或作业流运行前，需要配置好如下服务： 作业服务器服务器调度服务器如果采用触发作业或者作业流的执行，还需配置“文件服务器”，该配置参见：触发执行作业。4.1. 配置作业服务器1、在Tab 标签栏上点击系统配置业服务器，进入作业服务器配置页面。如图： 2、点击【新增作业服务器】按钮，进入

16、作业服务器维护页面。如图：注：输入必填项。地址为 jmx 连接地址，在启动作业服务器后可以通过查看控制台信息获得，格式例如： service:jmx:rmi:/jndi/rmi:/192.168. 如果没有用户名、信息文本框中可以填写1等信息。 第 20 页共 36 页/ DI6.2GA 节点监控快速入门注：DIServer 的 JMX 地址为启动后控制台中最上方的 JMX 地址，默认端口 6200，切勿与下方文件传输默认端口 8090 的JMX 地址混淆。 4.2. 配置服务器1、在左侧导航上点击服务器管理下服务器，进入服务器配置页面。如图：2、点

17、击【新增服务器】按钮，进入服务器维护页面。如图：第 21 页共 36 页/ DI6.2GA 节点监控快速入门注：输入必填项。 ip、通讯端口为启动使用的8181。 服务器信息，默认安装好的服务器端口为也可自行修改端，用文本编辑器打开文件 DIServer 运行目录/agent/config/perties，修改属性 port 的值。 3、输入信息后保存成功，在主页面可以看到已添加的作。 服务器信息，并可以进行修改、删除等操 4、在左侧导航上点击系统设置下的保存。 授权，然后点击授权按钮，勾选所添加的服务器，点击 第 22 页共 3

18、6 页/ DI6.2GA 节点监控快速入门此处默认已导入license 文件，如需更换可先导入新的文件，再授权。 4.3. 配置调度服务器1、在左侧导航上点击系统配置下的调度服务器，进入调度服务器配置页面。如图：2、点击【新增调度服务器】按钮，进入调度服务器维护页面：第 23 页共 36 页/ DI6.2GA 节点监控快速入门注：输入必填信息，此处主机 IP、主机通讯端口及应用名称为你要启动使用的调度服务器信息，默认安装好的调度服务器端口为 8080，应用名称为 s cheduler3、输入信息后保存成功，

19、在主页面可以看到已添加的调度服务器信息，并可以进行修改、删除等操作。调度服务器使用前需注意，先配置好 scheduler： 1.安装好DI Governor 后，启动调度服务器。 2.浏览器访问 http:/ip:8080/scheduler，进入 scheduler 配置页面，默认没有再进入。 ，可直接点击确定，或设置 第 24 页共 36 页/ DI6.2GA 节点监控快速入门3.设置数据库连接，注意此处数据库连接必须与 DIGovernor 安装时配置的数据库连接保持一致，然后点击测试知识库连接确保连接成功，然后点击保存按钮。 第 25 页共

20、36 页/ DI6.2GA 节点监控快速入门5.创建作业或作业流本章节将用户如何创建作业及作业流。 作业：是系统基本的配置运行单位，是系统中的运行最小单位。它包括执行的程序（比如 Shell 脚本或 datastage job）及其参数。 作业流：是系统中用于组织和管理若干有业务关系的作业的实体，分为串行和并行作业流，作业流的第一个作业叫首作业，它的作用是触发作业流的其他作 业务功能都是以作业或者作业流的方式运行，如果想以作业的方式执行，请选择“创建作业”，如果想以作业流 的方式执行，请选择“创建作业流”。 5.1. 创建作业1、在功能树中点击作业管

21、理业|作业流，进入作业|作业流配置页面。如图：2、点击【新增作业】按钮，进入新增作业页面，此处新增 DI 作业，所以在填写信息过程中作业类型选择 DI作业。如图： 第 26 页共 36 页/ DI6.2GA 节点监控快速入门注：输入必填项。此处服务器、作业服务器选择已配置好需要使用的服务器名称，作业部署为DI Studio 中开发导出的作业文件，格式为 dbr 或 dsr。 在 DI Studio 中开发的作业名称需要与导出时输入的名称一致，此处输入的 DI 作业名称也需要与导出时保持一致并且带后缀名。 在部署DI 作业时，服务器、作业服务器必须已启

22、动。 3、输入信息后保存成功，在主页面可以看到已添加的作业信息，并可以进行修改、删除等操作。 5.2. 创建作业流1、在功能树中点击作业管理业|作业流，进入作业|作业流配置页面。如图：2、点击【新增作业流】按钮，进入新增作业流页面，如图：作业流属性区设置项说明：第 27 页共 36 页/设置项说明名称 作业流的实际名称。 别名 作业流的别名。 调度服务器 运行PrimetonBATCH 的核心软件的服务器，用于调度作业的执行 生效日期 作业流开始生效的日期 DI6.2GA 节点监控快速入门3、输入作业流基本信息。 4、点击Tab 标签的设置作业依赖关

23、系，设置作业的执行顺序，如图：点击【作业作业流】，将导航业拖入编辑区。 用鼠标拖拽图标可以调整图标的布局位置。点击上方箭头按钮，然后点击原作业拖动到目标作业完成连线。双击连接，可以弹出操作菜单进行编辑操作。 注意：作业流的执行顺序为前置-当前作业-后置。 第 28 页共 36 页/终止日期 作业流停止使用的日期 失败后重试 作业执行失败后是否要自动重新执行 重试模式 重新执行失败作业的方式 重试间隔时间 重新执行失败作业的间隔时间, 单位是分钟 最大重试次数 重新执行失败作业流的最多次数 作业流上次执行 运行作业的时候是否会去检查作业上次运行状态 描

24、述 对作业流的相关描述，被用于其提示信息中。 DI6.2GA 节点监控快速入门5、点击Tab 标签的作业流前置，添加作业流执行的前置作业流，该示例场景不需要设置，忽略。 6、点击Tab 标签的作业流后置，添加作业流执行的后置作业流，该示例场景不需要设置，忽略。 7、点击【保存】按钮，保存作业流。 至此，作业或者作业流的配置全部完成，接下来可以运行了。 6.执行作业作业|作业流的运行有三种方式：手工执行作业、计划触发执行作业、触发执行作业。6.1. 手动执行作业1、点击功能树中监控管理下的整体监控-作业总体监控。如图：注意：计划总体监控中显示的是所有触发类型的作业列表，包括：单作业|作业流、计划

25、触发、触发。2、在作业列表中找到已经添加好的作业信息，点击右侧操作中的DI 作业开始运行。 运行按钮，如图。然后点击确定按钮，第 29 页共 36 页/ DI6.2GA 节点监控快速入门3、运行结束后可以看到数据同步的新增、更新、删除数据个数，通过点击右侧操作上的按钮查看详细信息、 详细日志等。也可以通过各个服务器控制台查看该作业运行情况。 6.2. 计划触发执行作业1、选择功能树中调度管理 下的 计划设置 页面，如下图所示： 2、点击“计划列表区” 下【新增计划】按钮，弹出新增计划的窗口，如下图所示： 数据项说明：频度类型：计划的执行频度，必须指定

26、一种类型。选择作业/作业流：选择的时候如果当前选择的作业、作业流比已选的列表中的作业/作业流多就追加在列 表中，如果比已选的少不删除已选的作业/作业流。如果想删除表格中的作业/作业流，只能在表格中点清 第 30 页共 36 页/ DI6.2GA 节点监控快速入门除图标进行删除。消息：当计划作业执行时可以给指定的邮箱发送邮件。关于消息的配置参见章节：调度管理中的消息设置。 启用：只有设置为启用，计划才会执行。注意事项：注意选择作业/作业流的操作。 选择作业/作业流后都具有调度服务器选项，请选择执行的优先级；作业还具有调度服务器选项，请选择执行的调度服务

27、器。 3、输入名称、频度类型、选择作业|作业留、激活时间后，点击【保存】按钮。该项计划将按照指定的内容执 行。 4、选择功能树中监控管理的计划监控，显示出目前已经执行计划的列表，如下图所示：关联区点击查看按钮时跳转到与该计划所关联的作业流干预页面。 点击“历史日志”按钮时跳转到与该计划执行历 史日志。 点击“详细日志”按钮时跳转到与该计划执行详细日志。 列表区以列表的形式显示已制定的执行计划。 双击某计划能进入该计划所关联的作业|作业流的作业流监控页面。 触发执行作业6.3.触发是指：通过接口文件（文件到达）的方式来触发作业流的运行。 1、修改配置文件 DIGovernor 运行路径/list

28、ener/config/perties 中的 schedulerServer 配置，改成 Governor 的 scheduler 服务的地址，比如：schedulerServer=http:/localhost:8080/schedulerDI2、启动文件服务，或者 DI Governor 运行路径/listener/start.bat（linux 下是start.sh）如下图： 第 31 页共 36 页/ DI6.2GA 节点监控快速入门3、创建 test.ctl 文件，内容如下：4、在功能树中选择 调度管理，进入 配置 管理

29、界面，如下图所示： 5、点击【新增】按钮，进入新增的窗口，如下图所示：第 32 页共 36 页/#其中label:、odate:、files:为约定变量名； label:sales_factodate:2014-06-27 DI6.2GA 节点监控快速入门6、输入必填的数据项数据后，点击【保存】按钮。关于各数据项的详细说明参见章节：配置 7、将 test.ctl 拷贝到文件目录的 receive 下面，即：DI Governor 运行路径/listener/filelistener/recieve，作业就会执行。执行完后，该文件会移动到 DI Governor 运行路径/listener/filelistener/complete 下。 8、选择功能树中监控管理的监控，显示出目前已设定的触发执行作业的列表，如下图所示： 9、通过右边的“操作”中的图标按钮，可以查看该触发执行作业的执行情况、历史日志和详细日志。7.