调度综合数据平台-操作手册

当前版本日期：20140708IE6.01024x768系统基本操 系统地 系统登 外部系统管 2.1系统拓扑图系统拓扑 元数据管 管 元数据DB元数 ETL元数 元数据自动导 DB元数据导 BI业务元数据导 BI报表元数据导 元数据变 元数据实体关系版本管 血统分析管 元数据血统分 自定义血统分 参与血统元数据设 数据治理管 规则介 规则配置管 DB元数据规 规则执行计 数据质量分 数据浏 问题数据修 ETL 普通 读组 SQL组 写组 javaBean组 参数配 调度任 ETL任务ETL任务ETL执行日 规则任务报表任务调度服务器节点调度服务器节点管 报表分析及挖 综合分析报 系统相关设 分 视图配 系统基本操系统地用户名：admin系统登输入用户名和登录系统，登录界面如下外部系统管每个元数据（ETL）都有一个所属系统，这个属性为元数据定义了获取数是FTP的话，那么它也许是IP和端口，用户名和等。这个类别下。菜单树中的应用系统，显示界面如下：点击应用系统库菜单树节点后，可对其下的系统进行管理，显示界面如下系统资源的新增包括数据库、FTP对象、WebServiceFTP系统拓扑在模块主界面中，可进行系统全景图，显示界面如下系统拓元数据管 为了便于元数据的管理把类型分为三类，分别为数据对象节点（DB元数元数元数据主要包括对元数据的新增、导入、编辑、查看、启用、停用和删除功能。点击菜单树中的元数据，显示界面如下DB元数据、文件元数据、ETLDB元数据说明：表名可以添加动态参数，如：CALC_DAY_E$[YEAR]，其中$[YEAR]中的YEARETL参数管理中的参数（6ETL建模，根据年份代表文件元数据类型分为：E语言文件（可能有多个实体、TXT文件（只有一个实体）和中所添加的FTP系统；文件路径为文件的FTP存放路径；文件解析模板只适用于E语言文E语言模板。可以根据年份动态生成文件，其中$[YEAR]YEARETL参数管理中的参数（6ETL建模/eFile/2013.NB、/eFile/自动化2014.NB。.EE语言模板中的所有实体包括其字段相关的信EEXCELEEXCELExcelSheet页的名称；从第几行读起一般为第二行因为第一行为列名；字Excel（Excel文件。TxtTxtTabDB报表连接URL为展示报表的JSP页面；包路径为报表文件路径（/WebContent/reportFiles下DB元数据如上图中的电厂ETLETLETL新增页面如下：6部分。ETLETLETLETLETL添加执行计划，执行计划有三种配置方法，分别的用于简单的某个时间段的执行配置中的服务器选项可以选择在哪台调度任务服务25ETL元数据自动导元数据自动导入包括导入DB元数据、BI业务元数据和BI报表元数据，导入成功后元DBBI元数据其中包含DB元数据、BI业务元数BI报表元数据三类，其中BI业务元数据和BICongosBICongos制作所有可以暂时不用；同步BI元数据（Congos服务器开启的情况下才有用BI模DB元数据不需要使用。DBBI业务元数据导BI报表元数据导元数据变元数据实体关DB元数据实体关系在字段的主外键关系上，界面如下上图黄色部分为关系，界面如下BI元数据实体关系在导入时在进行了面功能版本管点击版本行上的查看按钮，显示界面3.2章节中元数据中 树结构雷同血统分析管元数据血统分当数据由外部系统抽取到ODS区再由ETL进行和转换后存入数据仓库或者数据集市ETL血统和数弹出新的界面后，左上角是元数据的结构，左下角是元数据的预览图，右边的空白区域4-2所示：ETL4-3所示ETL血统中，系统会展示每个环节所用到的元数据以及该环节所依赖的条件，当数据移自定义血统分ETLETL参与血统元数据设通过在左 树中进入相应 数据治理管规则介元数据规则主要用于对数据进行校验，规则分为元数据级规则（DB、报表）和级规则配置管DB非空值域BeanSehll字段规importcom.returnrunResultBean;}JavaBean字段规说明需要实现com. import publicclassJavaBeanFieldCheckImplimplementsIJavabeanFieldCheckpublicRunResultBeancheckField(ObjectfieldValue){RunResultBeanresultBean=newRunResultBean();Doublefdl=(Double)fieldValue;if(fdl<=6000){}return}}列内容是否重复元数据是否按时ETL是否在指定的时间范围内执行，时间指定依次为年月日21210ETL是否正常执行。时间格式说明 1(2014年10月10日凌晨2点1分 1（101021分 1（1021分 1（21分报表规6DBDB另外还有规则和JavaBean规则（不同于字段规DB元数据（可以选择多个）SQLDBSQLimportimportcom. Stringsql="select[电厂日发电量.厂站名] from("+"selectsum([电厂日发电量.发电量])[电厂日发电量.发电量],[电厂日发电量.厂站名][电厂日发电量where电厂日发电量.日期to_date('2013/12/13','yyyy/mm/dd'groupby电厂日发电量.厂站名where电厂日发电量.发电量0";Listls=metaDataManager.getResultList(sql);StringBufferremarks=newStringBuffer();for(inti=0;i<ls.size();i++){DataRowdataRow=ls.get(i);if(i==0){"]"));"+]"));}}runResultBean.setRemark(""+ls.size()+""}return说明：中使用的都是DB元数据的语义，如[电厂日发电量.厂站名JavaBean规需要实现 package importimport publicclassJavaBeanCheckTestimplementspublicRunResultBeancheck(MappipParams){RunResultBeanrs=newRunResultBean();List<Map<String,Object>>dbResultList=returnrs;}}级规则（多元数据间的规则级规则中规则、JavaBean规则和元数据是否按时执行规则与报表规则配置表间记录对比规全表逐字段内容规则执行计数据质量分 数据浏通过在左侧的元数据树上选择需要浏览原始数据的文件/DB问题数据修按钮可对元数据的原始问题数据进行手工修正（DB数据。ETLETLETLETLETLETLETLETLETLETLETL元数据，如下图所示：ETLETLETLETL组的参数，如下所示，由于所ETLyesterdayyearETL组也需要配置这两个参数，配ETL（6.3章节）ETL再在迭代器的中配置循环ETL读组DB输入DB输入组件是DB类型的数据源通常作为ETL配置的第一个组件提供为下面的SQL语句进行编辑修改，在特定需求中可配置同表比对及自定义字段功能对数据进SQLSQLwhere条件、添加表别名、同表比对、A、BAB表状态位SQL语句，设置选取目标表字段，再对目标表字段进行主键设置，最后编辑相SQLSQLSQL语句字段的总个自定义字段是由现有的选取字段所生成，此时可点击关联字段并选取所的字段。SQLE文件输入E文件输入组件是E文件类型的ETL组件，并作为数据源传递给下一环节进行处ESQLSQL组SQL执行器义sql；2：原生sql语句；推荐使用第一种模式，当第一种模式不能实现，例如同表连接查SQLDB输入，先点击获取元数据按钮，在获取元数据界面中选取需要操作的DB元数据对象，点击确定后自动生成基础SQL，在基础SQL上编辑修改为最SQL语句，点击保存既可。sqlsqlsql过程执行器过程执行器有两种配置过程：1、点击获取过程按钮进行选择，如下图所示2、在系统资源下拉框中选择过程所在的系统，然后再在过程输入框中填写存转换组转换器如需现有字段，需将字段的语义表达式写入字段表达式的文本框中进行器字段前面的复选框可勾选多个分组字段在字段表达式中可对需要进行操作的字进行编辑，如图所示即为对ID分组，计算总行转列A列一行的值作为新增列，B列转行标列的集合A,B(可以)的每个列，将除目标列的集合的其他列与之组合形成新的一行数流向控路由器合并器写组DB输出DB输出可将上一环节传递的结果集信息输出到数据库，配置如下：DB在左上角TabE文件输出E文件输出可将上一环节传递的结果集信息输出到E文件中，配置如下：E文件元数据，javaBean组javaBean组件javabeanETLETL图形不好配置的情况，此JavaBeanETL操作；配置界面如下：javabenJavaBean需要接收的参数，参数值中可填写全局变量，也参数配在普通ETL和ETL组配置界面右上角Tab页中，都有一个参数管理配置界面，在此界面中可配置整个ETL过程中需要用到的参数，参数的配置根据参数的被使用顺序进行顺序配置；如下图所示，year的参数值配置了参数yesterday，故应先配置yesterday。定义变量：dateDateDate类型的变量，dateString为"%1$tY%1$tm%1$td"类型的字符串变量，datetimeString为"%1$tY-%1$tm-%1$td%1$tH:%1$tM:%1$tS"类型的字符串变量。ij个字符串：substring(dateString,i,.1ETL

调度任ETL主要用于控制ETL的执行，查看ETL的执行状态和他的执行计划，其主界面如ETL任ETL执行时主要有四种状态：1234ETL的生命周1执行完该次任务后就进入暂停状态20秒以内（可配置ETL的执行3ETL4、执行任务。该操作为手工触发，如果ETL上配置了参数的话，在任务执行前，会弹出参7-2所示，点击确定后会出现以下几种情况：《1》如果一切OKETL《2》假如ETL正处于执行状态，那么页面上会弹出提示框，提示您是否继续执行，《3》如果ETL5、除了以上手工操作会改变ETL的执行状态外，在调度引擎内部也会自动改变ETL的执ETLETLETL任务列表中，我们可以看到任务的一些状态信息，这些信息包括：ETL任务将在哪和下次执行时间都在什么时间点，注意如果没有上次执行时间的话，默认是1970-01-0100:00:00；状态就是待执行、执行中、暂停；执行日志是接，下一个章节将介绍这部ETL执行日7-1ETL的执行日志，ETL的执行ETLETLETLETL，那么我们看到的日志是普通ETL的执行日志，普通ETL的执行日志是不能查看子日志的，如ETLETLETLETL是个组ETL，如图7-4所示点击查看子ETL执行情况后可以查看这个组ETL中每个子ETL7-5ETL4ETL。7-4《1ETL的执行时长、执行轨迹，这样我们可以对ETL任务的执行频率进行调整、以带到ETL的最佳执行状态。如果ETL正在执行或者ETL在执行过程中，调度任务宕机的话，会