2020Datablau数据资产管理平台用户使用手册-V5.0.2

Datablau数据资产管理平台用户使用手册2021年02月数据资产管理平台用户使用手册数据资产管理平台用户使用手册PAGE100PAGE100目录一、 引言 6编写的 6读者体 6内容围 6名词释 6参考档 6编写范 6二、 使用引 7产品述 7功能述 7登录统 7三、 系统理 9用户理 9添加户 10编辑户 11修改码 11忘记码 12禁用户 13角色理 14添加色 15编辑色 18删除色 19系统务 20查看务 21编辑务 21系统置 22邮件置 22参数表 23远程务控 23同义列表 23控制板 24四、 数据准 25数据准 25添加据准 26导入据准 26导出据准 29标准核程 30废弃据准 34删除据准 36订阅据准 37数据准标代码 38数据准元据射 39数据准地 40标准码 40添加准码 40导入准码 42导出准码 43废弃准码 43删除准码 46命名典 46添加名典 47导入名典 48导出名典 49删除名典 49指标系 50查看标 51导入标 52维度系 52添加度 52删除度 52标准码为度 52五、 元数据 52应用统 52添加统 53编辑统 54导入统 56搜索统 58删除统 59系统用 60数据源 62添加据源 63离线产（OfflineDump） 64搜索据源 65删除据源 66更新据源 67BI67永洪68IBMCognos 68元数据 69查看数据 70搜索数据 70导出数据 71元数与据准射 72血缘理 78导入缘件 78定时集缘件 81查看析果 82标签理 83添加录 83添加签 84编辑/除签 84标签引信息 85六、 数据量 85驾驶舱 85业务则理 86添加务则 87导入务则 87导出务则 88编辑务则 88搜索务则 89删除务则 89技术则理 90添加术则 90导入术则 91导出术规则 92编辑术则 92搜索术则 92删除术则 92质量查务 93添加量查务 93编辑量查务 94搜索量查务 95删除量查务 95查看务行果 95质量复务 96添加量复务 96编辑量复务 97搜索量复务 97查看下修任结果 97删除量复务 98知识管理 98添加识条目 99编辑识条目 100删除识条目 100七、 数据型 101设计型理 101模型索 101模型情 102基本息 1031.4 主题 106八、 数据求/据务 107数据求 107数据务 109九、 数据能 113业务性别 113业务性现 116十、 业务程 118业务程 118业务体 122十一、 数据全理 1231. 数据全 123十二、 数据录 124目录览 124目录理 124十三、 附录 124公司介 124Groovy语样例 125Groovy使实例 125参数关操作 133QuartZCron表135OfflineDump线产库 136IBMDataStage出dsx和isx文件 145FAQ部分 146联系们 147一、引言Datablau数据资产管理平）编写目的atalau（DADatablau）读者群体DAM内容范围 DAMDAM和《数语科技DAM名词解释名词释义Datablau北京数语科技有限公司DAMDataAssetManagement数据资产管理平台参考文档无编写规范DaabluLOODBA注意注意二、使用指引产品概述DAMDAM功能概述依据不用的用户权限，使用者能够在本系统中完成以下工作：ER登录系统（Chrom65DMURL，例如3/dam/login.jsp，即可进入DAM平台的登录入口界面。后，即可进入DAMDAM（1-1.3三、系统管理用户管理DAM功能入口：操作角色：adminEmail用户加功面动跳到户表界并某用添成功DAM的示，击取】按取编操跳回用列无示。DAMDAM注意：通过邮箱重置登录的密码的两个前置条件： DAM DAM ，方可显示点击被禁用用户后面的【启用】按钮，该用户即可正常登录DAM平台。 注意：系统初始化后默认创建的admin 角色管理DAM功能入口：操作角色：点击【角色管理】模块页面右上角的【添加】按钮，即可进入角色添加页面。 权限与DAM平台的功能模块息息相关，共包含以下19种：•超级系统运维管理（拥有除了数据源外的全部权限）•普通访问浏览（可以登录此系统，可以访问公共资源，没有编辑权限）•查看报表（能访问报表）•管理数据标准（能创建和编辑数据标准相关内容）•管理生产模型（能编辑数据资产相关内容）•管理数据源（能创建和编辑数据源，以及创建检查任务）•管理数据流转（可以导入和编辑血缘关系）•管理业务质量规则（能创建和编辑业务质量规则）•管理技术质量规则（能创建和编辑数据质量规则）•查看质量检查任务（能读取质量检查任务）•管理质量修复任务（能修改所属系统的质量修复任务和下载结果）•查看质量修复任务（能读取全部质量修复任务）数据标准浏览（）数据模型浏览（）元数据浏览）数据质量浏览（）管理知识库）管理指标（）管理数据需求和应用） 点击【角色管理】菜单进入角色列表页面后，点击某角色后面的【编辑】按钮，即可进入角色编辑页面，可以对角色的信息和权限进行修改，包括增删拥有该角色的用户。的提框点【消】钮消辑作转回户表提。 DAM会弹的示。系统任务功能入口：操作角色： DAMDashboard）（）Dashboard（Dashboard）BI（BI更新DDCDDC）（））（）（）（）QuartZCron 系统设置 DAM 参数列表中的参数主要用于数据质量任务，作为变量用于编写技术质量规则。DAMDAMDAM-Agent DAM-AgentIPDAMDDM在【控制面板】中，可以对系统的功能进行参数设置，如开启或关闭某个功能比如下面的选项，false代表不开启强密码功能，true代表开启强密码。设置成功后，鼠标离开焦点，会出现修改成功的提示信息，代表设置成功。四、数据标准数据标准功能入口：操作角色：关联任务：DashboardDAMExcel1.2进入【基础标准】的【数据标准】功能模块，点击标准“开发中”状态右侧的“...”按钮，在弹出的菜单中选择【添加标准】即可进入数据标准添加页面。为了提高数据标准的添加效率，我们建议您借助Excel数据标准模块的形式批量导入数据标准到平台中去。进入【基础标准】的【数据标准】功能模块，点击标准“开发中”状态右侧的“...”按钮，在弹出的菜单中选择【下载模版】，即可将数据标准的模版下载到本地磁盘中。根据数据标准模版中的信息项填写数据标准的标准编号、标准主题、一级分类等信息。填写指导请您参考【填写说明】Sheet页。ExcelDAM进入【基础标准】的【数据标准】功能模块，点击标准“开发中”状态右侧的“...”按钮，在弹出的菜单中选择【批量导出】即可将平台中已存在的数据标准批量导出。 ID DAM 公有数据标准。 进入【开发中】状态的数据标准页面，可以查看已经废弃的数据标准列表。点进具体的数据标准中，也可以在生命周期中看到该数据标准为【废弃】状态。【发态数标准以击据准列右订标以阅该数据准订成后弹出 的提框点击数据标准的【引用代码】，可以展示该引用代码的取值列表。在数据标准的【资产引用】中，可以查看到引用该数据的生产元数据列表。标准代码功能介绍：功能入口：操作角色：进入【基础标准】的【标准代码】功能模块，点击搜索框右侧的“...”按钮，在弹出的菜单中选择【添加代码】即可进入标准代码添加页面。 根据页面提示填写代码编号、中文名称、英文名称、标准主题、编码取值等信息，填写完毕击确】钮标准码加功弹出 的提框 Excel进入【基础标准】的【标准代码】功能模块，点击搜索框右侧的“...”按钮，在弹出的菜单中选择【下载模版】，即可将标准代码的模版下载到本地磁盘中。Sheet进入【基础标准】的【标准代码】功能模块，点击搜索框右侧的“...”按钮，在弹出的菜单中选择【批量导出】即可将平台中已存在的标准代码批量导出。同数据标准一样，标准代码亦具有时效性，勾选需要废弃的标准代码，点击页面下方的【废弃】按钮，可废弃选中的标准代码。如果需要恢复该废弃的标准代码，勾选需要恢复的标准代码，点击页面下方的【恢复】按钮，即可恢复该标准代码。命名词典功能介绍：功能入口：操作角色：必填、（为了提高命名词典的添加效率，我们建议您借助Excel命名词典模块的形式批量导入命名词典到平台中去。模版填写完成后点击页面右上角的【批量导入】按钮。指标体系功能介绍：功能入口：操作角色：原子指标派生指标维度体系功能介绍：功能入口：操作角色：标准代码转为维度五、元数据应用系统功能入口：操作角色： （IT部门、Excel（IT点击系统名录编辑页面下方的【选择成员】按钮，可以增删该系统名录下的用户。为了提高添加系统名录的效率，DAM平台支持用Excel模块批量导入系统名录。 ExcelExcel（ITExcel点击【系统名录】主界面右上角的【导入】按钮，选择本地刚刚编辑保存好的系统名录Excel文件，将系统名录批量录入到DAM平台中去。 系统录Excel文导成功提，系名的【统写已存于DAM台会，请查Excel件误再行导操。 在【系统名录】主界面左侧的复选框中勾选，然后点击页面下方的【删除】按钮进行删除操作。删除【系统名录】时系统会弹出确认框，点击【确定】后方可删除系统。如系名除功会若系下数据则除败提示系统调用功能介绍：功能入口：操作角色：点击【添加调用】-》【创建调用】，打开添加调用页面填写发起调用系统、被调用系统、引用方式等信息，并点【确定】，即可创建系统调用关系。添加完毕后，在【数据资产】-》【数据地图】中，即可查看到系统间的调用关系图。除了单个添加调用外，也可以通过下载系统调用模板，填写好信息后，进行批量导入。数据源功能介绍：OracleSQLServerMySQLOceanBasePostgreSQLGaussDBGreenplumDB2（DB2foriSeries）GBaseHanaMaxCompute（ODPS）TeradataOfflineDump非关系型数据库：HBaseHIVEImpalaMongoDBElasticSearch文件类型数据：Excel（CSV、DataDictionary）Tableau操作角色：DBA关联任务：Dashboard通连的页会弹的示数据源测试连接成功后，系统会开始采集该数据源的元数据信息。采集过来的元数据信息，在【元数据】模块展示。（OfflineDump）OfflineDumpDAMOracleMySQLOfflineDumpDUMP_TABLES （DUMP_VIEWS （DUMP_COLUMNS （DUMP_PKS （DUMP_INDEXES （DUMP_ROUTINES（Offline（ORACLE_MYSQL_DAMOrale或ySQ填写毕点测按接息写后会提示SchemaDUMP_XXXXSchemaSchema在搜索框中输入关键字，可以对数据源的名称进行快速搜索。勾选需要删除的数据源，点击页面下方的【删除】按钮，即可删除指定的数据源。 点击【更新任务】按钮，即可进入指定数据源的任务配置界面，点击【立即运行任务】那会立即执行一遍数据源的更新任务，也可通过计划任务定期去更新数据源。 BI工具BusnessnteigncB功能入口：操作角色：关联任务：BI永洪BI是永洪科技出品的一款商业智能软件，DAM平台支持接入该BI工具。IBMCognosIBMCognosIBMCognosCognosCognosURICognos DispacheURCognsognos为分布式部署请填写Conos管理服务器的地址。 GatewayURICognos Cognos Cognos Cognos注意：CognosIBMCognosConfiguration，在【LocalConfigurationEnvironmentGategoryURIDispatchcerURI。②在WEBCognos—切换到【个人】选项卡—在【名称空间】处可查看名称空间。元数据功能介绍：功能入口：操作角色： 点击页面右下角的【下载全部】按钮，可下载该数据源的全部元数据信息到本地磁盘。 Sheet SheetExcel血缘管理（Data功能入口：操作角色：关联任务： DAMKettle (PentahoDataIntegration)SSIS(MicrosoftSQLServerIntegrationServices)Excel(DatablauDataStage (IBMDataStage)PowerCenterXML(InformaticaPowerCenterETLFile)SQLApacheSqoopMapping)Tableau (TableauReportFile)TSQLScript (MicrosoftSQLServerSQL)PL/SQLScript(OracleSQL)HiveSQLScript(ApacheHiveSQL)进入元数据模块的血缘管理页面，点击页面右上角的【导入血缘文件】按钮。根据需要选择具体的血缘文件类型，并上传本地的血缘文件。上传完成后，系统会自动去解析该血缘文件。 标签管理功能介绍：功能入口：操作角色：添加标签前，需先【添加目录】。添加完目录后，点击【添加标签】。输入标签名称、描述等信息，关联标签及目录，点击【确定】即可完成添加。/已添加的标签可以进行【编辑】和【删除】操作。如果该标签已被表、字段等引用，可以在此处看到引用信息。六、数据质量驾驶舱TOP10TOP5功能入口：操作角色：关联任务：Dashboard业务规则管理功能入口：操作角色：关联任务：Dashboard （ExcelExcel填写完毕，点击页面右上角的【导入】按钮，即可将录入好的业务规则批量导入平台中去。点击页面右上角的【导出】按钮即可将平台中已有的业务规则全部导出，下载到本地。对于已经创建好的业务规则，如需对其进行修改，可点击对应业务规则后面的【编辑】按钮。技术规则管理功能入口：操作角色：关联任务：Dashboard进入技术规则管理页面，点击右上角的【添加规则】按钮，进入技术规则添加页面。（SQLGroovy（SQLGroovyExcelExcel点击页面右上角的【导出】按钮即可将平台中已有的技术规则全部导出，下载到本地。对于已经创建好的技术规则，如需对其进行修改，可点击对应技术规则后面的【编辑】按钮。质量检查任务功能入口：操作角色：关联任务：Dashboard在检查任务管理页面，点击右上角的【创建任务】按钮，进入检查任务添加页面。填写或选择检查任务的任务名称、调度方式、所属系统、数据源、负责人等信息对于已经创建好的技术规则，如需对其进行修改，可点击对应检查任务后面的【编辑】按钮。可以通过任务名称关键字搜索定位到需要查看的任务。点击【运行结果】按钮，可以查看检查任务的运行结果。质量修复任务功能入口：操作角色：关联任务：Dashboard在修复任务管理页面，点击右上角的【创建任务】按钮，进入检查任务添加页面。对于已经创建好的修复任务，如需对其进行修改，可点击对应修复任务后面的【编辑】按钮。可以通过状态、任务名称关键字、系统，日期搜索定位到需要查看的任务。通过任务后面的“…”，可以查看或下载修复任务的结果。知识库管理功能入口：操作角色：点击【添加】按钮，打开添加页面。对于已经创建好的知识库条目，如需对其进行修改，可点击对应知识库后面的【编辑】按钮。七、数据模型设计模型管理功能介绍：DAMDDM功能入口：操作角色：在搜索框中输入模型名称，可以快速定位到目标模型。点击模型，可以进入模型详情，进行浏览和编辑模型。包括【模型摘要】【数据实体】【报告】【历史版本】【评论】【主题】。基本信息【模型概要】可以浏览模型的一些基本信息。//以对表并且需要DDM【报告】模块可以通过创建并发布报告，生成版本之间的差异报告【历史版本】可以查看各个版本之间的修改记录。【评论】可以对模型进行评论。主题【主题】模块可以查看模型的ER图和实体，可以对模型的表/视图进行编辑、删除操作。DDM客户端开启可以对模型的表、视图、字段等进行关键字搜索。也可以对模型规范进行检查。八、数据需求/数据服务数据需求功能入口：点击【添加需求】-》【创建需求】按钮，可以打开添加需求页面。已经添加的需求，可以进行【查看】和【删除】操作。同时，需求也支持批量导入功能，需先下载模板，并按照模板格式填写，然后导入即可。数据服务功能介绍：DDC功能入口：操作角色：普通用户普通用户进入菜单导航栏-》【目录浏览】进行搜索提交申请管理员登录-》个人工作台-》流程控制-》我的待办-》【办理】点【新建视图】点【测试】（测试通过后，才可点击【确定】按钮）测试通过后，点击【确定】按钮选择创建的视图，点击【通过】。审核通过后，切换到普通用户账号，即可在【数据服务】看到此数据。九、数据智能业务属性识别功能入口：操作角色：关联任务：业务属性识别可以扫描系统中的业务属性，并为业务属性推荐合适的数据标准。可以选择扫描的数据范围也可以勾选多个业务属性，进行【批量接受】和【批量拒绝】操作。业务属性发现功能介绍：功能入口：操作角色：关联任务：【业务属性发现】列出了没有相匹配的数据标准的相似业务属性。点击【查看】，可以查看业务属性所属的数据源、所属表、数据类型等信息。十、业务流程功能介绍：功能入口：操作角色：业务流程点击【业务流程】，打开添加业务流程页面。已保存的业务流程，可以【新增业务活动】同时也可对业务活动进行【修改】和【删除】点击【查看数据对象】，可以添加【业务实体】中已保存的业务实体数据。业务实体点击【添加业务实体】，打开添加业务实体的页面。输入业务实体名称，可以关联模型，并且添加物理表。点击【保存】，即可保存实体。已保存的实体可以进行【修改】和【删除】操作。业务实体创建完后，可以在相应的元数据表详情中，查看关联的业务实体。十一、 数据安全管理1. 数据安全功能介绍：功能入口：操作角色：十二、 数据目录目录浏览目录管理十三、 附录公司简介Datablau）201611CACEOerwinCTOerwinDatablauDAMADatablauDDMDatablauDAMDDM。 2018，Datablau得的“最佳大数据产品”奖。Groovy语法样例Groovy“Goovrooy代码->Tips：初阶操作：importimportgroovy.sql.Sqldefurl='jdbc:hsqldb:mem:yourDB'defuser='sa'defpassword=''defdriver='org.hsqldb.jdbcDriver'defsql=Sql.newInstance(url,user,password,driver)//use'sql'instance...sql.close()importimportgroovy.sql.Sqlimportorg.hsqldb.jdbc.JDBCDataSourcedefdataSource=newJDBCDataSource(database:'jdbc:hsqldb:mem:yourDB',user:'sa',password:'')defsql=newSql(dataSource)//usethenclose'sql'instance...新建表：//...create'sql'instance//...create'sql'instancesql.execute'''CREATETABLEAuthor(idINTEGERGENERATEDBYDEFAULTASIDENTITY,firstname VARCHAR(64),lastnameVARCHAR(64));'''//close'sql'instance...插入值：defdefinsertSql='INSERTINTOAuthor(firstname,lastname)VALUES(?,?)'defparams=['Jon','Skeet']defkeys=sql.executeInsertinsertSql,paramsassertkeys[0]==[1]查询：defdefexpected=['DierkKoenig','JonSkeet','GuillaumeLaforge']defrowNum=0sql.query('SELECTfirstname,lastnameFROMAuthor'){resultSet->while(resultSet.next()){deffirst=resultSet.getString(1)deflast=resultSet.getString('lastname')assertexpected[rowNum++]=="$first$last"}}}更新行：def def updateSql = "UPDATE Author SET lastname='Pragt' lastname='Thorvaldsson'"defupdateCount=sql.executeUpdateupdateSqlassertupdateCount==1defrow=sql.firstRow"SELECT*FROMAuthorwherefirstname='Erik'"assert"${row.firstname}${row.lastname}"=='ErikPragt'删除特定行：assertsql.firstRow('SELECTCOUNT(*)asnumFROMAuthor').num==3sql.execute"DELETEFROMAuthorWHERElastname='Skeet'"assertsql.firstRow('SELECTCOUNT(*)asnumFROMAuthor').num==2高阶操作：事务处理：assertsql.firstRow('SELECTCOUNT(*)asnumFROMAuthor').num==0sql.withTransaction{sql.execute"INSERTINTOAuthor(firstname,lastname)VALUES('Dierk','Koenig')"sql.execute"INSERTINTOAuthor(firstname,lastname)VALUES('Jon','Skeet')"}assertsql.firstRow('SELECTCOUNT(*)asnumFROMAuthor').num==2批处理：sqlsql.withBatch(3){stmt->stmt.addBatch"INSERTINTOAuthor(firstname,lastname)VALUES('Dierk','Koenig')"stmt.addBatch"INSERTINTOAuthor(firstname,lastname)VALUES('Paul','King')"stmt.addBatch"INSERTINTOAuthor(firstname,lastname)VALUES('Guillaume','Laforge')"stmt.addBatch"INSERTINTOAuthor(firstname,lastname)VALUES('Hamlet','D''Arcy')"stmt.addBatch"INSERTINTOAuthor(firstname,lastname)VALUES('Cedric','Champeau')"stmt.addBatch"INSERTINTOAuthor(firstname,lastname)VALUES('Erik','Pragt')"stmt.addBatch"INSERTINTOAuthor(firstname,lastname)VALUES('Jon','Skeet')"}defdefqry='SELECT*FROMAuthor'assertsql.rows(qry,1,3)*.firstname==['Dierk','Paul','Guillaume']assertsql.rows(qry,4,3)*.firstname==['Hamlet','Cedric','Erik']assertsql.rows(qry,7,3)*.firstname==['Jon']分页处理：defdefqry='SELECT*FROMAuthor'assertsql.rows(qry,1,3)*.firstname==['Dierk','Paul','Guillaume']assertsql.rows(qry,4,3)*.firstname==['Hamlet','Cedric','Erik']assertassertsql.rows(qry,7,3)*.firstname==['Jon']获取元数据：sqlsql.eachRow("SELECT*FROMAuthorWHEREfirstname='Dierk'"){row->defmd=row.getMetaData()assertmd.getTableName(1)=='AUTHOR'assert(1..md.columnCount).collect{md.getColumnName(it)}==['ID','FIRSTNAME','LASTNAME']assert(1..md.columnCount).collect{md.getColumnTypeName(it)}==['INTEGER','VARCHAR','VARCHAR']}创建存储过程：sqlsql.execute"""CREATEFUNCTIONSELECT_AUTHOR_INITIALS()RETURNSTABLE(firstInitialVARCHAR(1),lastInitialVARCHAR(1))READSSQLDATARETURNTABLE(SELECTLEFT(Author.firstname,1)asfirstInitial,LEFT(Author.lastname,1)aslastInitialFROMAuthor)"""defdefresult=[]sql.eachRow('CALLSELECT_AUTHOR_INITIALS()'){resultresult<<"$it.firstInitial$it.lastInitial"}assertresult==['DK','JS','GL']带参数得存储过程及调用：sqlsql.execute"""CREATEFUNCTIONFULL_NAME(p_lastnameVARCHAR(64))RETURNSVARCHAR(100)READSSQLDATABEGINATOMICDECLAREansVARCHAR(100);SELECTCONCAT(firstname,'',lastname)INTOansFROMAuthorWHERElastname=p_lastname;RETURNans;END"""defresult=sql.firstRow("{?=callFULL_NAME(?)}",['Koenig'])assertresult[0]=='DierkKoenig'创建带输入，输出参数的存储过程，以及调用实例：sqlsql.execute"""CREATEPROCEDURECONCAT_NAME(OUTfullnameVARCHAR(100),INfirstVARCHAR(50),INlastVARCHAR(50))BEGINATOMICSETfullname=CONCAT(first,'',last);END"""END"""sql.call("{callCONCAT_NAME(?,?,?)}",[Sql.VARCHAR,'Dierk','Koenig']){fullname->assertfullname=='DierkKoenig'}Groovy常用代码：importgroovy.sql.GroovyRowResultimportgroovy.sql.SqldefexecuteQulityRuleXXX(){//datasource变量已经定义在上下文中,为质量检测任务中制定的数据源//defdatasource=Sql.newInstance("jdbc:mysql://localhost:3306/sakila","root","root","com.mysql.jdbc.Driver")//需要返回List<List<Object>>作为检测出的问题数据deflist=[]//第一行表示问题数据的元数据/表头defcolMeta=["id","ProductCode"]list.add(colMeta)// sql语句可以:// datasource.eachRow("select*fromcountry"){//// row->// defvalue=[]// value.add(row.getAt(0))// value.add(row.getAt(1))// list.add(value)// }// 若只需要执行一段事务可以:// try{// datasource.withTransaction{// //正确语句// datasource.execute("DELETEFROMCOUNTRYWHERECOUNTRY='test'")// datasource.execute("DELETEFROMCOUNTRYWHERECOUNTRY='test2'")// datasource.executeInsert("INSERTINTOcountry(country)VALUES('test')")// datasource.executeInsert("INSERTINTOcountry(country)VALUES('test2')")// }// }catch(ignore){// println(ignore.message)// }//规则:个人险种表【LCProduct】中的产品编码【ProductCode】对应险种定义表【LMProduct】的产品编码【ProductCode】。//以下将输出不对应的ProductCodeList<GroovyRowResult>rows1=datasource.rows("SELECTDISTINCTProductCodeFROMLCProduct");List<GroovyRowResult>rows2=datasource.rows("SELECTDISTINCTProductCodeFROMProductCode");intcnt=0;rows1.removeAll(rows2);rows1.each{row->cnt++defvalue=[]value.add(cnt)value.add(row.getAt(0))list.add(value)}returnlist}参数在技术质量规则中的应用实例：CountNumCountNum“CountNum#]]QuartZCron表达式名称是否必须允许值特殊字符秒是0-59,-*/分是0-59,-*/时是0-23,-*/日是1-31,-*?/LWC月是1-12或JAN-DEC,-*/周是1-7或SUN-SAT,-*?/LC#年否空或1970-2099,-*/特殊字符含义：“/n/mn“LX“W。6#33示例：5*/5**1：0*/1**23：023*101*11：0011*230023L1001?*262933026,29,33**0131821：00,13,18,21*721007-21*OfflineDump离线生产库Oracle数据库：类型中转库建表语句数据采集平台查询语句表表名：DUMP_TABLESCREATETABLEDUMP_TABLES(TABLE_CATVARCHAR2(128BYTE),TABLE_SCHEM BYTE),TABLE_NAME BYTE)NOTNULLENABLE,TABLE_TYPEVARCHAR2(19BYTE),REMARKSVARCHAR2(4000BYTE),SELECTNULLAStable_cat,o.ownerAStable_schem,o.object_nameAStable_name,o.object_typeAStable_type,mentsASremarks,<数据库标记>ASdatabase_infoFROMdba_objectso,dba_tab_commentscWHEREo.owner=:1ANDo.object_typeIN('TABLE')ANDo.owner=c.owner(+)DATABASE_INFO VARCHAR2(50BYTE))ANDo.object_name=c.table_name(+)ORDERBYtable_type,table_schem,table_name视图表名：DUMP_VIEWSCREATETABLEDUMP_VIEWS(TABLE_CATVARCHAR2(128BYTE),TABLE_SCHEM BYTE)NOTNULLENABLE,TABLE_NAME BYTE)NOTNULLENABLE,REMARKSVARCHAR2(4000BYTE),TEXTCLOB,DATABASE_INFO BYTE))selectNULLAStable_cat,v.ownerastable_schem,v.view_nameastable_name,mentsASremarks,v.text,<数据库标记>ASdatabase_infofromsys.dba_viewsv,sys.dba_tab_commentscwherev.owner=:1andv.owner=c.ownerandv.view_name=c.table_nameorderbytable_schem,table_name字段字段:DUMP_COLUMNSCREATETABLEDUMP_COLUMNS(TABLE_SCHEM BYTE)NOTNULLENABLE,TABLE_NAME BYTE)NOTNULLENABLE,COLUMN_NAME BYTE)NOTNULLENABLE,DATA_TYPENUMBER,TYPE_NAME BYTE),COLUMN_SIZENUMBER,BUFFER_LENGTHNUMBER,DECIMAL_DIGITSNUMBER,NUM_PREC_RADIXNUMBER,NULLABLENUMBER,REMARKSVARCHAR2(4000BYTE),COLUMN_DEFCLOB,SQL_DATA_TYPENUMBER,SQL_DATETIME_SUBNUMBER,CHAR_OCTET_LENGTHNUMBER,ORDINAL_POSITIONNUMBER,IS_NULLABLEVARCHAR2(3BYTE),IS_AUTOINCREMENT BYTE),SELECTNULLAStable_cat,t.ownerAStable_schem,t.table_nameAStable_name,t.column_nameAScolumn_name,DECODE((SELECTa.typecodeFROMdba_TYPESAWHEREa.type_name=t.data_type),'OBJECT',2002,'COLLECTION',2003,DECODE(substr(t.data_type,1,9),'TIMESTAMP',DECODE(substr(t.data_type,10,1),'(',DECODE(substr(t.data_type,19,5),'LOCAL',-102,'TIME',-101,93),DECODE(substr(t.data_type,16,5),'LOCAL',-102,'TIME',-101,93)),'INTERVAL',DECODE(substr(t.data_type,10,3),'DAY',-104,'YEA',-103),DECODE(t.data_type,'BINARY_DOUBLE',101,'BINARY_FLOAT',100,'BFILE',-13,'BLOB',2004,'CHAR',1,TABLE_CATVARCHAR2(30BYTE),SCOPE_CATALOG BYTE),SCOPE_SCHEMA VARCHAR2(30BYTE),SCOPE_TABLE VARCHAR2(30BYTE),SOURCE_DATA_TYPEVARCHAR2(30BYTE),DATABASE_INFO BYTE))'CLOB',2005,'COLLECTION',2003,'DATE',93,'FLOAT',6,'LONG',-1,'LONGRAW',-4,'NCHAR',-15,'NCLOB',2011,'NUMBER',3,'NVARCHAR',-9,'NVARCHAR2',-9,'OBJECT',2002,'OPAQUE/XMLTYPE',2009,'RAW',-3,'REF',2006,'ROWID',-8,'SQLXML',2009,'UROWID',-8,'VARCHAR2',12,'VARRAY',2003,'XMLTYPE',2009,1111)))ASdata_type,t.data_typeAStype_name,DECODE (t.data_precision,null, 'NUMBER', null,0 38), DECODE(t.data_type,'CHAR',t.char_length, t.char_length, t.char_length,'NVARCHAR2', t.char_length,'NCHAR', t.char_length,'NUMBER', 0,t.data_length) ),t.data_precision)AScolumn_size,0ASbuffer_length,DECODE 'NUMBER', DECODE(t.data_precision,null, null, -127, t.data_scale),t.data_scale), t.data_scale)decimal_digits,10ASnum_prec_radix,DECODE(t.nullable,'N',0,1)ASnullable,mentsASremarks,t.data_defaultAScolumn_def,0ASsql_data_type,0ASsql_datetime_sub,t.data_lengthASchar_octet_length,t.column_idASordinal_position,DECODE(t.nullable,'N','NO','YES')ASis_nullable,nullasSCOPE_CATALOG,nullasSCOPE_SCHEMA,nullasSCOPE_TABLE,nullasSOURCE_DATA_TYPE,'NO'asIS_AUTOINCREMENT,<数据库标记>ASdatabase_infoFROMdba_tab_columnst,dba_col_commentscWHEREt.owner=:1ANDt.owner=c.owner(+)ANDt.table_name=c.table_name(+)ANDt.column_name=c.column_name(+)ORDER BY table_schem, table_name,ordinal_position主键表名:DUMP_PKSCREATETABLEDUMP_PKS(TABLE_CATVARCHAR2(128BYTE),TABLE_SCHEM BYTE)NOTNULLENABLE,TABLE_NAME BYTE)NOTNULLENABLE,COLUMN_NAME VARCHAR2(4000BYTE),KEY_SEQNUMBER,PK_NAME VARCHAR2(128NOTNULLENABLE,DATABASE_INFO BYTE))SELECTNULLAStable_cat,c.ownerAStable_schem,c.table_name,c.column_name,c.positionASkey_seq,c.constraint_nameASpk_name,<数据库标记>ASdatabase_infoFROMsys.dba_cons_columnsc,sys.dba_constraintskWHEREk.constraint_type='P'ANDk.owner=:1ANDk.constraint_name=c.constraint_nameANDk.table_name=c.table_nameANDk.owner=c.ownerORDERBYtable_name,key_seq索引表名：DUMP_INDEXESCREATETABLEDUMP_INDEXES(TABLE_CATVARCHAR2(128BYTE),TABLE_SCHEM BYTE)NOTNULLENABLE,TABLE_NAME BYTE)NOTNULLENABLE,NON_UNIQUENUMBER,INDEX_QUALIFIER BYTE),INDEX_NAME VARCHAR2(128BYTE)NOTNULLENABLE,TYPENUMBER,ORDINAL_POSITION NOTNULLENABLE,COLUMN_NAME VARCHAR2(4000BYTE),ASC_OR_DESC VARCHAR2(30BYTE),CARDINALITYNUMBER,PAGESNUMBER,FILTER_CONDITIONVARCHAR2(30BYTE),DATABASE_INFO BYTE))selectnullastable_cat,i.ownerastable_schem,i.table_name,decode(i.uniqueness,'UNIQUE',0,1)asnon_unique,nullasindex_qualifier,i.index_name,1astype,c.column_positionasordinal_position,c.column_name,nullasasc_or_desc,i.distinct_keysascardinality,i.leaf_blocksaspages,nullasfilter_condition,<数据库标记>ASdatabase_infofromsys.dba_indexesi,sys.dba_ind_columnscwherei.owner=:1andi.index_name=c.index_nameandi.table_owner=c.table_ownerandi.table_name=c.table_nameandi.owner=c.index_ownerorder by table_name, ordinal_position/函数表名：DUMP_ROUTINESCREATETABLEDUMP_ROUTINES(ROUTINE_CAT VARCHAR2(128BYTE),ROUTINE_SCHEM VARCHAR2(128BYTE),ROUTINE_NAME VARCHAR2(128BYTE),ROUTINE_TYPE VARCHAR2(30BYTE),LINENUMBER,TEXTVARCHAR2(4000BYTE),DATABASE_INFO selectnullasroutine_cat,ownerasroutine_schem,nameasroutine_name,typeasroutine_type,line,text,<数据库标记>ASdatabase_infofromsys.dba_sourcewhereowner=:1andtypein('FUNCTION','PROCEDURE')orderbyroutine_schem,routine_name,lineBYTE))MySQL数据库：类型中转库建表语句数据采集平台查询语句表表名：DUMP_TABLESCREATETABLEDUMP_TABLES(TABLE_CAT BINARY(0) DEFAULTNULL,TABLE_SCHEMVARCHAR(64)NOTNULLDEFAULT'',TABLE_NAME VARCHAR(64)NOTNULLDEFAULT'',TABLE_TYPE VARCHAR(64)NOTNULLDEFAULT'',REMARKS VARCHAR(2048)NULLDEFAULT'',DATABLAU_INFO VARCHAR(50)NOTNULLDEFAULT'')SELECTNULLAStable_cat,o.TABLE_SCHEMAAStable_schem,o.TABLE_NAMEAStable_name,o.TABLE_TYPEAStable_type,o.TABLE_COMMENTASremarks,ASdatabase_infoFROMinformation_schema.TABLESoWHEREo.TABLE_SCHEMA1ANDo.TABLE_NAMELIKE'%'ANDo.TABLE_TYPEIN('BASETABLE')ORDERBYtable_schem,table_name视图表名：DUMP_VIEWSCREATETABLEDUMP_VIEWS(TABLE_CAT BINARY(0) DEFAULTNULL,TABLE_SCHEMVARCHAR(64)NOTNULLDEFAULT'',TABLE_NAME VARCHAR(64)NOTNULLDEFAULT'',REMARKS BINARY(0) DEFAULTNULL,TEXTLONGTEXTNOTNULL,DATABLAU_INFO VARCHAR(50)NOTNULLDEFAULT'')selectNULLAStable_cat,v.TABLE_SCHEMAastable_schem,v.TABLE_NAMEastable_name,NULLASremarks,v.VIEW_DEFINITIONastext,<数据库标记>ASdatabase_infofrominformation_schema.viewsvwherev.TABLE_SCHEMA=:1orderbytable_schem,table_name字段表名：DUMP_COLUMNSCREATETABLEDUMP_COLUMNS(TABLE_CAT BINARY(0) DEFAULTNULL,TABLE_SCHEMVARCHAR(64)NOTNULLDEFAULT'',TABLE_NAME VARCHAR(64)NOTSELECTnullasTABLE_CAT,c.TABLE_SCHEMAasTABLE_SCHEM,c.TABLE_NAMEasTABLE_NAME,c.COLUMN_NAMEasCOLUMN_NAME,0asDATA_TYPE,c.COLUMN_TYPEasTYPE_NAME,0asCOLUMN_SIZE,NULLDEFAULT'',COLUMN_NAME NOTNULLDEFAULT'',DATA_TYPE INT(1)NOTNULLDEFAULT'0',TYPE_NAME LONGTEXT NULL,COLUMN_SIZE INT(1)NOTDEFAULT'0',DECIMAL_DIGITS INT(1) NULLDEFAULT'0',REMARKS VARCHAR(1024)NULLDEFAULT'',COLUMN_DEF NULL,ORDINAL_POSITION UNSIGNEDNOTNULLDEFAULT'0',IS_NULLABLE VARCHAR(3)NULLDEFAULT'',IS_AUTOINCREMENT NOTNULLDEFAULT'',DATABLAU_INFO VARCHAR(50)NOTNULLDEFAULT'')0asDECIMAL_DIGITS,c.COLUMN_COMMENTasREMARKS,c.COLUMN_DEFAULTasCOLUMN_DEF,c.ORDINAL_POSITION ORDINAL_POSITION,c.IS_NULLABLEasIS_NULLABLE,casec.EXTRAWHEN'auto_increment'THEN'YES'ELSE'NO'endIS_AUTOINCREMENT,<数据库标记>ASdatabase_infoFROMinformation_schema.COLUMNScWHEREc.TABLE_SCHEMA=:1ORDER BY table_schem, table_name,ordinal_position主键表名：DUMP_PKSCREATETABLEDUMP_PKS(TABLE_CAT BINARY(0) DEFAULTNULL,TABLE_SCHEMVARCHAR(64)NOTNULLDEFAULT'',TABLE_NAME VARCHAR(64)NOTNULLDEFAULT'',COLUMN_NAME NOTNULLDEFAULT'',KEY_SEQ BIGINT(2)NOTNULLDEFAULT'0',PK_NAME VARCHAR(64)NOTNULLDEFAULT'',DATABLAU_INFO VARCHAR(50)NOTNULLDEFAULT'')selectnullasTABLE_CAT,pk.TABLE_SCHEMAasTABLE_SCHEM,pk.TABLE_NAME,pk.COLUMN_NAME,pk.SEQ_IN_INDEXasKEY_SEQ,pk.INDEX_NAMEasPK_NAME,<数据库标记>ASdatabase_infofrominformation_schema.statisticspkwhere(index_name='PRIMARY'orindex_name='PRI')andtable_schema=:1orderbyTABLE_NAME,KEY_SEQ索引表名：DUMP_INDEXESCREATETABLEDUMP_INDEXES(selectnullasTABLE_CAT,idx.TABLE_SCHEMAasTABLE_SCHEM,TABLE_CAT BINARY(0) DEFAULTNULL,TABLE_SCHEMVARCHAR(64)NOTNULLDEFAULT'',TABLE_NAME VARCHAR(64)NOTNULLDEFAULT'',NON_UNIQUE INT(1)NOTNULLDEFAULT'0',INDEX_QUALIFIER NULLDEFAULTNULL,INDEX_NAME VARCHAR(64)NOTNULLDEFAULT'',TYPE INT(1)NOTNULLDEFAULT'0',ORDINAL_POSITION NOTNULLDEFAULT'0',COLUMN_NAME NOTNULLDEFAULT'',ASC_OR_DESC VARCHAR(1)NULLDEFAULTNULL,CARDINALITY BIGINT(21)NULLDEFAULTNULL,PAGESINT(1)NOTNULLDEFAULT'0',FILTER_CONDITION NULLDEFAULTNULL,DATABLAU_INFO VARCHAR(50)NOTNULLDEFAULT'')idx.TABLE_NAME,CASEWHENidx.NON_UNIQUE=1THENtrueELSEfalseENDasNON_UNIQUE,nullasINDEX_QUALIFIER,idx.INDEX_NAME,3asTYPE,idx.SEQ_IN_INDEXasORDINAL_POSITION,idx.COLUMN_NAME,idx.COLLATIONasASC_OR_DESC,idx.CARDINALITY,0asPAGES,nullasFILTER_CONDITION,<数据库标记>ASdatabase_infofrom`information_schema`.`statistics`idxwheretable_schema=:1order by TABLE_SCHEM, INDEX_NAME,ORDINAL_POSITION存储过程/函数表名：DUMP_ROUTINESCREATETABLEDUMP_ROUTINES(ROUTINE_CAT BINARY(0)NULLDEFAULTNULL,ROUTINE_SCHEM NOTNULLDEFAULT'',ROUTINE_NAME NOTNULLDEFAULT'',ROUTINE_