Datastage控件使用指南

Datastage控件使用指南MACROBUTTONAcceptChangesSelected目录Datastage 11.引言 12.惯用Stage使用阐明 12.1.SequentialFileStage 12.2.Annotation 52.3.ColumnExportStage 72.4.ChangeCaptureStage 92.5.CopyStage 122.6.FilterStage 132.7.FunnelStage 142.8.TansformerStage 152.9.SortStage 172.10.LookUpStage 182.11.JoinStage 192.12.MergeStage 212.13.ModifyStage 222.14.DataSetStage 232.15.FileSetStage 252.16.LookupFileSetStage 272.17.OracleEnterpriseStage 302.18.AggregatorStage 332.19.RemoveDuplicatesStage 352.20.CompressStage 362.21.ExpandStage 382.22.DifferenceStage 402.23.CompareStage 432.24.SwitchStage 442.25.ColumnImportStage 463.DataStageManager使用 493.1.导入导出Job及其它组件 493.2.管理配备文献 504.DataStageAdministrator惯用配备 514.1.设立TimeOut时间 514.2.设立Project的属性 524.3.更新DataStageServer的License和本地Client的License 535.DataStageDirector使用 545.1.察看Job的状态，运行已经编译好的Job 545.2.将编译好的Job加入计划任务 575.3.监控Job的运行状况 58引言DataStageEE的开发重要由DataStageDesigner完毕。现对惯用部分加以阐明，具体使用办法请查阅在线协助文档。惯用Stage使用阐明DataStage的基本逻辑解决单位是Job，每个Job由许多Stage构成；由Stage来完毕对数据的抽取，转换，加载等，现对惯用的Stage做阐明SequentialFileStage功效特点：合用于普通次序文献（定长或不定长），可识别文本文献或IBM大机ebcdic文献。使用要点：按照命名规范命名点住文献，双击鼠标，在general阐明此文献内容，格式，存储目录等修改文献属性，文献名称，reject方式等到修改文献格式，例如统计结束符是什么，字段分隔符，字符串是用什么区别等输入此文献字段内容Annotation功效特点：普通用于注释，可运用其背景颜色在job中分颜色区别不同功效块使用要点：ColumnExportStageStage类型：RestructureStage功效阐明：与ColumnImportStage相反，将多个类型不同的字段合并成一种string或者binary类型的字段。具体使用方法：StagePage：核心是properties的配备，选择将哪些字段合并，合并后的新字段在Output下的column中直接定义。InputsPage：对输入数据字段的描述，这里核心是Format的配备，决定合并后的字段的格式OupputsPage：对最后合并后的输出数据字段的描述通过stage的前后数据的对比合并字段后：ChangeCaptureStage功效特点：ChangeCaptureStage有两个输入，分别标记为beforelink及afterlink。输出的数据表达beforelink和afterlink的区别，我们称作changeset。ChangeCaptureStage能够和ChangeApplyStage配合使用来计算afterset。key及value的阐明key值是比较的核心值，value是当key值相似是作进一步比较用的。changemode选项阐明：Allkeys，ExplicitValues需要指定value，其它字段为keyExplicitKeys&Valueskey及value都需要指定ExplicitKeys，AllValues需要指定key，其它的字段为value输出方略阐明DropOutputForCopyFalse：保存before及aftelink中key值相似的行True：删除before及aftelink中key值相似的行DropOutputForDeleteFalse：保存beforelink中有但是afterlink中没有的key值所在的行True：删除beforelink中有但是aftelink中没有的key值所在的行DropOutputForEditFalse：保存key值相似,value不同的行True：删除key值相似,value不同的行DropOutputForInsertFalse：保存beforelink中没有但aftelink中有的key值所在的行True：删除beforelink中没有但aftelink中有的key值所在的行CopyStage功效阐明：CopyStage能够有一种输入，多个输出。它能够在输出时变化字段的次序，但是不能变化字段类型。注意：当只有一种输入及一种输出时最佳将Force设立为True，这样能够在Designer里看到运行结束，否则将无法标记运行结束，但不会影响运行成果数据。FilterStage功效阐明：FilterStage只有一种输入，能够有多个输出。根据不同的筛选条件，能够将数据输出到不同的outputlink。FunnelStage功效阐明：将多个字段相似的数据文献合并为一种单独的文献输出合并方略阐明ContinuousFunnel：从每一种inputlink中循环取一条统计SortFunnel：按照Key值排序合并输出Sequence：先输出第一种inputlink的数据，输出完毕后再输出第二个inputlink的数据，依这类推，直到结束。(此时能够通过调节linkOrdering调节输出次序)TansformerStage功效阐明：一种功效极为强大的Stage。有一种inputlink，多个outputlink，能够将字段进行转换，也能够通过条件来指定数据输出到那个outputlink。在开发过程中能够使用拖拽。Constraint及Derivation的区别Constraint通过限定条件使符合条件的数据输出到这个outputlink。Derivation通过定义体现式来转换字段值。在Constraint及Derivation中能够使用Jobparameters及StageVariables。注意：TransformerStage功效强大，但在运行过程中是以牺牲速度为代价的。在只有简朴的变换，拷贝等操作时，最佳用ModifyStage，CopyStage，FilterStage等来替代TransformerStage。SortStage功效阐明：只能有一种输入及一种输出，按照指定的Key值进行排列。能够选择升序还是降序，与否去除重复的数据等等。Option具体阐明AllowDuplicates：与否去除重复数据。为False时，只选用一条数据，当StableSort为True时，选用第一条数据。当SortUnility为UNIX时此选项无效。SortUtility：选择排序时执行应用程序，能够选择DataStage内建的命令或者Unix的Sort命令OutputStatistics：与否输出排序统计信息到job日志StableSort：与否对数据进行二次整顿CreateClusterKeyChangeColumn：与否为每条统计创立一种新的字段：clusterKeyChange。当SortKeyMode为Don’tSort(PreviouslySorted)或Don’tSort(PreviouslyGrouped)时，对于第一条统计该字段被设立为1，其它的统计设立为0。CreateKeyChangeColumn：与否为每一条统计创立一种新的字段KeyChange。LookUpStage功效阐明：LookUpStage把数据读入内存执行查询操作，将匹配的字段输出，或者在在符合条件的统计中修改或加入新的字段。JoinStage功效阐明：将多个表连接后输出LookUpStage和JoinStage的区别LookUpStage将数据读入到内存中，因此效率很高，但是占用了较多的物理内存。因此当referencedata比较小的时候，我们推荐用LookUpStage；当referencedata比较大的时候，我们推荐用JoinStage。MergeStage功效阐明：将MergeKey值相似的统计合并。将其中的一种输入设定为Master，其它的为Update。把Update中MergeKey相似的统计合并入Master。ModifyStage功效阐明：Modifystage只能有一种输入及一种输出，它能够修改表构造：删除，保存一种字段；给字段改名；修改字段的数据类型。Specification的具体使用方法：删除一种字段：DROPcolumnname[,columnname]保存一种字段： KEEPcolumnname[,columnname]变化字段：new_columnname[:new_type]=[explicit_conversion_function]old_columnname可用的explicit_conversion_function请参看《ParallelJobDeveloper’sGuide》7DataSetStageStage类型：Filestage功效阐明：从dataset文献中读取数据或者写数据到dataset文献中，一种DateSetStage只能有一种输入连接（inputlink）或者一种输出连接（outputlink）。具体使用方法：涉及StagePage，InputsPage，OutputsPageStagePage普通描述了stage的普通信息，诸如名称等；InputsPage描述了即要写入信息的dataset文献的具体信息；重要是Properties和Column的定义Properties中配备了文献的寄存途径和更新方略Column具体定义文献中的各个字段OutputsPage描述了读取信息的dataset文献的具体信息；操作过程与InputsPage类似。FileSetStageStage类型：Filestage功效阐明：从fileset文献中读取数据或者写数据到fileset文献中，一种FileSetStage只能有一种输入连接（inputlink）、一种输出连接（outputlink）和一种回绝连接（rejectslink）。并且只能在并行模式下执行。具体使用方法：StagePage：对Stage的基本定义InputsPage：重要是Properties和Format的配备Properties的配备：定义文献的存取途径及其它读写的有关的参数。特别要阐明的是Options下的RejectMode的选择，当stage有rejectlink的时候，必须选择Output；没有rejectlink时，可选择其它两个选项。Format的配备：定义了数据写到文献中的格式OutputsPage：对stage输出的数据字段的描述，另外，rejectlink的输出系统将默认，不需要顾客自己定义字段。LookupFileSetStageStage类型：Filestage功效阐明：为执行查找操作而创立的参考文献。作为查找的参考数据，普通在参考数据比较大量或者重复使用率较高的状况下，将参考数据生成专门的LookupFileSet文献，方便提高查找的效率具体使用方法：StagePageInputsPage：重要定义了查找核心字和寄存途径等重要信息创立一种LookupFileSet文献：OutputsPage：当作为参考数据进行查找操作时，由于文献是已经生成好的，因此在这里不需要再做具体的定义，只要引入即可。OracleEnterpriseStageStage类型：DatabaseStage功效阐明：从Oracle数据库中读取数据或者写数据到Oracle数据库中。普通完毕的操作：使用INSERT或UPDATWE命令更新数据库表装入数据库表读取数据库表从数据库表中删除行在库表中直接执行查询操作将库表装入内存，然后执行查询操作具体使用方法：InputsPage向数据库中写数据，核心是对Properties的配备OutputsPage：与InputsPage类似，只是完毕的是从数据库中读取数据。AggregatorStageStage类型：ProcessingStage功效阐明：将输入的数据分组，计算各组数据的总和或者按组进行其它的操作，最后将成果数据输出到其它的stage。具体使用方法：StagePage：描述stage的普通信息以及字段的分组信息和选择分组计算函数InputsPage：具体描述输入数据信息，普通直接反映输入数据字段信息OupputsPage：具体描述输出数据信息，即通过分组计算后的数据字段信息RemoveDuplicatesStageStage类型：ProcessingStage功效阐明：输入根据核心字分好类的有序数据，去除全部统计中核心字重复的统计，普通与sortstage配合使用具体使用方法：StagePage：Properties中的key值与之前sortstage的分类key值相似InputsPage：对输入数据字段的描述OupputsPage：对输出数据字段的描述CompressStageStage类型：ProcessingStage功效阐明：将dataset文献压缩成二进制文献（与expenddatastage相对应）具体使用方法：StagePage运行成果InputsPage：对输入数据字段的描述OupputsPage：对输出数据字段的描述ExpandStageStage类型：ProcessingStage功效阐明：将压缩的二进制文献解压缩（解压缩compressstage生成的压缩文献）具体使用方法：StagePage运行成果：InputsPage：对输入数据字段的描述OupputsPage：对输出数据字段的描述DifferenceStageStage类型：ProcessingStage功效阐明：按字段比较两个文献，找出不同的统计。（两个文献before和after，以before为准，与after文献中的统计进行比较，找出before在after文献中没有或者有的统计）具体使用方法：StagePage比较方略阐明DropOutputForCopyFalse：保存before及aftelink中key值相似的行True：删除before及aftelink中key值相似的行DropOutputForDeleteFalse：保存beforelink中有但是aftelink中没有的key值所在的行True：删除beforelink中有但是aftelink中没有的key值所在的行DropOutputForEditFalse：保存key值相似,value不同的行True：删除key值相似,value不同的行DropOutputForInsertFalse：保存beforelink中没有但aftelink中有的key值所在的行True：删除beforelink中没有但aftelink中有的key值所在的行调节before和after的次序：InputsPage：对输入数据字段的描述OupputsPage：对输出数据字段的描述CompareStageStage类型：ProcessingStage功效阐明：按字段对比两个已经分类的有序的文献具体使用方法：StagePageInputsPage：对输入数据字段的描述OupputsPage：对输出数据字段的描述SwitchStageStage类型：ProcessingStage功效阐明：将文献按照一定的条件（普通为字段的值）分割成多个子文献。具体是将输入的每一条统计按照各自符合的条件（核心字的值）分派到不同的输出（SwitchStage有一种inputlink和多个outputlink，一种rejectlink，outputlink最多可达128个；此功效很类似与C函数中的switch函数）。具体使用方法：StagePage定义分派统计的核心字及其值InputsPage：对输入数据字段的描述OupputsPage：对输出数据字段的