DataStage基础培训教程

DataStage基础培训

Jerry2006.03议程HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control2演示：HelloWorldExtractTransformLoan3HelloWorldDataStage

ComponentsDefineParameters&TablesHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control议程4DataStageArchitectureTarget(DatabaseorFile)ODBC/NativeDataStageConnectAPIDataStageServer(WinNT,Win2000orUNIX)ODBC/NativeDataSources(DatabaseorFile)DataStageConnectAPIDataStageConnectAPIDataStageConnectAPIDataflowDataflow5DataStageComponentsManager

DesignerDirectorMetadatacollectionandmanagement

DesignprocessflowRunjobs,checklogsandsetschedulesDataStageAdministratorCreate,Editprojects6HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control议程7全局变量与Job变量全局变量

--生命周期：整个Project --在Administrator中定义Job变量 --生命周期：一个Job --在Designer、Manager中定义8演示：定义一个Job变量在Designer中定义参数9Metadatadefinition元数据管理的重要组成部分在Manger或Design中定义演示： --importfromaflatfilein.txtformat --importfromanDBMStable10演示TableDefinition在Manage中定义Table11HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control议程12演示：生成事实表明细表事实表关联聚合13HashFile用途： --左连接时用作副表

--多次被访问的数据集

--存储其他临时数据关键点：

--必须指定key --output的position必须与input一致

14Transformer用途： --提供丰富的运算符和函数

--数据清洗、转换

--关联多个数据源关键点：

--副表的key必须被主表的某个字段关联

--尽量避免两个Transformer直接相连15Aggregator用途：

--Sum,Max,Min,Average等聚合函数

--一般用于生成事实表16HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control议程17DebugandTuningViewStatusandLogs -status,log,detail等多种视图

-配合Monitor来查错、调优18JobStatusNotCompiledCompiledResetRunningFinishedFinished(withwarning)Abort19ScheduleJobAddtoSchedule20HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control议程21AdministratorAddanewprojectModifyprojectproperties -字符集

-日志保留天数

-hashfileandwritecatchDefineenvironmentviable22ManagerImportandexportprojectsorjobs -两种文件格式：.dsx.xml

-整个project,根据categoryTabledefinitionManageRoutine23演示：备份project24HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control议程25Routine一种自定义函数，使用VB