Informatica_PowerCenter培训教材ppt课件

1、Informatica PowerCenter 培训夏 凯2021-01SN：xiakaicdmsn 第一天产品体系引见产品安装配置系统管理引见开发六大步骤数据转换调试INFA产品线INFA支持情况PowerCenter选件丰富的ETL功能 Real-Time 实时功能 Partitioning 分区功能 High Availability 高可靠性功能 Pushdown 功能 Enterprise Grid网格功能 Team-based Development 团队开发功能 Metadata Exchange 元数据交换功能 Unstructured Data 非构

2、造化数据功能 Visio 模板Mapping生成器功能 Data Federation 数据联邦功能 Data Profiling 数据质量探查功能 异构数据源，异构目的 实现多种缓慢变化维 全局变量及参数，参数文件 部分变量，前后记录比较 条件汇总 异构数据源关联 行/列转换 静态、动态Lookup支持 ETL事务处置 自定义SQL Pre SQL和Post SQL 复用组件 复用Mapping 调用存储过程 调用外部用户自定义过程 可视化Debug 强大函数支持、丰富转换言语 数据源为文件列表 Session Recovery 基于多目的表约束装载 错误数量控制 FTP 源和FTP目的 E

3、TL义务分区 增量汇总 测试装载 Bulk Loading External Loader (Oracle、DB2.) 复用Workflow 功能丰富的Workflow控制 义务串行、并行控制 基于时间、事件和指示文件触发 义务 Workflow中调用OS外部命令 Workflow中调用Email 多ETL Server协同任务 Informatica 8INFA8系列产品功能情况Informatica PowerCenter运用架构Informatica客户端数据源ODBCNATIVE目的ODBCNATIVEDomainAdministrator ConsoleUNIX (AIX, HPUX

4、, Solaris, Linux) WindowsIntegration ServiceRepository Service-Repository AgentPowerCenter 效力端TCP/IPTCP/IPTCP/IPNATIVENATIVEPowerCenter Server和数据挪动数据源源数据目的已转换数据资料库PowerCenter Server来自元数据的指令PowerCenter Server、资料库、源和目的之间的处置途径PowerCenter产品组件效力端组件客户端组件Informatica Service：PowerCenter效力引擎Integration Servi

5、ce：数据抽取、转换、装载效力引擎Repository Service：知识库Service，管理ETL过程中产生的元数据Administratortion Console：用于知识库的建立与维护Repository Manager：知识库管理，包括平安性管理等Desinger：设计开发环境，定义源及目的数据构造；设计转换规那么，生成ETL映射Workflow Manager：合理地实现复杂的ETL任务流，基于时间、事件的作业调度Workflow Monitor：监控Workflow和Session运转情况，生成日志和报告第一天产品体系引见产品安装配置系统管理引见开发六大步骤数据转换调试产品安

6、装与样例安装产品安装效力器安装客户端安装详见安装手册样例安装数据库预备RDBU 资料库数据库SDBU 样例源数据库TDBU 样例目的数据库BDBU 样例参考数据库样例数据预备样例参考导入第一天产品体系引见产品安装配置系统管理引见开发六大步骤数据转换调试系统管理Informatica Server管理localhost:6001Domain ManagerNode ManagerRepository Service ManagerIntegration Service ManagerLicense Manager资料库内容管理Repository ManagerFolder ManagerPri

7、vilege Manager第一天产品体系引见产品安装配置系统管理引见开发六大步骤数据转换调试开发六大步骤表示图S T ST WF M定义源定义目的创建映射定义义务创建任务流任务流调度监控Designer: Workflow Manager: Workflow Monitor: 第一步：定义源引入源的类型 Relational database Flat file COBOL file XML object Application源分析器Informatica ServiceODBC Mapped DriveNFS MountingLocal DirectorySave Meta Data o

8、f Sources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_第二步：定义目的引入目的的类型 Relational database Flat file COBOL file XML object Application目的分析器Save Meta Data of Targets:OPB_TARGOPB_TARG_OPB_TARG_FLDOPB_TARG_FLD_ODBC Mapped DriveNFS MountingLocal DirectoryInformatica Service第三步：创建映射目的源转换组件第四步：定义义务Session Task任务

9、目录Task任务区第五步：定义任务流第六步：任务流调度监控第一天产品体系引见产品安装配置系统管理引见开发六大步骤数据转换调试数据转换调试目的装载情况经过每个调试的数据流Flashingyellow SQLindicatorDebugger 方式Solid yellow arrow Current Transformationindicator调试日志组件引见Expression组件Filter与RouterJoiner与LookupAggregator组件Update Strategy组件 第二天组件列表Source Qualifier: 从数据源读取数据Expression: 行级转换 Fi

10、lter: 数据过滤Sorter: 数据排序 Aggregator: 聚合Joiner: 异构数据关接衔接Lookup: 查询衔接 Update Strategy: 对目的编辑 insert, update, delete, rejectRouter: 条件分发Sequence Generator: 序列号生成器组件列表Normalizer: 记录规范化Rank: 对记录进展TOPxUnion: 数据合并Transaction Control: 对装载数据按条件进展事务控制Stored Procedure: 存储过程组件 Custom: 用户自定义组件: WWW组件Java: Java自编程组

11、件其它运用组件组件类型Passive组件流入流出组件的行数不发生变化例如：Expression、Lookup、HTTP组件Active组件流入流出组件的行数会发生变化例如：Aggregator、Router、Filter组件PA函数分类聚合函数字符串函数转换函数数据清洗函数日期函数编码函数财务函数数值函数数学函数特有函数判别函数用户自定义函数函数列表组件引见Expression组件Source Qualifier、 Filter与RouterJoiner与LookupAggregator组件Update Strategy组件 第二天Expression组件组件功能基于行级的数据项赋值、修正、计

12、算在同行记录中可新增、减少数据项组件类型Passive组件运用范围数据类型转换，例如Expression：to_date(Port1,yyyymmdd)数据项计算，例如Expression：(Port1+Port2)/Port3新增变量，例如Expression： i=i+1Expression组件当数据项为空时的默许值流入组件的数据项流出组件的数据项组件中定义的变量练习一：Expression组件描画将原始客户信息记录转换成合格规范的数据导入到暂存区。 源表：customer_east.txtcustomer_west.txtcustomer_central.txt目的：TDBU.STG_C

13、USTOMERS要点姓与名合并为姓名；号码转换成易读格式的号码，如：(466)766-283；性别转换，将F 转换成FEMALE、M 转换成MALE、其它转换成UNK；年龄分段，20 岁以下、2029、3039、4049、5060、60 岁以上；处理方案详见m_LAB_01组件引见Expression组件Source Qualifier、Filter与RouterJoiner与LookupAggregator组件Update Strategy组件 第二天Source Qualifier、Filter组件组件功能对流入组件中的记录数据进展过滤类似于关系型数据库Where运用与Source Qua

14、lifier的过滤功能区别在执行位置上组件类型Active组件运用范围数据过滤Source Qualifier、Filter组件流入组件的数据项在日志中显示详细级别Source Qualifier组件中的过滤条件设置留意：在Source Qualifier中的User Defined Join、Source Filter、Number of Sorted Ports中定义了SQL条件，那么，在Sql Query中就不要在重写相关的SQL条件，否那么，将不会生效。Router组件组件功能对流入组件中的记录数据按照条件进展分发类似于Java言语中的Switch语句组件类型Active组件运用范围数

15、据分发Router组件流入组件的数据项练习二描画将暂存区的客户信息按照性别分别导入到男、女、性别不明三张表内。 源表：TDBU.STG_CUSTOMERS目的：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要点偿试用Filter组件多种方法对目的进展装载处理方案详见m_LAB_02练习三描画将暂存区的客户信息按照性别分别导入到男、女、性别不明三张表内。源表：TDBU.STG_CUSTOMERS目的：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU

16、.STG_CUSTOMERS_UNK要点运用Router组件对数据进展分发比较Filter与Router各种方法的运用特点、性能处理方案详见m_LAB_03组件引见Expression组件Source Qualifier、 Filter与RouterJoiner与LookupAggregator组件Update Strategy组件 第二天Joiner组件组件功能对异构数据进展关联同构关联用Source Qualify组件类似于SQL 中的Join语句组件类型Active组件运用范围2个异构数据类型的表关联同构Joins与异构Joins同构Joins同种构造数据Source Qualify组件

17、从源直接Joinsn个源可用1个SQ组件在源中先定义衔接关系异构Joins不同DB或Flat与Flat之间Joiner组件在PowerCenter中Joinsn-1个Joiner组件在Joiner中定义衔接条件Joiner组件MasterDetailMaster SourceDetail SourceJoinerJoin ResultsJoin条件：Master.ProductID = Detail.ProductID Join条件Join类型流入组件的数据项MasterDetail=+MasterDetail=MasterDetail+=MasterDetail+练习四描画将员工信息与员工工

18、资2个异构表关联后，将关结合果数据倒入到暂存区。源表：Employees_layout构造Employees_list.txt文件目录Employees_east.txtEmployees_west.txtEmployees_central.txt Salary.txt 目的：TDBU.STG_EMPLOYEES要点用Joiner组件进展Mapping设计留意Master与Detail的设置选择(关联时建议将数据量少的设置为Master.)处理方案详见m_LAB_04练习五描画将员工信息与员工工资2个同构表关联后，将关结合果数据倒入到暂存区。源表：SDBU.EMPLOYEESSDBU.SALA

19、RY目的：TDBU.STG_ EMPLOYEES要点用Source Qualify组件进展Mapping设计留意关联关系设置建议N个同构数据源只需用1个Source Qualifier组件关联，关联时建议将在Source设计区将需求关联的源表手工用连线关联起来，在Mapping设计区删除各个源所带的Source Qualifier组件，用一个新的Source Qualifier组件包含一切源的字段内容。处理方案详见m_LAB_05Lookup组件组件功能对Flat File或数据库根据关联的条件进展查询前往符合条件的值，否那么为空衔接关联与非衔接关联类似于SQL 中的Join语句组件类型Pas

20、sive组件运用范围查询文本文件的关联数据查询数据库的关联数据衔接Lookup与非衔接LookupLookup源Lookup组件查询条件：ITEM_ID = IN_ITEM_ID PRICE = IN_PRICE流入值查询输出值流入值查询到的值Lookup组件组件查询条件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id)能否查询 Y前往查询到的值Lookup组件查询的数据项，前往关联的值 前往值练习六描画将员工信息去员工工资文本文件查询员工工资信息，未查到的工资默以为0，最后将结果数据倒入到暂存区。源表：Employees

21、_layout构造Employees_list.txt文件目录Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目的：TDBU.STG_EMPLOYEES要点用衔接Lookup组件进展Mapping设计留意SalaryFlat File的设置处理方案详见m_LAB_06练习七描画将合格的员工信息去员工工资文本文件查询员工工资信息，未查到的工资默以为0，最后将结果数据倒入到暂存区。源表：Employees_layout构造Employees_list.txt文件目录Employees_east.txtEmploy

22、ees_west.txtEmployees_central.txtSalary.txt目的：TDBU.STG_EMPLOYEES要点用非衔接Lookup组件进展Mapping设计留意SalaryFlat File的设置留意数据查询的条件处理方案详见m_LAB_07组件引见Expression组件Source Qualifier、 Filter与RouterJoiner与LookupAggregator组件Update Strategy组件 第二天Aggregator组件组件功能对数据集进展聚合聚合分有SUM、AVG、Count、Max、Min组件类型Active组件运用范围分组汇总平均值、最大

23、值Aggregator组件Group By 选项变量和流出数据项的表达式Aggregator组件函数留意区别：SUM ( IN_count , IIF ( ID 20, IN_count) )将不符合条件的值默许赋值为nullIIF ( ID 20 , SUM ( IN_count ) )将不符合条件的值默许赋值为0Aggregator组件属性参与Group By的字段能否经过排序参与聚集汇总的变量和输出数据项的表达式所占内存参与Group By的字段所占用的内存Aggregator组件排序的区别IDNAMEQUANTITY1北京1002上海803北京904江苏905北京120IDNAMEQU

24、ANTITY1北京1003北京905北京1202上海904江苏90按北京分组指针按北京分组指针不对流入到Aggregator组件的数据进展排序对流入到Aggregator组件的数据进展排序练习八描画将采购清单按照数据仓库星型设计原那么进展规范化存储，对货物库存量、订单量和货物费用按照采购编号、货物品名、代理商、订单日期、接纳日期和发货日期进展汇总。源表：TDBU.STG_INVENTORY目的：TDBU.FACT_INVENTORYLOOKUP表：产品维表为DIM_PRODUCT日期维表为DIM_DATE 要点订单文本文件与产品表的关联汇总前排序分组汇总处理方案详见m_LAB_08第二天组件引

25、见Expression组件Source Qualifier、 Filter与RouterJoiner与LookupAggregator组件Update Strategy组件 Update Strategy组件组件功能对流过组件的每一条记录赋一个操作标志根据操作标志对目的关系型数据库表生成SQL操作操作标志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT组件类型Active组件运用范围数据增量更新对目的编辑Update Strategy组件对记录标志记录是在当前丢弃还是到下个组件丢弃练习九描画将暂存区的发生变卦了的员工信息倒入到员工维表中。 源表：TDBU.STG

26、_EMPLOYEES 目的：TDBU.DIM_EMPLOYEES要点运用Router组件对数据按不同要求进展编辑操作偿试用一个Update Strategy组件完成上述功能处理方案详见m_LAB_09第三天增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优 增量抽取实例实例描画对流过组件的每一条记录赋一个操作标志根据操作标志对目的关系型数据库表生成SQL操作操作标志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT处理方案全表比较方法时间戳方法详见m_LAB_10字段紧缩比较PowerExchange第三天增量抽取实例参数文件控制断点续传实例

27、存储过程实例行列转换实例系统性能调优 参数与变量存在的三种方式系统级变量SYSDATE系统日期SESSSTARTTIMESESSION启动时间$SessStartTime 前往Session启动时间的字符串值Mapping级参数与变量SETMAXVARIABLE($Variable,value)设置最大值变量SETMINVARIABLE($Variable,value)设置最小值变量SETVARIABLE($Variable,value)设置变量值SETCOUNTVARIABLE($Variable)设置递增、减变量文件级参数与变量固定格式Mapping参数与变量方式从Designer 中的M

28、appings/Mapplets 菜单中进展定义在相应的Mapping或Mapplet中进展援用即可设置变量变化类型 初始值设置变量或参数称号定义：$类型设置参数文件方式全局变量域级效力变量节点级效力处置变量Workflow级变量 优先于前几级定义的变量 参数文件设置Task参数文件设置Workflow参数文件设置参数文件的级别规那么GLOBALSERVICESERVICE PROCESSWORKFLOWSESSION运用范围执行优先权高低低高Mapping与Workflow/Worklet之间进展变量传送运用不同参数文件并行运转同一个Workflow参数文件实例实例描画对源文本文件名进展参数

29、化对源表名进展参数化对目的输出文本文件名进展参数化对源与目的的数据库衔接进展参数化对日志文件及途径进展参数化处理方案详见m_LAB_11本卷须知留意变量的命名规那么：特别是固定的前缀第三天增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优 断点续传实例实例描画当在数据抽取时，因不测致使数据抽取发生中断，重新启动效力时仍可从断点执行数据抽取处理方案经过表pm_recovery和PM_TGT_RUN_ID记载最近提交点的位置，当session失败(或停顿)后可从断点处接着装载数据，在monitor中，recover task。在源表数据未发生变化的前提下详见m_LAB_12监

30、控脚本select * from pm_recovery ;select row_count from pm_recovery ;select * from PM_TGT_RUN_ID;select count(*) from SessionRecovery_Target ;truncate table SessionRecovery_Target ;断点续传实例第三天增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优 存储过程实例实例描画将原始客户信息记录转换成合格规范的数据倒入到暂存区，转换处置在存储过程中完成 源表：customer_east.txtcustomer

31、_west.txtcustomer_central.txt目的：TDBU.STG_CUSTOMERS处理方案见存储过程EMP_INFA_TRANSFORM详见m_LAB_13第三天增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优 列行转换实例实例描画源数据一条记录有多个字段格式一样，经过格式化，到目的生成多条记录，并且只保管一个该格式字段。处理方案运用Normalizer组件，实现列/行转变详见m_LAB_14_1行列转转用Aggregator组件实现，详见m_LAB_14_2第三天增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优 瓶颈类型Source瓶颈Target瓶颈Mapping瓶颈Session瓶颈System瓶颈Source调优源为文本