PowerCenter学习文档+说明+手册

1、1电话：电话SN： 2 产品体系介绍产品体系介绍 产品安装配置产品安装配置 系统管理介绍系统管理介绍 开发六大步骤开发六大步骤 数据转换调试数据转换调试3INFA产品线产品线4PowerCenter选件选件丰富的丰富的ETL功能功能 Real-Time 实时功能 Partitioning 分区功能 High Availability 高可靠性功能 Pushdown 功能 Enterprise Grid网格功能 Team-based Development 团队开发功能 Metadata Exchange 元数据交换功能 Unstructured Data 非结构化数据

2、功能 Visio 模板Mapping生成器功能 Data Federation 数据联邦功能 Data Profiling 数据质量探查功能 异构数据源，异构目标 实现多种缓慢变化维 全局变量及参数，参数文件 局部变量，前后记录比较 条件汇总 异构数据源关联 行/列转换 静态、动态Lookup支持 ETL事务处理 自定义SQL Pre SQL和Post SQL 复用组件 复用Mapping 调用存储过程 调用外部用户自定义过程 可视化Debug 强大函数支持、丰富转换语言 数据源为文件列表 Session Recovery 基于多目标表约束装载 错误数量控制 FTP 源和FTP目标 ETL任务

3、分区 增量汇总 测试装载 Bulk Loading External Loader (Oracle、DB2.) 复用Workflow 功能丰富的Workflow控制 任务串行、并行控制 基于时间、事件和指示文件触发 任务 Workflow中调用OS外部命令 Workflow中调用Email 多ETL Server协同工作 Informatica 8INFA8系列产品功能情况系列产品功能情况5Informatica客户端客户端数据源数据源ODBCNATIVE目标目标ODBCNATIVEDomainAdministrator ConsoleUNIX (AIX, HPUX, Solaris, Lin

4、ux) WindowsIntegration ServiceRepository Service-Repository AgentPowerCenter 服务端服务端TCP/IPTCP/IPTCP/IPNATIVENATIVE6数据源数据源源数据源数据目标目标已转换数据已转换数据资料库资料库PowerCenter Server来自元数来自元数据的指令据的指令PowerCenter Server、资料库、源和目标之间的处理路径、资料库、源和目标之间的处理路径7 服务端组件服务端组件 客户端组件客户端组件Informatica Service：PowerCenter服务引擎Integration

5、Service：数据抽取、转换、装载服务引擎Repository Service：知识库Service，管理ETL过程中产生的元数据Administratortion Console：用于知识库的建立与维护Repository Manager：知识库管理，包括安全性管理等Desinger：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射Workflow Manager：合理地实现复杂的ETL工作流，基于时间、事件的作业调度Workflow Monitor：监控Workflow和Session运行情况，生成日志和报告8 产品体系介绍产品体系介绍 产品安装配置产品安装配置 系统管理

6、介绍系统管理介绍 开发六大步骤开发六大步骤 数据转换调试数据转换调试9产品安装产品安装 服务器安装 客户端安装 详见安装手册样例安装样例安装 数据库准备 RDBU （资料库数据库） SDBU （样例源数据库） TDBU （样例目标数据库） BDBU （样例参考数据库） 样例数据准备 样例参考导入10 产品体系介绍产品体系介绍 产品安装配置产品安装配置 系统管理介绍系统管理介绍 开发六大步骤开发六大步骤 数据转换调试数据转换调试11 Informatica Server管理管理http:/localhost:6001Domain ManagerNode ManagerRepository Ser

7、vice ManagerIntegration Service ManagerLicense Manager 资料库内容管理资料库内容管理Repository ManagerFolder ManagerPrivilege Manager12 产品体系介绍产品体系介绍 产品安装配置产品安装配置 系统管理介绍系统管理介绍 开发六大步骤开发六大步骤 数据转换调试数据转换调试13S T ST WF M定义源定义目标创建映射定义任务创建工作流工作流调度监控Designer: Workflow Manager: Workflow Monitor: 14引入源的类型 Relational database

8、Flat file COBOL file XML object Application源分析器Informatica ServiceODBC Mapped DriveNFS MountingLocal DirectorySave Meta Data of Sources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_15引入目标的类型 Relational database Flat file COBOL file XML object Application目标分析器Save Meta Data of Targets:OPB_TARGOPB_TARG_OPB_T

9、ARG_FLDOPB_TARG_FLD_ODBC Mapped DriveNFS MountingLocal DirectoryInformatica Service16目标目标源源转换组件转换组件17Session Task工作目录工作目录Task工作区工作区181920 产品体系介绍产品体系介绍 产品安装配置产品安装配置 系统管理介绍系统管理介绍 开发六大步骤开发六大步骤 数据转换调试数据转换调试21目标装载情况目标装载情况经过每个调试的数据流经过每个调试的数据流Flashingyellow SQLindicatorDebugger 模式模式Solid yellow arrow Curre

10、nt Transformationindicator调试日志调试日志22 组件介绍组件介绍 Expression组件组件 Filter与与Router Joiner与与Lookup Aggregator组件组件23 Source Qualifier: 从数据源读取数据 Expression: 行级转换 Filter: 数据过滤 Sorter: 数据排序 Aggregator: 聚合 Joiner: 异构数据关接连接 Lookup: 查询连接 Update Strategy: 对目标编辑 insert, update, delete, reject Router: 条件分发 Sequence G

11、enerator: 序列号生成器24 Normalizer: 记录规范化 Rank: 对记录进行TOPx Union: 数据合并 Transaction Control: 对装载数据按条件进行事务控制 Stored Procedure: 存储过程组件 Custom: 用户自定义组件 HTTP: WWW组件 Java: Java自编程组件4其它应用组件其它应用组件25Passive组件组件 流入流出组件的行数不发生变化 例如：Expression、Lookup、HTTP组件Active组件组件 流入流出组件的行数会发生变化 例如：Aggregator、Router、Filter组件PA26聚合函

12、数聚合函数字符串函数字符串函数转换函数转换函数数据清洗函数数据清洗函数日期函数日期函数编码函数编码函数财务函数财务函数数值函数数值函数数学函数数学函数特有函数特有函数判断函数判断函数用户自定义函数用户自定义函数2728 组件介绍组件介绍 Expression组件组件 Source Qualifier、 Filter与与Router Joiner与与Lookup Aggregator组件组件29组件功能组件功能 基于行级的数据项赋值、修改、计算 在同行记录中可新增、减少数据项组件类型组件类型 Passive组件应用范围应用范围 数据类型转换，例如Expression：to_date(Port1,

13、yyyymmdd) 数据项计算，例如Expression：(Port1+Port2)/Port3 新增变量，例如Expression： i=i+130当数据项为空时的默认值当数据项为空时的默认值流入组件的数据项流入组件的数据项流出组件的数据项流出组件的数据项组件中定义的变量组件中定义的变量31描述描述将原始客户信息记录转换成合格标准的数据导入到暂存区。 源表： customer_east.txt customer_west.txt customer_central.txt目标： TDBU.STG_CUSTOMERS要点要点姓与名合并为姓名；电话号码转换成易读格式的电话号码，如：(466)766

14、-283；性别转换，将F 转换成FEMALE、M 转换成MALE、其它转换成UNK；年龄分段，20 岁以下、2029、3039、4049、5060、60 岁以上；解决方案解决方案详见m_LAB_0132 组件介绍组件介绍 Expression组件组件 Source Qualifier、Filter与与Router Joiner与与Lookup Aggregator组件组件33组件功能组件功能 对流入组件中的记录数据进行过滤 类似于关系型数据库Where应用 与Source Qualifier的过滤功能区别在执行位置上组件类型组件类型 Active组件应用范围应用范围 数据过滤34流入组件的数据

15、项流入组件的数据项在日志中显示详细级别在日志中显示详细级别Source Qualifier组件中的过滤条件设置组件中的过滤条件设置注意：注意：在在Source Qualifier中的中的User Defined Join、Source Filter、Number of Sorted Ports中定中定义了义了SQL条件，那么，在条件，那么，在Sql Query中就不要在重写相关的中就不要在重写相关的SQL条件，否则，将不会生效。条件，否则，将不会生效。35组件功能组件功能 对流入组件中的记录数据按照条件进行分发 类似于Java语言中的Switch语句组件类型组件类型 Active组件应用范围应

16、用范围 数据分发36流入组件的数据项流入组件的数据项37描述描述将暂存区的客户信息按照性别分别导入到男、女、性别不明三张表内。 源表： TDBU.STG_CUSTOMERS目标： TDBU.STG_CUSTOMERS_FEMALE TDBU.STG_CUSTOMERS_MALE TDBU.STG_CUSTOMERS_UNK要点要点偿试用Filter组件多种方法对目标进行装载解决方案解决方案 详见m_LAB_0238描述描述将暂存区的客户信息按照性别分别导入到男、女、性别不明三张表内。源表： TDBU.STG_CUSTOMERS目标： TDBU.STG_CUSTOMERS_FEMALE TDBU

17、.STG_CUSTOMERS_MALE TDBU.STG_CUSTOMERS_UNK要点要点使用Router组件对数据进行分发比较Filter与Router各种方法的应用特点、性能解决方案解决方案详见m_LAB_0339 组件介绍组件介绍 Expression组件组件 Source Qualifier、 Filter与与Router Joiner与与Lookup Aggregator组件组件40组件功能组件功能 对异构数据进行关联（同构关联用Source Qualify组件） 类似于SQL 中的Join语句组件类型组件类型 Active组件应用范围应用范围 2个异构数据类型的表关联41同构同构

18、Joins同种结构数据Source Qualify组件从源直接Joinsn个源可用1个SQ组件在源中先定义连接关系异构异构Joins不同DB或Flat与Flat之间Joiner组件在PowerCenter中Joinsn-1个Joiner组件在Joiner中定义连接条件42MasterDetailMaster SourceDetail SourceJoinerJoin ResultsJoin条件：Master.ProductID = Detail.ProductID Join条件条件43流入组件的数据项流入组件的数据项MasterDetail=+MasterDetail=MasterDetail

19、+=MasterDetail+44描述描述将员工信息与员工工资2个异构表关联后，将关联结果数据倒入到暂存区。源表：Employees_layout结构Employees_list.txt文件目录Employees_east.txtEmployees_west.txtEmployees_central.txt Salary.txt 目标：TDBU.STG_EMPLOYEES要点要点用Joiner组件进行Mapping设计注意Master与Detail的设置选择(关联时建议将数据量少的设置为关联时建议将数据量少的设置为Master.)解决方案解决方案详见m_LAB_0445描述描述将员工信息与员工

20、工资2个同构表关联后，将关联结果数据倒入到暂存区。源表： SDBU.EMPLOYEES SDBU.SALARY目标： TDBU.STG_ EMPLOYEES要点要点用Source Qualify组件进行Mapping设计注意关联关系设置建议建议N个同构数据源只需用1个Source Qualifier组件关联，关联时建议将在Source设计区将需要关联的源表手工用连线关联起来，在Mapping设计区删除各个源所带的Source Qualifier组件，用一个新的Source Qualifier组件包含所有源的字段内容。解决方案解决方案详见m_LAB_0546组件功能组件功能对Flat File或

21、数据库根据关联的条件进行查询返回符合条件的值，否则为空连接关联与非连接关联类似于SQL 中的Join语句组件类型组件类型Passive组件应用范围应用范围查询文本文件的关联数据查询数据库的关联数据47Lookup源源Lookup组件组件查询条件：ITEM_ID = IN_ITEM_ID PRICE = IN_PRICE流入值查询输出值流入值查询到的值Lookup组件组件组件组件查询条件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id)是否查询 Y返回查询到的值48查询的数据项，返回关联的值查询的数据项，返回关联的值 返回值

22、返回值49描述描述将员工信息去员工工资文本文件查询员工工资信息，未查到的工资默认为0，最后将结果数据倒入到暂存区。源表：Employees_layout结构Employees_list.txt文件目录Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目标：TDBU.STG_EMPLOYEES要点要点用连接Lookup组件进行Mapping设计注意Salary（Flat File）的设置解决方案解决方案详见m_LAB_0650描述描述将合格的员工信息去员工工资文本文件查询员工工资信息，未查到的工资默认为0，最后将

23、结果数据倒入到暂存区。源表：Employees_layout结构Employees_list.txt文件目录Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目标：TDBU.STG_EMPLOYEES要点要点用非连接Lookup组件进行Mapping设计注意Salary（Flat File）的设置注意数据查询的条件解决方案解决方案详见m_LAB_0751 组件介绍组件介绍 Expression组件组件 Source Qualifier、 Filter与与Router Joiner与与Lookup Aggrega

24、tor组件组件52组件功能组件功能 对数据集进行聚合 聚合分有SUM、AVG、Count、Max、Min组件类型组件类型 Active组件应用范围应用范围 分组汇总 平均值、最大值53Group By 选项选项变量和流出数据项的表达式变量和流出数据项的表达式54注意区别：注意区别：SUM ( IN_count , IIF ( ID 20, IN_count) )将不符合条件的值默认赋值为将不符合条件的值默认赋值为nullIIF ( ID 20 , SUM ( IN_count ) )将不符合条件的值默认赋值为将不符合条件的值默认赋值为055参与参与Group By的字段是否经过排序的字段是否经

25、过排序参与聚集汇总的变量和输出参与聚集汇总的变量和输出数据项的表达式所占内存数据项的表达式所占内存参与参与Group By的字段所占用的字段所占用的内存的内存56IDNAMEQUANTITY1北京北京1002上海上海803北京北京904江苏江苏905北京北京120IDNAMEQUANTITY1北京北京1003北京北京905北京北京1202上海上海904江苏江苏90按北京分组指针按北京分组指针按北京分组指针按北京分组指针不对流入到不对流入到Aggregator组件的数据进行排序组件的数据进行排序对流入到对流入到Aggregator组件的数据进行排序组件的数据进行排序57描述描述将采购清单按照数据

26、仓库星型设计原则进行标准化存储，对货物库存量、订单量和货物费用按照采购编号、货物品名、代理商、订单日期、接收日期和发货日期进行汇总。源表：TDBU.STG_INVENTORY目标：TDBU.FACT_INVENTORYLOOKUP表：产品维表为DIM_PRODUCT日期维表为DIM_DATE 要点要点订单文本文件与产品表的关联汇总前排序分组汇总解决方案解决方案详见m_LAB_0858 Update Strategy组件组件 User Defined Function Java Transformation组件组件 Stored Procedure组件组件59组件功能组件功能 对流过组件的每一条

27、记录赋一个操作标志 根据操作标志对目标关系型数据库表生成SQL操作 操作标志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT组件类型组件类型 Active组件应用范围应用范围 数据增量更新 对目标编辑60对记录标记对记录标记记录是在当前丢弃还是到下个组件丢弃记录是在当前丢弃还是到下个组件丢弃61描述描述将暂存区的发生变更了的员工信息倒入到员工维表中。 源表： TDBU.STG_EMPLOYEES 目标： TDBU.DIM_EMPLOYEES要点要点使用Router组件对数据按不同要求进行编辑操作偿试用一个Update Strategy组件完成上述功能解决方案解决

28、方案详见m_LAB_0962 Update Strategy组件组件 User Defined Function Java Transformation组件组件 Stored Procedure组件组件63User Defined Function函数介绍函数介绍 用户自定义函数可以在Designer中定义，在Expression中使用 可以使用任何有效的函数（除了Aggregation函数），也可以使用在同一个文件夹里的其它UDFs 在FCS中UDFs不支持快捷键，也就是说它们只能在自己被创建的文件夹中被访问组件类型组件类型 用户自定义函数UDFs是文件夹级别的对象应用范围应用范围 较少的字

29、段形成的比较复杂的函数逻辑 此函数逻辑在多个mapping中都使用64User Defined Function65 Update Strategy组件组件 User Defined Function Java Transformation组件组件 Stored Procedure组件组件66组件功能组件功能 调用现有的java程序，提供java接口 对java程序进行编译，并提供编译结果组件类型组件类型 Active or Passive应用范围应用范围 对复杂的业务逻辑如果有写好的java程序 对于用infa实现比较麻烦的业务逻辑6768 Update Strategy组件组件 User

30、Defined Function Java Transformation组件组件 Stored Procedure组件组件69Stored Procedure组件组件组件功能组件功能 调用现有的存储过程 被调用的存储过程有无参数都可 一个mapping中可调用多个存储过程，并可设定执行顺序组件类型组件类型 Active or Passive应用范围应用范围 对复杂的业务逻辑如果有写好的存储过程 对于用infa实现比较麻烦的业务逻辑70可以选择执行时间目标表插入数据后执行71实例描述实例描述将原始客户信息记录转换成合格标准的数据倒入到暂存区，转换处理在存储过程中完成 源表： customer_e

31、ast.txt customer_west.txt customer_central.txt目标： TDBU.STG_CUSTOMERS解决方案解决方案见存储过程EMP_INFA_TRANSFORM详见m_LAB_1372 增量抽取实例增量抽取实例 参数文件控制参数文件控制 断点续传实例断点续传实例 行列转换实例行列转换实例73实例描述实例描述 对流过组件的每一条记录赋一个操作标志 根据操作标志对目标关系型数据库表生成SQL操作 操作标志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT解决方案解决方案 全表比较方法 时间戳方法详见m_LAB_10 字段压缩比较

32、PowerExchange74 增量抽取实例增量抽取实例 参数文件控制参数文件控制 断点续传实例断点续传实例 行列转换实例行列转换实例75系统级变量系统级变量 SYSDATE系统日期 SESSSTARTTIMESESSION启动时间 $SessStartTime 返回Session启动时间的字符串值Mapping级参数与变量级参数与变量 SETMAXVARIABLE($Variable,value)设置最大值变量 SETMINVARIABLE($Variable,value)设置最小值变量 SETVARIABLE($Variable,value)设置变量值 SETCOUNTVARIABLE($

33、Variable)设置递增、减变量文件级参数与变量文件级参数与变量 固定格式76从Designer 中的Mappings/Mapplets 菜单中进行定义在相应的Mapping或Mapplet中进行引用即可设置变量变化类型初始值设置变量或参数名称定义：$类型设置77全局变量域级服务变量节点级服务处理变量Workflow级变量 优先于前几级定义的变量 78Task参数文件设置参数文件设置Workflow参数文件设置参数文件设置79GLOBALSERVICESERVICE PROCESSWORKFLOWSESSION使用范围执行优先权高低低高80Mapping与与Workflow/Worklet之

34、间进行变量传递之间进行变量传递81使用不同参数文件并行运行同一个使用不同参数文件并行运行同一个Workflow82实例描述实例描述对源文本文件名进行参数化对源表名进行参数化对目标输出文本文件名进行参数化对源与目标的数据库连接进行参数化对日志文件及路径进行参数化解决方案解决方案详见m_LAB_11注意事项注意事项注意变量的命名规则：特别是固定的前缀83 增量抽取实例增量抽取实例 参数文件控制参数文件控制 断点续传实例断点续传实例 行列转换实例行列转换实例84实例描述实例描述当在数据抽取时，因意外致使数据抽取发生中断，重新启动服务时仍可从断点执行数据抽取解决方案解决方案通过表pm_recovery

35、和PM_TGT_RUN_ID记载最近提交点的位置，当session失败(或停止)后可从断点处接着装载数据，在monitor中，recover task。在源表数据未发生变化的前提下详见m_LAB_12监控脚本监控脚本select * from pm_recovery ;select row_count from pm_recovery ;select * from PM_TGT_RUN_ID;select count(*) from SessionRecovery_Target ;truncate table SessionRecovery_Target ;8586 增量抽取实例增量抽取实例

36、参数文件控制参数文件控制 断点续传实例断点续传实例 行列转换实例行列转换实例87实例描述实例描述 源数据一条记录有多个字段格式一样，经过格式化，到目标生成多条记录，并且只保留一个该格式字段。解决方案解决方案 使用Normalizer组件，实现列/行转变 详见m_LAB_14_1 行列转转用Aggregator组件实现， 详见m_LAB_14_288 系统性能调优系统性能调优 Partition功能功能 89 Source瓶颈瓶颈 Target瓶颈瓶颈 Mapping瓶颈瓶颈 Session瓶颈瓶颈 System瓶颈瓶颈90源为文本文件源为文本文件调优Line Sequential Buffer Length(1024) 源为关系型数据库源为关系型数据库在Source Qualify优化SQL在源数据增加索引增加Database network Packet size当DB