ODI工具抽取数据操作基础手册

ODI工具抽取数据操作手册

一、准备工作（以ORACLE11G为例）

1、0DI是oracle数据抽取工具,需要自行安装oralce数据库。

2、请根据0DI安装说明书安装rcu资料库和0DI工具。

ODI11G安装及使用_baidu文库：

3、了解：资料档案库

资料库分两种：

（1）MasterRepository（主资料库），保留企业全部IT资源Topology,保留

项目和数据模型安全信息、版本信息，供0DI图形模块等使用。通常创建一个即

可。MasterRepository要尽可能独立存放，单独Instance,或单独Schema。

（2）WorkRepository（工作资料库），保留项目和数据模型，供0DI图形模块

等使用。可创建多个。一个WorkRepository只能连接一个MasterRepository。

一个Schema只能存放一个WorkRepository.不过MasterRepository倒可和

其安装在同一Schemao

4、Topology

TopologyManager（拓扑管理器）关键用来管理下面5类任务，并将

信息存放在主资料库中，供全部模块共享使用。

(1)物理体系结构，定义多种技术及其数据服务器、物理架构、物

理代理。

(2)逻辑体系结构，定义多种技术及其关联逻辑架构、逻辑代理。

(3)上下文，用来连接物理架构和逻辑架构。

(4)语言，不一样技术所能采取语言特征。

(5)资料库，包含主资料库及其隶属工作资料库。

5、知识模块

OracleDataIntegrator之所以能适应不一样、多个多样数据源，灵

活有效完成数据抽取/转换/载入过程，均是基于其知识模型体系。

KnowledgeModul6s类似于程序中插件，OracleDataIntegrator将

数据整合任务抽象出六个组成部分：

(1)反向工程RKM,Reverse-engineeringknowledgemodules,用

于从数据源读取表及其它对象。

(2)日志JKN,Journalizingknowledgemodules,用于为单一或一

组表/视图统计新建和修改数据。0DI支持部分数据源ChangeData

Capturu(CDC)功效，前提为0DI项目中启用该模块。

(3)加载LKM,Loadingknowledgemodules,用于从数据源抽取数

据。

(4)检验CKM,Checkknowledgemodules,用于检测抽取出源数据

正当性。

(5)集成IKM,Integrationknowledgemodules,用于将StagingArea

中数据转换至目标表，基于目标数据库产生对应转换SQL。

(6)服务SKM,Serviceknowledgemodules,提供将数据以Web

Services方法展现功效。

6、源系统

需要知道源系统数据库用户密码和源系统IP地址或主机名、数据库

端口、数据库实例。(以223这台机为例)。

数据库链路：jdbc:oracle:thin:@172.17.7.223:1521:gbk

数据库用户/密码：rcms/123456

数据：EMP(表)

7、创建目标系统用户(以50这台机为例)。

数据库链路：jdbc:oracle:thin:@172.17.7.50:1521:orcl

数据库用户/密码：spaq_odi/spaq_odi

而且需要在目标用户上创建源用户表或视图，表结构需要和源用户表

结构一致。

createuserspaq_odiidentifiedbyspaq_odidefaulttablespaceusers;

grantconnectjesourcetospaq_odi;

图1

图2

三、创建资料档案库连接

1、点击IN创建新ODI资料档案库登陆，填写资料档案库连接信息,

经过“测试连接”可测试配置是否正确。

淮档案库连接信息[―P—J

图1

四、创建工作资料库

1、新建工作资料库数据库用户（以gzzl（工作资料缩写）为例）：

createusergzzlidentifiedbygzzldefaulttablespaceusers;

grantconnect,resourcetogzzl;

2、点击连接到资料档案库一拓扑f货料档案库一右键工作资

料档案库一新建工作资料档案库以下图1-3

图1

图2

图3

3、新建完后会自动提醒是否为该工作资料创建登录名，可选择帮该

工作资料档案库创建登陆名。

也可连接主资料库时候，点击〃编辑按钮“食品安全综合监管项目”

连接在工作资料档案库项勾上工作资料档案库而且点击放大镜Q

添加W0RKREP1。操作图4-5

OracleDataIntegrator登录

图4

资料喈案库连接信息IRGM

OracleDataIntegrator连接__________________________________

登录名：

用户：

口令：

数据库连接住素料档案库）

用户：odi_test|

口令：|.......

驱动程序列表：OracleJDBCDriver▼&

驱动程序名称：oracle.jdbc.OracleDriver

URL:jdbc：oracle:thin：<?192.168.0.39：1521:orcl

工作资料档案库选择后需要添加W0RKREP1

o仅主资料档案库,

|◎工作资料档案库,0嬴?1|Q

□默认连接

［帮助助］［测试］「碓T［取消

图5

五、创建物理体系结构

1、创建目标系统物理体系结构（以ODLMUBIAO为例）

拓扑―物理体系结构—技术—oracle—右键oracle->新

建数据服务器图1：

“［食品安全综合监苣项目］OracleDataIntegrator11g

文件⑥编辑（©查看GO搜索⑤ODI工具mm（w）帮助®

图1

2、定义名称、实例/dblink（数据服务器）、连接用户及口令:

ODI_IUBIAO可日

测试连接

izr

静-----------1与数据服务器

连接/断开连接时名称：ODI_MUBIAO

属性技术：▼

•niJLra'r?"

颜据源

实例/dbLnk徵据服务器）:orcl.loopback

版本

权限连接

灵活学段

用户：spaq_odi

口令：••••••••

□JTOI连接

额组提取大小：|30I批处理更新大小：叵

概器

注1：在"OracletoOracle”模式时，“实例/dblink”将用于ODI

自动创建两个系统问dblink,为了使dblink创建成功，需要在目标数

据库端配置TNSNAME（二这里“实例/DBLINK"）；另外假如起源和目标

是同一个数据库，那么dblink就是LOOPBACK,这里“实例/dblink”

名字就不能等于SID。故这里有意加了".LOOPBACK”。

注2:连接用户和口令为目标数据库用户和口令spaq_odi/spaq_odi

3、JDBC驱动程序、JDBCURL：

(3ODI_IUBIAOX0

测试连接

定义

oracle.jdbc.OracleDriver|

IJDBCJDBC强动程序q

[Jdbc：oracle：thin：Q172.17.7.50:1521:orcl

连接/断开连接时JDKURL：q

属性

数据源

版本

权限

灵适字段

概览

4、保留后新建目标物理方案

点击ODLMUBIAO-右键->新建物理方案

食品安全综合监苣项目］OracleDataIntegrator11g

文件(E)编痘®查看00搜索⑤QDI工具CD©D(W)帮助®

N・◎IX■■I»

掇计器X|七安全X|曼操作Xi应拓扑I国

幽

D物理体系结构I

®QlHetezza

©■JODITools

|±JOperatingSystem

ROracle

&rj0DI_MUBIA0j

，国的数据类型

■由冠操作»(B)

+」之索弓I类型

£ijOracleBAM◎耐g

田”Q)OracleBI复制选定项

!

GD..I1PQV-O/^AVX删除Delete

＞上下文；i▼

:答新建吻理方案(£)

逻辑体系结构

»语言导入匈

b资料档案库导出⑥..・

田^MASTERREPOSITORT_vO4.03.04.02

-T工作姿料档案库

+^jWORKREPl

5、定义方案(方案)、方案(工作方案)：

保留后报没有选择上下文警告，先忽略之。

善0D工JUMAO.SPAQ_OD工

I定义I慧物理方案［淋［据眼务器：ODIJUBIAO］

上下文

版本名称:ODI_MUBIAQSPAQ_ODI

权限方案方案）:

灵活字段

方案（工作方案）：|SPAQODI▼

回默认值

工作表前缀

错误：叵二加载：凡|集成：|工$|临时索引：叵

日记记录元素前缀

数据存楮：:|视图：阶|触发器：

目命名版贝1

本地对象攒码：底CHEMA.初BJKT

远程对象掩码：区CHEHA.ME最CT@%DSERVER

分区攒码：|%SCHEMA.MBJKTPARiniO】T（%PARTITIOD

子分区掩码-I^HEMA.为比JICTSUBPARTniOH（%PARIIIIOlT）

本地序列撞码：|%SCHEMA.%OBJICT.nextval

远程序列掩码：际HEMA.MBJICI.nextval0%DSERVER

概览

6、创建源系统物理体系结构和源物理方案（以ODLYUAN为例）

图1-3

图1

①ODI.TUO司E

则i延接

定义

JDBC鎏动程序：oracle.jdbc.OracleDriver

IJMCA

连接/断开连接时JDBCURL:jdbc：oracle：thin：＜?172.17.7.223:1521:gbkQ

属性

数揖源

版本

权限

灵活字段

图2

4^0DI_TUAI.KCIS0

I菽I鬟物理方案[獭据眼势涔：ODIJUU]

上下文

版本名称：ODI.TUAnRCMS

权限

怛案6案）：RCMS▼

灵活学段1方案（I作方案）：

RCMS卜

回默认值

工作表前缭

错误：卜$_加载：，一集成：|i5J蝴寸索引：回匚

日记记录元素前缀

数据存储："栩3：m।触发者（1$

-命名凯贝4

本地对象掩码：1^SCHEMA.%OBJKI

远程对象掩码：^SCHEMA.«OBJICI®H）SERVER

分区掩码：!%SCHEMA.%OBJICIPARIIIIOIT(%PARIIIIOI)

子分区掩码：I^SCHEMAWBJICTSUBPARTITIOH(XPARIITIOD)

本地序列掩码:1%SCMEMAVOBJECT.ntxtval|

远程序列掩码先CKEMAWBJICTn«tvalQ%DSERVER

概览

图3

注：连接用户和口令为目标数据库用户和口令rcms/123456。

最终止果以下图:

.[食品安全绘合监爸项目]OracleDataIntegrator11g

文件(E)领@)M(Y)搜索⑤ODI工具①@n(w)帮助®

「设计器x1f安全X|q操作X宓拓扑X

l□

物理体委结构

由QlTetRexx

1±]\_JlTetezza

ij\_JODITools

国…OperatingSystem

;Oracle

白。ODI_MUBIA。

1-1SODI_MUJIAO.SPAQ.ODI

向①ODJYUAIT

田^ODI.TUAIT.RCMS

!，山Q赢类型

&d操作

国金索引类型

it)JOracleEAM

国JOracleBI

EParadox

国.JPostgreSQL

+_]Progress

j田QSAPABAP

I田QSAPJavaCorrector

田―i_JSAS(deprecated)

E(JSalesforce.con(deprecated)

上下文

。逻辑体系结构

»语言

»滨料档案库

一般操作

六、创建逻辑体系结构

1、创建目标系统逻辑体系结构(以ODLMUBIAO为例)

拓扑f逻辑体系结构-技术foraclef右键oracle-新

建逻辑方案图1-2：

ji食品安全综合监邕项目］OracleDataIntegrator11g

文件⑥络揖⑥查看M搜索⑤ODI工具①窗口他)帮助(H)

N・◎X■■।A

e设计器XI岁安全X园操作)一齿拓扑弓____________________________________□

»物理体系结构I

»上下文窗，I

♦P逻辑体系结构"|

团「MicrosoftAccess

|国^jMicrosoftExcel

王，_JMicrosoftSQLServer

用QMySQL

3JlTetRexx

\ffil^jlletezza

田.(%3ODITools

»j田…OperatingSystem____________________

Oracle

打开9)

s

iJ新建⑥

y

r

.，复制选定项

T7

汉删除Delete

图新建澄看方案9)

数据类型逆句工程(B...

导入g

+

导出㈤…

语言

资料档案库

一般操作

图1

图2

2、创建源系统逻辑体系结构（以ODLYUAN为例）

七、创建项目

1、设计器f项目f点击噎▼f新建项目（以shipin项目为例）

以下图1-2：

图1

图2

2、导入知识模块

设计器一项目—shipinj右键知识模块—导入知识模块

图1-2

j［食品安全综合监尝项目］OracleDataIntegrator11g

文件⑨编辑⑥查看M搜索⑤ODI工具①窗口他）帮助但）

!」设计器司a安全xir操作x|盾拓扑x

项目

E晶shipin

田£二第一个文件夹

田@变里

序列

用户函数

知识模块।

导入知识模块...

国叩看记®

图1

L导入知识模块（XML文件）

导入类型：3

文件导入目录：）duct'11.1.l.OracleODIl\oracltdi\client\..xml-reference;Q

选择要导入的文件:

□<

CKMHive5_01COMPOllEinNAMECKMOr..□一

CKMHSQL5C0MP0HE1TIHAMECKMHS..□

'.KMlletezza6CUMPOlitlllllAMtLKMHe..□

CKMOracle一19COMPOlTEin1TAMECKMOr..□

CKMSQL•COMPOHEin1TAMECKMSQ..□

CKMSybaseIQ5C0MP011E1H1TAMECKMSy..□

CKMTeradata8COMPOHEITI1TAMECKMTe..□

IKMAccessIncremental...6COMPOHEin1TAMEIKMAc..□

IKMDB2400Incrementa...8COMPOllEinNAMEmDB..□

IKMDB2400Incrementa..9C0MP0HE1TTNAMEIKMDB..

帮助国）确定取消

图2I

温馨提醒：点击叵।即可全选知识模块，也能够逐一选择需要知识模

块，为简单起见，全选后确定。不过全部导入比较耗时和占空间，看

下面滚动条和右下脚空间占用就知道了。

八、创建模型

1、创建目标系统模型（以ODLMUBIAO为例）

设计器一模型一点击生二一新模型

按下图内容输入定义名称、技术、逻辑方案

后ODIIUBIAO父|叵

陷逆向工程/

逆向工程

选择性逆向工程名称：ODI_MUBIAO

控制代码：ODI.MUBIAO

日记记录

技术：Oracle▼

已进行日记记录的表

标记逻错方案ODI.MUBIAO▼

服务操作组：J般操作＞▼

船主

默认文件夹

版本_______________________1q〃

权限显示模型树中的元数据更改

灵活字段说明：

2、创建源系统模型（以ODLYUAN为例）

啮逆向工程W

定义

扇模型

画用工桎

选择性逆向工程名称0D.TUAH|

控制代码0DJUAII

日记记录

技术Oracle▼

匕出仃口不双

标记逻指方案：ODIJUM▼|

服劳操作组：〈一般操作）▼

默认文件夹：||Q〃

权限□显示模型树中的元数据更改

灵活字段说明

3、逆向工程

把目标系统（spaq_odi用户）下表全部反向工程到我们目标模型内。

逆向工程页签一上下文选择Globalf点击I啮逆向工程按钮

S

帼逆向工程，

定义

D⑶i标d,v住EkC-/主AEQ制U

逆向工程

上下文：［Global▼

选择性逆向工程

控制逻辑代理：|

日记记录

要进行逆向工程的对依的类整

已进行日记记录的表

标记叼亮□视图口队列□系统裘匚表别名□同义询

服务

撞码：%

备注

要从表别名删除的字符：

版本

权限表别名最大长度：35

灵活字段

4、创建源系统模型（以0DI.YUAN为例）

跟目标模块一致，逆向工程把源系统（rcms用户）下表全部反向工程

到我们源模块内。

OD_TUABx

碣逆向建I—

定义

④标准C定制

1逆向工程1

选择性逆向工程上下文：Global▼

控制逻辑代理：

日记谈

萼遂行逆向丁祥的对敦的类型

已进行日记记录的表

标记回表回视图回队列同系统表国表别名回同义词

雕务

掩码：无

菅注

要从表别名删除的字符：

版本

权限表别名最大长度：35_

灵活学段

5、创建目标模块ODLMUBIAO主键：

设计器->模型-ODIJIUBIAO->EMP->右键约束条件一新建

关键字

[Q设计善x]l^变缸I操作x|应拓扑x

的

项目

模型

3feODI.MUBIAO

1£笊一使用次数

；由叨图表

+品层次

FFIQDEPT

I占i口EMP1

由田列

二一/里痣器

:约束条件।

W二]用于填充■新建关键字⑷

国□填充者伊新引用⑥

:反旷使用次数0

新建豺牛g

.+隐藏额据存储

ffiJgORCL_SCOTT

名称:PK_EMPNO_1、关键字或索引类型：主键、歹U：EMPNO

PI_E«PIO_1x9

一片关健字[极亶：ODIJUBIAO，数据存睛：E・P]

控制名称：,Kggno:

标记关谜字或索引类

曾主。.弓I不是的

版本I2主键1

权限O替代键

灵活字段

图1

，•PKEIPIO1x0

说明

所有列所送列

C0HMEMPITO

控制

DEPI1T0

标

记

E1IAME

著

、

汪KIREDAIE

版

本JOB

权MGR

限

SAL

泠

《

图2

注：目标模型表必需添加主键，不然抽取数据时候会犯错。

九、创建接口

1、设计器一项目-shipin-第一个文件夹一右键接口一

新建接口

"y【食品安全综合监管项目］OracleDataIntegrator11g

文件（D编转（©查看M搜索⑤ODI工具①窗口他）帮助®

B■9।X■>।►

设计善x|二安全x|笛操作x|齿拓扑x□

二赠shipin

日国第一个文件夹

i所由程序句______________________

接口

0手过好j新豌口®

书/变里暖导入接口⑥…

由他序列--------------------

田嗫用户函数

田f知识模块

+⑶标记

2、输入接口名称

3、映射目标模块和源模块表。

点击“映射”标签页-将ODLMUBIAO内EMP拖至目标数据库存放

区域一将ODLYUAN内EMP拖至源默认值区域-提醒是否实施自

动映射，选择是即可。

4、切换到“流”标签页。

选中SrcSetO,LKM已默认采取LKMOracletoOracle(DBLINK),我

们需要把下面AUTO_CREATE_DB_LINK改为真。

注:假如我们己经在数据库中手工创建了DBLINK,而且名字和定义“数

据服务器”时定义一样，这里就保持默认直否。选中“目标+临时区

域”，能够看到下面己经默认使用了IKMOracleIncrementalUpdate

5、切换到“控制”标签页。

CKM选择器选上：CKMOracle，保留接口。

弓POP.MTW

允许的最大锚误效□*

CKW选择若CKMOracl*COMPO1TE1TTKAME：CMOracl*

选项:AUTHOR：Oracle

值

名称

直

£>假

DROP_ERRJR_TABLE<!

值

卡

假DESCRIPTIOH

<!

DROP_CHECK_IABLE小>:

值

真"CheckKnowledgeModuleforOracle

CREAIE_ERROR_inDEX⑨>:

值>:9-Thisacdul*controlsth*validityofth*

COMPAIIBU嘲

亘

出

>:假constraintsof•Datastor*5dth*invalid

VALTDAIE

值

f>>:假recordsinanerrorItcanbeusedfor

EnABLE_EDIIIOn_SUPPORT<!

直

假staticcontrolsaswellasflowcontrols.

<!

UPGRADE_ERR'：'R_TABLI-Thisncdxilecreatesnonuniqueindexonthe

1$tablebeforecheckingAKandPKandanindexonthe

约束条件:

十、实施接口

1、设计器一项目-shipin一接口一右键POP.EMPI实施

我们不使用代理，保持上面选项点击“确定”，将会开启ELT会话。

执行包三

群助®]|脸][取消

2、检验是否实施成功

操作一会话列表-全部实施

.:食品安全综合监管项目）OracleDataIntegrator11g

文件⑨领⑥查看M搜索⑤ODI工具CD窗口他）帮助®

QB9A

Q设计器x|晶安全x同操作工|应拓扑x0

|磁▽瞬「碉S7

会话列表

日期

代理

会话

状态

关键

字

用户

二至所有执行

-IQ1001-POP.EG.GROUP-2015-12-1810:51:24

金与变里

BQ1-POP.EG.GROUP-2015-12-1810:51:24

1>-加载-SrcSetO-Altersessionglobal_names

田。2-加载-SrcSetO-Altersessionlglobal_names

|+i。3-加载-SrcSetO-Dropdatabaselinkontarget

+,生4-加载-SrcSetO-Dropworktable

i+-加戮-SrcSetO-Createdatabaselinkontarget

田❷6-加载-SrcSetO-Createview/tableonsource

庄,心7-加载-SrcSetO-Dropsynonymontarget

也。8-加载-SrcSetO-Createsynonymontarget

由金12-集成-POP.EG.GROUP-Dropflowtable

®©13-隼成-POP.EG_GROUP-Createflowtable1$

+©14-集成・POP.EG-GROUP-Insertflo»into1$table

分层会话

加载计划执行

调度

加载计划和场景

解决方案

程序包

3、查看数据

设计器—模型-ODIMUBIAO-右键EMP-查看数据

到这里假如有数据话，证实已经成功将ODLMUBIAO内EMP表数据导

进ODI_YUAN内EMP表里面了。

I^一、问题诊疗

假如出现问题，Operator也提供了比很好调式方法:

以下图：

文件0E）编相®直看GD搜索⑤ODI工具CD窗口®帮助®

3设计器X|赧安全X圆操作可后拓扑Xs

磁字曲匚Hi

▼会话列表

0O日期

出电代理

囹旷会话

4,8状态

囹夕关键字

向户一

同斫有执行

Q^2001-POP.EMP-2015-12-1117:56:38

~田•呻戈里

Q©1-POP.EMP-2015-12-1117:56:38

+冬1-加羲-SrcSetO-Dropworktable

+。2-加宽-SrcSetO-Createview/tableonsource

.+@3-加氮-SrcSetO-Dropsynonymontarget

+。4-加戴-SrcSetO-Createsynonymontarget

+。7-集成-POP.EMP-Dropflowtable

5gbR-^成一POPFMP-rrAA♦Aflt

,+^^9-集成—POP.EMP—Insertfl。*into1$table

一

成

：

10集

1-POP.EMr-CreateIndexonflowtable

成

A11拿

2-POP.EMP-Analyzeintegrationtable

：

空制

1・

1.♦-EMP-createchecktable

13

A-EMP-deletepreviouschecksum

分层会话

加载计划执行

调度

加载计划和场景

解决方案

1、由上图能够看到该实施到第9步犯错了，能够双击该步奏打开会

话任务窗口查看错误信息。

；Repo$itoryJO*cWDato1ntei/«iu«

«<DMGOMf®QO1IUCDIDOfiO

3B9X・—A

Idwa，也xJ..N|山制卜R

的/咐•：定义

◎合通仪努

•日曰电心裕

•e代理prw京庆

•“第

照俸：b嗣

•o状必:n«e»««2$21.

.e美"

日评例11M日—例可r:加酬

6*RP

G®断向鼠行记录虢计信电

E0»ot-w-2015-12-111?5638