甲骨文、超高速数据转移实用工具的基础课件

甲骨文、超高速数据转移实用工具的基础课件Oracle数据库10g

中的数据泵：超高速数据转移实用工具的基础甲骨文公司Oracle数据库10g中的数据泵：数据泵：概述什么是数据泵？主要特性体系结构性能要记住的事情对原来的exp/imp的一些看法数据泵：概述什么是数据泵？数据泵：什么是数据泵？基于服务器的工具，用于在加载和卸载数据和元数据时获得高性能可调用：DBMS_DATAPUMP。在内部使用DBMS_METADATA以直接路径(DirectPath)流的格式写入数据。以XML的格式写入元数据新的客户端程序expdp和impdp：原来的exp/imp的扩展集流、逻辑备用、网格、可移动表空间和数据挖掘初始实例化的基础。数据泵：什么是数据泵？基于服务器的工具，用于在加载和卸载数据特性：高性能！！自动、双层并行化用于分区间并行化的直接路径用于分区内并行化的外部表示例：parallel=<活动线程数量>动态：在企业版中可以从一个正在运行的作业中添加或删除工作线程自动构建索引，使并行度达到作业数同时进行数据和元数据卸载单线程数据卸载：1.5-2Xexp单线程数据加载：15X-40Ximp使用索引构建：4-10Ximp特性：高性能！！自动、双层并行化特性：检查点/重新启动作业进度记录在一个“主表”中可以显式地停止并在以后重新启动：在当前项目完成后停止或立即停止异常终止的作业也可以重新启动如果有问题可以在重启时跳过当前的对象特性：检查点/重新启动作业进度记录在一个“主表”中特性：网络模式网络导入：直接从一个数据库加载另一个数据库网络导出：将一个远程数据库卸载至一个本地的转储文件集中允许导出只读数据库数据泵在本地运行，元数据API远程运行。使用数据库链接，而不是管道。以‘insertinto<本地表>selectfrom<远程表>@<数据库链接>’的方式转移数据直接路径引擎在两端均使用很容易阻塞网络带宽：小心！特性：网络模式网络导入：直接从一个数据库加载特性：细粒度的对象选择两种操作（导出和导入）都支持所有的对象类型Exclude（排除）：从操作中排除指定的对象类型Include（包含）：只包含指定的对象类型。例如，只包含检索程序包、函数和过程虽然可以指定两者中的一个或两个，但新的客户端程序禁止同时使用两者两者都使用一个可选的名称过滤器，以获得甚至更高的细粒度：INCLUDEPACKAGE:“LIKE‘PAYROLL%’“EXCLUDETABLE:“IN(‘FOO’,’BAR’,…)’“特性：细粒度的对象选择两种操作（导出和导入）都支持特性：监控灵活的GET_STATUS调用每个工作线程的状态，显示当前的对象和完成的百分比初始的作业空间估计和总体完成百分比作业状态和描述工作进度和错误特性：监控灵活的GET_STATUS调用特性：转储文件集管理基于目录：例如，DMPDIR:export01.dmp

其中DMPDIR

创建为：

SQL>createdirectorydmpdiras‘/data/dumps’支持指定多个带通配符的文件：

dumpfile=dmp1dir:full1%u.dmp,dmp2dir:full2%u.dmp根据需要从提供的文件指定中循环创建文件可以限制文件大小以便管理自动维护转储文件集的一致性特性：转储文件集管理基于目录：例如，DMPDIR:expor新的客户端程序—

expdp/impdp类似（但不完全相同）于exp/imp的外观支持所有的模式：完整、模式、表、表空间、可传输。exp/imp的扩展集支持闪回expdp和

impdp都支持查询，并且在每一个表的基础上进行！与正在运行的作业连接或分离允许每个作业与多个客户端程序连接；但一个客户端程序一次只能与一个作业连接如果拥有权限，可以连接并控制其他用户的作业新的客户端程序—

expdp/impdp类似（但不完新的客户端程序—expdp/impdp通过Ctl-C进入交互式模式：ADD_FILE：为作业添加转储文件和通配符文件指定PARALLEL：动态添加或删除工作线程STATUS：获取每个工作线程的详细状态并修改报表时间间隔STOP_JOB{=IMMEDIATE}：停止作业，使其为可重新启动。IMMEDIATE不等待工作线程完成当前的工作项目……它们将在重新启动时重新执行START_JOB：重新启动一个先前停止的作业KILL_JOB：停止作业并删除其所有的资源（主表、转储文件），使其为不可重新启动CONTINUE：退出交互模式，继续记录日志EXIT：退出客户端程序，使作业保持运行新的客户端程序—expdp/impdp通过Ctl-特性：其他的出色特性……使用XML可以容易地进行DDL转换：REMAP_SCHEMAREMAP_TABLESPACEREMAP_DATAFILE可以隐藏段和存储属性可以只提取和加载数据、或元数据，或提取和加载两者SQLFILE操作生成可执行的DDL脚本如果一个表在加载时已存在，那么您可以：跳过它（默认）、替换它、截取然后加载或者附加到其末尾根据分配的块（默认）或统计信息（如果提供）进行空间估计企业管理器界面集成了9i

和10g可调用！特性：其他的出色特性……使用XML可以容易地进行DDL体系结构：结构图直接路径API外部表APIOracle_Loader元数据

API：DBMS_METADATAOracle_DataPumpexpdpimpdp企业管理器

数据泵DBMS_DATAPUMP数据/元数据转移引擎其他客户端程序：数据挖掘等体系结构：结构图直接路径外部表APIOracle_元数据O体系结构：流程图主控制进程用户A的影子进程转储文件集：数据、元数据和主表用户A：expdp用户B的影子进程动态命令（停止、启动、并行化等）主表命令和控制队列状态队列：工作进程和错误工作线程B：直接路径工作线程C：外部表工作线程A：元数据用户B：OEM并行进程1并行进程2日志文件体系结构：流程图主控制用户A的转储文件集：用户A无需客户端！主控制进程转储文件集：数据、元数据和主表主表工作线程B：直接路径工作线程C：外部表工作线程A：元数据并行进程1并行进程2日志文件无需客户端！主控制转储文件集：主表工作线程B：工作数据泵：性能调整默认的初始化参数就非常好！确保disk_asynch_io保持为TRUE扩展I/O！Parallel=不超过两倍的CPU数量： 不要超过磁盘最高容量。必然的结果：扩展I/O！！！为AQ消息发送和元数据API查询提供足够的SGA为长时间运行的查询提供足够的回滚这就是性能调整！数据泵：性能调整默认的初始化参数就非常好！大型的互联网公司

2个事实表：16.2M行，2Gb程序花费时间原来的exp:direct=y0hr10min40sec调整后的exp:direct=ybuffer=2Mrecordlength=64K0hr04min08sec原来的expdp:Parallel=10hr03min12sec原来的imp2hr26min10sec调整后的imp:buffer=2Mrecordlength=64K2hr18min37sec原来的impdp:Parallel=10hr03min05sec每个表有一个索引调整后的imp:buffer=2Mrecordlength=64K2hr40min17secimpdp:Parallel=10hr25min10sec大型的互联网公司

2个事实表：16.2M行，2Gb程Oracle应用程序种子数据库：密集的元数据：392K个对象，200个模式，10K个表，总共2.1Gb的数据原来的exp/imp总共花费：32小时50分钟exp：2小时13分钟 imp：30小时37分钟数据泵expdp/impdp总共花费：15小时40分钟Expdp：1小时55分钟impdp：13小时45分钟对于expdp和impdp，Parallel=2Oracle应用程序种子数据库：密集的元数据：392K个请记住：设计用于处理大量数据的*大型*作业元数据性能几乎一样更复杂的基础架构，更长的启动时间XML比DDL更大，但更灵活转储文件中的数据格式与exp相比压缩了大约15%通过修剪主表实现了子集导入请记住：设计用于处理大量数据的*大型*作业原来的exp和imp将永远支持原来的imp，以允许加载V5–V9i的转储文件原来的exp至少在10g中提供，但可能不支持所有新的功能。9iexp可以用于从10g降级不兼容原来的转储文件格式和数据泵转储文件格式原来的exp和imp将永远支持原来的imp，以允许加10gBeta反馈英国电信：

IanCrocker，性能与存储顾问

“我们已经测试了新的Oracle10g

导出和导入实用工具：Oracle数据泵。数据泵导出的执行速度是原来的两倍，数据泵导入的执行速度比原来快十倍。新的可管理性特性在监视作业状态时为我们提供更高的灵活性。”AirbusDeutschland： WernerKawollek，操作应用程序管理

“我们已经测试了Oracle数据泵导出和导入实用工具，丰富的功能给我们留下了深刻的印象。首次测试结果表明与原来的导出和导入实用工具相比性能得到了巨大的提高。”10gBeta反馈英国电信：Q&问答Q&问答甲骨文、超高速数据转移实用工具的基础课件Oracle数据库10g

中的数据泵：超高速数据转移实用工具的基础甲骨文公司Oracle数据库10g中的数据泵：数据泵：概述什么是数据泵？主要特性体系结构性能要记住的事情对原来的exp/imp的一些看法数据泵：概述什么是数据泵？数据泵：什么是数据泵？基于服务器的工具，用于在加载和卸载数据和元数据时获得高性能可调用：DBMS_DATAPUMP。在内部使用DBMS_METADATA以直接路径(DirectPath)流的格式写入数据。以XML的格式写入元数据新的客户端程序expdp和impdp：原来的exp/imp的扩展集流、逻辑备用、网格、可移动表空间和数据挖掘初始实例化的基础。数据泵：什么是数据泵？基于服务器的工具，用于在加载和卸载数据特性：高性能！！自动、双层并行化用于分区间并行化的直接路径用于分区内并行化的外部表示例：parallel=<活动线程数量>动态：在企业版中可以从一个正在运行的作业中添加或删除工作线程自动构建索引，使并行度达到作业数同时进行数据和元数据卸载单线程数据卸载：1.5-2Xexp单线程数据加载：15X-40Ximp使用索引构建：4-10Ximp特性：高性能！！自动、双层并行化特性：检查点/重新启动作业进度记录在一个“主表”中可以显式地停止并在以后重新启动：在当前项目完成后停止或立即停止异常终止的作业也可以重新启动如果有问题可以在重启时跳过当前的对象特性：检查点/重新启动作业进度记录在一个“主表”中特性：网络模式网络导入：直接从一个数据库加载另一个数据库网络导出：将一个远程数据库卸载至一个本地的转储文件集中允许导出只读数据库数据泵在本地运行，元数据API远程运行。使用数据库链接，而不是管道。以‘insertinto<本地表>selectfrom<远程表>@<数据库链接>’的方式转移数据直接路径引擎在两端均使用很容易阻塞网络带宽：小心！特性：网络模式网络导入：直接从一个数据库加载特性：细粒度的对象选择两种操作（导出和导入）都支持所有的对象类型Exclude（排除）：从操作中排除指定的对象类型Include（包含）：只包含指定的对象类型。例如，只包含检索程序包、函数和过程虽然可以指定两者中的一个或两个，但新的客户端程序禁止同时使用两者两者都使用一个可选的名称过滤器，以获得甚至更高的细粒度：INCLUDEPACKAGE:“LIKE‘PAYROLL%’“EXCLUDETABLE:“IN(‘FOO’,’BAR’,…)’“特性：细粒度的对象选择两种操作（导出和导入）都支持特性：监控灵活的GET_STATUS调用每个工作线程的状态，显示当前的对象和完成的百分比初始的作业空间估计和总体完成百分比作业状态和描述工作进度和错误特性：监控灵活的GET_STATUS调用特性：转储文件集管理基于目录：例如，DMPDIR:export01.dmp

其中DMPDIR

创建为：

SQL>createdirectorydmpdiras‘/data/dumps’支持指定多个带通配符的文件：

dumpfile=dmp1dir:full1%u.dmp,dmp2dir:full2%u.dmp根据需要从提供的文件指定中循环创建文件可以限制文件大小以便管理自动维护转储文件集的一致性特性：转储文件集管理基于目录：例如，DMPDIR:expor新的客户端程序—

expdp/impdp类似（但不完全相同）于exp/imp的外观支持所有的模式：完整、模式、表、表空间、可传输。exp/imp的扩展集支持闪回expdp和

impdp都支持查询，并且在每一个表的基础上进行！与正在运行的作业连接或分离允许每个作业与多个客户端程序连接；但一个客户端程序一次只能与一个作业连接如果拥有权限，可以连接并控制其他用户的作业新的客户端程序—

expdp/impdp类似（但不完新的客户端程序—expdp/impdp通过Ctl-C进入交互式模式：ADD_FILE：为作业添加转储文件和通配符文件指定PARALLEL：动态添加或删除工作线程STATUS：获取每个工作线程的详细状态并修改报表时间间隔STOP_JOB{=IMMEDIATE}：停止作业，使其为可重新启动。IMMEDIATE不等待工作线程完成当前的工作项目……它们将在重新启动时重新执行START_JOB：重新启动一个先前停止的作业KILL_JOB：停止作业并删除其所有的资源（主表、转储文件），使其为不可重新启动CONTINUE：退出交互模式，继续记录日志EXIT：退出客户端程序，使作业保持运行新的客户端程序—expdp/impdp通过Ctl-特性：其他的出色特性……使用XML可以容易地进行DDL转换：REMAP_SCHEMAREMAP_TABLESPACEREMAP_DATAFILE可以隐藏段和存储属性可以只提取和加载数据、或元数据，或提取和加载两者SQLFILE操作生成可执行的DDL脚本如果一个表在加载时已存在，那么您可以：跳过它（默认）、替换它、截取然后加载或者附加到其末尾根据分配的块（默认）或统计信息（如果提供）进行空间估计企业管理器界面集成了9i

和10g可调用！特性：其他的出色特性……使用XML可以容易地进行DDL体系结构：结构图直接路径API外部表APIOracle_Loader元数据

API：DBMS_METADATAOracle_DataPumpexpdpimpdp企业管理器

数据泵DBMS_DATAPUMP数据/元数据转移引擎其他客户端程序：数据挖掘等体系结构：结构图直接路径外部表APIOracle_元数据O体系结构：流程图主控制进程用户A的影子进程转储文件集：数据、元数据和主表用户A：expdp用户B的影子进程动态命令（停止、启动、并行化等）主表命令和控制队列状态队列：工作进程和错误工作线程B：直接路径工作线程C：外部表工作线程A：元数据用户B：OEM并行进程1并行进程2日志文件体系结构：流程图主控制用户A的转储文件集：用户A无需客户端！主控制进程转储文件集：数据、元数据和主表主表工作线程B：直接路径工作线程C：外部表工作线程A：元数据并行进程1并行进程2日志文件无需客户端！主控制转储文件集：主表工作线程B：工作数据泵：性能调整默认的初始化参数就非常好！确保disk_asynch_io保持为TRUE扩展I/O！Parallel=不超过两倍的CPU数量： 不要超过磁盘最高容量。必然的结果：扩展I/O！！！为AQ消息发送和元数据API查询提供足够的SGA为长时间运行的查询提供足够的回滚这就是性能调整！数据泵：性能调整默认的初始化参数就非常好！大型的互联网公司

2个事实表：16.2M行，2Gb程序花费时间原来的exp:direct=y0hr10min40sec调整后的exp:direct=ybuffer=2Mrecordlength=64K0hr04min08sec原来的expdp:Parallel=10hr03min12sec原来的imp2hr26min10sec调整后的imp:buffer=2Mrecordlength=64K2hr18min37sec原来的impdp:Parallel=10hr03min05sec每个表有一个索引调整后的imp:buffer=2Mrecordlength=64K2hr40min17secimpdp:Parallel=10hr25min10sec大型的互联网公司

2个事实表：16